CN113313658A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置、电子设备及存储介质，涉及图像处理领域。该方法包括：获取目标场景的第一目标图像，第一目标图像包含目标场景的深度信息；根据深度信息在第一目标图像中确定满足预设像素条件的第一像素点，预设像素条件用于确定第一目标图像上的飞行像素点；获取目标场景的第二目标图像；确定第一像素点的第一坐标，在第二目标图像上确定与第一坐标对应的第二坐标，将第二坐标的像素点确定为第二像素点；若第二像素点为非角点，在第一目标图像中滤除第一像素点。本申请确定深度图像上的飞行像素点是目标场景另一图像上的非角点后才会滤除该飞行像素点，增加了滤除飞行像素的可靠性，降低将正常点滤除的风险。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

在计算出深度图像后，通常会通过滤波等后处理算法将深度图像上的飞行像素点滤除。这样的滤除方法可靠性一般，会有将正常像素点作为飞行像素点滤除的风险。

发明内容

本申请提出了一种图像处理方法、装置、电子设备及存储介质，以改善上述缺陷。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息；根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，所述预设像素条件用于确定所述第一目标图像上的飞行像素点；获取所述目标场景的第二目标图像；确定所述第一像素点在所述第一目标图像上的第一坐标，在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点；若所述第二像素点为非角点，在所述第一目标图像中滤除所述第一像素点。

第二方面，本申请实施例还提供了一种图像处理装置，所述装置包括：第一获取模块、第一确定模块、第二获取模块、第二确定模块和处理模块。第一获取模块，用于获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息；第一确定模块，用于根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，所述预设像素条件用于确定所述第一目标图像上的飞行像素点；第二获取模块，用于获取所述目标场景的第二目标图像；第二确定模块，用于确定所述第一像素点在所述第一目标图像上的第一坐标，在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点；处理模块，用于若所述第二像素点为非角点，在所述第一目标图像中滤除所述第一像素点。

第三方面，本申请实施例还提供了一种电子设备，包括一个或多个处理器、存储器，以及一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行以下操作：获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息；根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，所述预设像素条件用于确定所述第一目标图像上的飞行像素点；获取所述目标场景的第二目标图像；确定所述第一像素点在所述第一目标图像上的第一坐标，在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点；若所述第二像素点为非角点，在所述第一目标图像中滤除所述第一像素点。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行上述方法。

本申请提供的图像处理方法、装置、电子设备及存储介质，首先将获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息。然后根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，所述预设像素条件用于确定所述第一目标图像上的飞行像素点。接着获取所述目标场景的第二目标图像，确定所述第一像素点在所述第一目标图像上的第一坐标，在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点，若所述第二像素点为非角点，将在所述第一目标图像中滤除所述第一像素点。对于目标场景深度图像上的飞行像素点，校验确定该像素点是目标场景的另一图像上的非角点后才会滤除该飞行像素点，这样可以增加滤除飞行像素点的可靠性，降低将正常点作为飞行像素点滤除的风险。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提供的图像处理方法的第一方法流程图；

图2示出了本申请另一实施例提供的深度图像的成像过程示意图；

图3示出了本申请又一实施例提供的第一目标图像的第一示意图；

图4示出了本申请另一实施例提供的坐标映射的示意图；

图5示出了本申请又一实施例提供的第二目标图像的示意图；

图6示出了本申请一实施例提供的图像处理方法的第二方法流程图；

图7示出了本申请另一实施例提供的目标场景拍摄示意图；

图8示出了本申请又一实施例提供的第一目标图像的第二示意图；

图9示出了本申请另一实施例提供的深度相机的坐标系示意图；

图10示出了本申请一实施例提供的电子设备的图像处理装置的结构框图；

图11示出了本申请一实施例提供的电子设备的结构框图；

图12示出了本申请一实施例提供的计算机可读存储介质的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

深度图像（depth image)也被称为距离影像（range image），是指将图像采集器到拍摄对象中各点的距离（深度）作为像素值的图像，它直接反映了景物可见表面的几何形状。其中飞行像素点是指在深度图像上与周围的像素点在深度值上差异巨大的异常像素点。不同原理的深度相机产生飞行像素点产生的原因会有不同，比如结构光深度相机，通常是由于物体边缘或者反射性物体表面对匹配算法的影响造成了匹配错误。此外，在TOF深度相机中，飞行像素点产生的主要原因在于，图像采集器上每个像素都具有一定的物理尺寸，在测量物体边缘时，单个像素会同时接收到前景和背景反射回来的光线，二者产生的能量叠加在一起，使得图像采集器获取的图像数据中包含多个距离的信息，使其深度值比正确的物体边缘的像素的深度值大。飞行像素点的存在会对深度图像生成点云模型的质量有较大影响，同时也会影响三维深度图像输出的质量。

发明人在研究中发现，现有滤除飞行像素点的方式通常是在计算出深度图像的深度后，通过滤波等后处理算法，将深度图像上的飞行像素点滤除。这样的滤除方法没有实际意义上的校验，可靠性一般，会有将正常像素点作为飞行像素点滤除的风险。为优化上述问题，发明人提出，可以参考普通图像上的角点，其中，角点是指灰度值或颜色值与周围像素点有较大差异的像素点，对于没有角点的区域，说明该区域在视觉上是平滑的，可以近似认为该区域不应该出现深度值上的突变，因此深度图像对应的区域也不应该存在飞行像素点。基于此，本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，该方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是如深度相机、平板电脑、游戏主机、电子书阅读器、多媒体播放设备、智能手表、手机、PC(PersonalComputer，个人计算机)等设备，也可以是如工业级计算机、服务器等设备。

请参考图1，其示出了本申请一实施例提供的图像处理方法的第一方法流程图。该方法包括：S110至S150。

步骤S110：获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息。

在本申请的实施例中，将获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息。在本申请实施例中，可以利用图像采集器采集目标场景的第一目标图像，可以理解的是，在采集图像的过程中，深度信息是指图像采集器到目标场景中各点的距离，对应地，第一目标图像为深度图像，并且，在深度图像中，可以使用深度值来表示图像的深度信息。

在一些实施例中，可以利用被动传感器生成深度图像，即所述图像采集器可以为被动传感器。被动传感器通常使用两个相隔一定距离的摄像机同时获取目标场景的两幅图像，通过立体匹配算法找到两幅图像中对应的像素点，随后根据三角原理计算出深度信息。基于立体匹配算法，还可以通过拍摄同一场景下不同角度的一组图像来获得目标场景的深度图像。除此之外，目标场景深度信息还可以通过对图像的光度特征、明暗特征等特征进行分析间接估算得到。

在本申请的另一些实施例中，可以利用主动传感器生成深度图像，即所述图像采集器可以为主动传感器。主动传感器可以是TOF（Time of Flight）相机、结构光相机和激光扫描等。如图2所示，以TOF相机为例，TOF相机可利用发射器发射红外光信号，将发射红外光信号的时间记录为第一时间点。红外光照射到目标场景的被摄物表面后，由接收器接收被摄物表面反射的红外光信号，并记录接收器接收反射的红外光信号的时间，将该时间记为第二时间点。然后，计算第一时间点和第二时间点的差值，即红外光信号从发出到被接收到的飞行时间。最后，根据差值获得图像的深度信息。

步骤S120：根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，所述预设像素条件用于确定所述第一目标图像上的飞行像素点。

由于飞行像素点是指在深度图像上与周围的像素点在深度值上差异巨大的异常像素点，因此根据第一目标图像的深度信息，可以确定第一目标图像上的飞行像素点。在本申请实施例中，可以根据深度信息，在第一目标图像中确定满足预设像素条件的第一像素点，其中，预设像素条件用于确定所述第一目标图像上的飞行像素点，第一像素点即飞行像素点。

在本申请的实施例中，可以通过比较第一目标图像上每个像素点与周围像素点的深度值来筛选飞行像素点，当某一像素点的深度值与周围像素点的深度值相差较大时，可以确定该像素点为飞行像素点。此外，也可以根据深度信息，利用边缘检测的方式确定第一目标图像上的飞行像素点。应当说明的是，本申请实施例仅仅是对飞行像素点的检测方式的示例性说明，并非对检测方式进行限定。

步骤S130：获取所述目标场景的第二目标图像。

可以理解的是，第一目标图像可能存在边缘较突出的物体或场景，边缘较突出的物体或场景在深度信息上的表现与飞行像素点相似，通常也与周围的像素点在深度值上差异巨大。通过上述实施例所示的飞行像素点检测方法，可能将正常突出的边缘点作为飞行像素点筛选出来，若进一步执行飞行像素点的滤除操作，极有可能将正常突出的边缘点滤除。为降低将正常突出的边缘点作为飞行像素点滤除的风险，本申请实施例还将获取目标场景的第二目标图像，通过第二目标图像来校验飞行像素点。

可选地，为保证飞行像素点的检验更为准确，第一目标图像和第二目标图像对目标场景的拍摄角度应当基本一致，其中，第二目标图像可以为RGB图像。

步骤S140：确定所述第一像素点在所述第一目标图像上的第一坐标，在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点。

为完成飞行像素点的检验，首先在第二目标图像中找到与第一像素点对应的第二像素点。在本申请实施例中，首先确定所述第一像素点在所述第一目标图像上的第一坐标，然后在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点。

当第一目标图像上的某一个像素点确定为第一像素点时，可以将该像素点的坐标记录下来作为第一像素点的第一坐标。示例性地，可以像素为单位定义坐标系。例如，如图3所示，以第一目标图像的左下角为坐标原点O

，右上角为坐标

，其中，width是第一目标图像的像素宽度，height是第一目标图像的像素高度，那么可以将第一像素点的第一坐标记录为A

，其中u表示x轴方向上第一像素点离坐标原点O的像素距离，v表示y轴方向上第一像素点离坐标原点O的像素距离。

在一些实施例中，第一目标图像和第二目标图像对目标场景的拍摄角度基本一致，如图4所示，可以根据第一目标图像与第二目标图像间的坐标对应关系，在第二目标图像420上找到与第一目标图像410上的第一坐标A对应的第二坐标B，将第二坐标记录为B

，其中

可以根据上述坐标对应关系由

计算得出。然后将第二目标图像上第二坐标所在位置的像素点确定为第二像素点。

可以理解的是，本申请实施例仅仅是对在第二目标图像上确定与第一坐标对应的第二坐标的方式的示例性说明，并未对其进行限定。

步骤S150：若所述第二像素点为非角点，在所述第一目标图像中滤除所述第一像素点。

在第二目标图像上可以计算角点，角点通常是指灰度值或颜色值与周围像素有较大差异的像素。对于没有角点的区域，说明该区域在视觉上是平滑的，可以近似认为该区域的深度信息不应该出现突然变化。在本申请实施例中，已经确定第一像素点为飞行像素点，表示第一像素点与周围像素的深度信息存在较大差异，同时若与第一像素点对应的第二像素点检测为角点，则说明第二像素点与周围像素存在灰度差异或颜色差异，第二像素点可能是正常突出的边缘点，对应地第一像素点不应当被滤除。反之，若第二像素点为非角点，说明第二像素点与周围像素不存在灰度差异以及颜色差异，第二像素点所在的区域不应该出现深度信息的差异，对应地，上述步骤中却检测出第一像素点与周围像素深度差异较大，则可以确定第一像素点确实为异常的飞行像素点，应当滤除第一像素点。

在本申请实施例中，可以通过Harris角点检测，KLT角点检测等方式检测第二像素点是否为角点。下面将以Harris角点检测为例说明本身实施例对第二像素点进行角点检测的过程。

Harris角点检测使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前后窗口中的像素灰度变化程度，如果这个固定窗口在图像各个方向上移动时，窗口内图像的像素灰度没有发生变化，那么窗口内就不存在角点；如果窗口在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该窗口中存在角点。

如图5所示，以第二像素点的坐标

为中心，在第二目标图像上取一个边长为2Q的固定窗口，其中Q为一个大于0的整数，在一些典型的实施例中Q可以取值为10、20或30，固定窗口内的像素点P

的灰度值用

表示，对固定窗口内的每一个点

求梯度

，其中

表示点

在水平方向上的灰度值梯度，

表示点

在垂直方向上的灰度值梯度。该固定窗口的Harris算子H可以表示为

，其中x的取值范围为从

到

，y的取值范围为从

到

。

同时，使用Harris响应值R来估算第二像素点

是平坦点、边缘点或是角点。在实施例中，Harris响应值R可以为

，其中c为常数，通常取0.04~0.06，det()为求行列式值的运算，tr()为求矩阵迹的运算。若R的值大于预设阈值时，表示第一像素点

在第二目标图像上对应的第二像素点

为角点，说明第二像素点可能是正常突出的边缘点，也等效认为第一像素点与周围点存在较大的深度差异是正常现象，因此第一像素点不应该被滤除。若R的值小于或等于预设响应阈值时，表示第一像素点

在第二目标图像上对应的第二像素点

为非角点，说明第二像素点与周围点不存在较大的灰度差异和颜色差异，也等效认为第一像素点与周围点存在较大的深度差异是异常现象，因此第一像素点应该被滤除。其中，预设响应阈值可以根据目标场景的不同进行设置，例如相对于边缘较多的目标场景，较平坦的目标场景的预设响应阈值可以大于边缘较多的情况。

在本申请实施例中，若所述第二像素点为非角点，将在所述第一目标图像中滤除所述第一像素点，可以通过局部动态阈值或者滤波等方式滤除第一像素点。可选地，本申请的一些实施例中还可以对滤除飞行像素点后的深度图像进行膨胀和腐蚀处理；可选地，为降低点云抖动，还可以根据中值滤波算法，对所述深度图像进行滤波处理。

综上所述，本申请提供的图像处理方法、装置、电子设备及存储介质，首先将获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息。然后根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，所述预设像素条件用于确定所述第一目标图像上的飞行像素点。接着获取所述目标场景的第二目标图像，确定所述第一像素点在所述第一目标图像上的第一坐标，在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点，若所述第二像素点为非角点，将在所述第一目标图像中滤除所述第一像素点。对于目标场景深度图像上的飞行像素点，校验确定该像素点是目标场景的另一图像上的非角点后才会滤除该飞行像素点，这样可以增加滤除飞行像素点的可靠性，降低将正常点作为飞行像素点滤除的风险。

请参考图6，其示出了本申请一实施例提供的图像处理方法的第二方法流程图。该方法包括：S610至S690。

步骤S610：获取由第一光学组件对目标场景拍摄得到的结构光图像。

在本申请的实施例中，首先把第一光学组件作为图像采集器，对目标场景进行拍摄得到了结构光图像。可选地，第一光学组件可以为主动传感器中的结构光相机，结构光相机例如可以由投射器和红外图像传感器组成。

如图7所示，首先可以通过投射器710向目标场景740投射结构光，然后通过红外图像传感器730获取经所述目标场景740反射的结构光而调制成的结构光图像750。其中，投射器710投射的结构光可以由编码后的光斑组成，光斑打在目标场景中的物体表面后会被目标场景中的物体反射，最终通过红外图像传感器可以接收到由目标场景的散斑图像组成的结构光图像。示例性地，所述投射器710所投射的结构光可为红外光线。例如，所述结构光可以使用波长为940nm的红外光线。

步骤S620：根据所述结构光图像获取所述目标场景的深度信息，根据所述深度信息生成第一目标图像。

在本申请实施例中可以根据所述结构光图像获取所述目标场景的深度信息，然后根据所述深度信息生成第一目标图像。由于目标场景中物体的形状、深度不同，以及投射的光斑位置不同，利用光斑的编码信息与成像信息，可以计算出拍摄结构光图像时目标场景到第一光学组件的距离，可将该距离作为目标图像的深度信息，然后根据该深度信息生成第一目标图像。

步骤S630：遍历第一目标图像上的每一个像素点，将像素点的深度信息与预定范围内的像素点的深度信息做差值比较，统计差值大于预设差值阈值的预定范围内的像素点的数量。

在本申请的实施例中，将遍历第一目标图像上的每一个像素点，若所述像素点的深度信息满足预设深度条件，确定所述像素点为第一像素点。具体地，预设深度条件可以是判断所述像素点的深度信息与包含所述像素点的预定范围内的像素点的深度信息之间是否满足预设关系。作为一种实施方式，可以将第一目标图像上每个像素点的深度信息与预定范围内的像素点的深度信息做差值比较，统计差值大于预设差值阈值的预定范围内的像素点的数量，若该数量大于预设数量，则可以确定所述像素点为飞行像素点，即第一像素点。

如图8所示，对于第一目标图像上的一个像素点A，将像素点A的深度值记为

，可以将包含所述像素点的预定范围设置为以像素点A为中心的一个N*N的矩形区域，同时设置深度值的计算噪声标准差为σ，将

与矩形区域内的每个像素点的深度值进行差值比较，统计差值大于预设差值阈值的矩形区域内像素点的数量M，其中预设差值阈值可以为6σ，设置一个实际误差标准为e。其中，预设差值阈值可以根据预先设置的N和e确定，例如预设差值阈值可以为

，即当数量M大于

时，可以将像素点A确定为第一像素点。

其中，N为矩形区域边长的预设取值，在一些典型的实施例中，N的值可以为20、30或40等大于0的整数，可以对比N取值不同的多种情况，选取处理效果较好的情况下N的值。可以理解的是，σ和e的值与N类似，也可以对比σ、e取值不同的多种情况，选取处理效果较好的情况下两个参数的数值作为预设值。

步骤S640：若所述数量大于预设数量，确定所述像素点为第一像素点。

在本申请的实施例中，将遍历第一目标图像上的每一个像素点，每一个像素点的深度信息都与预定范围内的像素点的深度信息做差值比较，统计差值大于预设差值阈值的预定范围内的像素点的数量，若该数量大于预设数量，确定所述像素点为第一像素点，最终筛选出第一目标图像上可能存在的所有飞行像素点。

步骤S650：获取由第二光学组件对所述目标场景拍摄得到的第二目标图像。

请再次参见图7，第二目标图像760可以由第二光学组件720对第一光学组件拍摄的同一目标场景拍摄得到。上述实施例中可知，第二目标图像760可以为RGB图像，对应地，第二光学组件720可以为可见光图像传感器。

步骤S660：确定所述第一像素点在第一目标图像上的第一坐标。

在遍历第一目标图像上的每一个像素点的过程中，当某一个像素点确定为第一像素点时，可以将该像素点的坐标记录下来作为第一像素点的第一坐标

。

步骤S670：第一光学组件和第二光学组件共同组成深度相机，在深度相机的参考坐标系下确定与第一坐标对应的参考坐标。

在本申请的实施例中，第一光学组件和第二光学组件共同组成深度相机，在深度相机的参考坐标系下确定与第一坐标对应的参考坐标。请参见图9，深度相机由投射器710和红外图像传感器730组成的第一光学组件和第二光学组件720共同组成。由于第一目标图像是由结构光图像生成，第一目标图像所在的坐标系与结构光图像所在的坐标系相同，因此在第二目标图像上确定对应的第二坐标之前，可以先在深度相机的参考坐标系下，通过结构光图像的坐标系与深度相机的参考坐标系之间的第一映射关系，确定与第一坐标对应的参考坐标。

如图9所示，在一些实施例中，将深度相机所在的坐标系定义为参考坐标系c，将结构光图像所在的第一坐标系ir的坐标原点定义为第一光学组件中的红外图像传感器730的成像光心处，同时第一坐标系ir也是第一目标图像所在的坐标系，将第二目标图像所在的第二坐标系n的坐标原点定义在第二光学组件720的成像光心处。其中，红外图像传感器730的内参矩阵为

，第一坐标系ir到参考坐标系c的相对姿态为外参，即转换矩阵

。第二光学组件的内参矩阵为

，第二坐标系n到参考坐标系c的相对姿态为外参，即转换矩阵

。可以理解的是，

、

、

以及

、

、

可以由深度相机的标定过程得到。

可以将第一像素点的深度值记为z，将参考坐标系下与第一坐标

对应的参考坐标记为

，下面将示例性地说明参考坐标

的计算过程。可以理解的是，第一目标图像的第一像素点是由参考坐标系的参考坐标对应的点成像形成。根据相机成像的针孔模型可以得到第一坐标与参考坐标的第一映射关系，并且第一映射关系可以由红外图像传感器的内参矩阵

和转移矩阵

决定。通过上述第一映射关系，可以根据第一像素点的第一坐标

和深度值z计算得到参考坐标

。可选地，该第一映射关系可以由齐次坐标式

表示。

步骤S680：在第二目标图像上确定与所述参考坐标对应的第二坐标，将第二坐标对应的像素点确定为第二像素点。

在本申请的实施例中，在第二目标图像上确定与参考坐标对应的第二坐标，将第二坐标对应的像素点确定为第二像素点。

可以将第二目标图像上对应的第二坐标记为

，下面将示例性地说明第二坐标

的计算过程。可以理解的是，第二目标图像的第二像素点也是由参考坐标系的参考坐标对应的点成像形成。根据相机成像的针孔模型可以得到第二坐标与参考坐标的第二映射关系，并且第二映射关系可以由第二光学组件的内参矩阵

和转移矩阵

决定。通过上述第二映射关系，可以根据参考坐标系的参考坐标

计算得到第二坐标

。可选地，该第二映射关系可以由齐次坐标式

表示。

步骤S690：若所述第二像素点为非角点，在所述第一目标图像中滤除所述第一像素点。

在本申请实施例中，可以通过上述实施例中的Harris角点检测方式检测第二像素点，也可以采用KLT角点检测、SIFT角点检测等方式检测第二像素点，本申请实施例对此不作限制。若检测到第二像素点为非角点，说明第一像素点与周围点存在较大的深度差异是异常现象，可以通过对第一目标图像进行滤波等方式在第一目标图像中滤除第一像素点。

综上所述，本申请提供的图像处理方法、装置、电子设备及存储介质，首先将获取第一光学组件对目标场景拍摄得到的结构光图像，根据目标场景的深度信息和结构光图像生成第一目标图像。然后遍历第一目标图像上的每一个像素点，将像素点的深度信息与预定范围内像素点的深度信息做差值比较，统计差值大于预设差值阈值的预定范围内的像素点的数量，若该数量大于预设数量，确定所述像素点为第一像素点。接着获取第二光学组件对目标场景拍摄得到的第二目标图像，确定第一像素点在第一目标图像上的第一坐标。第一光学组件和第二光学组件共同组成了深度相机，在深度相机的参考坐标系下经过坐标转换确定与第一坐标对应的参考坐标，再通过参考坐标确定第二目标图像上的第二坐标，将第二坐标对应的像素点确定为第二像素点，如果确定第二像素点是非角点，那么将在第一目标图像中滤除所述第一像素点。对于目标场景深度图像上通过比较深度信息确定的飞行像素点，通过坐标转换在目标场景的另一图像上确定对应坐标位置的像素点，还需要校验确认该像素点是非角点后，才会滤除该飞行像素点，这样可以增加滤除飞行像素点的可靠性，降低将正常点作为飞行像素点滤除的风险。

请参阅图10，其示出了本申请一实施例提供的电子设备的图像处理装置的结构框图，该装置可以包括：第一获取模块1010、第一确定模块1020、第二获取模块1030、第二确定模块1040和处理模块1050。

第一获取模块1010，用于获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息。

第一确定模块1020，用于根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，所述预设像素条件用于确定所述第一目标图像上的飞行像素点。

第二获取模块1030，用于获取所述目标场景的第二目标图像。

第二确定模块1040，用于确定所述第一像素点在所述第一目标图像上的第一坐标，在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点。

处理模块1050，用于若所述第二像素点为非角点，在所述第一目标图像中滤除所述第一像素点。

在一些实施例中，所述第一获取模块1010包括：第一图像获取模块，用于获取由第一光学组件对所述目标场景拍摄得到的结构光图像；深度信息获取模块，用根据所述结构光图像获取所述目标场景的深度信息，根据所述深度信息生成第一目标图像。进一步的，所述第二获取模块1030包括：第二图像获取模块，用于获取由第二光学组件对所述目标场景拍摄得到的第二目标图像。更进一步的，所述第二确定模块1040包括：第一坐标确定模块，用于在所述深度相机的参考坐标系下确定与所述第一坐标对应的参考坐标；第二坐标模块，用于在所述第二目标图像上确定与所述参考坐标对应的第二坐标。

在另一些实施例中，所述第一确定模块1020包括：遍历模块，用于遍历所述第一目标图像上的每一个像素点，若所述像素点的深度信息满足预设深度条件，确定所述像素点为第一像素点。进一步的，所述遍历模块包括：判断模块，用于若所述像素点的深度信息与包含所述像素点的预定范围内的像素点的深度信息之间满足预设关系，确定所述像素点为第一像素点。更进一步地，所述判断模块包括：统计模块，用于将所述像素点的深度信息与所述预定范围内的像素点的深度信息做差值比较，统计所述差值大于预设差值阈值的所述预定范围内的像素点的数量；像素确定模块，用于若所述数量大于预设数量，确定所述像素点为第一像素点。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图11，其示出了本申请一实施例提供的电子设备的结构框图。该电子设备可以是深度相机、智能手机、平板电脑、电子书、服务器等设备。本申请中的电子设备可以包括一个或多个如下部件：处理器1110、存储器1120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器1120中并被配置为由一个或多个处理器1110执行， 一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。

电子设备还可以是多个电子设备中的任何一个，多个电子设备包括但不限于深度相机、服务器、蜂窝电话、智能电话、智能手表、智能手环、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、照相机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理 （PDA）、便携式多媒体播放器（PMP）、运动图像专家组（MPEG-1或MPEG-2）音频层3（MP3）播放器，便携式医疗设备以及数码相机及其组合。

在一些情况下，电子设备可以执行多种功能（例如，播放音乐，显示视频，存储图片以及接收和发送电话呼叫）。如果需要，电子设备可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备、听筒设备或其他紧凑型便携式设备。

处理器1110可以包括一个或者多个处理核。处理器1110利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器1120内的指令、程序、代码集或指令集，以及调用存储在存储器1120内的数据，执行电子设备的各种功能和处理数据。可选地，处理器1110可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable LogicArray，PLA）中的至少一种硬件形式来实现。处理器1110可集成中央处理器（CentralProcessing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1110中，单独通过一块通信芯片进行实现。

存储器1120可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。存储器1120可用于存储指令、程序、代码、代码集或指令集。存储器1120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现下述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据（比如电话本、音视频数据、聊天记录数据）等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的处理器1110和存储器1120的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

请参考图12，其示出了本申请一实施例提供的计算机可读存储介质的结构框图。该计算机可读存储介质1200中存储有程序代码1210，所述程序代码1210可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1200可以是诸如闪存、EEPROM（电可擦除可编程只读存储器）、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1200包括非易失性计算机可读存储介质（non-transitory computer-readable storage medium）。计算机可读存储介质1200具有执行上述方法中的任何方法步骤的程序代码1210的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1210可以例如以适当形式进行压缩。

本申请实施例提供的图像处理方法、装置、电子设备及存储介质，首先将获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息。然后根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，所述预设像素条件用于确定所述第一目标图像上的飞行像素点。接着获取所述目标场景的第二目标图像，确定所述第一像素点在所述第一目标图像上的第一坐标，在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点，若所述第二像素点为非角点，将在所述第一目标图像中滤除所述第一像素点。对于目标场景深度图像上的飞行像素点，校验确定该像素点是目标场景的另一图像上的非角点后才会滤除该飞行像素点，这样可以增加滤除飞行像素点的可靠性，降低将正常点作为飞行像素点滤除的风险。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本发明实施例的说明书和权利要求书中的术语“ 第一”和“ 第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一区域和第二区域等是用于区别不同区域，而不是用于描述区域的特定顺序。在本发明实施例的描述中，除非另有说明，“ 多个”的含义是指两个或两个以上。

本文中术语“ 和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“ /”表示关联对象是或者的关系，例如A/B表示A或者B。

在本发明的实施例中，“ 示例性的”或者“ 例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“ 示例性的”或者“ 例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“ 示例性的”或者“ 例如”等词旨在以具体方式呈现相关概念。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息；

根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，所述预设像素条件用于确定所述第一目标图像上的飞行像素点；

获取所述目标场景的第二目标图像；

确定所述第一像素点在所述第一目标图像上的第一坐标，在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点；

若所述第二像素点为非角点，在所述第一目标图像中滤除所述第一像素点。

2.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，包括：

遍历所述第一目标图像上的每一个像素点，若所述像素点的深度信息满足预设深度条件，确定所述像素点为第一像素点。

3.根据权利要求2所述的方法，其特征在于，所述若所述像素点的深度信息满足预设深度条件，确定所述像素点为第一像素点，包括：

若所述像素点的深度信息与包含所述像素点的预定范围内的像素点的深度信息之间满足预设关系，确定所述像素点为第一像素点。

4.根据权利要求3所述的方法，其特征在于，所述若所述像素点的深度信息与包含所述像素点的预定范围内的像素点的深度信息之间满足预设关系，确定所述像素点为第一像素点，包括：

将所述像素点的深度信息与所述预定范围内的像素点的深度信息做差值比较，统计所述差值大于预设差值阈值的所述预定范围内的像素点的数量；

若所述数量大于预设数量，确定所述像素点为第一像素点。

5.根据权利要求1所述的方法，其特征在于，所述获取目标场景的第一目标图像，包括：

获取由第一光学组件对所述目标场景拍摄得到的结构光图像；

根据所述结构光图像获取所述目标场景的深度信息，根据所述深度信息生成第一目标图像。

6.根据权利要求5所述的方法，其特征在于，所述获取所述目标场景的第二目标图像，包括：

获取由第二光学组件对所述目标场景拍摄得到的第二目标图像。

7.根据权利要求6所述的方法，其特征在于，所述第一光学组件和所述第二光学组件共同组成深度相机，所述在所述第二目标图像上确定与所述第一坐标对应的第二坐标，包括：

在所述深度相机的参考坐标系下确定与所述第一坐标对应的参考坐标；

在所述第二目标图像上确定与所述参考坐标对应的第二坐标。

8.一种图像处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标场景的第一目标图像，其中，所述第一目标图像包含所述目标场景的深度信息；

第一确定模块，用于根据所述深度信息，在所述第一目标图像中确定满足预设像素条件的第一像素点，所述预设像素条件用于确定所述第一目标图像上的飞行像素点；

第二获取模块，用于获取所述目标场景的第二目标图像；

第二确定模块，用于确定所述第一像素点在所述第一目标图像上的第一坐标，在所述第二目标图像上确定与所述第一坐标对应的第二坐标，将所述第二坐标对应的像素点确定为第二像素点；

处理模块，用于若所述第二像素点为非角点，在所述第一目标图像中滤除所述第一像素点。

9.一种电子设备，其特征在于，包括处理器、存储器，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一项所述的方法。

Images