CN109767467A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。上述方法包括：获取深度摄像头采集的初始深度图像和与初始深度图像对应的置信度图、彩色摄像头采集的彩色图像，获取初始深度图像中第一像素点对应的初始深度值，及第一像素点在置信度图中对应的第二像素点的置信度值，获取第一像素点在彩色图像中对应的第三像素点的亮度值，基于该亮度值确定第一像素点的置信度阈值，当置信度值大于或等于该置信度阈值时，则确定初始深度值有效。由于可以根据彩色图像中对应像素点的亮度确定置信度阈值，根据该置信度阈值来确定深度图像中对应的像素点的深度信息是否有效，可以提高深度信息的准确性。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种图像方法、装置、电子设备和计算机可读存储介质。

背景技术

电子设备可以通过深度摄像头采集被拍摄物体的深度信息，进而根据深度信息对图像进行活体检测、三维建模、背景虚化等处理。深度摄像头可以输出被拍摄物体的初始深度图像及对应的置信度图，电子设备可以根据置信度图对初始深度图像进行滤波处理，从而获取初始深度图像有效的深度值。然而，传统方法中存在获取的深度信息不够准确的问题。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高深度信息的准确性。

一种图像处理方法，包括：

获取深度摄像头采集的初始深度图像和与所述初始深度图像对应的置信度图、彩色摄像头采集的彩色图像；

获取所述初始深度图像中第一像素点对应的初始深度值，及所述第一像素点在所述置信度图中对应的第二像素点的置信度值；

获取所述第一像素点在所述彩色图像中对应的第三像素点的亮度值，基于所述第三像素点的亮度值确定所述第一像素点的置信度阈值；

当所述置信度值大于或等于所述置信度阈值时，则确定所述初始深度值有效。

一种图像处理装置，包括：

第一获取模块，用于获取深度摄像头采集的初始深度图像和与所述初始深度图像对应的置信度图、彩色摄像头采集的彩色图像；

第二获取模块，用于获取所述初始深度图像中第一像素点对应的初始深度值，及所述第一像素点在所述置信度图中对应的第二像素点的置信度值；

阈值确定模块，用于所述第一像素点在所述彩色图像中对应的第三像素点的亮度值，基于所述第三像素点的亮度值确定所述第一像素点的置信度阈值；

深度值确定模块，用于当所述置信度值大于或等于所述置信度阈值时，则确定所述初始深度值有效。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取深度摄像头采集的初始深度图像和与所述初始深度图像对应的置信度图、彩色摄像头采集的彩色图像；

获取所述初始深度图像中第一像素点对应的初始深度值，及所述第一像素点在所述置信度图中对应的第二像素点的置信度值；

获取所述第一像素点在所述彩色图像中对应的第三像素点的亮度值，基于所述第三像素点的亮度值确定所述第一像素点的置信度阈值；

当所述置信度值大于或等于所述置信度阈值时，则确定所述初始深度值有效。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取深度摄像头采集的初始深度图像和与所述初始深度图像对应的置信度图、彩色摄像头采集的彩色图像；

获取所述初始深度图像中第一像素点对应的初始深度值，及所述第一像素点在所述置信度图中对应的第二像素点的置信度值；

获取所述第一像素点在所述彩色图像中对应的第三像素点的亮度值，基于所述第三像素点的亮度值确定所述第一像素点的置信度阈值；

当所述置信度值大于或等于所述置信度阈值时，则确定所述初始深度值有效。

上述图像处理方法、装置、电子设备和计算机可读存储介质，可以获取深度摄像头采集的初始深度图像和与该初始深度图像对应的置信度图、彩色摄像头采集的彩色图像，获取初始深度图像中第一像素点对应的初始深度值，及第一像素点在置信度图中对应的第二像素点的置信度值，获取第一像素点在彩色图像中对应的第三像素点的亮度值，基于该亮度值确定第一像素点的置信度阈值，当置信度值大于或等于该置信度阈值时，则确定初始深度值有效。由于可以根据彩色图像中对应像素点的亮度确定置信度阈值，根据该置信度阈值来确定深度图像中对应的像素点的深度信息是否有效，可以提高深度信息的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程图；

图3为一个实施例中调整置信度阈值的流程图；

图4为一个实施例中对初始深度图像和彩色图像进行校正的流程图；

图5为一个实施例的图像处理装置的结构框图；

图6为一个实施例中电子设备的内部结构示意图；

图7为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一像素点称为第二像素点，且类似地，可将第二像素点称为第一像素点。第一像素点和第二像素点两者都是像素点，但其不是同一像素点。

图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备110可以获取通过深度摄像头采集的初始深度图像和与该初始深度图像对应的置信度图、及彩色摄像头采集的彩色图像，获取初始深度图像中第一像素点对应的初始深度值，及第一像素点在置信度图中对应的第二像素点的置信度值，获取第一像素点在所述彩色图像中对应第三像素点的亮度值，基于第三像素点的亮度值确定第一像素点的置信度阈值，当置信度值大于或等于置信度阈值时，则确定初始深度值有效。可以理解的是，上述电子设备110可以不限于是各种手机、电脑、可携带设备等。

图2为一个实施例中图像处理方法的流程图。如图2所示，图像处理方法包括步骤202至步骤208。

步骤202，获取深度摄像头采集的初始深度图像和与初始深度图像对应的置信度图、彩色摄像头采集的彩色图像。

电子设备可以包含深度摄像头和彩色摄像头。各个摄像头可以是内置于电子设备的摄像头，也可以是外置于电子设备的摄像头。电子设备包含的深度摄像头和彩色摄像头可以是前置摄像头、也可以是后置摄像头。深度摄像头可以是TOF(Time of flight，飞行时间测距)摄像头，TOF摄像头通过向场景发射近红外光；接收反射的近红外线，通过计算反射的近红外线时间差或相位差，获取场景的深度信息；将场景的轮廓以不同颜色代表不同距离，以获取初始深度图像。

初始深度图像是由多个像素点的初始深度值组成的图像。初始深度值是由深度摄像头采集的深度摄像头与被拍摄物体之间的距离值。置信度图是由多个像素点的初始深度值的置信度值组成的图像。置信度图中每一个像素点对应的置信度值即为初始深度图像对应位置的像素点的初始深度值的置信度。具体地，电子设备通过深度摄像头采集物体的深度信息时，首先根据深度摄像头的深度计算原理得到由各个像素点的初始深度值组成的初始深度图像，以及由各个像素点的初始深度值的置信度组成的置信度图，从而，电子设备可以根据置信度图对初始深度图像进行滤波处理，去除置信度值低于阈值的初始深度值。电子设备可以在同一场景下通过深度摄像头和彩色摄像头进行图像采集，得到的初始深度图像与彩色图像中包含的被拍摄物体相同。彩色图像中包含了被拍摄物体的色彩信息。

步骤204，获取初始深度图像中第一像素点对应的初始深度值，及第一像素点在置信度图中对应的第二像素点的置信度值。

具体地，初始深度图像中各个像素点与置信度图中的各个像素点在位置上一一对应，即第一像素点在初始深度图像中的位置与第二像素点在该置信度图中的位置相对应。置信度图中像素点对应的置信度值即为初始深度图像中对应的像素点的初始深度值的可信程度。电子设备可以获取初始深度图像中第一像素点及对应的初始深度值，进而获取第一像素点在置信度图中对应的第二像素点的置信度值。

步骤206，获取第一像素点在彩色图像中对应的第三像素点的亮度值，基于第三像素点的亮度值确定第一像素点的置信度阈值。

亮度值用于表示被拍摄物体的明亮程度。像素点的亮度值一般用0至255的范围来表示，被拍摄物体越明亮，则亮度值越高，被拍摄物体越暗，则亮度值越低。可选地，在一些实施例中，亮度值也可以用0至100的范围来表示等，不限于此。电子设备可以预设不同亮度值对应的置信度阈值。例如，电子设备可以预设亮度值为0至100时对应的置信度阈值为60％、亮度值为100至200时对应的置信度阈值为70％、亮度值为200至255时对应的置信度阈值为85％等，不限于此，进而电子设备可以根据像素点的亮度值获取对应的置信度阈值。可选地，在一些实施例中，电子设备预存有初始置信度阈值时，电子设备也可以预设不同亮度值对应的阈值调整幅度。例如，当像素点的亮度值在0至50之间时，将初始置信度阈值减少20％作为该像素点的置信度阈值；当像素点的亮度值在50至100之间，将初始置信度阈值减少10％作为该像素点的置信度阈值；当像素点的亮度值在100至255之间时，将初始置信度阈值作为该像素点的置信度阈值等，不限于此。可选地，电子设备预设的置信度阈值可以与亮度值成正比，也可以与亮度值的平方成正比等，不限于此。

第一像素点在初始深度图像中的位置与第三像素点在该彩色图像中的位置相对应。具体地，当初始深度图像与彩色图像的分辨率相同时，则第一像素点与第三像素点一一对应；当初始深度图像与彩色图像的分辨率不同时，例如，当彩色图像的分辨率大于初始深度图像的分辨率时，则第一像素点可以对应的多个第三像素点，电子设备可以基于多个第三像素点的亮度值来确定第一像素点的置信度阈值，如根据第一像素点对应的多个第三像素点的亮度平均值、中位值等来确定。初始深度图像与彩色图像中包含的被拍摄物体相同，电子设备可以获取第一像素点在彩色图像中对应的第三像素点的亮度值，根据第三像素点的亮度值确定第一像素点的置信度阈值。

步骤208，当置信度值大于或等于置信度阈值时，则确定初始深度值有效。

具体地，第一像素点对应的第二像素点的置信度值大于或等于的置信度阈值，则说明第一像素点的初始深度值可信，电子设备可以确定该初始深度值有效。可选地，当置信度值小于置信度阈值时，则电子设备可以确定第一像素点的初始深度值不可信，确定第一像素点的初始深度值无效，或者将第一像素点的深度值确定为无穷远。进一步地，电子设备逐个确定初始深度图像中像素点的初始深度值是否有效，保留有效的像素点的初始深度值，将初始深度值无效的像素点的深度值确定为无效或者无穷远，从而得到目标深度图像。

通过获取初始深度图像中第一像素点对应的初始深度值及该第一像素点在置信度图中对应的第二像素点的置信度值，获取第一像素点在彩色图像中对应的第三像素点的亮度值，基于该亮度值确定第一像素点的置信度阈值，当第二像素点的置信度值大于或等于该置信度阈值时，则确定第一像素点的初始深度值有效。由于可以根据彩色图像中对应像素点的亮度确定置信度阈值，不同像素点对应的置信度阈值不同，可以避免置信度图中由于被拍摄物体的亮度信息而引起像素点对应的置信度值低时，采用统一的置信度阈值而使得该像素点的初始深度值被过滤、置为无效或无穷远的问题，可以提高深度信息的准确性。

在一个实施例中，提供的图像处理方法中基于第三像素点的亮度值确定第一像素点的置信度阈值的过程包括：当亮度值大于或等于亮度阈值时，将第一像素点的置信度阈值确定为第一阈值；当亮度值小于亮度阈值时，将第一像素点的置信度阈值确定为第二阈值；其中，第二阈值小于第一阈值。

亮度阈值可以根据实际应用需求来设定。例如，亮度阈值可以是50、100、122、140等，不限于此。第二阈值小于第一阈值，例如，当第一阈值为80％时，第二阈值可以为75％、72％、70％、65％等；当第一阈值为75％，第二阈值可以为72％、70％、65％、60％等；当第一阈值为70％时，第二阈值可以是68％、65％、60％等，不限于此。具体地，亮度阈值、第一阈值、第二阈值可以通过对不同的亮度值对初始深度值对应的置信度值的影响程度进行分析后确定，在此不做限定。

当电子设备采用TOF(Time of flight，飞行时间测距)深度摄像头采集初始深度图像时，由于TOF摄像头时通过向被拍摄物体发射近红外光，根据反射的近红外光的时间差或相位差计算被拍摄物体的深度信息，因此，当被拍摄物体的反射率低时，则电子设备接收的反射的近红外光较小，则深度摄像头输出的置信度图中对应区域的置信度值较低。通常，颜色偏黑偏暗的物体例如人体头发、黑色衣物等的反射率低，电子设备可以在亮度值小于亮度阈值时，将第一像素点的置信度阈值确定为第二阈值，在亮度值大于或等于亮度阈值，将第一像素点的置信度阈值确定为第一阈值，第二阈值小于第一阈值，也就是说，当被拍摄物体的亮度较暗时，电子设备可以采用较低的置信度阈值来确定初始深度值的有效性，当被拍摄物体的亮度较亮，则电子设备采用较高的置信度阈值来确定初始深度值的有效性，可以提高深度信息的准确性。

图3为一个实施例中调整置信度阈值的流程图。如图3所示，在一个实施例中，提供的图像处理方法中基于第三像素点的亮度值确定第一像素点的置信度阈值之后，还包括：

步骤302，对彩色图像进行目标检测，得到彩色图像包含的目标物体。

具体地，电子设备可以获取彩色图像中包含的图像特征信息，将图像特征信息与预设物体对应的特征信息进行匹配，获取匹配成功的特征信息对应的预设物体即为彩色图像中的目标物体。其中，预存物体可以不限于是人脸、人像、各种动物、植物、建筑等。可选地，电子设备也可以根据VGG(Visual Geometry Group)、CNN(Convolutional NeuralNetwork)、SSD(single shot multibox detector)、决策树(Decision Tree)等深度学习算法训练目标检测模型，根据目标检测模型识别彩色图像中包含的目标物体。

步骤304，获取目标物体对应的目标区域。

电子设备对彩色图像进行目标检测后可以输出彩色图像包含的目标物体及目标物体所在的区域。可选地，彩色图像中包含的目标物体可以是一个或多个，电子设备可以获取彩色图像中目标物体对应的目标区域，对应地，目标物体对应的目标区域也可以是一个或多个。例如，当彩色图像中包含人像和猫两个目标物体时，则电子设备可以获取猫所对应的目标区域，及人像对应的目标区域。可选地，电子设备还可以获取面积最大的目标区域等。

步骤306，当第三像素点在目标区域内时，对第一像素点的置信度阈值进行调整。

具体的调整幅度可以根据实际应用需求进行设定，在此不做限定。具体地，电子设备可以在第三像素点在目标区域内时，将第一像素点的置信度阈值调低。例如，当第一像素点的置信度阈值为80％，若第一像素点对应的第三像素点在目标区域内，则可以将第一像素点的置信度阈值调整为75％、72％、70％等，不限于此。即电子设备可以将目标物体所在的区域的像素点的置信度阈值调低，可以减少初始深度图像中被确定为无效的像素点个数，提高目标物体所在区域的像素点的初始深度值的有效性。

通过对彩色图像进行目标检测，获取彩色图像包含的目标物体及对应的目标区域，当第三像素点在目标区域内时，对第一像素点的置信度阈值进行调整，可以提高置信度阈值的准确性。

在一个实施例中，提供的图像处理方法中对第一像素点的置信度阈值进行调整的过程可以包括：检测目标区域的区域面积；当区域面积大于或等于面积阈值时，以第一差值降低第一像素点的置信度阈值；当区域面积小于面积阈值时，以第二差值降低第一像素点的置信度阈值；其中，第一差值大于第二差值。

在日常生活中，人们对目标物体拍摄时，会拉近目标物体与摄像头之间的距离，提高目标物体在图像中的占比，突出图像中的目标物体。因此，当目标区域的区域面积大于或等于面积阈值时，电子设备可以确定判定彩色图像的拍摄主体即为该目标物体，从而根据第一差值降低第一像素点的置信度阈值，当区域面积小于面积阈值时，电子设备可以确定彩色图像的拍摄主体不为该目标物体，从而以第二差值降低第一像素点的置信度阈值，可以提高置信度阈值调整的准确性。其中，第一差值大于第二差值。第一差值和第二差值可以根据实际应用需求来设定，在此不做限定。例如，第二差值可以是0、5％、8％、10％、15％等，第一差值可以是任意大于第二差值的值，如当第二差值为5％，则第一差值可以是8％、10％、12％、15％等，不限于此。面积阈值可以根据实际应用需求来设定，在此不做限定。具体地，面积阈值可以是对大量图像的拍摄主体的面积进行分析后确定的。

通过检测目标区域的区域面积，当区域面积大于或等于面积阈值时，以第一差值将第一像素点的置信度阈值，当区域面积小于面积阈值时，以第二差值降低第一像素点的置信度阈值，其中，第一差值大于第二差值，即可以根据目标区域的面积确定目标物体是否为拍摄主体，当目标物体为拍摄主体时，采用较大的差值来降低第一像素点的置信度阈值，可以提高置信度阈值调整的准确性，进而提高拍摄主体的像素点的初始深度值的有效性。

在一个实施例中，提供的图像处理方法中获取第一像素点在彩色图像中对应的第三像素点的亮度值，基于第三像素点的亮度值确定第一像素点的置信度阈值之前，还包括：获取初始置信度阈值；判断置信度值是否小于初始置信度阈值；若置信度值小于初始置信度阈值，则执行获取第一像素点在彩色图像中对应第三像素点的亮度值，基于第三像素点的亮度值确定第一像素点的置信度阈值的操作。

初始置信度阈值为电子设备采用的统一的置信度阈值。在一些实施例中，电子设备采用该初始置信度阈值来确定第一像素点的初始深度值是否有效，即当第一像素点对应的第二像素点的置信度值大于或等于该初始置信度阈值时，则确定第一像素点的初始深度值有效，当该第二像素点的置信度值小于该初始置信度阈值时，则确定第一像素点的初始深度值无效。在本申请实施例中，电子设备可以在确定第二像素点的置信度值小于初始置信度阈值时，则执行获取第一像素点在彩色图像中对应的第三像素点的亮度值，基于亮度值确定第一像素点的置信度阈值的操作。可选地，在该实施例中，电子设备基于第三像素点确定的第一像素点的置信度阈值小于或等于初始置信度阈值，从而电子设备可以进一步基于像素点的亮度值确定的置信度阈值重新判定第一像素点的初始深度值的有效性，可以提高深度信息的准确性。

图4为一个实施例中对初始深度图像和彩色图像进行校正的流程图。如图4所示，在一个实施例中，提供的图像处理方法中获取第一像素点在彩色图像中对应第三像素点的亮度值之前，还可以包括：

步骤402，获取深度摄像头与彩色摄像头之间的双目标定信息。

摄像头在出厂之前，需要对摄像头进行标定得到摄像头的标定信息，从而摄像头可以根据标定信息对图像进行处理，使得处理后的图像可以准确还原三维空间中的物体。双目标定信息包含深度摄像头与彩色摄像头之间的外参。具体地，双目标定信息可以用于消除由于深度摄像头与彩色摄像头的位置不同而引起的得到的深度图像与彩色图像中被拍摄物体的位置存在偏差的问题。

步骤404，检测初始深度图像与彩色图像的相同特征点。

特征点是指图像中具有鲜明特性并能够标识图像中目标物体的点。电子设备可以通过尺度不变特征转换(Scale-invariant feature transform，SIFT)方法或加速鲁棒特征(Speed Up Robust Features，SURF)方法等检测初始深度图像与彩色图像的相同特征点。具体地，电子设备可以检测彩色图像包含的特征点，利用立体匹配算法检测各个特征点在初始深度图像中对应的特征点。

步骤406，根据双目标定信息校正相同特征点在初始深度图像与彩色图像中的位置。

电子设备根据双目标定信息校正相同特征点在初始深度图像与彩色图像中的位置，具体地，电子设备可以根据双目标定信息对初始深度图像与彩色图像的相同特征点的位置进行调整，使得相同特征点在初始深度图像与彩色图像中水平对齐。电子设备可以在根据双目标定信息对初始深度图像与彩色图像进行校正处理后，再获取初始深度图像的第一像素点在彩色图像中对应的第三像素点的亮度值，可以提高亮度值检测的效率和准确性。

在一个实施例中，提供的图像处理方法中获取第一像素点在彩色图像中对应第三像素点的亮度值的过程还包括：获取第一像素点在彩色图像中对应的第三像素点；当彩色图像的颜色通道中包含亮度通道时，将第三像素点在亮度通道的值作为第三像素点的亮度值；当彩色图像的颜色通道中不包含亮度通道时，获取第三像素点在颜色通道包含的各个子通道中的色彩值，基于色彩值计算第三像素点的亮度值。

电子设备通过彩色摄像头采集的彩色图像可以采用多种颜色编码方式。不同颜色编码方式包含的颜色通道不同。例如，当彩色图像的编码方式为RGB(Red、Green、Blue，红绿蓝)编码方式时，则此时彩色图像的颜色通道包含红色通道、绿色通道和蓝色通道；当彩色图像的编码方式为YUV(Luminance、Chrominance，明亮度、色度)时，则此时彩色图像的颜色通道包括亮度通道和色度通道。电子设备可以在彩色图像的颜色通道中包含亮度通道时，直接获取第三像素点在亮度通道的值作为第三像素点的亮度值；当彩色图像的颜色通道中不包含亮度通道时，电子设备可以获取第三像素点在颜色通道中包含的各个子通道中的色彩值，基于色彩值计算第三像素点的亮度值。具体的亮度值计算方式可以根据彩色图像的编码方式来确定，在此不做限定。电子设备可以预设不同编码方式对应的亮度计算方式，进而根据摄像头所采用的编码方式选择对应的计算方式计算亮度值。例如，当彩色图像为RGB图像，电子设备可以采用公式Y＝(0.299*R)+(0.587*G)+(0.114*B)来计算第三像素点的亮度值，其中，R、G、B分别为第三像素点在R通道、G通道和B通道对应的色彩值。

通过获取第一像素点在彩色图像中对应的第三像素点，当彩色图像的颜色通道包含亮度通道时，将第三像素点在亮度通道的值作为第三像素点的亮度值，当彩色图像的颜色通道不包含亮度通道时，可以基于第三像素点在各个子通道的色彩值计算第三像素点的亮度值，可以提高亮度值的准确性。

在一个实施例中，提供了一种图像处理方法，实现该方法的具体操作如下所述：

首先，电子设备获取深度摄像头采集的初始深度图像和与该初始深度图像对应的置信度图、彩色摄像头采集的彩色图像。电子设备可以在同一场景下通过深度摄像头和彩色摄像头进行图像采集，得到的初始深度图像与彩色图像中包含的被拍摄物体相同。初始深度图像包含被拍摄物体的深度信息。置信度图中每一个像素点对应的置信度值即为初始深度图像对应位置的像素点的初始深度值的置信度。彩色图像中包含了被拍摄物体的色彩信息。

接着，电子设备获取初始深度图像中第一像素点对应的初始深度值，及第一像素点在置信度图中对应的第二像素点的置信度值。

接着，电子设备获取第一像素点在彩色图像中对应的第三像素点的亮度值，基于第三像素点的亮度值确定第一像素点的置信度阈值。

可选地，当亮度值大于或等于亮度阈值时，电子设备将第一像素点的置信度阈值确定为第一阈值；当亮度值小于亮度阈值时，电子设备将第一像素点的置信度阈值确定为第二阈值；其中，第二阈值小于第一阈值。

可选地，电子设备对彩色图像进行目标检测，得到彩色图像包含的目标物体，获取目标物体对应的目标区域，当第三像素点在目标区域内时，对第一像素点的置信度阈值进行调整。

可选地，电子设备检测目标区域的区域面积；当区域面积大于或等于面积阈值时，以第一差值降低第一像素点的置信度阈值；当区域面积小于面积阈值时，以第二差值降低第一像素点的置信度阈值；其中，第一差值大于第二差值。

可选地，电子设备还可以获取初始置信度阈值；判断置信度值是否小于初始置信度阈值；当置信度值小于初始置信度阈值，则执行检测第一像素点在彩色图像中对应第三像素点的亮度值，基于该第三像素点的亮度值确定第一像素点的置信度阈值的操作。

可选地，电子设备获取第一像素点在彩色图像中对应第三像素点的亮度值之前，还可以获取深度摄像头与彩色摄像头之间的双目标定信息，检测初始深度图像与彩色图像的相同特征点，根据双目标定信息校正相同特征点在初始深度图像与彩色图像中的位置。

可选地，电子设备获取第一像素点在彩色图像中对应的第三像素点；当彩色图像的颜色通道中包含亮度通道时，将第三像素点在亮度通道的值作为第三像素点的亮度值；当彩色图像的颜色通道中不包含亮度通道时，获取第三像素点在颜色通道包含的各个子通道中的色彩值，基于色彩值计算第三像素点的亮度值。

接着，当置信度值大于或等于置信度阈值时，则电子设备确定初始深度值有效。可选地，当置信度值小于置信度阈值时，则电子设备可以确定第一像素点的初始深度值不可信，确定第一像素点的初始深度值无效，或者将第一像素点的深度值确定为无穷远。进一步地，电子设备逐个确定初始深度图像中包含的像素点的初始深度值是否有效，保留有效的像素点的初始深度值，将初始深度值无效的像素点的深度值确定为无效或者无穷远，从而得到目标深度图像。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图5为一个实施例的图像处理装置的结构框图。如图5所示，该图像处理装置包括第一获取模块502、第二获取模块504、阈值确定模块506和深度值确定模块508。其中：

第一获取模块502，用于获取深度摄像头采集的初始深度图像和与该初始深度图像对应的置信度图、彩色摄像头采集的彩色图像。

第二获取模块504，用于获取初始深度图像中第一像素点对应的初始深度值，及第一像素点在置信度图中对应的第二像素点的置信度值。

阈值确定模块506，用于获取第一像素点在彩色图像中对应第三像素点的亮度值，基于第三像素点的亮度值确定第一像素点的置信度阈值。

深度值确定模块508，用于当置信度值大于或等于置信度阈值时，则确定初始深度值有效。

本申请实施例提供的图像处理装置，用于获取深度摄像头采集的初始深度图像和与初始深度图像对应的置信度图、彩色摄像头采集的彩色图像，获取初始深度图像中第一像素点对应的初始深度值，及第一像素点在置信度图中对应的第二像素点的置信度值，获取第一像素点在彩色图像中对应的第三像素点的亮度值，基于该亮度值确定第一像素点的置信度阈值，当置信度值大于或等于该置信度阈值时，则确定初始深度值有效。由于可以根据彩色图像中对应像素点的亮度确定置信度阈值，根据该置信度阈值来确定深度图像中对应的像素点的深度信息是否有效，可以提高深度信息的准确性。

在一个实施例中，阈值确定模块506还可以用于当亮度值大于或等于亮度阈值时，将第一像素点的置信度阈值确定为第一阈值；当亮度值小于亮度阈值时，将第一像素点的置信度阈值确定为第二阈值；其中，第二阈值小于第一阈值。

在一个实施例中，阈值确定模块506还可以用于对彩色图像进行目标检测，得到彩色图像包含的目标物体；获取目标物体对应的目标区域；当第三像素点在目标区域内时，对第一像素点的置信度阈值进行调整。

在一个实施例中，阈值确定模块506还可以用于检测目标区域的区域面积；当区域面积大于或等于面积阈值时，以第一差值降低第一像素点的置信度阈值；当区域面积小于面积阈值时，以第二差值降低第一像素点的置信度阈值；其中，第一差值大于第二差值。

在一个实施例中，阈值确定模块506还可以用于获取初始置信度阈值；判断置信度值是否小于初始置信度阈值；当置信度值小于初始置信度阈值，则获取第一像素点在彩色图像中对应第三像素点的亮度值，基于第三像素点的亮度值确定第一像素点的置信度阈值。

在一个实施例中，提供的图像处理装置还包括图像校正模块510，图像校正模块510用于获取深度摄像头与彩色摄像头之间的双目标定信息；检测初始深度图像与彩色图像的相同特征点；根据双目标定信息校正相同特征点在初始深度图像与彩色图像中的位置。

在一个实施例中，阈值确定模块506还可以用于获取第一像素点在彩色图像中对应的第三像素点；当彩色图像的颜色通道中包含亮度通道时，将第三像素点在亮度通道的值作为第三像素点的亮度值；当彩色图像的颜色通道中不包含亮度通道时，获取第三像素点在颜色通道包含的各个子通道中的色彩值，基于色彩值计算第三像素点的亮度值，基于第三像素点的亮度值确定第一像素点的置信度阈值。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

图6为一个实施例中电子设备的内部结构示意图。如图6所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图7为一个实施例中图像处理电路的示意图。如图7所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图7所示，图像处理电路包括第一ISP处理器730、第二ISP处理器740和控制逻辑器750。第一摄像头710包括一个或多个第一透镜712和第一图像传感器714。第一图像传感器714可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器714可获取用第一图像传感器714的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器730处理的一组图像数据。第二摄像头720包括一个或多个第二透镜722和第二图像传感器724。第二图像传感器724可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器724可获取用第二图像传感器724的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器740处理的一组图像数据。

第一摄像头710采集的第一图像传输给第一ISP处理器730进行处理，第一ISP处理器730处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器750，控制逻辑器750可根据统计数据确定第一摄像头710的控制参数，从而第一摄像头710可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器730进行处理后可存储至图像存储器760中，第一ISP处理器730也可以读取图像存储器760中存储的图像以对进行处理。另外，第一图像经过ISP处理器730进行处理后可直接发送至显示器770进行显示，显示器770也可以读取图像存储器760中的图像以进行显示。

其中，第一ISP处理器730按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有7、10、12或14比特的位深度，第一ISP处理器730可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器760可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器714接口时，第一ISP处理器730可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器760，以便在被显示之前进行另外的处理。第一ISP处理器730从图像存储器760接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器730处理后的图像数据可输出给显示器770，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器730的输出还可发送给图像存储器760，且显示器770可从图像存储器760读取图像数据。在一个实施例中，图像存储器760可被配置为实现一个或多个帧缓冲器。

第一ISP处理器730确定的统计数据可发送给控制逻辑器750。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜712阴影校正等第一图像传感器714统计信息。控制逻辑器750可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头710的控制参数及第一ISP处理器730的控制参数。例如，第一摄像头710的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜712控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜712阴影校正参数。

同样地，第二摄像头720采集的第二图像传输给第二ISP处理器740进行处理，第二ISP处理器740处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器750，控制逻辑器750可根据统计数据确定第二摄像头720的控制参数，从而第二摄像头720可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器740进行处理后可存储至图像存储器760中，第二ISP处理器740也可以读取图像存储器760中存储的图像以对进行处理。另外，第二图像经过ISP处理器740进行处理后可直接发送至显示器770进行显示，显示器770也可以读取图像存储器760中的图像以进行显示。第二摄像头720和第二ISP处理器740也可以实现如第一摄像头710和第一ISP处理器730所描述的处理过程。

在本申请实施例中，运用图7中图像处理技术可实现上述图像处理方法。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取深度摄像头采集的初始深度图像和与所述初始深度图像对应的置信度图、彩色摄像头采集的彩色图像；

获取所述初始深度图像中第一像素点对应的初始深度值，及所述第一像素点在所述置信度图中对应的第二像素点的置信度值；

获取所述第一像素点在所述彩色图像中对应的第三像素点的亮度值，基于所述第三像素点的亮度值确定所述第一像素点的置信度阈值；

当所述置信度值大于或等于所述置信度阈值时，则确定所述初始深度值有效。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第三像素点的亮度值确定所述第一像素点的置信度阈值,包括：

当所述亮度值大于或等于亮度阈值时，将所述第一像素点的置信度阈值确定为第一阈值；

当所述亮度值小于所述亮度阈值时，将所述第一像素点的置信度阈值确定为第二阈值；

其中，所述第二阈值小于所述第一阈值。

3.根据权利要求1所述的方法，其特征在于，在所述基于所述第三像素点的亮度值确定所述第一像素点的置信度阈值之后，还包括：

对所述彩色图像进行目标检测，得到所述彩色图像包含的目标物体；

获取所述目标物体对应的目标区域；

当所述第三像素点在所述目标区域内时，对所述第一像素点的置信度阈值进行调整。

4.根据权利要求3所述的方法，其特征在于，所述对所述第一像素点的置信度阈值进行调整，包括：

检测所述目标区域的区域面积；

当所述区域面积大于或等于面积阈值时，以第一差值降低所述第一像素点的置信度阈值；

当所述区域面积小于所述面积阈值时，以第二差值降低所述第一像素点的置信度阈值；

其中，所述第一差值大于所述第二差值。

5.根据权利要求1所述的方法，其特征在于，所述获取所述第一像素点在所述彩色图像中对应的第三像素点的亮度值,基于所述第三像素点的亮度值确定所述第一像素点的置信度阈值之前，还包括：

获取初始置信度阈值；

判断所述置信度值是否小于所述初始置信度阈值；

若所述置信度值小于所述初始置信度阈值，则执行所述获取所述第一像素点在所述彩色图像中对应第三像素点的亮度值,基于所述第三像素点的亮度值确定所述第一像素点的置信度阈值的操作。

6.根据权利要求1所述的方法，其特征在于，在所述获取所述第一像素点在所述彩色图像中对应第三像素点的亮度值之前，还包括：

获取所述深度摄像头与所述彩色摄像头之间的双目标定信息；

检测所述初始深度图像与所述彩色图像的相同特征点；

根据所述双目标定信息校正所述相同特征点在所述初始深度图像与所述彩色图像中的位置。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述第一像素点在所述彩色图像中对应第三像素点的亮度值，包括：

获取所述第一像素点在所述彩色图像中对应的第三像素点；

当所述彩色图像的颜色通道中包含亮度通道时，将所述第三像素点在所述亮度通道的值作为所述第三像素点的亮度值；

当所述彩色图像的颜色通道中不包含亮度通道时，获取所述第三像素点在所述颜色通道包含的各个子通道中的色彩值，基于所述色彩值计算所述第三像素点的亮度值。

8.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取深度摄像头采集的初始深度图像和与所述初始深度图像对应的置信度图、彩色摄像头采集的彩色图像；

第二获取模块，用于获取所述初始深度图像中第一像素点对应的初始深度值，及所述第一像素点在所述置信度图中对应的第二像素点的置信度值；

阈值确定模块，用于获取所述第一像素点在所述彩色图像中对应第三像素点的亮度值，基于所述第三像素点的亮度值确定所述第一像素点的置信度阈值；

深度值确定模块，用于当所述置信度值大于或等于所述置信度阈值时，则确定所述初始深度值有效。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。