CN116897532A - 深度图像的修复方法及装置、摄像头组件及电子设备 - Google Patents
深度图像的修复方法及装置、摄像头组件及电子设备 Download PDFInfo
- Publication number
- CN116897532A CN116897532A CN202180094623.8A CN202180094623A CN116897532A CN 116897532 A CN116897532 A CN 116897532A CN 202180094623 A CN202180094623 A CN 202180094623A CN 116897532 A CN116897532 A CN 116897532A
- Authority
- CN
- China
- Prior art keywords
- image
- depth image
- pixel value
- depth
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008439 repair process Effects 0.000 claims abstract description 50
- 238000005457 optimization Methods 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 29
- 230000011218 segmentation Effects 0.000 claims description 29
- 238000010276 construction Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 3
- 238000004378 air conditioning Methods 0.000 claims 3
- 230000006870 function Effects 0.000 description 64
- 230000008569 process Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000000746 body region Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000002787 reinforcement Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 239000011358 absorbing material Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 208000033986 Device capturing issue Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
一种深度图像的修复方法、修复装置(10)、摄像头组件(100)及电子设备(1000)。修复方法包括：获取深度图像的当前场景图像，当前场景图像包括多个不同物体区域，将当前场景图像的各个物体区域映射到不同的像素值范围以获得向导图像；根据深度图像和向导图像构造目标函数进行全局最优化计算以修复深度图像。
Description
本申请涉及影像技术领域，特别涉及一种深度图像的修复方法、修复装置、摄像头组件及电子设备。
为了增强电子设备的功能使得电子设备能够应用于各种应用场景，电子设备配备了深度图像装置来获取深度信息，而由于受遮挡、测量范围限制等因素影响，深度图像会存在空洞等异常情况。
发明内容
本申请实施方式提供一种深度图像的修复方法、修复装置、摄像头组件及电子设备。
本申请实施方式的修复方法包括：获取所述深度图像的当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得向导图像；根据所述深度图像和所述向导图像构造目标函数进行全局最优化计算以修复所述深度图像。
本申请实施方式的一种深度图像的修复装置，所述修复装置包括第一获取模块和第一处理模块。所述第一获取模块用于获取所述深度图像的当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得向导图像；所述第一处理模块用于根据所述深度图像和所述向导图像构造目标函数进行全局最优化计算以修复所述深度图像。
本申请实施方式的一种摄像头组件，所述摄像头组件包括图像传感器、深度传感器和处理器，所述处理器用于获取当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得向导图像；根据所述深度图像和所述向导图像构造目标函数进行全局最优化计算以修复所述深度图像。
本申请实施方式的电子设备包括上述实施方式的摄像头组件及壳体，所述摄像头组件设置在所述壳体上。
上述深度图像的修复方法、修复装置、摄像头组件及电子设备，通过获取深度图像的当前场景图像，并将当前场景图像的各个物体区域映射到不同的像素值范围以获得向导图像。向导图像能够体现场景图像各个不同物体区域的深度变化差异，同时可有效地增强各个不同物体区域的边缘效果。进一步地，根据深度图像和向导图像构造目标函数进行全局最优化计算以修复深度图像，可以有效地对深度图像中的各种面积的空洞进行填充修复。同时，因向导图像中的各个物体区域为不同的像素值范围，在一定程度上使得图像中的边缘信息增强，在修复深度图像时可有效地对边缘处的空洞进行平滑填充修复，并在一定程度上保留边缘信息。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的修复方法的流程示意图；
图2是本申请实施方式的修复方法的示例图；
图3是本申请实施方式的修复方法的流程示意图；
图4是本申请实施方式的修复方法的流程示意图；
图5是本申请实施方式的修复方法的示例图；
图6是本申请实施方式的修复方法的流程示意图；
图7是本申请实施方式的修复方法的流程示意图；
图8是本申请实施方式的修复方法的流程示意图；
图9是本申请实施方式的修复方法的示例图；
图10是本申请实施方式的修复装置模块图；
图11是本申请实施方式的修复装置模块图；
图12是本申请实施方式的修复装置模块图；
图13是本申请实施方式的摄像头组件的示意图；
图14是本申请实施方式的电子设备的示意图。
下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
请参阅图1，本申请提供一种深度图像的修复方法，修复方法包括：
S10：获取深度图像的当前场景图像，当前场景图像包括多个不同物体区域，将当前场景图像的各个物体区域映射到不同的像素值范围以获得向导图像；
S20：根据深度图像和向导图像构造目标函数进行全局最优化计算以修复深度图像。
具体地，在步骤S10中，深度图像包括当前拍摄范围内的物体的深度信息。可通过主动测距传感方式如具有深度传感器的TOF摄像头组件或结构光组件等，或被动测距传感方式如相隔一定距离的两个具有RGB滤波片阵列的图像传感器的摄像头组件同时获取同一场景的两幅图像，然后进行数据处理和深度计算得到深度图像。进一步地，多帧深度图像可存储在深度图缓存空间。在某些实施方式中，通过两个具有RGB滤波片阵列的图像传感器的摄像头组件同时获取同一场景的两幅图像，请结合图2，图2(a)为主摄像头组件拍摄的图像，图2(b)为副摄像头组件拍摄的图像，通过数据处理和深度计算，得到图2(c)所示的深度图像。
同时，与深度图像对应的当前场景图像可包括当前拍摄范围内的物体的场景信息。当前场景图像也可为当前需要显示的预先存储的图像，即就是，当前场景图像可包括原拍摄范围内的物体的场景信息。当前场景图像可通过具有RGB滤波片阵列的图像传感器的摄像头组件拍摄获得。在某些实施方式中，深度图像通过两个具有RGB滤波片阵列的图像传感器的摄像头组件同时获取同一场景的两幅图像，请再次结合图2，图2(a)为主摄像头组件拍摄的图像，图2(b)为副摄像头组件拍摄的图像，当前场景图像可包括图2(a)和/或图2(b)。
进一步地，在获取到当前场景图像之后，将当前场景图像的各个物体区域映射到不同的像素值范围，从而增强当前场景图像中各个物体区域的边缘，获得向导图像。具体地，当前场景图像中的各个物体区域可包括单个或多个人物，和/或单个或多个非人物的物体。在某些实施方式中，可通过机器学习算法等方式分割当前场景图像的各个物体区域，并将各个物体区域映射到不同的像素值范围。在某些实施方式中，还可通过语义分割、实例分割等方式对当前场景图像进行分割，然后通过叠加计算以使得各个物体区域具有不同像素值范围。
在步骤S20中，根据得到的向导图像和深度图像进行目标函数全局最优化计算以修复深度图像。可以理解的是，在深度图像中，因某些因素如当被照射的物体是透明物体、物体表面为吸光材料以及物体表面十分光滑等多种情况之下，或者物体处在深度摄像头的盲区，比如过近或者过远的区域内，都会由于无法捕捉到反射的红外光而造成数据的缺损，从而产生深度图像的误差、空洞等问题，为便于描述，以下深度图像的修复以空洞填补修复作为示例展开。
具体地，将深度图像作为目标函数的输入，向导图像作为边缘加强的加权系数，并使得图像中的每个像素点最大接近周围邻域像素点的像素值，以此构造目标函数并通过全局最优化的求解过程得到目标函数中的输出，即修复后的深度图像，可使得深度图像中的空洞得到有效地填补修复。
如此，上述深度图像的修复方法，通过获取深度图像的当前场景图像，并将当前场景图像的各个物体区域映射到不同的像素值范围以获得向导图像。向导图像能够体现场景图像各个不同物体区域的深度变化差异，同时可有效地增强各个不同物体区域的边缘效果。进一步地，在相关技术中，深度图像的修复方法主要是基于联合双边滤波方法或基于中值滤波或高斯滤波等局部空间滤波方法，但常用于处理小面积空洞，对于大面积空洞，尤其是处于边缘的空洞点时，会造成边缘模糊或消失的问题。本申请将深度图像作为目标函数的输入，向导图像作为边缘加强的加权系数，使得图像中的每个像素点最大接近周围邻域像素点的像素值，以此构造目标函数通过全局最优化的求解过程得到目标函数中的输出，即修复后的深度图像，可以有效地对深度图像中的各种面积的空洞进行填充修复。同时，因向导图像作为边缘 增强的加权系数，可有效地对边缘处的空洞进行平滑填充修复，并在一定程度上保留边缘信息。
请参阅图3，在某些实施方式中，步骤S10包括：
S11：对当前场景图像进行场景检测以确定场景类型；
S12：在场景类型为人物图像时进行人像分割；
S13：在场景类型为非人物图像时进行物体分割；
S14：根据分割结果确定各个物体区域；
S15：将各个物体区域映射到不同的像素值范围以获得向导图像。
具体地，在步骤S11中，可基于机器学习，使用不同场景类型的图片等数据预先进行训练，以提高场景检测能力，这样，在获取到当前场景图像，能够较为准确地确定当前场景图像对应的场景类型。场景类型可包括人物图像、非人物图像、人物-非人物图像，其中，人物图像可包括人像主体和背景，非人物图像可包括物体主体和背景，人物-非人物图像可包括人像主体、物体主体和背景，进一步地，人物主体包括一个人物或者多于一个人物，非人物主体包括一个非人物或者多于一个非人物。在某些实施方式中，对当前场景图像进行场景检测时，首先检测是否存在人像主体，然后检测是否存在物体主体，再结合预先机器学习的结果，从而确定当前场景图像对应的场景类型。
在步骤S12中，对当前场景图像进行人像分割，即就是，分割出人像主体和背景。在步骤S13中，对当前场景图像进行物体分割，即就是，分割出物体主体和背景。在某些实施方式中，在当前场景图像同时包括人像主体和物体主体的情况下，先进行人像主体分割，再进行物体主体分割。
在步骤S14中，根据实际应用情况，各个物体区域可划分为二值结果和多值结果。其中，二值结果包括将所需的单个或多个物体区域划分为主体区域，其余为背景区域。进一步地，将主体区域映射到一个像素值范围，背景区域映射到另一个像素值范围。而多值结果可包括多个人物和/或多个非人物组成多个区域，即将当前场景图像分割为至少三个不同的物体区域，至少三个不同的物体区域包括至少两个主体区域和一个背景区域，多个区域映射到各自不同的像素值范围。在一个例子中，当前场景图像为单人物与背景非人物区域，按照二值结果划分单人物为主体区域，映射像素值范围为155～255，背景非人物区域为背景区域，映射像素值范围为0～100。
在步骤S15中，将各个物体区域映射到不同的像素值范围之后，各个物体区域显示的亮度不同，各个物体区域之间的边界更加清晰，从而获得向导图像。
如此，可获得较为精准的向导图像，从而增强当前场景图像中各个物体区域的边缘。
请参阅图4，在某些实施方式中，步骤S15包括：
S151：根据分割结果确定各个物体区域并形成分割图像，每个物体区域在分割图像中用相同像素值表示；
S152：将分割图像与当前场景图像进行加权处理以获得向导图像。
具体地，预先设置分割图像中各个物体区域的像素值范围，分割图像中各个物体区域的像素值范围不同，不同当前场景图像中相同的物体区域的像素值相同，例如在不同当前场景图像的人物图像中，人像主体的像素值统一设置为(155,255)，背景的像素值统一设置为(0,100)，这样人像主体与背景能够区分开来，形成分割图像。进一步地，将分割图像的像素值与对应的当前场景图像的像素值进行加权处理，即可获得向导图像。在分割图像中，不同的物体区域的像素值范围不同，相比于当前场景图像，分割图像中不同的物体区域的边缘得到增强。其中，加权的权重系数可根据实际需要对各物体区域的区分程度进行设置。
请结合图5，在一个例子中，通过检测当前场景图像的场景，确定当前场景图像的场景类型为人像图像，对人像进行分割得到两个物体区域，其中一个物体区域为人像主体，另外一个物体区域为背景，将人像主体的像素值设置为(155,255)，将背景的像素值设置为(0,100)，从而得到如图5(d)所示的分割图像，再将分割图像的像素值与如图5(e)所示的当前场景图像的像素值进行加权求和，得到如图5(f)所示的向导图像。
需要说明的是，将分割图像与当前场景图像进行加权处理获得向导图像的目的是使得当前场景图像中各物体区域可以不同像素值范围显示，或者说使得各物体区域的区分更明显。可以理解的是，加权处理仅为数学上的一种处理方式，可以有其它如线性函数的方式等。故基于此目的简单数学形式的变换可视为本实施方式的简单替换。
如此，通过将分割图像与当前场景图像进行加权处理得到向导图像，实现方式更为简单有效，且可 根据实际业务需求调整权重系数，从而增强当前场景图像中各个物体区域的边缘。
请参阅图6，在某些实施方式中，步骤S15还包括：
S153：根据物体区域的数量确定各个物体区域映射的像素值范围；
S154：将各个物体区域映射到对应的像素值范围以获得向导图像。
具体地，预先设置物体区域的数量、物体区域的类型与该数量中各个类型的物体区域映射的像素值范围的对应关系，这样，在确定物体区域的数量和类型(例如第一主体区域、第二主体区域、背景区域)之后，根据对应关系，将各个物体区域映射到对应的像素值范围，即可获得边缘增强的向导图像。
如此，通过将各个物体区域映射到对应的像素值范围的方式，获得较为精准的向导图像，从而增强当前场景图像中各个物体区域的边缘。
在某些实施方式中，相邻的两个像素值范围之间间隔预设范围，预设范围的最大值与预设范围的最小值的差值大于1。
可以理解的是，像素值范围包括多个，多个像素值范围包括相邻的第一像素值范围和第二像素值范围，第一像素值范围的最大值小于第二像素值范围的最小值，第二像素值范围的最小值与第一像素值范围的最大值的差值大于1。
在一个例子中，物体区域为2个，则其中一个物体区域的像素值范围可为[0,100]，另外一个物体区域的像素值范围可为[155,255]，预设范围可为(100,155)。在另一个例子中，物体区域为5个，则5个物体区域的像素值范围可分别为[0,41]、[51,92]、[102,143]、[153,194]和[204,245]，预设范围可为(41,51)、(92,102)、(143,153)、(194,204)、(245,255)。
如此，不同的物体区域对应不同的像素值范围，相邻的两个像素值范围之间间隔预设范围，使得不同的物体区域的亮度不同，且不同的物体区域的边界更加清晰。
请参阅图7，在某些实施方式中，深度图像的修复方法还包括：
S30：获取历史帧深度图像，所述历史帧深度图像的拍摄时间在所述深度图像的拍摄时间之前；
S40：获取深度图像的空洞像素集；
S50：根据历史帧深度图像得到修复像素集；
S60：以修复像素集替换空洞像素集以得到增强深度图像；
步骤S20包括：
S21：根据增强深度图像和向导图像构造目标函数进行全局最优化计算以修复深度图像。
在上述实施方式中，深度图像可通过主动测距传感方式如具有深度传感器的TOF摄像头组件或结构光组件等，或被动测距传感方式如相隔一定距离的两个具有RGB滤波片阵列的图像传感器的摄像头组件同时获取同一场景的两幅图像，然后进行数据处理和深度计算得到。通过此类方式得到的深度图像可为原始的深度图像，其中包含空洞，获取空洞像素点集，其中空洞像素点集为原始的深度图像中所有的空洞点的集合。
进一步地，可利用深度图缓冲计算空洞点的历史加权深度值以对原始的深度图像中的空洞点集进行初步填充修复。
具体地，获取深度图缓冲中的历史帧深度图像，历史帧深度图像的拍摄时间在深度图像的拍摄时间之前，包括单帧或多帧深度图像。若为单帧历史深度图像，在原始的深度图像相应空洞位置上具有非0像素值，则选取单帧历史深度图像相应的空洞像素点的像素值作为修复像素集。若为多帧历史深度图像，可按照时间顺序提取所需帧数的历史深度图像，并对此多帧历史深度图像中的空洞像素点进行加权求和得到修复像素集。例如当前时刻为t，缓冲区中存储了t,t-1,t-2时间的原始深度图像。则计算空洞像素点的历史加权值可通过如下公式：
D
t′＝w
1*D
t+w
2*D
t-1+w
3*D
t-2
其中权重w的和为1，即w
1+w
2+w
3＝1，时间越接近当前帧，权重越大。
进一步地，以修复像素集替换原始的深度图像的空洞像素集以得到增强深度图像。然后根据增强深度图像和向导图像构造目标函数进行全局最优化计算以修复深度图像。具体实现同上述实施方式，此处不再展开。
如此，利用深度图缓冲计算空洞点的历史加权深度值对原始的深度图像中的空洞点进行初步填充修复，使得进入目标函数的空洞像素点的像素值更优化，进而可使得目标函数最优化求解得到更好的输出函数，或者说得到对深度图像更佳的修复结果。
请参阅图8，在某些实施方式中，步骤S20还包括：
S22：优化目标函数以使得目标函数取得最小值，并输出最小值对应的修复后的深度图像的当前像素点的像素值，目标函数：
其中，i为当前像素点的位置，u
i为当前像素点的像素值，λ为帧内总权重系数，j为i的邻域N(i)的像素点位置，g为向导图像，w
i,j(g)为向导图像对应的边缘权重系数，u
j为当前像素点的邻域的像素点的像素值，f
i为深度图像中与当前像素点对应的像素值。
具体地，向导图像g通过函数w
i,j(g)作为向导项控制各个物体区域的边缘权重系数，边缘强则系数小，边缘弱则系数大。可以理解的是，利用数学方法对目标函数J(u)进行最小值求解，使得函数中输出函数与输入函数误差达到最小，同时当前像素点最大接近邻域像素点，并通过帧内总平滑权重系数λ及向导图像对应的边缘加强系数w
i,j(g)进行边缘控制。
在某些实施方式中，f
i可为增强深度图像，即上述实施例中，利用深度图缓冲计算空洞点的历史加权深度值对原始的深度图像中的空洞点进行初步填充修复得到的增强深度图像。进一步地，根据增强深度图像和向导图像构造目标函数进行全局最优化计算以修复深度图像。
请结合图9，在一个例子中，9(g)为目标函数的输入深度图像，其中，9(g)中的椭圆形框内为空洞示例，9(h)为向导图像，对目标函数进行最小化求解，最后得到修复的深度图9(i)，图中可看出空洞在一定程度上得到有效地填补修复。
如此，通过优化目标函数J(u)，可以有效地对深度图像中的各种面积的空洞进行填充修复。相对于其它目标函数，J(u)从全局最优化上对输入输出误差最小化，且求解过程为线性加权求解，更为简单有效地对深度图像中的空洞进行填补修复。同时，因向导图像作为边缘增强的加权系数，可有效地对边缘处的空洞进行平滑填充修复，并在一定程度上保留边缘信息。进一步地，相对于现有技术中如利用高斯滤波方式等修复方法，机器学习的目标函数求解速度更快，在一定程度上可达到高速填充修复深度图像。
在某些实施方式中，邻域N(i)为4邻域或8邻域。
可以理解的是，在当前像素点i处于九宫格的中心时，i的4邻域，即就是，与i相邻的上方的一个像素点、与i相邻的下方的一个像素点、与i相邻的左边的一个像素点、与i相邻的右边的一个像素点；i的8邻域，即就是，在i的4邻域的基础上，增加与i对角相邻的四个像素点。
如此，当前帧的当前像素点i的4邻域或8邻域的像素点可以进行滤波处理，从而获得与当前帧深度图像对应的修复后的深度图像。
在某些实施方式中，λ的取值范围为[100,10000]。
具体地，λ的数值可为100、500、700、1000、3000、5000、7000、10000或者100-10000之间的其他数值。
如此，可以根据需要设置帧内总权重系数，从而获得较佳的目标函数。
在某些实施方式中，
g
i为向导图像与当前像素点对应的像素值，g
j为向导图像与邻域N(i)的j点对应的像素值，σ的取值范围为[1,10]。
可以理解，与当前像素点i距离越远的j点对当前像素点i的像素值影响越小，即就是，与当前像素点i距离越远的j点的边缘加强系数越小。具体地，σ的数值可为1、2、3、4、5、6、7、8、9、10或者1-10之间的其他数值。
请参阅图10，本申请提供一种深度图像的修复装置10，修复装置10包括第一获取模块11和第一处理模块12。第一获取模块11用于获取深度图像的当前场景图像，当前场景图像包括多个不同物体区域，将当前场景图像的各个物体区域映射到不同的像素值范围以获得向导图像。第一处理模块12用于根据深度图像和向导图像构造目标函数进行全局最优化计算以修复深度图像。
具体地，深度图像包括当前拍摄范围内的物体的深度信息。可通过主动测距传感方式如具有深度传感器的TOF摄像头组件或结构光组件等，或被动测距传感方式如相隔一定距离的两个具有RGB滤波片阵列的图像传感器的摄像头组件同时获取同一场景的两幅图像，然后进行数据处理和深度计算得到深度图像。进一步地，多帧深度图像可存储在深度图缓存空间。
同时，与深度图像对应的当前场景图像可通过第一获取模块11获取，包括当前拍摄范围内的物体的 场景信息。当前场景图像也可为第一获取模块11获取的当前需要显示的预先存储的图像，即就是，当前场景图像可包括原拍摄范围内的物体的场景信息。当前场景图像可通过具有RGB滤波片阵列的图像传感器的摄像头组件拍摄获得。
进一步地，在获取到当前场景图像之后，第一获取模块11将当前场景图像的各个物体区域映射到不同的像素值范围，从而增强当前场景图像中各个物体区域的边缘，获得向导图像。具体地，当前场景图像中的各个物体区域可包括单个或多个人物，和/或单个或多个非人物的物体。在某些实施方式中，可通过机器学习算法等方式分割当前场景图像的各个物体区域，并将各个物体区域映射到不同的像素值范围。在某些实施方式中，还可通过语义分割、实例分割等方式对当前场景图像进行分割，然后通过叠加计算以使得各个物体区域具有不同像素值范围。
当确定向导图像后，第一处理模块12根据得到的向导图像和深度图像进行目标函数全局最优化计算以修复深度图像。可以理解的是，在深度图像中，因某些因素如当被照射的物体是透明物体、物体表面为吸光材料以及物体表面十分光滑等多种情况之下，或者物体处在深度摄像头的盲区，比如过近或者过远的区域内，都会由于无法捕捉到反射的红外光而造成数据的缺损，从而产生深度图像的空洞问题。
具体地，将深度图像作为目标函数的输入，向导图像作为边缘加强的加权系数，并使得图像中的每个像素点最大接近周围邻域像素点的像素值，以此构造目标函数并通过全局最优化的求解过程得到目标函数中的输出，即修复后的深度图像，可使得深度图像中的空洞得到有效地填补修复。
如此，上述深度图像的修复装置10，通过第一获取模块11获取深度图像的当前场景图像，并将当前场景图像的各个物体区域映射到不同的像素值范围以获得向导图像。向导图像能够体现场景图像各个不同物体区域的深度变化差异，同时可有效地增强各个不同物体区域的边缘效果。进一步地，第一处理模块12将深度图像作为目标函数的输入，向导图像作为边缘加强的加权系数，使得图像中的每个像素点最大接近周围邻域像素点的像素值，以此构造目标函数通过全局最优化的求解过程得到目标函数中的输出，即修复后的深度图像，可以有效地对深度图像中的各种面积的空洞进行填充修复。同时，因向导图像作为边缘增强的加权系数，可有效地对边缘处的空洞进行平滑填充修复，并在一定程度上保留边缘信息。
需要指出的是，上述对深度图像的修复方法的实施方式和有益效果的解释说明，也适应本实施方式的深度图像的修复装置10和以下实施方式所述的摄像头组件及电子设备，为避免冗余，在此不作详细展开。
请再次参阅图10，在某些实施方式中，第一获取模块11包括检测单元111、第一分割单元112、第二分割单元113、确定单元114和映射单元115。检测单元111用于对当前场景图像进行场景检测以确定场景类型。第一分割单元112用于在场景类型为人物图像时进行人像分割。第二分割单元113用于在场景类型为非人物图像时进行物体分割。确定单元114用于根据分割结果确定各个物体区域。映射单元115用于将各个物体区域映射到不同的像素值范围以获得向导图像。
如此，第一获取模块11可获得较为精准的向导图像，从而增强当前场景图像中各个物体区域的边缘。
请再次参阅图10，在某些实施方式中，映射单元115包括第一确定子单元1151和加权处理子单元1152。第一确定子单元1151用于根据分割结果确定各个物体区域并形成分割图像，每个物体区域在分割图像中用相同像素值表示。加权处理子单元1152用于将分割图像与当前场景图像进行加权处理以获得向导图像。
如此，映射单元115通过将分割图像与当前场景图像进行加权处理得到向导图像，实现方式更为简单有效，可根据实际业务需求调整权重系数，从而增强当前场景图像中各个物体区域的边缘。
请参阅图11，在某些实施方式中，映射单元115包括第二确定子单元1153和映射子单元1154。第二确定子单元1153用于根据物体区域的数量确定各个物体区域映射的像素值范围。映射子单元1154用于将各个物体区域映射到对应的像素值范围以获得向导图像。
如此，映射单元115通过将各个物体区域映射到对应的像素值范围的方式，获得较为精准的向导图像，从而增强当前场景图像中各个物体区域的边缘。
在某些实施方式中，相邻的两个像素值范围之间间隔预设范围，预设范围的最大值与预设范围的最小值的差值大于1。
如此，不同的物体区域对应不同的像素值范围，相邻的两个像素值范围之间间隔预设范围，使得不同的物体区域的亮度不同，且不同的物体区域的边界更加清晰。
请参阅图12，在某些实施方式中，修复装置10还包括第二获取模块13和第二处理模块14。第二获 取模块13用于获取历史帧深度图像，历史帧深度图像的拍摄时间在深度图像的拍摄时间之前，及获取深度图像的空洞像素集。第二处理模块14用于根据历史帧深度图像得到修复像素集，及以修复像素集替换深度图像的空洞像素集以得到增强深度图像。同时，第一处理模块12还用于根据增强深度图像和向导图像构造目标函数进行全局最优化计算以修复深度图像。
如此，第二处理模块14利用深度图缓冲计算空洞点的历史加权深度值对原始的深度图像中的空洞点进行初步填充修复，使得进入目标函数的空洞像素点的像素值更优化，进而可使得第一处理模块12执行目标函数最优化求解得到更好的输出函数，或者说得到对深度图像更佳的修复效果。
请再次参阅图10或图11，在某些实施方式中，第一处理模块12包括优化单元210。优化单元210用于优化所述目标函数以使得所述目标函数取得最小值，并输出所述最小值对应的修复后的深度图像的当前像素点的像素值，目标函数：
其中，i为所述当前像素点的位置，u
i为所述当前像素点的像素值，λ为帧内总平滑权重系数，j为i的邻域N(i)的像素点位置，g为所述向导图像，w
i,j(g)为所述向导图像对应的边缘加强系数，u
j为所述当前像素点的邻域的像素点的像素值，f
i为所述深度图像中与所述当前像素点对应的像素值。
如此，第一处理模块12通过优化单元210优化目标函数J(u)，可以有效地对深度图像中的各种面积的空洞进行填充修复。相对于其它目标函数，J(u)从全局最优化上对输入输出误差最小化，且求解过程为线性加权求解，更为简单有效地对深度图像中的空洞进行填补修复。同时，因向导图像作为边缘增强的加权系数，可有效地对边缘处的空洞进行平滑填充修复，并在一定程度上保留边缘信息。进一步地，相对于现有技术中如利用高斯滤波方式等修复方法，机器学习的目标函数求解速度更快，在一定程度上可达到高速填充修复深度图像。
在某些实施方式中，邻域N(i)为4邻域或8邻域。
如此，当前帧的当前像素点i的4邻域或8邻域的像素点可以进行滤波处理，从而获得与当前帧深度图像对应的修复后的深度图像。
在某些实施方式中，λ的取值范围为[100,10000]。
如此，可以根据需要设置帧内总权重系数，从而获得较佳的目标函数。
在某些实施方式中，
g
i为向导图像与当前像素点对应的像素值，g
j为向导图像与邻域N(i)的j点对应的像素值，σ的取值范围为[1,10]。
请参阅图13，本申请提供一种摄像头组件100，摄像头组件100包括图像传感器101、深度传感器102和处理器103。图像传感器101用于拍摄当前场景图像，处理器103用于获取当前场景图像，当前场景图像包括多个不同物体区域，将当前场景图像的各个物体区域映射到不同的像素值范围以获得向导图像，并根据深度图像和向导图像构造目标函数进行全局最优化计算以修复深度图像。
上述摄像头组件100，通过图像传感器101获取深度图像的当前场景图像，并将当前场景图像的各个物体区域映射到不同的像素值范围以获得向导图像。向导图像能够体现场景图像各个不同物体区域的深度变化差异，同时可有效地增强各个不同物体区域的边缘效果。进一步地，深度传感器102用于获取深度图像，处理器103将深度图像作为目标函数的输入，向导图像作为边缘加强的加权系数，使得图像中的每个像素点最大接近周围邻域像素点的像素值，以此构造目标函数通过全局最优化的求解过程得到目标函数中的输出，即修复后的深度图像，可以有效地对深度图像中的各种面积的空洞进行填充修复。同时，因向导图像作为边缘增强的加权系数，可有效地对边缘处的空洞进行平滑填充修复，并在一定程度上保留边缘信息。进一步地，相对于现有技术中如利用高斯滤波方式等修复方法，机器学习的目标函数求解速度更快，在一定程度上可达到高速填充修复深度图像。
处理器103可以用于实现上述任意一种实施方式所述的深度图像的修复方法，在此不再赘述。
请参阅图14，本申请提供一种电子设备1000，电子设备1000包括上述实施方式的摄像头组件100及壳体200，摄像头组件100设置在壳体200上。
上述电子设备1000，通过摄像头组件100获取深度图像的当前场景图像，并将当前场景图像的各个物体区域映射到不同的像素值范围以获得向导图像。向导图像能够体现场景图像各个不同物体区域的深度变化差异，同时可有效地增强各个不同物体区域的边缘效果。进一步地，将深度图像作为目标函数的 输入，向导图像作为边缘加强的加权系数，使得图像中的每个像素点最大接近周围邻域像素点的像素值，以此构造目标函数通过全局最优化的求解过程得到目标函数中的输出，即修复后的深度图像，可以有效地对深度图像中的各种面积的空洞进行填充修复。同时，因向导图像作为边缘增强的加权系数，可有效地对边缘处的空洞进行平滑填充修复，并在一定程度上保留边缘信息。进一步地，相对于现有技术中如利用高斯滤波方式等修复方法，机器学习的目标函数求解速度更快，在一定程度上可达到高速填充修复深度图像。
具体地，在图14所示的实施方式中，电子设备1000为智能手机，在其它实施方式中，电子设备可为相机、平板电脑、笔记本电脑、智能家电、游戏机、头显设备、可穿戴设备等具有拍照功能的其它设备。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (22)
- 一种深度图像的修复方法，其特征在于，所述修复方法包括：获取所述深度图像的当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得向导图像；根据所述深度图像和所述向导图像构造目标函数进行全局最优化计算以修复所述深度图像。
- 根据权利要求1所述的修复方法，其特征在于，所述获取所述深度图像的当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得向导图像包括：对所述当前场景图像进行场景检测以确定场景类型；在所述场景类型为人物图像时进行人像分割；在所述场景类型为非人物图像时进行物体分割；根据分割结果确定各个所述物体区域；将各个所述物体区域映射到不同的所述像素值范围以获得所述向导图像。
- 根据权利要求2所述的修复方法，其特征在于，所述将各个所述物体区域映射到不同的所述像素值范围以获得所述向导图像包括：根据分割结果确定各个所述物体区域并形成分割图像，每个所述物体区域在所述分割图像中用相同像素值表示；将所述分割图像与所述当前场景图像进行加权处理以获得所述向导图像。
- 根据权利要求2所述的修复方法，其特征在于，所述将各个所述物体区域映射到不同的所述像素值范围以获得所述向导图像还包括：根据所述物体区域的数量确定各个所述物体区域映射的所述像素值范围；将各个所述物体区域映射到对应的所述像素值范围以获得所述向导图像。
- 根据权利要求1-4任意一项所述的修复方法，其特征在于，相邻的两个所述像素值范围之间间隔预设范围，所述预设范围的最大值与所述预设范围的最小值的差值大于1。
- 根据权利要求1所述的修复方法，其特征在于，所述修复方法还包括：获取历史帧深度图像，所述历史帧深度图像的拍摄时间在所述深度图像的拍摄时间之前；获取所述深度图像的空洞像素集；根据所述历史帧深度图像得到修复像素集；以所述修复像素集替换所述空洞像素集以得到增强深度图像；所述根据所述深度图像和所述向导图像构造目标函数进行全局最优化计算以修复所述深度图像包括：根据所述增强深度图像和所述向导图像构造目标函数进行全局最优化计算以修复所述深度图像。
- 根据权利要求1所述的修复方法，其特征在于，所述根据所述深度图像和所述向导图像构造目标函数进行全局最优化计算以修复所述深度图像还包括：优化所述目标函数以使得所述目标函数取得最小值，并输出所述最小值对应的修复后的深度图像的当前像素点的像素值，目标函数：其中，i为所述当前像素点的位置，u i为所述当前像素点的像素值，λ为帧内总权重系数，j为i的邻域N(i)的像素点位置，g为所述向导图像，w i,j(g)为所述向导图像对应的边缘加强系数，u j为所述当前像素点的邻域的像素点的像素值，f i为所述深度图像中与所述当前像素点对应的像素值。
- 根据权利要求7所述的修复方法，其特征在于，所述邻域N(i)为4邻域或8邻域。
- 根据权利要求7所述的修复方法，其特征在于，λ的取值范围为[100,10000]。
- 根据权利要求7所述的修复方法，其特征在于， g i为所述向导图像与所述当前像素点对应的像素值，g j为所述向导图像与所述邻域N(i)的j点对应的像素值，σ的取值范围为[1,10]。
- 一种深度图像的修复装置，其特征在于，所述修复装置包括：第一获取模块，用于获取所述深度图像的当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得向导图像；第一处理模块，用于根据所述深度图像和所述向导图像构造目标函数进行全局最优化计算以修复所述深度图像。
- 根据权利要求11所述的修复装置，其特征在于，所述第一获取模块包括：检测单元，用于对所述当前场景图像进行场景检测以确定场景类型；第一分割单元，用于在所述场景类型为人物图像时进行人像分割；第二分割单元，用于在所述场景类型为非人物图像时进行物体分割；确定单元，用于根据分割结果确定各个所述物体区域；映射单元，用于将各个所述物体区域映射到不同的所述像素值范围以获得所述向导图像。
- 根据权利要求12所述的修复装置，其特征在于，所述映射单元包括：第一确定子单元，用于根据分割结果确定各个所述物体区域并形成分割图像，每个所述物体区域在所述分割图像中用相同像素值表示；加权处理子单元，用于将所述分割图像与所述当前场景图像进行加权处理以获得所述向导图像。
- 根据权利要求12所述的修复装置，其特征在于，所述映射单元还包括：第二确定子单元，用于根据所述物体区域的数量确定各个所述物体区域映射的所述像素值范围；映射子单元，用于将各个所述物体区域映射到对应的所述像素值范围以获得所述向导图像。
- 根据权利要求11-14任意一项所述的修复装置，其特征在于，相邻的两个所述像素值范围之间间隔预设范围，所述预设范围的最大值与所述预设范围的最小值的差值大于1。
- 根据权利要求11所述的修复装置，其特征在于，所述修复装置还包括：第二获取模块，用于获取历史帧深度图像，所述历史帧深度图像的拍摄时间在所述深度图像的拍摄时间之前；及获取所述深度图像的空洞像素集；第二处理模块，用于根据所述历史帧深度图像得到修复像素集；及以所述修复像素集替换所述深度图像的所述空洞像素集以得到增强深度图像；第一处理模块，用于根据所述增强深度图像和所述向导图像构造目标函数进行全局最优化计算以修复所述深度图像。
- 根据权利要求11所述的修复装置，其特征在于，所述第一处理模块包括：优化单元，用于优化所述目标函数以使得所述目标函数取得最小值，并输出所述最小值对应的修复后的深度图像的当前像素点的像素值，目标函数：其中，i为所述当前像素点的位置，u i为所述当前像素点的像素值，λ为帧内总平滑权重系数，j为i 的邻域N(i)的像素点位置，g为所述向导图像，w i,j(g)为所述向导图像对应的边缘加强系数，u j为所述当前像素点的邻域的像素点的像素值，f i为所述深度图像中与所述当前像素点对应的像素值。
- 根据权利要求17所述的修复装置，其特征在于，所述邻域N(i)为4邻域或8邻域。
- 根据权利要求17所述的修复装置，其特征在于，λ的取值范围为[100,10000]。
- 根据权利要求17所述的修复装置，其特征在于 g i为所述向导图像与所述当前像素点对应的像素值，g j为所述向导图像与所述邻域N(i)的j点对应的像素值，σ的取值范围为[1,10]。
- 一种摄像头组件，其特征在于，所述摄像头组件包括图像传感器、深度传感器和处理器，所述处理器用于获取当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得向导图像；根据所述深度图像和所述向导图像构造目标函数进行全局最优化计算以修复所述深度图像。
- 一种电子设备，其特征在于，所述电子设备包括：权利要求21所述的摄像头组件；及壳体，所述摄像头组件设置在所述壳体上。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/080255 WO2022188102A1 (zh) | 2021-03-11 | 2021-03-11 | 深度图像的修复方法及装置、摄像头组件及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116897532A true CN116897532A (zh) | 2023-10-17 |
Family
ID=83226176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180094623.8A Pending CN116897532A (zh) | 2021-03-11 | 2021-03-11 | 深度图像的修复方法及装置、摄像头组件及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116897532A (zh) |
| WO (1) | WO2022188102A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630203B (zh) * | 2023-07-19 | 2023-11-07 | 科大乾延科技有限公司 | 集成成像三维显示质量提升方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103561258B (zh) * | 2013-09-25 | 2015-04-15 | 同济大学 | 一种Kinect深度视频时空联合修复方法 |
| TWI573433B (zh) * | 2014-04-30 | 2017-03-01 | 聚晶半導體股份有限公司 | 優化深度資訊的方法與裝置 |
| TWI595771B (zh) * | 2016-10-20 | 2017-08-11 | 聚晶半導體股份有限公司 | 影像深度資訊的優化方法與影像處理裝置 |
| CN108399610A (zh) * | 2018-03-20 | 2018-08-14 | 上海应用技术大学 | 一种融合rgb图像信息的深度图像增强方法 |
| CN109598736B (zh) * | 2018-11-30 | 2021-09-10 | 奥比中光科技集团股份有限公司 | 深度图像与彩色图像的配准方法及装置 |
| CN110147816B (zh) * | 2019-04-10 | 2023-04-07 | 中国科学院深圳先进技术研究院 | 一种彩色深度图像的获取方法、设备、计算机存储介质 |
-
2021
- 2021-03-11 CN CN202180094623.8A patent/CN116897532A/zh active Pending
- 2021-03-11 WO PCT/CN2021/080255 patent/WO2022188102A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022188102A1 (zh) | 2022-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10205896B2 (en) | Automatic lens flare detection and correction for light-field images | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| US7359547B2 (en) | Pseudo three dimensional image generating apparatus | |
| CN108986152B (zh) | 一种基于差分图像的异物检测方法及装置 | |
| CN110298884A (zh) | 一种适于动态环境中单目视觉相机的位姿估计方法 | |
| US9185270B2 (en) | Ghost artifact detection and removal in HDR image creation using graph based selection of local reference | |
| US20170148137A1 (en) | Image data processing apparatus and method | |
| US20070154069A1 (en) | Displacement estimation device and method for the same | |
| JP2019204193A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2020240760A1 (ja) | 差異検出装置、差異検出方法及びプログラム | |
| US20150249779A1 (en) | Smoothing of ghost maps in a ghost artifact detection method for hdr image creation | |
| CN116897532A (zh) | 深度图像的修复方法及装置、摄像头组件及电子设备 | |
| CN113888509A (zh) | 一种图像清晰度的评价方法、装置、设备及存储介质 | |
| JP2004133919A (ja) | 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体 | |
| US20120038785A1 (en) | Method for producing high resolution image | |
| JP2016197377A (ja) | 画像補正用コンピュータプログラム、画像補正装置及び画像補正方法 | |
| JP2017103756A (ja) | 画像データ処理装置及び方法 | |
| JP5927265B2 (ja) | 画像処理装置及びプログラム | |
| CN115619678A (zh) | 一种图像变形的矫正方法、装置、计算机设备及存储介质 | |
| Van Vo et al. | High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation | |
| CN111080543B (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
| CN116977190A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| CN110717471B (zh) | 基于支持向量机模型b超图像目标检测方法及b超扫描仪 | |
| WO2021009804A1 (ja) | 閾値の学習方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |