CN104346804A - 图像处理的方法及电子设备 - Google Patents

图像处理的方法及电子设备 Download PDF

Info

Publication number
CN104346804A
CN104346804A CN201310344487.0A CN201310344487A CN104346804A CN 104346804 A CN104346804 A CN 104346804A CN 201310344487 A CN201310344487 A CN 201310344487A CN 104346804 A CN104346804 A CN 104346804A
Authority
CN
China
Prior art keywords
image
pixel
depth
subimage
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310344487.0A
Other languages
English (en)
Inventor
朱振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201310344487.0A priority Critical patent/CN104346804A/zh
Publication of CN104346804A publication Critical patent/CN104346804A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理的方法及电子设备，获取针对一预设区域的第一深度图像；获取针对所述预设区域的第一彩色图像；基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，其中，所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量。

Description

图像处理的方法及电子设备
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理的方法及电子设备。
背景技术
随着图像处理技术的飞速发展，为了获取场景中的深度图像，通常使用两个相隔一定距离的摄像机同时获取场景图像来生成深度图，或者一个摄像机在不同空间位置上获取多幅图像，通过所述多幅图像的灰度信息和成像几何来生成深度图像，由于所述多幅图像是在不同的空间位置上来获取的，使得所述多幅图像上的像素不会完全匹配，使得所述生成的深度图像会缺失一些像素的深度值，通常会基于所述生成的深度图像来修复所述一些像素的深度值，从而能够获取一个完整的深度图。
本申请发明人在实现本申请实施例技术方案的过程中，至少发现现有技术中存在如下技术问题：
现有技术在修复深度图像时，存在修复后的深度图像的精确度低的技术问题，这是因为现有技术在修复深度图像时，是基于所述生成的深度图像来进行修复缺失像素的深度值，其中，一个缺失像素是通过在所述一个缺失像素周边的多个像素来进行修复的，而并不能准确判断所述多个像素与所述缺失像素的相似程度，在所述多个像素与所述缺失像素相似程度较低时，必然会导致修复所述缺失像素的深度值精确也较低，从而使得修复后的深度图像的精确度也较低的技术问题，使得通过所述修复后的深度图像生成的其他图像出现失真，导致效果不好的问题。
发明内容
本申请实施例通过提供一种图像处理的方法及电子设备，用以解决现有技术在修复深度图像时，存在修复后的深度图像的精确度低的技术问题。
本申请实施例提供了一种图像处理的方法，应用于电子设备中，所述方法包括：获取针对一预设区域的第一深度图像；获取针对所述预设区域的第一彩色图像；基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，其中，所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量。
可选的，所述基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，具体包括：从所述第一深度图像中确定所述第一缺失部分和除所述第一缺失部分之外的实体部分，其中，所述第一缺失部分包括K个缺失像素，所述实体部分包含L个实体像素，K和L都不小于2的整数；对所述第一彩色图像进行分割处理，获得包含N个彩色子图像的第一分割图像，所述N个彩色子图像中的每一个彩色子图像中包含的至少两个像素对应的颜色相匹配，其中，N为不小于2的整数；通过将所述第一分割图像映射到所述第一深度图像中，以将所述第一深度图像分割成P个深度子图像，获得第二分割图像，其中，P=N；从所述P个深度子图像中确定包含所述K个缺失像素的M个深度子图像，所述M个深度子图像中的每一个子图像均包含所述K个缺失像素中的至少一个缺失像素和所述L个实体像素中的至少两个实体像素，M为不小于1的整数，且M小于等于K；
基于所述K个缺失像素及所述L个实体像素，获取与所述K个缺失像素对应的K个实体像素；
基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像。
可选的，所述对所述第一彩色图像进行分割处理，获得包含N个彩色子图像的第一分割图像，具体包括：基于图像分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像。
可选的，所述基于图像分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像，具体包括：基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像。
可选的，所述基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像，具体包括：基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获取所述N个彩色子图像的第一像素分布；以及基于所述N个彩色子图像，获取所述第一彩色图像包含的每一个像素的概率参数；基于所述第一彩色图像中的每一个像素的概率参数，将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，获得所述第一分割图像。
可选的，所述基于所述N个彩色子图像，获取所述第一彩色图像中的每一个像素的概率参数，具体包括：基于所述N个彩色子图像，采用高斯混合模型算法来获取所述第一彩色图像包含的每一个像素的概率参数。
可选的，所述基于所述K个缺失像素及所述L个实体像素，获取与所述K个缺失像素对应的K个实体像素，具体包括：基于所述K个缺失像素及所述L个实体像素，采用局部多项式回归算法来获取与所述K个缺失像素对应的K个深度值；基于所述K个深度值，获取所述K个实体像素。
可选的，所述基于所述K个缺失像素及所述L个实体像素，采用局部多项式回归算法来获取与所述K个缺失像素对应的K个深度值，具体包括：获取所述K个缺失像素中的第i个像素；以及从所述M个深度子图像中获取包含所述第i个像素的第j个子图像；基于所述第j个子图像包含的至少两个实体像素，采用局部多项式回归算法来获取与所述i个缺失像素对应的深度值，依次将i从1取到K，获取所述K个缺失像素对应的K个深度值，其中，i为不小1且不大于K的整数，j为不小于1且不大于M的整数。
可选的，在所述基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像之后，所述方法还包括：获取所述第一深度图像中的每一个像素的概率密度；基于所述第一深度图像中的每一个像素的概率密度和深度值，获取所述第一深度图像中的每一个像素的置信度；基于所述第一深度图像中的每一个像素的置信度，获取所述第一深度图像中的多个边缘像素对应的多个深度值，在所述边缘像素中填充所述多个深度值。
本申请一实施例提供了一种电子设备，包括：第一图像获取单元，用于获取针对一预设区域的第一深度图像；第二图像获取单元，用于获取针对所述预设区域的第一彩色图像；第三图像获取单元，用于基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，其中，所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量。
可选的，所述第三图像获取单元，具体用于从所述第一深度图像中确定所述第一缺失部分和除所述第一缺失部分之外的实体部分，其中，所述第一缺失部分包括K个缺失像素，所述实体部分包含L个实体像素，K和L都不小于2的整数，对所述第一彩色图像进行分割处理，获得包含N个彩色子图像的第一分割图像，所述N个彩色子图像中的每一个彩色子图像中包含的至少两个像素对应的颜色相匹配，其中，N为不小于2的整数，通过将所述第一分割图像映射到所述第一深度图像中，以将所述第一深度图像分割成P个深度子图像，获得第二分割图像，其中，P=N，从所述P个深度子图像中确定包含所述K个缺失像素的M个深度子图像，所述M个深度子图像中的每一个子图像均包含所述K个缺失像素中的至少一个缺失像素和所述L个实体像素中的至少两个实体像素，M为不小于1的整数，且M小于等于K，基于所述K个缺失像素及所述L个实体像素，获取与所述K个缺失像素对应的K个实体像素，基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像。
可选的，所述第三图像获取单元包括第一图像分割单元，用于基于图像分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像。
可选的，所述第一图像分割单元，具体用于基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像。
可选的，所述第一图像分割单元，还用于基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获取所述N个彩色子图像的第一像素分布，以及基于所述N个彩色子图像，获取所述第一彩色图像包含的每一个像素的概率参数，再基于所述第一彩色图像中的每一个像素的概率参数，将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，获得所述第一分割图像。
可选的，所述第一图像分割单元包括概率参数获取单元，基于所述N个彩色子图像，用于采用高斯混合模型算法来获取所述第一彩色图像包含的每一个像素的概率参数。
可选的，所述第一图像分割单元，具体用于：基于简单的线性迭代聚类分割方法，用于对所述第一彩色图像进行分割处理，获取所述N个彩色子图像的第一像素分布，以及基于所述N个彩色子图像，用于获取所述第一彩色图像包含的每一个像素的概率参数，再基于所述第一彩色图像中的每一个像素的概率参数，用于将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，获得所述第一分割图像。
可选的，所述第一图像分割单元包括概率参数获取单元，基于所述N个彩色子图像，用于采用高斯混合模型算法来获取所述第一彩色图像包含的每一个像素的概率参数。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
其一、由于本申请实施例是通过获取针对一预设区域的第一深度图像和第一彩色图像，再基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，且所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量，如此，使得本申请实施例是通过所述第一彩色图像来修复所述第一深度图像，从而获得所述第二深度图像，由于所述第一彩色图像相对于所述第一深度图像具有更精确的像素信息，使得在通过所述第一彩色图像修复所述第一深度图像时，能够比基于所述第一深度图像自行修复得到的深度图像的精确度更高，从而解决了现有技术在修复深度图像时，存在修复后的深度图像的精确度低的技术问题，进而实现了提高所述修复后的深度图像的精确度的技术效果。
其二、由于本申请实施例是通过将与第一深度图像对应的第一彩色图像进行分割处理，使得分割后的第一分割图像中的每一个子图像中包含的至少两个像素都对应相同颜色，由于所述每一个子图像中包含的至少两个像素对应的颜色相匹配，导致所述每一个子图像中的深度值的变化不大，如此，将所述第一分割图像映射到第一深度图像中时，能够更精确的选择用于修复所述缺失像素的多个像素，使得在基于所述K个缺失像素及所述L个实体像素，获得与所述K个缺失像素对应的K个实体像素的精确度更高，必然也会导致获得的第二深度图像的精确度也较高，从而解决了现有技术在修复深度图像时，存在修复后的深度图像的精确度低的技术问题，进而实现了提高所述修复后的深度图像的精确度的技术效果。
其三、由于本申请实施例在获取所述N个彩色子图像的第一像素分布之后，还基于所述第一彩色图像包含的每一个像素在所述N个彩色子图像中的概率参数，将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，使得所述N个彩色子图像中的每一个彩色子图像包含的各个像素的相似度更高，进一步的精确选择用于修复所述缺失像素的多个像素，进一步使得修复所述缺失像素的精确度更高，进一步提高所述修复后的深度图像的精确度。
其四、由于本申请实施例是在获得第二深度图像之后，还通过贝叶斯数字抠图方法还消除所述第二深度图像的边缘锯齿，以使得所述第二深度图像具有更平滑的边缘，进而使得通过所述第二深度图像生成的其他图像效果更好，使得用户的体验也更好。
附图说明
图1为本申请实施例中图像处理的方法的第一种流程图；
图2为本申请实施例中图像处理的方法的第二种流程图；
图3为本申请实施例中电子设备的结构示意图。
具体实施方式
本申请实施例通过提供一种图像处理的方法及电子设备，用以解决现有技术在修复深度图像时，存在修复后的深度图像的精确度低的技术问题。
本申请实施例的技术方案为解决上述技术的问题，总体思路如下：
由于本申请实施例是通过获取针对一预设区域的第一深度图像和第一彩色图像，再基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，且所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量，如此，使得本申请实施例是通过所述第一彩色图像来修复所述第一深度图像，从而获得所述第二深度图像，由于所述第一彩色图像相对于所述第一深度图像具有更精确的像素信息，使得在通过所述第一彩色图像修复所述第一深度图像时，能够比基于所述第一深度图像自行修复得到的深度图像的精确度更高，从而解决了现有技术在修复深度图像时，存在修复后的深度图像的精确度低的技术问题，进而实现了提高所述修复后的深度图像的精确度的技术效果。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本申请一实施例提供了一种图像处理的方法，应用于电子设备中，所述电子设备例如是平板电脑、智能手机、笔记本电脑等电子设备。
请参考图1，所述方法包括：
步骤101：获取针对一预设区域的第一深度图像；
步骤102：获取针对所述预设区域的第一彩色图像；
步骤103：基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，其中，所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量。
其中，在步骤101中，获取针对一预设区域的第一深度图像。在具体实施过程中，所述第一深度图像可以通过所述电子设备中的或外连的第一摄像单元来获取，所述第一摄像单元例如摄像头和摄像机等电子设备，在所述第一摄像单元的数量为一个时，需要将所述第一摄像单元在不同的位置来采集所述预设区域的多幅图像，基于所述多幅图像，生成所述第一深度图像，在所述第一摄像单元的数量为多个时，直接通过多个摄像单元采集所述预设区域的多幅图像，基于所述多幅图像，生成所述第一深度图像，当然也可以从其他存储设备例如移动硬盘和U盘等电子设备中直接读取。
其中，由于所述多幅图像是所述第一摄像单元在不同的位置采集所述预设区域的图像的，导致在通过多幅图像在生成所述第一深度图像时，会使得所述第一深度图像中包含的一部分像素的深度值缺失，所述深度值缺失的一部分像素中的每一个像素都是所述缺失像素，即表明所述缺失像素是指所述第一深度图像中的深度值缺失的像素，同理，所述实体像素是指所述第一深度图像中的具有精确深度值的像素。
在执行步骤101之后执行步骤102，在该步骤中，获取针对所述预设区域的第一彩色图像。
另外，还可以同时执行步骤101和步骤102，也可以先执行步骤102，再执行步骤101，本发明不作具体限制。
在具体实施过程中，所述第一彩色图像可以通过所述第一摄像单元或与所述第一摄像单元不同的第二摄像单元来获取，所述第二摄像单元例如摄像头和摄像机等电子设备，当然也可以从其他存储设备例如移动硬盘和U盘等电子设备中直接读取，其中，在通过所述第一摄像单元或所述第二摄像单元获取所述第一彩色图像时，所述第一摄像单元和所述第二摄像单元所在的位置能够采集所述预设区域的全景图像，使得所述第一彩色图像中至少包含有（K+L）个实体像素。
接下来执行步骤103，基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，其中，所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量。
在具体实施过程中，参见图2，步骤103包括步骤104：从所述第一深度图像中确定所述第一缺失部分和除所述第一缺失部分之外的实体部分，其中，所述第一缺失部分包括K个缺失像素，所述实体部分包含L个实体像素，K和L都不小于2的整数；步骤105：对所述第一彩色图像进行分割处理，获得包含N个彩色子图像的第一分割图像，所述N个彩色子图像中的每一个彩色子图像中包含的至少两个像素对应的颜色相匹配，其中，N为不小于2的整数；步骤106：通过将所述第一分割图像映射到所述第一深度图像中，以将所述第一深度图像分割成P个深度子图像，获得第二分割图像，其中，P=N；步骤107：从所述P个深度子图像中确定包含所述K个缺失像素的M个深度子图像，所述M个深度子图像中的每一个子图像均包含所述K个缺失像素中的至少一个缺失像素和所述L个实体像素中的至少两个实体像素，M为不小于1的整数，且M小于等于K；步骤108：基于所述K个缺失像素及所述L个实体像素，获取与所述K个缺失像素对应的K个实体像素；步骤109：基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像。
其中，在步骤104中，从所述第一深度图像中确定所述第一缺失部分和除所述第一缺失部分之外的实体部分，其中，所述第一缺失部分包括K个缺失像素，所述实体部分包含L个实体像素，K和L都不小于2的整。在具体实施过程中，可以在获取所述第一深度图像之后，通过分析所述第一深度图像，从而获取包含所述K个缺失像素的所述第一缺失部分以及包含所述L个实体像素的实体部分。
在执行完步骤104之后，接下来执行步骤105，在该步骤中，对所述第一彩色图像进行分割处理，获得包含N个彩色子图像的第一分割图像，所述N个彩色子图像中的每一个彩色子图像中包含的至少两个像素对应的颜色相匹配，其中，N为不小于2的整数。
在具体实施过程中，在获取所述第一彩色图像之后，对所述第一彩色图像进行分割处理，获得包含所述N个彩色子图像的所述第一分割图像，所述N个彩色子图像中的每一个彩色子图像中包含的至少两个像素对应的颜色相匹配，即表征所述至少两个像素各自对应的颜色的RGB值的差异在一预设范围内，或所述至少两个像素各自对应的颜色的RGB值是相同的，其中，N为不小于2的整数，其中，所述N个彩色子图像中的每一个彩色子图像中的所有的像素都是相邻的。
具体来讲，所述预设范围可以是RGB值中的R（红）值为2，G（绿）值为3，B（蓝）值为2，也可以是RGB值中的R（红）值为3，G（绿）值为4，B（蓝）值为5等，以所述预设范围可以是RGB值中的R（红）值为2，G（绿）值为3，B（蓝）值为2为例，在所述N个彩色子图像中的第一彩色子图像中的第一个像素的RGB值为（3，5，7），当与所述第一个像素紧邻的第二个像素的RGB值为（3，5，8）时，由于所述第一个像素和所述第二个像素之间G值的差异为8-7=1小于2，从而可以确定所述第一子图像包含所述第二像素；若所述第二像素的RGB值为（6，5，8），由于所述第一个像素和所述第二个像素之间R值的差异为6-3=3大于2，导致所述第二像素和所述第一像素各自对应的颜色的RGB值大差异超出了所述预设范围，导致所述第二像素不属于所述第一子图像。
具体的，所述图像分割方法例如可以是SLIC（simple linear iterativeclustering,简单的线性迭代聚类）图像分割方法和graph cuts图像分割方法，以使得所述N个彩色子图像中的每一个彩色子图像中包含的各个像素更一致，下面具体以简单的线性迭代聚类图像分割方法进行叙述。
其中，SLIC图像分割方法是由LAB（颜色模型）空间以及x，y像素坐标共5维空间来计算，Lab色彩模型是由亮度L和有关色彩的a,b三个要素组成，其中，L表示亮度（Luminosity），a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围，L的值域由0到100，L=50时，就相当于50%的黑；a和b的值域都是由+127至-128，其中，当a的值为+127表示洋红色，渐渐过渡到-128时候就变成绿色；同样原理，当a的值为+127表示黄色，渐渐过渡到-128是蓝色，所有的颜色就以这三个值交互变化所组成，例如，一块色彩的Lab值是L=100，a=30和b=0时，则这块色彩就是粉红色。
在实际应用过程中，在使用SLIC图像分割方法来分割所述第一彩色图像，可以设置需要分割的超像素的数量例如是100或200或300等，首先初始化聚类中心，按照设定的超像素的个数，在所述第一彩色图像内均匀的分配N个聚类中心，N为不小于2的整数，然后在所述第一彩色图像包含的多个像素分成多个n*n的邻域，并在所述多个n*n的邻域内调整所述N个聚类中心中的每一个聚类中心的位置，其中，n一般可以是2或3或4等，将所述每一个聚类中心移动到所述多个n*n的邻域内梯度最小的地方，以防止所述N个聚类中心任意一个聚类中心落在边界上，从而获得调整后的N个聚类中心，再确定所述调整后的N个聚类中心中的第i聚类中心的2S*2S的邻域，并计算出所述2S*2S的邻域内的多个像素到所述第i聚类中心的第一距离，i依次从1取到M，从而可以确定所述第一深度图像包含的多个像素中的每一个像素到第J个聚类中心的距离最短，所述第J个图像可以为所述调整后的M个聚类中心中的任意一个，从而可以将所述第一彩色图像分割成包含N个彩色子图像的第一分割图像，其中，S为步长，根据要分割的超像素的个数决定，例如像素总数为M，要分成K个超像素，则S=sqrt（M/K）。
在另一实施例中，所述基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像，具体包括：基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获取所述N个彩色子图像的第一像素分布；以及基于所述N个彩色子图像，获取所述第一彩色图像包含的每一个像素的概率参数；基于所述第一彩色图像中的每一个像素的概率参数，将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，获得所述第一分割图像。
在具体实施过程中，在通过所述SLIC图像分割方法获得所述第一分割图像之后，需获取所述N个彩色子图像的第一像素分布，即表明需要获取所述N个彩色子图像中的每一个彩色子图像包含的多个像素的坐标，以使得所述第一彩色图像中包含的所有像素在所述N个彩色子图像中的分布情况，然后在基于所述N个彩色子图像，获取所述第一彩色图像包含的每一个像素属于所述N个彩色子图像中的每一个彩色子图像的概率参数，基于所述概率参数，将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，以使得所述N个彩色子图像中的每一个彩色子图像包含的多个像素之间的相似度更高，导致在进行以后的运算中的得到的缺失像素的值的精确度也提高。
例如：在所述N个彩色子图像包括a子图像、b子图像和c子图像时，以a子图像包含的4个像素为例，则需要确定所述4个像素中每一个像素的坐标，在所述4个像素包括A、B、C和D像素时，则需确定A像素的坐标例如是（2，3），B像素的坐标为（2，4），C像素的坐标为（3，3），D像素的坐标为（3，4）等，然后获取A像素、B像素、C像素和D像素中的每一个像素分别属于a子图像、b子图像和c子图像的概率参数，例如在A像素属于a子图像的概率参数为60%，属于b子图像的概率参数为80%，属于c子图像的概率参数为50%时，则将A像素调整到b子图像中，基于同样的方法来调整所述第一深度图像中包含的每一个像素各自归属的子图像，如此，能够有效的提高所述N个彩色子图像中的每一个彩色子图像中的多个像素之间的相似度更高，导致在进行以后的运算中的得到的缺失像素的值的精确度也提高。
其中，为了使得说明书简洁，以下将N像素的坐标为（x，y）以N(x，y)进行表示，例如B像素的坐标为（2，4）用B（2，4）表示。
具体的，在所述基于所述N个彩色子图像，获取所述第一彩色图像中的每一个像素的概率参数时，为例确保所述第一彩色图像中包含的每一个像素的概率密度的精确度更高，可以通过采用高斯混合模型（Gaussian Mixture Model）算法来获取所述每一个像素的概率密度。
接下来执行步骤106，在该步骤中，通过将所述第一分割图像映射到所述第一深度图像中，以将所述第一深度图像分割成P个深度子图像，获得第二分割图像，其中，P=N。
在具体实施过程中，由于所述第一分割图像包含有所述N个彩色子图像，使得所述第一分割图像映射到所述第一深度图像中时，可以将所述第一深度图像按照所述第一分割图像进行分割，使得所述第一深度图像分割成P个深度子图像，使得所述P个深度子图像与所述N个彩色子图像相同。
在实际应用过程中，当所述第一彩色图像分割成a子图像、b子图像和c子图像时，所述第二深度图像则分割成a1子图像、b1子图像和c1子图像，其中，a子图像在所述第一彩色图像中的像素分布与a1子图像在所述第二深度子图像中的像素分布相同，例如a子图像中包含的像素为：A（2，3），B（2，4），C（3，3），D（3，4），则a1子图像中包含的像素为：A1（2，3），B1（2，4），C1（3，3），D1（3，4）。
接下来执行步骤107，在该步骤中，从所述P个深度子图像中确定包含所述K个缺失像素的M个深度子图像，所述M个深度子图像中的每一个子图像均包含所述K个缺失像素中的至少一个缺失像素和所述L个实体像素中的至少两个实体像素，M为不小于1的整数，且M小于等于K。
在具体实施过程中，在通过步骤104将所述第一深度图像分割成所述P个深度子图像时，通过查找的方式来确定所述K个缺失像素包含在所述M个深度子图像中，由于在所述第一深度图像中的缺失像素的数量会明显小于实体像素的数量，在所述实体像素的数量为100时，所述缺失像素的数量为10或9等较小的数值，使得所述M个深度子图像中的每一个子图像均包含所述K个缺失像素中的至少一个缺失像素和所述L个实体像素中的至少两个实体像素。
例如，所述M个深度子图像包括a1子图像，其中，a1子图像中的缺失像素为A1（2，3），a1子图像中的实体像素为B1（2，4）、C1（3，3）和D1（3，4）。
接下来执行步骤108，在该步骤中，基于所述K个缺失像素及所述L个实体像素，获取与所述K个缺失像素对应的K个实体像素。
在具体实施过程中，基于所述K个缺失像素及所述L个实体像素，采用局部多项式回归（local polynomial regression）算法来获取与所述K个缺失像素对应的K个深度值；基于所述K个深度值，获取所述K个实体像素。
具体的，由于所述M个深度子图像中的每一个子图像均包含所述K个缺失像素中的至少一个缺失像素和所述L个实体像素中的至少两个实体像素，获取所述K个缺失像素中的第i个像素，以及从所述M个深度子图像中获取包含所述第i个像素的第j个子图像，基于所述第j个子图像包含的至少两个实体像素，采用局部多项式回归算法来获取与所述i个缺失像素对应的深度值，依次将i从1取到K，则可以获取所述K个缺失像素对应的K个深度值。
在实际应用过程中，所述局部多项式回归算法例如可以是P（x，y)＝f(dp(x，y))，其中，x，y表示像素P的坐标，dp(x，y)表示深度值以a1子图像中的缺失像素为A1（2，3），a1子图像中的实体像素为B1（2，4）、C1（3，3）和D1（3，4）为例，通过所述B1（2,4）对应的第一深度值dp(2，4)，C1（3，3）对应的第二深度值dp(3，3)和D1（3，4）对应的第三深度值dp(3，4)代入函数P(x，y)＝f(dp(x，y))中，从而可以求出P(x，y)＝f(dp(x，y))中所有的常量，然后将x=2和y=3代入P(x，y)＝f(dp(x，y))中，从而可以求出缺失像素为A1（2，3）对应的第四深度值dp(2，3)，按照同样的方式求出所述K个缺失像素中的每一个缺失像素对应深度值，从而会获得所述K个深度值。
接下来执行步骤109，在该步骤中，基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像。
在具体实施过程中，通过步骤108获取与所述K个缺失像素对应的深度值之后，将与所述K个缺失像素中的每一个缺失像素对应的深度值填充到所述第一深度图像中，从而将所述第一深度图像调整为所述第二深度图像。
例如，在所述第一深度图像中的缺失像素A1(2，3)中填入第四深度值dp(2，3)，从而将所述第一深度图像调整为所述第二深度图像。
在另一实施例中，在所述基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像之后，所述方法还包括：获取所述第一深度图像中的每一个像素的概率密度；基于所述第一深度图像中的每一个像素的概率密度和深度值，获取所述第一深度图像中的每一个像素的置信度；基于所述第一深度图像中的每一个像素的置信度，获取所述第一深度图像中的多个边缘像素对应的多个深度值，在所述边缘像素中填充所述多个深度值。
具体来讲，由于通过步骤108获取了与所述K个缺失像素对应的所述K个深度值，从而可以获取所述第一深度图像中的每一个像素深度值，可以通过采用高斯混合模型算法来获取所述第一深度图像中的每一个像素属于所述P个子图像中的每一个图像的概率密度，所述概率密度用Cp(x，y)表示，再通过公式1和公式2来获得所述第一深度图像中的每一个像素的置信度，
c d ( x , y ) = 1 2 π σ d ( x , y ) exp { - ( d k ( x , y ) - d ‾ k ( x , y ) ) 2 σ d ( x , y ) 2 }     公式1
σ d ( x , y ) = 1 2 m f d d k 2 ( x , y )     公式2
d g ( x , y ) = d k ( x , y ) , c p ( x , y ) < 1 c d ( x , y ) d k ( x , y ) + ( 1 - c d ( x , y ) ) d p ( x , y ) , otherwise     公式3
其中，X,Y是像素坐标，dk(x,y)是某个观察像素的深度值，是以该观测像素为中心的窗口区域内的深度值的平均，fd是深度相机焦距，m是线性归一化参数，Cd(x，y)表示某个观察像素的置信度，然后获取所述第一深度图像中的多个边缘像素，然后根据公式3来确定与所述多个边缘像素中的每一个像素对应的深度值，然后在所述多个边缘像素中的每一个边缘像素中填充与各个边缘像素对应的深度值。
在另一实施例中，在将所述第一彩色图像分割成所述第一分割图像之后，可以将所述第一分割图像映射到所述第一深度图像中，以将所述第一深度图像分割成P个深度子图像，获得第二分割图像，其中，P=N，通过检查所述P个深度子图像中的每一个深度子图像中包含的多个像素对应的深度值，在检测到一个深度子图像中的第一部分像素的深度值与第二部分像素的深度值差异较大时，再检测所述第一部分像素的第一数量是是否小于所述第二部分像素的第二数量，在所述第一数量小于所述第二数量时，可以确定所述第一部分像素为缺失像素，否则，则判定所述第二部分像素为缺失像素，通过对所述P个深度子图像中的每一个深度子图像进行判断，从而可以获取包括所述K个缺失像素的所述第一缺失部分以及包含L个实体像素的实体部分。
在实际应用过程中，以所述P个深度子图像中第一深度子图像为例，在所述第一深度子图像包含a像素、b像素、c像素、d像素、e像素、f像素和g像素，其中，a像素和b像素的深度值均为10，c、d、e、f和g像素的深度值均为26，由于深度值为10的像素的数量为2小于深度值为26的像素的数量5，则判定a和b像素为缺失像素，c、d、e、f和g像素为实体像素，然后对所述P个深度子图像中的每一个深度子图像进行上述处理，从而可以获取所述K个缺失像素和所述L个实体像素。
然后在从所述P个深度子图像中确定包含所述K个缺失像素的M个深度子图像，所述M个深度子图像中的每一个子图像均包含所述K个缺失像素中的至少一个缺失像素和所述L个实体像素中的至少两个实体像素，M为不小于1的整数，且M小于等于K；并基于所述K个缺失像素及所述L个实体像素，获取与所述K个缺失像素对应的K个实体像素；基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像，上述实施例中已经详细记载了从确定所述M个深度子图像到将所述第一深度图像调整为所述第二深度图像的实施方式，为了说明书的简洁，在此就不再赘述了。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
其一、由于本申请实施例是通过获取针对一预设区域的第一深度图像和第一彩色图像，再基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，且所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量，如此，使得本申请实施例是通过所述第一彩色图像来修复所述第一深度图像，从而获得所述第二深度图像，由于所述第一彩色图像相对于所述第一深度图像具有更精确的像素信息，使得在通过所述第一彩色图像修复所述第一深度图像时，能够比基于所述第一深度图像自行修复得到的深度图像的精确度更高，从而解决了现有技术在修复深度图像时，存在修复后的深度图像的精确度低的技术问题，进而实现了提高所述修复后的深度图像的精确度的技术效果。
其二、由于本申请实施例是通过将与第一深度图像对应的第一彩色图像进行分割处理，使得分割后的第一分割图像中的每一个子图像中包含的至少两个像素都对应相同颜色，由于所述每一个子图像中包含的至少两个像素对应的颜色相匹配，导致所述每一个子图像中的深度值的变化不大，如此，将所述第一分割图像映射到第一深度图像中时，能够更精确的选择用于修复所述缺失像素的多个像素，使得在基于所述K个缺失像素及所述L个实体像素，获得与所述K个缺失像素对应的K个实体像素的精确度更高，必然也会导致获得的第二深度图像的精确度也较高，从而解决了现有技术在修复深度图像时，存在修复后的深度图像的精确度低的技术问题，进而实现了提高所述修复后的深度图像的精确度的技术效果。
其三、由于本申请实施例在获取所述N个彩色子图像的第一像素分布之后，还基于所述第一彩色图像包含的每一个像素在所述N个彩色子图像中的概率参数，将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，使得所述N个彩色子图像中的每一个彩色子图像包含的各个像素的相似度更高，进一步的精确选择用于修复所述缺失像素的多个像素，进一步使得修复所述缺失像素的精确度更高，进一步提高所述修复后的深度图像的精确度。
其四、由于本申请实施例是在获得第二深度图像之后，还通过贝叶斯数字抠图方法还消除所述第二深度图像的边缘锯齿，以使得所述第二深度图像具有更平滑的边缘，进而使得通过所述第二深度图像生成的其他图像效果更好，使得用户的体验也更好。
本申请一实施例提供了一种电子设备，所述电子设备例如是平板电脑、智能手机、笔记本电脑等电子设备。
参见图3，该电子设备包括：第一图像获取单元301，用于获取针对一预设区域的第一深度图像；第二图像获取单元302，用于获取针对所述预设区域的第一彩色图像；第三图像获取单元303，用于基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，其中，所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量。
进一步的，第三图像获取单元303，具体用于从所述第一深度图像中确定所述第一缺失部分和除所述第一缺失部分之外的实体部分，其中，所述第一缺失部分包括K个缺失像素，所述实体部分包含L个实体像素，K和L都不小于2的整数，对所述第一彩色图像进行分割处理，获得包含N个彩色子图像的第一分割图像，所述N个彩色子图像中的每一个彩色子图像中包含的至少两个像素对应的颜色相匹配，其中，N为不小于2的整数，通过将所述第一分割图像映射到所述第一深度图像中，以将所述第一深度图像分割成P个深度子图像，获得第二分割图像，其中，P=N，从所述P个深度子图像中确定包含所述K个缺失像素的M个深度子图像，所述M个深度子图像中的每一个子图像均包含所述K个缺失像素中的至少一个缺失像素和所述L个实体像素中的至少两个实体像素，M为不小于1的整数，且M小于等于K，基于所述K个缺失像素及所述L个实体像素，获取与所述K个缺失像素对应的K个实体像素，基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像。
进一步的，第三图像获取单元303包括第一图像分割单元，用于基于图像分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像。
进一步的，所述第一图像分割单元，具体用于基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像。
进一步的，所述第一图像分割单元，还用于基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获取所述N个彩色子图像的第一像素分布，以及基于所述N个彩色子图像，获取所述第一彩色图像包含的每一个像素的概率参数，再基于所述第一彩色图像中的每一个像素的概率参数，将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，获得所述第一分割图像。
进一步的，所述第一图像分割单元包括概率参数获取单元，基于所述N个彩色子图像，用于采用高斯混合模型算法来获取所述第一彩色图像包含的每一个像素的概率参数。
进一步的，第三图像获取单元303包括像素恢复单元，用于基于所述K个缺失像素及所述L个实体像素，采用局部多项式回归算法来获取与所述K个缺失像素对应的K个深度值，再基于所述K个深度值，获取所述K个实体像素。
进一步的，所述像素恢复单元包括深度值获取单元，用于获取所述K个缺失像素中的第i个像素，以及用于从所述M个深度子图像中获取包含所述第i个像素的第j个子图像，再基于所述第j个子图像包含的至少两个实体像素，用于采用局部多项式回归算法来获取与所述i个缺失像素对应的深度值，依次将i从1取到K，获取所述K个缺失像素对应的K个深度值，其中，i为不小1且不大于K的整数，j为不小于1且不大于M的整数。
进一步的，所述电子设备还包括锯齿消除单元，在所述基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像之后，用于获取所述第一深度图像中的每一个像素的概率密度，并基于所述第一深度图像中的每一个像素的概率密度和深度值，用于获取所述第一深度图像中的每一个像素的置信度，基于所述第一深度图像中的每一个像素的置信度，用于获取所述第一深度图像中的多个边缘像素对应的多个深度值，以及用于在所述边缘像素中填充所述多个深度值。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
其一、由于本申请实施例是通过获取针对一预设区域的第一深度图像和第一彩色图像，再基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，且所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量，如此，使得本申请实施例是通过所述第一彩色图像来修复所述第一深度图像，从而获得所述第二深度图像，由于所述第一彩色图像相对于所述第一深度图像具有更精确的像素信息，使得在通过所述第一彩色图像修复所述第一深度图像时，能够比基于所述第一深度图像自行修复得到的深度图像的精确度更高，从而解决了现有技术在修复深度图像时，存在修复后的深度图像的精确度低的技术问题，进而实现了提高所述修复后的深度图像的精确度的技术效果。
其二、由于本申请实施例是通过将与第一深度图像对应的第一彩色图像进行分割处理，使得分割后的第一分割图像中的每一个子图像中包含的至少两个像素都对应相同颜色，由于所述每一个子图像中包含的至少两个像素对应的颜色相匹配，导致所述每一个子图像中的深度值的变化不大，如此，将所述第一分割图像映射到第一深度图像中时，能够更精确的选择用于修复所述缺失像素的多个像素，使得在基于所述K个缺失像素及所述L个实体像素，获得与所述K个缺失像素对应的K个实体像素的精确度更高，必然也会导致获得的第二深度图像的精确度也较高，从而解决了现有技术在修复深度图像时，存在修复后的深度图像的精确度低的技术问题，进而实现了提高所述修复后的深度图像的精确度的技术效果。
其三、由于本申请实施例在获取所述N个彩色子图像的第一像素分布之后，还基于所述第一彩色图像包含的每一个像素在所述N个彩色子图像中的概率参数，将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，使得所述N个彩色子图像中的每一个彩色子图像包含的各个像素的相似度更高，进一步的精确选择用于修复所述缺失像素的多个像素，进一步使得修复所述缺失像素的精确度更高，进一步提高所述修复后的深度图像的精确度。
其四、由于本申请实施例是在获得第二深度图像之后，还通过贝叶斯数字抠图方法还消除所述第二深度图像的边缘锯齿，以使得所述第二深度图像具有更平滑的边缘，进而使得通过所述第二深度图像生成的其他图像效果更好，使得用户的体验也更好。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种图像处理的方法，应用于电子设备中，所述方法包括：
获取针对一预设区域的第一深度图像；
获取针对所述预设区域的第一彩色图像；
基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，其中，所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量。
2.如权利要求1所述的方法，其特征在于，所述基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，具体包括：
从所述第一深度图像中确定所述第一缺失部分和除所述第一缺失部分之外的实体部分，其中，所述第一缺失部分包括K个缺失像素，所述实体部分包含L个实体像素，K和L都不小于2的整数；
对所述第一彩色图像进行分割处理，获得包含N个彩色子图像的第一分割图像，所述N个彩色子图像中的每一个彩色子图像中包含的至少两个像素对应的颜色相匹配，其中，N为不小于2的整数；
通过将所述第一分割图像映射到所述第一深度图像中，以将所述第一深度图像分割成P个深度子图像，获得第二分割图像，其中，P=N；
从所述P个深度子图像中确定包含所述K个缺失像素的M个深度子图像，所述M个深度子图像中的每一个子图像均包含所述K个缺失像素中的至少一个缺失像素和所述L个实体像素中的至少两个实体像素，M为不小于1的整数，且M小于等于K；
基于所述K个缺失像素及所述L个实体像素，获取与所述K个缺失像素对应的K个实体像素；
基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像。
3.如权利要求2所述的方法，其特征在于，所述对所述第一彩色图像进行分割处理，获得包含N个彩色子图像的第一分割图像，具体包括：
基于图像分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像。
4.如权利要求3所述的方法，其特征在于，所述基于图像分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像，具体包括：
基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像。
5.如权利要求4所述的方法，其特征在于，所述基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像，具体包括：
基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获取所述N个彩色子图像的第一像素分布；以及
基于所述N个彩色子图像，获取所述第一彩色图像包含的每一个像素的概率参数；
基于所述第一彩色图像中的每一个像素的概率参数，将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，获得所述第一分割图像。
6.如权利要求5所述的方法，其特征在于，所述基于所述N个彩色子图像，获取所述第一彩色图像中的每一个像素的概率参数，具体包括：
基于所述N个彩色子图像，采用高斯混合模型算法来获取所述第一彩色图像包含的每一个像素的概率参数。
7.如权利要求2-6任一项所述的方法，其特征在于，所述基于所述K个缺失像素及所述L个实体像素，获取与所述K个缺失像素对应的K个实体像素，具体包括:
基于所述K个缺失像素及所述L个实体像素，采用局部多项式回归算法来获取与所述K个缺失像素对应的K个深度值；
基于所述K个深度值，获取所述K个实体像素。
8.如权利要求7所述的方法，其特征在于，所述基于所述K个缺失像素及所述L个实体像素，采用局部多项式回归算法来获取与所述K个缺失像素对应的K个深度值，具体包括：
获取所述K个缺失像素中的第i个像素；以及
从所述M个深度子图像中获取包含所述第i个像素的第j个子图像；
基于所述第j个子图像包含的至少两个实体像素，采用局部多项式回归算法来获取与所述i个缺失像素对应的深度值，依次将i从1取到K，获取所述K个缺失像素对应的K个深度值，其中，i为不小1且不大于K的整数，j为不小于1且不大于M的整数。
9.如权利要求7所述的方法，其特征在于，在所述基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像之后，所述方法还包括：
获取所述第一深度图像中的每一个像素的概率密度；
基于所述第一深度图像中的每一个像素的概率密度和深度值，获取所述第一深度图像中的每一个像素的置信度；
基于所述第一深度图像中的每一个像素的置信度，获取所述第一深度图像中的多个边缘像素对应的多个深度值，在所述边缘像素中填充所述多个深度值。
10.一种电子设备，包括：
第一图像获取单元，用于获取针对一预设区域的第一深度图像；
第二图像获取单元，用于获取针对所述预设区域的第一彩色图像；
第三图像获取单元，用于基于所述第一深度图像和所述第一彩色图像，获取与所述预设区域对应的第二深度图像，其中，所述第二深度图像中的第二缺失部分包含的缺失像素的第一数量小于第二数量，所述第二数量为所述第一深度图像中的第一缺失部分包含的缺失像素的数量。
11.如权利要求10所述的电子设备，其特征在于，所述第三图像获取单元，具体用于从所述第一深度图像中确定所述第一缺失部分和除所述第一缺失部分之外的实体部分，其中，所述第一缺失部分包括K个缺失像素，所述实体部分包含L个实体像素，K和L都不小于2的整数，对所述第一彩色图像进行分割处理，获得包含N个彩色子图像的第一分割图像，所述N个彩色子图像中的每一个彩色子图像中包含的至少两个像素对应的颜色相匹配，其中，N为不小于2的整数，通过将所述第一分割图像映射到所述第一深度图像中，以将所述第一深度图像分割成P个深度子图像，获得第二分割图像，其中，P=N，从所述P个深度子图像中确定包含所述K个缺失像素的M个深度子图像，所述M个深度子图像中的每一个子图像均包含所述K个缺失像素中的至少一个缺失像素和所述L个实体像素中的至少两个实体像素，M为不小于1的整数，且M小于等于K，基于所述K个缺失像素及所述L个实体像素，获取与所述K个缺失像素对应的K个实体像素，基于所述K个实体像素和所述实体部分，将所述第一深度图像调整为所述第二深度图像。
12.如权利要求11所述的电子设备，其特征在于，所述第三图像获取单元包括第一图像分割单元，用于基于图像分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像。
13.如权利要求12所述的电子设备，其特征在于，所述第一图像分割单元，具体用于基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获得所述第一分割图像。
14.如权利要求13所述的电子设备，其特征在于，所述第一图像分割单元，还用于基于简单的线性迭代聚类分割方法，对所述第一彩色图像进行分割处理，获取所述N个彩色子图像的第一像素分布，以及基于所述N个彩色子图像，获取所述第一彩色图像包含的每一个像素的概率参数，再基于所述第一彩色图像中的每一个像素的概率参数，将所述N个彩色子图像的像素分布从所述第一像素分布调整为第二像素分布，获得所述第一分割图像。
15.如权利要求14所述的电子设备，其特征在于，所述第一图像分割单元包括概率参数获取单元，基于所述N个彩色子图像，用于采用高斯混合模型算法来获取所述第一彩色图像包含的每一个像素的概率参数。
CN201310344487.0A 2013-08-08 2013-08-08 图像处理的方法及电子设备 Pending CN104346804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310344487.0A CN104346804A (zh) 2013-08-08 2013-08-08 图像处理的方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310344487.0A CN104346804A (zh) 2013-08-08 2013-08-08 图像处理的方法及电子设备

Publications (1)

Publication Number Publication Date
CN104346804A true CN104346804A (zh) 2015-02-11

Family

ID=52502345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310344487.0A Pending CN104346804A (zh) 2013-08-08 2013-08-08 图像处理的方法及电子设备

Country Status (1)

Country Link
CN (1) CN104346804A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106341676A (zh) * 2016-09-29 2017-01-18 济南大学 基于超像素的深度图像预处理和深度空洞填充方法
CN106504751A (zh) * 2016-08-01 2017-03-15 深圳奥比中光科技有限公司 自适应唇语交互方法以及交互装置
CN108182656A (zh) * 2017-12-28 2018-06-19 深圳市创梦天地科技股份有限公司 一种图像处理方法及终端
CN108932464A (zh) * 2017-06-09 2018-12-04 北京猎户星空科技有限公司 客流量统计方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100297538A1 (en) * 2004-01-07 2010-11-25 Taiwan Semiconductor Manufacturing Company, Ltd. Holographic Reticle and Patterning Method
CN102710951A (zh) * 2012-05-09 2012-10-03 天津大学 基于散斑结构光深度相机的多视点计算成像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100297538A1 (en) * 2004-01-07 2010-11-25 Taiwan Semiconductor Manufacturing Company, Ltd. Holographic Reticle and Patterning Method
CN102710951A (zh) * 2012-05-09 2012-10-03 天津大学 基于散斑结构光深度相机的多视点计算成像方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SERGEY MATYUNIN等: "Temporal filtering for depth maps generated by Kinect depth camera", 《3DTV CONFERENCE: THE TRUE VISION - CAPTURE, TRANSMISSION AND DISPLAY OF 3D VIDEO (3DTV-CON), 2011》 *
孙洪仲: "基于图像分割与平面一致性约束的立体匹配方法研究", 《中国优秀硕士学位论文全文数据库》 *
王奎 等: "Kinect深度图像快速修复算法", 《上海大学学报（自然科学版）》 *
谢伙生等: "基于超像素的Grab cut前景提取算法", 《福州大学学报（自然科学版）》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504751A (zh) * 2016-08-01 2017-03-15 深圳奥比中光科技有限公司 自适应唇语交互方法以及交互装置
CN106341676A (zh) * 2016-09-29 2017-01-18 济南大学 基于超像素的深度图像预处理和深度空洞填充方法
CN106341676B (zh) * 2016-09-29 2017-06-16 济南大学 基于超像素的深度图像预处理和深度空洞填充方法
CN108932464A (zh) * 2017-06-09 2018-12-04 北京猎户星空科技有限公司 客流量统计方法及装置
CN108182656A (zh) * 2017-12-28 2018-06-19 深圳市创梦天地科技股份有限公司 一种图像处理方法及终端

Similar Documents

Publication Publication Date Title
US11087554B2 (en) Generating an augmented reality image using a blending factor
CN101635859B (zh) 一种实现平面视频转立体视频的方法和装置
US10824910B2 (en) Image processing method, non-transitory computer readable storage medium and image processing system
CN101976455B (zh) 一种基于立体匹配的彩色图像三维重建方法
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN104820990A (zh) 一种交互式图像抠图系统
CN104735435B (zh) 影像处理方法及电子装置
TWI549477B (zh) 產生深度資訊的方法與裝置
CN111325693A (zh) 一种基于单视点rgb-d图像的大尺度全景视点合成方法
CN104978750B (zh) 用于处理视频文件的方法和装置
CN104346804A (zh) 图像处理的方法及电子设备
CN105825543A (zh) 基于低空遥感影像的多视密集点云生成方法及系统
CN117670961B (zh) 基于深度学习的低空遥感影像多视立体匹配方法及系统
CN111641822B (zh) 一种重定位立体图像质量评价方法
CN103096102B (zh) 影像形变方法
CN102750694B (zh) 基于局部最优置信传播算法的双目视频深度图求取方法
CN116503836A (zh) 一种基于深度补全和图像分割的3d目标检测方法
CN105574844A (zh) 辐射响应函数估计方法和装置
CN114066715A (zh) 图像风格迁移方法、装置、电子设备以及存储介质
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
CN105574926A (zh) 生成三维图像的方法和装置
CN102063705B (zh) 一种大区域非均匀纹理合成方法
CN104378617B (zh) 一种虚拟视点中像素点的获取方法
WO2023014368A1 (en) Single image 3d photography with soft-layering and depth-aware inpainting
CN112419234B (zh) 一种基于几何特征的重定位立体图像质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150211