CN112446910A - 一种深度图像获得方法、装置、电子设备及存储介质 - Google Patents

一种深度图像获得方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112446910A
CN112446910A CN202011459739.0A CN202011459739A CN112446910A CN 112446910 A CN112446910 A CN 112446910A CN 202011459739 A CN202011459739 A CN 202011459739A CN 112446910 A CN112446910 A CN 112446910A
Authority
CN
China
Prior art keywords
image
brightness
maps
map
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011459739.0A
Other languages
English (en)
Inventor
陈澄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Technology Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN202011459739.0A priority Critical patent/CN112446910A/zh
Publication of CN112446910A publication Critical patent/CN112446910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种深度图像获得方法、装置、电子设备及存储介质，涉及图像处理技术领域，包括获得图像采集设备针对待测对象采集的第一数量组初始亮度图，各组初始亮度图的亮度相同；对所获得的初始亮度图进行合成，得到第二数量组合成亮度图，每组合成亮度图由一组或多组初始亮度图合成得到，合成各组合成亮度图时采用的初始亮度图的数量不同，第二数量大于等于2；按照预设的融合规则，对基于每一组合成亮度图得到视差图进行融合，得到融合后的视差图，基于融合后的视差图获得待测对象的深度图像；或，按照预设的融合规则，对基于每一组合成亮度图得到的初始深度图进行融合，得到待测对象的深度图像。可以提高获得高动态范围的深度图像的效率。

Description

一种深度图像获得方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种深度图像获得方法、装置、电子设备及存储介质。
背景技术
在三维检测的应用场景下，为了获得待测对象的深度信息，通常需要利用图像采集设备获得待测对象的深度图像，并且为了提高深度图像的质量，通常需要获得高动态范围的深度图像。
现有技术中，申请公布号为CN108702437的发明专利申请《用于3D成像系统的高动态范围深度生成》中记载了，在获得高动态范围的深度图像时，通常需要利用图像采集设备按照不同的曝光时间采集多帧图像，并分别对各帧图像进行深度信息恢复，得到多帧深度图像，最后对多帧深度图像进行融合，得到最终的深度图像。
应用现有技术虽然可以得到高动态范围的深度图像，但是在按照不同曝光时长的方式采集多帧图像时，由于改变了图像采集设备的曝光时间，会降低采集图像的帧率，进而减小高动态范围的深度图像的获得效率。
发明内容
本发明实施例的目的在于提供一种深度图像获得方法、装置、电子设备及存储介质，以提高获得高动态范围的深度图像的效率。具体技术方案如下：
第一方面，本申请实施例提供了一种深度图像获得方法，所述方法包括：
获得图像采集设备针对待测对象采集的第一数量组初始亮度图，其中，各组初始亮度图的亮度相同；
对所获得的初始亮度图进行合成，得到第二数量组合成亮度图，其中，每组合成亮度图由一组或多组初始亮度图合成得到，合成各组合成亮度图时采用的初始亮度图的数量不同，所述第二数量大于等于2；
按照预设的融合规则，对基于每一组合成亮度图得到视差图进行融合，得到融合后的视差图，基于融合后的视差图获得所述待测对象的深度图像；或，
按照预设的融合规则，对基于每一组合成亮度图得到的初始深度图进行融合，得到所述待测对象的深度图像。
本申请的一个实施例中，所述获得图像采集设备针对待测对象采集的第一数量组初始亮度图，包括：
获得图像采集设备针对待测对象按照相同拍摄参数采集的、连续的第一数量组初始亮度图，其中，所述拍摄参数包括曝光时间、增益；
所述对所获得的初始亮度图进行合成，得到第二数量组合成亮度图，包括：
根据连续的第一数量组初始亮度图，确定第二数量个图像集合，其中，每一图像集合中包含一组或多组初始亮度图，各组图像集合所包含的初始亮度图的数量不相同；
分别对每一图像集合内包含的初始亮度图进行合成，得到第二数量组合成亮度图。
本申请的一个实施例中，所述图像采集设备包括单目摄像机或双目摄像机；
在所述图像采集设备为单目摄像机的情况下，每一组初始亮度图包括一帧初始亮度图；
在所述图像采集设备为双目摄像机的情况下，每一组初始亮度图包括一帧左目摄像机采集的左目初始亮度图和一帧右目摄像机采集的右目初始亮度图。
本申请的一个实施例中，在所述图像采集设备为双目摄像机的情况下，所述分别对每一图像集合内包含的初始亮度图进行合成，得到第二数量组合成亮度图，包括：
针对每一图像集合，对该图像集合包含的初始亮度图中的左目初始亮度图进行合成，并对该图像集合包含的初始亮度图中的右目初始亮度图进行合成，得到该图像集合的合成亮度图。
本申请的一个实施例中，在所述对所获得的初始亮度图进行合成，得到第二数量组合成亮度图步骤之后，所述方法还包括：
针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得该组合成亮度图对应的各个图像位置的像素点的可靠度，其中，每组合成亮度图对应的每一图像位置的像素点的可靠度表征：利用该组合成亮度图中该图像位置的像素点的像素值得到深度图像的可靠程度；
针对每一图像位置，基于各组合成亮度图对应的该图像位置的像素点的可靠度，在预设的可靠度与融合规则的对应关系中，确定该图像位置的像素点对应的目标融合规则；
所述按照预设的融合规则，对基于每一组合成亮度图得到视差图进行融合，得到融合后的视差图，包括：
分别获得各组合成亮度图对应的视差图；
针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个视差图中该图像位置的像素点进行融合，得到融合后视差图；
所述按照预设的融合规则，对基于每一组合成亮度图得到的初始深度图进行融合，得到所述待测对象的深度图像，包括：
分别获得各组合成亮度图对应的视差图，根据各组合成亮度图对应的视差图，获得各组合成亮度图对应的初始深度图；
针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个初始深度图中该图像位置的像素点进行融合，得到所述待测对象的深度图像。
本申请的一个实施例中，所述针对每一图像位置，基于各组合成亮度图对应的该图像位置的像素点的可靠度，在预设的可靠度与融合规则的对应关系中，确定该图像位置的像素点对应的目标融合规则，包括：
基于每组合成亮度图对应的各个图像位置的像素点的可靠度，在各组合成亮度图对应的同一图像位置的像素点的可靠度大于预设的可靠度阈值的情况下，确定该图像位置的像素点对应的目标融合规则为第一融合规则，否则，确定所述目标融合规则为第二融合规则；
其中，所述第一融合规则包括以下规则中的任一种：计算各同位像素点的像素值的算术平均值；或，计算各同位像素点的像素值的加权平均值，所述同位像素点为：各图像中位于同一图像位置的像素点；
所述第二融合规则包括以下规则中的任一种：以可靠度最高的同位像素点的像素值为融合结果；或，以邻域可靠度最高的同位像素点的像素值为融合结果；或，以像素可靠度最高的同位像素点的像素值为融合结果；其中，每一像素点的邻域可靠度为：参考该像素点周围的像素点的可靠度加权计算得到的可靠度，每一像素点的像素可靠度为：参考该像素点的像素值相对周围像素点的像素值的差异计算得到的可靠度。
本申请的一个实施例中，所述针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得该组合成亮度图对应的各个图像位置的像素点的可靠度，包括：
针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得所述至少一帧合成亮度图内各个图像位置的像素点的目标特征值，根据所获得的目标特征值确定该组合成亮度图对应的各个图像位置的像素点的可靠度，其中，所述目标特征值包括以下特征值中的至少一种：灰度特征值、梯度特征值、频域特征值。
本申请的一个实施例中，在所述目标特征值为梯度特征值的情况下，合成亮度图内坐标位置为(x，y)的像素点的目标特征值S(x,y)为根据以下公式计算得到的梯度特征值：
Figure BDA0002831042280000041
其中，所述I(x,y)表示合成亮度图中坐标位置为(x，y)的像素点的像素值，所述w表示预设的像素宽度，d(i,j)为：基于坐标位置为(i，j)的像素点到坐标位置为(x，y)的像素点的距离预设的权重系数。
本申请的一个实施例中，所述分别获得各组合成亮度图对应的视差图，包括：
在所述图像采集设备为双目摄像机的情况下，针对每组合成亮度图，以该组合成亮度图中一目摄像机采集的初始亮度图合成的合成亮度图为基准图，确定另一目摄像机采集的初始亮度图合成的合成亮度图相对所述基准图的视差图，作为该组合成亮度图对应的视差图；或
在所述图像采集设备为单目摄像机的情况下，分别确定每组合成亮度图相对预先标定的基准图的视差图，作为各组合成亮度图对应的视差图。
第二方面，本申请实施例提供了一种深度图像获得装置，所述装置包括：
亮度图获得模块，用于获得图像采集设备针对待测对象采集的第一数量组初始亮度图，其中，各组初始亮度图的亮度相同；
合成亮度图获得模块，用于对所获得的初始亮度图进行合成，得到第二数量组合成亮度图，其中，每组合成亮度图由一组或多组初始亮度图合成得到，合成各组合成亮度图时采用的初始亮度图的数量不同，所述第二数量大于等于2；
图像融合模块，用于按照预设的融合规则，对基于每一组合成亮度图得到视差图进行融合，得到融合后的视差图，基于融合后的视差图获得所述待测对象的深度图像；或，按照预设的融合规则，对基于每一组合成亮度图得到的初始深度图进行融合，得到所述待测对象的深度图像。
本申请的一个实施例中，所述亮度图获得模块，具体用于：
获得图像采集设备针对待测对象按照相同拍摄参数采集的、连续的第一数量组初始亮度图，其中，所述拍摄参数包括曝光时间、增益；
所述合成亮度图获得模块，包括：
集合确定单元，用于根据连续的第一数量组初始亮度图，确定第二数量个图像集合，其中，每一图像集合中包含一组或多组初始亮度图，各组图像集合所包含的初始亮度图的数量不相同；
合成亮度图获得单元，用于分别对每一图像集合内包含的初始亮度图进行合成，得到第二数量组合成亮度图。
本申请的一个实施例中，所述图像采集设备包括单目摄像机或双目摄像机；
在所述图像采集设备为单目摄像机的情况下，每一组初始亮度图包括一帧初始亮度图；
在所述图像采集设备为双目摄像机的情况下，每一组初始亮度图包括一帧左目摄像机采集的左目初始亮度图和一帧右目摄像机采集的右目初始亮度图。
本申请的一个实施例中，在所述图像采集设备为双目摄像机的情况下，所述合成亮度图获得单元，具体用于：
针对每一图像集合，对该图像集合包含的初始亮度图中的左目初始亮度图进行合成，并对该图像集合包含的初始亮度图中的右目初始亮度图进行合成，得到该图像集合的合成亮度图。
本申请的一个实施例中，所述装置还包括：
可靠度获得模块，用于在对所获得的初始亮度图进行合成，得到第二数量组合成亮度图之后，针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得该组合成亮度图对应的各个图像位置的像素点的可靠度，其中，每组合成亮度图对应的每一图像位置的像素点的可靠度表征：利用该组合成亮度图中该图像位置的像素点的像素值得到深度图像的可靠程度；
规则确定模块，用于针对每一图像位置，基于各组合成亮度图对应的该图像位置的像素点的可靠度，在预设的可靠度与融合规则的对应关系中，确定该图像位置的像素点对应的目标融合规则；
所述图像融合模块，包括：
视差图获得单元，用于分别获得各组合成亮度图对应的视差图；
图像融合单元，用于针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个视差图中该图像位置的像素点进行融合，得到融合后视差图，基于融合后的视差图获得所述待测对象的深度图像；或
根据各组合成亮度图对应的视差图，获得各组合成亮度图对应的初始深度图；针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个初始深度图中该图像位置的像素点进行融合，得到所述待测对象的深度图像。
本申请的一个实施例中，所述规则确定模块，具体用于：
基于每组合成亮度图对应的各个图像位置的像素点的可靠度，在各组合成亮度图对应的同一图像位置的像素点的可靠度大于预设的可靠度阈值的情况下，确定该图像位置的像素点对应的目标融合规则为第一融合规则，否则，确定所述目标融合规则为第二融合规则；
其中，所述第一融合规则包括以下规则中的任一种：计算各同位像素点的像素值的算术平均值；或，计算各同位像素点的像素值的加权平均值，所述同位像素点为：各图像中位于同一图像位置的像素点；
所述第二融合规则包括以下规则中的任一种：以可靠度最高的同位像素点的像素值为融合结果；或，以邻域可靠度最高的同位像素点的像素值为融合结果；或，以像素可靠度最高的同位像素点的像素值为融合结果；其中，每一像素点的邻域可靠度为：参考该像素点周围的像素点的可靠度加权计算得到的可靠度，每一像素点的像素可靠度为：参考该像素点的像素值相对周围像素点的像素值的差异计算得到的可靠度。
本申请的一个实施例中，所述可靠度获得模块，具体用于：
针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得所述至少一帧合成亮度图内各个图像位置的像素点的目标特征值，根据所获得的目标特征值确定该组合成亮度图对应的各个图像位置的像素点的可靠度，其中，所述目标特征值包括以下特征值中的至少一种：灰度特征值、梯度特征值、频域特征值。
本申请的一个实施例中，在所述目标特征值为梯度特征值的情况下，合成亮度图内坐标位置为(x，y)的像素点的目标特征值S(x,y)为根据以下公式计算得到的梯度特征值：
Figure BDA0002831042280000071
其中，所述I(x,y)表示合成亮度图中坐标位置为(x，y)的像素点的像素值，所述w表示预设的像素宽度，d(i,j)为：基于坐标位置为(i，j)的像素点到坐标位置为(x，y)的像素点的距离预设的权重系数。
本申请的一个实施例中，所述视差图获得单元，具体用于：
在所述图像采集设备为双目摄像机的情况下，针对每组合成亮度图，以该组合成亮度图中一目摄像机采集的初始亮度图合成的合成亮度图为基准图，确定另一目摄像机采集的初始亮度图合成的合成亮度图相对所述基准图的视差图，作为该组合成亮度图对应的视差图；或
在所述图像采集设备为单目摄像机的情况下，分别确定每组合成亮度图相对预先标定的基准图的视差图，作为各组合成亮度图对应的视差图。
第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的深度图像获得方法。
本发明实施例有益效果：
应用本申请实施例提供的方案对图像进行处理时，首先获得图像采集设备针对待测对象采集的第一数量组初始亮度图，其中，各组初始亮度图的亮度相同；对所获得的初始亮度图进行合成，得到第二数量组合成亮度图，其中，每组合成亮度图由一组或多组初始亮度图合成得到，合成各组合成亮度图时采用的初始亮度图的数量不同，第二数量大于等于2；按照预设的融合规则，对基于每一组合成亮度图得到视差图进行融合，得到融合后的视差图，基于融合后的视差图获得待测对象的深度图像；或，按照预设的融合规则，对基于每一组合成亮度图得到的初始深度图进行融合，得到待测对象的深度图像。
由此可见，本申请实施例提供的方案中，首先获得多组亮度相同的初始亮度图，通过对一组或多组初始亮度图进行合成的方式，获得多组不同亮度的合成亮度图，再根据多组合成亮度图获得深度图像。由于各个初始亮度图的亮度相同，也就是获得各个初始亮度图时图像采集设备的曝光时间相同，这样无需改变图像采集设备的曝光时间，不影响采集图像的帧率，可以提高获得高动态范围的深度图像的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的深度图像获得方法的一种流程示意图；
图2为本申请实施例中双目摄像机获得初始亮度图的过程示意图；
图3为本申请实施例中获得合成亮度图的一种过程示意图；
图4为本申请实施中获得初始亮度图的另一种过程示意图；
图5为本申请实施例提供的深度图像获得方法的第二种流程示意图；
图6为本申请实施例中的梯度特征值计算方法的一种示意图；
图7为本申请实施例提供的深度图像获得方法的又一种流程图；
图8为本申请实施例中融合规则判断方法的一种示意图；
图9为本申请实施例中双目摄像机深度图像获得过程的一种示意图；
图10为本申请实施例提供的深度图像获得方法的再一种流程图；
图11为本申请实施例提供的一种深度图像获得装置的结构示意图；
图12为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高获得高动态范围的深度图像的效率，本申请实施例提供了一种深度图像获得方法、装置、电子设备及存储介质，下面分别进行详细说明。
参见图1，图1为本申请实施例提供的深度图像获得方法的一种流程示意图。上述方法可以应用于图像采集设备、手机、电脑等电子设备中。该方法包括步骤101至步骤104。
步骤101，获得图像采集设备针对待测对象采集的第一数量组初始亮度图。
其中，上述待测对象可以为：三维检测应用场景下期望获得深度信息的对象，待测对象可以是人、车辆、物体等。
上述图像采集设备可以是摄像机，还可以是具有摄像功能的手机、平板、电脑等。上述摄像机可以是双目摄像机、单目摄像机等。
各组初始亮度图的亮度相同。这样采集各组初始亮度图时图像采集设备的曝光时间可以保持不变，进而保证图像采集设备的帧率不变。本申请的一个实施例中，各组初始亮度图的亮度值可以为较低的亮度值，这样在采集各组初始亮度图时，可以以较短的曝光时间进行图像采集，从而可以提高图像获得效率。
每组初始亮度图中包括至少一帧初始亮度图。具体的，在上述图像采集设备为单目摄像机的情况下，每一组初始亮度图中包括一帧初始亮度图；在上述图像采集设备为双目摄像机的情况下，由于双目摄像机中的左目摄像机和右目摄像机可以分别针对待测对象采集图像，因此双目摄像机采集得到的一组初始亮度图中包括一帧左目摄像机采集的左目初始亮度图和一帧右目摄像机采集的右目初始亮度图。其中，上述左目初始亮度图和右目初始亮度图具有相同的亮度。
上述第一数量的取值可以是15、20、30等。上述第一数量组初始亮度图可以是图像采集设备最新采集的图像。具体的，可以按照先进先出的方式持续缓存图像采集设备采集的图像，所缓存的图像的数量为第一数量组，这样可以使得用于合成的初始亮度图为最新采集的图像。
本申请的一个实施例中，在获得多组初始亮度图时，可以获得图像采集设备针对待测对象按照相同拍摄参数采集的、连续的第一数量组初始亮度图。其中，上述拍摄参数包括曝光时间、增益等。上述预设曝光时间可以是1毫秒、5毫秒、30毫秒等。为了提高图像采集设备采集的图像的帧率，进一步提高深度图像的获得效率，可以优先选择较短的曝光时间。这样图像采集设备在采集初始亮度图时，无需改变采集图像的曝光时间，可以保持图像采集设备的帧率不受影响。
参见图2，图2为本申请实施例中双目摄像机获得初始亮度图的过程示意图。如图所示，假设上述图像采集设备为双目摄像机，双目摄像机中的左目摄像机简称为左相机，右目摄像机简称为右相机。双目摄像机可以以较短的曝光时间连续获得N组初始亮度图，因此可以将摄像机采集的图像作为短曝光图。其中左相机可以获取得到短曝光图，称为左目初始亮度图；右相机可以获取得到短曝光图，称为右目初始亮度图，这样每一组初始亮度图中，分别包含两帧初始亮度图，左目初始亮度图和右目初始亮度图具有相同的亮度。
本申请的一个实施例中，在获得多组初始亮度图后，可以截取多组初始亮度图中待测对象所在图像区域，后续可以针对截取得到的多组图像区域获得深度图像。这样无需获得整个待测对象的深度图像，可以节省计算资源，进一步加快深度图像的获得效率。
步骤102，对所获得的初始亮度图进行合成，得到第二数量组合成亮度图。
其中，每组合成亮度图由一组或多组初始亮度图合成得到，合成各组合成亮度图时采用的初始亮度图的数量不同，第二数量大于等于2。
具体的，可以在第一数量组初始亮度图中，选择一组或多组初始亮度图进行合成，得到第二数量组合成亮度图。由于合成各组合成亮度图时，采用的初始亮度图的数量不同，因此所得到的第二数量组合成亮度图具有不同的亮度。
本申请的一个实施例中，在对多组初始亮度图进行合成时，可以直接对各组初始亮度图进行叠加求和。在得到合成亮度图后，还可以对所获得的合成亮度图进行降噪，这样可以减小合成图像带来的噪声影响。还可以对获得的合成亮度图进行图像增强处理，这样可以提高合成亮度图的清晰度，改善图像质量，进而提高所得到的深度图像的准确度。
本申请的一个实施例中，在获得第二数量组合成亮度图时，可以根据连续的第一数量组初始亮度图，确定第二数量个图像集合；分别对每一图像集合内包含的初始亮度图进行合成，得到第二数量组合成亮度图。
其中，每一图像集合中包含一组或多组初始亮度图，各组图像集合所包含的初始亮度图的数量不相同。
具体的，可以按照预设的集合确定规则，基于连续的第一数量组初始亮度图得到第二数量个图像集合。然后针对每一图像集合，对该图像集合中的初始亮度图进行合成，从而得到该图像集合对应的合成亮度图。上述集合确定规则可以是不同的图像集合中包含连续的不同数量的初始亮度图，或者将第一数量组初始亮度图按照不同的数量划分至各个图像集合等。
本申请的一个实施例中，不同图像集合所包含的初始亮度图中可以存在重复的初始亮度图，例如，图像集合S1中可以包含初始亮度图C1，图像集合S2中可以包含初始亮度图C1和C2。
所有图像集合中的初始亮度图可以覆盖上述第一数量组初始亮度图，也可以只覆盖第一数量组初始亮度图中的部分初始亮度图。例如，假设第一数量组初始亮度图包括C1、C2、C3、C4，则图像集合S1中可以包含初始亮度图C1，图像集合S2中可以包含初始亮度图C3和C4。
每一图像集合中所包含的初始亮度图可以是连续的，也可以是不连续的。例如，假设第一数量组初始亮度图包括C1、C2、C3、C4、C5、C6，则图像集合S1中可以包含初始亮度图C1、C3、C5，图像集合S2中可以包含初始亮度图C2、C5、C6。
本申请的一个实施例中，在连续获得合成亮度图的过程中，每次确定图像集合的规则可以相同，也可以不相同，各个用于确定图像集合的规则之间互不干扰。例如，可以首先获得n组初始亮度图，根据该n组初始亮度图和规则1得到至少两组合成亮度图；再获得另一n组初始亮度图，并根据另一n组初始亮度图和规则2得到至少两组合成亮度图。
参见图3，图3为本申请实施例中获得合成亮度图的一种过程示意图。可以首先按照曝光时序获得n组连续的初始亮度图，由于双目摄像机以较短的曝光时长连续获得n组图像，因此可以将摄像机采集的图像作为短曝光图。其中每一组图像中包括一帧左相机采集的短曝光图和一帧右相机采集的短曝光图。从中可以抽取预设数量组初始亮度图合成得到至少两组合成亮度图；再获得下一连续的n组初始亮度图，从中抽取另一预设数量组初始亮度图得到至少两组合成亮度图。
参见图4，图4为本申请实施中获得初始亮度图的另一种过程示意图，与图3所示实施例不同的是，两次获得的n组初始亮度图之间可以存在重叠，即下一次获得的n组初始亮度图中，存在上一次获得的初始亮度图。
除此之外，上述n的取值可以发生改变，也就是，可以首先获得n1组初始亮度图，根据该n1组初始亮度图得到至少两组合成亮度图；再获得n2组初始亮度图，根据n2组初始亮度图得到至少两组合成亮度图。
本申请的一个实施例中，在图像采集设备为双目摄像机的情况下，可以针对每一图像集合，对该图像集合包含的初始亮度图中的左目初始亮度图进行合成，并对该图像集合包含的初始亮度图中的右目初始亮度图进行合成，得到该图像集合的合成亮度图。
具体的，可以针对每一图像集合中的左目初始亮度图和右目初始亮度图分别进行合成，即每一组合成亮度图中包含左目初始亮度图合成得到的一图像，以及右目初始亮度图合成得到的一图像。
在得到第二数量组合成亮度图后，可以执行步骤103或者步骤104。
步骤103，按照预设的融合规则，对基于每一组合成亮度图得到视差图进行融合，得到融合后的视差图，基于融合后的视差图获得待测对象的深度图像。
具体的，可以预先根据各组合成亮度图获得各组视差图，针对各组视差图，可以按照预设的融合规则，对各组视差图中每一图像位置的像素点进行融合，从而得到融合后的视差图。并基于融合后的视差图，获得该待测对象的深度图像。
步骤104，按照预设的融合规则，对基于每一组合成亮度图得到的初始深度图进行融合，得到待测对象的深度图像。
具体的，可以预先根据各组合成亮度图获得各组视差图，并根据各组视差图获得各组初始的深度图，作为各组初始深度图。针对各组初始深度图，可以按照预设的融合规则，对各组初始深度图中每一图像位置的像素点进行融合，从而得到融合后的深度图，作为该待测对象的深度图像。
应用上述实施例提供的方案对图像进行处理时，首先获得多组亮度相同的初始亮度图，通过对一组或多组初始亮度图进行合成的方式，获得多组不同亮度的合成亮度图，再根据多组合成亮度图获得深度图像。由于各个初始亮度图的亮度相同，也就是获得各个初始亮度图时图像采集设备的曝光时间相同，这样无需改变图像采集设备的曝光时间，不影响采集图像的帧率，可以提高获得高动态范围的深度图像的效率。
参见图5，本申请的一个实施例中，在上述步骤102获得各组合成亮度图之后，还包括如下步骤105和106。
步骤105，针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得该组合成亮度图对应的各个图像位置的像素点的可靠度。
其中，每组合成亮度图对应的每一图像位置的像素点的可靠度表征：利用该组合成亮度图中该图像位置的像素点的像素值得到深度图像的可靠程度。
上述可靠度可以以得分的形式表示，在得分越高的情况下，可以认为利用合成亮度图中该图像位置的像素点的像素值得到深度图像的可靠度越高，在得分越低的情况下，可以认为利用合成亮度图中该图像位置的像素点的像素值得到深度图像的可靠度越低。
像素点的可靠度可以基于合成亮度图的图像特征得到，上述图像特征可以是灰度特征、梯度特征、频域特征等，具体的获得方式在后面进行详细介绍。
本申请的一个实施例中，在获得各个图像位置的像素点的可靠度时，所基于的图像特征，可以与后续获得深度图像时所基于的图像特征保持一致。具体的，在根据合成亮度图得到深度图像时，需要利用合成亮度图的灰度特征、梯度特征、频域特征等特征中的至少一种特征。由于每一图像位置的像素点的可靠度可以表征利用合成亮度图中该图像位置的像素点的像素值得到深度图像的可靠度，因此，基于同样的图像特征获得像素点的可靠度，并根据可靠度和上述图像特征获得深度图像，这样所获得的可靠度更能适应深度图像获得方案。
本申请的一个实施例中，在一组合成亮度图中包含多帧合成亮度图时，可以在多帧合成亮度图中选择一帧合成亮度图，获得该帧合成亮度图中各个图像位置的像素点的可靠度，作为该组合成亮度图对应的各个图像位置的各个像素点可靠度。
本申请的一个实施例中，在一组合成亮度图中包含多帧合成亮度图时，还可以对多帧合成亮度图进行融合，得到融合亮度图，获得融合亮度图内各个图像位置的像素点的可靠度，作为该组合成亮度图对应的各个图像位置的各个像素点可靠度。其中，在对多帧合成亮度图进行融合时，可以通过计算各帧合成亮度图中同一图像位置的像素点的像素值均值的方式，获得融合亮度图。上述像素值均值可以是各个像素值的算数平均值、加权平均值等。
除此之外，在一组合成亮度图中包含多帧合成亮度图时，还可以分别获得每帧合成亮度图中各个图像位置的像素点的可靠度，再对各帧合成亮度图中同一图像位置的像素点的可靠度求取均值，得到该组合成亮度图对应的各个图像位置的像素点的可靠度。其中，上述均值可以是算数平均值、加权平均值等。
本申请的一个实施例中，可以以得分图的形式表示各组合成亮度图对应的各个图像位置的像素点的可靠度。
具体的，针对每组合成亮度图，将该组合成亮度图对应的各图像位置的像素点的可靠度作为各像素点的得分，进而作为得分图中各图像位置的像素点的得分值，从而得到该组合成亮度图对应的得分图。
也就是，各组合成亮度图对应的得分图中每一图像位置的得分值可以表征：利用该组合成亮度图中位于该图像位置的像素点的像素值得到深度图的可靠程度。在得分越高的情况下，说明利用该组合成亮度图中位于该图像位置的像素点的像素值得到深度图越可靠，在得分越低的情况下，说明利用该组合成亮度图中位于该图像位置的像素点的像素值得到深度图越不可靠。
步骤106，针对每一图像位置，基于各组合成亮度图对应的该图像位置的像素点的可靠度，在预设的可靠度与融合规则的对应关系中，确定该图像位置的像素点对应的目标融合规则。
具体的，针对每一图像位置，根据各组合成亮度图对应的该图像位置的像素点的可靠度，可以在预设的对应关系确定位于该图像位置的像素点的融合规则，作为目标融合规则，这样便于后续针对各个位于该图像位置的像素点的像素值进行融合，最终得到各组合成亮度图中所有图像位置的像素点对应的目标融合规则。
本申请的一个实施例中，在确定目标融合规则时，可以基于每组合成亮度图对应的各个图像位置的像素点的可靠度，在各组合成亮度图对应的同一图像位置的像素点的可靠度大于预设的可靠度阈值的情况下，确定该图像位置的像素点对应的目标融合规则为第一融合规则，否则，确定目标融合规则为第二融合规则。
其中，第一融合规则包括以下规则中的任一种：计算各同位像素点的像素值的算术平均值；或，计算各同位像素点的像素值的加权平均值。
第二融合规则包括以下规则中的任一种：以可靠度最高的同位像素点的像素值为融合结果；或，以邻域可靠度最高的同位像素点的像素值为融合结果；或，以像素可靠度最高的同位像素点的像素值为融合结果。
同位像素点为：各图像中位于同一图像位置的像素点。上述图像位置可以根据图像坐标系中像素点的坐标确定。例如，假设图像的分辨率为30*30，以图像中左下角的像素点为图像坐标系的原点，横向向右为X轴正方向，纵向向上为Y轴正方向，每一像素点作为一个单位，则图像中第8行、第13列的像素点在图像坐标系中的横坐标为13-1＝12，纵坐标为30-8＝22，即上述像素点的坐标位置为：(12，22)。
每一像素点的邻域可靠度为：参考该像素点周围的像素点的可靠度加权计算得到的可靠度。具体的，针对每一像素点，可以获得该像素点周围预设范围内其他像素点的可靠度，作为参考可靠度，对参考可靠度及该像素点的可靠度进行加权求和，得到该像素点的邻域可靠度。上述像素点的预设范围可以是以该像素点为中心、预设大小的圆形范围或矩形范围等。例如，假设一像素点的可靠度为80，上述预设范围为：以该像素点为中心、边长为3个像素点的矩形范围，该范围内包含8个其他的像素点，其他的像素点的可靠度即参考可靠度分别为：80、75、60、50、95、70、85、90，假设参考可靠度的权重分别为0.05，该像素点的可靠度的权重为0.6，则该像素点的邻域可靠度为：
(80+75+60+50+95+70+85+90)*0.05+80*0.6＝78
每一像素点的像素可靠度为：参考该像素点的像素值相对周围像素点的像素值的差异计算得到的可靠度。具体的，针对每一像素点，可以获得该像素点周围预设范围内的像素点的像素值，作为参考像素值，计算该像素点的像素值相对参考像素值的差异，参考上述差异对该像素点的可靠度进行调整，得到该像素点的像素可靠度。其中，上述差异越大，该像素点的像素可靠度越小，上述差异越小，该像素点的像素可靠度越大。例如，上述差异可以是像素点相对周围预设范围内像素点的像素值差值的均值，上述像素可靠度可以是该像素点的可靠度减去上述均值等，本申请实施例并不对此进行限定。
具体的，针对同一图像位置的各个像素点，如果上述各个像素点的可靠度均大于可靠度阈值，则在对上述各个像素点进行融合时，可以计算各个像素点的像素值的算数平均值或者加权平均值等，作为该图像位置的像素点的融合结果；若上述各个像素点中存在至少一像素点的可靠度小于或等于可靠度阈值，则可以选择各个像素点中可靠度或邻域可靠度或像素可靠度最大的像素点的像素值，作为该图像位置的像素点的融合结果。
例如，假设同一图像位置中存在两个像素点，即两个同位像素点，上述两个同位像素点的可靠度分别为70、85，若可靠度阈值为60，则上述两个同位像素点的可靠度均大于可靠度阈值，因此确定该图像位置的像素点对应的目标融合规则为第一融合规则；若可靠度阈值为75，则上述两个同位像素点中存在一像素点的可靠度小于上述可靠度阈值，因此确定该图像位置的像素点的对应的目标融合规则为第二融合规则。
其中，在像素点的像素值为视差值的情况下，第一融合规则可以是计算各同位像素点的视差值的算数平均值、加权平均值等；在像素点的像素值为深度值的情况下，第一融合规则可以是计算各同位像素点的深度值的算数平均值、加权平均值等。例如，假设同位像素点的视差值分别为180、80、130，目标融合规则为计算各同位像素点的像素值的算术平均值，则融合结果为：
(180+80+130)÷3＝130
在像素点的像素值为视差值的情况下，第二融合规则可以是：以可靠度或邻域可靠度或像素可靠度最高的同位像素点的视差值为融合结果；在像素点的像素值为深度值的情况下，第二融合规则可以是：以可靠度或邻域可靠度或像素可靠度最高的同位像素点的深度值为融合结果。例如，假设同位像素点的深度值分别为200、150、190，可靠度分别为85、80、50，目标融合规则为以可靠度最高的同位像素点的深度值为融合结果，则融合结果为200。
本申请的一个实施例中，对于上述第一融合规则，在计算各同位像素点的像素值的加权平均值时，各同位像素点的像素值对应的权重可以预先设定，也可以根据各同位像素点的可靠度确定。具体的，可以计算各个同位像素点的可靠度占可靠度之和的比值，作为各个同位像素点的像素值的权重，其中，上述可靠度之和为各个同位像素点的可靠度之和。例如，假设存在2个同位像素点，可靠度分别为80、60，可靠度之和为140，则第一个像素点的像素值的权重为80/140＝0.57，第二个像素点的像素值的权重为0.43。
本申请的一个实施例中，对于上述可靠度阈值，由于各组合成亮度图为：由不同数量的输出亮度图合成得到的、不同亮度的图像，因此可以基于用于合成合成亮度图的初始亮度图的数量设定可靠度阈值。例如，对于由3组初始亮度图合成得到的合成亮度图，可以设定对应的可靠度阈值为第一阈值；对于由2组初始亮度图合成得到的合成亮度图，可以设定对应的可靠度阈值为第二阈值。其中，第一阈值的取值与第二阈值的取值可以相等，也可以不相等。这样针对不同的合成亮度图设置不同的可靠度阈值，可以使得所设置的可靠度阈值更适应于对不同合成亮度图的可靠度进行评估，从而可以提高所评估的可靠度的准确性，进一步可以提高获得的深度图像的准确度。具体的，可靠度阈值的取值可以由人工根据经验设定，也可以通过实验确定。
这样在确定目标融合规则时，可以基于各组合成亮度图对应的各个图像位置的像素点的可靠度，在每一合成亮度图对应的同一图像位置的像素点的可靠度大于该相机增益对应的可靠度阈值的情况下，确定各组合成亮度图对应的该图像位置的像素点对应的目标融合规则为第一融合规则，否则，确定目标融合规则为第二融合规则。
本申请的一个实施例中，对于上述步骤105，在获得各个像素点特征信息时，可以针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得所述至少一帧合成亮度图内各个图像位置的像素点的目标特征值，根据所获得的目标特征值确定该组合成亮度图对应的各个图像位置的像素点的可靠度。
其中，所述目标特征值包括以下特征值中的至少一种：灰度特征值、梯度特征值、频域特征值。上述像素值可以是灰度值。
具体的，可以在各组合成亮度图中任选一帧合成亮度图，基于该帧合成亮度图内各图像位置的像素点的像素值，计算该帧合成亮度图内各个图像位置的像素点的目标特征值，直接作为该组合成亮度图对应的各个图像位置的像素点的像素点的可靠度；
还可以在各组合成亮度图中选择多帧合成亮度图，针对所选择的每帧合成亮度图，基于该帧合成亮度图内各图像位置的像素点的像素值，计算该帧合成亮度图内各个图像位置的像素点的目标特征值。然后针对每一图像位置，根据各帧合成亮度图中该图像位置的目标特征值，确定该组合成亮度图对应的各个图像位置的像素点的像素点的可靠度，其中，针对每一图像位置，可以计算各帧合成亮度图中该图像位置的目标特征值的算数平均值、加权平均值、中位数等，作为该组合成亮度图对应的各个图像位置的像素点的像素点的可靠度，也可以选择各帧合成亮度图中该图像位置的目标特征值的最大值或最小值，作为该组合成亮度图对应的各个图像位置的像素点的像素点的可靠度。本申请实施例并不对此进行限定。
本申请的一个实施例，在上述目标特征值为梯度特征值的情况下，合成亮度图内坐标位置为(x，y)的像素点的目标特征值S(x,y)可以为根据以下公式计算得到的梯度特征值：
Figure BDA0002831042280000191
其中，I(x,y)表示合成亮度图中坐标位置为(x，y)的像素点的像素值，w表示预设的像素宽度，上述像素宽度可以是9个像素点、11个像素点、17个像素点等。
d(i,j)为：基于坐标位置为(i，j)的第一像素点到坐标位置为(x，y)的第二像素点的距离预设的权重系数。上述权重系数与第一像素点相对第二像素点的像素距离相关。
在获得各个像素点可靠度时，针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，可以利用上述公式获得上述至少一帧合成亮度图内各个图像位置的像素点的目标特征值，根据所获得的目标特征值确定该组合成亮度图对应的各个图像位置的像素点的可靠度。
参见图6，图6为本申请实施例中的梯度特征值计算方法的一种示意图。图中以坐标位置为(x，y)的像素点为基准的像素点，虚线框表示基于上述基准的像素点按照预设的像素宽度围成的区域，该区域左上角顶点的坐标位置为(x-w/2，y+w/2)、右上角顶点的坐标位置为(x+w/2，y+w/2)、左下角顶点的坐标位置为(x-w/2，y-w/2)、右下角顶点的坐标位置为(x+w/2，y-w/2)。以基准的像素点的像素值为基准像素值，依次针对上述区域内每一像素点的像素值相对基准像素值的差异，最终得到坐标位置(x，y)的像素点的像素值在上述区域内的像素梯度，作为该像素点的目标特征值。
本申请的一个实施例中，除根据梯度特征值确定可靠度外，还可以针对各组合成亮度图中的一帧合成亮度图，计算该帧合成亮度图中各个图像位置的像素点的灰度特征值、频域特征值等，作为该组合成亮度图对应的各个图像位置的像素点的可靠度。
在上述步骤106之后，可以执行步骤103或者步骤104。
对于上述步骤103，在获得深度图像时，可以分别获得各组合成亮度图对应的视差图；针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个视差图中该图像位置的像素点进行融合，得到融合后视差图。
具体的，预先根据各组合成亮度图获得各组视差图后，针对各组视差图，分别按照每一图像位置的像素点对应的目标融合规则，对各组视差图中每一图像位置的像素点进行融合，从而得到融合后的视差图，并基于融合后的视差图，获得该待测对象的深度图像。
对于上述步骤104，在获得深度图像时，可以分别获得各组合成亮度图对应的视差图，根据各组合成亮度图对应的视差图，获得各组合成亮度图对应的初始深度图；针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个初始深度图中该图像位置的像素点进行融合，得到所述待测对象的深度图像。
具体的，在根据各组合成亮度图获得各组视差图后，可以根据各组视差图获得各组初始的深度图，作为各组初始深度图。在得到每一图像位置的像素点对应的目标融合规则后，针对各组初始深度图，分别按照每一图像位置的像素点对应的目标融合规则，对各组初始深度图中每一图像位置的像素点进行融合，从而得到融合后的深度图，作为该待测对象的深度图像。
其中，上述根据视差图获得深度图的方式为现有技术，在此不作赘述。
本申请的一个实施例中，获得视差图时，在图像采集设备为双目摄像机的情况下，针对每组合成亮度图，可以以该组合成亮度图中一目摄像机采集的初始亮度图合成的合成亮度图为基准图，确定另一目摄像机采集的初始亮度图合成的合成亮度图相对所述基准图的视差图，作为该组合成亮度图对应的视差图。
本申请的一个实施例中，获得视差图时，在图像采集设备为单目摄像机的情况下，可以分别确定每组合成亮度图相对预先标定的基准图的视差图，作为该组合成亮度图对应的视差图。
参见图7，图7为本申请实施例提供的深度图像获得方法的又一种流程图，包括如下步骤701至步骤704：
步骤701，获得图像采集设备针对待测对象采集的第一数量组初始亮度图，对所获得的初始亮度图进行合成，得到两组合成亮度图，分别为第一合成亮度图和第二合成亮度图。
其中，各个初始亮度图的亮度相同。每组合成亮度图由一组或多组初始亮度图合成，合成各组合成亮度图时采用的初始亮度图的数量不同。
步骤702，获得第一合成亮度图对应的第一深度图和第一得分图，并获得第二合成亮度图对应的第二深度图和第二得分图。
其中，在获得每组合成亮度图对应的深度图时，可以首先获得每组合成亮度图对应的视差图，再获得各组视差图对应的各组深度图。
本申请的一个实施例中，在获得各组合成亮度图对应的得分图时，可以根据各图像位置的像素点的灰度特征、梯度特征、频域特征得到。具体的，可以参照上述步骤105，将各像素点的可靠度作为该像素点的得分，进而可以得到各组合成亮度图中每一图像位置的像素点的得分，从而得到该组合成亮度图对应的得分图。
各组合成亮度图对应的得分图中每一图像位置的得分可以表征：利用该组合成亮度图中位于该图像位置的像素点的像素值得到深度图的深度值的可靠度。在得分越高的情况下，说明利用该组合成亮度图中位于该图像位置的像素点的像素值得到深度图的深度值越可靠，在得分越低的情况下，说明利用该组合成亮度图中位于该图像位置的像素点的像素值得到深度图的深度值越不可靠。
步骤703，针对第一得分图和第二得分图中同一图像位置的像素点的得分，相对预先设定的得分阈值的大小关系，确定第一深度图和第二深度图中位于该图像位置的像素点的像素值的融合规则。
参见图8，图8为本申请实施例中融合规则判断方法的一种示意图。本申请的一个实施例中，上述融合规则包括第一融合规则和第二融合规则。其中，第一融合规则可以是计算第一深度图和第二深度图的像素值均值，如算数平均值、加权平均值等。第二融合规则可以是：以得分较高的像素点的像素值作为融合结果，上述得分可以是可靠度、邻域可靠度、像素可靠度等。针对同一图像位置的像素点，在第一得分图中该图像位置的像素点的得分S(x,y)大于第一得分阈值S1、且第二得分图中该图像位置的像素点的得分S’(x,y)大于第二得分阈值S2的情况下，确定第一组合成亮度图对应的第一深度图中该图像位置的像素点P(x,y)与第二组合成亮度图对应的第二深度图中该图像位置的像素点P’(x,y)的目标融合规则为第一规则；否则，确定上述目标融合规则为第二规则。
例如，针对同一图像位置的像素点，假设第一得分图中该像素点的得分为80，第二得分图中该像素点的得分为70，第一得分阈值和第二得分阈值均为60。可见，第一得分图和第二得分图中该图像位置的像素点的得分均超过了得分阈值，因此在对第一深度图和第二深度图中，对该图像位置的像素点的像素值进行融合时，可以采用第一融合规则进行融合。
步骤704，针对两组深度图中每一图像位置的像素点，根据所确定的融合规则对第一深度图和第二深度图中该图像位置的像素点的像素值进行融合，得到融合后的深度图像。
具体的，由于每一图像位置的像素点对应的得分可能不相同，因此需要针对每一图像位置的像素点进行融合，这样可以提高得到的深度图像中各个像素点的深度值的可靠性。
参见图9，图9为本申请实施例中双目摄像机深度图像获得过程的一种示意图。图中左相机表示双目摄像机的左目摄像机，右相机表示双目摄像机的右目摄像机。基于上述双目摄像机采集的初始亮度图分别可以得到两组合成亮度图，其中每组合成亮度图中包含两帧合成亮度图，第一组合成亮度图中分别包括：左相机获得的初始亮度图合成得到的左相机合成第一亮度图像和右相机获得的初始亮度图合成得到的右相机合成第一亮度图像；第二组合成亮度图中分别包括：左相机获得的初始亮度图合成得到的左相机合成第二亮度图像和右相机获得的初始亮度图合成得到的右相机合成第二亮度图像。分别针对每一组合成亮度图，可以得到对应的得分图和视差图，再由视差图可以得到对应的深度图。基于得分图中每一图像位置的像素点的得分，判断深度图中每一图像位置的像素点的融合规则，再根据确定的融合规则对两组深度图进行融合，从而得到融合后的深度图像。
参见图10，图10为本申请实施例提供的深度图像获得方法的再一种流程图，包括如下步骤1001-步骤1004。
步骤1001，获得图像采集设备针对待测对象采集的第一数量组初始亮度图，对所获得的初始亮度图进行合成，得到两组合成亮度图，分别为第一合成亮度图和第二合成亮度图。
步骤1002，获得第一合成亮度图对应的第一视差图和第一得分图，并获得第二合成亮度图对应的第二视差图和第二得分图。
步骤1003，针对第一得分图和第二得分图中同一图像位置的像素点的得分，相对预先设定的得分阈值的大小关系，确定第一视差图和第二视差图中位于该图像位置的像素点的像素值的融合规则。
步骤1004，针对两组视差图中每一图像位置的像素点，根据所确定的融合规则对第一视差图和第二视差图中该图像位置的像素点的像素值进行融合，得到融合后视差图，根据融合后视差图获得待测对象的深度图像。
应用上述实施例提供的方案对图像进行处理时，首先获得多组亮度相同的初始亮度图，通过对一组或多组初始亮度图进行合成的方式，获得多组不同亮度的合成亮度图，再根据多组合成亮度图获得深度图像。由于各个初始亮度图的亮度相同，也就是获得各个初始亮度图时图像采集设备的曝光时间相同，这样无需改变图像采集设备的曝光时间，不影响采集图像的帧率，可以提高获得高动态范围的深度图像的效率。
参见图11，图11为本申请实施例提供的一种深度图像获得装置的结构示意图，所述装置包括：
亮度图获得模块1101，用于获得图像采集设备针对待测对象采集的第一数量组初始亮度图，其中，各组初始亮度图的亮度相同；
合成亮度图获得模块1102，用于对所获得的初始亮度图进行合成，得到第二数量组合成亮度图，其中，每组合成亮度图由一组或多组初始亮度图合成得到，合成各组合成亮度图时采用的初始亮度图的数量不同，所述第二数量大于等于2；
图像融合模块1103，用于按照预设的融合规则，对基于每一组合成亮度图得到视差图进行融合，得到融合后的视差图，基于融合后的视差图获得所述待测对象的深度图像；或，按照预设的融合规则，对基于每一组合成亮度图得到的初始深度图进行融合，得到所述待测对象的深度图像。
本申请的一个实施例中，所述亮度图获得模块1101，具体用于：
获得图像采集设备针对待测对象按照相同拍摄参数采集的、连续的第一数量组初始亮度图，其中，所述拍摄参数包括曝光时间、增益；
所述合成亮度图获得模块1102，包括：
集合确定单元，用于根据连续的第一数量组初始亮度图，确定第二数量个图像集合，其中，每一图像集合中包含一组或多组初始亮度图，各组图像集合所包含的初始亮度图的数量不相同；
合成亮度图获得单元，用于分别对每一图像集合内包含的初始亮度图进行合成，得到第二数量组合成亮度图。
本申请的一个实施例中，所述图像采集设备包括单目摄像机或双目摄像机；
在所述图像采集设备为单目摄像机的情况下，每一组初始亮度图包括一帧初始亮度图；
在所述图像采集设备为双目摄像机的情况下，每一组初始亮度图包括一帧左目摄像机采集的左目初始亮度图和一帧右目摄像机采集的右目初始亮度图。
本申请的一个实施例中，在所述图像采集设备为双目摄像机的情况下，所述合成亮度图获得单元，具体用于：
针对每一图像集合，对该图像集合包含的初始亮度图中的左目初始亮度图进行合成，并对该图像集合包含的初始亮度图中的右目初始亮度图进行合成，得到该图像集合的合成亮度图。
本申请的一个实施例中，所述装置还包括：
可靠度获得模块，用于在对所获得的初始亮度图进行合成，得到第二数量组合成亮度图之后，针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得该组合成亮度图对应的各个图像位置的像素点的可靠度，其中，每组合成亮度图对应的每一图像位置的像素点的可靠度表征：利用该组合成亮度图中该图像位置的像素点的像素值得到深度图像的可靠程度；
规则确定模块，用于针对每一图像位置，基于各组合成亮度图对应的该图像位置的像素点的可靠度，在预设的可靠度与融合规则的对应关系中，确定该图像位置的像素点对应的目标融合规则；
所述图像融合模块1103，包括：
视差图获得单元，用于分别获得各组合成亮度图对应的视差图；
图像融合单元，用于针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个视差图中该图像位置的像素点进行融合，得到融合后视差图，基于融合后的视差图获得所述待测对象的深度图像；或
根据各组合成亮度图对应的视差图，获得各组合成亮度图对应的初始深度图；针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个初始深度图中该图像位置的像素点进行融合，得到所述待测对象的深度图像。
本申请的一个实施例中，所述规则确定模块，具体用于：
基于每组合成亮度图对应的各个图像位置的像素点的可靠度，在各组合成亮度图对应的同一图像位置的像素点的可靠度大于预设的可靠度阈值的情况下，确定该图像位置的像素点对应的目标融合规则为第一融合规则，否则，确定所述目标融合规则为第二融合规则；
其中，所述第一融合规则包括以下规则中的任一种：计算各同位像素点的像素值的算术平均值；或，计算各同位像素点的像素值的加权平均值，所述同位像素点为：各图像中位于同一图像位置的像素点；
所述第二融合规则包括以下规则中的任一种：以可靠度最高的同位像素点的像素值为融合结果；或，以邻域可靠度最高的同位像素点的像素值为融合结果；或，以像素可靠度最高的同位像素点的像素值为融合结果；其中，每一像素点的邻域可靠度为：参考该像素点周围的像素点的可靠度加权计算得到的可靠度，每一像素点的像素可靠度为：参考该像素点的像素值相对周围像素点的像素值的差异计算得到的可靠度。
本申请的一个实施例中，所述可靠度获得模块，具体用于：
针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得所述至少一帧合成亮度图内各个图像位置的像素点的目标特征值，根据所获得的目标特征值确定该组合成亮度图对应的各个图像位置的像素点的可靠度，其中，所述目标特征值包括以下特征值中的至少一种：灰度特征值、梯度特征值、频域特征值。
本申请的一个实施例中，在所述目标特征值为梯度特征值的情况下，合成亮度图内坐标位置为(x，y)的像素点的目标特征值S(x,y)为根据以下公式计算得到的梯度特征值：
Figure BDA0002831042280000261
其中，所述I(x,y)表示合成亮度图中坐标位置为(x，y)的像素点的像素值，所述w表示预设的像素宽度，d(i,j)为：基于坐标位置为(i，j)的像素点到坐标位置为(x，y)的像素点的距离预设的权重系数。
本申请的一个实施例中，所述视差图获得单元，具体用于：
在所述图像采集设备为双目摄像机的情况下，针对每组合成亮度图，以该组合成亮度图中一目摄像机采集的初始亮度图合成的合成亮度图为基准图，确定另一目摄像机采集的初始亮度图合成的合成亮度图相对所述基准图的视差图，作为该组合成亮度图对应的视差图；或
在所述图像采集设备为单目摄像机的情况下，分别确定每组合成亮度图相对预先标定的基准图的视差图，作为各组合成亮度图对应的视差图。
应用上述实施例提供的方案对图像进行处理时，首先获得多组亮度相同的初始亮度图，通过对一组或多组初始亮度图进行合成的方式，获得多组不同亮度的合成亮度图，再根据多组合成亮度图获得深度图像。由于各个初始亮度图的亮度相同，也就是获得各个初始亮度图时图像采集设备的曝光时间相同，这样无需改变图像采集设备的曝光时间，不影响采集图像的帧率，可以提高获得高动态范围的深度图像的效率。
本发明实施例还提供了一种电子设备，如图12所示，包括处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信，
存储器1203，用于存放计算机程序；
处理器1201，用于执行存储器1203上所存放的程序时，实现如下步骤图像处理方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一深度图像获得方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一深度图像获得方法。
应用上述实施例提供的方案对图像进行处理时，首先获得多组亮度相同的初始亮度图，通过对一组或多组初始亮度图进行合成的方式，获得多组不同亮度的合成亮度图，再根据多组合成亮度图获得深度图像。由于各个初始亮度图的亮度相同，也就是获得各个初始亮度图时图像采集设备的曝光时间相同，这样无需改变图像采集设备的曝光时间，不影响采集图像的帧率，可以提高获得高动态范围的深度图像的效率。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种深度图像获得方法，其特征在于，所述方法包括：
获得图像采集设备针对待测对象采集的第一数量组初始亮度图，其中，各组初始亮度图的亮度相同；
对所获得的初始亮度图进行合成，得到第二数量组合成亮度图，其中，每组合成亮度图由一组或多组初始亮度图合成得到，合成各组合成亮度图时采用的初始亮度图的数量不同，所述第二数量大于等于2；
按照预设的融合规则，对基于每一组合成亮度图得到的视差图进行融合，得到融合后的视差图，基于融合后的视差图获得所述待测对象的深度图像；或，
按照预设的融合规则，对基于每一组合成亮度图得到的初始深度图进行融合，得到所述待测对象的深度图像。
2.根据权利要求1所述的方法，其特征在于，
所述获得图像采集设备针对待测对象采集的第一数量组初始亮度图，包括：
获得图像采集设备针对待测对象按照相同拍摄参数采集的、连续的第一数量组初始亮度图，其中，所述拍摄参数包括曝光时间、增益；
所述对所获得的初始亮度图进行合成，得到第二数量组合成亮度图，包括：
根据连续的第一数量组初始亮度图，确定第二数量个图像集合，其中，每一图像集合中包含一组或多组初始亮度图，各组图像集合所包含的初始亮度图的数量不相同；
分别对每一图像集合内包含的初始亮度图进行合成，得到第二数量组合成亮度图。
3.根据权利要求2所述的方法，其特征在于，所述图像采集设备包括单目摄像机或双目摄像机；
在所述图像采集设备为单目摄像机的情况下，每一组初始亮度图包括一帧初始亮度图；
在所述图像采集设备为双目摄像机的情况下，每一组初始亮度图包括一帧左目摄像机采集的左目初始亮度图和一帧右目摄像机采集的右目初始亮度图。
4.根据权利要求3所述的方法，其特征在于，在所述图像采集设备为双目摄像机的情况下，所述分别对每一图像集合内包含的初始亮度图进行合成，得到第二数量组合成亮度图，包括：
针对每一图像集合，对该图像集合包含的初始亮度图中的左目初始亮度图进行合成，以及对该图像集合包含的初始亮度图中的右目初始亮度图进行合成，得到该图像集合的合成亮度图。
5.根据权利要求1-4中任一项所述的方法，其特征在于，在所述对所获得的初始亮度图进行合成，得到第二数量组合成亮度图步骤之后，所述方法还包括：
针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得该组合成亮度图对应的各个图像位置的像素点的可靠度，其中，每组合成亮度图对应的每一图像位置的像素点的可靠度表征：利用该组合成亮度图中该图像位置的像素点的像素值得到深度图像的可靠程度；
针对每一图像位置，基于各组合成亮度图对应的该图像位置的像素点的可靠度，在预设的可靠度与融合规则的对应关系中，确定该图像位置的像素点对应的目标融合规则；
所述按照预设的融合规则，对基于每一组合成亮度图得到的视差图进行融合，得到融合后的视差图，包括：
分别获得各组合成亮度图对应的视差图；
针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个视差图中该图像位置的像素点进行融合，得到融合后视差图；
所述按照预设的融合规则，对基于每一组合成亮度图得到的初始深度图进行融合，得到所述待测对象的深度图像，包括：
分别获得各组合成亮度图对应的视差图，根据各组合成亮度图对应的视差图，获得各组合成亮度图对应的初始深度图；
针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个初始深度图中该图像位置的像素点进行融合，得到所述待测对象的深度图像。
6.根据权利要求5所述的方法，其特征在于，所述针对每一图像位置，基于各组合成亮度图对应的该图像位置的像素点的可靠度，在预设的可靠度与融合规则的对应关系中，确定该图像位置的像素点对应的目标融合规则，包括：
基于每组合成亮度图对应的各个图像位置的像素点的可靠度，在各组合成亮度图对应的同一图像位置的像素点的可靠度大于预设的可靠度阈值的情况下，确定该图像位置的像素点对应的目标融合规则为第一融合规则，否则，确定所述目标融合规则为第二融合规则；
其中，所述第一融合规则包括以下规则中的任一种：计算各同位像素点的像素值的算术平均值；或，计算各同位像素点的像素值的加权平均值，所述同位像素点为：各图像中位于同一图像位置的像素点；
所述第二融合规则包括以下规则中的任一种：以可靠度最高的同位像素点的像素值为融合结果；或，以邻域可靠度最高的同位像素点的像素值为融合结果；或，以像素可靠度最高的同位像素点的像素值为融合结果；其中，每一像素点的邻域可靠度为：参考该像素点周围的像素点的可靠度加权计算得到的可靠度，每一像素点的像素可靠度为：参考该像素点的像素值相对周围像素点的像素值的差异计算得到的可靠度。
7.根据权利要求5所述的方法，其特征在于，所述针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得该组合成亮度图对应的各个图像位置的像素点的可靠度，包括：
针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得所述至少一帧合成亮度图内各个图像位置的像素点的目标特征值，根据所获得的目标特征值确定该组合成亮度图对应的各个图像位置的像素点的可靠度，其中，所述目标特征值包括以下特征值中的至少一种：灰度特征值、梯度特征值、频域特征值。
8.根据权利要求7所述的方法，其特征在于，
在所述目标特征值为梯度特征值的情况下，合成亮度图内坐标位置为(x，y)的像素点的目标特征值S(x,y)为根据以下公式计算得到的梯度特征值：
Figure FDA0002831042270000041
其中，所述I(x,y)表示合成亮度图中坐标位置为(x，y)的像素点的像素值，所述w表示预设的像素宽度，d(i,j)为：基于坐标位置为(i，j)的像素点到坐标位置为(x，y)的像素点的距离预设的权重系数。
9.根据权利要求5所述的方法，其特征在于，所述分别获得各组合成亮度图对应的视差图，包括：
在所述图像采集设备为双目摄像机的情况下，针对每组合成亮度图，以该组合成亮度图中一目摄像机采集的初始亮度图合成的合成亮度图为基准图，确定另一目摄像机采集的初始亮度图合成的合成亮度图相对所述基准图的视差图，作为该组合成亮度图对应的视差图；或
在所述图像采集设备为单目摄像机的情况下，分别确定每组合成亮度图相对预先标定的基准图的视差图，作为各组合成亮度图对应的视差图。
10.一种深度图像获得装置，其特征在于，所述装置包括：
亮度图获得模块，用于获得图像采集设备针对待测对象采集的第一数量组初始亮度图，其中，各组初始亮度图的亮度相同；
合成亮度图获得模块，用于对所获得的初始亮度图进行合成，得到第二数量组合成亮度图，其中，每组合成亮度图由一组或多组初始亮度图合成得到，合成各组合成亮度图时采用的初始亮度图的数量不同，所述第二数量大于等于2；
图像融合模块，用于按照预设的融合规则，对基于每一组合成亮度图得到视差图进行融合，得到融合后的视差图，基于融合后的视差图获得所述待测对象的深度图像；或，按照预设的融合规则，对基于每一组合成亮度图得到的初始深度图进行融合，得到所述待测对象的深度图像。
11.根据权利要求10所述的装置，其特征在于，
所述亮度图获得模块，具体用于：
获得图像采集设备针对待测对象按照相同拍摄参数采集的、连续的第一数量组初始亮度图，其中，所述拍摄参数包括曝光时间、增益；
所述合成亮度图获得模块，包括：
集合确定单元，用于根据连续的第一数量组初始亮度图，确定第二数量个图像集合，其中，每一图像集合中包含一组或多组初始亮度图，各组图像集合所包含的初始亮度图的数量不相同；
合成亮度图获得单元，用于分别对每一图像集合内包含的初始亮度图进行合成，得到第二数量组合成亮度图；或
所述图像采集设备包括单目摄像机或双目摄像机；
在所述图像采集设备为单目摄像机的情况下，每一组初始亮度图包括一帧初始亮度图；
在所述图像采集设备为双目摄像机的情况下，每一组初始亮度图包括一帧左目摄像机采集的左目初始亮度图和一帧右目摄像机采集的右目初始亮度图；或
在所述图像采集设备为双目摄像机的情况下，所述合成亮度图获得单元，具体用于：
针对每一图像集合，对该图像集合包含的初始亮度图中的左目初始亮度图进行合成，并对该图像集合包含的初始亮度图中的右目初始亮度图进行合成，得到该图像集合的合成亮度图；或
所述装置还包括：
可靠度获得模块，用于在对所获得的初始亮度图进行合成，得到第二数量组合成亮度图之后，针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得该组合成亮度图对应的各个图像位置的像素点的可靠度，其中，每组合成亮度图对应的每一图像位置的像素点的可靠度表征：利用该组合成亮度图中该图像位置的像素点的像素值得到深度图像的可靠程度；
规则确定模块，用于针对每一图像位置，基于各组合成亮度图对应的该图像位置的像素点的可靠度，在预设的可靠度与融合规则的对应关系中，确定该图像位置的像素点对应的目标融合规则；
所述图像融合模块，包括：
视差图获得单元，用于分别获得各组合成亮度图对应的视差图；
图像融合单元，用于针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个视差图中该图像位置的像素点进行融合，得到融合后视差图，基于融合后的视差图获得所述待测对象的深度图像；或
根据各组合成亮度图对应的视差图，获得各组合成亮度图对应的初始深度图；针对每一图像位置，按照该图像位置的像素点对应的目标融合规则，对各个初始深度图中该图像位置的像素点进行融合，得到所述待测对象的深度图像；或
所述规则确定模块，具体用于：
基于每组合成亮度图对应的各个图像位置的像素点的可靠度，在各组合成亮度图对应的同一图像位置的像素点的可靠度大于预设的可靠度阈值的情况下，确定该图像位置的像素点对应的目标融合规则为第一融合规则，否则，确定所述目标融合规则为第二融合规则；
其中，所述第一融合规则包括以下规则中的任一种：计算各同位像素点的像素值的算术平均值；或，计算各同位像素点的像素值的加权平均值，所述同位像素点为：各图像中位于同一图像位置的像素点；
所述第二融合规则包括以下规则中的任一种：以可靠度最高的同位像素点的像素值为融合结果；或，以邻域可靠度最高的同位像素点的像素值为融合结果；或，以像素可靠度最高的同位像素点的像素值为融合结果；其中，每一像素点的邻域可靠度为：参考该像素点周围的像素点的可靠度加权计算得到的可靠度，每一像素点的像素可靠度为：参考该像素点的像素值相对周围像素点的像素值的差异计算得到的可靠度；或
所述可靠度获得模块，具体用于：
针对每组合成亮度图，基于该组合成亮度图中至少一帧合成亮度图内各个图像位置的像素点的像素值，获得所述至少一帧合成亮度图内各个图像位置的像素点的目标特征值，根据所获得的目标特征值确定该组合成亮度图对应的各个图像位置的像素点的可靠度，其中，所述目标特征值包括以下特征值中的至少一种：灰度特征值、梯度特征值、频域特征值；或
在所述目标特征值为梯度特征值的情况下，合成亮度图内坐标位置为(x，y)的像素点的目标特征值S(x,y)为根据以下公式计算得到的梯度特征值：
Figure FDA0002831042270000071
其中，所述I(x,y)表示合成亮度图中坐标位置为(x，y)的像素点的像素值，所述w表示预设的像素宽度，d(i,j)为：基于坐标位置为(i，j)的像素点到坐标位置为(x，y)的像素点的距离预设的权重系数；或
所述视差图获得单元，具体用于：
在所述图像采集设备为双目摄像机的情况下，针对每组合成亮度图，以该组合成亮度图中一目摄像机采集的初始亮度图合成的合成亮度图为基准图，确定另一目摄像机采集的初始亮度图合成的合成亮度图相对所述基准图的视差图，作为该组合成亮度图对应的视差图；或
在所述图像采集设备为单目摄像机的情况下，分别确定每组合成亮度图相对预先标定的基准图的视差图，作为各组合成亮度图对应的视差图。
12.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。
CN202011459739.0A 2020-12-11 2020-12-11 一种深度图像获得方法、装置、电子设备及存储介质 Pending CN112446910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011459739.0A CN112446910A (zh) 2020-12-11 2020-12-11 一种深度图像获得方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011459739.0A CN112446910A (zh) 2020-12-11 2020-12-11 一种深度图像获得方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112446910A true CN112446910A (zh) 2021-03-05

Family

ID=74740215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011459739.0A Pending CN112446910A (zh) 2020-12-11 2020-12-11 一种深度图像获得方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112446910A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170148142A1 (en) * 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Image photographing apparatus and method of controlling thereof
CN107948519A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置及设备
CN108510538A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 三维图像合成方法、装置及计算机可读存储介质
CN109767467A (zh) * 2019-01-22 2019-05-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110533709A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 深度图像获取方法、装置及系统、图像采集设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170148142A1 (en) * 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Image photographing apparatus and method of controlling thereof
CN107948519A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置及设备
CN108510538A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 三维图像合成方法、装置及计算机可读存储介质
CN110533709A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 深度图像获取方法、装置及系统、图像采集设备
CN109767467A (zh) * 2019-01-22 2019-05-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11010924B2 (en) Method and device for determining external parameter of stereoscopic camera
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
CN108833785B (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
US10762655B1 (en) Disparity estimation using sparsely-distributed phase detection pixels
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
WO2012114639A1 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
CN107481271B (zh) 一种立体匹配方法、系统及移动终端
US20160180510A1 (en) Method and system of geometric camera self-calibration quality assessment
US10762649B2 (en) Methods and systems for providing selective disparity refinement
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
US9424632B2 (en) System and method for generating high dynamic range images
US20200126290A1 (en) Image processing apparatus, image processing method and storage medium
CN110505398B (zh) 一种图像处理方法、装置、电子设备及存储介质
JP5911292B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
EP3021278A1 (en) High-resolution image generation device, high-resolution image generation method, and high-resolution image generation program
JP5900017B2 (ja) 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
CN113888438A (zh) 图像处理方法、装置及存储介质
CN113793257A (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN109785439A (zh) 人脸素描图像生成方法及相关产品
CN115409696A (zh) 图像处理方法、装置、电子设备及存储介质
WO2017187935A1 (en) Information processing apparatus, information processing method, and program
CN112419161B (zh) 图像处理方法及装置、存储介质及电子设备
CN112446910A (zh) 一种深度图像获得方法、装置、电子设备及存储介质
US20230316460A1 (en) Binocular image quick processing method and apparatus and corresponding storage medium
WO2019116487A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information