CN114897957A - 深度图获取方法、装置、电子设备及存储介质 - Google Patents
深度图获取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114897957A CN114897957A CN202210494894.9A CN202210494894A CN114897957A CN 114897957 A CN114897957 A CN 114897957A CN 202210494894 A CN202210494894 A CN 202210494894A CN 114897957 A CN114897957 A CN 114897957A
- Authority
- CN
- China
- Prior art keywords
- image information
- depth map
- preliminary
- preliminary depth
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000005286 illumination Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000003706 image smoothing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 101100273097 Rhodococcus sp camK gene Proteins 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种深度图获取方法、装置、电子设备及存储介质，涉及图像处理技术领域，该方法包括：获取多个摄像传感器采集的图像，得到多个图像信息；对于多个图像信息中的每一图像信息，将每一图像信息与多个图像信息中的其他图像信息分别进行一次匹配，生成对应的初步深度图；将每个初步深度图与目标图像信息进行图像匹配，根据图像匹配的结果得到每个初步深度图的置信度；基于每个初步深度图对应的置信度将所有初步深度图进行融合，以在融合完成时得到目标深度图。采用本申请实施例提供的方法，将多个摄像头获取的深度图进行融合，从而避免两个摄像传感器之间无法匹配，在深度图中产生“黑洞”的问题。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种深度图获取方法、装置、电子设备及存储介质。
背景技术
深度图也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，能够直接反映物体可见表面的几何形状。深度图能够通过距离以及某个点的坐标，计算整个图像中所有点的三维坐标。因此，可以和点云数据相互转化，能够用于三维场景的构建。
目前深度图通常使用双目摄像头的方式进行获取，双目的深度图生成方式主要是根据类似人眼一样的双目视觉差进行计算，其基本原理是根据不同的摄像头获取物体图像时与物体的距离以及位置不一致，因此会产生不同的位置差，根据三角原理就能够通过摄像头之间的距离进行计算，从而得到深度图。但在通过双目摄像头的方式获取深度图的情况下，由于两个摄像头视角差的存在，会存在两个摄像头之间有无法匹配的情况，导致在深度图中容易出现“黑洞”的情况，存在深度图无法准确反映场景中各点与拍摄设备距离的问题。
发明内容
有基于此，本申请实施例的目的在于提供一种深度图获取方法、装置、电子设备及存储介质，通过设置多个摄像传感器以获取更多的视场角度，将多个摄像头获取的深度图进行融合，从而避免两个摄像传感器之间无法匹配，在深度图中产生“黑洞”的问题。
第一方面，本申请实施例提供一种深度图获取方法，包括：
获取多个摄像传感器采集的图像，得到多个图像信息；对于所述多个图像信息中的每一图像信息，将所述每一图像信息与所述多个图像信息中的其他图像信息分别进行一次匹配，生成对应的初步深度图；将每个所述初步深度图与目标图像信息进行图像匹配，根据图像匹配的结果得到每个所述初步深度图的置信度；其中，所述目标图像信息为生成所述初步深度图对应的所述图像信息；基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合，以得到目标深度图。
在上述实现过程中，能够从设置的多个摄像传感器中获取多个图像信息，通过使用多个图像信息生成多个初步深度图后，再根据每个初步深度图的置信度对其进行融合，以生成最终的深度图，采用本申请实施例提供的方式获取深度图能够有效防止两个摄像传感器无法匹配而在深度图中生成“黑洞”的情况，从而能够提高生成深度图的有效性和稳定性。
可选地，所述根据图像匹配的结果得到每个所述初步深度图的置信度可以包括：
将每个所述初步深度图与所述目标图像信息进行图像匹配，确定所述初步深度图与所述目标图像信息每个匹配点的相似度，以数值最大的所述相似度作为所述初步深度图的所述置信度。
在上述实现过程中，可以通过首先得到每个初步深度图对于图像信息的置信度，再根据置信度的大小制定所有初步深度图的融合策略，从而能够提高生成深度图的可信度，提高深度图反映图像中各个区域与摄像传感器距离的精准度。
可选地，所述对于所述多个图像信息中的每一图像信息，将所述每一图像信息与所述多个图像信息中的其他图像信息分别进行一次匹配，生成对应的初步深度图可以包括：
将所述多个图像信息中的两个图像信息进行图像匹配，确定所述两个图像信息的视觉差；基于所述视觉差和所述两个图像信息对应的摄像传感器的设置距离计算，得到与所述两个图像信息对应的所述初步深度图。
可选地，所述基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合可以包括：
基于每个所述深度图的所述置信度将所有所述初步深度图进行权重相加，以在权重相加后得到所述目标深度图。
在上述实现过程中，通过叠加多个初步深度图生成最终所需的深度图的方式，将更多个视场角度的深度图进行融合，能够提高深度图数据的有效性，能够使深度图中每个像素的深度值更能反映该像素区域与摄像传感器的距离。
可选地，所述初步深度图的权重可以基于对应图像信息的光照强度、噪声大小以及所述置信度中的至少一种确定。
在上述实现过程中，可以综合图像信息的光照强度、噪声大小以及对应初步深度图的置信度从而确定每个初步深度图在进行融合时的权重值大小，能够使最终生成的深度图的数据更加贴合实际情况，提高深度图的有效性。
可选地，在所述基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合之前，所述方法还可以包括：
对所述初步深度图进行图像平滑处理以及补偿处理，以降低所述初步深度图的噪声以及抵消所述初步深度图的色彩偏差。
在上述实现过程中，能够在融合初步深度图之前对进行图像预处理，能够降低初步深度图的噪声以及抵消初步深度图的色彩偏差，进一步提高深度图的数据可靠性。
可选地，采用摄像传感器的数量可以具体为三个。
第二方面，本申请实施例提供一种深度图获取装置，深度图获取装置可以包括：
获取模块，用于获取多个摄像传感器采集的图像，得到多个图像信息。
第一匹配模块，用于对于所述多个图像信息中的每一图像信息，将所述每一图像信息与所述多个图像信息中的其他图像信息分别进行一次匹配，生成对应的初步深度图。
第二匹配模块，用于将每个所述初步深度图与目标图像信息进行图像匹配，根据图像匹配的结果得到每个所述初步深度图的置信度；其中，所述目标图像信息为生成所述初步深度图对应的所述图像信息。
融合模块，用于基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合，以在融合完成时得到目标深度图。
可选地，第二匹配模块可具体用于：
将每个所述初步深度图与所述目标图像信息进行图像匹配，确定所述初步深度图与所述目标图像信息每个匹配点的相似度，以数值最大的所述相似度作为所述初步深度图的所述置信度。
可选地，第一匹配模块可具体用于：
将所述多个图像信息中的两个图像信息进行图像匹配，确定所述两个图像信息的视觉差；以及基于所述视觉差和所述两个图像信息对应的摄像传感器的设置距离计算，得到与所述两个图像信息对应的所述初步深度图。
可选地，融合模块可具体用于：
基于每个所述深度图的所述置信度将所有所述初步深度图进行权重相加，以在权重相加后得到所述目标深度图。
可选地，融合模块还可用于：
在基于每个所述深度图的所述置信度将所有所述深度图进行权重相加之前，基于所述图像信息的光照强度、噪声大小以及所述置信度中的至少一种确定每个所述初步深度图的权重。
可选地，深度图获取装置还可以包括预处理模块，用于：
在基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合之前，对所述初步深度图进行图像平滑处理以及补偿处理，以降低所述初步深度图的噪声以及抵消所述初步深度图的色彩偏差。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为通过双目摄像头的方式获得的存在“黑洞”的深度图；
图2为本申请实施例提供的深度图获取方法的步骤示意图；
图3为本申请实施例提供的生成初步深度图的步骤示意图；
图4为本申请实施例提供的深度图获取装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
申请人在研究的过程中发现，目前深度图通常使用双目摄像头的方式进行获取，请参看图1，图1为通过双目摄像头的方式获得的存在“黑洞”的深度图，在通过双目摄像头的方式获取深度图的情况下，由于两个摄像头视角差的存在，会导致两个摄像头之间有无法匹配的情况，会在深度图中出现如图1中箭头所示的“黑洞”的情况，“黑洞”的出现，会使深度图无法反映在“黑洞”存在的区域中的各点与摄像设备的距离情况。
而目前可以替代双目摄像头获取深度图的方式基本是基于TOF(Time of flight)方式或是采用结构光的方式。
其中，TOF获取深度图的方式是基于光子的飞行速度进行判断，通过发射固定光束并记录时间戳，图像传感器收到光子，并记录强度和时间戳，再根据不同的编码原理计算光子从发送到接收的时间差，由于时间和距离成正比，因此每个像素按照这个方法生成距离从而能够得到深度图，但在TOF获取深度图的方式中，光子经过物体表面进行反射后返回，反射表面的材质会影响判断的准确性。
结构光获取深度图的方式是通过投射一个带角度的光的花纹,成像的摄像头根据花纹的扭曲和位置判断物体距离生成深度图，但由于投影和摄像头的角度不一致，会存在某些投影的纹理无法被摄像头捕捉的情况，从而难以生成完整的深度图。
有基于此，本申请实施例通过设置多个摄像传感器，并基于每个摄像传感器获取的图像计算得到初步深度图，再将多个初步深度图进行融合从而得到最终需要的深度图，通过获得更多的现场角度，将多个摄像头获取的深度图进行融合，从而能够获取有效的深度图。请参看图2，图2为本申请实施例提供的深度图获取方法的步骤示意图，获取深度图的步骤可以包括：
在步骤S21中，获取多个摄像传感器采集的图像，得到多个图像信息。
其中，本申请实施例中“多个”的含义为三个及三个以上，除非另有明确具体的限定，摄像传感器可以是摄像设备如摄像头等，可以是CCD(Charged Coupled Device)传感器，也可以是CMOS(Complementary Metal Oxide Semiconductor)传感器。图像信息即为摄像传感器采集到图像的数据。
在步骤S22中，对于所述多个图像信息中的每一图像信息，将所述每一图像信息与所述多个图像信息中的其他图像信息分别进行一次匹配，生成对应的初步深度图。
其中，多个摄像传感器可以是三个摄像头，也可以是更多个摄像头，本申请实施例以设置三个摄像传感器为例进行说明，三个摄像传感器可以为摄像头A、摄像头B和摄像头C，摄像头A、摄像头B和摄像头C分别获取到图像信息a、图像信息b和图像信息c。对于所述多个图像信息中的每一图像信息，将所述每一图像信息与所述多个图像信息中的其他图像信息分别进行一次匹配的含义即为：将图像信息a、图像信息b和图像信息c两两进行一次匹配，得到图像信息a与图像信息b的初步深度图、图像信息a与图像信息c的初步深度图以及图像信息b与图像信息c的三幅初步深度图。
示例性地，初步深度图的生成步骤可以是基于双目的深度图生成方式，通过将图像信息a与图像信息b进行图像匹配从而得到摄像头A和摄像头B的视觉差，然后再通过视觉差和摄像头间设置的距离基于三角原理计算出初步深度图。图像信息a和图像信息c以及图像信息b和图像信息c生产初步深度图的方式与图像信息a与图像信息b生成初步深度图的方式一致，此处不再赘述。
另外，在使用更多个摄像传感器时，分别将所有摄像传感器的图像信息按照上述生成初步深度图的方式进行两两匹配，从而得到多幅初步深度图。
示例性地，图像匹配的方式可以是OpenCV中常用的图像匹配方式，可以是SIFT特征提取、可以通过FLANN匹配器进行图像匹配，也可以使用FLANN的单应性匹配，图像匹配的方式可以根据实际应用情况具体选择。
在步骤S23中，将每个所述初步深度图与目标图像信息进行图像匹配，根据图像匹配的结果得到每个所述初步深度图的置信度。
其中，所述目标图像信息为生成所述初步深度图对应的所述图像信息。示例性地，在将图像信息a与图像信息b进行图像匹配得到初步深度图时，图像信息a与图像信息b即为该初步深度图的目标图像信息。将初步深度图与目标图像信息进行图像匹配，确定每个初步深度图与摄像传感器获取的原始图像的置信度，以该置信度表征每个初步深度图能够代表原始图像比例多少的特征。
在步骤S24中，基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合，以得到目标深度图。
其中，将所有初步深度图进行融合的步骤将在以下的内容中具体说明，此处不再赘述。
由此可见，本申请实施例能够从设置的多个摄像传感器中获取多个图像信息，通过使用多个图像信息生成多个初步深度图后，再根据每个初步深度图的置信度对其进行融合，以生成最终的深度图，采用本申请实施例提供的方式获取深度图能够有效防止两个摄像传感器无法匹配而在深度图中生成“黑洞”的情况，从而能够提高生成深度图的有效性和稳定性。
在一可选的实施例中，针对步骤S23中确定每个初步深度图置信度的实现步骤，可以具体包括：将每个所述初步深度图与所述目标图像信息进行图像匹配，确定所述初步深度图与所述目标图像信息每个匹配点的相似度，以数值最大的所述相似度作为所述初步深度图的所述置信度。
其中，图像匹配的方式可以是使用SIFT的图像匹配方式，SIFT是一种检测局部特征的算法，通过求一幅图中的特征点(Interest Points，or Corner Points)及其有关的描述子得到特征并进行图像特征点匹配。在得到所有特征点的相似度后以最大值的相似度作为该初步深度图相较于一个图像信息的置信度。
由此可见，本申请实施例可以通过首先得到每个初步深度图对于图像信息的置信度，再根据置信度的大小制定所有初步深度图的融合策略，从而能够提高生成深度图的可信度，提高深度图反映图像中各个区域与摄像传感器距离的精准度。
在一可选的实施例中，针对上述步骤S22，本申请实施例提供一种生成初步深度图的实现方式，请参看图3，图3为本申请实施例提供的生成初步深度图的步骤示意图，生成初步深度图的步骤可以包括：
在步骤S31中，将所述多个图像信息中的两个图像信息进行图像匹配，确定所述两个图像信息的视觉差。
在步骤S32中，基于所述视觉差和所述两个图像信息对应的摄像传感器的设置距离计算，得到与所述两个图像信息对应的所述初步深度图。
具体地，本申请实施例以OpenCV中的光流法提取匹配特征点对的实现方式为例进行说明，在进行图像匹配之前可以先对图像进行立体校正，利用提取出两个图像信息的特征点对pts1和pts2以及摄像传感器的内参矩阵camK，解算出本质矩阵E，利用本质矩阵E解算出两个摄像传感器之间的旋转(Rotation)和平移(Translation)关系，也就是两个摄像机之间的外参，其中，计算的方式可以是通过OpenCV中API函数进行实现。在得到两个摄像传感器之间的Rotation和Translation之后，使用API对两幅图像进行立体对极线校正。
在得到立体校正后的两幅图像后，由于匹配点是在同一行上，因此可以使用OpenCV中的SGBM算法计算视差，并基于视差得到初步深度图。
另外，图像匹配的方式也可以参见上述步骤中其他的图像匹配方式，也可以选择其他基于区域或是基于特征的匹配方式，本申请对图像匹配的方式不做具体限制。
在一可选的实施例中，针对步骤S24，基于每个初步深度图对应的置信度将所有初步深度图进行融合的步骤可以具体包括：
基于每个所述深度图的所述置信度将所有所述初步深度图进行权重相加，以在权重相加后得到所述目标深度图。
示例性地，深度图中每个像素的灰度值代表该像素区域中的物体与摄像传感器的距离，因此可以基于每个深度图的可信度为该深度图分配权重，通过叠加每个深度图中对应的每个像素的灰度值与权重乘积，从而对所有的初步深度图进行融合，得到目标深度图。
由此可见，本申请实施例通过叠加多个初步深度图生成最终所需的深度图的方式，将更多个视场角度的深度图进行融合，能够提高深度图数据的有效性，能够使深度图中每个像素的深度值更能反映该像素区域与摄像传感器的距离。
在一可选的实施例中，确定权重的方式可以是基于所述图像信息的光照强度、噪声大小以及所述置信度中的至少一种确定每个所述初步深度图的权重。
其中，既可以是通过每个初步深度图的可信度确定权重值的大小，也可以是通过图像信息的光照强度、噪声大小以及置信度结合确定权重值的大小，权重、光照强度、噪声大小和置信度的系数关系也可以根据实际情况进行调整。如在图像信息的明暗变化较为明显时，可以使用光照强度和置信度结合确定权重值的大小，当图像信息存在较为明显的噪声时，可以使用结合噪声大小和置信度确定权重值的大小，在图像信息存在一定明暗变化以及噪声时，可以结合使用光照强度、噪声大小和置信度从而确定权重值的大小。
由此可见，本申请实施例可以综合图像信息的光照强度、噪声大小以及对应初步深度图的置信度从而确定每个初步深度图在进行融合时的权重值大小，能够使最终生成的深度图的数据更加贴合实际情况，提高深度图的有效性。
在一可选的实施例中，在步骤S24之前，本申请实施例提供的方法还可以包括：对所述初步深度图进行图像平滑处理以及补偿处理，以降低所述初步深度图的噪声以及抵消所述初步深度图的色彩偏差。
示例性地，可以使用滤波器对初步深度图进行平滑处理，通过滤波器在保留图像细节特征的情况下对噪声进行抑制，滤波器的种类可以根据实际情况具体选择，如使用均值滤波器、高斯加权滤波器或是中值滤波器等。
可以使用GrayWorld色彩均衡算法或是基于参考白的算法对初步深度图进行补偿处理，从而抵消图像中存在的色彩偏差。
另外，在步骤S22生成初步深度图的步骤之前，也可以对每个摄像传感器获取的图像信息进行平滑处理和补偿处理，在融合初步深度图时再进行一次平滑处理以及补偿处理。
由此可见，本申请实施例能够在融合初步深度图之前对进行图像预处理，能够降低初步深度图的噪声以及抵消初步深度图的色彩偏差，进一步提高深度图的数据可靠性。
基于同一发明构思，本申请实施例还提供一种深度图获取装置40，请参看图4，图4为本申请实施例提供的深度图获取装置的示意图，深度图获取装置40可以包括：
获取模块41，用于获取多个摄像传感器采集的图像，得到多个图像信息。
第一匹配模块42，用于对于所述多个图像信息中的每一图像信息，将所述每一图像信息与所述多个图像信息中的其他图像信息分别进行一次匹配，生成对应的初步深度图。
第二匹配模块43，用于将每个所述初步深度图与目标图像信息进行图像匹配，根据图像匹配的结果得到每个所述初步深度图的置信度；其中，所述目标图像信息为生成所述初步深度图对应的所述图像信息。
融合模块44，用于基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合，以得到目标深度图。
由此可见，本申请实施例能够从设置的多个摄像传感器中获取多个图像信息，通过使用多个图像信息生成多个初步深度图后，再根据每个初步深度图的置信度对其进行融合，以生成最终的深度图，采用本申请实施例提供的方式获取深度图能够有效防止两个摄像传感器无法匹配而在深度图中生成“黑洞”的情况，从而能够提高生成深度图的有效性和稳定性。
可选地，第二匹配模块43可具体用于：
将每个所述初步深度图与所述目标图像信息进行图像匹配，确定所述初步深度图与所述目标图像信息每个匹配点的相似度，以数值最大的所述相似度作为所述初步深度图的所述置信度。
由此可见，本申请实施例可以通过首先得到每个初步深度图对于图像信息的置信度，再根据置信度的大小制定所有初步深度图的融合策略，从而能够提高生成深度图的可信度，提高深度图反映图像中各个区域与摄像传感器距离的精准度。
可选地，第一匹配模块42可具体用于：
将所述多个图像信息中的两个图像信息进行图像匹配，确定所述两个图像信息的视觉差；以及基于所述视觉差和所述两个图像信息对应的摄像传感器的设置距离计算，得到与所述两个图像信息对应的所述初步深度图。
可选地，融合模块44可具体用于：
基于每个所述深度图的所述置信度将所有所述初步深度图进行权重相加，以在权重相加后得到所述目标深度图。
由此可见，本申请实施例通过叠加多个初步深度图生成最终所需的深度图的方式，将更多个视场角度的深度图进行融合，能够提高深度图数据的有效性，能够使深度图中每个像素的深度值更能反映该像素区域与摄像传感器的距离。
可选地，融合模块44还可用于：
在基于每个所述深度图的所述置信度将所有所述深度图进行权重相加之前，基于所述图像信息的光照强度、噪声大小以及所述置信度中的至少一种确定每个所述初步深度图的权重。
由此可见，本申请实施例可以综合图像信息的光照强度、噪声大小以及对应初步深度图的置信度从而确定每个初步深度图在进行融合时的权重值大小，能够使最终生成的深度图的数据更加贴合实际情况，提高深度图的有效性。
可选地，深度图获取装置40还可以包括预处理模块，用于：
在基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合之前，对所述初步深度图进行图像平滑处理以及补偿处理，以降低所述初步深度图的噪声以及抵消所述初步深度图的色彩偏差。
由此可见，本申请实施例能够在融合初步深度图之前对进行图像预处理，能够降低初步深度图的噪声以及抵消初步深度图的色彩偏差，进一步提高深度图的数据可靠性。
基于同一发明构思，本申请实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
所述计算机可读存储介质可以是随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等各种可以存储程序代码的介质。其中，存储介质用于存储程序，所述处理器在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的电子终端所执行的方法可以应用于处理器中，或者由处理器实现。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种深度图获取方法，其特征在于，包括：
获取多个摄像传感器采集的图像，得到多个图像信息；
对于所述多个图像信息中的每一图像信息，将所述每一图像信息与所述多个图像信息中的其他图像信息分别进行一次匹配，生成对应的初步深度图；
将每个所述初步深度图与目标图像信息进行图像匹配，根据图像匹配的结果得到每个所述初步深度图的置信度；其中，所述目标图像信息为生成所述初步深度图对应的所述图像信息；以及
基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合，以得到目标深度图。
2.根据权利要求1所述的方法，其特征在于，所述根据图像匹配的结果得到每个所述初步深度图的置信度包括：
将每个所述初步深度图与所述目标图像信息进行图像匹配，确定所述初步深度图与所述目标图像信息每个匹配点的相似度，以数值最大的所述相似度作为所述初步深度图的所述置信度。
3.根据权利要求1所述的方法，其特征在于，所述对于所述多个图像信息中的每一图像信息，将所述每一图像信息与所述多个图像信息中的其他图像信息分别进行一次匹配，生成对应的初步深度图包括：
将所述多个图像信息中的两个图像信息进行图像匹配，确定所述两个图像信息的视觉差；
基于所述视觉差和所述两个图像信息对应的摄像传感器的设置距离计算，得到与所述两个图像信息对应的所述初步深度图。
4.根据权利要求1所述的方法，其特征在于，所述基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合包括：
基于每个所述深度图的所述置信度将所有所述初步深度图进行权重相加，以在权重相加后得到所述目标深度图。
5.根据权利要求4所述的方法，其特征在于，其中，所述初步深度图的权重基于对应图像信息的光照强度、噪声大小以及所述置信度中的至少一种确定。
6.根据权利要求1所述的方法，其特征在于，在所述基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合之前，所述方法还包括：
对所述初步深度图进行图像平滑处理以及补偿处理，以降低所述初步深度图的噪声以及抵消所述初步深度图的色彩偏差。
7.根据权利要求1-6任一项所述的方法，其特征在于，其中，摄像传感器的数量为三个。
8.一种深度图获取装置，其特征在于，包括：
获取模块，用于获取多个摄像传感器采集的图像，得到多个图像信息；
第一匹配模块，用于对于所述多个图像信息中的每一图像信息，将所述每一图像信息与所述多个图像信息中的其他图像信息分别进行一次匹配，生成对应的初步深度图；
第二匹配模块，用于将每个所述初步深度图与目标图像信息进行图像匹配，根据图像匹配的结果得到每个所述初步深度图的置信度；其中，所述目标图像信息为生成所述初步深度图对应的所述图像信息；
融合模块，用于基于每个所述初步深度图对应的所述置信度将所有所述初步深度图进行融合，以得到目标深度图。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-7中任一项所述方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-7任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210494894.9A CN114897957A (zh) | 2022-05-07 | 2022-05-07 | 深度图获取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210494894.9A CN114897957A (zh) | 2022-05-07 | 2022-05-07 | 深度图获取方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114897957A true CN114897957A (zh) | 2022-08-12 |
Family
ID=82722611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210494894.9A Pending CN114897957A (zh) | 2022-05-07 | 2022-05-07 | 深度图获取方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897957A (zh) |
-
2022
- 2022-05-07 CN CN202210494894.9A patent/CN114897957A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN106909911B (zh) | 图像处理方法、图像处理装置和电子装置 | |
| EP3588429A1 (en) | Processing method, processing device, electronic device and computer readable storage medium | |
| CN110689581B (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
| Böhm et al. | Automatic marker-free registration of terrestrial laser scans using reflectance | |
| KR101497659B1 (ko) | 깊이 영상을 보정하는 방법 및 장치 | |
| CN111091063A (zh) | 活体检测方法、装置及系统 | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| CN111950426A (zh) | 目标检测方法、装置及运载工具 | |
| Borrmann et al. | Mutual calibration for 3D thermal mapping | |
| CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| CN116029996A (zh) | 立体匹配的方法、装置和电子设备 | |
| CN113052066A (zh) | 三维目标检测中基于多视图和图像分割的多模态融合方法 | |
| JP5857712B2 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
| CN112257713A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN111882655A (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| Cao et al. | Stereoscopic flash and no-flash photography for shape and albedo recovery | |
| WO2023017663A1 (en) | Systems and methods for image processing based on optimal transport and epipolar geometry | |
| CN112770100B (zh) | 一种图像获取方法、摄影装置以及计算机可读存储介质 | |
| CN112802114A (zh) | 多视觉传感器融合装置及其方法和电子设备 | |
| CN112749610A (zh) | 深度图像、参考结构光图像生成方法、装置及电子设备 | |
| Weinmann et al. | Fusing passive and active sensed images to gain infrared-textured 3D models | |
| CN114897957A (zh) | 深度图获取方法、装置、电子设备及存储介质 | |
| CN116051876A (zh) | 三维数字化模型的相机阵列目标识别方法及系统 | |
| CN113592777A (zh) | 双摄拍照的图像融合方法、装置和电子系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Ningbo City, Zhejiang Province, 315200 Applicant after: Aixin Yuanzhi Semiconductor Co.,Ltd. Address before: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Ningbo City, Zhejiang Province, 315200 Applicant before: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd. Country or region before: China Country or region after: China Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Ningbo City, Zhejiang Province, 315200 Applicant after: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd. Address before: 201700 room 1190, zone B, floor 11, building 1, No. 158, Shuanglian Road, Qingpu District, Shanghai Applicant before: Aisin Yuanzhi semiconductor (Shanghai) Co.,Ltd. Country or region before: China |