CN112446842A - 基于稀疏和稠密深度图图像重建方法、系统、设备及介质 - Google Patents

基于稀疏和稠密深度图图像重建方法、系统、设备及介质 Download PDF

Info

Publication number
CN112446842A
CN112446842A CN201910799288.6A CN201910799288A CN112446842A CN 112446842 A CN112446842 A CN 112446842A CN 201910799288 A CN201910799288 A CN 201910799288A CN 112446842 A CN112446842 A CN 112446842A
Authority
CN
China
Prior art keywords
depth
image
depth image
coefficient
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910799288.6A
Other languages
English (en)
Inventor
邵小飞
朱力
吕方璐
汪博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Guangjian Technology Co Ltd
Original Assignee
Shenzhen Guangjian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Guangjian Technology Co Ltd filed Critical Shenzhen Guangjian Technology Co Ltd
Priority to CN201910799288.6A priority Critical patent/CN112446842A/zh
Publication of CN112446842A publication Critical patent/CN112446842A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的一种基于稀疏和稠密深度图的图像重建方法、系统、设备及介质，包括基于第一红外图像对第一深度图像中每一像素点深度信息确定一第一置信度，基于第二红外图像对第二深度图像中每一像素点深度信息确定一第二置信度；在第一深度图像中提取目标物体的边缘轮廓区域深度信息，对边缘轮廓区域深度信息确定第一融合系数，对目标物体所在区域的深度信息确定第二融合系数；将基于第一置信度、第一融合系数和第二融合系数在第一深度图像筛选出的像素点以及基于第二置信度在第二深度图像筛选出的像素点进行融合生成目标深度图像。本发明在两幅深度筛选出多个像素点生成目标深度图像，得到精度更高的深度图。

Description

基于稀疏和稠密深度图图像重建方法、系统、设备及介质
技术领域
本发明涉及图像融合，具体地，涉及一种基于稀疏和稠密深度图的图像重建方法、系统、设备及介质。
背景技术
利用TOF技术成像的设备被称为TOF相机(或TOF摄像头)，TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器(TOF芯片)、控制电路以及处理电路等几部单元组成。TOF技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。
TOF技术具有丰富的应用场景，在汽车、工业、人脸识别、物流、安抚监控、健康，游戏、娱乐、电影特效、3D打印和机器人等诸多领域都有应用。在汽车领域，TOF传感器可以用于自动驾驶，通过TOF技术对行车环境进行感知，从而获取环境信息以增加安全性，此外TOF还可以用于汽车内的乘客离位检测。在工业领域，TOF传感器可以被用作HMI(人机接口:Human Machine Interface)，在高度自动化的工厂中，工人和机器人需要在很近的距离下协同工作，TOF设备可以用于控制各种情形下的安全距离。在人脸识别系统中，TOF相机的亮度图像和深度信息可以通过模型连接起来，迅速精准的完成人脸匹配和检测。
但是传统的TOF深度相机，通过发射面光源信号，然后在传感器端接收返回的光信号，再计算目标物的距离，以获得目标物的深度图。但由于信号能量约束、成像特点和局限性，得到的深度图存在精度较差和深度信息缺失等问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于稀疏和稠密深度图的图像重建方法、系统、设备及介质。
根据本发明提供的基于稀疏和稠密深度图的图像重建方法，包括如下步骤：
步骤S1：获取目标物体的第一深度图像、第二深度图像、第一红外图像以及第二红外图像，所述第一深度图像的像素点密度大于所述第二深度图像的像素点密度；
步骤S2：基于所述第一红外图像对所述第一深度图像中每一像素点深度信息确定一第一置信度，基于所述第二红外图像对所述第二深度图像中每一像素点深度信息确定一第二置信度；
步骤S3：在所述第一深度图像中提取所述目标物体的边缘轮廓区域深度信息，对所述边缘轮廓区域深度信息确定第一融合系数，对所述目标物体所在区域的深度信息确定第二融合系数；
步骤S4：将基于所述第一置信度、所述第一融合系数和所述第二融合系数在所述第一深度图像筛选出的像素点以及基于所述第二置信度在所述第二深度图像筛选出的像素点进行融合生成目标深度图像。
优选地，还包括如下步骤：
步骤S5：获取所述目标深度图像，根据所述目标深度图像对所述目标物体进行深度重建。
优选地，所述第一深度图像为通过向所述目标物体进行泛光投射生成的深度图像，所述第二深度图像为通过向所述目标物体进行点阵光投射生成的深度图像；
所述第一红外图像为通过向所述目标物体进行泛光投射生成的红外图像，所述第二红外图像为通过对目标物体进行点阵光投射生成的红外图像。
优选地，所述步骤S2包括如下步骤：
步骤S201：获取所述第一红外图像和所述第二红外图像中每一区域的幅度；
步骤S202：将所述第一红外图像与所述第一深度图像比对确定所述第一深度图像中每一像素点对应的幅度，将所述第二红外图像与所述第二深度图像比对确定所述第二深度图像中每一像素点对应的幅度；
步骤S203：至少根据所述第一深度图像中每一像素点对应的幅度的大小对每一像素点的深度信息确定一第一置信度，至少根据所述第二深度图像中每一像素点对应的幅度的大小对每一像素点的深度信息确定一第二置信度。
优选地，所述步骤S3包括如下步骤：
步骤S301：在所述第一深度图像中提取所述目标物体所在区域以及所述目标物体所在场景区域的边缘轮廓区域；
步骤S302：根据所述边缘轮廓区域确定所述第一深度图像中所述目标物体所在区域和所述场景区域；
步骤S303：对所述边缘轮廓区域的深度信息确定第一融合系数，对所述目标物体所在区域、所述场景区域的深度信息确定第二融合系数。
优选地，所述步骤S4包括如下步骤：
步骤S401：根据所述第一置信度和所述第一融合系数生成第一筛选系数，根据所述第一置信度和所述第二融合系数生成第二筛选系数；
步骤S402：根据所述第一筛选系数在所述第一深度图像中选取所述目标物体、所述场景区域的边缘轮廓区域的多个像素点，根据所述第二筛选系数在所述第一深度图像中选取目标物体所在区域和所述场景区域的多个像素点；
步骤S403：根据所述第二置信度生成第三筛选系数，根据所述第三筛选系数在所述第二深度图像选取多个像素点；
步骤S404：根据所述第一深度图像中选取的多个像素点和所述第二深度图像选取多个像素点融合生成所述目标深度图像。
优选地，在步骤S301通过边缘检测算法在所述第一深度图像中确定所述目标物体所在区域以及所述目标物体所在场景区域的边缘轮廓区域。
根据本发明提供的基于稀疏和稠密深度图的图像重建系统，用于实现所述的基于稀疏和稠密深度图的图像重建方法，包括：
图像获取模块，用于获取目标物体的第一深度图像、第二深度图像、第一红外图像以及第二红外图像，所述第一深度图像的像素点密度大于所述第二深度图像的像素点密度；
置信度确定模块，用于基于所述第一红外图像对所述第一深度图像中每一像素点深度信息确定一第一置信度，基于所述第二红外图像对所述第二深度图像中每一像素点深度信息确定一第二置信度；
融合系数生成模块，用于在所述第一深度图像中提取所述目标物体的边缘轮廓区域深度信息，对所述边缘轮廓区域深度信息确定第一融合系数，对所述目标物体所在区域的深度信息确定第二融合系数；
图像融合模块，用于将基于所述第一置信度、所述第一融合系数和所述第二融合系数在所述第一深度图像筛选出的像素点以及基于所述第二置信度在所述第二深度图像筛选出的像素点进行融合生成目标深度图像。
根据本发明提供的基于稀疏和稠密深度图的图像重建设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述基于稀疏和稠密深度图的图像重建方法的步骤。
本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述基于稀疏和稠密深度图的图像重建方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明分别在像素点密度不同的两幅深度图像中通过第一置信度、第二置信度、第一融合系数以及第二融合系数筛选出多个像素点，进而生成目标深度图像，可得到精度更高、边缘更加精细的深度图；
2、本发明中通过红外图像和深度图像比对确定置信度并对像素点密度更高的第一深度图像中边缘轮廓区域和目标物体所在区域设置不同的融合系数，从而能够去除深度图中精度较差和影响力较弱像素点的深度信息，提升模型的鲁棒性；
3、本发明能够适用于具有泛光投射和点阵光投射的3D摄像头，该3D摄像头能够实现在低能耗低成本条件下，提升投射距离和深度信息精度，本发明能够将该3D摄像头通过TOF深度传感器获得的基于泛光投射的第一深度图像和基于点阵光投射第二深度图像融合在一起生成精度更高、边缘更加精细的深度图。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例中基于稀疏和稠密深度图的图像重建方法的步骤流程图；
图2为本发明变形例中基于稀疏和稠密深度图的图像重建方法的步骤流程图；
图3为本发明实施例中3D摄像头向目标投射点阵光的示意图；
图4为本发明实施例中3D摄像头向目标投射泛光的示意图；
图5为本发明实施例中基于红外图像生成置信度的步骤流程图；
图6为本发明实施例中对深度图像中不同区域确定不同融合系数的步骤流程图；
图7为本发明实施例中第一深度图像和第二深度图像融合生成目标深度图像的步骤流程图；
图8为本发明实施例中基于稀疏和稠密深度图的图像重建系统的模块示意图；
图9为本发明实施例中基于稀疏和稠密深度图的图像重建设备的结构示意图；以及
图10为本发明实施例中计算机可读存储介质的结构示意图。
图中：
1为点阵投射模组；
2为点阵光的空间分布；
3为泛光投射模组；
4为泛光的空间分布。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供的基于稀疏和稠密深度图的图像重建方法，旨在解决现有技术中存在的问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
本发明实施例提供的基于稀疏和稠密深度图的图像重建方法，能够适用于具有泛光投射和点阵光投射的3D摄像头，该3D摄像头能够实现在低能耗低成本条件下，提升投射距离和深度信息精度，本发明能够将该3D摄像头通过TOF深度传感器获得的基于泛光投射的深度图像和基于点阵光投射深度图像融合在一起生成精度更高、边缘更加精细的深度图。
图1为本发明实施例中基于稀疏和稠密深度图的图像重建方法的步骤流程图，如图1所示，本发明提供的基于稀疏和稠密深度图的图像重建方法，包括如下步骤：
步骤S1：获取目标物体的第一深度图像、第二深度图像、第一红外图像以及第二红外图像，所述第一深度图像的像素点密度大于所述第二深度图像的像素点密度。
实际应用中，本发明实施例的执行主体可以为计算机、中央处理器、微控制单元MCU、单片机、微型处理器等具备数据处理能力的器件。本实施例中以中央处理器为例进行详细说明，但不限定执行本实施例中方法的具体器件类型。
在本发明实施例中，所述第一深度图像与所述第一红外图像相对应，即所述第一深度图像和所述第一红外图像在同一类型光线下采集；所述第二深度图像与所述第二红外图像相对应，即所述第二深度图像和所述第二红外图像在同一类型光线下采集。
步骤S2：基于所述第一红外图像对所述第一深度图像中每一像素点深度信息确定一第一置信度，基于所述第二红外图像对所述第二深度图像中每一像素点深度信息确定一第二置信度。
在本发明实施例中，基于所述第一红外图像中每一区域的幅度对所述第一深度图像中每一像素点深度信息确定一第一置信度，当第一红外图像中一区域的幅度较高时，则对该第一深度图像对应的同一区域内的像素点赋予一较高的置信度，当第一红外图像中一区域的幅度较低时，则对该第一深度图像对应的同一区域内的像素点赋予一较低的置信度。同理对于第二深度图像，当第二红外图像中一区域的幅度较高时，则对该第二深度图像对应的同一区域内的像素点赋予一较高的置信度，当第二红外图像中一区域的幅度较低时，则对该第二深度图像对应的同一区域内的像素点赋予一较低的置信度。
更为具体的，如当第一红外图像中一区域的幅度为300时，则对该第一深度图像对应的同一区域内的像素点赋予置信度为3；当第一红外图像中一区域的幅度为100时，则对该第一深度图像对应的同一区域内的像素点赋予置信度为1。
在本发明变形例，还可以对所述红外图像中一区域的幅度用温度表示，当第一红外图像中一区域的幅度为30℃时，则对该第一深度图像对应的同一区域内的像素点赋予置信度为3；当第一红外图像中一区域的幅度为10℃时，则对该第一深度图像对应的同一区域内的像素点赋予置信度为1。
步骤S3：在所述第一深度图像中提取所述目标物体的边缘轮廓区域深度信息，对所述边缘轮廓区域深度信息确定第一融合系数，对所述目标物体所在区域的深度信息确定第二融合系数。
在本发明实施例中，所述第一融合系数大于所述第二融合系统，如可以设置为所述第一融合系数为0.8，从而对边缘轮廓区域选取更多的像素点，所述第二融合系数为0.2，从而对目标物体所在区域选取较小的像素点，从而能够使的生成的目标深度图的边缘更加精细。
步骤S4：将基于所述第一置信度、所述第一融合系数和所述第二融合系数在所述第一深度图像筛选出的像素点以及基于所述第二置信度在所述第二深度图像筛选出的像素点进行融合生成目标深度图像。
在本发明实施例中，根据所述第一置信度、所述第一融合系数和所述第二融合系数在所述第一深度图像的不同区域分别筛选出精度更高的像素点，根据所述第二置信度、在所述第二深度图像的不同区域分别筛选出精度更高的像素点，从而将深度图中精度较差和影响力较弱的像素点的深度信息排除掉。
在本发明实施例中，本发明分别在像素点密度不同的两幅深度图像中通过第一置信度、第二置信度、第一融合系数以及第二融合系数对筛选出多个像素点，进而生成目标深度图像，可得到精度更高、边缘更加精细的深度图。
图2为本发明变形例中基于稀疏和稠密深度图的图像重建方法的步骤流程图，如图2所示，本发明提供的基于稀疏和稠密深度图的图像重建方法，还包括如下步骤：
步骤S5：获取所述目标深度图像，根据所述目标深度图像对所述目标物体进行深度重建。
在本发明变形例中，可以通过滤波插值等算法对所述目标物体进行深度重建，也可以通过马尔可夫随机场模型(Markov Random Filed，MRF)对所述目标物体进行深度重建，也可以采用压缩感知算法(Compressed Sensing，CS)对所述目标物体进行深度重建。
在本发明变形例中，多个所述深度图像中筛选出的多个像素点进行融合以生成目标深度图像，具体为，比较多个所述深度图像的每个对应位置像素点的置信度，选取最大置信度对应的深度值，即将每一深度图像中筛选出的多个像素点按照光探测器矩阵的位置比较置信度大小，选取最大置信度对应的深度值进行融合。
图3为本发明实施例中3D摄像头向目标投射点阵光的示意图；图4为本发明实施例中3D摄像头向目标投射泛光的示意图，如图3、图4所示，所述第一深度图像为通过向所述目标物体进行泛光投射生成的深度图像，所述第二深度图像为通过向所述目标物体进行点阵光投射生成的深度图像；
所述第一红外图像为通过向所述目标物体进行泛光投射生成的红外图像，所述第二红外图像为通过对目标物体进行点阵光投射生成的红外图像。
在本发明实施例中，所述3D摄像头向目标投射点阵光和泛光为帧间交替切换进行投射。所述3D摄像头通过TOF深度传感器获得所述第一深度图像和所述第二深度图像。所述点阵光的光束数量在几束到几万束之间，优选的，所述点阵光的光束数量在一千束到10万束之间。
图5为本发明实施例中基于红外图像生成置信度的步骤流程图，如图5所示，所述步骤S2包括如下步骤：
步骤S201：获取所述第一红外图像和所述第二红外图像中每一区域的幅度；
步骤S202：将所述第一红外图像与所述第一深度图像比对确定所述第一深度图像中每一像素点对应的幅度，将所述第二红外图像与所述第二深度图像比对确定所述第二深度图像中每一像素点对应的幅度；
步骤S203：至少根据所述第一深度图像中每一像素点对应的幅度的大小对每一像素点的深度信息确定一第一置信度，至少根据所述第二深度图像中每一像素点对应的幅度的大小对每一像素点的深度信息确定一第二置信度。
在本发明实施例中，由于红外图像感受和反映的是目标及背景向外幅度的差异，因此能够确定第一红外图像和所述第二红外图像中每一区域的幅度；
由于第一深度图像和第一红外图像为对于同一目标物体进行的成像，因此第一深度图像上的每一像素点均对应所述第一红外图像一区域，从而能够确定第一深度图像上的每一像素点对应的幅度，同理对于第二深度图像，也能够确定每一像素点对应的幅度。
在本发明变形例中，还可以综合考虑每一像素点的深度信息的数值进行第一置信度的确定。
图6为本发明实施例中对深度图像中不同区域确定不同融合系数的步骤流程图，如图6所示，所述步骤S3包括如下步骤：
步骤S301：在所述第一深度图像中提取所述目标物体所在区域以及所述目标物体所在场景区域的边缘轮廓区域深度信息；
步骤S302：获取所述第一深度图像中所述目标物体所在区域和所述场景区域的深度信息；
步骤S303：对所述边缘轮廓区域深度信息确定第一融合系数，对所述目标物体所在区域、所述场景区域的深度信息确定第二融合系数。
在本发明实施例中，在步骤S301通过CANNY边缘检测算法在所述第一深度图像中确定所述目标物体所在区域以及所述目标物体所在场景区域的边缘轮廓区域。
图7为本发明实施例中第一深度图像和第二深度图像融合生成目标深度图像的步骤流程图，如图7所示，所述步骤S4包括如下步骤：
步骤S401：根据所述第一置信度和所述第一融合系数生成第一筛选系数，根据所述第一置信度和所述第二融合系数生成第二筛选系数；
步骤S402：根据所述第一筛选系数在所述第一深度图像中选取所述目标物体、所述场景区域的边缘轮廓区域的多个像素点，根据所述第二筛选系数在所述第一深度图像中选取目标物体所在区域和所述场景区域的多个像素点；
步骤S403：根据所述第二置信度生成第三筛选系数，根据所述第三筛选系数在所述第二深度图像选取多个像素点；
步骤S404：根据所述第一深度图像中选取的多个像素点和所述第二深度图像选取多个像素点融合生成所述目标深度图像。
在本发明实施例中，所述第一筛选系数、所述第二筛选系数以及所述第三筛选系数均大于0且小于1；如当第一深度图像一区域的第一置信度为3时，第一融合系数为0.7时，当第一深度图像一区域的第一置信度为1时，第一融合系数为0.2时，且置信度的取值范围为[0,5]时，则第一筛选系数可以取值为
Figure BDA0002181839300000091
第二筛选系数可以取值为
Figure BDA0002181839300000092
当所述第二置信度为4时，则第三筛选系数为
Figure BDA0002181839300000093
在本发明变形例中，还可以对所述第一筛选系数、所述第二筛选系数以及所述第三筛选系数加上一位系数，如均加上0.2，然后再进行筛选，也可以对所述第一筛选系数、所述第二筛选系数加一系数，对第三筛选系数加上另一系数，如所述第一筛选系数、所述第二筛选系数均加上0.2，所述第一筛选系数均加上0.1。
图8为本发明实施例中基于稀疏和稠密深度图的图像重建系统的模块示意图，如图8所示，本发明提供的基于稀疏和稠密深度图的图像重建系统，用于实现所述的基于稀疏和稠密深度图的图像重建方法，包括：
图像获取模块，用于获取目标物体的第一深度图像、第二深度图像、第一红外图像以及第二红外图像，所述第一深度图像的像素点密度大于所述第二深度图像的像素点密度；
置信度确定模块，用于基于所述第一红外图像对所述第一深度图像中每一像素点深度信息确定一第一置信度，基于所述第二红外图像对所述第二深度图像中每一像素点深度信息确定一第二置信度；
融合系数生成模块，用于在所述第一深度图像中提取所述目标物体的边缘轮廓区域深度信息，对所述边缘轮廓区域深度信息确定第一融合系数，对所述目标物体所在区域的深度信息确定第二融合系数；
图像融合模块，用于将基于所述第一置信度、所述第一融合系数和所述第二融合系数在所述第一深度图像筛选出的像素点以及基于所述第二置信度在所述第二深度图像筛选出的像素点进行融合生成目标深度图像。
本发明实施例中还提供一种基于稀疏和稠密深度图的图像重建设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于稀疏和稠密深度图的图像重建方法的步骤。
如上，该实施例中能够通过在像素点密度不同的两幅深度图像中通过第一置信度、第二置信度、第一融合系数以及第二融合系数对筛选出多个像素点，进而生成目标深度图像，可得到精度更高、边缘更加精细的深度图。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图9是本发明实施例中的基于稀疏和稠密深度图的图像重建设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述基于稀疏和稠密深度图的图像重建方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图9中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于稀疏和稠密深度图的图像重建方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述基于稀疏和稠密深度图的图像重建方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明能够分别在像素点密度不同的两幅深度图像中通过第一置信度、第二置信度、第一融合系数以及第二融合系数对筛选出多个像素点，进而生成目标深度图像，可得到精度更高、边缘更加精细的深度图。
图10是本发明实施例中的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本实施例中，本发明分别在像素点密度不同的两幅深度图像中通过第一置信度、第二置信度、第一融合系数以及第二融合系数对筛选出多个像素点，进而生成目标深度图像，可得到精度更高、边缘更加精细的深度图；本发明中通过红外图像和深度图像比对确定置信度并对像素点密度更高的第一深度图像中边缘轮廓区域和目标物体所在区域设置不同的融合系数，从而能够去除深度图中精度较差和影响力较弱像素点的深度信息，提升模型的鲁棒性；本发明能够适用于具有泛光投射和点阵光投射的3D摄像头，该3D摄像头能够实现在低能耗低成本条件下，提升投射距离和深度信息精度，本发明能够将该3D摄像头通过TOF深度传感器获得的基于泛光投射的第一深度图像和基于点阵光投射第一深度图像融合在一起生成精度更高、边缘更加精细的深度图。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于稀疏和稠密深度图的图像重建方法，其特征在于，包括如下步骤：
步骤S1：获取目标物体的第一深度图像、第二深度图像、第一红外图像以及第二红外图像，所述第一深度图像的像素点密度大于所述第二深度图像的像素点密度；
步骤S2：基于所述第一红外图像对所述第一深度图像中每一像素点深度信息确定一第一置信度，基于所述第二红外图像对所述第二深度图像中每一像素点深度信息确定一第二置信度；
步骤S3：在所述第一深度图像中提取所述目标物体的边缘轮廓区域深度信息，对所述边缘轮廓区域深度信息确定第一融合系数，对所述目标物体所在区域的深度信息确定第二融合系数；
步骤S4：将基于所述第一置信度、所述第一融合系数和所述第二融合系数在所述第一深度图像筛选出的像素点以及基于所述第二置信度在所述第二深度图像筛选出的像素点进行融合生成目标深度图像。
2.根据权利要求1所述的基于稀疏和稠密深度图的图像重建方法，其特征在于，还包括如下步骤：
步骤S5：获取所述目标深度图像，根据所述目标深度图像对所述目标物体进行深度重建。
3.根据权利要求1所述的基于稀疏和稠密深度图的图像重建方法，其特征在于，
所述第一深度图像为通过向所述目标物体进行泛光投射生成的深度图像，所述第二深度图像为通过向所述目标物体进行点阵光投射生成的深度图像；
所述第一红外图像为通过向所述目标物体进行泛光投射生成的红外图像，所述第二红外图像为通过对目标物体进行点阵光投射生成的红外图像。
4.根据权利要求1所述的基于稀疏和稠密深度图的图像重建方法，其特征在于，所述步骤S2包括如下步骤：
步骤S201：获取所述第一红外图像和所述第二红外图像中每一区域的幅度；
步骤S202：将所述第一红外图像与所述第一深度图像比对确定所述第一深度图像中每一像素点对应的幅度，将所述第二红外图像与所述第二深度图像比对确定所述第二深度图像中每一像素点对应的幅度；
步骤S203：至少根据所述第一深度图像中每一像素点对应的幅度的大小对每一像素点的深度信息确定一第一置信度，至少根据所述第二深度图像中每一像素点对应的幅度的大小对每一像素点的深度信息确定一第二置信度。
5.根据权利要求1所述的基于稀疏和稠密深度图的图像重建方法，其特征在于，所述步骤S3包括如下步骤：
步骤S301：在所述第一深度图像中提取所述目标物体所在区域以及所述目标物体所在场景区域的边缘轮廓区域；
步骤S302：根据所述边缘轮廓区域确定所述第一深度图像中所述目标物体所在区域和所述场景区域；
步骤S303：对所述边缘轮廓区域的深度信息确定第一融合系数，对所述目标物体所在区域、所述场景区域的深度信息确定第二融合系数。
6.根据权利要求5所述的基于稀疏和稠密深度图的图像重建方法，其特征在于，所述步骤S4包括如下步骤：
步骤S401：根据所述第一置信度和所述第一融合系数生成第一筛选系数，根据所述第一置信度和所述第二融合系数生成第二筛选系数；
步骤S402：根据所述第一筛选系数在所述第一深度图像中选取所述目标物体、所述场景区域的边缘轮廓区域的多个像素点，根据所述第二筛选系数在所述第一深度图像中选取目标物体所在区域和所述场景区域的多个像素点；
步骤S403：根据所述第二置信度生成第三筛选系数，根据所述第三筛选系数在所述第二深度图像选取多个像素点；
步骤S404：根据所述第一深度图像中选取的多个像素点和所述第二深度图像选取多个像素点融合生成所述目标深度图像。
7.根据权利要求4所述的基于稀疏和稠密深度图的图像重建方法，其特征在于，在步骤S301通过边缘检测算法在所述第一深度图像中确定所述目标物体所在区域以及所述目标物体所在场景区域的边缘轮廓区域。
8.一种基于稀疏和稠密深度图的图像重建系统，用于实现权利要求1至7中任一项所述的基于稀疏和稠密深度图的图像重建方法，其特征在于，包括：
图像获取模块，用于获取目标物体的第一深度图像、第二深度图像、第一红外图像以及第二红外图像，所述第一深度图像的像素点密度大于所述第二深度图像的像素点密度；
置信度确定模块，用于基于所述第一红外图像对所述第一深度图像中每一像素点深度信息确定一第一置信度，基于所述第二红外图像对所述第二深度图像中每一像素点深度信息确定一第二置信度；
融合系数生成模块，用于在所述第一深度图像中提取所述目标物体的边缘轮廓区域深度信息，对所述边缘轮廓区域深度信息确定第一融合系数，对所述目标物体所在区域的深度信息确定第二融合系数；
图像融合模块，用于将基于所述第一置信度、所述第一融合系数和所述第二融合系数在所述第一深度图像筛选出的像素点以及基于所述第二置信度在所述第二深度图像筛选出的像素点进行融合生成目标深度图像。
9.一种基于稀疏和稠密深度图的图像重建设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述基于稀疏和稠密深度图的图像重建方法的步骤。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述基于稀疏和稠密深度图的图像重建方法的步骤。
CN201910799288.6A 2019-08-28 2019-08-28 基于稀疏和稠密深度图图像重建方法、系统、设备及介质 Pending CN112446842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910799288.6A CN112446842A (zh) 2019-08-28 2019-08-28 基于稀疏和稠密深度图图像重建方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910799288.6A CN112446842A (zh) 2019-08-28 2019-08-28 基于稀疏和稠密深度图图像重建方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN112446842A true CN112446842A (zh) 2021-03-05

Family

ID=74741816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910799288.6A Pending CN112446842A (zh) 2019-08-28 2019-08-28 基于稀疏和稠密深度图图像重建方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN112446842A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100360A (zh) * 2022-07-28 2022-09-23 中国电信股份有限公司 图像生成方法及装置、存储介质和电子设备
CN115190285A (zh) * 2022-06-21 2022-10-14 中国科学院半导体研究所 一种3d图像采集系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211754A1 (en) * 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
CN106991688A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 人体跟踪方法、人体跟踪装置和电子装置
US20180061036A1 (en) * 2016-08-24 2018-03-01 Varian Medical Systems, Inc. System and method for determining position and orientation of depth cameras
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置
CN108876836A (zh) * 2018-03-29 2018-11-23 北京旷视科技有限公司 一种深度估计方法、装置、系统及计算机可读存储介质
CN110168562A (zh) * 2017-03-09 2019-08-23 Oppo广东移动通信有限公司 基于深度的控制方法、基于深度的控制装置和电子装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211754A1 (en) * 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US20180061036A1 (en) * 2016-08-24 2018-03-01 Varian Medical Systems, Inc. System and method for determining position and orientation of depth cameras
CN106991688A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 人体跟踪方法、人体跟踪装置和电子装置
CN110168562A (zh) * 2017-03-09 2019-08-23 Oppo广东移动通信有限公司 基于深度的控制方法、基于深度的控制装置和电子装置
CN108876836A (zh) * 2018-03-29 2018-11-23 北京旷视科技有限公司 一种深度估计方法、装置、系统及计算机可读存储介质
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANGDONG LIU ET AL.: "Geometrically stable tracking for depth images based 3D reconstruction on mobile devices", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》, 30 September 2018 (2018-09-30) *
孙哲;张勇;常衢通;: "基于置信度的TOF与双目系统深度数据融合", 北京航空航天大学学报, no. 08, 10 February 2018 (2018-02-10) *
贺秉安;曾兴;李子奇;万生鹏;: "基于稀疏激光点云数据和单帧图像融合的三维重构算法", 计测技术, no. 03, 28 June 2017 (2017-06-28) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115190285A (zh) * 2022-06-21 2022-10-14 中国科学院半导体研究所 一种3d图像采集系统及方法
CN115190285B (zh) * 2022-06-21 2023-05-05 中国科学院半导体研究所 一种3d图像采集系统及方法
CN115100360A (zh) * 2022-07-28 2022-09-23 中国电信股份有限公司 图像生成方法及装置、存储介质和电子设备
CN115100360B (zh) * 2022-07-28 2023-12-01 中国电信股份有限公司 图像生成方法及装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
US11216971B2 (en) Three-dimensional bounding box from two-dimensional image and point cloud data
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN109658504B (zh) 地图数据标注方法、装置、设备及存储介质
EP3506161A1 (en) Method and apparatus for recovering point cloud data
CN111079619B (zh) 用于检测图像中的目标对象的方法和装置
CN110587597B (zh) 一种基于激光雷达的slam闭环检测方法及检测系统
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
EP3763119B1 (en) Method for generating depth information and electronic device supporting the same
JP2015079505A (ja) 視差深度画像のノイズ識別方法及びノイズ識別装置
KR20220042313A (ko) 포인트 클라우드 데이터 라벨링 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체
CN113377888A (zh) 训练目标检测模型和检测目标的方法
CN111767853A (zh) 车道线检测方法和装置
CN110853085B (zh) 基于语义slam的建图方法和装置及电子设备
CN104864849A (zh) 视觉导航方法和装置以及机器人
CN112446842A (zh) 基于稀疏和稠密深度图图像重建方法、系统、设备及介质
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
CN112487979A (zh) 目标检测方法和模型训练方法、装置、电子设备和介质
CN112509126A (zh) 三维物体检测的方法、装置、设备及存储介质
CN115861601A (zh) 一种多传感器融合感知方法及装置
CN112446843A (zh) 基于多深度图的图像重建方法、系统、设备及介质
CN108564626B (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
US9842402B1 (en) Detecting foreground regions in panoramic video frames
CN114697521A (zh) Tof相机运动模糊检测方法、系统、设备及存储介质
CN115661577B (zh) 用于对象检测的方法、设备和计算机可读存储介质
CN115294234B (zh) 图像的生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination