CN110533709A - 深度图像获取方法、装置及系统、图像采集设备 - Google Patents

深度图像获取方法、装置及系统、图像采集设备 Download PDF

Info

Publication number
CN110533709A
CN110533709A CN201810502234.4A CN201810502234A CN110533709A CN 110533709 A CN110533709 A CN 110533709A CN 201810502234 A CN201810502234 A CN 201810502234A CN 110533709 A CN110533709 A CN 110533709A
Authority
CN
China
Prior art keywords
image
target area
initial pictures
depth
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810502234.4A
Other languages
English (en)
Other versions
CN110533709B (zh
Inventor
沈家俊
邵响
蔡宏
夏循龙
毛慧
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810502234.4A priority Critical patent/CN110533709B/zh
Publication of CN110533709A publication Critical patent/CN110533709A/zh
Application granted granted Critical
Publication of CN110533709B publication Critical patent/CN110533709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种深度图像获取方法、装置及系统、图像采集设备,属于机器视觉领域。所述方法包括:基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定所述目标区域内像素点的深度信息;根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像;其中,在每个所述采集时刻,所述图像采集设备采集至少两张初始图像,每张所述初始图像中包括可见光分量和红外分量。本申请解决了相关技术中获取的深度图的质量稳定性较差的问题。本申请用于获取深度图像。

Description

深度图像获取方法、装置及系统、图像采集设备
技术领域
本申请涉及机器视觉领域,特别涉及一种深度图像获取方法、装置及系统、图像采集设备。
背景技术
双目视觉(也可称为双目立体视觉)是机器视觉的一种重要形式,双目视觉技术是基于视差原理,利用成像设备从不同的位置获取被测物体的两幅图像,并通过计算两幅图像中对应点间的位置偏差,来获取被测物体的三维几何信息的方法。
目前,双目视觉技术可以分为无源双目技术和有源双目技术。无源双目(也可称为被动双目)技术是通过采集环境图像,基于获取的RGB图像(也可称为可见光图像)进行双目立体匹配计算的深度采集技术;有源双目(也可称为主动双目)技术是在无源双目的基础上增加窄带滤光片滤除大部分的环境光,同时设置散斑发射器主动向环境投射红外散斑以增加环境纹理,基于获取的红外(英文:Infrared;简称:IR)图像进行双目立体匹配计算的深度采集技术。
相关技术中,由于无源双目技术是基于RGB图像进行立体匹配以得到深度图的,RGB图像中包含实际场景的环境纹理信息,因此深度图的质量在很大程度上受环境纹理的影响,当环境纹理较为丰富时深度图的质量较高,当环境纹理较弱(例如白墙和纯色地面的纹理较弱)时深度图的质量较低,另外,当外界环境光线过亮或过暗时,RGB图像的成像质量较差,导致深度图的质量也较差;有源双目是基于IR图像进行立体匹配以得到深度图的,当被测物体的红外反射率较低时,或者当被测物体与图像采集设备之间的距离较远,图像采集设备发射的红外散斑在传输过程中迅速衰减时,会导致红外散斑无法清晰的成像,从而导致深度图的质量较差。因此,相关技术中获取的深度图的质量稳定性较差。
发明内容
本申请实施例提供了一种深度图像获取方法、装置及系统、图像采集设备,可以解决相关技术中获取的深度图的质量稳定性较差的问题。所述技术方案如下:
第一方面,提供了一种深度图像获取方法,所述方法包括:
基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定所述目标区域内像素点的深度信息;
根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像;
其中,在每个所述采集时刻,所述图像采集设备采集至少两张初始图像,每张所述初始图像中包括可见光分量和红外分量。
在本申请的可选实施例中,所述图像采集设备包括n个成像镜头,每个所述成像镜头对应设置有用于同时采集可见光分量和红外分量的图像传感器,n≥2,
所述基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定所述目标区域内像素点的深度信息,包括:
获取所述图像采集设备在一个采集时刻针对所述目标区域采集的n张初始图像;
分别提取所述n张初始图像中的可见光分量和红外分量;
基于所述n张初始图像中的可见光分量,确定所述目标区域内所有像素点的第一深度信息;
基于所述n张初始图像中的红外分量,确定所述目标区域内所有像素点的第二深度信息。
在本申请的可选实施例中,所述根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像,包括:
基于所述目标区域内所有像素点的第一深度信息,确定所述目标区域对应的第一深度图像;
基于所述目标区域内所有像素点的第二深度信息,确定所述目标区域对应的第二深度图像;
对所述第一深度图像和所述第二深度图像进行融合,以确定所述目标区域对应的深度图像。
在本申请的可选实施例中,所述图像采集设备包括n个成像镜头,每个所述成像镜头对应设置有用于同时采集可见光分量和红外分量的图像传感器,n≥2,
所述基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定所述目标区域内像素点的深度信息,包括:
获取所述图像采集设备在至少两个采集时刻针对所述目标区域分别采集的n张初始图像;
基于在所述至少两个采集时刻针对所述目标区域分别采集的n张初始图像,确定所述目标区域内所有像素点的深度信息。
在本申请的可选实施例中,所述图像采集设备包括散斑发射器,
所述获取所述图像采集设备在至少两个采集时刻针对所述目标区域分别采集的n张初始图像,包括:
当接收到用于指示点亮所述散斑发射器的第一控制信号时,点亮所述散斑发射器,使所述散斑发射器向所述目标区域发射红外散斑;
通过所述图像采集设备在第一采集时刻针对所述目标区域采集n张第一初始图像;
当接收到用于指示熄灭所述散斑发射器的第二控制信号时,熄灭所述散斑发射器;
通过所述图像采集设备在第二采集时刻针对所述目标区域采集n张第二初始图像。
在本申请的可选实施例中,所述通过所述图像采集设备在第一采集时刻针对所述目标区域采集n张第一初始图像,包括:
在点亮所述散斑发射器后,对于每个所述成像镜头,提取所述成像镜头对应的图像传感器所采集的所有像素的红外分量;
调整所述成像镜头的曝光时间,以使每个所述像素的红外分量的亮度处于第一亮度范围;
在所述第一采集时刻针对所述目标区域采集所述n张第一初始图像,其中,每张所述第一初始图像中每个所述像素的红外分量的亮度处于所述第一亮度范围。
在本申请的可选实施例中,所述通过所述图像采集设备在第二采集时刻针对所述目标区域采集n张第二初始图像,包括:
在熄灭所述散斑发射器后,对于每个所述成像镜头,提取所述成像镜头对应的图像传感器所采集的所有像素的可见光分量;
调整所述成像镜头的曝光时间,以使每个所述像素的可见光分量的亮度处于第二亮度范围;
在所述第二采集时刻针对所述目标区域采集所述n张第二初始图像,其中,每张所述第二初始图像中每个所述像素的可见光分量的亮度处于所述第二亮度范围。
在本申请的可选实施例中,所述基于在所述至少两个采集时刻针对所述目标区域分别采集的n张初始图像,确定所述目标区域内所有像素点的深度信息,包括:
基于所述n张第一初始图像和所述n张第二初始图像,确定所述目标区域内所有像素点的深度信息。
在本申请的可选实施例中,所述基于所述n张第一初始图像和所述n张第二初始图像,确定所述目标区域内所有像素点的深度信息,包括:
对每个所述成像镜头采集的第一初始图像和第二初始图像进行图像融合,以得到n张融合图像;
基于所述n张融合图像,确定所述目标区域内所有像素点的深度信息。
在本申请的可选实施例中,所述对每个所述成像镜头采集的第一初始图像和第二初始图像进行图像融合,以得到n张融合图像,包括:
对于每个所述成像镜头,分别计算所述第一初始图像和所述第二初始图像中所有像素的梯度值;
剔除所述第一初始图像中梯度值小于第一梯度值的像素点,得到第一中间图像;
剔除所述第二初始图像中梯度值小于第二梯度值的像素点,得到第二中间图像;
对所述第一中间图像和所述第二中间图像进行图像融合,以得到所述n张融合图像。
在本申请的可选实施例中,所述基于所述n张融合图像,确定所述目标区域内所有像素点的深度信息,包括:
基于所述n张融合图像,通过双目立体匹配算法计算所述目标区域内所有像素点的深度信息。
在本申请的可选实施例中,所述基于所述n张第一初始图像和所述n张第二初始图像,确定所述目标区域内所有像素点的深度信息,包括:
基于所述n张第一初始图像中的红外分量,确定所述目标区域内所有像素点的第三深度信息;
基于所述n张第二初始图像中的可见光分量,确定所述目标区域内所有像素点的第四深度信息。
在本申请的可选实施例中,所述根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像,包括:
基于所述目标区域内所有像素点的第三深度信息,确定所述目标区域对应的第三深度图像;
基于所述目标区域内所有像素点的第四深度信息,确定所述目标区域对应的第四深度图像;
对所述第三深度图像和所述第四深度图像进行融合,以确定所述目标区域对应的深度图像。
在本申请的可选实施例中,所述方法还包括:
对每张所述第二初始图像进行图像处理,以去除所述第二初始图像中的红外分量,得到用于显示的n张可见光图像。
在本申请的可选实施例中,所述根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像,包括:
基于所述n张可见光图像以及所述目标区域内所有像素点的深度信息,确定所述目标区域对应的可见光深度图像。
在本申请的可选实施例中,所述图像处理包括插值处理、伽马校正和降噪处理中的至少一种。
第二方面,提供了一种深度图像获取装置,所述装置包括:
第一确定模块,用于基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定所述目标区域内像素点的深度信息;
第二确定模块,用于根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像;
其中,在每个所述采集时刻,所述图像采集设备采集至少两张初始图像,每张所述初始图像中包括可见光分量和红外分量。
在本申请的可选实施例中,所述图像采集设备包括n个成像镜头,每个所述成像镜头对应设置有用于同时采集可见光分量和红外分量的图像传感器,n≥2,
所述第一确定模块,包括:
第一获取子模块,用于获取所述图像采集设备在一个采集时刻针对所述目标区域采集的n张初始图像;
提取子模块,用于分别提取所述n张初始图像中的可见光分量和红外分量;
第一确定子模块,用于基于所述n张初始图像中的可见光分量,确定所述目标区域内所有像素点的第一深度信息;
第二确定子模块,用于基于所述n张初始图像中的红外分量,确定所述目标区域内所有像素点的第二深度信息。
在本申请的可选实施例中,所述第二确定模块,包括:
第三确定子模块,用于基于所述目标区域内所有像素点的第一深度信息,确定所述目标区域对应的第一深度图像;
第四确定子模块,用于基于所述目标区域内所有像素点的第二深度信息,确定所述目标区域对应的第二深度图像;
融合子模块,用于对所述第一深度图像和所述第二深度图像进行融合,以确定所述目标区域对应的深度图像。
在本申请的可选实施例中,所述图像采集设备包括n个成像镜头,每个所述成像镜头对应设置有用于同时采集可见光分量和红外分量的图像传感器,n≥2,
所述第一确定模块,包括:
第二获取子模块,用于获取所述图像采集设备在至少两个采集时刻针对所述目标区域分别采集的n张初始图像;
第五确定子模块,用于基于在所述至少两个采集时刻针对所述目标区域分别采集的n张初始图像,确定所述目标区域内所有像素点的深度信息。
在本申请的可选实施例中,所述图像采集设备包括散斑发射器,所述第二获取子模块,包括:
点亮单元,用于当接收到用于指示点亮所述散斑发射器的第一控制信号时,点亮所述散斑发射器,使所述散斑发射器向所述目标区域发射红外散斑;
第一采集单元,用于通过所述图像采集设备在第一采集时刻针对所述目标区域采集n张第一初始图像;
熄灭单元,用于当接收到用于指示熄灭所述散斑发射器的第二控制信号时,熄灭所述散斑发射器;
第二采集单元,用于通过所述图像采集设备在第二采集时刻针对所述目标区域采集n张第二初始图像。
在本申请的可选实施例中,所述第一采集单元,用于:
在点亮所述散斑发射器后,对于每个所述成像镜头,提取所述成像镜头对应的图像传感器所采集的所有像素的红外分量;
调整所述成像镜头的曝光时间,以使每个所述像素的红外分量的亮度处于第一亮度范围;
在所述第一采集时刻针对所述目标区域采集所述n张第一初始图像,其中,每张所述第一初始图像中每个所述像素的红外分量的亮度处于所述第一亮度范围。
在本申请的可选实施例中,所述第二采集单元,用于:
在熄灭所述散斑发射器后,对于每个所述成像镜头,提取所述成像镜头对应的图像传感器所采集的所有像素的可见光分量;
调整所述成像镜头的曝光时间,以使每个所述像素的可见光分量的亮度处于第二亮度范围;
在所述第二采集时刻针对所述目标区域采集所述n张第二初始图像,其中,每张所述第二初始图像中每个所述像素的可见光分量的亮度处于所述第二亮度范围。
在本申请的可选实施例中,所述第五确定子模块,用于:
基于所述n张第一初始图像和所述n张第二初始图像,确定所述目标区域内所有像素点的深度信息。
在本申请的可选实施例中,所述第五确定子模块,包括:
图像融合单元,用于对每个所述成像镜头采集的第一初始图像和第二初始图像进行图像融合,以得到n张融合图像;
确定单元,用于基于所述n张融合图像,确定所述目标区域内所有像素点的深度信息。
在本申请的可选实施例中,所述图像融合单元,用于:
对于每个所述成像镜头,分别计算所述第一初始图像和所述第二初始图像中所有像素的梯度值;
剔除所述第一初始图像中梯度值小于第一梯度值的像素点,得到第一中间图像;
剔除所述第二初始图像中梯度值小于第二梯度值的像素点,得到第二中间图像;
对所述第一中间图像和所述第二中间图像进行图像融合,以得到所述n张融合图像。
在本申请的可选实施例中,所述确定单元,用于:
基于所述n张融合图像,通过双目立体匹配算法计算所述目标区域内所有像素点的深度信息。
在本申请的可选实施例中,所述第五确定子模块,用于:
基于所述n张第一初始图像中的红外分量,确定所述目标区域内所有像素点的第三深度信息;
基于所述n张第二初始图像中的可见光分量,确定所述目标区域内所有像素点的第四深度信息。
在本申请的可选实施例中,所述第二确定模块,用于:
基于所述目标区域内所有像素点的第三深度信息,确定所述目标区域对应的第三深度图像;
基于所述目标区域内所有像素点的第四深度信息,确定所述目标区域对应的第四深度图像;
对所述第三深度图像和所述第四深度图像进行融合,以确定所述目标区域对应的深度图像。
在本申请的可选实施例中,所述装置还包括:
图像处理模块,用于对每张所述第二初始图像进行图像处理,以去除所述第二初始图像中的红外分量,得到用于显示的n张可见光图像。
在本申请的可选实施例中,所述第二确定模块,用于:
基于所述n张可见光图像以及所述目标区域内所有像素点的深度信息,确定所述目标区域对应的可见光深度图像。
在本申请的可选实施例中,所述图像处理包括插值处理、伽马校正和降噪处理中的至少一种。
第三方面,提供了一种图像采集设备,所述图像采集设备包括:n个成像镜头和n个图像传感器,所述n个成像镜头与所述n个图像传感器一一对应设置,n≥2;
每个所述图像传感器用于同时采集可见光分量和红外分量。
在本申请的可选实施例中,所述图像采集设备还包括散斑发射器;
所述散斑发射器的投射角同时覆盖所述n个成像镜头的视场角。
在本申请的可选实施例中,所述图像采集设备还包括n个双通滤光片,每个所述双通滤光片分别对应设置在所述成像镜头与所述图像传感器之间,每个所述双通滤光片具有可见光波段对应的第一带通和红外波段对应的第二带通。
在本申请的可选实施例中,所述第一带通的波段范围为380~670纳米;
所述第二带通的波段范围为845~855纳米。
第四方面,提供了一种深度图像获取系统,所述系统包括:图像采集设备和深度图像获取装置,所述图像采集设备为第三方面任一所述的图像采集设备,所述深度图像获取装置为第四方面任一所述的深度图像获取装置;
所述图像采集设备用于在每个采集时刻针对目标区域采集至少两张初始图像,并将所述至少两张初始图像发送至所述深度图像获取装置,每张所述图像中包括可见光分量和红外分量;
所述深度图像获取装置用于确定所述目标区域对应的深度图像。
第五方面,提供了一种计算机设备,包括至少一个处理器和至少一个存储器,
其中,
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序,实现第一方面任一所述的深度图像获取方法。
第六方面,提供了一种存储介质,其上存储有计算机程序,当所述存储介质中的程序由处理器执行时,能够执行第一方面任一所述的深度图像获取方法。
第七方面,提供了一种计算机程序产品,所述计算机程序产品中存储有指令,当其在计算机上运行时,使得计算机执行如第一方面任一所述的深度图像获取方法。
第八方面,提供了一种芯片,所述芯片包括可编程逻辑电路和/或程序指令,当所述芯片运行时用于实现如第一方面任一所述的深度图像获取方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例提供的深度图像获取方法、装置及系统、图像采集设备,由于图像采集设备采集到的每张初始图像中均包含可见光分量和红外分量,既可以基于至少两张初始图像中的可见光分量进行双目立体匹配计算,又可以基于至少两张初始图像中的红外分量进行双目立体匹配计算,即通过同一图像采集装置采集的至少两张初始图像可以同时实现无源双目技术和有源双目技术,将无源双目技术与有源双目技术融合,可以解决无源双目技术对环境的依赖性,以及有源双目技术在被测物体的红外反射率低和远距离传输时红外散斑迅速衰减导致深度图的质量较差的问题,从而实现较高的鲁棒性,进而提高了深度图的质量稳定性。
附图说明
图1是本申请实施例提供的一种深度图像获取系统的结构示意图;
图2是本申请实施例提供的一种图像采集设备的部分结构示意图;
图3是本申请实施例提供的一种双通滤光片的滤光波段示意图;
图4是本申请实施例提供的一种像素的组成结构示意图;
图5是本申请实施例提供的一种深度图像获取方法的流程图;
图6是本申请实施例提供的另一种深度图像获取方法的流程图;
图7是本申请实施例提供的又一种深度图像获取方法的流程图;
图8是本申请实施例提供的一种获取初始图像的方法流程图;
图9是本申请实施例提供的一种深度图像获取装置的结构示意图;
图10是本申请实施例提供的一种第一确定模块的结构示意图;
图11是本申请实施例提供的一种第二确定模块的结构示意图;
图12是本申请实施例提供的另一种第一确定模块的结构示意图;
图13是本申请实施例提供的一种第二获取子模块的结构示意图;
图14是本申请实施例提供的一种第五确定子模块的结构示意图;
图15是本申请实施例提供的另一种深度图像获取装置的结构示意图;
图16是本申请实施例提供的一种计算机设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
为了便于读者对本文的理解,首先对本文中的一些名词进行相应的解释:
1、深度图像:图像的像素值反映对应场景中的点到图像采集设备的距离信息,该图像采集设备为采集深度图像的设备。
2、可见光深度(RGB-Depth)图像:图像的像素值包含对应的场景中的点的可见光信息和深度信息。
3、散斑发射器:一种光学投射器件,由红外波段激光器以及衍射光学元件(英文:Diffractive Optical Elements;简称:DOE)组成。红外波段激光器发射的激光到达DOE后能够发生衍射效应,在实际空间中形成亮暗相间的斑点或条纹,可以根据DOE的设计获取所需的红外散斑的图案。
图1是本申请实施例提供的一种深度图像获取系统的结构示意图,如图1所示,该系统包括:图像采集设备01和深度图像获取装置02。
其中,图像采集设备01包括:n个成像镜头011和n个图像传感器012,该n个成像镜头011与n个图像传感器012一一对应设置;每个图像传感器012用于同时采集可见光分量和红外分量,n≥2。图像采集设备可以由多个单目相机构成,或者图像采集设备可以为多目相机,例如当图像采集设备包括两个成像镜头时,图像采集设备可以为双目相机。
在本申请的可选实施例中,参见图1,图像采集设备01还可以包括散斑发射器013;如图2所示,散斑发射器013可以设置在两个成像镜头011之间,散斑发射器013的投射角α同时覆盖两个成像镜头011的视场角β,以使得散斑发射器013发射的红外散斑到达环境中的实际物体上后能够同时成像在该两个成像镜头对应的图像传感器上。其中,散斑发射器发射的红外散斑的波长约为850纳米,该红外散斑可以为随机散斑,也可以为具有某种图案的散斑,本申请实施例对此不做限定。
在本申请的可选实施例中,参见图1,图像采集设备01还可以包括n个双通滤光片014,每个双通滤光片014分别对应设置在成像镜头011与图像传感器012之间,每个双通滤光片014具有可见光波段对应的第一带通和红外波段对应的第二带通。图3是本申请实施例提供的一种双通滤光片的滤光波段示意图,如图3所示,横坐标表示波长,单位为纳米(nm),纵坐标表示透过率,第一带通D1的波段范围可以为380~670纳米;第二带通D2的波段范围可以为845~855纳米,波段处于带通范围内的光的透过率可以为100%。
需要说明的是,双通滤光片用于控制到达图像传感器的光谱成分,第一带通用于通过可见光,使图像传感器能够采集目标区域的可见光分量;第二带通用于通过红外光,使图像传感器能够采集目标区域的红外分量,其中,将第二带通设计为窄带带通(例如通带宽度为10纳米),可以在较大程度上滤除环境光分量,增大图像传感器采集到的图像中的红外子像素与可见光子像素之间的对比度,以减小环境光对红外散斑的干扰,提高红外散斑的信噪比。本申请实施例提供的图像传感器采集到的图像中,每个像素包括可见光子像素和红外子像素,例如参见图4,每个像素M可以包括红色子像素R、绿色子像素G、蓝色子像素B和红外子像素IR,对每个像素中可见光子像素的颜色不做限定。
深度图像获取装置02可以是智能手机、电脑等终端设备,也可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务器中心等,本申请实施例对此不做限定。图像采集设备01与深度图像获取装置02之间可以通过无线网络或有线网络进行连接。
图像采集设备01可以用于在每个采集时刻针对目标区域采集至少两张初始图像,并将该至少两张初始图像发送至深度图像获取装置02,每张图像中包括可见光分量和红外分量;深度图像获取装置02可以用于确定该目标区域对应的深度图像。
图5是本申请实施例提供的一种深度图像获取方法的流程图,用于如图1所示的深度图像获取装置02,如图5所示,该方法可以包括:
步骤201、基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定目标区域内像素点的深度信息。
步骤202、根据目标区域内像素点的深度信息,确定目标区域对应的深度图像。
其中,在每个采集时刻,图像采集设备采集至少两张初始图像,每张初始图像中包括可见光分量和红外分量。
综上所述,本申请实施例提供的深度图像获取方法,由于图像采集设备采集到的每张初始图像中均包含可见光分量和红外分量,既可以基于至少两张初始图像中的可见光分量进行双目立体匹配计算,又可以基于至少两张初始图像中的红外分量进行双目立体匹配计算,即通过同一图像采集装置采集的至少两张初始图像可以同时实现无源双目技术和有源双目技术,将无源双目技术与有源双目技术融合,可以解决无源双目技术对环境的依赖性,以及有源双目技术在被测物体的红外反射率低和远距离传输时红外散斑迅速衰减导致深度图的质量较差的问题,从而实现较高的鲁棒性,进而提高了深度图的质量稳定性。
在本申请的可选实施例中,本申请实施例提供的深度图像获取方法,可以基于图像采集设备在一个采集时刻针对目标区域采集的至少两张初始图像确定目标区域的深度图像;或者,可以基于图像采集设备在至少两个采集时刻针对目标区域采集的至少两张初始图像确定目标区域的深度图像;本申请以下实施例分别以图6所示的深度图像获取方法和图7所示的深度图像获取方法对其进行说明:
图6是本申请实施例提供的另一种深度图像获取方法的流程图,用于如图1所示的深度图像获取装置02,如图6所示,该方法可以包括:
步骤301、获取图像采集设备在一个采集时刻针对目标区域采集的n张初始图像。
获取图像采集设备在一个采集时刻针对目标区域采集的n张初始图像,也即是,图像采集设备的多个成像镜头的成像画面中均包括目标区域。
在本申请的可选实施例中,该n张初始图像可以是图像采集设备在向目标区域发射红外散斑的过程中采集的,该红外散斑可以在目标区域内的实际物体上成像,以保证图像采集设备采集的图像中包括红外分量。
步骤302、分别提取n张初始图像中的可见光分量和红外分量。
示例的,参见图4,每张初始图像中的像素可以包括可见光子像素和红外子像素,可以对每张初始图像进行图像处理,例如可以对每张图像进行插值处理、伽马校正和/或降噪处理,以提取每张初始图像中的可见光子像素,得到对应的RGB图像,以及提取每张初始图像中的红外子像素,得到对应的红外图像。
步骤303、基于n张初始图像中的可见光分量,确定目标区域内所有像素点的第一深度信息。
在本申请的可选实施例中,可以基于n张初始图像对应的RGB图像,采用双目立体匹配技术计算目标区域内所有像素点的第一深度信息。其中,图像中的像素指目标区域内的像素点在图像中的成像,即像素表征图像上的点,像素点表征实际环境中的点。
步骤304、基于n张初始图像中的红外分量,确定目标区域内所有像素点的第二深度信息。
在本申请的可选实施例中,可以基于n张初始图像对应的红外图像,采用双目立体匹配技术计算目标区域内所有像素点的第二深度信息。
步骤305、基于目标区域内所有像素点的第一深度信息,确定目标区域对应的第一深度图像。
其中,第一深度图像是基于n张初始图像对应的RGB图像确定的,当目标区域内的环境纹理信息较为丰富且环境光线较好时,获取的第一深度图像的质量较高。
步骤306、基于目标区域内所有像素点的第二深度信息,确定目标区域对应的第二深度图像。
其中,第二深度图像是基于n张初始图像对应的红外图像确定的,当目标区域内的物体的红外反射率较高,且目标区域距离图像采集设备的距离较近时,第二深度图像的质量较高。
步骤307、对第一深度图像和第二深度图像进行融合,以确定目标区域对应的深度图像。
在本申请的可选实施例中,可以根据目标区域内的实际环境信息,人工确定第一深度图像和第二深度图像的图像融合比例,并对第一深度图像和第二深度图像进行图像融合。例如,当目标区域内的环境纹理信息较为丰富且环境光线较好时,可以设置第一深度图像与第二深度图像的融合比例较高;当目标区域内的物体的红外反射率较高,且目标区域距离图像采集设备的距离较近时,可以设置第一深度图像与第二深度图像的融合比例较低。
在本申请的可选实施例中在本申请的可选实施例中,还可以根据第一深度图像中像素的梯度信息和第二深度图像中像素的梯度信息,确定第一深度图像中各个像素与第二深度图像中各个像素的像素融合比例,例如当某一像素点在第一深度图像中对应的像素的梯度值大于在第二深度图像中对应的像素的梯度值时,确定该像素点在第一深度图像中对应的像素与在第二深度图像中对应的像素的融合比例大于1,例如当某一像素点在第一深度图像中对应的像素的梯度值小于在第二深度图像中对应的像素的梯度值时,确定该像素点在第一深度图像中对应的像素与在第二深度图像中对应的像素的融合比例小于1,并对第一深度图像和第二深度图像进行像素融合。本申请实施例对第一深度图像和第二深度图像的融合方法不做限定。
综上所述,本申请实施例提供的深度图像获取方法,由于图像采集设备采集到的每张初始图像中均包含可见光分量和红外分量,既可以基于至少两张初始图像中的可见光分量进行双目立体匹配计算,又可以基于至少两张初始图像中的红外分量进行双目立体匹配计算,即通过同一图像采集装置采集的至少两张初始图像可以同时实现无源双目技术和有源双目技术,将无源双目技术与有源双目技术融合,可以解决无源双目技术对环境的依赖性,以及有源双目技术在被测物体的红外反射率低和远距离传输时红外散斑迅速衰减导致深度图的质量较差的问题,从而实现较高的鲁棒性,进而提高了深度图的质量稳定性;另外,将基于可见光分量确定的第一深度图像与基于红外分量确定的第二深度图像进行融合,可以进一步提高获取的深度图像的质量。
图7是本申请实施例提供的又一种深度图像获取方法的流程图,用于如图1所示的深度图像获取装置02,如图7所示,该方法可以包括:
步骤401、获取图像采集设备在至少两个采集时刻针对目标区域分别采集的n张初始图像。
本申请以下实施例以获取图像采集设备在两个采集时刻针对目标区域分别采集的n张初始图像为例,对深度图像的获取过程进行说明;实际应用中,也可以获取图像采集设备在三个或者三个以上采集时刻针对目标区域分别采集的n张初始图像,对应的深度图像的获取过程可以参考下述深度图像的获取过程,在此不做赘述。
在本申请的可选实施例中在本申请的可选实施例中,图像采集设备可以包括散斑发射器,则获取图像采集设备在至少两个采集时刻针对目标区域分别采集的n张初始图像的方法,如图8所示,可以包括:
步骤4011、当接收到用于指示点亮散斑发射器的第一控制信号时,点亮散斑发射器,使散斑发射器向目标区域发射红外散斑。
示例的,如图2所示,散斑发射器的投射角可以同时覆盖两个成像镜头的视场角,以使得散斑发射器发射的红外散斑到达目标区域内的实际物体上后能够同时成像在该两个成像镜头对应的图像传感器上。
步骤4012、通过图像采集设备在第一采集时刻针对目标区域采集n张第一初始图像。
在本申请的可选实施例中在本申请的可选实施例中,在点亮散斑发射器后,对于每个成像镜头,可以提取成像镜头对应的图像传感器所采集的所有像素的红外分量;调整成像镜头的曝光时间,以使每个像素的红外分量的亮度处于第一亮度范围;在第一采集时刻针对目标区域采集n张第一初始图像,其中,每张第一初始图像中每个像素的红外分量的亮度处于第一亮度范围。
需要说明的是,由于成像镜头在相同的曝光时间下,图像传感器采集的红外分量的亮度低于可见光分量的亮度,通过调整成像镜头的曝光时间,使每个像素中的红外子像素的亮度处于第一亮度范围,即处于适合成像的范围,可以使得采集到的n张第一初始图像中的红外分量的信噪比较高,即可以获取主要包含红外分量的n张第一初始图像。
步骤4013、当接收到用于指示熄灭散斑发射器的第二控制信号时,熄灭散斑发射器。
步骤4014、通过图像采集设备在第二采集时刻针对目标区域采集n张第二初始图像。
其中,第二采集时刻与第一采集时刻为不同的图像采集时刻,例如第二采集时刻与第一采集时刻可以为相邻的图像采集时刻,即第二采集时刻所采集的n张第二初始图像可以是第一采集时刻所采集的n张第一初始图像的下一帧图像。
在本申请的可选实施例中在本申请的可选实施例中,在熄灭散斑发射器后,对于每个成像镜头,可以提取成像镜头对应的图像传感器所采集的所有像素的可见光分量;调整成像镜头的曝光时间,以使每个像素的可见光分量的亮度处于第二亮度范围;在第二采集时刻针对目标区域采集n张第二初始图像,其中,每张第二初始图像中每个像素的可见光分量的亮度处于第二亮度范围。
需要说明的是,由于成像镜头在相同的曝光时间下,图像传感器采集的红外分量的亮度低于可见光分量的亮度,通过调整成像镜头的曝光时间,使每个像素中的可见光子像素的亮度处于第二亮度范围,即处于适于成像的范围,可以使得采集到的n张第二初始图像中的可见光分量的信噪比较高,即可以获取主要包含可见光分量的n张第二初始图像。
在本申请的可选实施例中在本申请的可选实施例中,图像采集设备还可以包括设置在每个成像镜头与对应的图像传感器之间的双通滤光片,该双通滤光片具有可见光波段对应的第一带通和红外波段对应的第二带通,可以进一步提高n张第一初始图像中可见光分量的信噪比,以及n张第二初始图像中红外分量的信噪比。
步骤402、基于在至少两个采集时刻针对目标区域分别采集的n张初始图像,确定目标区域内所有像素点的深度信息。
在本申请的可选实施例中在本申请的可选实施例中,参考步骤401,可以基于n张第一初始图像和n张第二初始图像,确定目标区域内所有像素点的深度信息。
本申请实施例提供了两种基于n张第一初始图像和n张第二初始图像,确定目标区域内所有像素点的深度信息的方式,分别包括:
第一种方式,对每个成像镜头采集的第一初始图像和第二初始图像进行图像融合,以得到n张融合图像;基于n张融合图像,确定目标区域内所有像素点的深度信息。
在本申请的可选实施例中在本申请的可选实施例中,对每个成像镜头采集的第一初始图像和第二初始图像进行图像融合,以得到n张融合图像的过程,可以包括:
S21、对于每个成像镜头,分别计算第一初始图像和第二初始图像中所有像素的梯度值。
在本申请的可选实施例中在本申请的可选实施例中,可以采用线性滤波算法或形态学梯度算法计算第一初始图像和第二初始图像中所有像素的梯度值,本申请实施例对梯度值的计算方法不做限定。
需要说明的是,图像中像素的梯度值用于反映图像的纹理,像素的梯度值越大,表示对应区域的图像纹理越丰富。
S22、剔除第一初始图像中梯度值小于第一梯度值的像素点,得到第一中间图像。
S23、剔除第二初始图像中梯度值小于第二梯度值的像素点,得到第二中间图像。
在本申请的可选实施例中在本申请的可选实施例中,第二梯度值与第一梯度值可以相等,也可以不相等,对此不做限定。
S24、对第一中间图像和第二中间图像进行图像融合,以得到n张融合图像。
相应的,可以基于n张融合图像,通过双目立体匹配算法计算目标区域内所有像素点的深度信息。
需要说明的是,与第一初始图像和第二初始图像相比,对第一中间图像和第二中间图像进行图像融合后得到的融合图像的纹理更为丰富,因此计算得到的目标区域内所有像素点的深度信息更为准确。
第二种方式,基于n张第一初始图像中的红外分量,确定目标区域内所有像素点的第三深度信息;基于n张第二初始图像中的可见光分量,确定目标区域内所有像素点的第四深度信息。
在本申请的可选实施例中在本申请的可选实施例中,可以提取n张第一初始图像中的红外分量,并基于红外分量通过双目立体匹配算法计算目标区域内所有像素点的第三深度信息;可以提取n张第二初始图像中的可见光分量,并基于可见光分量通过双目立体匹配算法计算目标区域内所有像素点的第四深度信息。
步骤403、根据目标区域内像素点的深度信息,确定目标区域对应的深度图像。
在本申请的可选实施例中在本申请的可选实施例中,当采用步骤402中的第二种方式确定目标区域内所有像素点的深度信息时,根据目标区域内像素点的深度信息,确定目标区域对应的深度图像的过程,可以包括:
基于目标区域内所有像素点的第三深度信息,确定目标区域对应的第三深度图像;基于目标区域内所有像素点的第四深度信息,确定目标区域对应的第四深度图像;对第三深度图像和第四深度图像进行融合,以确定目标区域对应的深度图像。
在本申请的可选实施例中在本申请的可选实施例中,对第三深度图像和第四深度图像进行融合以确定目标区域对应的深度图像的方式可以参考上述步骤307,在此不做赘述。
步骤404、对每张第二初始图像进行图像处理,以去除第二初始图像中的红外分量,得到用于显示的n张可见光图像。
在本申请的可选实施例中在本申请的可选实施例中,图像处理可以包括插值处理、伽马校正和降噪处理中的至少一种。
需要说明的是,本申请实施例提供的深度图像获取方法,既可以提高深度图的质量稳定性,又可以基于采集到的初始图像中的可见光分量获取可见光图像,以便于监控预览以及录像存储,提高了图像获取的灵活性。
进一步的,根据目标区域内像素点的深度信息,确定目标区域对应的深度图像,可以包括:基于n张可见光图像以及目标区域内所有像素点的深度信息,确定目标区域对应的可见光深度图像。
本申请以上实施例以基于目标区域内所有像素点的深度信息确定目标区域对应的深度图像为例进行说明,实际应用中,还可以基于目标区域内部分像素点的深度信息,确定目标区域对应的深度图像,例如可以预先剔除目标区域内的无效像素点,得到除无效像素点以外的部分像素点的深度信息,并基于该部分像素点的深度信息,确定目标区域对应的深度图像,本申请实施例对此不做限定。
需要说明的是,本申请实施例提供的深度图像获取方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
综上所述,本申请实施例提供的深度图像获取方法,由于图像采集设备采集到的每张初始图像中均包含可见光分量和红外分量,既可以基于至少两张初始图像中的可见光分量进行双目立体匹配计算,又可以基于至少两张初始图像中的红外分量进行双目立体匹配计算,即通过同一图像采集装置采集的至少两张初始图像可以同时实现无源双目技术和有源双目技术,将无源双目技术与有源双目技术融合,可以解决无源双目技术对环境的依赖性,以及有源双目技术在被测物体的红外反射率低和远距离传输时红外散斑迅速衰减导致深度图的质量较差的问题,从而实现较高的鲁棒性,进而提高了深度图的质量稳定性;
进一步的,根据在不同采集时刻分别采集的主要包含红外分量的n张第一初始图像和主要包含可见光分量的n张第二初始图像,确定目标区域内所有像素的深度信息,融合了无源双目技术的优点以及有源双目技术的优点,进一步提高了获取的深度图像的质量。
图9是本申请实施例提供的一种深度图像获取装置的结构示意图,如图9所示,装置50可以包括:
第一确定模块501,用于基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定目标区域内像素点的深度信息。
第二确定模块502,用于根据目标区域内像素点的深度信息,确定目标区域对应的深度图像。
其中,在每个采集时刻,图像采集设备采集至少两张初始图像,每张初始图像中包括可见光分量和红外分量。
综上所述,本申请实施例提供的深度图像获取装置,由于图像采集设备采集到的每张初始图像中均包含可见光分量和红外分量,既可以基于至少两张初始图像中的可见光分量进行双目立体匹配计算,又可以基于至少两张初始图像中的红外分量进行双目立体匹配计算,即通过同一图像采集装置采集的至少两张初始图像可以同时实现无源双目技术和有源双目技术,将无源双目技术与有源双目技术融合,可以解决无源双目技术对环境的依赖性,以及有源双目技术在被测物体的红外反射率低和远距离传输时红外散斑迅速衰减导致深度图的质量较差的问题,从而实现较高的鲁棒性,进而提高了深度图的质量稳定性。
在本申请的可选实施例中在本申请的可选实施例中,图像采集设备包括n个成像镜头,每个成像镜头对应设置有用于同时采集可见光分量和红外分量的图像传感器,n≥2,如图10所示,第一确定模块501,可以包括:
第一获取子模块5011a,用于获取图像采集设备在一个采集时刻针对目标区域采集的n张初始图像;
提取子模块5012a,用于分别提取n张初始图像中的可见光分量和红外分量;
第一确定子模块5013a,用于基于n张初始图像中的可见光分量,确定目标区域内所有像素点的第一深度信息;
第二确定子模块5014a,用于基于n张初始图像中的红外分量,确定目标区域内所有像素点的第二深度信息。
相应的,如图11所示,第二确定模块502,可以包括:
第三确定子模块5021a,用于基于目标区域内所有像素点的第一深度信息,确定目标区域对应的第一深度图像;
第四确定子模块5022a,用于基于目标区域内所有像素点的第二深度信息,确定目标区域对应的第二深度图像;
融合子模块5023a,用于对第一深度图像和第二深度图像进行融合,以确定目标区域对应的深度图像。
在本申请的可选实施例中,图像采集设备包括n个成像镜头,每个成像镜头对应设置有用于同时采集可见光分量和红外分量的图像传感器,n≥2,如图12所示,第一确定模块501,可以包括:
第二获取子模块5011b,用于获取图像采集设备在至少两个采集时刻针对目标区域分别采集的n张初始图像;
第五确定子模块5012b,用于基于在至少两个采集时刻针对目标区域分别采集的n张初始图像,确定目标区域内所有像素点的深度信息。
在本申请的可选实施例中,图像采集设备包括散斑发射器,如图13所示,第二获取子模块5011b,可以包括:
点亮单元0111,用于当接收到用于指示点亮散斑发射器的第一控制信号时,点亮散斑发射器,使散斑发射器向目标区域发射红外散斑;
第一采集单元0112,用于通过图像采集设备在第一采集时刻针对目标区域采集n张第一初始图像;
熄灭单元0113,用于当接收到用于指示熄灭散斑发射器的第二控制信号时,熄灭散斑发射器;
第二采集单元0114,用于通过图像采集设备在第二采集时刻针对目标区域采集n张第二初始图像。
在本申请的可选实施例中,第一采集单元,可以用于:
在点亮散斑发射器后,对于每个成像镜头,提取成像镜头对应的图像传感器所采集的所有像素的红外分量;
调整成像镜头的曝光时间,以使每个像素的红外分量的亮度处于第一亮度范围;
在第一采集时刻针对目标区域采集n张第一初始图像,其中,每张第一初始图像中每个像素的红外分量的亮度处于第一亮度范围。
在本申请的可选实施例中,第二采集单元,可以用于:
在熄灭散斑发射器后,对于每个成像镜头,提取成像镜头对应的图像传感器所采集的所有像素的可见光分量;
调整成像镜头的曝光时间,以使每个像素的可见光分量的亮度处于第二亮度范围;
在第二采集时刻针对目标区域采集n张第二初始图像,其中,每张第二初始图像中每个像素的可见光分量的亮度处于第二亮度范围。
在本申请的可选实施例中,第五确定子模块,可以用于:
基于n张第一初始图像和n张第二初始图像,确定目标区域内所有像素点的深度信息。
相应的,如图14所示,第五确定子模块5012b,可以包括:
图像融合单元0121,用于对每个成像镜头采集的第一初始图像和第二初始图像进行图像融合,以得到n张融合图像;
确定单元0122,用于基于n张融合图像,确定目标区域内所有像素点的深度信息。
在本申请的可选实施例中,图像融合单元,可以用于:
对于每个成像镜头,分别计算第一初始图像和第二初始图像中所有像素的梯度值;
剔除第一初始图像中梯度值小于第一梯度值的像素点,得到第一中间图像;
剔除第二初始图像中梯度值小于第二梯度值的像素点,得到第二中间图像;
对第一中间图像和第二中间图像进行图像融合,以得到n张融合图像。
在本申请的可选实施例中,确定单元,可以用于:
基于n张融合图像,通过双目立体匹配算法计算目标区域内所有像素点的深度信息。
在本申请的可选实施例中,第五确定子模块,可以用于:
基于n张第一初始图像中的红外分量,确定目标区域内所有像素点的第三深度信息;
基于n张第二初始图像中的可见光分量,确定目标区域内所有像素点的第四深度信息。
相应的,第二确定模块,可以用于:
基于目标区域内所有像素点的第三深度信息,确定目标区域对应的第三深度图像;
基于目标区域内所有像素点的第四深度信息,确定目标区域对应的第四深度图像;
对第三深度图像和第四深度图像进行融合,以确定目标区域对应的深度图像。
进一步的,如图15所示,装置50还可以包括:
图像处理模块503,用于对每张第二初始图像进行图像处理,以去除第二初始图像中的红外分量,得到用于显示的n张可见光图像。
相应的,第二确定模块,可以用于:
基于n张可见光图像以及目标区域内所有像素点的深度信息,确定目标区域对应的可见光深度图像。
其中,图像处理可以包括插值处理、伽马校正和降噪处理中的至少一种。
综上所述,本申请实施例提供的深度图像获取装置,由于图像采集设备采集到的每张初始图像中均包含可见光分量和红外分量,既可以基于至少两张初始图像中的可见光分量进行双目立体匹配计算,又可以基于至少两张初始图像中的红外分量进行双目立体匹配计算,即通过同一图像采集装置采集的至少两张初始图像可以同时实现无源双目技术和有源双目技术,将无源双目技术与有源双目技术融合,可以解决无源双目技术对环境的依赖性,以及有源双目技术在被测物体的红外反射率低和远距离传输时红外散斑迅速衰减导致深度图的质量较差的问题,从而实现较高的鲁棒性,进而提高了深度图的质量稳定性。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供了一种计算机设备,该计算机设备可以为本申请实施例提供的深度图像获取装置,包括至少一个处理器和至少一个存储器,
其中,
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序,实现本申请方法实施例所述的深度图像获取方法。
示例的,图16是本申请实施例提供的一种计算机设备的框图。该计算机设备600包括:处理器601、通信接口602、存储器603和通信总线604。
处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信。
存储器603,用于存放计算机程序6031。
处理器601,用于执行存储器603上所存放的程序,实现本申请方法实施例所述的深度图像获取方法。
存储器603可能包含高速随机存取存储器,也可能包含非不稳定的存储器,例如至少一个磁盘存储器。
本申请实施例提供了一种存储介质,其上存储有计算机程序,当所述存储介质中的程序由处理器执行时,能够执行本申请方法实施例所述的深度图像获取方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (37)

1.一种深度图像获取方法,其特征在于,所述方法包括:
基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定所述目标区域内像素点的深度信息;
根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像;
其中,在每个所述采集时刻,所述图像采集设备采集至少两张初始图像,每张所述初始图像中包括可见光分量和红外分量。
2.根据权利要求1所述的方法,其特征在于,所述图像采集设备包括n个成像镜头,每个所述成像镜头对应设置有用于同时采集可见光分量和红外分量的图像传感器,n≥2,
所述基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定所述目标区域内像素点的深度信息,包括:
获取所述图像采集设备在一个采集时刻针对所述目标区域采集的n张初始图像;
分别提取所述n张初始图像中的可见光分量和红外分量;
基于所述n张初始图像中的可见光分量,确定所述目标区域内所有像素点的第一深度信息;
基于所述n张初始图像中的红外分量,确定所述目标区域内所有像素点的第二深度信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像,包括:
基于所述目标区域内所有像素点的第一深度信息,确定所述目标区域对应的第一深度图像;
基于所述目标区域内所有像素点的第二深度信息,确定所述目标区域对应的第二深度图像;
对所述第一深度图像和所述第二深度图像进行融合,以确定所述目标区域对应的深度图像。
4.根据权利要求1所述的方法,其特征在于,所述图像采集设备包括n个成像镜头,每个所述成像镜头对应设置有用于同时采集可见光分量和红外分量的图像传感器,n≥2,
所述基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定所述目标区域内像素点的深度信息,包括:
获取所述图像采集设备在至少两个采集时刻针对所述目标区域分别采集的n张初始图像;
基于在所述至少两个采集时刻针对所述目标区域分别采集的n张初始图像,确定所述目标区域内所有像素点的深度信息。
5.根据权利要求4所述的方法,其特征在于,所述图像采集设备包括散斑发射器,
所述获取所述图像采集设备在至少两个采集时刻针对所述目标区域分别采集的n张初始图像,包括:
当接收到用于指示点亮所述散斑发射器的第一控制信号时,点亮所述散斑发射器,使所述散斑发射器向所述目标区域发射红外散斑;
通过所述图像采集设备在第一采集时刻针对所述目标区域采集n张第一初始图像;
当接收到用于指示熄灭所述散斑发射器的第二控制信号时,熄灭所述散斑发射器;
通过所述图像采集设备在第二采集时刻针对所述目标区域采集n张第二初始图像。
6.根据权利要求5所述的方法,其特征在于,所述通过所述图像采集设备在第一采集时刻针对所述目标区域采集n张第一初始图像,包括:
在点亮所述散斑发射器后,对于每个所述成像镜头,提取所述成像镜头对应的图像传感器所采集的所有像素的红外分量;
调整所述成像镜头的曝光时间,以使每个所述像素的红外分量的亮度处于第一亮度范围;
在所述第一采集时刻针对所述目标区域采集所述n张第一初始图像,其中,每张所述第一初始图像中每个所述像素的红外分量的亮度处于所述第一亮度范围。
7.根据权利要求5所述的方法,其特征在于,所述通过所述图像采集设备在第二采集时刻针对所述目标区域采集n张第二初始图像,包括:
在熄灭所述散斑发射器后,对于每个所述成像镜头,提取所述成像镜头对应的图像传感器所采集的所有像素的可见光分量;
调整所述成像镜头的曝光时间,以使每个所述像素的可见光分量的亮度处于第二亮度范围;
在所述第二采集时刻针对所述目标区域采集所述n张第二初始图像,其中,每张所述第二初始图像中每个所述像素的可见光分量的亮度处于所述第二亮度范围。
8.根据权利要求5至7任一所述的方法,其特征在于,所述基于在所述至少两个采集时刻针对所述目标区域分别采集的n张初始图像,确定所述目标区域内所有像素点的深度信息,包括:
基于所述n张第一初始图像和所述n张第二初始图像,确定所述目标区域内所有像素点的深度信息。
9.根据权利要求8所述的方法,其特征在于,所述基于所述n张第一初始图像和所述n张第二初始图像,确定所述目标区域内所有像素点的深度信息,包括:
对每个所述成像镜头采集的第一初始图像和第二初始图像进行图像融合,以得到n张融合图像;
基于所述n张融合图像,确定所述目标区域内所有像素点的深度信息。
10.根据权利要求9所述的方法,其特征在于,所述对每个所述成像镜头采集的第一初始图像和第二初始图像进行图像融合,以得到n张融合图像,包括:
对于每个所述成像镜头,分别计算所述第一初始图像和所述第二初始图像中所有像素的梯度值;
剔除所述第一初始图像中梯度值小于第一梯度值的像素点,得到第一中间图像;
剔除所述第二初始图像中梯度值小于第二梯度值的像素点,得到第二中间图像;
对所述第一中间图像和所述第二中间图像进行图像融合,以得到所述n张融合图像。
11.根据权利要求9所述的方法,其特征在于,所述基于所述n张融合图像,确定所述目标区域内所有像素点的深度信息,包括:
基于所述n张融合图像,通过双目立体匹配算法计算所述目标区域内所有像素点的深度信息。
12.根据权利要求8所述的方法,其特征在于,所述基于所述n张第一初始图像和所述n张第二初始图像,确定所述目标区域内所有像素点的深度信息,包括:
基于所述n张第一初始图像中的红外分量,确定所述目标区域内所有像素点的第三深度信息;
基于所述n张第二初始图像中的可见光分量,确定所述目标区域内所有像素点的第四深度信息。
13.根据权利要求12所述的方法,其特征在于,所述根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像,包括:
基于所述目标区域内所有像素点的第三深度信息,确定所述目标区域对应的第三深度图像;
基于所述目标区域内所有像素点的第四深度信息,确定所述目标区域对应的第四深度图像;
对所述第三深度图像和所述第四深度图像进行融合,以确定所述目标区域对应的深度图像。
14.根据权利要求5至7任一所述的方法,其特征在于,所述方法还包括:
对每张所述第二初始图像进行图像处理,以去除所述第二初始图像中的红外分量,得到用于显示的n张可见光图像。
15.根据权利要求14所述的方法,其特征在于,所述根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像,包括:
基于所述n张可见光图像以及所述目标区域内所有像素点的深度信息,确定所述目标区域对应的可见光深度图像。
16.根据权利要求14所述的方法,其特征在于,
所述图像处理包括插值处理、伽马校正和降噪处理中的至少一种。
17.一种深度图像获取装置,其特征在于,所述装置包括:
第一确定模块,用于基于图像采集设备在至少一个采集时刻针对目标区域采集的初始图像,确定所述目标区域内像素点的深度信息;
第二确定模块,用于根据所述目标区域内像素点的深度信息,确定所述目标区域对应的深度图像;
其中,在每个所述采集时刻,所述图像采集设备采集至少两张初始图像,每张所述初始图像中包括可见光分量和红外分量。
18.根据权利要求17所述的装置,其特征在于,所述图像采集设备包括n个成像镜头,每个所述成像镜头对应设置有用于同时采集可见光分量和红外分量的图像传感器,n≥2,
所述第一确定模块,包括:
第一获取子模块,用于获取所述图像采集设备在一个采集时刻针对所述目标区域采集的n张初始图像;
提取子模块,用于分别提取所述n张初始图像中的可见光分量和红外分量;
第一确定子模块,用于基于所述n张初始图像中的可见光分量,确定所述目标区域内所有像素点的第一深度信息;
第二确定子模块,用于基于所述n张初始图像中的红外分量,确定所述目标区域内所有像素点的第二深度信息。
19.根据权利要求18所述的装置,其特征在于,所述第二确定模块,包括:
第三确定子模块,用于基于所述目标区域内所有像素点的第一深度信息,确定所述目标区域对应的第一深度图像;
第四确定子模块,用于基于所述目标区域内所有像素点的第二深度信息,确定所述目标区域对应的第二深度图像;
融合子模块,用于对所述第一深度图像和所述第二深度图像进行融合,以确定所述目标区域对应的深度图像。
20.根据权利要求17所述的装置,其特征在于,所述图像采集设备包括n个成像镜头,每个所述成像镜头对应设置有用于同时采集可见光分量和红外分量的图像传感器,n≥2,
所述第一确定模块,包括:
第二获取子模块,用于获取所述图像采集设备在至少两个采集时刻针对所述目标区域分别采集的n张初始图像;
第五确定子模块,用于基于在所述至少两个采集时刻针对所述目标区域分别采集的n张初始图像,确定所述目标区域内所有像素点的深度信息。
21.根据权利要求20所述的装置,其特征在于,所述图像采集设备包括散斑发射器,所述第二获取子模块,包括:
点亮单元,用于当接收到用于指示点亮所述散斑发射器的第一控制信号时,点亮所述散斑发射器,使所述散斑发射器向所述目标区域发射红外散斑;
第一采集单元,用于通过所述图像采集设备在第一采集时刻针对所述目标区域采集n张第一初始图像;
熄灭单元,用于当接收到用于指示熄灭所述散斑发射器的第二控制信号时,熄灭所述散斑发射器;
第二采集单元,用于通过所述图像采集设备在第二采集时刻针对所述目标区域采集n张第二初始图像。
22.根据权利要求21所述的装置,其特征在于,所述第一采集单元,用于:
在点亮所述散斑发射器后,对于每个所述成像镜头,提取所述成像镜头对应的图像传感器所采集的所有像素的红外分量;
调整所述成像镜头的曝光时间,以使每个所述像素的红外分量的亮度处于第一亮度范围;
在所述第一采集时刻针对所述目标区域采集所述n张第一初始图像,其中,每张所述第一初始图像中每个所述像素的红外分量的亮度处于所述第一亮度范围。
23.根据权利要求21所述的装置,其特征在于,所述第二采集单元,用于:
在熄灭所述散斑发射器后,对于每个所述成像镜头,提取所述成像镜头对应的图像传感器所采集的所有像素的可见光分量;
调整所述成像镜头的曝光时间,以使每个所述像素的可见光分量的亮度处于第二亮度范围;
在所述第二采集时刻针对所述目标区域采集所述n张第二初始图像,其中,每张所述第二初始图像中每个所述像素的可见光分量的亮度处于所述第二亮度范围。
24.根据权利要求21至23任一所述的装置,其特征在于,所述第五确定子模块,用于:
基于所述n张第一初始图像和所述n张第二初始图像,确定所述目标区域内所有像素点的深度信息。
25.根据权利要求24所述的装置,其特征在于,所述第五确定子模块,包括:
图像融合单元,用于对每个所述成像镜头采集的第一初始图像和第二初始图像进行图像融合,以得到n张融合图像;
确定单元,用于基于所述n张融合图像,确定所述目标区域内所有像素点的深度信息。
26.根据权利要求25所述的装置,其特征在于,所述图像融合单元,用于:
对于每个所述成像镜头,分别计算所述第一初始图像和所述第二初始图像中所有像素的梯度值;
剔除所述第一初始图像中梯度值小于第一梯度值的像素点,得到第一中间图像;
剔除所述第二初始图像中梯度值小于第二梯度值的像素点,得到第二中间图像;
对所述第一中间图像和所述第二中间图像进行图像融合,以得到所述n张融合图像。
27.根据权利要求25所述的装置,其特征在于,所述确定单元,用于:
基于所述n张融合图像,通过双目立体匹配算法计算所述目标区域内所有像素点的深度信息。
28.根据权利要求24所述的装置,其特征在于,所述第五确定子模块,用于:
基于所述n张第一初始图像中的红外分量,确定所述目标区域内所有像素点的第三深度信息;
基于所述n张第二初始图像中的可见光分量,确定所述目标区域内所有像素点的第四深度信息。
29.根据权利要求28所述的装置,其特征在于,所述第二确定模块,用于:
基于所述目标区域内所有像素点的第三深度信息,确定所述目标区域对应的第三深度图像;
基于所述目标区域内所有像素点的第四深度信息,确定所述目标区域对应的第四深度图像;
对所述第三深度图像和所述第四深度图像进行融合,以确定所述目标区域对应的深度图像。
30.根据权利要求21至23任一所述的装置,其特征在于,所述装置还包括:
图像处理模块,用于对每张所述第二初始图像进行图像处理,以去除所述第二初始图像中的红外分量,得到用于显示的n张可见光图像。
31.根据权利要求30所述的装置,其特征在于,所述第二确定模块,用于:
基于所述n张可见光图像以及所述目标区域内所有像素点的深度信息,确定所述目标区域对应的可见光深度图像。
32.根据权利要求31所述的装置,其特征在于,
所述图像处理包括插值处理、伽马校正和降噪处理中的至少一种。
33.一种图像采集设备,其特征在于,所述图像采集设备包括:n个成像镜头和n个图像传感器,所述n个成像镜头与所述n个图像传感器一一对应设置,n≥2;
每个所述图像传感器用于同时采集可见光分量和红外分量。
34.根据权利要求33所述的图像采集设备,其特征在于,所述图像采集设备还包括散斑发射器;
所述散斑发射器的投射角同时覆盖所述n个成像镜头的视场角。
35.根据权利要求33或34所述的图像采集设备,其特征在于,所述图像采集设备还包括n个双通滤光片,每个所述双通滤光片分别对应设置在所述成像镜头与所述图像传感器之间,每个所述双通滤光片具有可见光波段对应的第一带通和红外波段对应的第二带通。
36.根据权利要求35所述的图像采集设备,其特征在于,
所述第一带通的波段范围为380~670纳米;
所述第二带通的波段范围为845~855纳米。
37.一种深度图像获取系统,其特征在于,所述系统包括:图像采集设备和深度图像获取装置,所述图像采集设备为权利要求33至36任一所述的图像采集设备,所述深度图像获取装置为权利要求17至32任一所述的深度图像获取装置;
所述图像采集设备用于在每个采集时刻针对目标区域采集至少两张初始图像,并将所述至少两张初始图像发送至所述深度图像获取装置,每张所述图像中包括可见光分量和红外分量;
所述深度图像获取装置用于确定所述目标区域对应的深度图像。
CN201810502234.4A 2018-05-23 2018-05-23 深度图像获取方法、装置及系统、图像采集设备 Active CN110533709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810502234.4A CN110533709B (zh) 2018-05-23 2018-05-23 深度图像获取方法、装置及系统、图像采集设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810502234.4A CN110533709B (zh) 2018-05-23 2018-05-23 深度图像获取方法、装置及系统、图像采集设备

Publications (2)

Publication Number Publication Date
CN110533709A true CN110533709A (zh) 2019-12-03
CN110533709B CN110533709B (zh) 2023-02-07

Family

ID=68657542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810502234.4A Active CN110533709B (zh) 2018-05-23 2018-05-23 深度图像获取方法、装置及系统、图像采集设备

Country Status (1)

Country Link
CN (1) CN110533709B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446910A (zh) * 2020-12-11 2021-03-05 杭州海康机器人技术有限公司 一种深度图像获得方法、装置、电子设备及存储介质
CN112465891A (zh) * 2020-12-11 2021-03-09 杭州海康机器人技术有限公司 一种深度图像获得方法、装置、电子设备及存储介质
CN113126111A (zh) * 2019-12-30 2021-07-16 Oppo广东移动通信有限公司 飞行时间模组和电子设备
CN113139998A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 深度图像的生成方法及装置、电子设备、计算机存储介质
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110175983A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Apparatus and method for obtaining three-dimensional (3d) image
CN102156987A (zh) * 2011-04-25 2011-08-17 深圳超多维光电子有限公司 获取场景深度信息的方法及装置
CN104639923A (zh) * 2015-02-04 2015-05-20 华为技术有限公司 一种对图像数据进行处理的方法、装置和终端
CN104702933A (zh) * 2013-11-12 2015-06-10 Lg电子株式会社 数字装置及其处理三维图像的方法
CN105049829A (zh) * 2015-07-10 2015-11-11 北京唯创视界科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
CN105686936A (zh) * 2016-01-12 2016-06-22 浙江大学 一种基于rgb-ir相机的声音编码交互系统
US20160295133A1 (en) * 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
CN106572340A (zh) * 2016-10-27 2017-04-19 深圳奥比中光科技有限公司 摄像系统、移动终端及图像处理方法
US20170237887A1 (en) * 2014-11-13 2017-08-17 Panasonic Intellectual Property Management Co. Ltd. Imaging device and imaging method
CN107172407A (zh) * 2016-03-08 2017-09-15 聚晶半导体股份有限公司 适于产生深度图的电子装置与方法
CN107480612A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人物动作的识别方法、装置和终端设备
CN107667527A (zh) * 2015-03-30 2018-02-06 X开发有限责任公司 用于检测可见光和投影图案的成像器

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110175983A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Apparatus and method for obtaining three-dimensional (3d) image
CN102156987A (zh) * 2011-04-25 2011-08-17 深圳超多维光电子有限公司 获取场景深度信息的方法及装置
CN104702933A (zh) * 2013-11-12 2015-06-10 Lg电子株式会社 数字装置及其处理三维图像的方法
US20170237887A1 (en) * 2014-11-13 2017-08-17 Panasonic Intellectual Property Management Co. Ltd. Imaging device and imaging method
CN104639923A (zh) * 2015-02-04 2015-05-20 华为技术有限公司 一种对图像数据进行处理的方法、装置和终端
CN107667527A (zh) * 2015-03-30 2018-02-06 X开发有限责任公司 用于检测可见光和投影图案的成像器
US20160295133A1 (en) * 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
CN105049829A (zh) * 2015-07-10 2015-11-11 北京唯创视界科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
CN105686936A (zh) * 2016-01-12 2016-06-22 浙江大学 一种基于rgb-ir相机的声音编码交互系统
CN107172407A (zh) * 2016-03-08 2017-09-15 聚晶半导体股份有限公司 适于产生深度图的电子装置与方法
CN106572340A (zh) * 2016-10-27 2017-04-19 深圳奥比中光科技有限公司 摄像系统、移动终端及图像处理方法
CN107480612A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人物动作的识别方法、装置和终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐红强: "基于GRM模型匹配算法的车型和车系识别", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
姚孝明: "《实景图像拼接及其漫游控制技术》", 30 June 2011, 成都:西南交通大学出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126111A (zh) * 2019-12-30 2021-07-16 Oppo广东移动通信有限公司 飞行时间模组和电子设备
CN113126111B (zh) * 2019-12-30 2024-02-09 Oppo广东移动通信有限公司 飞行时间模组和电子设备
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
CN112446910A (zh) * 2020-12-11 2021-03-05 杭州海康机器人技术有限公司 一种深度图像获得方法、装置、电子设备及存储介质
CN112465891A (zh) * 2020-12-11 2021-03-09 杭州海康机器人技术有限公司 一种深度图像获得方法、装置、电子设备及存储介质
CN113139998A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 深度图像的生成方法及装置、电子设备、计算机存储介质

Also Published As

Publication number Publication date
CN110533709B (zh) 2023-02-07

Similar Documents

Publication Publication Date Title
CN110533709A (zh) 深度图像获取方法、装置及系统、图像采集设备
CN107292860B (zh) 一种图像处理的方法及装置
CN108055452B (zh) 图像处理方法、装置及设备
CN108154514B (zh) 图像处理方法、装置及设备
CN111741281B (zh) 图像处理方法、终端及存储介质
US9253390B2 (en) Image processing device, image capturing device, image processing method, and computer readable medium for setting a combination parameter for combining a plurality of image data
TWI525382B (zh) 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
CN102098524B (zh) 跟踪式立体显示设备及跟踪式立体显示方法
CN105651384B (zh) 一种全光信息采集系统
CN108111749B (zh) 图像处理方法和装置
CN111062378A (zh) 图像处理方法、模型训练方法、目标检测方法及相关装置
CN107534738A (zh) 用于生成数字图像的系统和方法
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
CN112995616A (zh) 摄像装置和摄像系统
JP4156893B2 (ja) 画像処理装置、方法及びプログラム
JP2000207549A (ja) 画像処理装置
US8937662B2 (en) Image processing device, image processing method, and program
CN114697623B (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
CN109190533B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112991245A (zh) 双摄虚化处理方法、装置、电子设备和可读存储介质
CN109565577A (zh) 色彩校正装置、色彩校正系统、色彩校正用全息图、色彩校正方法以及程序
CN105791793A (zh) 图像处理方法及其电子装置
US10122990B2 (en) Imaging system and method of producing context and focus images
CN110930340B (zh) 一种图像处理方法及装置
JP2000278710A (ja) 両眼立体視画像評価装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant