CN108924407A - 一种深度成像方法及系统 - Google Patents
一种深度成像方法及系统 Download PDFInfo
- Publication number
- CN108924407A CN108924407A CN201810618765.XA CN201810618765A CN108924407A CN 108924407 A CN108924407 A CN 108924407A CN 201810618765 A CN201810618765 A CN 201810618765A CN 108924407 A CN108924407 A CN 108924407A
- Authority
- CN
- China
- Prior art keywords
- light
- image
- depth
- object construction
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 107
- 238000010276 construction Methods 0.000 claims abstract description 140
- 238000012545 processing Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000000571 coke Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 abstract description 19
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 210000000746 body region Anatomy 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
- G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明适用于光学测量及制造领域，提供了一种深度成像方法及系统，所述深度成像方法包括：控制投影仪向目标物发射结构光光束；获取光场相机采集的目标物的目标结构光光场图像，所述目标结构光光场图像由结构光光束照射所述目标物形成；根据所述目标结构光光场图像计算至少两幅不同视角下的目标结构光视角图像，并根据至少两幅所述目标结构光视角图像形成第一深度图像。本发明实施例采用光场相机和投影仪配合的深度成像方法及系统，成像质量大大提高。
Description
技术领域
本发明属于光学测量及制造领域，具体涉及一种深度成像方法及系统。
背景技术
基于结构光技术的深度成像，近年来得到广泛的关注以及极大的发展。而利用深度相机的结构光深度成像被应用于电视、机器人、移动终端等设备上以实现体感交互、3D建模、避障以及人脸识别等功能。
但是，目前的结构光深度成像由于结构光深度相机在使用过程中不可避免产生热量，导致温度上升，温度会影响投影模组、采集相机的性能，比如投影图案或采集图像的畸变，更重要的是会影响投影模组、采集相机之间的相互变形，导致预先标定的参数失效，严重影响深度成像质量。
发明内容
有鉴于此，本发明实施例提供了一种深度成像方法和系统，以解决现有深度成像方法成像质量不高的问题。
本发明第一方面提供了一种深度成像方法，包括：
控制投影仪向目标物发射结构光光束；
获取光场相机采集的目标物的目标结构光光场图像，所述目标结构光光场图像由结构光光束照射所述目标物形成；
根据所述目标结构光光场图像计算至少两幅不同视角下的目标结构光视角图像，并根据至少两幅所述目标结构光视角图像形成第一深度图像。
本发明第二方面提供了一种深度成像系统，包括投影仪，光场相机和处理设备，所述投影仪和光场相机沿基线设置；
所述投影仪，用于向目标物发射结构光光束；
所述光场相机，用于采集目标物的目标结构光光场图像，所述目标结构光光场图像由结构光光束照射所述目标物形成；
所述处理设备，用于控制投影仪向目标物发射结构光光束，并控制光场相机采集目标物的目标结构光光场图像；获取光场相机采集的目标物的目标结构光光场图像；根据所述目标结构光光场图像计算至少两幅不同视角下的目标结构光视角图像，并根据至少两幅所述目标结构光视角图像形成第一深度图像。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。
本发明实施例采用光场相机的深度成像方法及系统，本发明中的多幅图像均是由单个相机提供，因此避免了传统系统因采用支架连接多个成像相机的变形问题，可以极大程度上提供稳定的深度图像，大大提高了成像质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种深度成像系统的结构示意图；
图2是本发明实施例提供的一种深度成像方法的方法流程图；
图3是本发明实施例提供的另一种深度成像方法的方法流程图；
图4是本发明实施例提供的另一种深度成像方法的方法流程图；
图5是本发明实施例提供的另一种深度成像方法的方法流程图；
图6是本发明实施例提供的另一种深度成像方法的方法流程图；
图7是本发明实施例提供的另一种深度成像方法的方法流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
图1是本发明实施例提供的一种深度成像系统的示意图。深度成像系统1包括光场相机10、结构光投影仪20以及处理设备40，深度成像系统用于实现对目标物30进行深度成像。
光场相机10主要组成部件包含图像传感器101、滤光片(图1中未示出)、微透镜阵列(Micro Lens Array，MLA)102、和透镜103。其中，图像传感器101可以为电荷藕合器件图像传感器(Charge Coupled Device，CCD)或互补金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor，CMOS)图像传感器等。滤光片可以为拜尔滤光片、或红外滤光片等。
根据微透镜阵列102与图像传感器101、透镜103之间的距离可以将光场相机分为传统光场相机与聚焦式光场相机。传统光场相机比如lytro公司的光场相机产品；聚焦式光场相机比如Raytrix公司的光场相机产品。本发明将以传统光场相机为例进行说明，可以理解的是任何种类的光场相机均适用于本发明。
传统光场相机中微透镜阵列102位于透镜103的焦平面上，图像传感器101位于微透镜阵列102的焦平面上。光场相机10与普通相机的区别在于，其内部包含了用于记录光线方向信息的微透镜阵列，在此基础上可以进一步实现多视角成像、数字对焦成像、数字变焦成像等效果，具体的原理在此不做赘述。
为了便于后面的描述，在本发明中将光场相机10中图像传感器101各像素直接获取的原始图像称为光场图像，比如结构光光场图像；将对原始图像进行处理而获取的多个视角的图像称为视角图像，视角图像包含将微透镜阵列102对应的像素阵列进行求和而获取的图像等；将对原始图像进行数字处理而获取的不同焦距上的图像称为数字变焦图像；将对原始图像进行数字处理获取的不同像面上的图像称为数字对焦图像。
可以理解的是，任何形式的光场相机均可以被应用于本发明中，比如由多相机组成光场相机阵列、或用掩膜替代微透镜阵列102所形成的光场相机等。
结构光投影仪20的主要组成部件包括光源201、和光学组件202，光学组件202用于将光源201发出的光束进行调制后向外发射出结构光光束。其中，光源201可为激光二极管、或半导体激光器等，还可以为边发射激光器、垂直腔面激光发射器以及相应的阵列激光器等；光源的波长可以是红外、或紫外等。光学组件202可以是折射型光学元件，或衍射型光学元件，或其两者的组合，比如在本发明一个实施例中，光学组件202包含用于将激光光束汇聚的折射型光学元件透镜，以及，将经透镜汇聚后的光束进行衍射分束以形成结构光的衍射光学元件。结构光光束可以是散斑、斑点、条纹、或二维图案等图像形式的结构光光束。
可以理解的是，当结构光投影仪20所投射的波长为λ时，光场相机10中往往需要设置对应的滤光片让波长为λ的光束通过，从而提升图像质量。
光场相机10与结构光投影仪20沿基线方向放置，比如图1中所示的沿x方向放置，二者的光轴可以平行也可以形成一定的夹角。作为本发明一实施例，光场相机10和结构光投影仪20，这二者的光轴设置成平行，通过这种设置，可以简化结构光深度成像算法。
本发明的成像系统采用光场相机和投影仪的配合，在不提高成本的情况下，缩小了整个成像系统的体积，结构紧凑，尺寸小，能够更好地集成在其他设备，如电视、机器人、移动终端等。
处理设备40用于控制光场相机10以及结构光投影仪20，同时还用于执行一些数据处理任务。比如接收来自光场相机10的原始数据，并进行多视角成像、数字变焦、深度图像计算等数据处理。处理设备40可以包含一个或多个处理器以及一个或多个存储器，在本发明一些实施例中，至少部分处理器与存储器也可以被设置在光场相机10和/或结构光投影仪20中。处理器可以包含如数字信号处理器(Digital Signal Processing，DSP)、应用处理器(Multimedia Application Processor，MAP)、现场可编程门阵列(Field-ProgrammableGate Array，FPGA)、特定用途集成电路(Application Specific Integrated Circuit，ASIC)等中的一种或组合，存储器可以包含如随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash)等中的一种或组合。处理设备所执行的控制、数据处理指令可以以软件、固件等形式保存在存储器中并在需要时被处理器调用，也可以直接将指令固化到电路中形成专用电路(或专用处理器)以执行相应的指令，也可以通过软件以及专用电路组合的形式来实现。处理设备40还可以包含输入/输出接口，和/或支持网络通信的网络接口。在本发明一些实施例中，通过接口将处理后的数据传输至其他设备或者系统中的其他单元50，比如显示单元、或外部终端设备等。在本发明其他一些实施例中，显示单元还可以与处理设备中的一个或多个处理器结合。
基于图1所示的深度成像系统，本发明可以实现以下三种深度成像方法。
一、单目结构光深度成像
如图2所示，本发明实施例提供一种深度成像方法，该深度成像方法用于对目标物进行深度成像的情形，该深度成像方法由处理设备40来执行。该深度成像方法，如图2所示，包括步骤S201至S203。
S201，控制投影仪向目标物发射结构光光束。
其中，在处理设备40的控制下，如图1所示，结构光投影仪20向空间内的目标物30投影出结构光光束。作为本发明一实施例，该结构光光束为红外散斑图像光束。
S202，获取光场相机采集的目标物的目标结构光图像，所述目标结构光图像由结构光光束照射所述目标物形成。
其中，处理设备40控制结构光投影仪20向空间内的目标物30投影出结构光光束的同时，控制光场相机10实时采集由空间中目标物反射回的目标结构光图像，从而获取光场相机采集的目标物的目标结构光图像。可以理解的是，光场相机10中的图像传感器各个像素直接采集到的原始图像实际上包含了光束的强度以及方向信息，后续可以通过对该原始图像进行进一步处理以获取所需要的目标结构光图像，即这里的目标结构光图像既可以是目标结构光光场图像，也可以是目标结构光视角图像、或目标结构光变焦图像、或目标结构光对焦图像等。
S203，根据所述目标结构光图像与参考结构光图像形成第一深度图像。
其中，利用所述目标结构光图像与参考结构光图像进行匹配计算得到图像特征点之间的偏离值，根据所述偏离值结合结构光三角法计算出深度值形成第一深度图像。
在本发明实施例中，所述参考结构光图像是在标定阶段预先采集的。在一个实施例中，在距离成像系统已知的距离位置处设置一块参考屏，例如平板，同步控制结构光投影仪20进行结构光图像投影以及光场相机10采集参考结构光图像。参考结构光图像既可以是参考结构光光场图像，也可以是参考结构光视角图像、参考结构光变焦图像、或参考结构光对焦图像等。
在本发明其他一些实施例中，也可以由其他相机来采集参考结构光图像，比如用分辨率更高、视场角更大的2D相机来采集参考结构光图像，利用普通2D图像作为参考结构光图像的好处在于可以更加全面、清晰地记录结构光图像。
根据目标结构光图像种类，步骤S203，根据所述目标结构光图像与参考结构光图像形成第一深度图像，主要分为以下几类情形，在以下几类情形下，参考结构光图像可以选择任一种。
在本发明一些实施例中，目标结构光图像是由光场相机采集的原始图像，即目标结构光光场图像；虽然原始图像具有较高的分辨率，但由于其不能很好地反映出结构光图像的细节特征，因此在进行匹配计算时偏离值的计算精度并不会太高。
在本发明一些实施例中，目标结构光图像是对原始图像进一步处理得到的2D图像，即目标结构光视角图像，比如将微透镜阵列的每个透镜单元所对应的像素求和得到的2D图像，或者将微透镜阵列的每个透镜单元对应的像素阵列中同一位置处的像素共同组成的某一视角下的2D图像等。本实施例与直接用原始图像进行匹配计算相比，由于多视角图像是在原始图像的基础上做的降维处理，分辨率降低，匹配算法的计算速度将会提升，同时对存储器的要求也会降低。需要注意的是，若采用的是某一视角下的2D图像，在对投影仪与光场相机进行内部和外部参数标定时，需要针对相同的视角图像进行标定。
在本发明一些实施例中，目标结构光图像还包括经数字变焦或数字对焦后的2D图像，即目标结构光数字变焦或对焦图像。在本实施例中，可以采用目标结构光数字变焦或对焦图像，与参考结构光图像计算出第一深度图像。由于数字对焦或变焦实现了对目标物体的清晰成像，从而本实施例进一步提高了成像精度。
在上述实施例的基础上，如图3所示，在步骤S203之后，还包括：
S204，检测所述第一深度图像中的感兴趣目标区域。
S205，根据所述感兴趣目标区域的深度信息，对所述目标结构光图像进行数字变焦或对焦，获取目标结构光数字变焦图像或目标结构光数字对焦图像。
S206，根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像形成第二深度图像。
在本实施例中，先采用任一目标结构光图像，比如目标结构光光场图像、目标结构光视角图像、目标结构光变焦图像、或目标结构光对焦图像等，与参考结构光图像计算出第一深度图像后，对第一深度图像进行图像背景分割等处理以确定感兴趣目标区域，比如人体所在区域、或物品所在区域等，并根据感兴趣目标区域的深度信息对目标结构光光场图像进行数字变焦或数字对焦，即对感兴趣目标区域中的物体进行清晰成像。这里的深度信息可以是感兴趣目标区域中某一点的深度值，也可以是感兴趣目标区域的平均深度值等。最后利用数字变焦或对焦后的目标结构光数字变焦或对焦图像，与参考结构光图像进行匹配计算以获取第二深度图像。可以理解的是，由于数字变焦或对焦实现了对目标物体的清晰成像，从而提高了匹配精度，因此相对于第一深度图像，第二深度图像将具备更高的成像精度。
在本实施例中，由于数字变焦图像中焦距(即数字变焦)或者像面位置(即数字对焦)发生了变化，因此在计算第二深度图像时对应的深度计算算法中焦距或像面位置也需要进行相应的调整，即在计算第一深度图像与计算第二深度图像时深度计算算法需要做适应性地调整，以实现高精度深度图像计算。
在上述如图3所述实施例的基础上，可选地，步骤S206，根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像形成第二深度图像，包括：根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光数字变焦或对焦图像形成第二深度图像。
其中，形成参考结构光数字变焦或对焦图像的方法与图3所示实施例中形成目标结构光数字变焦图像或目标结构光数字对焦图像的方法类似，此处不再赘述。
在本实施例中，先采用任一目标结构光图像，比如目标结构光光场图像、目标结构光视角图像等，与任一参考结构光图像，比如参考结构光光场图像、参考结构光视角图像等，进行匹配计算以获取第一深度图像；然后对第一深度图像进行图像背景分割等处理以确定感兴趣目标区域，比如人体所在区域、物品所在区域，并根据感兴趣目标区域的深度信息对目标结构光光场图像进行数字对焦或变焦，同时对参考结构光光场图像进行数字变焦或对焦，比如基于标定阶段放置参考屏的距离对参考结构光光场图像进行数字变焦或对焦，或者基于感兴趣目标区域的深度信息对参考结构光光场图像进行数字变焦或对焦；最后利用目标结构光数字变焦或对焦图像与参考结构光数字变焦或对焦图像进行匹配计算以获取第二深度图像。这里，由于数字变焦或对焦实现了对目标物体或者参考屏的清晰成像，或者统一了目标物体图像与标定图像的焦距，从而进一步提高了匹配精度。
在上述如图3所述实施例的基础上，可选地，在计算第一深度图像时，还可以进一步对第一深度图像进行降维处理以获取粗略的第一深度图像，此时，由于第一深度图像是通过降维处理计算出的，则第二深度图像还将比第一深度图像拥有更高的分辨率。
可以理解的是，以上各实施例仅示意性地介绍了本发明深度成像系统的部分功能，借助于本发明所示的深度成像系统，可以根据不同的应用需求，适应性地改变不同的深度图像计算模式，比如在一个对于深度图像精度要求不高的应用实施例中，可以直接利用目标结构光视角图像进行深度计算，而对于深度图像精度要求高的应用实施例中，则利用目标结构光视角图像/光场图像与数字变焦图像结合的形式来计算深度图像。
与传统的由结构光投影仪以及普通2D相机所组成的单目结构光深度成像系统相比，以上实施例所述的利用光场相机的单目结构光深度成像系统具备明显的优势，一方面，功能多样化，即可以实现快速、低精度的深度图像获取，也可以实现高精度的深度图像获取；另一方面，通过对感兴趣目标区域的检测以及数字变焦/对焦，使得本发明的深度成像系统具备更高的精度，即使在远场情形下也能实现清晰成像，解决了传统深度相机因为距离增加导致精度急剧下降的问题。
二、多目结构光深度成像
多目结构光深度成像即是对双目结构光深度成像的延伸，比如三目结构光深度成像可以看成是两个双目结构光深度成像的简单叠加，因此在下面阐述中以双目结构光深度成像为例进行说明。
如图4所示，本发明实施例提供一种深度成像方法，该深度成像方法用于对目标物进行深度成像的情形，该深度成像方法由图1所示处理设备40来执行。该深度成像方法，如图4所示，包括步骤S401至S403。
S401，控制投影仪向目标物发射结构光光束。
其中，在处理设备40的控制下，如图1所示，结构光投影仪20向空间内的目标物30投影出结构光光束。作为本发明一实施例，该结构光光束为红外散斑图像光束。
S402，获取光场相机采集的目标物的目标结构光光场图像，所述目标结构光光场图像由结构光光束照射所述目标物形成。
其中，处理设备40控制结构光投影仪20向空间内的目标物30投影出结构光光束的同时，控制光场相机10实时采集由空间中目标物反射回的目标结构光光场图像，从而获取光场相机采集的目标物的目标结构光光场图像。
S403，根据所述目标结构光光场图像计算至少两幅不同视角下的目标结构光视角图像，并根据至少两幅所述目标结构光视角图像形成第一深度图像。
其中，处理设备40根据目标结构光光场图像计算出至少两幅不同视角下的目标结构光视角图像。
在本发明实施例中，处理设备40利用两幅所述目标结构光视角图像进行匹配计算得到图像特征点之间的偏离值，根据所述偏离值结合结构光三角法计算出深度值形成第一深度图像。
需要说明的是，在基于偏离值计算深度值时需要事先获取不同视角之间的相对位置关系以及视角图像所对应的相机内部参数，类似于双目视觉算法，需要事先获取左、右相机之间的内外参数，这里可以利用张正友标定法等标定算法事先获取不同视角所对应的内外参数，并将内外参数事先保存到存储器中，在处理器进行深度值计算时进行调用。
可以理解的是，多目结构光深度成像不需要参考结构光图像，在一些实施例中即使没有结构光投影仪的投影，只要目标物体拥有足够的纹理特征并且被光场相机采集到其纹理图像，同样可以计算出深度图像。因此多目结构光深度成像的远场成像距离要大于单目结构光成像的远场成像距离。
与传统双目结构光深度成像系统相比，本发明实施例通过光场相机中的不同视角来进行深度计算，由于不同视角之间的相对位置偏差，即基线，可以达到毫米级，因此可以对近距离比如10厘米甚至更近的物体进行深度成像，而这是传统双目结构光深度成像系统无法实现的。另外，传统双目结构光深度成像系统中的成像相机相互之间独立存在并通过支架连接，在受热或物理冲击等影响下会发生变形，最终会影响深度图像的成像质量，而本发明中的多幅图像均是由单个相机提供，因此避免了传统系统的变形问题，可以极大程度上提供稳定的深度图像。
在上述实施例的基础上，如图5所示，在步骤S403之后，还包括：
S404，检测所述第一深度图像中的感兴趣目标区域。
S405，根据所述感兴趣目标区域的深度信息，对所述目标结构光光场图像进行数字变焦或对焦，获取目标结构光数字变焦图像或目标结构光数字对焦图像。
S406，根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像形成第二深度图像。
在本发明实施例中，所述参考结构光图像是在标定阶段预先采集的。在一个实施例中，在距离成像系统已知的距离位置处设置一块参考屏，例如平板，同步控制结构光投影仪20进行结构光图像投影以及光场相机10采集参考结构光图像。参考结构光图像既可以是参考结构光光场图像，也可以是参考结构光视角图像、参考结构光变焦图像、或参考结构光对焦图像等。
在本实施例中，先计算出第一深度图像后，对第一深度图像进行图像背景分割等处理以确定感兴趣目标区域，比如人体所在区域、或物品所在区域等，并根据感兴趣目标区域的深度信息对目标结构光光场图像进行数字变焦或数字对焦，即对感兴趣目标区域中的物体进行清晰成像。这里的深度信息可以是感兴趣目标区域中某一点的深度值，也可以是感兴趣目标区域的平均深度值等。最后利用数字变焦或对焦后的目标结构光数字变焦或对焦图像，与参考结构光图像进行匹配计算以获取第二深度图像。可以理解的是，由于数字变焦或对焦实现了对目标物体的清晰成像，从而提高了匹配精度，因此相对于第一深度图像，第二深度图像将具备更高的成像精度。
在本实施例中，由于数字变焦图像中焦距(即数字变焦)或者像面位置(即数字对焦)发生了变化，因此在计算第二深度图像时对应的深度计算算法中焦距或像面位置也需要进行相应的调整，即在计算第一深度图像与计算第二深度图像时深度计算算法需要做适应性地调整，以实现高精度深度图像计算。
在上述如图5所述实施例的基础上，可选地，步骤S406，根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像形成第二深度图像，包括：根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光数字变焦或对焦图像形成第二深度图像。
在本实施例中，先匹配计算以获取第一深度图像；其次对第一深度图像进行图像背景分割等处理以确定感兴趣目标区域，比如人体所在区域、物品所在区域，并根据感兴趣目标区域的深度信息对目标结构光光场图像进行数字对焦/变焦，同时对参考结构光光场图像进行数字变焦/对焦，比如基于标定阶段放置参考屏的距离对参考结构光光场图像进行数字变焦/对焦或者基于感兴趣目标区域的深度信息对参考结构光光场图像进行数字变焦/对焦；最后利用数字对焦后的目标结构光数字对焦图像与参考结构光数字对焦图像进行匹配计算以获取第二深度图像。这里，由于数字变焦/对焦实现了对目标物体或者参考屏的清晰成像，或者统一了目标物体图像与标定图像的焦距，从而进一步提高了匹配精度。
在上述如图5所述实施例的基础上，可选地，在计算第一深度图像时，还可以进一步对第一深度图像进行降维处理以获取粗略的第一深度图像，此时，由于第一深度图像是通过降维处理计算出的，则第二深度图像还将比第一深度图像拥有更高的分辨率。
三、融合深度成像
如图6所示，本发明实施例提供一种深度成像方法，该深度成像方法用于对目标物进行深度成像的情形，该深度成像方法由图1所示的处理设备40来执行。该深度成像方法，如图6所示，包括步骤S601至S605。
S601，控制投影仪向目标物发射结构光光束。
其中，在处理设备40的控制下，如图1所示，结构光投影仪20内的目标物30投影出结构光光束。作为本发明一实施例，该结构光光束为红外散斑图像光束。
S602，获取光场相机采集的目标物的目标结构光光场图像，所述目标结构光光场图像由结构光光束照射所述目标物形成。
其中，处理设备40控制结构光投影仪20向空间内的目标物30投影出结构光光束的同时，控制光场相机10实时采集由空间中目标物反射回的目标结构光图像，从而获取光场相机采集的目标物的目标结构光光场图像。
S603，根据所述目标结构光光场图像计算至少两幅不同视角下的目标结构光视角图像。
S604，根据所述目标结构光光场图像或所述目标结构光视角图像，与参考结构光图像形成第一深度图像。
在本发明实施例中，所述参考结构光图像是在标定阶段预先采集的。在一个实施例中，在距离成像系统已知的距离位置处设置一块参考屏，例如平板，结合图1所示，同步控制结构光投影仪20进行结构光图像投影以及光场相机10采集参考结构光图像。参考结构光图像既可以是参考结构光光场图像，也可以是参考结构光视角图像、参考结构光变焦图像、或参考结构光对焦图像等。
所述根据所述目标结构光光场图像或所述目标结构光视角图像，与参考结构光图像形成第一深度图像，包括：
利用所述目标结构光光场图像或所述目标结构光视角图像，与参考结构光图像进行匹配计算得到图像特征点之间的偏离值，根据所述偏离值结合结构光三角法计算出深度值形成第一深度图像。
S605，根据至少两幅所述目标结构光视角图像形成第二深度图像。
利用两幅所述目标结构光视角图像进行匹配计算得到图像特征点之间的偏离值，根据所述偏离值结合结构光三角法计算出深度值形成第二深度图像。
本发明实施例中，步骤S604和S605可以同时进行，也可以先后进行，对两者的时间先后顺序不做具体限定。
S606，将所述第一深度图像和所述第二深度图像进行融合得到第三深度图像。
其中，将所述第一深度图像和所述第二深度图像采用加权算法进行融合得到第三深度图像；或将所述第一深度图像和所述第二深度图像采用MAP-MRF算法进行融合得到第三深度图像。
本发明实施例中，由于第一深度图像是基于单目结构光深度成像原理，相对于多目结构光深度成像而言，精度相对较高，但测量范围由于基线原因受限；而基于多目结构光深度成像基线可以达到毫米量级，可以测量的目标物的距离更近，对于远距离也可以实现深度成像，根据该原理得到的第二深度图像如前所述具备较大的深度成像范围，但精度也会因基线减少而降低；而本实施例中通过将第一深度图像与第二深度图像进行融合，实现了大测量范围以及高精度的深度图像。
作为本发明一实施例，第一深度图像与第二深度图像融合成第三深度图像的融合算法采用加权算法来执行，若用D1(u,v)、D2(u,v)和D3(u,v)分别表示像素(u,v)处的第一深度图像、第二深度图像以及第三深度图像，用a1(u,v)和a2(u,v)分别表示第一深度图像与第二深度图像中像素点深度值的置信度权重，那么第三深度图像可以通过以下公式进行计算：
D3(u,v)＝[D1(u,v)·a1(u,v)+D2(u,v)·a2(u,v)]/[a1(u,v)+a2(u,v)]。
其中，置信度权重可以通过多种方法要进行设定，比如对于第一深度图像而言，由于其在近距离，比如<0.2m，以及较远距离，比如>4m，处的深度值较为可靠，因此对于这类深度值而言其权重因子较大；而对于第二深度图像而言其在中间区域，比如0.2m～4m，的深度值较为可靠，对于中间区域深度值其权重因子较大。此外，权重因子的设定也可以通过引入一些其他参数，比如在对相应像素的权重因子进行设定时，同时考虑该像素周边的像素深度值，并通过周边的像素深度值来计算出平滑因子，通过平滑因子来估计权重因子。
作为本发明另一实施例，将第一深度图像和第二深度图像融合成第三深度图像的过程看成是一种MAP-MRF问题，即利用马尔可夫随机场(MRF)对观察值，即第一深度图像与第二深度图像，与估算值，即第三深度图像，进行建模，并通过最大化后验概率(MAP)来对第三深度图像各个像素值进行求解。
如图7所示，本发明实施例提供另一种深度成像方法，该深度成像方法用于对目标物进行深度成像的情形，该深度成像方法由图1所示的处理设备40来执行。该深度成像方法，如图7所示，包括步骤S701至S707。
S701，获取光场相机采集的目标物的目标结构光光场图像，所述目标结构光光场图像由自然光或投影仪发射的结构光光束照射所述目标物形成。
作为本发明一实施例，在处理设备40的控制下，由投影仪20向空间投影出结构光图像，比如红外散斑图像等。同时，处理设备40控制光场相机10采集由空间中目标物反射回的目标结构光光场图像。
作为本发明另一实施例，目标结构光光场图像的获取也可以是在没有结构光投影的情形下通过被动双目原理获取的深度图像，即在自然光照射下，处理设备40控制光场相机10采集由空间中目标物反射回的目标结构光光场图像。
S702，根据所述目标结构光光场图像计算至少两幅不同视角下的目标结构光视角图像。
S703，根据至少两幅所述目标结构光视角图像形成第一深度图像。
S704，检测所述第一深度图像中的感兴趣目标区域。
S705，根据所述感兴趣目标区域的深度信息，对所述目标结构光光场图像进行数字变焦或对焦，获取目标结构光数字变焦图像或目标结构光数字对焦图像。
S706，根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像形成第二深度图像。
在本发明实施例中，所述参考结构光图像是在标定阶段预先采集的。在一个实施例中，在距离成像系统已知的距离位置处设置一块参考屏，例如平板，结合图1所示，同步控制结构光投影仪20进行结构光图像投影以及光场相机10采集参考结构光图像。参考结构光图像既可以是参考结构光光场图像，也可以是参考结构光视角图像、参考结构光变焦图像、或参考结构光对焦图像等。
所述根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像形成第二深度图像，包括：
利用所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像进行匹配计算得到图像特征点之间的偏离值，根据所述偏离值结合结构光三角法计算出深度值形成第二深度图像。
S707，将所述第一深度图像和所述第二深度图像进行融合得到第三深度图像。
其中，将所述第一深度图像和所述第二深度图像进行融合得到第三深度图像与图6所示实施例相同，此处不再赘述。
本发明实施例中，第一深度图像是基于多目深度成像原理，第二深度图像是基于单目深度成像原理，本发明实施例同时融合了多目结构光深度成像与单目结构光深度成像，实现了大测量范围以及高精度的深度图像。此外，本发明实施例利用数字对焦或变焦后的目标结构光图像与参考结构光图像进行匹配计算以获取第二深度图像。这里，由于数字变焦/对焦实现了对目标物的清晰成像，或者统一了目标物体图像与标定图像的焦距，从而进一步提高了匹配精度。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种深度成像方法，其特征在于，包括：
控制投影仪向目标物发射结构光光束；
获取光场相机采集的目标物的目标结构光光场图像，所述目标结构光光场图像由结构光光束照射所述目标物形成；
根据所述目标结构光光场图像计算至少两幅不同视角下的目标结构光视角图像，并根据至少两幅所述目标结构光视角图像形成第一深度图像。
2.如权利要求1所述的深度成像方法，其特征在于，所述深度成像方法还包括：
检测所述第一深度图像中的感兴趣目标区域；
根据所述感兴趣目标区域的深度信息，对所述目标结构光光场图像进行数字变焦或对焦，获取目标结构光数字变焦图像或目标结构光数字对焦图像；
根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像形成第二深度图像。
3.如权利要求2所述的深度成像方法，其特征在于，所述参考结构光图像包括：参考结构光光场图像、参考结构光视角图像、参考结构光变焦图像、或参考结构光对焦图像。
4.如权利要求1-3任一项所述的深度成像方法，其特征在于，所述根据至少两幅所述目标结构光视角图像形成第一深度图像包括：
利用两幅所述目标结构光视角图像进行匹配计算得到图像特征点之间的偏离值，根据所述偏离值结合结构光三角法计算出深度值形成第一深度图像。
5.如权利要求2所述的深度成像方法，其特征在于，所述根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像形成第二深度图像包括：
利用所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像进行匹配计算得到图像特征点之间的偏离值，根据所述偏离值结合结构光三角法计算出深度值形成第二深度图像。
6.一种深度成像系统，其特征在于，包括投影仪，光场相机和处理设备，所述投影仪和光场相机沿基线设置；
所述投影仪，用于向目标物发射结构光光束；
所述光场相机，用于采集目标物的目标结构光光场图像，所述目标结构光光场图像由结构光光束照射所述目标物形成；
所述处理设备，用于控制投影仪向目标物发射结构光光束，并控制光场相机采集目标物的目标结构光光场图像；获取光场相机采集的目标物的目标结构光光场图像；根据所述目标结构光光场图像计算至少两幅不同视角下的目标结构光视角图像，并根据至少两幅所述目标结构光视角图像形成第一深度图像。
7.如权利要求6所述的深度成像系统，其特征在于，所述处理设备还用于：
检测所述第一深度图像中的感兴趣目标区域；
根据所述感兴趣目标区域的深度信息，对所述目标结构光光场图像进行数字变焦或对焦，获取目标结构光数字变焦图像或目标结构光数字对焦图像；
根据所述目标结构光数字变焦图像或目标结构光数字对焦图像，与参考结构光图像形成第二深度图像。
8.如权利要求7所述的深度成像系统，其特征在于，所述参考结构光图像包括：参考结构光光场图像、参考结构光视角图像、参考结构光变焦图像、或参考结构光对焦图像。
9.如权利要求7或8所述的深度成像系统，其特征在于，所述根据至少两幅所述目标结构光视角图像形成第一深度图像包括：
利用两幅所述目标结构光视角图像进行匹配计算得到图像特征点之间的偏离值，根据所述偏离值结合结构光三角法计算出深度值形成第一深度图像。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810618765.XA CN108924407B (zh) | 2018-06-15 | 2018-06-15 | 一种深度成像方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810618765.XA CN108924407B (zh) | 2018-06-15 | 2018-06-15 | 一种深度成像方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108924407A true CN108924407A (zh) | 2018-11-30 |
| CN108924407B CN108924407B (zh) | 2020-12-18 |
Family
ID=64420990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810618765.XA Active CN108924407B (zh) | 2018-06-15 | 2018-06-15 | 一种深度成像方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108924407B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109600552A (zh) * | 2019-01-14 | 2019-04-09 | 广东省航空航天装备技术研究所 | 图像重新聚焦的控制方法及系统 |
| CN112749610A (zh) * | 2020-07-27 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 深度图像、参考结构光图像生成方法、装置及电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
| US20150092258A1 (en) * | 2012-03-01 | 2015-04-02 | Iee International Electronics & Engineering. S.A. | Compact laser source for active illumination for hybrid three-dimensional imagers |
| CN104918031A (zh) * | 2014-03-10 | 2015-09-16 | 联想(北京)有限公司 | 深度恢复设备和方法 |
| CN105357515A (zh) * | 2015-12-18 | 2016-02-24 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构光和光场成像的彩色深度成像方法及其装置 |
| CN106257995A (zh) * | 2016-07-25 | 2016-12-28 | 深圳大学 | 一种结构光场三维成像方法及其系统 |
| CN106500629A (zh) * | 2016-11-29 | 2017-03-15 | 深圳大学 | 一种显微三维测量装置及系统 |
| US9658060B2 (en) * | 2008-07-25 | 2017-05-23 | Cornell University | Light field image sensor, method and applications |
| CN107113415A (zh) * | 2015-01-20 | 2017-08-29 | 高通股份有限公司 | 用于多技术深度图获取和融合的方法和设备 |
| CN107301665A (zh) * | 2017-05-03 | 2017-10-27 | 中国科学院计算技术研究所 | 具有可变焦光学摄像头的深度摄像头及其控制方法 |
| CN107424187A (zh) * | 2017-04-17 | 2017-12-01 | 深圳奥比中光科技有限公司 | 深度计算处理器、数据处理方法以及3d图像设备 |
| CN107860337A (zh) * | 2017-10-11 | 2018-03-30 | 华天科技（昆山）电子有限公司 | 基于阵列相机的结构光三维重建方法与装置 |
| CN107967697A (zh) * | 2017-11-23 | 2018-04-27 | 四川大学 | 基于彩色随机二元编码结构照明的三维测量方法和系统 |
-
2018
- 2018-06-15 CN CN201810618765.XA patent/CN108924407B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9658060B2 (en) * | 2008-07-25 | 2017-05-23 | Cornell University | Light field image sensor, method and applications |
| US20150092258A1 (en) * | 2012-03-01 | 2015-04-02 | Iee International Electronics & Engineering. S.A. | Compact laser source for active illumination for hybrid three-dimensional imagers |
| CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
| CN104918031A (zh) * | 2014-03-10 | 2015-09-16 | 联想(北京)有限公司 | 深度恢复设备和方法 |
| CN107113415A (zh) * | 2015-01-20 | 2017-08-29 | 高通股份有限公司 | 用于多技术深度图获取和融合的方法和设备 |
| CN105357515A (zh) * | 2015-12-18 | 2016-02-24 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构光和光场成像的彩色深度成像方法及其装置 |
| CN106257995A (zh) * | 2016-07-25 | 2016-12-28 | 深圳大学 | 一种结构光场三维成像方法及其系统 |
| CN106500629A (zh) * | 2016-11-29 | 2017-03-15 | 深圳大学 | 一种显微三维测量装置及系统 |
| CN107424187A (zh) * | 2017-04-17 | 2017-12-01 | 深圳奥比中光科技有限公司 | 深度计算处理器、数据处理方法以及3d图像设备 |
| CN107301665A (zh) * | 2017-05-03 | 2017-10-27 | 中国科学院计算技术研究所 | 具有可变焦光学摄像头的深度摄像头及其控制方法 |
| CN107860337A (zh) * | 2017-10-11 | 2018-03-30 | 华天科技（昆山）电子有限公司 | 基于阵列相机的结构光三维重建方法与装置 |
| CN107967697A (zh) * | 2017-11-23 | 2018-04-27 | 四川大学 | 基于彩色随机二元编码结构照明的三维测量方法和系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109600552A (zh) * | 2019-01-14 | 2019-04-09 | 广东省航空航天装备技术研究所 | 图像重新聚焦的控制方法及系统 |
| CN109600552B (zh) * | 2019-01-14 | 2024-06-18 | 广东省航空航天装备技术研究所 | 图像重新聚焦的控制方法及系统 |
| CN112749610A (zh) * | 2020-07-27 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 深度图像、参考结构光图像生成方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108924407B (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108924408A (zh) | 一种深度成像方法及系统 | |
| CN108881717A (zh) | 一种深度成像方法及系统 | |
| CN106412433B (zh) | 基于rgb-ir深度相机的自动对焦方法及系统 | |
| US8718326B2 (en) | System and method for extracting three-dimensional coordinates | |
| JP6245885B2 (ja) | 撮像装置およびその制御方法 | |
| CN106454090B (zh) | 基于深度相机的自动对焦方法及系统 | |
| CN108020200B (zh) | 一种深度测量方法及系统 | |
| CN108020175B (zh) | 一种多光栅投影双目视觉舌体表面三维整体成像方法 | |
| EP3480648B1 (en) | Adaptive three-dimensional imaging system | |
| JP2019532451A (ja) | 視点から距離情報を取得するための装置及び方法 | |
| JP2017112602A (ja) | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム | |
| JP7104296B2 (ja) | 測距カメラ | |
| CN106355621A (zh) | 基于阵列图像的深度信息获取方法 | |
| JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
| JP6009206B2 (ja) | ３次元計測装置 | |
| CN108924407A (zh) | 一种深度成像方法及系统 | |
| JP7288226B2 (ja) | 測距カメラ | |
| JP7300895B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
| CN108805921A (zh) | 图像获取系统及方法 | |
| CN111868474B (zh) | 测距摄像机 | |
| CN106973199B (zh) | 利用对焦距离扫描提高深度精确度的多光圈相机系统 | |
| CN113936050B (zh) | 散斑图像生成方法、电子设备及存储介质 | |
| CN111815709B (zh) | 一种基于普通数码相机的单位姿多像面三维重建方法 | |
| CN103426143A (zh) | 影像编辑方法以及相关的模糊参数建立方法 | |
| Kawasaki et al. | Optimized aperture for estimating depth from projector's defocus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 88, Gaoxin North 1st Road, Songpingshan Community, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, China. 2001, Obi Technology Building Patentee after: Obi Zhongguang Technology Group Co.,Ltd. Country or region after: China Address before: A808 Zhongdi Building China University of Geosciences Industry University Research Base No 8 Yuexing 3rd Road Nanshan District Shenzhen Guangdong Province Patentee before: SHENZHEN ORBBEC Co.,Ltd. Country or region before: China |