CN115082621B - 一种三维成像方法、装置、系统、电子设备及存储介质 - Google Patents

一种三维成像方法、装置、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN115082621B
CN115082621B CN202210723123.2A CN202210723123A CN115082621B CN 115082621 B CN115082621 B CN 115082621B CN 202210723123 A CN202210723123 A CN 202210723123A CN 115082621 B CN115082621 B CN 115082621B
Authority
CN
China
Prior art keywords
image
target
coding pattern
imaged
dimensional imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210723123.2A
Other languages
English (en)
Other versions
CN115082621A (zh
Inventor
李卫军
孙琳钧
于丽娜
李智伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CN202210723123.2A priority Critical patent/CN115082621B/zh
Publication of CN115082621A publication Critical patent/CN115082621A/zh
Application granted granted Critical
Publication of CN115082621B publication Critical patent/CN115082621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种三维成像方法、装置、系统、电子设备及存储介质,方法包括:根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案;其中,第一图像是投影设备向待成像目标投射初始编码图案后,利用图像采集设备进行图像采集得到的;向投影设备发送第二编码图案,以供投影设备向待成像目标投射第二编码图案;接收图像采集设备发送的第二图像;根据第二图像,获取待成像目标的第二深度图。本发明通过增大初始编码图案中对于目标区域的编码密度,使采集得到的第二图像中包含更多的目标区域信息,相应地,对于待成像目标中目标区域的三维成像精度更高,提升了三维成像精度。

Description

一种三维成像方法、装置、系统、电子设备及存储介质
技术领域
本发明涉及视觉技术领域,尤其涉及一种三维成像方法、装置、系统、电子设备及存储介质。
背景技术
在人工智能机器视觉的发展历程中,受视觉传感技术以及数据处理技术所限,目前的机器系统普遍基于二维视觉技术,而近年来,随着三维视觉感知技术和深度认知技术的飞速发展,三维视觉技术成为机器人视觉领域的研究焦点。
现有的三维成像系统包括图像采集(即感知端)与三维计算(即认知端),感知端采集待成像目标的二维图像数据,认知端则基于二维图像数据生成待成像目标的三维数据。现有三维成像系统的成像方法存在感知端采集的光学数据冗余度较高,认知端的数据计算量较大,三维成像精度较低的缺陷。
发明内容
本发明提供一种三维成像方法、装置、电子设备及存储介质,用以解决现有技术中三维成像精度较低的缺陷。
本发明提供一种三维成像方法,包括:
根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案;其中,所述第一图像是投影设备向待成像目标投射所述初始编码图案后,利用图像采集设备进行图像采集得到的;
向所述投影设备发送所述第二编码图案,以供所述投影设备向待成像目标投射所述第二编码图案;
接收所述图像采集设备发送的第二图像;其中,所述第二图像是所述投影设备向所述待成像目标投射所述第二编码图案后,利用所述图像采集设备进行图像采集得到的;
根据所述第二图像,获取所述待成像目标的第二深度图。
根据本发明提供的一种三维成像方法,在所述根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案之前,方法还包括:
向所述投影设备发送初始编码图案,以供所述投影设备向待成像目标投射所述初始编码图案;
接收所述图像采集设备发送的所述第一图像。
根据本发明提供的一种三维成像方法,所述根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案,包括:
通过目标检测算法确定所述第一图像中的目标区域的2D平面坐标;
基于所述目标区域的2D平面坐标,结合由所述第一图像得到的第一深度图中的深度信息,确定所述目标区域的3D空间坐标;
基于所述目标区域的3D空间坐标,增大所述初始编码图案中对所述目标区域的编码密度,得到所述第二编码图案。
根据本发明提供的一种三维成像方法,所述图像采集设备包括双目相机,所述双目相机包括左相机和右相机;相应的,所述第一图像包括第一左视图图像或第一右视图图像,所述第二图像包括第二左视图图像或第二右视图图像。
根据本发明提供的一种三维成像方法,所述根据所述第二图像以,获取所述待成像目标的第二深度图,还包括:
根据所述第二图像,对所述第二左视图图像和所述第二右视图图像进行像素匹配,获得视差图;
基于三角测量原理,对所述视差图进行计算,获得所述待成像目标的第二深度图。
根据本发明提供的一种三维成像方法,在所述根据所述第二图像以及所述第二编码图案,获取所述待成像目标的深度图之后,还包括:
基于成像场景,判断是否需要进行下一次成像;
如果需要进行下一次成像,则根据前次编码图案以及前次图像,获得本次编码图案;向所述投影设备发送所述本次编码图案,以供所述投影设备向待成像目标投射所述本次编码图案;接收所述图像采集设备发送的本次图像;根据所述本次图像,获取所述待成像目标的本次深度图。
本发明还提供一种三维成像装置,包括:
编码图案获取模块,用于根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案;其中,所述第一图像是投影设备向待成像目标投射所述初始编码图案后,利用图像采集设备进行图像采集得到的;
编码图案发送模块,用于向所述投影设备发送所述第二编码图案,以供所述投影设备向待成像目标投射所述第二编码图案;
图像接受模块,用于接收所述图像采集设备发送的第二图像;其中,所述第二图像是所述投影设备向所述待成像目标投射所述第二编码图案后,利用所述图像采集设备进行图像采集得到的;
深度图获取模块,用于根据所述第二图像,获取所述待成像目标的第二深度图。
本发明还提供一种三维成像系统,包括:投影设备,三维成像装置,图像采集设备;
所述三维成像装置用于执行上述任一项所述的三维成像方法;
所述投影设备用于执行上述任一项所述三维成像方法中的投影设备对应的步骤,所述图像采集设备用于执行上述任一项所述三维成像方法中的图像采集设备对应的步骤,以配合所述三维成像装置实现待成像目标的三维成像。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述三维成像方法的全部或部分步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述三维成像方法的全部或部分步骤。
本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述指令在被执行时用于实现如上述任一种所述三维成像方法的全部或部分步骤。
本发明提供的三维成像方法、装置、电子设备及存储介质,通过根据第一图像增大初始编码图案中对于目标区域的编码密度,使采集得到的第二图像中包含更多的目标区域信息,相应地,对于待成像目标中目标区域的三维成像精度更高,提升了三维成像精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种三维成像系统的结构示意图;
图2是本发明提供的一种三维成像方法的流程示意图;
图3是本发明提供的一种三维成像装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-图4描述本发明提供的三维成像方法、装置、系统、电子设备、存储介质及程序产品。
为便于理解本发明提供的三维成像方法的执行过程,下面先对本发明的三维成像系统进行简要介绍,图1是本发明提供的一种三维成像系统的结构示意图,如图1所示,三维成像系统包括:投影设备、三维成像装置、图像采集设备。
其中,投影设备根据三维成像装置发出的编码图案向待成像目标进行投影,图像采集设备采集待成像目标被投影后的图像,并传输至三维成像装置,三维成像装置根据图像采集设备采集到的图案结合投影的编码图案,计算待成像目标的三维数据。
图2是本发明提供的一种三维成像方法的流程示意图,该方法的执行主体是三维成像装置,如图2所示,该方法包括:
S210、根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案;其中,所述第一图像是投影设备向待成像目标投射所述初始编码图案后,利用图像采集设备进行图像采集得到的;
具体地,投影设备向待成像目标投射了初始编码图案,图像采集设备对投射了初始编码图案的待成像目标进行图像采集,得到第一图像。投影设备例如红外投影仪(infrared ray)、普通的可见光投影仪,激光投影仪等。
初始编码图案可以是基于时域编码的编码图案,基于时域编码的编码图案将编码的一系列图案依次投射到待成像目标上,例如二进制码、格雷码等等;初始编码图案还可以是基于空域编码的编码图案,基于空域编码的图案也就是对图案形状进行编码,例如随机散斑图案等。初始编码图案的编码样式可以自行设置,如设置二进制码、格雷码、条纹图案或随机散斑图案等;初始编码图案的编码密度也可以自行设置,例如,对于时域编码,可以设置每组编码图案数量,又例如,可以设置条纹间隔密度/散斑分布密度、光照强度等。
图像采集设备如摄像头,可以理解的是,此处的图像采集设备需要与投影设备类型向匹配。例如,若投影设备为红外投影仪,则图像采集设备为红外摄像头;若投影设备为普通的可见光投影仪,则图像采集设备为普通的可见光摄像头。此外,图像采集设备还可以同时包括不同类型的具体的图像采集设备,例如,可以同时利用红外摄像头和可见光摄像头进行图像采集,利用可见光摄像头采集到的彩色图像可以方便地提取出纹理信息,纹理信息可以用于结合红外摄像头采集到的红外图像计算待成像目标的三维数据,提升三维成像精度。
待成像目标被投影设备按照初始编码图案照射后,图像采集设备采集待成像目标的反射光线得到第一图像,并传输至三维成像装置。
本步骤中,第一图像涉及了待成像目标的全局范围,初始编码图案的各区域的编码密度是均匀的,相应的,在获取到的第一图像中,对应待成像目标的各区域的成像精度也是均匀的,而在实际的成像过程中,用户往往需要重点关注待成像目标的部分区域(对应上述目标区域,例如人物脸部区域,自动驾驶场景中的车辆),也可以称之为感兴趣区域(ROI),对于其他区域(非目标区域)用户并不需要重点关注。因此,三维成像装置根据获取的第一图像,确定待成像目标的目标区域,然后增大初始编码图案中对于目标区域的编码密度即只增加目标区域的编码,得到第二编码图案,例如,增加每组编码图案中的图案数量(对于时域编码),增加条纹编码图案中的条纹间隔密度,增加随机散斑图案中的散斑分布密度,增加图案的光照强度等。相应地,图像采集设备能够更多地采集到待成像目标中目标区域的图像信息,从而用于提升对于目标区域的三维成像精度。
需要说明的是,本实施例中的三维成像方法的执行主体三维成像装置可以是本地计算机,可以是远程服务器,还可以是芯片(如FPGA等),用于与投影设备、图像采集设备进行数据交互,进行三维成像数据计算。
S220、向所述投影设备发送所述第二编码图案,以供所述投影设备向待成像目标投射所述第二编码图案;
具体地,三维成像装置将基于初始编码图案调整后得到的第二编码图案发送至投影设备,投影设备向待成像目标投射第二编码图案。
S230、接收所述图像采集设备发送的第二图像;其中,所述第二图像是所述投影设备向所述待成像目标投射所述第二编码图案后,利用所述图像采集设备进行图像采集得到的;
具体地,第二编码图案投射到待成像目标后,被待成像目标高度调制,被调制的第二编码图案被图像采集设备采集得到第二图像,图像采集设备还将第二图像发送至三维成像装置。三维成像装置接收图像采集设备发送的第二图像,用于进行待成像目标的三维数据计算。
S240、根据所述第二图像,获取所述待成像目标的第二深度图。
具体地,本步骤中,三维成像装置根据第二图像进行分析计算得到待成像目标的第二深度图(即,三维数据)。按照第二编码图案向待成像目标投射光线,即向待成像目标投射结构光(投射光线结构化)。基于结构光的三维成像属于主动三维测量,结构光投射到待成像目标后,被待成像目标的高度调制,图像采集设备采集调制后的第二图像并传输至三维成像装置内进行分析,利用三角测量原理进行分析计算可以得出待成像目标的第二深度图(即三维数据)。深度图中的每一像素值表示了待成像目标中一点到图像采集设备的距离(即待成像目标的三维数据)。由于第二编码图案中增加了对于目标区域的编码密度,相应地,采集到的第二图像中具有更多地目标区域信息,第二深度图中对于目标区域的成像精度也更高。
本实施例中根据第一图像增大初始编码图案中对于目标区域的编码密度,并将得到的第二编码图案再次投射到待成像目标进行图像采集,采集得到的第二图像中包含更多的目标区域信息,使得待成像目标中目标区域的三维成像精度更高,提升了三维成像精度。
基于上述任一实施例,在本实施例中,根据本发明提供的一种三维成像方法,在所述根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案之前,方法还包括:
向所述投影设备发送初始编码图案,以供所述投影设备向待成像目标投射所述初始编码图案;
接收所述图像采集设备发送的所述第一图像。
具体地,本发明的方案属于主动三维测量计算方案,三维成像装置需要预先向投影设备发送初始编码图案,以供投影设备向待成像目标投射初始编码图案。相应地,三维成像装置还接收图像采集设备采集投射了初始编码图案的待成像目标得到的第一图像。
本实施例中通过向投影设备发送初始编码图案,并接收图像采集设备采集到的第一图像,为待成像目标的三维成像奠定了基础。
基于上述任一实施例,在本实施例中,根据本发明提供的一种三维成像方法,所述根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案,包括:
通过目标检测算法确定所述第一图像中的目标区域的2D平面坐标;
基于所述目标区域的2D平面坐标,结合由所述第一图像得到的第一深度图中的深度信息,确定所述目标区域的3D空间坐标;
基于所述目标区域的3D空间坐标,增大所述初始编码图案中对所述目标区域的编码密度,得到所述第二编码图案。
具体地,目标区域即待成像目标中用户所需要关注的区域,也可以称之为感兴趣区域(ROI),在机器视觉、图像处理中,被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域ROI(region of interest)。对于本发明而言,三维成像装置利用目标检测算法求出目标区域的2D坐标,从第一图像中筛选出目标区域。
目标检测算法例如one-stage目标检测算法、基于候选区域的目标检测算法等,其中,one-stage算法主要包括YOLO、SSD等。在进行目标检测前,用户可以自行定义检测目标,如人脸、人体等。举例而言,对于人脸识别任务,可以利用目标检测算法从第一图像中筛选出人物脸部区域作为感兴趣区域;对于交通监测任务,可以利用目标检测算法从第一图像中筛选出车辆/车道线作为感兴趣区域。
具体的,三维成像装置根据第一图像,进行分析计算得到待成像目标的第一深度图(即,三维数据)。结合第一深度图中的三维数据,根据目标区域的2D坐标求出目标区域的3D坐标。
基于目标区域的3D空间坐标,根据初始编码图案与第一深度图中的像素对应关系,增加初始编码图案中对应目标区域的编码密度,得到二次编码图案。例如,增加条纹编码图案中的条纹间隔密度,增加随机散斑图案中的散斑分布密度,增加图案的光照强度等。
本实施例中利用目标检测算法并结合深度信息准确地确定了目标区域,通过增加初始编码图案中对应目标区域的编码密度,提升了对于待成像目标中目标区域的成像精度。
基于上述任一实施例,在本实施例中,根据本发明提供的一种三维成像方法,所述图像采集设备包括双目相机,所述双目相机包括左相机和右相机;相应的,所述第一图像包括第一左视图图像或第一右视图图像,所述第二图像包括第二左视图图像或第二右视图图像。
本实施例中,双目相机中有左右两个单目摄像机,双目相机标定时不仅需要完成两个单目摄像机的所有标定任务(内参矩阵、畸变系数、外参矩阵),还需要计算与左右两个相机的坐标系变换相关的参数。
相应的,在上述通过目标检测算法确定第一图像中的目标区域的2D平面坐标中,计算目标区域的2D平面坐标时,可以选择第一左视图图像或第一右视图图像来计算目标区域的2D平面坐标。
本实施例中通过进一步公开图像采集设备包括双目相机且双目相机包括左相机和右相机,有力的支持了对于待成像目标中目标区域的成像精度的提升。
基于上述任一实施例,在本实施例中,根据本发明提供的一种三维成像方法,所述根据所述第二图像,获取所述待成像目标的第二深度图,还包括:
根据所述第二图像,对所述第二左视图图像和所述第二右视图图像进行像素匹配,获得视差图;
基于三角测量原理,对所述视差图进行计算,获得所述待成像目标的第二深度图。
具体的,像素匹配又称灰度匹配,属于双目立体视觉里的通用技术,在此不再赘述。三角测量是指在已知当前帧和参考帧的位姿和匹配点以及相机内参的情况下,恢复观测点深度的过程,也属于双目立体视觉里的通用技术,在此不再赘述。
本实施例中,三维成像装置接收到图像采集设备传送来的第二图像,对第二图像中的第二左视图图像和第二右视图图像进行像素匹配,获得视差图,再利用三角测量原理对获得的视差图进行计算,获得待成像目标的第二深度图。
需要强调的是,第二深度图的求取过程与其他深度图的求取过程相同,在本申请中的其他部分出现深度图时,不再赘述。
本实施例中通过进一步公开基于像素匹配和三角测量原理对深度图的具体求取路径,有力的支持了对于待成像目标中目标区域的成像精度的提升。
基于上述任一实施例,在本实施例中,根据本发明提供的一种三维成像方法,在所述根据所述第二图像以及所述第二编码图案,获取所述待成像目标的深度图之后,还包括:
基于成像场景,判断是否需要进行下一次成像;
如果需要进行下一次成像,则根据前次编码图案以及前次图像,获得本次编码图案;向所述投影设备发送所述本次编码图案,以供所述投影设备向待成像目标投射所述本次编码图案;接收所述图像采集设备发送的本次图像;根据所述本次图像,获取所述待成像目标的本次深度图。
具体的,基于客户具体成像场景的需求,如果需求是对动态场景进行连续成像,即需要进行下一次成像,则输出3D视频流,三维成像装置基于前次编码图案和前次图像对前次编码图案做进一步优化,包括进一步增大编码图案中对目标区域的编码密度,得到本次编码图案,然后由三维成像装置再次向投影设备发送本次编码图案,以供投影设备向待成像目标投射本次编码图案,最后三维成像装置基于接收到的图像采集设备发送的本次图像,获取待成像目标的本次深度图。如果需求是对静态场景进行单次成像,则结束成像流程,不需要进行下一次成像。
本实施例中通过增加下一次成像的操作流程,可以对深度图的求取进行连续迭代求取,有力的支持了对于待成像目标中目标区域的成像精度的提升。
下面对本发明提供的一种三维成像装置进行描述,下文描述的三维成像装置与上文描述的三维成像方法可相互对应参照。
图3是本发明提供的一种三维成像装置的结构示意图,如图3所示,该装置包括:
编码图案获取模块310,用于根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案;其中,所述第一图像是投影设备向待成像目标投射所述初始编码图案后,利用图像采集设备进行图像采集得到的;
编码图案发送模块320,用于向所述投影设备发送所述第二编码图案,以供所述投影设备向待成像目标投射所述第二编码图案;
图像接受模块330,用于接收所述图像采集设备发送的第二图像;其中,所述第二图像是所述投影设备向所述待成像目标投射所述第二编码图案后,利用所述图像采集设备进行图像采集得到的;
深度图获取模块340,用于根据所述第二图像获取所述待成像目标的第二深度图。
本实施例中通过设置第二编码图案获取模块、第二编码图案发送模块、第二图像接受模块和深度图获取模块,根据第一图像增大初始编码图案中对于目标区域的编码密度,并将得到的第二编码图案再次投射到待成像目标进行图像采集,采集得到的第二图像中包含更多的目标区域信息,使得待成像目标中目标区域的三维成像精度更高,提升了三维成像精度。
基于上述任一实施例,在本实施例中,装置还包括:
初始编码图案发送模块,用于向所述投影设备发送初始编码图案,以供所述投影设备向待成像目标投射所述初始编码图案;
第一图像接收模块,用于接收所述图像采集设备发送的所述第一图像。
本实施例中通过设置初始编码图案发送模块和第一图像接收模块,向投影设备发送初始编码图案,并接收图像采集设备采集到的第一图像,为待成像目标的三维成像奠定了基础。
基于上述任一实施例,在一个实施例中,所述编码图案获取模块310,包括:
平面坐标获取单元,用于通过目标检测算法确定所述第一图像中的目标区域的2D平面坐标;
空间坐标获取单元,用于结合由所述第一图像和所述初始编码图案生成的第一深度图中的深度信息,确定所述目标区域的3D空间坐标;
第二编码图案获取单元,用于增大所述初始编码图案中对所述目标区域的编码密度,得到所述第二编码图案。
本实施例中通过在编码图案获取模块中设置平面坐标获取单元、空间坐标获取单元和第二编码图案获取单元,利用目标检测算法并结合深度信息准确地确定了目标区域,通过增加初始编码图案中对应目标区域的编码密度,提升了对于待成像目标中目标区域的成像精度。
基于上述任一实施例,在本实施例中,所述深度图获取模块340,还包括:
视差图获取单元,用于根据所述第二图像,对所述第二左视图图像和所述第二右视图图像进行像素匹配,获得视差图;
深度图获取单元,用于基于三角测量原理,对所述视差图进行计算,获得所述待成像目标的深度图。
本实施例中通过设置视差图获取单元和深度图获取单元,进一步公开基于像素匹配和三角测量原理对深度图的具体求取路径,有力的支持了对于待成像目标中目标区域的成像精度的提升。
下面对本发明提供的三维成像系统进行描述,下文描述的三维成像系统与上文描述的三维成像方法可相互对应参照。
仍然参照图1,本发明提供一种三维成像系统,包括:投影设备,三维成像装置,图像采集设备;
所述三维成像装置用于执行上述任一项所述的三维成像方法;
所述投影设备用于执行上述任一项所述三维成像方法中的投影设备对应的步骤,所述图像采集设备用于执行上述任一项所述三维成像方法中的图像采集设备对应的步骤,以配合所述三维成像装置实现待成像目标的三维成像。投影设备,三维成像装置,图像采集设备的具体交互过程可以参照上文记载,此处不再赘述。
本实施例中根据第一图像增大初始编码图案中对于目标区域的编码密度,并将得到的第二编码图案再次投射到待成像目标进行图像采集,采集得到的第二图像中包含更多的目标区域信息,使得待成像目标中目标区域的三维成像精度更高,提升了三维成像精度。
图4示例了一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行上述各提供的三维成像方法的全部或部分步骤,该方法包括:根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案;其中,所述第一图像是投影设备向待成像目标投射所述初始编码图案后,利用图像采集设备进行图像采集得到的;向所述投影设备发送所述第二编码图案,以供所述投影设备向待成像目标投射所述第二编码图案;接收所述图像采集设备发送的第二图像;其中,所述第二图像是所述投影设备向所述待成像目标投射所述第二编码图案后,利用所述图像采集设备进行图像采集得到的;根据所述第二图像,获取所述待成像目标的第二深度图。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的三维成像方法的全部或部分步骤,该方法包括:根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案;其中,所述第一图像是投影设备向待成像目标投射所述初始编码图案后,利用图像采集设备进行图像采集得到的;向所述投影设备发送所述第二编码图案,以供所述投影设备向待成像目标投射所述第二编码图案;接收所述图像采集设备发送的第二图像;其中,所述第二图像是所述投影设备向所述待成像目标投射所述第二编码图案后,利用所述图像采集设备进行图像采集得到的;根据所述第二图像,获取所述待成像目标的第二深度图。
又一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各提供的三维成像方法的全部或部分步骤,该方法包括:根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案;其中,所述第一图像是投影设备向待成像目标投射所述初始编码图案后,利用图像采集设备进行图像采集得到的;向所述投影设备发送所述第二编码图案,以供所述投影设备向待成像目标投射所述第二编码图案;接收所述图像采集设备发送的第二图像;其中,所述第二图像是所述投影设备向所述待成像目标投射所述第二编码图案后,利用所述图像采集设备进行图像采集得到的;根据所述第二图像,获取所述待成像目标的第二深度图。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维成像方法,其特征在于,包括:
根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案;其中,所述第一图像是投影设备向待成像目标投射所述初始编码图案后,利用图像采集设备进行图像采集得到的;
向所述投影设备发送所述第二编码图案,以供所述投影设备向待成像目标投射所述第二编码图案;
接收所述图像采集设备发送的第二图像;其中,所述第二图像是所述投影设备向所述待成像目标投射所述第二编码图案后,利用所述图像采集设备进行图像采集得到的;
根据所述第二图像,获取所述待成像目标的第二深度图。
2.根据权利要求1所述的三维成像方法,其特征在于,在所述根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案之前,方法还包括:
向所述投影设备发送初始编码图案,以供所述投影设备向待成像目标投射所述初始编码图案;
接收所述图像采集设备发送的所述第一图像。
3.根据权利要求1所述的三维成像方法,其特征在于,所述根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案,包括:
通过目标检测算法确定所述第一图像中的目标区域的2D平面坐标;
基于所述目标区域的2D平面坐标,结合由所述第一图像得到的第一深度图中的深度信息,确定所述目标区域的3D空间坐标;
基于所述目标区域的3D空间坐标,增大所述初始编码图案中对所述目标区域的编码密度,得到所述第二编码图案。
4.根据权利要求1所述的三维成像方法,其特征在于,所述图像采集设备包括双目相机,所述双目相机包括左相机和右相机;相应的,所述第一图像包括第一左视图图像或第一右视图图像,所述第二图像包括第二左视图图像或第二右视图图像。
5.根据权利要求4所述的三维成像方法,其特征在于,所述根据所述第二图像,获取所述待成像目标的第二深度图,还包括:
根据所述第二图像,对所述第二左视图图像和所述第二右视图图像进行像素匹配,获得视差图;
基于三角测量原理,对所述视差图进行计算,获得所述待成像目标的第二深度图。
6.根据权利要求1所述的三维成像方法,其特征在于,在所述根据所述第二图像以及所述第二编码图案,获取所述待成像目标的深度图之后,还包括:
基于成像场景,判断是否需要进行下一次成像;
如果需要进行下一次成像,则根据前次编码图案以及前次图像,获得本次编码图案;向所述投影设备发送所述本次编码图案,以供所述投影设备向待成像目标投射所述本次编码图案;接收所述图像采集设备发送的本次图像;根据所述本次图像,获取所述待成像目标的本次深度图。
7.一种三维成像装置,其特征在于,包括:
编码图案获取模块,用于根据第一图像增大初始编码图案中对于目标区域的编码密度,获得第二编码图案;其中,所述第一图像是投影设备向待成像目标投射所述初始编码图案后,利用图像采集设备进行图像采集得到的;
编码图案发送模块,用于向所述投影设备发送所述第二编码图案,以供所述投影设备向待成像目标投射所述第二编码图案;
图像接受模块,用于接收所述图像采集设备发送的第二图像;其中,所述第二图像是所述投影设备向所述待成像目标投射所述第二编码图案后,利用所述图像采集设备进行图像采集得到的;
深度图获取模块,用于根据所述第二图像,获取所述待成像目标的第二深度图。
8.一种三维成像系统,其特征在于,包括:投影设备,三维成像装置,图像采集设备;
所述三维成像装置用于执行权利要求1-6中任一项所述的三维成像方法;
所述投影设备用于执行权利要求1-6中任一项所述三维成像方法中的投影设备对应的步骤,所述图像采集设备用于执行权利要求1-6中任一项所述三维成像方法中的图像采集设备对应的步骤,以配合所述三维成像装置实现待成像目标的三维成像。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述三维成像方法的全部或部分步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维成像方法的全部或部分步骤。
CN202210723123.2A 2022-06-21 2022-06-21 一种三维成像方法、装置、系统、电子设备及存储介质 Active CN115082621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210723123.2A CN115082621B (zh) 2022-06-21 2022-06-21 一种三维成像方法、装置、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210723123.2A CN115082621B (zh) 2022-06-21 2022-06-21 一种三维成像方法、装置、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115082621A CN115082621A (zh) 2022-09-20
CN115082621B true CN115082621B (zh) 2023-01-31

Family

ID=83255639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210723123.2A Active CN115082621B (zh) 2022-06-21 2022-06-21 一种三维成像方法、装置、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115082621B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489026A (zh) * 2013-09-24 2014-01-01 深圳市中选科技有限公司 一种彩色二维码及其生成方法、生成系统和一种印刷物
CN108986177A (zh) * 2017-05-31 2018-12-11 华为技术有限公司 结构光编码方法、装置及终端设备
WO2019100933A1 (zh) * 2017-11-21 2019-05-31 蒋晶 用于三维测量的方法、装置以及系统
CN109993826A (zh) * 2019-03-26 2019-07-09 中国科学院深圳先进技术研究院 一种结构光三维图像重建方法、设备及系统
CN110686599A (zh) * 2019-10-31 2020-01-14 中国科学院自动化研究所 基于彩色格雷码结构光的三维测量方法、系统、装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796004B (zh) * 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489026A (zh) * 2013-09-24 2014-01-01 深圳市中选科技有限公司 一种彩色二维码及其生成方法、生成系统和一种印刷物
CN108986177A (zh) * 2017-05-31 2018-12-11 华为技术有限公司 结构光编码方法、装置及终端设备
WO2019100933A1 (zh) * 2017-11-21 2019-05-31 蒋晶 用于三维测量的方法、装置以及系统
CN109993826A (zh) * 2019-03-26 2019-07-09 中国科学院深圳先进技术研究院 一种结构光三维图像重建方法、设备及系统
CN110686599A (zh) * 2019-10-31 2020-01-14 中国科学院自动化研究所 基于彩色格雷码结构光的三维测量方法、系统、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结构光编码方法综述;陈彦军等;《小型微型计算机系统》;20100915(第09期);全文 *

Also Published As

Publication number Publication date
CN115082621A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
KR102096806B1 (ko) 3차원 센서 시스템 및 3차원 데이터 획득방법
KR101862199B1 (ko) 원거리 획득이 가능한 tof카메라와 스테레오 카메라의 합성 시스템 및 방법
CN103900494B (zh) 用于双目视觉三维测量的同源点快速匹配方法
CN107610171B (zh) 图像处理方法及其装置
CN109658497B (zh) 一种三维模型重建方法及装置
CN111680574B (zh) 一种人脸检测方法、装置、电子设备和存储介质
CN102997891A (zh) 场景深度的测量装置和方法
CN113160327A (zh) 一种点云补全的实现方法和系统
CN113362457B (zh) 一种基于散斑结构光的立体视觉测量方法及系统
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
CN107590444A (zh) 静态障碍物的检测方法、装置及存储介质
CN114782636A (zh) 三维重建方法、装置及系统
CN111220076A (zh) 一种跟踪定位和标志点定位混合的定位方法和装置
KR102229861B1 (ko) 저채널 라이다와 스테레오 카메라를 이용한 깊이 추정 장치 및 방법
CN109993781B (zh) 基于双目立体视觉匹配的视差图像生成方法及系统
CN115082621B (zh) 一种三维成像方法、装置、系统、电子设备及存储介质
CN111023994B (zh) 一种基于多重测量的光栅三维扫描方法及系统
CN107515844B (zh) 字体设置方法、装置及移动设备
JP2005084012A (ja) 肌形状計測方法及び肌形状計測装置
US20230003894A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
CN111890358B (zh) 双目避障方法、装置、存储介质及电子装置
Wang 3D Reconstruction Using a Linear Laser Scanner and A Camera
CN110751731B (zh) 一种用于结构光的3d重建方法和系统
KR20120056668A (ko) 3차원 정보 복원 장치 및 그 방법
JP6838912B2 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant