CN112598719B - 深度成像系统及其标定方法、深度成像方法、存储介质 - Google Patents

深度成像系统及其标定方法、深度成像方法、存储介质 Download PDF

Info

Publication number
CN112598719B
CN112598719B CN202011433023.3A CN202011433023A CN112598719B CN 112598719 B CN112598719 B CN 112598719B CN 202011433023 A CN202011433023 A CN 202011433023A CN 112598719 B CN112598719 B CN 112598719B
Authority
CN
China
Prior art keywords
point cloud
projection
projection pattern
cloud data
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011433023.3A
Other languages
English (en)
Other versions
CN112598719A (zh
Inventor
张芊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinyi Intelligent Technology Co ltd
Original Assignee
Shanghai Xinyi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinyi Intelligent Technology Co ltd filed Critical Shanghai Xinyi Intelligent Technology Co ltd
Priority to CN202011433023.3A priority Critical patent/CN112598719B/zh
Publication of CN112598719A publication Critical patent/CN112598719A/zh
Application granted granted Critical
Publication of CN112598719B publication Critical patent/CN112598719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种深度成像系统及其标定方法、深度成像方法、存储介质，深度成像系统包括：投影成像装置，包括光机镜头，用以对预设的投影图案进行投影，并获取待测物体对所述投影图案的反射图像；点云计算模块，用以根据投影图案、反射图像以及光机镜头的参数计算得到点云数据；对焦马达，用以响应于控制指令对所述光机镜头进行至少一次移动，每次移动后通过所述投影成像装置和所述点云计算模块确定相应的点云数据；点云融合模块，用以对多个点云数据进行融合，以得到待测物体的点云数据。本发明技术方案能够准确地获取高度差异超过深度成像系统工作景深的物体的点云。

Description

深度成像系统及其标定方法、深度成像方法、存储介质
技术领域
本发明涉及成像技术领域，尤其涉及一种深度成像系统及其标定方法、深度成像方法、存储介质。
背景技术
深度相机系统中使用光机投影条纹图案的结构光方法是最普遍的方案。这种光机投影的结构光方案其恢复点云的准确度取决于光机的光学特性。
结构光是一组由投影仪和摄像头组成的系统结构。使用结构光技术的深度相机系统原理如下，通过光机投射预先已知图案到空间中，并在空间内待测物体上发生反射。由于空间内待测物体表面纹理距离光机的深度不同，投影的图案会因此产生视差。摄像机捕捉到反射的图案并根据视差基于三角测量原理可以计算出待测物体的表面深度信息。由此可见，为保证正确解算出深度信息，需要投影到物体表面的图案纹理清晰。结构光投影光机以基于数字光处理(Digital light processing,DLP)微镜反射的投影系统为主。根据相应光学原理，其投影清晰像的距离有限，满足景深计算公式。实际应用中，为了减少环境光照影响及尽可能增强深色物体的成像效果，需要让光机的投影光通量尽可能大。因此光机镜头的光圈F值通常很小。
但是，在光机镜头的F值通常很小的情况下，光机投影的精确聚焦景深也很小，导致整个深度相机系统的工作景深很小。当对高度差异超过系统景深物体进行3D成像时，其表面成像将会失焦，当出现失焦时，物体表面的投影图案会变得模糊，此时根据视差算法计算的点云将极易出现深度误差，无法准确得到物体表面真实深度信息，将出现超出部分产生飞点现象甚至点云缺失等问题。
发明内容
本发明解决的技术问题是如何准确地获取高度差异超过深度成像系统工作景深的物体的点云。
为解决上述技术问题，本发明实施例提供一种深度成像系统，深度成像系统包括：投影成像装置，包括光机镜头，用以对预设的投影图案进行投影，并获取待测物体对所述投影图案的反射图像；点云计算模块，用以根据所述投影图案、所述反射图像以及所述光机镜头的参数计算得到点云数据；对焦马达，用以响应于控制指令对所述光机镜头进行至少一次移动，每次移动后通过所述投影成像装置和所述点云计算模块确定相应的点云数据；点云融合模块，用以对多个点云数据进行融合，以得到所述待测物体的点云数据。
可选的，所述投影成像装置还包括：结构光控制器，用以生成所述投影图案，以及所述控制指令；数字光处理模块，用以响应于所述控制指令对所述投影图案进行投影；相机，用以拍摄所述待测物体对所述投影图案的反射图像。
可选的，所述点云计算模块根据所述投影图案、所述反射图像以及所述光机镜头所处当前位置对应的标定参数计算得到所述点云数据。
可选的，所述对焦马达每次对所述光机镜头移动预设距离。
可选的，所述点云融合模块对所述多个点云数据进行加权平均，以得到所述待测物体的点云数据。
可选的，所述点云计算模块利用视差算法计算所述点云数据。
为解决上述技术问题，本发明实施例还公开了一种基于所述深度成像系统的标定方法，标定方法包括：确定基础工作距离；至少对所述光机镜头进行初次标定，以得到对应的一组标定参数；通过所述对焦马达对所述光机镜头进行至少一次移动，并至少对所述光机镜头进行至少一次标定，以得到对应的至少一组标定参数。
为解决上述技术问题，本发明实施例还公开了一种深度成像方法，深度成像方法包括：至少利用光机镜头对预设的投影图案进行投影，并获取待测物体对所述投影图案的反射图像；根据所述投影图案、所述反射图像以及所述光机镜头的参数计算得到点云数据；响应于控制指令对所述光机镜头进行至少一次移动，并在每次移动后重新对所述投影图案进行投影、拍摄所述反射图像以及计算点云数据；对多个点云数据进行融合，以得到所述待测物体的点云数据。
可选的，所述对预设的投影图案进行投影，并获取待测物体对所述投影图案的反射图像包括：生成投影图案，以及控制指令；在光机镜头所处的当前位置，响应于所述控制指令对所述投影图案进行投影；拍摄待测物体对所述投影图案的反射图像。
可选的，所述在每次移动后重新对所述投影图案进行投影、拍摄所述反射图像以及计算点云数据包括：每次移动所述光机镜头后，重新对所述投影图案进行投影；对重新投影后的投影图像拍摄得到新的反射图像；利用所述投影图案、所述新的反射图像以及所述光机镜头移动后的参数计算得到点云数据。
可选的，所述光机镜头的参数包括所述光机镜头在当前位置进行标定所确定的标定参数。
本发明实施例还公开一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行所述深度成像方法的步骤，或者所述的标定方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明技术方案的深度成像系统中，通过设置对焦马达可以实现对光机镜头的移动，通过对光机镜头的移动能够使得数字光处理模块所投影的投影面产生移动，从而在深度成像系统的投影清晰成像区间有限的情况下，通过移动投影清晰成像区间，使得待测物体超出投影景深的部分也能够对焦并形成清晰的反射图像；进而获得待测物体在多个不同的投影清晰成像区间内的点云，通过点云融合，保证了待测物体的点云的可靠性以及准确性。此外，本发明技术方案也扩大了深度成像系统的工作景深，以满足大高度差物体的3D成像应用。
附图说明
图1是本发明实施例一种深度成像系统的结构示意图；
图2和图3是本发明实施例一种具体应用场景的示意图；
图4是本发明实施例一种深度成像方法的流程图；
图5是本发明实施例一种标定方法的流程图。
具体实施方式
如背景技术中所述，在光机镜头的F值通常很小的情况下，光机投影的精确聚焦景深也很小，导致整个深度相机系统的工作景深很小。当对高度差异超过系统景深物体进行3D成像时，其表面成像将会失焦，当出现失焦时，物体表面的投影图案会变得模糊，此时根据视差算法计算的点云将极易出现深度误差，无法准确得到物体表面真实深度信息，将出现超出部分产生飞点现象甚至点云缺失等问题。
本发明技术方案的深度成像系统中，通过设置对焦马达可以实现对光机镜头的移动，通过对光机镜头的移动能够使得数字光处理模块所投影的投影面产生移动，从而在深度成像系统的投影清晰成像区间有限的情况下，通过移动投影清晰成像区间，使得待测物体超出投影景深的部分也能够对焦并形成清晰的反射图像；进而获得待测物体在多个不同的投影清晰成像区间内的点云，通过点云融合，保证了待测物体的点云的可靠性以及准确性。此外，本发明技术方案也扩大了深度成像系统的工作景深，以满足大高度差物体的3D成像应用。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种深度成像系统的结构示意图。
本发明实施例的深度成像系统也可以称为结构光相机系统，可以用于物体的三维成像，也可以用于计算物体的深度信息。
如图1所示，深度成像系统可以包括投影装置100、结构光控制器102、点云计算模块105、对焦马达106和点云融合模块107。
具体实施中，投影装置100用以对预设的投影图案进行投影，并获取待测物体对所述投影图案的反射图像。
具体地，投影装置100用可以包括光机镜头101、数字光处理模块(Digital LightProcessing,DLP)103、相机104。其中，结构光控制器102用以生成投影图案，以及控制指令；数字光处理模块103用以响应于所述控制指令对所述投影图案进行投影；相机104用以拍摄待测物体对所述投影图案的反射图像；点云计算模块105用以根据所述投影图案、所述反射图像以及所述光机镜头的参数计算得到点云数据。
具体而言，光机镜头101可以是投影镜头(Projection Lens)。数字光处理模块103包括数字镜阵(Digital Micromirror Device,DMD)，还可以包括DLP芯片板(board)、外部光源及其配套光学器件。光机镜头101与数字光处理模块103可以配合完成投影过程。具体地，DLP芯片板上还设置有处理器、存储器等。
需要说明的是，数字光处理模块103是先把影像信号经过数字处理，然后再把光投影出来，是利用数字微镜晶片(DMD)来作为主要关键处理元件以实现数字光学处理的过程。关于光机镜头以及DLP模块的具体结构及其连接关系，可以参照现有技术，本发明实施例在此不再赘述。
当然，本领域技术人员应当理解的是，投影装置100也可以是其他任意可实施的投影设备，本发明实施例对此不作限制。
具体实施中，结构光控制器102所生成的投影图案可以是具有预设图案的图片，例如，灰度条纹图案。投影图案经由光机镜头101和数字光处理模块103投影出去。具体是投影到待测物体表面，待测物体对投影图案发生反射。相机104可以拍摄被投影的待测物体，也即拍摄得到的反射图案中包括投影在待测物体表面的投影图案。由于待测物体表面纹理距离光机镜头101的距离(或称深度)不同，反射图案与投影图案之间存在视差。点云计算模块105基于反射图案与投影图案之间的视差计算得到待测物体的点云数据。点云数据具体可以是一幅点云图。
至此，通过上述过程可以获得针对待测物体的一组点云数据。
为了更准确地确定待测物体的点云，可以通过移动光机镜头101再重新计算出至少一组点云数据。
具体实施中，对焦马达106可以响应于结构光控制器102的控制指令对所述光机镜头101进行至少一次移动，每次移动后通过所述数字光处理模块103、所述相机104和所述点云计算模块105确定相应的点云数据。也就是说，每次移动光机镜头101后，光机镜头101和数字光处理模块103对所述投影图案进行投影，相机104拍摄待测物体对所述投影图案的反射图像，点云计算模块105根据所述投影图案、所述反射图像以及所述光机镜头的参数计算得到一组点云数据。
需要说明的是，光机镜头101的移动次数可以根据实际的应用需求进行设置，本发明实施例对此不作限制。
在得到多组点云数据后，通过点云融合模块107对多个点云数据进行融合，以得到所述待测物体的点云数据。
本发明实施例通过设置对焦马达106可以实现对光机镜头101的移动，通过对光机镜头101的移动能够使得数字光处理模块103所投影的投影面产生移动，从而在深度成像系统的投影清晰成像区间有限的情况下，通过移动投影清晰成像区间，使得待测物体超出投影景深的部分也能够对焦并形成清晰的反射图像；进而获得待测物体在多个不同的投影清晰成像区间内的点云，保证了待测物体的点云的可靠性以及准确性。此外，本发明技术方案也扩大了深度成像系统的工作景深，以满足大高度差物体的3D成像应用。
在一个非限制性的实施例中，所述点云计算模块105根据所述投影图案、所述反射图像以及所述光机镜头101所处当前位置对应的标定参数计算得到所述点云数据。
具体实施中，光机镜头101的位置不同，深度成像系统的标定参数不同。由于光机镜头101发生了多次移动，因此点云计算模块105在计算点云数据时，需要调用相应的标定参数来进行计算。
具体地，标定参数可以包括光机镜头101以及相机104的内参数、外参数以及畸变参数等，本发明实施例对此不作限制。
进一步地，标定参数可以是通过对深度成像系统预先进行标定获得的。具体可以是对光机镜头101在不同的位置进行标定获得的，并预先存储下来，以在后续成像时调用。
在一个非限制性的实施例中，所述对焦马达106每次对所述光机镜头101移动预设距离。
本实施例中，所述预设距离可以是预先设定的。具体实施中，由于光机镜头101的移动会导致投影面产生移动，因此在设置光机镜头101每次移动的距离时，可以参照对投影面所移动距离的要求。
具体地，光机镜头101移动的距离与投影面所移动距离之间的关系可以通过下述公式(也称透镜成像公式)计算得到：
其中，f为光机镜头101的镜头焦距，其通常为一固定值，物距S0是指投影面至镜头的距离，像距Si是指光源至镜头的距离。
例如，对于焦距为16mm焦距的光机镜头101，移动光机镜头101约30um，在1000mm距离(也即光机镜头101与待测物体的原始距离)下，可以使得其投影面上移或下移100mm。
需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
在一个非限制性的实施例中，所述点云融合模块107对所述多个点云数据进行加权平均，以得到所述待测物体的点云数据。
具体地，n个点云数据融合后的最终点云数据D(x,y)可表示为：
其中，Wi(d)为第i个点云数据的加权值，/>为第i个点云数据坐标(x,y)处的深度值。
在一个非限制性的实施例中，所述点云计算模块105利用视差算法计算所述点云数据。
具体的视差算法可以参照现有技术中的相关描述，本发明实施例对此不作限制。
在一个具体应用场景中，请参照图2和图3，对于光圈F2.0，焦距16mm，允许弥散斑10um的光机镜头，在1米的基础投影距离上仅有约157mm的清晰投影景深。
如图2所示，在其工作区域1000mm处有一深度差大于其工作景深的待测物体。成像系统首先在其基准对焦点进行结构光投影，相机抓拍待测物体反射的图像解算得到点云数据1。基准对焦点可以通过人眼观察投影图案清晰度进行手动调焦，或者交由自动对焦(Auto Focus,AF)算法进行对焦。
如图3所示，结构光控制器控制对焦马达移动光机镜头一次，也即移动光机镜头约30um，使得其精确投影面上移100mm，相机抓拍物体反射的图像解算得到点云数据2。也就是说，对焦马达移动光机镜头后，对焦点会依据透镜成像公式进行相对位移。
依次类推，可获得多个点云数据。对多个点云数据进行融合可以获得融合后的点云。
相对于现有技术中深度超过投影景深的物体，其表面成像将会失焦。而本发明实施例中则通过移动光机镜头，通过多次拍摄生成点云并进行点云融合的方式，实现深度成像系统的工作景深(也即工作区间)变大。
请参照图4，本发明实施例还公开了一种深度成像方法。
深度成像方法可以用于深度成像系统，也可以存储于存储介质中，由计算机程序控制深度成像系统的各个硬件模块执行所述方法的各个步骤。
具体地，所述深度成像方法可以包括以下步骤：
步骤S401：生成投影图案，以及控制指令；
步骤S402：在光机镜头所处的当前位置，响应于所述控制指令对所述投影图案进行投影；
步骤S403：拍摄待测物体对所述投影图案的反射图像；
步骤S404：根据所述投影图案、所述反射图像以及所述光机镜头的参数计算得到点云数据；
步骤S405：响应于所述控制指令对所述光机镜头进行至少一次移动，并在每次移动后重新对所述投影图案进行投影、拍摄所述反射图像以及计算点云数据；
步骤S406：对多个点云数据进行融合，以得到所述待测物体的点云数据。
本实施例中，通过对光机镜头的移动，使得投影的投影面产生移动，从而在深度成像系统的投影清晰成像区间有限的情况下，通过移动投影清晰成像区间，使得待测物体超出投影景深的部分也能够对焦并形成清晰的反射图像；进而获得待测物体在多个不同的投影清晰成像区间内的点云，通过点云融合，保证了待测物体的点云的可靠性以及准确性。
在一个非限制性的实施例中，图4所示步骤S405可以包括以下步骤：每次移动所述光机镜头后，重新对所述投影图案进行投影；对重新投影后的投影图像拍摄得到新的反射图像；利用所述投影图案、所述新的反射图像以及所述光机镜头移动后的参数计算得到点云数据。
本实施例中，通过在每次移动光机镜头后，重新执行投影、拍摄反射图像以及计算点云数据的过程，可以获得多组点云数据。
在一个非限制性的实施例中，所述光机镜头的参数包括所述光机镜头在当前位置进行标定所确定的标定参数。
关于所述深度成像方法的工作原理、工作方式的更多内容，可以参照图1至图3中的相关描述，这里不再赘述。
请参照图5，本发明实施例还公开了一种标定方法，所述标定方法可以包括以下步骤：
步骤S501：确定基础工作距离；
步骤S502：对所述光机镜头和所述相机进行初次标定，以得到对应的一组标定参数；
步骤S503：通过所述对焦马达对所述光机镜头进行至少一次移动，并对所述光机镜头和所述相机进行至少一次标定，以得到对应的至少一组标定参数。
具体实施中，首先需要对深度成像系统进行测量标定。根据实际应用设定基础工作距离，如1米。对光机镜头和相机进行对焦并进行标定，得到标定参数1。通过对焦马达将光机镜头进行移动，也即步进移焦，再进行一次标定，得到标定参数2，依次类推。根据实际应用需要可预先设定步进数(也即光机镜头移动次数)N，并生成N个标定参数且保存。
在正式测量时，深度成像系统根据对于结构光算法预设的投影图案进行投射，相机完成反射图像抓取，结合标定参数1计算子点云1。而后通过对焦马达将光机镜头进行移动，也即光机步进移焦，再次投射投影图案，相机完成图像抓取，结合标定参数计算子点云2。依次类推，完成N个子点云计算并送入点云融合模块，得到融合后的点云，完成测量。
本发明实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时可以执行图4或图5中所示方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
应理解，上述的处理器可以是通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，还可以是系统芯片(system on chip，SoC)，还可以是中央处理器(central processor unit，CPU)，还可以是网络处理器(networkprocessor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logicdevice，PLD)或其他集成芯片。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
还应理解，本发明实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种深度成像系统，其特征在于，包括：
投影成像装置，包括光机镜头，用以对预设的投影图案进行投影，并获取待测物体对所述投影图案的反射图像；
点云计算模块，用以根据所述投影图案、所述反射图像以及所述光机镜头的参数计算得到点云数据；
对焦马达，用以响应于控制指令对所述光机镜头进行至少一次移动，以使投影面产生移动，每次移动后通过所述投影成像装置和所述点云计算模块确定相应的点云数据；
点云融合模块，用以对多个点云数据进行融合，以得到所述待测物体的点云数据；
所述投影成像装置还包括：
结构光控制器，用以生成所述投影图案，以及所述控制指令；
数字光处理模块，用以响应于所述控制指令对所述投影图案进行投影；
相机，用以拍摄所述待测物体对所述投影图案的反射图像。
2.根据权利要求1所述的深度成像系统，其特征在于，所述点云计算模块根据所述投影图案、所述反射图像以及所述光机镜头所处当前位置对应的标定参数计算得到所述点云数据。
3.根据权利要求1所述的深度成像系统，其特征在于，所述对焦马达每次对所述光机镜头移动预设距离。
4.根据权利要求1所述的深度成像系统，其特征在于，所述点云融合模块对所述多个点云数据进行加权平均，以得到所述待测物体的点云数据。
5.根据权利要求1所述的深度成像系统，其特征在于，所述点云计算模块利用视差算法计算所述点云数据。
6.一种基于权利要求1至5任一项所述深度成像系统的标定方法，其特征在于，包括：
确定基础工作距离；
至少对所述光机镜头进行初次标定，以得到对应的一组标定参数；
通过所述对焦马达对所述光机镜头进行至少一次移动，并至少对所述光机镜头进行至少一次标定，以得到对应的至少一组标定参数。
7.一种深度成像方法，其特征在于，包括：
至少利用光机镜头对预设的投影图案进行投影，并获取待测物体对所述投影图案的反射图像；
根据所述投影图案、所述反射图像以及所述光机镜头的参数计算得到点云数据；
响应于控制指令对所述光机镜头进行至少一次移动，以使投影面产生移动，并在每次移动后重新对所述投影图案进行投影、拍摄所述反射图像以及计算点云数据；
对多个点云数据进行融合，以得到所述待测物体的点云数据；
所述对预设的投影图案进行投影，并获取待测物体对所述投影图案的反射图像包括：
生成投影图案，以及控制指令；
在光机镜头所处的当前位置，响应于所述控制指令对所述投影图案进行投影；
拍摄待测物体对所述投影图案的反射图像。
8.根据权利要求7所述的深度成像方法，其特征在于，所述在每次移动后重新对所述投影图案进行投影、拍摄所述反射图像以及计算点云数据包括：
每次移动所述光机镜头后，重新对所述投影图案进行投影；
对重新投影后的投影图像拍摄得到新的反射图像；
利用所述投影图案、所述新的反射图像以及所述光机镜头移动后的参数计算得到点云数据。
9.根据权利要求7所述的深度成像方法，其特征在于，所述光机镜头的参数包括所述光机镜头在当前位置进行标定所确定的标定参数。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求7至9中任一项所述深度成像方法的步骤，或者权利要求6所述的深度成像系统的标定方法的步骤。
CN202011433023.3A 2020-12-09 2020-12-09 深度成像系统及其标定方法、深度成像方法、存储介质 Active CN112598719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011433023.3A CN112598719B (zh) 2020-12-09 2020-12-09 深度成像系统及其标定方法、深度成像方法、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011433023.3A CN112598719B (zh) 2020-12-09 2020-12-09 深度成像系统及其标定方法、深度成像方法、存储介质

Publications (2)

Publication Number Publication Date
CN112598719A CN112598719A (zh) 2021-04-02
CN112598719B true CN112598719B (zh) 2024-04-09

Family

ID=75191521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011433023.3A Active CN112598719B (zh) 2020-12-09 2020-12-09 深度成像系统及其标定方法、深度成像方法、存储介质

Country Status (1)

Country Link
CN (1) CN112598719B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173063B (zh) * 2022-02-11 2022-05-20 杭州灵西机器人智能科技有限公司 基于可变焦镜头的结构光相机对焦方法及结构光相机
CN115567697B (zh) * 2022-12-02 2023-05-16 浙江智慧视频安防创新中心有限公司 3d结构光相机系统、数据获取方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105451012A (zh) * 2015-11-18 2016-03-30 湖南拓视觉信息技术有限公司 三维成像系统和三维成像方法
CN107346425A (zh) * 2017-07-04 2017-11-14 四川大学 一种三维纹理照相系统、标定方法及成像方法
CN110365912A (zh) * 2015-04-20 2019-10-22 三星电子株式会社 成像单元、系统以及图像传感器单元
CN110619617A (zh) * 2019-09-27 2019-12-27 中国科学院长春光学精密机械与物理研究所 三维成像方法、装置、设备及计算机可读存储介质
CN110675440A (zh) * 2019-09-27 2020-01-10 深圳市易尚展示股份有限公司 三维深度数据的置信度评估方法、装置和计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365912A (zh) * 2015-04-20 2019-10-22 三星电子株式会社 成像单元、系统以及图像传感器单元
CN105451012A (zh) * 2015-11-18 2016-03-30 湖南拓视觉信息技术有限公司 三维成像系统和三维成像方法
CN107346425A (zh) * 2017-07-04 2017-11-14 四川大学 一种三维纹理照相系统、标定方法及成像方法
CN110619617A (zh) * 2019-09-27 2019-12-27 中国科学院长春光学精密机械与物理研究所 三维成像方法、装置、设备及计算机可读存储介质
CN110675440A (zh) * 2019-09-27 2020-01-10 深圳市易尚展示股份有限公司 三维深度数据的置信度评估方法、装置和计算机设备

Also Published As

Publication number Publication date
CN112598719A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
US10061182B2 (en) Systems and methods for autofocus trigger
KR102143456B1 (ko) 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
US8662676B1 (en) Automatic projector calibration
TWI520098B (zh) 影像擷取裝置及其影像形變偵測方法
CN112598719B (zh) 深度成像系统及其标定方法、深度成像方法、存储介质
US20180120687A1 (en) Ranging method, automatic focusing method and device
WO2018077218A1 (zh) 一种深度测量方法及系统
TWI515470B (zh) 使用多鏡頭的自動對焦系統及其方法
TW201530493A (zh) 影像擷取裝置及其影像形變校正方法
WO2018001252A1 (zh) 一种投射单元及包括该单元的拍摄装置、处理器、成像设备
CN110612428A (zh) 使用特征量的三维测量方法及其装置
KR20160040330A (ko) 어안 렌즈로부터 획득한 왜곡 영상을 동심원 형태의 표준 패턴을 이용하여 보정하는 방법
CN110300252B (zh) 镜头倾斜矫正方法及装置
CN110691228A (zh) 基于三维变换的深度图像噪声标记方法、装置和存储介质
US10880536B2 (en) Three-dimensional image capturing device and method
CN109741384B (zh) 深度相机的多距离检测装置及方法
JP6065670B2 (ja) ３次元計測システム、プログラム及び方法。
CN112822469A (zh) 一种自动对焦投影方法及系统
WO2020146965A1 (zh) 图像重新聚焦的控制方法及系统
JP5179784B2 (ja) 三次元座標測定装置及び三次元座標測定装置において実行されるプログラム
JP2020067511A (ja) カメラシステム、その制御方法およびプログラム
KR102591844B1 (ko) 미러를 이용한 카메라 캘리브레이션 장치
JP2014235063A (ja) 情報処理装置および情報処理方法
KR20200032442A (ko) 자기보정이 가능한 3차원 정보 생성 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210818

Address after: 200080 7th floor, No.137 Haining Road, Hongkou District, Shanghai

Applicant after: Shanghai Xinyi Intelligent Technology Co.,Ltd.

Address before: 100190 1008, 10th floor, building 51, 63 Zhichun Road, Haidian District, Beijing

Applicant before: Beijing Xinyi Intelligent Information Technology Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Country or region after: China

Address after: Room E176, 1st Floor, No. 406 Gulang Road, Putuo District, Shanghai, 200062

Applicant after: Shanghai Xinyi Intelligent Technology Co.,Ltd.

Address before: 200080 7th floor, No.137 Haining Road, Hongkou District, Shanghai

Applicant before: Shanghai Xinyi Intelligent Technology Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant