CN108876839B - 一种结构光三维成像系统的景深扩展方法、装置和系统 - Google Patents

一种结构光三维成像系统的景深扩展方法、装置和系统 Download PDF

Info

Publication number
CN108876839B
CN108876839B CN201810791127.8A CN201810791127A CN108876839B CN 108876839 B CN108876839 B CN 108876839B CN 201810791127 A CN201810791127 A CN 201810791127A CN 108876839 B CN108876839 B CN 108876839B
Authority
CN
China
Prior art keywords
structured light
depth map
depth
global
light image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810791127.8A
Other languages
English (en)
Other versions
CN108876839A (zh
Inventor
王贵锦
户孝围
杨华中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810791127.8A priority Critical patent/CN108876839B/zh
Publication of CN108876839A publication Critical patent/CN108876839A/zh
Application granted granted Critical
Publication of CN108876839B publication Critical patent/CN108876839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种结构光三维成像系统的景深扩展方法、装置及系统，所述方法包括：分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；使用格雷码的局部精细深度估计算法，获取各结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有结构光图像序列的全局粗糙深度图；根据全局粗糙深度图将各局部精细深度图进行融合，获取目标场景的全局精细深度图。本发明实现大景深场景下的三维成像，方法简单，计算效率高，提高了三维成像的精度。

Description

一种结构光三维成像系统的景深扩展方法、装置和系统
技术领域
本发明属于三维成像技术领域，更具体地，涉及一种结构光三维成像系统的景深扩展方法、装置及系统。
背景技术
随着计算机视觉技术的蓬勃发展，三维成像在人机交互、先进制造、自动驾驶和智能机器人等不同领域扮演着越来越重要的角色。其中，结构光三维成像技术凭借其高精度、低成本的优点脱颖而出，成为当前三维成像技术的研究热点。根据所投射编码图案的不同，现有的结构光三维成像系统可以分为空间复用编码与时间复用编码两种。
空间复用编码法通常利用空间领域内编码点的位置分布、光照强度或颜色变化等特性来生成指定编码图案，常见的空间复用编码法包括随机散斑、德布鲁因序列等。该方法在计算深度时，首先对采集到的结构光图案和理想的投射图案进行空间匹配来获取视差值，再通过预先标定的几何参数进行转换得到深度值。这种方法需要的编码图案数量较少，可以实现高速实时的三维成像，然而由于编码信息较为稀疏，导致这类方法的成像分辨率和精度均较低。
时间复用编码法通常投射一系列的编码图案，常用的编码方法包括格雷码法、N值编码、相移法等。这类方法由于需要投射和采集多幅图案，导致重建速度较慢，不适合对高速动态目标的重建，但由于解码时空间内每一点相互独立，解码值只取决于时间序列上的变化值，不存在时间复用编码方法的空间匹配过程，因而重建精度和分辨率均较高，通常可达到亚毫米甚至微米级。随着当前结构光照明设备以及高速成像装置的迅速发展，时间复用编码法的采集速度越来越快，基于时间复用编码法的实时高精度三维重建方法得到了越来越多的关注。
但是，在当前的结构光三维成像系统中，无论是时间复用编码法还是空间复用编码法，这些系统均基于经典的光学照明和成像模型，即认为照明和成像镜头的景深无限，并未考虑当镜头的景深小于所重建场景的纵深范围时出现照明或者成像失焦模糊，从而导致最终重建精度严重下降以及覆盖范围变窄的问题。
发明内容
为克服上述现有的三维成像系统在镜头的景深小于所重建场景的纵深范围时重建精度低，覆盖范围窄的问题或者至少部分地解决上述问题，本发明提供一种结构光三维成像系统的景深扩展方法、装置及系统。
根据本发明的第一方面，提供一种结构光三维成像系统的景深扩展方法，包括：
分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；
使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图；
根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图。
根据本发明第二方面提供一种结构光三维成像系统的景深扩展装置，包括：
获取模块，用于分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；
计算模块，用于使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图；
融合模块，用于根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图。
根据本发明的第三方面，提供一种结构光三维成像系统的景深扩展装置，包括：
相机、微振镜投影系统和同步控制器；
其中，所述相机包括液体镜头，所述相机用于在目标场景的各聚焦位置进行对焦，以对所述目标场景进行拍摄；
所述微振镜投影系统用于对各所述聚焦位置进行投影；
所述同步控制器用于对应于目标场景中的各聚焦位置，输出所述液体镜头的对焦信号后，输出所述微振镜投影系统的投影和所述相机的触发信号，以根据所述对焦信号、所述投影和所述触发信号进行照明和成像，生成各所述聚焦位置对应的结构光图像序列。
根据本发明的第四方面，提供一种结构光三维成像系统的景深扩展系统，包括上述所述的两种装置。
根据本发明的第五方面，提供一种电子设备，包括：
至少一个处理器、至少一个存储器和总线；其中，
处理器和存储器通过总线完成相互间的通信；
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行如前的方法。
根据本发明的第六方面，提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行如前的方法。
本发明提供一种结构光三维成像系统的景深扩展方法、装置及系统，该方法通过分别获取多个聚焦位置下目标场景的结构光图像序列，使用格雷码的局部精细深度估计算法获取各结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法获取所有结构光图像序列的全局粗糙深度图，根据全局粗糙深度图中包含的深度分布信息对各聚焦位置下的局部精细深度图进行融合，从而实现大景深场景下的三维成像，方法简单，计算效率高，提高了三维成像的精度。
附图说明
图1为本发明实施例提供的结构光三维成像系统的景深扩展方法整体流程示意图；
图2为本发明实施例提供的结构光三维成像系统的景深扩展方法中根据全局粗糙深度图将各局部精细深度图进行融合的流程示意图；
图3为本发明实施例提供的结构光三维成像系统的景深扩展装置整体结构示意图；
图4为本发明另一实施例提供的结构光三维成像系统的景深扩展装置整体结构示意图；
图5为本发明另一实施例提供的结构光三维成像系统的景深扩展系统中使用各装置对目标场景进行景深扩展的整体流程示意图；
图6为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在本发明的一个实施例中提供一种结构光三维成像系统的景深扩展方法，图1为本发明实施例提供的结构光三维成像系统的景深扩展方法整体流程示意图，该方法包括：S101，分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；
其中，目标场景为需要进行三维成像的场景。结构光图像序列为在不同时刻拍摄的多种结构光图像的组合。对于任一聚焦位置，在该聚焦位置处进行聚焦，生成该聚焦位置对应的结构光图像序列P1、P2，…PN。
S102，使用格雷码的局部精细深度估计算法，获取各结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有结构光图像序列的全局粗糙深度图；
对于任一结构光图像序列，使用格雷码的局部精细深度估计算法对该结构光图像序列进行处理，获取该结构光图像序列的局部精细深度图。即每个结构光图像序列对应有一张局部精细深度图。对结构光图像序列P1、P2，…PN使用格雷码的局部精细深度估计算法进行计算，得到的局部精细深度图依次为LFD1、LFD2，…LFDN。具体对于任一结构光图像序列，将该结构光图像序列中不同时刻采集的M张结构光图像按照低比特到高比特的顺序进行排序后，使用格雷码解码方法在清晰对焦位置得到精确的深度图，在模糊对焦位置得到粗糙的深度图。将精确的深度图和粗糙的深度图进行合成，获取该结构光序列的局部精细深度图。由于场景纵深远远超过镜头景深，每一张局部精细深度图只覆盖镜头对焦范围内的重建结果，同时在远离聚焦位置的地方重建精度严重下降。使用基于最大流方法的全局粗糙深度估计算法，对所有聚焦位置对应的结构光图像序列进行处理，获取一张全局粗糙深度图GCD。全局粗糙深度图包含目标场景的大致深度分布信息。
S103，根据全局粗糙深度图将各局部精细深度图进行融合，获取目标场景的全局精细深度图。
由于全局粗糙深度图包含目标场景的大致深度分布信息，将全局粗糙深度图作为对各局部精细深度图进行融合的依据。
本实施例通过分别获取多个聚焦位置下目标场景的结构光图像序列，使用格雷码的局部精细深度估计算法获取各结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法获取所有结构光图像序列的全局粗糙深度图，根据全局粗糙深度图中包含的深度分布信息对各聚焦位置下的局部精细深度图进行融合，从而实现大景深场景下的三维成像，方法简单，计算效率高，提高了三维成像的精度。
在上述实施例的基础上，本实施例中使用基于最大流方法的全局粗糙深度估计算法，获取所有结构光图像序列的全局粗糙深度图的步骤具体包括：分别从各聚焦位置对应的结构光图像序列中筛选出结构光条纹；根据各聚焦位置对应的结构光条纹构成聚焦栈，根据聚焦栈获取全局粗糙深度图；其中，全局粗糙深度图中的深度值为聚焦位置。
具体地，在基于最大流方法的全局粗糙深度估计方法中，从每一个聚焦位置对应的结构光图像序列中筛选出精细的结构光条纹，以组成一组聚焦栈，由该聚焦栈计算得到全局粗糙深度图。具体对于N个聚焦位置对应的N个结构光图像序列中的任一结构光图像序列，将该结构光图像序列中不同时刻采集的M张结构光图像按照低比特到高比特的顺序进行排序后。将各结构光图像序列中第M-1张图像，即共计N张图像组成聚焦栈。在聚焦栈内按照聚焦位置的前后顺序进行排序。基于最大流方法获取每个像素点最清晰的聚焦位置，即该该像素点的深度值，最终获取一张全局粗糙深度图。
在上述实施例的基础上，本实施例中根据全局粗糙深度图将各局部精细深度图进行融合，获取目标场景的全局精细深度图的步骤具体包括：根据全局粗糙深度图中的深度值，获取各深度值对应的局部精细深度图；根据各局部精细深度图对应的深度值在全局粗糙深度图中的位置，对各局部精细深度图进行裁剪；将裁剪后的各局部精细深度图进行合成，获取目标场景的全局精细深度图。
如图2所示，全局粗糙深度图的深度值为聚焦位置，深度值的范围为聚焦位置编号，图2中有5个聚焦位置，不同的聚焦位置以不同灰度显示。由于根据聚焦位置2对应的结构光图像序列获取到局部精细深度图LFD2，因此全局粗糙深度图中聚焦位置2对应局部精细深度图LFD2，同样地，聚焦位置4对应局部精细深度图LFD4，聚焦位置5对应局部精细深度图LFD5。根据全局粗糙深度图中聚焦位置2对应的像素的位置，先裁剪出LFD2中与聚焦位置2对应的像素位置相同的像素，然后根据裁剪结果中的前景进一步裁剪，获取最终裁剪的局部精细深度图CLFD2。同样地，获取LFD4的最终裁剪结果CLFD4，获取LFD5的最终裁剪结果CLFD5。将各最终裁剪结果进行合成，得到全局精细深度图GFD。GFD即为覆盖全部景深范围的高精度三维重建结果。从而实现大景深场景下的高精度三维重建，精度高、重建速度快。
在本发明的另一个实施例中提供一种结构光三维成像系统的景深扩展装置，该装置用于实现前述各实施例中的方法。因此，在前述各实施例中结构光三维成像系统的景深扩展方法中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图3为本发明实施例提供的结构光三维成像系统的景深扩展装置整体结构示意图，该装置包括结构光三维成像系统的景深扩展装置，其特征在于，包括获取模块301、计算模块302和融合模块303，其中：
获取模块301用于分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；计算模块302用于使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图；融合模块303用于根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图。
在上述实施例的基础上，本实施例中计算模块具体用于：分别从各聚焦位置对应的结构光图像序列中筛选出结构光条纹；根据各聚焦位置对应的结构光条纹构成聚焦栈，根据聚焦栈获取全局粗糙深度图；其中，全局粗糙深度图中的深度值为聚焦位置。
在上述实施例的基础上，本实施例中融合模块具体用于：根据全局粗糙深度图中的深度值，获取各深度值对应的局部精细深度图；根据各局部精细深度图对应的深度值在全局粗糙深度图中的位置，对各局部精细深度图进行裁剪；将裁剪后的各局部精细深度图进行合成，获取目标场景的全局精细深度图。
本实施例通过分别获取多个聚焦位置下目标场景的结构光图像序列，使用格雷码的局部精细深度估计算法获取各结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法获取所有结构光图像序列的全局粗糙深度图，根据全局粗糙深度图中包含的深度分布信息对各聚焦位置下的局部精细深度图进行融合，从而实现景深的扩展，方法简单，计算效率高，提高了三维成像的精度。
在本发明的另一个实施例中提供一种结构光三维成像系统的景深扩展装置，如图4所示该装置包括：相机、微振镜投影系统和同步控制器；其中，所述相机包括液体镜头，所述相机用于在目标场景的各聚焦位置进行对焦，以对所述目标场景进行拍摄；所述微振镜投影系统用于对各所述聚焦位置进行投影；所述同步控制器用于对应于目标场景中的各聚焦位置，输出所述液体镜头的对焦信号后，输出所述微振镜投影系统的投影和所述相机的触发信号，以根据所述对焦信号、所述投影和所述触发信号进行照明和成像，生成各所述聚焦位置对应的结构光图像序列。
本实施例中装置主要包括3个主要部件。其一是一个微振镜投影系统，用于投射指定的结构光图案，采用基于微振镜的单点激光扫描式投影可以对大景深范围同时聚焦，从而避免照明光源失焦的问题；其二是相机中的液体镜头，不同的驱动电流会改变液体镜头的表面曲率从而实现变焦，对比传统的机械式变焦，液体镜头可以实现无机械抖动、高速变焦的多聚焦位置采集；其三是同步控制器，为实现从照明光源到成像器件稳定的曝光系数和高速采集，同步控制器在每一个聚焦位置首先输出液体镜头的对焦信号，再同时输出微振镜投影和相机的触发信号，从而实现同时照明和成像。微振镜投影系统包括微振镜和激光管；相机包括成像传感器、成像光圈和液体镜头。
在上述实施例的基础上，本实施例中所述同步控制器具体用于：对于目标场景中的每个聚焦位置，根据使用针孔模型对所述相机进行标定所获取的所述相机的液体镜头内参数，以及使用标定好的所述相机对所述微振镜投影系统的投影进行标定所获取的所述相机与所述投影间的几何外参数，进行照明和成像，生成各所述聚焦位置对应的结构光图像序列。
对于每个聚焦位置，采用针孔模型对拍摄目标场景的相机进行标定，同时将微振镜投影系统等效为相机的逆向模型，使用标定好的相机辅助对微振镜投影系统的投影的标定。标定包含相机的液体镜头内参数，以及相机与投影间的几何外参数。根据液体镜头内参数和几何外参数进行照明和成像，生成各聚焦位置对应的结构光图像序列。微振镜投影系统包括微振镜和激光管。微振镜投影系统用于投射指定的结构光图案，采用基于微振镜的单点激光扫描式投影可以对大景深范围同时聚焦，从而避免照明光源失焦的问题。不同的驱动电流会改变液体镜头的表面曲率从而实现变焦，对比传统的机械式变焦，液体镜头可以实现无机械抖动、高速变焦的多聚焦位置采集。
本实施例通过采用微振镜投影系统中的微振镜进行投影和相机的液体镜头进行成像，结合微振镜投影和液体镜头实现照明-成像系统的多聚焦采集，从而扩展景深范围，加快结构光图案的采集速度。
本实施例提供一种结构光三维成像系统的景深扩展系统，包括上述第一种装置实施例中任一实施例和第二中装置实施例中的任一实施例。
具体地，如图5所示，在对相机和微振镜投影系统进行标定后，对于N个聚焦位置分别采集预先生成的M张结构光图案作为各聚焦位置对应的结构光图像序列。结构光图案为格雷码图案。然后，对结构光图像序列P1、P2，…PN使用格雷码的局部精细深度估计算法进行计算，得到的局部精细深度图依次为LFD1、LFD2，…LFDN。使用基于最大流方法的全局粗糙深度估计算法，对所有聚焦位置对应的结构光图像序列P1M到PNM进行处理，获取一张全局粗糙深度图GCD。根据全局粗糙深度图中包含的深度分布信息对各聚焦位置下的局部精细深度图进行融合，得到全局精细深度图GFD。
本实施例提供一种电子设备，图6为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器601、至少一个存储器602和总线603；其中，
处理器601和存储器602通过总线603完成相互间的通信；
存储器602存储有可被处理器601执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；使用格雷码的局部精细深度估计算法，获取各结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有结构光图像序列的全局粗糙深度图；根据全局粗糙深度图将各局部精细深度图进行融合，获取目标场景的全局精细深度图。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；使用格雷码的局部精细深度估计算法，获取各结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有结构光图像序列的全局粗糙深度图；根据全局粗糙深度图将各局部精细深度图进行融合，获取目标场景的全局精细深度图。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种结构光三维成像系统的景深扩展方法，其特征在于，包括：
分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；其中，所述目标场景为三维成像的场景；
使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图；
根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图；
其中，所述使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图包括：
对于任一结构光图像序列，将该结构光图像序列中不同时刻采集的M张结构光图像按照低比特到高比特的顺序进行排序后，使用格雷码解码方法在清晰对焦位置得到精确的深度图，在模糊对焦位置得到粗糙的深度图，将精确的深度图和粗糙的深度图进行合成，获取该结构光序列的局部精细深度图；
基于最大流方法的全局粗糙深度估计算法，对所有聚焦位置对应的结构光图像序列进行处理，获取一张全局粗糙深度图。
2.根据权利要求1所述的方法，其特征在于，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图的步骤具体包括：
分别从各所述聚焦位置对应的结构光图像序列中筛选出结构光条纹；
根据各所述聚焦位置对应的结构光条纹构成聚焦栈，根据所述聚焦栈获取所述全局粗糙深度图；其中，所述全局粗糙深度图中的深度值为所述聚焦位置。
3.根据权利要求2所述的方法，其特征在于，根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图的步骤具体包括：
根据所述全局粗糙深度图中的深度值，获取各所述深度值对应的局部精细深度图；
根据各所述局部精细深度图对应的深度值在所述全局粗糙深度图中的位置，对各所述局部精细深度图进行裁剪；
将裁剪后的各所述局部精细深度图进行合成，获取所述目标场景的全局精细深度图。
4.一种结构光三维成像系统的景深扩展装置，其特征在于，包括：
获取模块，用于分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；其中，所述目标场景为三维成像的场景；
计算模块，用于使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图；
融合模块，用于根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图；
其中，所述计算模块具体用于：
对于任一结构光图像序列，将该结构光图像序列中不同时刻采集的M张结构光图像按照低比特到高比特的顺序进行排序后，使用格雷码解码方法在清晰对焦位置得到精确的深度图，在模糊对焦位置得到粗糙的深度图，将精确的深度图和粗糙的深度图进行合成，获取该结构光序列的局部精细深度图；
基于最大流方法的全局粗糙深度估计算法，对所有聚焦位置对应的结构光图像序列进行处理，获取一张全局粗糙深度图。
5.根据权利要求4所述的装置，其特征在于，还包括相机、微振镜投影系统和同步控制器；
其中，所述相机包括液体镜头，所述相机用于在目标场景的各聚焦位置进行对焦，以对所述目标场景进行拍摄；
所述微振镜投影系统用于对各所述聚焦位置进行投影；
所述同步控制器用于对应于目标场景中的各聚焦位置，输出所述液体镜头的对焦信号后，输出所述微振镜投影系统的投影和所述相机的触发信号，以根据所述对焦信号、所述投影和所述触发信号进行照明和成像，生成各所述聚焦位置对应的结构光图像序列。
6.根据权利要求5所述的装置，其特征在于，所述同步控制器具体用于：
对于目标场景中的每个聚焦位置，根据使用针孔模型对所述相机进行标定所获取的所述相机的液体镜头内参数，以及使用标定好的所述相机对所述微振镜投影系统的投影进行标定所获取的所述相机与所述投影间的几何外参数，进行照明和成像，生成各所述聚焦位置对应的结构光图像序列。
7.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器和总线；其中，
所述处理器和存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至3任一所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至3任一所述的方法。
CN201810791127.8A 2018-07-18 2018-07-18 一种结构光三维成像系统的景深扩展方法、装置和系统 Active CN108876839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810791127.8A CN108876839B (zh) 2018-07-18 2018-07-18 一种结构光三维成像系统的景深扩展方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810791127.8A CN108876839B (zh) 2018-07-18 2018-07-18 一种结构光三维成像系统的景深扩展方法、装置和系统

Publications (2)

Publication Number Publication Date
CN108876839A CN108876839A (zh) 2018-11-23
CN108876839B true CN108876839B (zh) 2021-05-28

Family

ID=64302999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810791127.8A Active CN108876839B (zh) 2018-07-18 2018-07-18 一种结构光三维成像系统的景深扩展方法、装置和系统

Country Status (1)

Country Link
CN (1) CN108876839B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502947B (zh) * 2019-08-26 2023-06-20 深圳市杰普特光电股份有限公司 结构光测深系统、测量信息码深度的方法及数据处理方法
CN110440712B (zh) * 2019-08-26 2021-03-12 英特维科技(苏州)有限公司 自适应大景深三维扫描方法与系统
CN112729123A (zh) * 2020-12-21 2021-04-30 广州安特激光技术有限公司 一种基于机器视觉的测距系统及其方法
CN113256800B (zh) * 2021-06-10 2021-11-26 南京理工大学 基于深度学习的精确快速大景深三维重建方法
CN117333560B (zh) * 2023-12-01 2024-02-20 北京航空航天大学杭州创新研究院 场景自适应的条纹结构光解码方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
CN103985157A (zh) * 2014-05-30 2014-08-13 深圳先进技术研究院 一种结构光三维扫描方法及系统
CN107093194A (zh) * 2017-03-22 2017-08-25 清华大学 一种子孔径图像采集方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
CN103985157A (zh) * 2014-05-30 2014-08-13 深圳先进技术研究院 一种结构光三维扫描方法及系统
CN107093194A (zh) * 2017-03-22 2017-08-25 清华大学 一种子孔径图像采集方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Depth-Based Focus Stacking with Labeled-Laplacian Propagation;Wentao Li et al.;《ICIG2017》;20171231;摘要，第37页第2段-第41页第3段 *
基于动态参数控制的结构光三维扫描系统;沈杭锦 等;《杭州电子科技大学学报》;20131231;第33卷(第6期);第1-2节 *

Also Published As

Publication number Publication date
CN108876839A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108876839B (zh) 一种结构光三维成像系统的景深扩展方法、装置和系统
JP5755188B2 (ja) 撮像装置およびレンズ装置
US10755429B2 (en) Apparatus and method for capturing images using lighting from different lighting angles
CN112365585B (zh) 一种基于事件相机的双目结构光三维成像方法
WO2011158515A1 (ja) 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
EP2642245B1 (en) Image pickup device and distance measuring method
JP5635844B2 (ja) 焦点調整装置および撮像装置
CN102959945A (zh) 根据通过图像捕捉设备的阵列获得的数据产生虚拟输出图像的方法和系统
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2008217243A (ja) 画像生成装置
JP2014056065A (ja) 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
JP2022128517A (ja) 測距カメラ
KR101900254B1 (ko) 홀로그램 광학소자 마이크로 렌즈 어레이를 이용한 집적영상 현미경 시스템
US10761311B2 (en) Digital microscope and method for acquiring a stack of microscopic images of a specimen
CN108616698B (zh) 成像装置
CN108961378A (zh) 一种多目点云三维重建方法、装置及其设备
CN116168071A (zh) 深度数据获取方法、装置、电子设备及机器可读存储介质
CN110243827A (zh) 一种适用于光透明样本的快速三维成像方法
JP5846895B2 (ja) 画像処理システム及びそれを備えた顕微鏡システム
JP5965638B2 (ja) 画像処理システムを備えた顕微鏡システム
CN113160393B (zh) 基于大景深的高精度三维重建方法、装置及其相关组件
Buddha et al. Estimation of point spread function of an optical microscope using stochastic minimization of least square errors
CN115115690A (zh) 视频残差解码装置和关联方法
JP4695557B2 (ja) 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant