CN110751731B - 一种用于结构光的3d重建方法和系统 - Google Patents

一种用于结构光的3d重建方法和系统 Download PDF

Info

Publication number
CN110751731B
CN110751731B CN201910983687.8A CN201910983687A CN110751731B CN 110751731 B CN110751731 B CN 110751731B CN 201910983687 A CN201910983687 A CN 201910983687A CN 110751731 B CN110751731 B CN 110751731B
Authority
CN
China
Prior art keywords
target region
roi
projector
region roi
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910983687.8A
Other languages
English (en)
Other versions
CN110751731A (zh
Inventor
田宜彬
陈伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Guanglun Technology Co ltd
Original Assignee
Guanglun Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guanglun Technology Shenzhen Co ltd filed Critical Guanglun Technology Shenzhen Co ltd
Priority to CN201910983687.8A priority Critical patent/CN110751731B/zh
Publication of CN110751731A publication Critical patent/CN110751731A/zh
Application granted granted Critical
Publication of CN110751731B publication Critical patent/CN110751731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例公开了一种用于结构光的3D重建方法及系统，包括：对摄像头与投影器进行标定；采用所述投影器以及所述摄像头对目标物体进行图像采集；对目标ROI提取并对目标区域ROI的稀疏深度图；根据目标区域ROI的稀疏深度图确定目标区域稠密视差图的视差范围；根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配，得到目标区域ROI稠密深度图。本申请解决了现有技术中只选择有限地特征点进行稀疏匹配，无法满足更多的视觉应用的问题。

Description

一种用于结构光的3D重建方法和系统
技术领域
本申请涉及3D重建技术领域，尤其涉及一种用于结构光的3D重建的方法和系统。
背景技术
常见的获取3D信息的光学成像方法有飞行时间法(time-of-flight,TOF)和三角测量法(Triangulation)，每一类方法又有很多分支。其中，三角测量法又分为结构光、双目视觉和激光扫描。结构光(特别是空间编码结构光)和双目视觉可以实现只采集一帧图像就计算出整个视场的距离信息，因而更适合实时性要求比较高的情况。
空间编码结构光使用一个可以产生伪随机点阵图案的光源往目标物体投射伪随机点阵图案，摄像头采集的图像得到一个随目标物体表面变化而产生一定变化的图案，为了找到正确的光源点和目标物体成像的像素间的正确对应光学，需要通过算法匹配每一个小窗口内的光源伪随机点阵图案和摄像头采集到的图案。然而结构光成像的一个缺点是多个成像系统间会相互干扰(即多个结构光3D摄像头不能对同一目标物体同时成像)，因为不同结构光3D摄像头的光源投影图案重叠后，无法对采集的图案重叠后的图像和已知的投影图案进行匹配。双目视觉则可以客服这一缺点。
双目视觉原理和空间编码结构光基本一致，本质上是用另一个摄像头取代产生伪随机点阵图案的光源(从数学上说，摄像头相当于一个逆向投影光源)，转而依赖两个摄像头图像中目标物体表面纹理特征匹配来找到两个摄像头里点的对应关系。为了减小搜索窗口，加快匹配速度，一般先对结构光投影器和摄像头(在双目视觉中则是左右两个摄像头)进行光学标定和相应的图像校准，这样对每一个待匹配的参考窗口，其对应的理想匹配窗口在一条直线上，搜索只需要在一个方向上进行(一维搜索)。即使只需要一维搜索，对整幅图像完成匹配的计算量也非常大。假设匹配的参考窗口远远小于图像大小，如果图像大小是M*N(M为纵向分辨率，N为横向分辨率),完成整幅图像的匹配也需要进行M*N*N次窗口匹配，每一次窗口匹配本身的计算量也随窗口大小增大而增加。
然而在现有的结构光匹配方法中，为了减少匹配计算量和提高匹配速度，通常的做法是只进行稀疏匹配，即只选择有限的特征点进行匹配得到稀疏(低空间分辨率)深度图。但是在很多视觉应用中，稀疏深度图无法满足要求。
发明内容
本申请实施例提供了一种用于结构光的3D重建的方法和系统，解决现有技术中只选择有限地特征点进行稀疏匹配，无法满足更多的视觉应用的问题。
有鉴于此，本申请第一方面提供了一种用于结构光的3D重建的方法，所述方法包括：
对摄像头与投影器进行标定，得到投影器内参、摄像头内参以及摄像头与投影器关系的外参；
采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像；
提取所述自然图像中的第一目标区域ROI(感兴趣区域)以及第一目标区域ROI的边界，并对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图；
将所述第一目标区域ROI的稀疏深度图转换成目标区域稀疏点云图，对所述目标区域稀疏点云图稠密化处理，得到目标区域稠密图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围；
采用所述投影器内参对所述投影器图案校准并得到第二目标区域ROI；
采用带图案投影图像以及目标区域ROI边界得到第三目标区域ROI；
通过摄像头内参对第三目标区域ROI进行校准，得到第四目标区域ROI；
根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配，得到目标区域ROI稠密深度图。
优选地，所述提取所述自然图像中的第一目标区域ROI以及第一目标区域ROI的边界具体为：
对连续的所述自然图像进行快速目标运动跟踪，得到目标区域；
分割所述目标区域，并调整和扩展所述目标区域得到第五目标区域ROI；
根据摄像头内参对所述第五目标区域ROI校准，得到所述第一目标区域ROI所述第一目标区域ROI边界。
优选地，对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图具体为：
对所述第一目标目标区域ROI进行局部特征提取，得到所述第一目标目标区域ROI的局部特征；
查找是否存在与所述局部特征相匹配的历史帧，若存在，则将计算当前帧所述局部特征到对应历史帧局部特征的运动向量；
根据所述当前帧局部特征到对应历史帧局部特征的运动向量估计当前帧局部特征点的深度，得到所述第一目标区域ROI的稀疏深度图。
优选地，根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配具体为：
将所述第二目标区域ROI与所述第四目标区域ROI中对应的像素点在所述视差范围内进行匹配。
优选地，在将所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配之后还包括：
对匹配后得到的图像进行全局优化；
对全局优化后的图像进一步进行去噪声以及填补像素点空缺处理。
优选地，采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像具体为：
打开所述摄像头，打开所述投影器，得到所述带图案投影图像；关掉所述投影器，得到所述自然图像；所述投影器图案为已知的。
优选地，采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像具体为：
打开所述摄像头，打开所述投影器，得到所述带图案投影图像；对所述带图案投影图像去投影图像处理，得到所述自然图像；所述投影器图案为已知的。
本申请第二方面提供一种一种用于结构光的3D重建系统，所述系统包括：
标定模块，所述标定模块用于对摄像头与投影器进行标定，得到投影器内参、摄像头内参以及摄像头与投影器关系的外参；
采集模块，所述采集模块用于采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像；
目标区域获取模块，所述目标区域获取模块用于采用所述投影器内参对所述投影器图案校准，得到第二目标区域ROI；采用带图案投影图像以及目标区域ROI边界得到第三目标区域ROI；通过摄像头内参对第三目标区域ROI进行校准，得到第四目标区域ROI；
目标区域提取模块，所述目标区域提取模块用于提取所述自然图像中的第一目标区域ROI以及第一目标区域ROI的边界，并对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图；
视差范围确定模块，所述视差范围确定模块用于将所述第一目标区域ROI的稀疏深度图转换成目标区域稀疏点云图，对所述目标区域稀疏点云图稠密化处理，得到目标区域稠密图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围；
稠密重建模块，所述稠密重建模块用于根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配，得到目标区域ROI稠密深度图。
优选地，全局优化模块，所述全局优化模块用于对匹配后得到的图像进行全局优化；
后处理模块，所述后处理模块用于对全局优化后的图像进一步进行去噪声以及填补像素点空缺处理。
本申请第三方面提供一种用于结构光的3D重建设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的一种用于结构光的3D重建方法的步骤。
本申请实施例中，提供了一种用于结构光的3D重建方法，包括：对摄像头与投影器进行标定，得到投影器内参、摄像头内参以及摄像头与投影器关系的外参；采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像；提取所述自然图像中的第一目标区域ROI以及第一目标区域ROI的边界，并对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图；将所述第一目标区域ROI的稀疏深度图转换成目标区域稀疏点云图，对所述目标区域稀疏点云图稠密化处理，得到目标区域稠密图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围；采用所述投影器内参对所述投影器图案校准并得到第二目标区域ROI；采用带图案投影图像以及目标区域ROI边界得到第三目标区域ROI；通过摄像头内参对第三目标区域ROI进行校准，得到第四目标区域ROI；根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配，得到目标区域ROI稠密深度图。
从以上技术方案可以看出，本申请实施例具有以下优点：本申请通过采用对稠密目标区域ROI进行匹配的方法实现3D重建，一方面避免了对整体图像进行匹配的匹配像素点数量大，匹配速度慢的问题，另一方面，也避免采用稀疏匹配时匹配不够准确的问题。
附图说明
图1为本申请一种用于结构光的3D重建方法的一个实施例的方法流程图；
图2为本申请一种用于结构光的3D重建方法的另一个实施例的方法流程图；
图3为本申请一种用于结构光的3D重建系统的一个实施例的系统框图；
图4为本申请一种用于结构光的3D重建方法中一个具体实施例的方法流程图；
图5为本申请一种用于结构光的3D重建方法中限定条件下的双目稠密局部匹配的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，图1为本申请一种用于结构光的3D重建方法的一个实施例的方法流程图，如图1所示，图1中包括：
101、对摄像头与投影器进行标定，得到投影器内参、摄像头内参以及摄像头与投影器关系的外参。
需要说明的是，投影器的内参包括投影矩阵和畸变，摄像头内参也包括投影矩阵和畸变，所述的投影矩阵表示从三维坐标到二维坐标的投影关系，畸变为像素点偏离其理想位置点位误差；摄像头与投影器关系的外参是摄像头和投影器的内部坐标与世界坐标系之间的相对位置关系。
102、采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像。
需要说明的是，所述的投影器图案是已知的，在对结构光的图像采集时，可以采用一个投影器和一个摄像头采集自然图像和带图案的投影图像。
103、提取所述自然图像中的第一目标区域ROI以及第一目标区域ROI的边界，并对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图。
需要说明的是，这里需要对连续的自然图像采集其第一目标区域ROI，用来确认第一目标区域ROI是静态的还是动态的，提取完目标区域ROI还需要通过摄像头内参进行校准从而调整相应的像素点使其达到理想位置。
104、将所述第一目标区域ROI的稀疏深度图转换成目标区域稀疏点云图，对所述目标区域稀疏点云图稠密化处理，得到目标区域稠密图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围。
需要说明的是，为了更好地匹配相应的像素点，可以利用目标区域稠密视差图的视差范围来对匹配时的像素点视差范围进行限定。
105、采用所述投影器内参对所述投影器图案校准并得到第二目标区域ROI；采用带图案投影图像以及目标区域ROI边界得到第三目标区域ROI；通过摄像头内参对第三目标区域ROI进行校准，得到第四目标区域ROI。
106、根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配，得到目标区域ROI稠密深度图。
本申请通过采用对稠密目标区域ROI进行匹配的方法实现3D重建，一方面避免了对整体图像进行匹配的匹配像素点数量大，匹配速度慢的问题，另一方面，也避免采用稀疏匹配时匹配不够准确的问题。
为了便于理解，请参阅图2，图2为本申请一种用于结构光的3D重建方法的另一个实施例的方法流程图，如图2所示，具体包括：
201、对摄像头与投影器进行标定，得到投影器内参、摄像头内参以及摄像头与投影器关系的外参。
需要说明的是，投影器的内参包括投影矩阵和畸变，摄像头内参也包括投影矩阵和畸变，所述的投影矩阵表示从三维坐标到二维坐标的投影关系，畸变为像素点偏离其理想位置点位误差；摄像头与投影器关系的外参是摄像头和投影器的内部坐标与世界坐标系之间的相对位置关系，在具体的实施例中，可以采用一个摄像机和一个投影器。
202、采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像。
需要说明的是，所述的投影器图案是已知的，在对结构光的图像采集时，可以采用一个投影器和一个摄像头采集自然图像和带图案的投影图像。
203、提取所述自然图像中的第一目标区域ROI以及第一目标区域ROI的边界，并对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图。
需要说明的是，这里需要对连续的自然图像采集其第一目标区域ROI，用来确认第一目标区域ROI是静态的还是动态的，提取完目标区域ROI还需要通过摄像头内参进行校准从而调整相应的像素点使其达到理想位置。
在一种实施例中，所述提取所述自然图像中的第一目标区域ROI以及第一目标区域ROI的边界具体为：对连续的所述自然图像进行快速目标运动跟踪，得到目标区域；分割所述目标区域，并调整和扩展所述目标区域得到第五目标区域ROI；根据摄像头内参对所述第五目标区域ROI校准，得到所述第一目标区域ROI所述第一目标区域ROI边界。
需要说明的是，根据连续的自然图像进行快速目标运动算法，可以识别出目标区域是静态的目标还是动态的目标，在分别对运动目标区域进行分割目标区域，对静态的目标区域采用静态目标检测，从而得到目标区域ROI；为精确目标区域的位置，可以对目标区域ROI进行扩展和调整，并且根据摄像头内参对得到的目标区域ROI进行校准从而得到相应的第一目标区域ROI以及对应的第一目标区域ROI得边界。
在一种实施例中，对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图具体为：对所述第一目标目标区域ROI进行局部特征提取，得到所述第一目标目标区域ROI的局部特征；查找是否存在与所述局部特征相匹配的历史帧，若存在，则将计算当前帧所述局部特征到对应历史帧局部特征的运动向量；根据所述当前帧局部特征到对应历史帧局部特征的运动向量估计当前帧局部特征点的深度，得到所述第一目标区域ROI的稀疏深度图。
需要说明的是，为了获得第一目标区域的稀疏深度图，并且同时为了节省必要的存储消耗，可以采用找到匹配的历史帧的方法，通过找到与当前帧目标区域相匹配的的历史帧，计算历史帧目标区域到当前帧目标区域的运动特征向量，从而对当前帧目标区域的像素点进行深度估计，得到当前帧目标区域ROI稀疏深度图。
204、将所述第一目标区域ROI的稀疏深度图转换成目标区域稀疏点云图，对所述目标区域稀疏点云图稠密化处理，得到目标区域稠密图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围。
需要说明的是，所述的稠密化处理可以是常见的插值算法，在像素点之间填补相应的像素点。为了更好地匹配相应的像素点，可以利用目标区域稠密视差图的视差范围来对匹配时的像素点视差范围进行限定。目标区域稠密深度图初始化后，每个像素点(x,y)有一个具体的深度初始值Z(x,y)。可以认为局部稠密匹配时点(x,y)的深度应该在初始值Z(x,y)附近的一个范围内，例如Z(x,y)+/-3*Sigma(x,y),其中Sigma(x,y)为像素(x,y)处深度不确定性指标，这个不确定性指标可以为预先设定的一个固定值，也可以根据中间结果确定为不同值，例如Sigma(x,y)＝0.05*Z(x,y)；对应的视差范围D(x,y)＝B*f/Z(x,y),B为双目摄像头的基线，f为摄像头焦距，这个视差范围可以作为稠密局部匹配时的限定条件。
205、采用所述投影器内参对所述投影器图案校准并得到第二目标区域ROI；采用带图案投影图像以及目标区域ROI边界得到第三目标区域ROI；通过摄像头内参对第三目标区域ROI进行校准，得到第四目标区域ROI。
206、根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配。
在一种实施例中，根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配具体为：将所述第二目标区域ROI与所述第四目标区域ROI中对应的像素点在所述视差范围内进行匹配。
需要说明的是，通过得到的像素点视差范围，将第二目标区域ROI以及第四目标区域ROI的每个像素点在视差范围内进行匹配窗口搜索，可以进一步减少匹配时间，同时也减少局部匹配到错误窗口的概率，从而使双目匹配结果更准确。
在具体的匹配过程中，其具体步骤如图5所示的限定条件下的双目稠密局部匹配的示意图，若投影器在摄像头左侧，当校准后投影图案图像的目标区域(ROIC)1上的像素点坐标为(x1，y1)时，最大视差范围为d时，其校准后投影器图案目标区域(ROIP)1上对应的像素点匹配的坐标为(x1-d，y1)；当校准后投影图案图像的目标区域(ROIC)1上的像素点坐标为(x2，y2)时，其校准后投影器图案目标区域(ROIP)1上对应的像素点匹配的坐标为(x2+d，y2)。
207、对匹配后得到的图像进行全局优化。
需要说明的是，在上述稠密局部匹配的基础上，可以结合相邻局部匹配窗口的信息进行进一步优化，例如采用常见的SGM双目匹配算法中的多方向代价聚合，从而对全局进行优化。
208、对全局优化后的图像进一步进行去噪声以及填补像素点空缺处理。
为了便于理解，请参阅图3，图3为本申请一种用于结构光的3D重建系统的一个实施例的系统框图，如图3所示，图3中包括：
标定模块301，用于对摄像头与投影器进行标定，得到投影器内参、摄像头内参以及摄像头与投影器关系的外参。
需要说明的是，投影器的内参包括投影矩阵和畸变，摄像头内参也包括投影矩阵和畸变，所述的投影矩阵表示从三维坐标到二维坐标的投影关系，畸变为像素点偏离其理想位置点位误差；摄像头与投影器关系的外参是摄像头和投影器的内部坐标与世界坐标系之间的相对位置关系。
采集模块302，用于采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像。
需要说明的是，所述的投影器图案是已知的，在对结构光的图像采集时，可以采用一个投影器和一个摄像头采集自然图像和带图案的投影图像。
目标区域获取模块303，用于采用所述投影器内参对所述投影器图案校准，得到第二目标区域ROI；采用带图案投影图像以及目标区域ROI边界得到第三目标区域ROI；通过摄像头内参对第三目标区域ROI进行校准，得到第四目标区域ROI。
需要说明的是，这里需要对连续的自然图像采集其第一目标区域ROI，用来确认第一目标区域ROI是静态的还是动态的，提取完目标区域ROI还需要通过摄像头内参进行校准从而调整相应的像素点使其达到理想位置。
目标区域提取模块304，用于提取所述自然图像中的第一目标区域ROI以及第一目标区域ROI的边界，并对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图。
需要说明的是，为了更好地匹配相应的像素点，可以利用目标区域稠密视差图的视差范围来对匹配时的像素点视差范围进行限定。
视差范围确定模块305，用于将所述第一目标区域ROI的稀疏深度图转换成目标区域稀疏点云图，对所述目标区域稀疏点云图稠密化处理，得到目标区域稠密图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围；
稠密重建模块306，用于根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配，得到目标区域ROI稠密深度图。
本申请通过采用对稠密目标区域ROI进行匹配的方法实现3D重建，一方面避免了对整体图像进行匹配的匹配像素点数量大，匹配速度慢的问题，另一方面，也避免采用稀疏匹配时匹配不够准确的问题。
为了便于理解，本申请一种用于结构光的3D重建系统的另外一个实施例，包括：
标定模块，所述标定模块用于对摄像头与投影器进行标定，得到投影器内参、摄像头内参以及摄像头与投影器关系的外参。
采集模块，所述采集模块用于采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像。
目标区域获取模块，所述目标区域获取模块用于采用所述投影器内参对所述投影器图案校准，得到第二目标区域ROI；采用带图案投影图像以及目标区域ROI边界得到第三目标区域ROI；通过摄像头内参对第三目标区域ROI进行校准，得到第四目标区域ROI。
目标区域提取模块，所述目标区域提取模块用于提取所述自然图像中的第一目标区域ROI以及第一目标区域ROI的边界，并对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图。
视差范围确定模块，所述视差范围确定模块用于将所述第一目标区域ROI的稀疏深度图转换成目标区域稀疏点云图，对所述目标区域稀疏点云图稠密化处理，得到目标区域稠密图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围。
稠密重建模块，所述稠密重建模块用于根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配。
全局优化模块，所述全局优化模块用于对匹配后得到的图像进行全局优化；
后处理模块，所述后处理模块用于对全局优化后的图像进一步进行去噪声以及填补像素点空缺处理。
本申请实施例还提供了一种设备，包括处理器以及存储器：所述存储器用于存储程序代码，并将程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行上述实施例任一项所述的一种用于结构光的3D重建方法。
在本申请的一种用于结构光的3D重建方法的具体实施例，如图4所示，其具体步骤如下：
首先获取摄像头以及投影器的内参；通过单个投影器，对目标物体进行采集，获取对应的投影器图案(IP)0,通过单个摄像头对目标物体进行采集，获取对应的带投影图案图像(IC)0以及自然图像。
提取自然图像的目标区域以及目标区域的边界；通过投影器的内参对投影器图案(IP)0进行校准得到校准后的投影器图案(IP)1，并提取投影器图案(IP)1的目标区域得到投影器图案目标区域(ROIP)1。
通过带投影图案图像(IC)0以及目标区域边界获取带投影图案图像的目标区域(ROIC)0,并通过摄像头内参对带投影图案图像的目标区域(ROIC)0进行校准得到校准后的带投影图案图像的目标区域(ROIC)1。
对自然图像的目标区域进行粗略稀疏重建得到目标区域的稀疏深度图，将目标区域的稀疏深度图转换成目标区域稀疏点云图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围，并限定每个像素点的视差范围。
根据视差范围匹配带校准后投影图案图像的目标区域(ROIC)1以及校准后投影器图案目标区域(ROIP)1之间的关系，如图5所示的限定条件下的双目稠密局部匹配的示意图，若投影器在摄像头左侧，当校准后投影图案图像的目标区域(ROIC)1上的像素点坐标为(x1，y1)时，最大视差范围为d时，其校准后投影器图案目标区域(ROIP)1上对应的像素点匹配的坐标为(x1-d，y1)；当校准后投影图案图像的目标区域(ROIC)1上的像素点坐标为(x2，y2)时，其校准后投影器图案目标区域(ROIP)1上对应的像素点匹配的坐标为(x2+d，y2)。
对匹配后得到的图像进行全局优化，并进行进一步去噪声以及填补像素点空缺处理，最终得到目标ROI稠密深度图.
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种用于结构光的3D重建方法，其特征在于，包括：
对摄像头与投影器进行标定，得到投影器内参、摄像头内参以及摄像头与投影器关系的外参；
采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像；
提取所述自然图像中的第一目标区域ROI以及第一目标区域ROI的边界，并对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图，具体的：
对连续的所述自然图像进行快速目标运动跟踪，得到目标区域；
分割所述目标区域，并调整和扩展所述目标区域得到第五目标区域ROI；
根据摄像头内参对所述第五目标区域ROI校准，得到所述第一目标区域ROI以及所述第一目标区域ROI边界；
对所述第一目标区域ROI进行局部特征提取，得到所述第一目标区域ROI的局部特征；
查找是否存在与所述局部特征相匹配的历史帧，若存在，则将计算当前帧所述局部特征到对应历史帧局部特征的运动向量；
根据所述当前帧所述局部特征到对应历史帧局部特征的运动向量估计当前帧局部特征点的深度，得到所述第一目标区域ROI的稀疏深度图；
将所述第一目标区域ROI的稀疏深度图转换成目标区域稀疏点云图，对所述目标区域稀疏点云图稠密化处理，得到目标区域稠密图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围；
采用所述投影器内参对所述投影器图案校准并得到第二目标区域ROI；
采用所述带图案投影图像以及目标区域ROI边界得到第三目标区域ROI；
通过所述摄像头内参对第三目标区域ROI进行校准，得到第四目标区域ROI；
根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配，得到目标区域ROI稠密深度图。
2.根据权利要求1所述的一种用于结构光的3D重建方法，其特征在于，根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配具体为：
将所述第二目标区域ROI与所述第四目标区域ROI中对应的像素点在所述视差范围内进行匹配。
3.根据权利要求1所述的一种用于结构光的3D重建方法，其特征在于，在将所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配之后还包括：
对匹配后得到的图像进行全局优化；
对全局优化后的图像进一步进行去噪声以及填补像素点空缺处理。
4.根据权利要求1所述的一种用于结构光的3D重建方法，其特征在于，采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像具体为：
打开所述摄像头，打开所述投影器，得到所述带图案投影图像；关掉所述投影器，得到所述自然图像；所述投影器图案为已知的。
5.根据权利要求1所述的一种用于结构光的3D重建方法，其特征在于，采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像具体为：
打开所述摄像头，打开所述投影器，得到所述带图案投影图像；对所述带图案投影图像去投影图像处理，得到所述自然图像；所述投影器图案为已知的。
6.一种用于结构光的3D重建系统，其特征在于，包括：
标定模块，所述标定模块用于对摄像头与投影器进行标定，得到投影器内参、摄像头内参以及摄像头与投影器关系的外参；
采集模块，所述采集模块用于采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像；
目标区域获取模块，所述目标区域获取模块用于采用所述投影器内参对所述投影器图案校准，得到第二目标区域ROI；采用带图案投影图像以及目标区域ROI边界得到第三目标区域ROI；通过摄像头内参对第三目标区域ROI进行校准，得到第四目标区域ROI；
目标区域提取模块，所述目标区域提取模块用于提取所述自然图像中的第一目标区域ROI以及第一目标区域ROI的边界，并对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图；具体的：
对连续的所述自然图像进行快速目标运动跟踪，得到目标区域；
分割所述目标区域，并调整和扩展所述目标区域得到第五目标区域ROI；
根据摄像头内参对所述第五目标区域ROI校准，得到所述第一目标区域ROI以及所述第一目标区域ROI边界；
对所述第一目标区域ROI进行局部特征提取，得到所述第一目标区域ROI的局部特征；
查找是否存在与所述局部特征相匹配的历史帧，若存在，则将计算当前帧所述局部特征到对应历史帧局部特征的运动向量；
根据所述当前帧所述局部特征到对应历史帧局部特征的运动向量估计当前帧局部特征点的深度，得到所述第一目标区域ROI的稀疏深度图；
视差范围确定模块，所述视差范围确定模块用于将所述第一目标区域ROI的稀疏深度图转换成目标区域稀疏点云图，对所述目标区域稀疏点云图稠密化处理，得到目标区域稠密图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围；
稠密重建模块，所述稠密重建模块用于根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配，得到目标区域ROI稠密深度图。
7.根据权利要求6所述的一种用于结构光的3D重建系统，其特征在于，还包括：
全局优化模块，所述全局优化模块用于对匹配后得到的图像进行全局优化；
后处理模块，所述后处理模块用于对全局优化后的图像进一步进行去噪声以及填补像素点空缺处理。
8.一种用于结构光的3D重建设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的一种用于结构光的3D重建方法。
CN201910983687.8A 2019-10-16 2019-10-16 一种用于结构光的3d重建方法和系统 Active CN110751731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910983687.8A CN110751731B (zh) 2019-10-16 2019-10-16 一种用于结构光的3d重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910983687.8A CN110751731B (zh) 2019-10-16 2019-10-16 一种用于结构光的3d重建方法和系统

Publications (2)

Publication Number Publication Date
CN110751731A CN110751731A (zh) 2020-02-04
CN110751731B true CN110751731B (zh) 2023-03-24

Family

ID=69278575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910983687.8A Active CN110751731B (zh) 2019-10-16 2019-10-16 一种用于结构光的3d重建方法和系统

Country Status (1)

Country Link
CN (1) CN110751731B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296086A (zh) * 2020-02-21 2021-08-24 华为技术有限公司 目标识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256575A (zh) * 2017-04-07 2017-10-17 天津市天中依脉科技开发有限公司 一种基于双目立体视觉的三维舌像重建方法
CN108305286A (zh) * 2018-01-25 2018-07-20 哈尔滨工业大学深圳研究生院 基于颜色编码的多目立体视觉脚型三维测量方法、系统和介质
CN108694740A (zh) * 2017-03-06 2018-10-23 索尼公司 信息处理设备、信息处理方法以及用户设备
CN109379537A (zh) * 2018-12-30 2019-02-22 北京旷视科技有限公司 滑动变焦效果实现方法、装置、电子设备及计算机可读存储介质
CN110176032A (zh) * 2019-04-28 2019-08-27 暗物智能科技(广州)有限公司 一种三维重建方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362296B2 (en) * 2017-08-17 2019-07-23 Microsoft Technology Licensing, Llc Localized depth map generation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694740A (zh) * 2017-03-06 2018-10-23 索尼公司 信息处理设备、信息处理方法以及用户设备
CN107256575A (zh) * 2017-04-07 2017-10-17 天津市天中依脉科技开发有限公司 一种基于双目立体视觉的三维舌像重建方法
CN108305286A (zh) * 2018-01-25 2018-07-20 哈尔滨工业大学深圳研究生院 基于颜色编码的多目立体视觉脚型三维测量方法、系统和介质
CN109379537A (zh) * 2018-12-30 2019-02-22 北京旷视科技有限公司 滑动变焦效果实现方法、装置、电子设备及计算机可读存储介质
CN110176032A (zh) * 2019-04-28 2019-08-27 暗物智能科技(广州)有限公司 一种三维重建方法及装置

Also Published As

Publication number Publication date
CN110751731A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
US9972067B2 (en) System and method for upsampling of sparse point cloud for 3D registration
US10237532B2 (en) Scan colorization with an uncalibrated camera
KR101554241B1 (ko) 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
CN110738731B (zh) 一种用于双目视觉的3d重建方法和系统
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
Bonfort et al. General specular surface triangulation
CN108474658B (zh) 地面形态检测方法及系统、无人机降落方法和无人机
CN112384891B (zh) 用于点云着色的方法和系统
US20100204964A1 (en) Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
CN109357633B (zh) 三维扫描方法、装置、存储介质和处理器
CN114746715A (zh) 三维模型生成方法、信息处理装置及程序
US10973581B2 (en) Systems and methods for obtaining a structured light reconstruction of a 3D surface
WO2018194746A1 (en) Ladar range estimate with range rate compensation
WO2018194748A1 (en) Motion compensation for dynamic imaging
JP6589636B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
CN110211169B (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
JP6396499B2 (ja) 三次元情報の規模測定
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
CN110751731B (zh) 一种用于结构光的3d重建方法和系统
KR20050061115A (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
GB2569609A (en) Method and device for digital 3D reconstruction
Le Besnerais et al. Dense height map estimation from oblique aerial image sequences
JP2012160063A (ja) 球体の検出方法
KR102533909B1 (ko) 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법
Choi et al. Discrete and continuous optimizations for depth image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230417

Address after: Room 303, 3rd Floor, Building 1, No. 26 Xingxing Road, Xingqiao Street, Yuhang District, Hangzhou City, Zhejiang Province, 310000

Patentee after: Zhejiang Guanglun Technology Co.,Ltd.

Address before: Room 1404, phase 1, International Students Pioneer Building, 29 Gaoxin South Ring Road, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: Guanglun Technology (Shenzhen) Co.,Ltd.

TR01 Transfer of patent right