CN108122254A - 基于结构光的三维图像重建方法、装置及存储介质 - Google Patents

基于结构光的三维图像重建方法、装置及存储介质 Download PDF

Info

Publication number
CN108122254A
CN108122254A CN201711344608.6A CN201711344608A CN108122254A CN 108122254 A CN108122254 A CN 108122254A CN 201711344608 A CN201711344608 A CN 201711344608A CN 108122254 A CN108122254 A CN 108122254A
Authority
CN
China
Prior art keywords
coding
image
characteristic point
code element
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711344608.6A
Other languages
English (en)
Other versions
CN108122254B (zh
Inventor
宋展
曾海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201711344608.6A priority Critical patent/CN108122254B/zh
Publication of CN108122254A publication Critical patent/CN108122254A/zh
Application granted granted Critical
Publication of CN108122254B publication Critical patent/CN108122254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明适用图像处理领域，提供了基于结构光的三维图像重建方法、装置及存储介质，该方法包括：提取输入的物体编码图像的主编码特征点；构建主编码特征点的拓扑网络，根据拓扑网络提取物体编码图像中包括的所有编码元素图像；对每个编码元素图像中的图形特征点的初始位置进行定位，计算编码元素图像的辅助编码特征点；根据主编码特征点和辅助编码特征点，使用深度学习网络对所有编码元素图像进行识别；根据预设的极线编码策略，将识别到得的每个编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现解码；根据预先获取的三维图像重建系统标定参数和匹配得到的解码信息对物体进行三维图像重建，以得到物体的三维图像。

Description

基于结构光的三维图像重建方法、装置及存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于结构光的三维图像重建方法、装置及存储介质。
背景技术
结构光三维重建系统是指通过投射含有特定编码信息的光学图案到物体表面，然后通过解码获取对应性，以解决立体视觉中的匹配问题，进而通过光学三角原理恢复出投影点处的三维空间坐标。根据投射图案的不同，结构光可分为点结构光、线结构光、多线结构光及面结构光，其中点结构光法、线结构光法和多线结构光法虽然比较成熟简单，但是每次重构都需要拍摄多张图像，效率低、测量范围小。面结构光法是使用投影仪将一幅或多幅编码图案投射到三维物体表面，并用摄像机对三维物体表面的编码图案进行拍照，然后利用投射的编码结构光的特点进行图像匹配，最后利用三角法原理算得物体表面点云坐标。
现有的结构光三维重建技术的采用的编码方法大致可划分为时间编码法和空间编码法，时间编码根据投影图像的时间顺序进行编码，然后再将编码图像按照时间顺序连续地投影到物体表面，具有测量精度较高、测量分辨率高的优点，但其测量速度较慢，因此适合于静态目标和场景的三维信息获取。后者仅需投影一幅编码图案，测量速度较快，因此适合于动态目标和场景的三维信息获取。空间编码旨在通过投影单幅编码图像实现物体表面的三维重建，其编码信息由空间编码特征或其不同的排列组合来生成，编码和解码过程均在单幅图像内完成，具有实时性的优势。现有的空间编码结构光常采用颜色信息、灰度信息进行编码，但现有方法的解码效果容易受到物体表面颜色和颜色通道串扰的影响，鲁棒性不强。从该领域的研究现状来看，采用黑白几何特征的空间编码已成为发展趋势，但此类技术编码密度与编码窗口尺寸以及采用的编码元素种类之间存在矛盾，即：如要获得高密度的结构光编码图案，只能增加编码元素种类或者加大编码窗口，而这两种措施最后都会显著加大解码的难度，造成解码成功率的降低。
发明内容
本发明的目的在于提供一种基于结构光的三维图像重建方法、装置及存储介质，旨在解决由于现有基于结构光的三维图像重建方法解码成功率低的问题。
一方面，本发明提供了一种基于结构光的三维图像重建方法，所述方法包括下述步骤：
当接收到用户输入的物体三维图像重建请求时，提取输入的物体编码图像的主编码特征点，所述物体编码图像的编码元素图形具有旋转对称性且包含预设数量的辅助编码特征点；
根据所述物体编码图像的主编码特征点，构建所述主编码特征点的拓扑网络，根据所述拓扑网络提取所述物体编码图像中包括的所有编码元素图像；
使用预设的角点检测算法对每个所述编码元素图像中的图形特征点的初始位置进行定位，根据所述初始位置以及所述编码元素图像的灰度值计算所述编码元素图像的辅助编码特征点；
根据所述主编码特征点和所有所述编码元素图像的辅助编码特征点，使用预先训练好的深度学习网络对所述所有编码元素图像进行识别；
根据预设的极线编码策略，将识别到得的每个所述编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码；
根据预先获取的三维图像重建系统标定参数和所述匹配得到的解码信息对所述物体进行三维图像重建，以得到所述物体的三维图像。
另一方面，本发明提供了一种基于结构光的三维图像重建装置，所述装置包括：
特征点提取单元，用于当接收到用户输入的物体三维图像重建请求时，提取输入的物体编码图像的主编码特征点，所述物体编码图像的编码元素图形具有旋转对称性且包含预设数量的辅助编码特征点；
元素图像提取单元，用于根据所述物体编码图像的主编码特征点，构建所述主编码特征点的拓扑网络，根据所述拓扑网络提取所述物体编码图像中包括的所有编码元素图像；
特征点计算单元，用于使用预设的角点检测算法对每个所述编码元素图像中的图形特征点的初始位置进行定位，根据所述初始位置以及所述编码元素图像的灰度值计算所述编码元素图像的辅助编码特征点；
图像识别单元，用于根据所述主编码特征点和所有所述编码元素图像的辅助编码特征点，使用预先训练好的深度学习网络对所述所有编码元素图像进行识别；
解码单元，用于根据预设的极线编码策略，将识别到得的每个所述编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码；以及
图像重建单元，用于根据预先获取的三维图像重建系统标定参数和所述匹配得到的解码信息对所述物体进行三维图像重建，以得到所述物体的三维图像。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明进行物体三维图像重建时，通过提取物体编码图像的主编码特征点和辅助编码特征点，使用预先训练好的深度学习网络对所有编码元素图像进行识别，并根据预设的极线编码策略将识别到得的每个编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码，最终根据预先获取的三维图像重建系统标定参数和匹配得到的解码信息对物体进行三维图像重建，提高了图像解码的成功率，进而提高了三维图像重建的效果。
附图说明
图1是本发明实施例一提供的基于结构光的三维图像重建方法的实现流程图；
图2是本发明实施例一提供的八种编码元素图像示意图；
图3是本发明实施例一提供的棋盘格编码元素图像的主编码特征点和辅助编码特征点的示意图；
图4是本发明实施例一提供的投影用编码图像；
图5是本发明实施例二提供的基于结构光的三维图像重建装置的结构示意图；以及
图6是本发明实施例三提供的基于结构光的三维图像重建装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的基于结构光的三维图像重建方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，当接收到用户输入的物体三维图像重建请求时，提取输入的物体编码图像的主编码特征点。
在本发明实施例中，优选地，物体编码图像通过以下方式获得：
(1)对具有旋转对称性且包含预设数量特征点的编码元素图形进行旋转，以得到编码元素的多个码字图形；
(2)使用多个码字和黑、白背景进行组合，分别生成对应的编码元素图像；
在本发明实施例中，编码元素图形为具有旋转对称性且包含预设数量特征点的编码元素图形，例如，“L”形编码元素图形、“Δ”形编码元素图形。作为示例地，在这里以“L”形编码元素图形对本发明实施例进行描述，通过将“L”形编码元素图形分别旋转90°、180°、270°即可得到四种码字图形，再将这四种码字图形分别与黑白背景块结合，可得到八种编码元素图像，如图2所示。如图2所示八种编码元素图像分别代表八种码字(1，-1，2，-2，3，-3，4，-4)，其中，正数码字代表以白色为背景的编码元素图像，负数码字代表以黑色为背景的编码元素图像。在这种方式的编码中，只需一个种编码元素图形，但通过其旋转及背景色的变化，可以生成八种不同的编码元素图像，将大大减少后续的特征检测和编码特征识别的难度，显著提高编码效率。
(3)根据极线编码策略，使用编码元素图像以预设的编码窗口沿着极线方向进行编码，以得到预设分辨率的投影用编码图像；
在本发明实施例中，根据极线编码策略，整个编码过程只在极线方向上进行，由于减少了一个编码维度，因此基于同样数目的编码元素，可以获得更小的编码窗口，抑或采用更少的编码元素获得同样大小的编码窗口，通过定义极线的数量，可以实现整个编码容量的可调控，满足不同分辨率的投射需要。
优选地，在编码时采用黑白棋盘格作为编码基础框架，通过填充不同的编码元素图像，对棋盘格角点进行极线方向的唯一编码，将棋盘格角点定义为主编码特征点，由于编码元素图形本身具备明显的几何特征，如“L”形或“Δ”形，因此，还可以在每个编码元素图形中再定义至少三个辅助编码特征点，如图3所示，其中，中间正方形棋盘格四个角点为主编码特征点，棋盘格中“L”形三个角点为辅助编码特征点。通过这种混合编码特征点的定义，编码特征点数量可提高3倍，从而大大提高了编码特征点的密度。作为示例地，通过上述极线编码策略可得到如图4所示的投影用编码图像。
(4)将投影用编码图像投射到物体上，通过摄像头拍摄该物体，以得到物体编码图像。
在本发明实施例中，在将投影用编码图像投射到物体上时，优选地，采用三维图像重建系统的衍射光学元件实现，该三维图像重建系统包括投影设备(由衍射光学元件和激光器组成)以及摄像头。具体地，在将投影用编码图像投射到物体上时，投影用编码图像可根据激光衍射原理通过三维图像重建系统中激光和衍射光学元件获得，并被投射到物体表面，进而由三维图像重建系统中的摄像头拍摄得到物体编码图像。
在本发明实施例中，在提取输入的物体编码图像的主编码特征点时，优选地，对物体编码图像的像素进行模板卷积，根据模板卷积结果获取物体编码图像的候选主编码特征点，计算每个候选主编码特征点的对称程度，将对称程度少于预设阈值的候选主编码特征点剔除，以得到物体编码图像的主编码特征点。
进一步优选地，当采用黑白棋盘格为编码基础框架时，若要提取输入的物体编码图像的主编码特征点，则相当于对棋盘格的角点进行检测。因此，首先，对于每一幅图像中的每一个像素点，利用“+”型模板在邻域(邻域的大小一般取物体编码图像中一个编码元素图像尺寸的2/3)内分别计算卷积值，“+”型模板的卷积值为其中，f(x，y)表示物体编码图像在点(x，y)的像素值，N表示为模版的尺寸。接着，判断在以像素点为中心的一个小区域内是否是极大值，如果是极大值，那么对应的像素点就是一个候选主编码特征点，也就是说用“+”型模板计算出的卷积值在局部区域内是最大的。最后，利用旋转对称性剔除错误候选主编码特征点，从候选主编码特征点中找出真正的主编码特征点。
在步骤S102中，根据物体编码图像的主编码特征点，构建主编码特征点的拓扑网络，根据拓扑网络提取物体编码图像中包括的所有编码元素图像。
在步骤S103中，使用预设的角点检测算法对每个编码元素图像中的图形特征点的初始位置进行定位，根据初始位置以及编码元素图像的灰度值计算编码元素图像的辅助编码特征点。
在步骤S104中，根据主编码特征点和所有编码元素图像的辅助编码特征点，使用预先训练好的深度学习网络对所有编码元素图像进行识别。
在本发明实施例中，预先对初始建立的深度学习网络进行训练，优选地，在对深度学习网络进行训练时，首先获取预设数量的、具有不同颜色、纹理、光照和场景的物体编码图像样本，使用每幅物体编码图像样本对预先建立的深度学习网络进行训练，以得到训练好的深度学习网络。具体地，获取物体编码图像样本后，提取物体编码图像样本的主编码特征点，根据物体编码图像样本的主编码特征点，构建主编码特征点的拓扑网络，根据拓扑网络提取物体编码图像样本中包括的所有编码元素图像，从而提取出大量的编码元素图像样本，对这些编码元素图像样本进行高斯模糊、遮挡等，进一步扩大样本数量，进而使用扩大后编码元素图像样本对深度学习网络进行训练，以得到训练好的深度学习网络。
在步骤S105中，根据预设的极线编码策略，将识别到得的每个编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码。
在本发明实施例中，根据极线编码策略中的极线约束(即空间点在两个图像平面上的投影点，如果已知空间点在左图像平面上的映射点在左图像平面的左极线上，那么空间点在右图像平面上的映射点在右图像平面的右极线上，反之亦然，这种约束关系称为极线约束)，将识别到得的每个编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码。进一步地，可根据连续性、平滑性等约束条件对解码进行纠错，以提高解码的准确性。
在步骤S106中，根据预先获取的三维图像重建系统标定参数和匹配得到的解码信息对物体进行三维图像重建，以得到物体的三维图像。
在本发明实施例中，采用张正友相机标定法对三维图像重建系统中的摄像头和投影设备进行标定，以获取摄像头和所述投影设备的标定参数，进而根据获取的摄像头以及投影设备的标定参数，计算摄像头和投影设备之间的位置关系参数，从而获取三维图像重建系统标定参数。之后，根据预先获取的三维图像重建系统标定参数和匹配得到的解码信息对物体进行三维图像重建，以得到物体的三维图像。
在本发明实施例中，使用具有旋转对称性且包含预设数量特征点的编码元素图形和黑、白背景进行组合，生成对应编码元素图像，并根据极线编码策略，使用编码元素图像以预设的编码窗口沿着极线方向进行编码，以得到预设分辨率的投影用编码图像，从而以更少的编码元素种类，实现更小的编码窗口，同时大大降低了后续的解码难度提高了解码的成功率。对应在解码时，通过提取物体编码图像的主编码特征点和辅助编码特征点，使用预先训练好的深度学习网络对所有编码元素图像进行识别，并根据预设的极线编码策略将识别到得的每个编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码，最终根据预先获取的三维图像重建系统标定参数和匹配得到的解码信息对物体进行三维图像重建，提高了图像解码的成功率，进而提高了三维图像重建的效果。
实施例二：
图5示出了本发明实施例二提供的基于结构光的三维图像重建装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
特征点提取单元51，用于当接收到用户输入的物体三维图像重建请求时，提取输入的物体编码图像的主编码特征点，该物体编码图像的编码元素图形具有旋转对称性且包含预设数量的辅助编码特征点；
元素图像提取单元52，用于根据物体编码图像的主编码特征点，构建主编码特征点的拓扑网络，根据拓扑网络提取物体编码图像中包括的所有编码元素图像；
特征点计算单元53，用于使用预设的角点检测算法对每个编码元素图像中的图形特征点的初始位置进行定位，根据初始位置以及编码元素图像的灰度值计算编码元素图像的辅助编码特征点；
图像识别单元54，用于根据主编码特征点和所有编码元素图像的辅助编码特征点，使用预先训练好的深度学习网络对所有编码元素图像进行识别；
解码单元55，用于根据预设的极线编码策略，将识别到得的每个编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码；以及
图像重建单元56，用于根据预先获取的三维图像重建系统标定参数和匹配得到的解码信息对物体进行三维图像重建，以得到物体的三维图像。
在本发明实施例中，三维图像重建装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元的具体实施方式可参考实施一中对应步骤的具体描述，在此不再赘述。
实施例三：
图6示出了本发明实施例三提供的基于结构光的三维图像重建装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
第一参数标定单元601，用于采用张正友相机标定法对三维图像重建系统中的摄像头和投影设备进行标定，以获取摄像头和投影设备的标定参数；
第二参数标定单元602，用于根据获取的摄像头以及投影设备的标定参数，计算摄像头和投影设备之间的位置关系参数。
元素旋转单元603，用于对具有旋转对称性且包含预设数量特征点的编码元素进行旋转，以得到编码元素的多个码字图形；
元素图像生成单元604，用于使用多个码字图形和黑、白背景进行组合，分别生成对应编码元素图像；
图像编码单元605，用于根据极线编码策略，使用编码元素图像以预设的编码窗口沿着极线方向进行编码，以得到预设分辨率的投影用编码图像；
编码图像投射单元606，用于将投影用编码图像投射到物体上；
特征点提取单元607，用于当接收到用户输入的物体三维图像重建请求时，提取输入的物体编码图像的主编码特征点，该物体编码图像的编码元素图形具有旋转对称性且包含预设数量的辅助编码特征点；
元素图像提取单元608，用于根据物体编码图像的主编码特征点，构建主编码特征点的拓扑网络，根据拓扑网络提取物体编码图像中包括的所有编码元素图像；
特征点计算单元609，用于使用预设的角点检测算法对每个编码元素图像中的图形特征点的初始位置进行定位，根据初始位置以及编码元素图像的灰度值计算编码元素图像的辅助编码特征点；
图像识别单元610，用于根据主编码特征点和所有编码元素图像的辅助编码特征点，使用预先训练好的深度学习网络对所有编码元素图像进行识别；
解码单元611，用于根据预设的极线编码策略，将识别到得的每个编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码；以及
图像重建单元612，用于根据预先获取的三维图像重建系统标定参数和匹配得到的解码信息对所述物体进行三维图像重建，以得到物体的三维图像。
其中，特征点提取单元607包括：
候选特征点获取单元，用于对物体编码图像的像素进行模板卷积，根据模板卷积结果获取物体编码图像的候选主编码特征点；以及
特征点剔除单元6072，用于计算每个候选主编码特征点的对称程度，将对称程度少于预设阈值的候选主编码特征点剔除，以得到物体编码图像的主编码特征点。
在本发明实施例中，三维图像重建装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元的具体实施方式可参考实施一中对应步骤的具体描述，在此不再赘述。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S106。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图5所示单元51至56的功能。
在本发明实施例中，该计算机程序被处理器执行时实现上述方法实施例中的步骤，通过提取物体编码图像的主编码特征点和辅助编码特征点，使用预先训练好的深度学习网络对所有编码元素图像进行识别，并根据预设的极线编码策略将识别到得的每个编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码，最终根据预先获取的三维图像重建系统标定参数和匹配得到的解码信息对物体进行三维图像重建，提高了图像解码的成功率，进而提高了三维图像重建的效果。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于结构光的三维图像重建方法，其特征在于，所述方法包括下述步骤：
当接收到用户输入的物体三维图像重建请求时，提取输入的物体编码图像的主编码特征点，所述物体编码图像中的编码元素图形具有旋转对称性且包含预设数量的辅助编码特征点；
根据所述物体编码图像的主编码特征点，构建所述主编码特征点的拓扑网络，根据所述拓扑网络提取所述物体编码图像中包括的所有编码元素图像；
使用预设的角点检测算法对每个所述编码元素图像中的图形特征点的初始位置进行定位，根据所述初始位置以及所述编码元素图像的灰度值计算所述编码元素图像的辅助编码特征点；
根据所述主编码特征点和所有所述编码元素图像的辅助编码特征点，使用预先训练好的深度学习网络对所述所有编码元素图像进行识别；
根据预设的极线编码策略，将识别到得的每个所述编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码；
根据预先获取的三维图像重建系统标定参数和所述匹配得到的解码信息对所述物体进行三维图像重建，以得到所述物体的三维图像。
2.如权利要求1所述的方法，其特征在于，根据预先获取的三维图像重建系统标定参数和所述匹配得到的解码信息对所述物体进行三维图像重建的步骤之前，所述方法还包括：
采用张正友相机标定法对所述三维图像重建系统中的摄像头和投影设备进行标定，以获取所述摄像头和所述投影设备的标定参数；
根据获取的所述摄像头以及所述投影设备的标定参数，计算所述摄像头和投影设备之间的位置关系参数。
3.如权利要求1所述的方法，其特征在于，提取输入的物体编码图像的主编码特征点的步骤，包括：
对所述物体编码图像的像素进行模板卷积，根据所述模板卷积结果获取所述物体编码图像的候选主编码特征点；
计算每个所述候选主编码特征点的对称程度，将所述对称程度少于预设阈值的候选主编码特征点剔除，以得到所述物体编码图像的主编码特征点。
4.如权利要求1所述的方法，其特征在于，提取输入的物体编码图像的主编码特征点的步骤之前，所述方法还包括：
对具有旋转对称性且包含预设数量特征点的编码元素图形进行旋转，以得到所述编码元素的多个码字图形；
使用所述多个码字图形和黑、白背景进行组合，分别生成对应的编码元素图像；
根据所述极线编码策略，使用所述编码元素图像以预设的编码窗口沿着极线方向进行编码，以得到预设分辨率的投影用编码图像；
将所述投影用编码图像投射到所述物体上。
5.如权利要求1所述的方法，其特征在于，使用预先训练好的深度学习网络对所述所有编码元素图像进行识别的步骤之前，所述方法还包括：
获取预设数量的、具有不同颜色、纹理、光照和场景的物体编码图像样本；
使用每幅所述物体编码图像样本对预先建立的深度学习网络进行训练，以得到所述训练好的深度学习网络。
6.一种基于结构光的三维图像重建装置，其特征在于，所述装置包括：
特征点提取单元，用于当接收到用户输入的物体三维图像重建请求时，提取输入的物体编码图像的主编码特征点，所述物体编码图像的编码元素图形具有旋转对称性且包含预设数量的辅助编码特征点；
元素图像提取单元，用于根据所述物体编码图像的主编码特征点，构建所述主编码特征点的拓扑网络，根据所述拓扑网络提取所述物体编码图像中包括的所有编码元素图像；
特征点计算单元，用于使用预设的角点检测算法对每个所述编码元素图像中的图形特征点的初始位置进行定位，根据所述初始位置以及所述编码元素图像的灰度值计算所述编码元素图像的辅助编码特征点；
图像识别单元，用于根据所述主编码特征点和所有所述编码元素图像的辅助编码特征点，使用预先训练好的深度学习网络对所述所有编码元素图像进行识别；
解码单元，用于根据预设的极线编码策略，将识别到得的每个所述编码元素图像对应的编码信息与预先存储的编码图案对应的编码信息进行匹配，以实现对应的主编码特征点及辅助编码特征点的解码；以及
图像重建单元，用于根据预先获取的三维图像重建系统标定参数和所述匹配得到的解码信息对所述物体进行三维图像重建，以得到所述物体的三维图像。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
第一参数标定单元，用于采用张正友相机标定法对所述三维图像重建系统中的摄像头和投影设备进行标定，以获取所述摄像头和所述投影设备的标定参数；以及
第二参数标定单元，用于根据获取的所述摄像头以及所述投影设备的标定参数，计算所述摄像头和投影设备之间的位置关系参数。
8.如权利要求6所述的装置，其特征在于，所述特征点提取单元包括：
候选特征点获取单元，用于对所述物体编码图像的像素进行模板卷积，根据所述模板卷积结果获取所述物体编码图像的候选主编码特征点；以及
特征点剔除单元，用于计算每个所述候选主编码特征点的对称程度，将所述对称程度少于预设阈值的候选主编码特征点剔除，以得到所述物体编码图像的主编码特征点。
9.如权利要求6所述的装置，其特征在于，所述装置还包括：
元素旋转单元，用于对具有旋转对称性且包含预设数量特征点的编码元素进行旋转，以得到所述编码元素的多个码字图形；
元素图像生成单元，用于使用所述多个码字图形和黑、白背景进行组合，分别生成对应的编码元素图像；
图像编码单元，用于根据所述极线编码策略，使用所述编码元素图像以预设的编码窗口沿着极线方向进行编码，以得到预设分辨率的投影用编码图像；以及
编码图像投射单元，用于将所述投影用编码图像投射到所述物体上。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201711344608.6A 2017-12-15 2017-12-15 基于结构光的三维图像重建方法、装置及存储介质 Active CN108122254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711344608.6A CN108122254B (zh) 2017-12-15 2017-12-15 基于结构光的三维图像重建方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711344608.6A CN108122254B (zh) 2017-12-15 2017-12-15 基于结构光的三维图像重建方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN108122254A true CN108122254A (zh) 2018-06-05
CN108122254B CN108122254B (zh) 2021-06-22

Family

ID=62229165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711344608.6A Active CN108122254B (zh) 2017-12-15 2017-12-15 基于结构光的三维图像重建方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN108122254B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584287A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于深度学习目标检测的空间编码结构光解码方法
WO2019113912A1 (zh) * 2017-12-15 2019-06-20 中国科学院深圳先进技术研究院 基于结构光的三维图像重建方法、装置及存储介质
CN109993826A (zh) * 2019-03-26 2019-07-09 中国科学院深圳先进技术研究院 一种结构光三维图像重建方法、设备及系统
CN110223388A (zh) * 2019-05-31 2019-09-10 中国科学院深圳先进技术研究院 基于空间结构光的三维重建方法、装置、终端设备及存储介质
CN110264573A (zh) * 2019-05-31 2019-09-20 中国科学院深圳先进技术研究院 基于结构光的三维重建方法、装置、终端设备及存储介质
WO2020237660A1 (zh) * 2019-05-31 2020-12-03 中国科学院深圳先进技术研究院 基于结构光的三维重建方法、终端设备及存储介质
CN112740700A (zh) * 2018-09-30 2021-04-30 华为技术有限公司 点云编解码方法和编解码器
CN113269212A (zh) * 2020-02-14 2021-08-17 林项武 一种用于三维重建特征点匹配的图形
CN116228830A (zh) * 2023-03-13 2023-06-06 广州图语信息科技有限公司 一种三角网格编码结构光的三维重建方法及装置
CN117333560A (zh) * 2023-12-01 2024-01-02 北京航空航天大学杭州创新研究院 场景自适应的条纹结构光解码方法、装置、设备和介质
WO2024032670A1 (zh) * 2022-08-10 2024-02-15 先临三维科技股份有限公司 三维重建方法及装置、系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946414A (en) * 1998-08-28 1999-08-31 Xerox Corporation Encoding data in color images using patterned color modulated image regions
JP2002300600A (ja) * 2001-03-29 2002-10-11 Nippon Hoso Kyokai <Nhk> 立体像符号化装置および立体像復号装置
US20090161944A1 (en) * 2007-12-21 2009-06-25 Industrial Technology Research Institute Target detecting, editing and rebuilding method and system by 3d image
US20090207167A1 (en) * 2008-02-18 2009-08-20 International Business Machines Corporation Method and System for Remote Three-Dimensional Stereo Image Display
CN101667303A (zh) * 2009-09-29 2010-03-10 浙江工业大学 一种基于编码结构光的三维重建方法
CN101739547A (zh) * 2008-11-21 2010-06-16 中国科学院沈阳自动化研究所 复杂背景下图像中鲁棒的编码点的精确识别与定位方法
CN101763643A (zh) * 2010-01-07 2010-06-30 浙江大学 一种结构光三维扫描仪系统自动标定方法
CN103983213A (zh) * 2014-05-30 2014-08-13 深圳先进技术研究院 一种结构光编码方法及相关装置
CN105806315A (zh) * 2014-12-31 2016-07-27 上海新跃仪表厂 基于主动编码信息的非合作目标相对测量系统及测量方法
CN106796661A (zh) * 2014-08-12 2017-05-31 曼蒂斯影像有限公司 投影光图案的系统、方法和计算机程序产品

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946414A (en) * 1998-08-28 1999-08-31 Xerox Corporation Encoding data in color images using patterned color modulated image regions
JP2002300600A (ja) * 2001-03-29 2002-10-11 Nippon Hoso Kyokai <Nhk> 立体像符号化装置および立体像復号装置
US20090161944A1 (en) * 2007-12-21 2009-06-25 Industrial Technology Research Institute Target detecting, editing and rebuilding method and system by 3d image
US20090207167A1 (en) * 2008-02-18 2009-08-20 International Business Machines Corporation Method and System for Remote Three-Dimensional Stereo Image Display
CN101739547A (zh) * 2008-11-21 2010-06-16 中国科学院沈阳自动化研究所 复杂背景下图像中鲁棒的编码点的精确识别与定位方法
CN101667303A (zh) * 2009-09-29 2010-03-10 浙江工业大学 一种基于编码结构光的三维重建方法
CN101763643A (zh) * 2010-01-07 2010-06-30 浙江大学 一种结构光三维扫描仪系统自动标定方法
CN103983213A (zh) * 2014-05-30 2014-08-13 深圳先进技术研究院 一种结构光编码方法及相关装置
CN106796661A (zh) * 2014-08-12 2017-05-31 曼蒂斯影像有限公司 投影光图案的系统、方法和计算机程序产品
CN105806315A (zh) * 2014-12-31 2016-07-27 上海新跃仪表厂 基于主动编码信息的非合作目标相对测量系统及测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SUMING TANG ET AL: "Robust pattern decoding in shape-coded structured light", 《OPTICS AND LASERS IN ENGINEERING》 *
SUMING TANG ET AL: "Three-dimensional surface reconstruction via a robust binary shape-coded structured light method", 《OPTICS AND LASERS IN ENGINEERING》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019113912A1 (zh) * 2017-12-15 2019-06-20 中国科学院深圳先进技术研究院 基于结构光的三维图像重建方法、装置及存储介质
CN112740700A (zh) * 2018-09-30 2021-04-30 华为技术有限公司 点云编解码方法和编解码器
CN109584287A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于深度学习目标检测的空间编码结构光解码方法
CN109993826A (zh) * 2019-03-26 2019-07-09 中国科学院深圳先进技术研究院 一种结构光三维图像重建方法、设备及系统
CN109993826B (zh) * 2019-03-26 2023-06-13 中国科学院深圳先进技术研究院 一种结构光三维图像重建方法、设备及系统
CN110264573B (zh) * 2019-05-31 2022-02-18 中国科学院深圳先进技术研究院 基于结构光的三维重建方法、装置、终端设备及存储介质
WO2020237660A1 (zh) * 2019-05-31 2020-12-03 中国科学院深圳先进技术研究院 基于结构光的三维重建方法、终端设备及存储介质
CN110264573A (zh) * 2019-05-31 2019-09-20 中国科学院深圳先进技术研究院 基于结构光的三维重建方法、装置、终端设备及存储介质
CN110223388B (zh) * 2019-05-31 2022-12-16 中国科学院深圳先进技术研究院 基于空间结构光的三维重建方法、装置、终端设备及存储介质
CN110223388A (zh) * 2019-05-31 2019-09-10 中国科学院深圳先进技术研究院 基于空间结构光的三维重建方法、装置、终端设备及存储介质
CN113269212A (zh) * 2020-02-14 2021-08-17 林项武 一种用于三维重建特征点匹配的图形
WO2024032670A1 (zh) * 2022-08-10 2024-02-15 先临三维科技股份有限公司 三维重建方法及装置、系统
CN116228830A (zh) * 2023-03-13 2023-06-06 广州图语信息科技有限公司 一种三角网格编码结构光的三维重建方法及装置
CN116228830B (zh) * 2023-03-13 2024-01-26 广州图语信息科技有限公司 一种三角网格编码结构光的三维重建方法及装置
CN117333560A (zh) * 2023-12-01 2024-01-02 北京航空航天大学杭州创新研究院 场景自适应的条纹结构光解码方法、装置、设备和介质
CN117333560B (zh) * 2023-12-01 2024-02-20 北京航空航天大学杭州创新研究院 场景自适应的条纹结构光解码方法、装置、设备和介质

Also Published As

Publication number Publication date
CN108122254B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN108122254A (zh) 基于结构光的三维图像重建方法、装置及存储介质
Yang Dealing with textureless regions and specular highlights-a progressive space carving scheme using a novel photo-consistency measure
Kutulakos et al. A theory of shape by space carving
Seitz et al. Photorealistic scene reconstruction by voxel coloring
CN105005755B (zh) 三维人脸识别方法和系统
US8837812B2 (en) Image processing device, image processing method, and program
US8768046B2 (en) Determining model parameters based on transforming a model of an object
CN108225216A (zh) 结构光系统标定方法及装置、结构光系统及移动设备
Anderson et al. Color photometric stereo for multicolored surfaces
CN105890546A (zh) 基于正交格雷码和线移相结合的结构光三维测量方法
CN108592822A (zh) 一种基于双目相机及结构光编解码的测量系统及方法
WO2012096747A1 (en) Forming range maps using periodic illumination patterns
CN105184857A (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN108592823A (zh) 一种基于双目视觉彩色条纹编码的解码方法
CN114152217B (zh) 基于监督学习的双目相位展开方法
JP6285686B2 (ja) 視差画像生成装置
CN107403448A (zh) 代价函数生成方法和代价函数生成装置
Koschan et al. Dense depth maps by active color illumination and image pyramids
Vogt et al. Making the invisible visible: highlight substitution by color light fields
Donlic et al. 3D surface profilometry using phase shifting of De Bruijn pattern
Seitz et al. A theory of shape by space carving
CN111899293B (zh) Ar应用中的虚实遮挡处理方法
WO2019113912A1 (zh) 基于结构光的三维图像重建方法、装置及存储介质
Yan et al. A system for the automatic extraction of 3-d facial feature points for face model calibration
Balan Voxel carving and coloring-constructing a 3d model of an object from 2d images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant