CN110686599B - 基于彩色格雷码结构光的三维测量方法、系统、装置 - Google Patents

基于彩色格雷码结构光的三维测量方法、系统、装置 Download PDF

Info

Publication number
CN110686599B
CN110686599B CN201911049666.5A CN201911049666A CN110686599B CN 110686599 B CN110686599 B CN 110686599B CN 201911049666 A CN201911049666 A CN 201911049666A CN 110686599 B CN110686599 B CN 110686599B
Authority
CN
China
Prior art keywords
image sequence
reconstructed
value
image
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911049666.5A
Other languages
English (en)
Other versions
CN110686599A (zh
Inventor
谭杰
夏海伦
吴科
李经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201911049666.5A priority Critical patent/CN110686599B/zh
Publication of CN110686599A publication Critical patent/CN110686599A/zh
Application granted granted Critical
Publication of CN110686599B publication Critical patent/CN110686599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于三维测量技术领域，具体涉及一种基于彩色格雷码结构光的三维测量方法、系统、装置，旨在解决现有三维测量方法中彩色编码图案与时间编码法不能很好兼容的问题。本系统方法包括获取待重建物体在编码图案投影下的图像序列；对图像序列中的图像进行畸变矫正和极线矫正，并得到第一目标区域；基于第一目标区域，获取图像序列中各图像的目标区域，并获取图像目标区域中各像素点的编码值，通过预设的数值解码与匹配方法得到待重建物体表面的视差值；基于双目相机的标定参数和视差值，得到待重建物体表面的深度值。本发明通过时间编码法、彩色结构光、双目相机的配合，解决单一方法引起的缺陷，完成高分辨率、高速度、高精度的三维测量。

Description

基于彩色格雷码结构光的三维测量方法、系统、装置
技术领域
本发明属于三维测量技术领域，具体涉及一种基于彩色格雷码结构光的三维测量方法、系统、装置。
背景技术
三维测量技术在计算机视觉的研究中有重要的地位与意义，在计算机图形学、虚拟现实、逆向工程方面都有广泛的应用。二维测量由于只能反映浓淡与色彩，在需要高度、体积等信息的场合中表现较差，相比之下，三维测量技术在大量测量任务中存在巨大的潜力，能够大大提升测量精度。
三维测量技术分为接触式测量与非接触式测量，其中接触式测量由于设备较为昂贵、速度较慢，并且可能损伤被测表面，已不再是研究的重点。非接触式三维测量又依据光照的投射方式，分为主动式与被动式。被动式测量只依赖自然环境光，当被测物具有无纹理或弱纹理表面时，常常由于匹配信息不足，无法获得较好的重建结果。相比之下，主动式编码结构光法以投影设备投射一张或多张模式图案，并对投影下的物体表面进行拍摄，此时每个像素都有独特的结构光编码信息，此类方法兼容性更强，能更好地处理弱纹理被测表面。
结构光编码主要分为时间编码法与空间编码法，其中时间编码法具有较高的分辨率与鲁棒性，但是由于需要投射一系列时序图案，需要较长的投影时间。以使用最为广泛的格雷码为例，若需区分N个区域，需投射黑白双色模式图log2N张。虽然有相应的增加灰度值以减少投影时间的研究，但精度容易受到影响。加入彩色信息可以增加编码图案信息、加速三维测量，然而由于相机与投影设备的光谱特性，只有在使用单张模式图的空间编码法中，颜色信息能得到较好的识别，而在分辨率更高的时间编码方法中，若使用1台相机与1台投影设备进行匹配重建，由于彩色图像经过投影与采集两次变换，进行颜色矫正与匹配的难度高、代价大，普及性非常低。
因此，目前急需一种能在保持时间编码法高分辨率同时，有效处理彩色信息，保持较高处理速度的三维测量系统。
发明内容
为了解决现有技术中的上述问题，即为了解决现有三维测量方法中彩色编码图案与时间编码法不能很好兼容，导致三维测量的分辨率、速度、精度较低的问题，本发明第一方面，提出了一种基于彩色格雷码结构光的三维测量方法，该方法包括：
步骤S100，基于双目相机获取待重建物体在按时序排列的编码图案投影下的图像序列；所述编码图案包括横向彩色编码条纹图案、纵向彩色编码条纹图案、全黑图案、全白图案；所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案由黑、红、绿、黄、蓝、品红、青、白八种颜色组成；
步骤S200，根据所述双目相机的标定参数对所述图像序列中的图像进行畸变矫正和极线矫正，并对比所述图像序列中待重建物体在所述全黑图案、所述全白图案投影下的图像的灰度值，将根据预设灰度值阈值得到的目标区域作为第一目标区域；
步骤S300，获取所述图像序列中待重建物体在所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案投影下的图像与所述第一目标区域相同位置的目标区域；分别获取各目标区域中像素点的编码值，通过预设的数值解码与匹配方法得到待重建物体表面的视差值；
步骤S400，基于所述双目相机的标定参数和所述视差值，得到待重建物体表面的深度值。
在一些优选的实施方式中，所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案中相邻行或列的编码值的汉明距离为1。
在一些优选的实施方式中，所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案其最大数量的计算方法为：
n1＝ceil(log8 width)
n2＝ceil(log8 height)
其中，ceil(*)为向下取整函数，width、height为进行投影的设备的分辨率的宽、高，n1为纵向彩色编码条纹图案的数量，n2为横向彩色编码条纹图案的数量。
在一些优选的实施方式中，步骤S200中“对比所述图像序列中待重建物体在所述全黑图案、所述全白图案投影下的图像的灰度值，将根据预设灰度值阈值得到的目标区域作为第一目标区域”，其方法为：
获取待重建物体在所述全黑图案、所述全白图案投影下的图像中同一像素点灰度值的差值，若该差值大于预设灰度值阈值，则将其作为目标区域中的点。
在一些优选的实施方式中，步骤S300中“分别获取各目标区域中像素点的编码值，通过预设的数值解码与匹配方法得到待重建物体表面的视差值”，其方法为：
获取所述图像序列中各图像目标区域内的像素点在本图像中对应的三位二进制编码；所述图像序列包括左图像序列和右图像序列；
分别将所述左图像序列、所述右图像序列中相同位置的各像素点对应的三位二进制编码进行串联，转化为数值形式，得到各像素点位置对应的左、右两个数值编码，并构建所有像素点编码值构成的左编码表、右编码表；
将所述左编码表、所述右编码表中相同的数值编码对应的区域作为匹配区域，获取左、右匹配区域的中心点并建立匹配关系；
根据所述匹配关系对应的左、右匹配区域的中心点的横向坐标差值，获取待重建物体表面的视差值。
在一些优选的实施方式中，“获取所述图像序列中各图像目标区域内的像素点在本图像中对应的三位二进制编码”，其方法为：
获取所述图像序列中各图像目标区域内的像素点在正向投影和逆向投影下RGB值，分别作为第一RGB值、第二RGB值；
分别对比所述第一RGB值中R、G、B三个通道值与所述第二RGB值中R、G、B三个通道值，若大于，记为1，否则记为0；
根据获取的1或0，串联得到三位二进制编码。
本发明的第二方面，提出了一种基于彩色格雷码结构光的三维测量系统，该系统包括图像序列获取模块、矫正模块、获取视差值模块、获取深度值模块；
所述图像序列获取模块，配置为基于双目相机获取待重建物体在按时序排列的编码图案投影下的图像序列；所述编码图案包括横向彩色编码条纹图案、纵向彩色编码条纹图案、全黑图案、全白图案；所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案由黑、红、绿、黄、蓝、品红、青、白八种颜色组成；
所述矫正模块，配置为根据所述双目相机的标定参数对所述图像序列中的图像进行畸变矫正和极线矫正，并对比所述图像序列中待重建物体在所述全黑图案、所述全白图案投影下的图像的灰度值，将根据预设灰度值阈值得到的目标区域作为第一目标区域；
所述获取视差值模块，配置为获取所述图像序列中待重建物体在所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案投影下的图像与所述第一目标区域相同位置的目标区域；分别获取各目标区域中像素点的编码值，通过预设的数值解码与匹配方法得到待重建物体表面的视差值；
所述获取深度值模块，配置为基于所述双目相机的标定参数和所述视差值，得到待重建物体表面的深度值。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于彩色格雷码结构光的三维测量方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于彩色格雷码结构光的三维测量方法。
本发明的有益效果：
本发明通过时间编码法、彩色结构光、双目相机的配合，解决单一方法引起的缺陷，完成高分辨率、高速度、高精度的三维测量。本发明投射时间编码式的一系列编码图案，图案中加入彩色信息，以格雷码方式进行编码，以同型号双目相机获取相同输入，避免投影设备-相机匹配时的色彩矫正过程，将问题简化为相机-相机匹配，很大程度上简化了彩色信息的识别过程、提高了识别精度。其中，使用时间编码方式，保证了较高的重建分辨率。使用彩色信息进行编码，通过彩色信息的加入，大大减轻了时间编码法带来的投影时长过长的负担，提高了识别速度。
同时，本发明使用结构光法进行三维测量，通过预设的数值解码与匹配算法得到待重建物体表面的视差值，从而获取精确的深度值，对弱纹理、无纹理表面有较好兼容性。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于彩色格雷码结构光的三维测量方法的流程示意图；
图2是本发明一种实施例的基于彩色格雷码结构光的三维测量系统的框架示意图；
图3是本发明一种实施例的基于彩色格雷码结构光的三维测量硬件系统示例图；
图4是本发明一种实施例的基于彩色格雷码结构光的三维测量详细过程的示例图；
图5是本发明一种实施例的基于彩色格雷码结构光的三维测量的实际应用设备的示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于彩色格雷码结构光的三维测量方法，如图1所示，包括以下步骤：
步骤S100，基于双目相机获取待重建物体在按时序排列的编码图案投影下的图像序列；所述编码图案包括横向彩色编码条纹图案、纵向彩色编码条纹图案、全黑图案、全白图案；所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案由黑、红、绿、黄、蓝、品红、青、白八种颜色组成；
步骤S200，根据所述双目相机的标定参数对所述图像序列中的图像进行畸变矫正和极线矫正，并对比所述图像序列中待重建物体在所述全黑图案、所述全白图案投影下的图像的灰度值，将根据预设灰度值阈值得到的目标区域作为第一目标区域；
步骤S300，获取所述图像序列中待重建物体在所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案投影下的图像与所述第一目标区域相同位置的目标区域；分别获取各目标区域中像素点的编码值，通过预设的数值解码与匹配方法得到待重建物体表面的视差值；
步骤S400，基于所述双目相机的标定参数和所述视差值，得到待重建物体表面的深度值。
为了更清晰地对本发明基于彩色格雷码结构光的三维测量方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S100，基于双目相机获取待重建物体在按时序排列的编码图案投影下的图像序列；所述编码图案包括横向彩色编码条纹图案、纵向彩色编码条纹图案、全黑图案、全白图案；所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案由黑、红、绿、黄、蓝、品红、青、白八种颜色组成。
本发明所述一种基于双目视觉与彩色格雷码结构光的三维测量方法，其原理是投射时间编码式的一系列编码图案，图案中加入彩色信息，以格雷码方式进行编码，以同型号双目相机获取相同输入，避免投影设备-相机匹配时的色彩矫正过程，将问题简化为相机-相机匹配，以完成高质量、高速解码与匹配，获取三维测量结果。获取待重建物体的格雷码结构光图像之前先对图像采集设备进行调整。采集待重建物体的格雷码结构光图像的系统，一般包括投影设备、双目彩色相机、计算机，如图3和图5所示。在图3中，投影设备1置于两台相机中间；左彩色相机2与右彩色相机3以USB线5和IO线6与计算机4连接；相机2与相机3位于同一水平线；投影设备1置于两台相机之中，无需与相机位于同一水平线。
投影设备1具备投射彩色图案能力，能连接存储器或计算机以投射特定的静态图案序列。
两台彩色相机具有相同光谱响应曲线，以及高于投影设备投射频率的帧率，可相互触发或同时触发，以达到同时成像的效果。光圈需配置为可调节，以平衡不同光照下亮度。本发明实施例中，相机分辨率为3840*2748，像素帧率为14FPS；两台相机地线相连，使用软件触发方式进行触发并同时拍照；投影设备分辨率为1920*1080，连接USB闪存盘以载入投影图案，使用遥控器进行图案切换。
计算机可接收相机所采集图像，具备合适硬件环境与软件配置，能够完成相机标定任务，能够进行图像去畸变、极线矫正、非重建区域识别等图像处理操作，最终对被测物完成三维测量。
三维测量的完整过程如图4所示，包括步骤10-步骤70，具体如下：获取图像之前，先对双目相机都进行标定。左右相机分别依据拍摄的标定板信息，进行焦距、主点、畸变的内部参数计算。其中，标定板在机器视觉、图像与实际对应关系测量、物体三维重建等实际应用中广泛使用，为校正镜头畸变，将物理实际尺寸与像素进行一一换算，相机的几何模型和坐标轴的选取确立尤为重要。通过拍摄采集具有特殊对应关系的平板、经过标定一系列计算和转换，在得到几何模型的同时，也能在各步骤中就测量和重建结果进行高精度的优化。而带有相同间距黑白色错开的图案阵列就是标定板图案。
在两台相机均完成内参标定后，以标定结果为输入，进行联合外参标定，计算出一台相机对另一台的平移与旋转矩阵。
相机内参标定采用张正友法，标定板为漫反射毛玻璃表面的棋盘格设计，棋盘为12行9列；人工改变标定板在相机视野中的位置、距离、朝向、倾斜度，并进行双目相机同步拍照；拍照过程中避免照明光源在标定板上产生过亮区域；将左右相机采集到的标定板照片分别输入编写好的MATLAB内参标定模块，得到相机焦距、主点、畸变参数；相机外参标定时，将标定好的两份内参参数输入编写好的MATLAB外参标定模块，得到旋转向量与平移向量，再将旋转向量用Rodrigues变换输出为旋转矩阵。
计算机以格雷码为基本编码原理，制作彩色条纹编码图案序列；每张图案具有R、G、B三通道。
使用OpenCV进行编码图案的制作，以黑(0,0,0)、红(0,0,1)、绿(0,1,0)、黄(0,1,1)、蓝(1,0,0)、品红(1,0,1)、青(1,1,0)、白(1,1,1)这8种颜色为基本颜色，制作彩色编码图案；每两列间汉明距离为1的彩色格雷码可由异或运算求取，并按每3个数字为一组进行切割，得到对应区域彩色值；先制作横向彩色编码条纹图案、再制作纵向彩色编码条纹图案，最后制作全黑、全白图案。其中，横向彩色编码条纹图案、纵向彩色编码条纹图案的最大数量，其计算如公式(1)(2)所示：
n1＝ceil(log8 width) (1)
n2＝ceil(log8 height) (2)
其中，ceil(*)为向下取整函数，width、height为进行投影的设备的分辨率的宽、高，n1为纵向彩色编码条纹图案的数量，n2为横向彩色编码条纹图案的数量。
投影设备置于两台相机之间，投射编码图案序列；所述两台相机与投影设备置于被测表面同侧，进行同时拍照。图4中的步骤40-步骤70在下述步骤中进行描述，这里不一一展开描述。
步骤S200，根据所述双目相机的标定参数对所述图像序列中的图像进行畸变矫正和极线矫正，并对比所述图像序列中待重建物体在所述全黑图案、所述全白图案投影下的图像的灰度值，将根据预设灰度值阈值得到的目标区域作为第一目标区域。
在本实施例中，计算机根据相机标定参数，对所述左右相机采集的图像进行畸变矫正与极线矫正的预处理，通过对获取图像灰度值进行判断，剔除无需重建的背景区域与阴影区域。
根据步骤S100中计算出的径向畸变系数与切向畸变系数，对图像畸变进行矫正，还原真实被测表面形状。同时根据计算出的相机内外参数，对左右相机拍摄照片进行极线矫正，使图像在水平方向上处于同一高度，减轻匹配计算与视差计算的负担。通过畸变矫正和极线矫正计算出重映射矩阵，得到矫正后的图像矩阵。
矫正完成后，依据在全黑与全白投影图案下拍摄的图像进行重建阈值的确定，灰度值变化较低区域可视为阴影区域或背景区域，无需进行重建，以减轻计算负担、增加重建精度。在本实施例中，通过对全黑与全白投影图案下获取的图像进行对比，当某一像素点在两种光照下灰度值的差值小于7时，不对其进行深度测量，即不将其作为目标区域。
步骤S300，获取所述图像序列中待重建物体在所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案投影下的图像与所述第一目标区域相同位置的目标区域；分别获取各目标区域中像素点的编码值，通过预设的数值解码与匹配方法得到待重建物体表面的视差值。
在本实施例中，以投射正逆模式图的方式实行阈值筛选，正逆模式图中同一像素单通道差别小于3时，视为不确定点，不对其进行编码解算。具体处理步骤如下：
对比各像素点在正向投影和逆向投影(彩色值与原投影图像相反的投影模式图为逆向投影)下分别得到的RGB值；
根据三个颜色通道中数值的增长或下降，可判断正向投影在该点处，R、G、B三个通道中是否存在分量，所述二进制编码反映三个分量的存在与否；若在某通道中增长或下降的值小于阈值(本发明中设定为3)，认为该点是不确定的点，不对其进行编码解算。
对于确定点，使用连结该像素在不同图像序列中的编码值，转为数值的方法进行编码解算，使用将左右图像中相同编码值的点分别求取中心点的方式进行点集匹配。具体步骤如下：
获取所述图像序列中各图像目标区域内像素点在本图像中对应的3位二进制编码；所述图像序列包括左图像序列和右图像序列；
将所述图像序列中左图像序列、右图像序列按拍摄时间分别正序排列，将左、右图像序列中相同位置的各像素点在单张图像中对应的三位二进制编码进行串联；若左、右各存在n张图像，每个像素点位置处将得到长为3n的左、右两个编码串；将二进制编码串转化为数值形式，得到各像素点位置对应的左、右两个数值编码，构成左、右两张编码表；编码表宽度为拍摄图像一行的像素数、高度为图像一列的像素数，表内的值为该行、该列处像素点对应的编码值。
根据左、右编码表进行匹配，若左表某些区域与右表某些区域内编码相同，则认为这两处区域对应的点对应被测物同一区域；对左、右两区域中编码相同的区域分别求位置上的中心点，对左、右两个中心点建立匹配关系，根据左、右两个中心点的横向坐标差值，得到待重建物体表面的视差值。
步骤S400，基于所述双目相机的标定参数和所述视差值，得到待重建物体表面的深度值。
在本实施例中，深度值其计算如公式(3)所示：
Figure GDA0002481039370000121
其中，d为视差值，b为基线，f为焦距，Z为深度值。
在测量完成后，得到待重建物体表面的深度值，建立三维点云，同时加载可视化环境，为三维点云设定纹理、颜色等信息，供可视化使用。本实施例中，使用OpenCV的Viz模块进行点云可视化检查，为点云中每个点依照深度信息赋予颜色值，便于检查测量结果。
本发明第二实施例的一种基于彩色格雷码结构光的三维测量系统，如图2所示，包括：图像序列获取模块100、矫正模块200、获取视差值模块300、获取深度值模块400；
所述图像序列获取模块100，配置为基于双目相机获取待重建物体在按时序排列的编码图案投影下的图像序列；所述编码图案包括横向彩色编码条纹图案、纵向彩色编码条纹图案、全黑图案、全白图案；所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案由黑、红、绿、黄、蓝、品红、青、白八种颜色组成；
所述矫正模块200，配置为根据所述双目相机的标定参数对所述图像序列中的图像进行畸变矫正和极线矫正，并对比所述图像序列中待重建物体在所述全黑图案、所述全白图案投影下的图像的灰度值，将根据预设灰度值阈值得到的目标区域作为第一目标区域；
所述获取视差值模块300，配置为获取所述图像序列中待重建物体在所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案投影下的图像与所述第一目标区域相同位置的目标区域；分别获取各目标区域中像素点的编码值，通过预设的数值解码与匹配方法得到待重建物体表面的视差值；
所述获取深度值模块400，配置为基于所述双目相机的标定参数和所述视差值，得到待重建物体表面的深度值。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于彩色格雷码结构光的三维测量系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于彩色格雷码结构光的三维测量方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于彩色格雷码结构光的三维测量方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于彩色格雷码结构光的三维测量方法，其特征在于，该方法包括以下步骤：
步骤S100，基于双目相机获取待重建物体在按时序排列的编码图案投影下的图像序列；所述编码图案包括横向彩色编码条纹图案、纵向彩色编码条纹图案、全黑图案、全白图案；所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案由黑、红、绿、黄、蓝、品红、青、白八种颜色组成；
步骤S200，根据所述双目相机的标定参数对所述图像序列中的图像进行畸变矫正和极线矫正，并对比所述图像序列中待重建物体在所述全黑图案、所述全白图案投影下的图像的灰度值，将根据预设灰度值阈值得到的目标区域作为第一目标区域；
步骤S300，获取所述图像序列中待重建物体在所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案投影下的图像与所述第一目标区域相同位置的目标区域；分别获取各目标区域中像素点的编码值，通过预设的数值解码与匹配方法得到待重建物体表面的视差值；
步骤S400，基于所述双目相机的标定参数和所述视差值，得到待重建物体表面的深度值。
2.根据权利要求1所述的基于彩色格雷码结构光的三维测量方法，其特征在于，所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案中相邻行或列的编码值的汉明距离为1。
3.根据权利要求2所述的基于彩色格雷码结构光的三维测量方法，其特征在于，所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案其最大数量的计算方法为：
n1＝ceil(log8width)
n2＝ceil(log8height)
其中，ceil(*)为向下取整函数，width、height为进行投影的设备的分辨率的宽、高，n1为纵向彩色编码条纹图案的数量，n2为横向彩色编码条纹图案的数量。
4.根据权利要求2所述的基于彩色格雷码结构光的三维测量方法，其特征在于，步骤S200中“对比所述图像序列中待重建物体在所述全黑图案、所述全白图案投影下的图像的灰度值，将根据预设灰度值阈值得到的目标区域作为第一目标区域”，其方法为：获取待重建物体在所述全黑图案、所述全白图案投影下的图像中同一像素点灰度值的差值，若该差值大于预设灰度值阈值，则将其作为目标区域中的点。
5.根据权利要求1所述的基于彩色格雷码结构光的三维测量方法，其特征在于，步骤S300中“分别获取各目标区域中像素点的编码值，通过预设的数值解码与匹配方法得到待重建物体表面的视差值”，其方法为：
获取所述图像序列中各图像目标区域内的像素点在本图像中对应的三位二进制编码；所述图像序列包括左图像序列和右图像序列；
分别将所述左图像序列、所述右图像序列中相同位置的各像素点对应的三位二进制编码进行串联，转化为数值形式，得到各像素点位置对应的左、右两个数值编码，并构建左编码表、右编码表；
将所述左编码表、所述右编码表中相同的数值编码对应的区域作为匹配区域，获取左、右匹配区域的中心点并建立匹配关系；
根据所述匹配关系对应的左、右匹配区域的中心点的横向坐标差值，获取待重建物体表面的视差值。
6.根据权利要求5所述的基于彩色格雷码结构光的三维测量方法，其特征在于，“获取所述图像序列中各图像目标区域内的像素点在本图像中对应的三位二进制编码”，其方法为：
获取所述图像序列中各图像目标区域内的像素点在正向投影和逆向投影下RGB值，分别作为第一RGB值、第二RGB值；
分别对比所述第一RGB值中R、G、B三个通道值与所述第二RGB值中R、G、B三个通道值，若大于，记为1，否则记为0；
根据获取的1或0，串联得到三位二进制编码。
7.一种基于彩色格雷码结构光的三维测量系统，其特征在于，该系统包括图像序列获取模块、矫正模块、获取视差值模块、获取深度值模块；
所述图像序列获取模块，配置为基于双目相机获取待重建物体在按时序排列的编码图案投影下的图像序列；所述编码图案包括横向彩色编码条纹图案、纵向彩色编码条纹图案、全黑图案、全白图案；所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案由黑、红、绿、黄、蓝、品红、青、白八种颜色组成；
所述矫正模块，配置为根据所述双目相机的标定参数对所述图像序列中的图像进行畸变矫正和极线矫正，并对比所述图像序列中待重建物体在所述全黑图案、所述全白图案投影下的图像的灰度值，将根据预设灰度值阈值得到的目标区域作为第一目标区域；
所述获取视差值模块，配置为获取所述图像序列中待重建物体在所述横向彩色编码条纹图案、所述纵向彩色编码条纹图案投影下的图像与所述第一目标区域相同位置的目标区域；分别获取各目标区域中像素点的编码值，通过预设的数值解码与匹配方法得到待重建物体表面的视差值；
所述获取深度值模块，配置为基于所述双目相机的标定参数和所述视差值，得到待重建物体表面的深度值。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-6任一项所述的基于彩色格雷码结构光的三维测量方法。
9.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-6任一项所述的基于彩色格雷码结构光的三维测量方法。
CN201911049666.5A 2019-10-31 2019-10-31 基于彩色格雷码结构光的三维测量方法、系统、装置 Active CN110686599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911049666.5A CN110686599B (zh) 2019-10-31 2019-10-31 基于彩色格雷码结构光的三维测量方法、系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911049666.5A CN110686599B (zh) 2019-10-31 2019-10-31 基于彩色格雷码结构光的三维测量方法、系统、装置

Publications (2)

Publication Number Publication Date
CN110686599A CN110686599A (zh) 2020-01-14
CN110686599B true CN110686599B (zh) 2020-07-03

Family

ID=69114964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911049666.5A Active CN110686599B (zh) 2019-10-31 2019-10-31 基于彩色格雷码结构光的三维测量方法、系统、装置

Country Status (1)

Country Link
CN (1) CN110686599B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260715B (zh) * 2020-01-20 2023-09-08 深圳市普渡科技有限公司 深度图的处理方法、小障碍物检测方法及系统
CN111507266A (zh) * 2020-04-17 2020-08-07 四川长虹电器股份有限公司 一种基于深度图像的人体检测方法和装置
CN111739138A (zh) * 2020-06-23 2020-10-02 广东省航空航天装备技术研究所 三维成像方法、三维成像装置、电子设备及存储介质
CN111739153A (zh) * 2020-06-23 2020-10-02 广东省航空航天装备技术研究所 基于三维成像的加工方法、装置、设备及存储介质
CN111951376B (zh) * 2020-07-28 2023-04-07 中国科学院深圳先进技术研究院 融合结构光和光度学的三维对象重建方法及终端设备
CN112729246B (zh) * 2020-12-08 2022-12-16 广东省科学院智能制造研究所 一种基于双目结构光的黑色表面物体深度图像测量方法
CN112530020A (zh) * 2020-12-22 2021-03-19 珠海格力智能装备有限公司 三维数据的重建方法、装置、处理器和电子装置
TWI757015B (zh) 2020-12-29 2022-03-01 財團法人工業技術研究院 取像方法
CN114681088B (zh) * 2020-12-31 2023-09-22 先临三维科技股份有限公司 三维扫描方法、装置、存储介质和处理器
CN112729166B (zh) * 2021-01-04 2022-03-11 熵智科技(深圳)有限公司 结构光编码方法、编解码方法、装置、计算机设备及介质
CN112767537B (zh) * 2021-01-07 2023-06-16 华侨大学 一种基于rgb编码结构光的三维重建方法
CN113129430B (zh) * 2021-04-02 2022-03-04 中国海洋大学 基于双目结构光的水下三维重建方法
CN113506348B (zh) * 2021-07-15 2023-02-28 吉林省凯迪科技有限公司 一种基于格雷码辅助的三维坐标计算方法
CN115082621B (zh) * 2022-06-21 2023-01-31 中国科学院半导体研究所 一种三维成像方法、装置、系统、电子设备及存储介质
CN117456550B (zh) * 2023-12-21 2024-03-15 绘见科技(深圳)有限公司 基于mr的cad文件查看方法、装置、介质和设备
CN118089590A (zh) * 2024-04-23 2024-05-28 中国空气动力研究与发展中心低速空气动力研究所 一种旋转叶片表面结冰冰形在线测量方法、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100041026A (ko) * 2008-10-13 2010-04-22 한국표준과학연구원 컬러 투사 모아레 기법을 이용한 3차원 형상 측정 장치 및 방법
CN101825445A (zh) * 2010-05-10 2010-09-08 华中科技大学 一种动态物体的三维测量系统
CN103438833A (zh) * 2013-09-12 2013-12-11 香港应用科技研究院有限公司 用于三维形状测量的彩色编码条纹图案
CN105180904A (zh) * 2015-09-21 2015-12-23 大连理工大学 基于编码结构光的高速运动目标位姿测量方法
CN108592823A (zh) * 2017-12-04 2018-09-28 湖南大学 一种基于双目视觉彩色条纹编码的解码方法
CN108592822A (zh) * 2017-12-04 2018-09-28 湖南大学 一种基于双目相机及结构光编解码的测量系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100041026A (ko) * 2008-10-13 2010-04-22 한국표준과학연구원 컬러 투사 모아레 기법을 이용한 3차원 형상 측정 장치 및 방법
CN101825445A (zh) * 2010-05-10 2010-09-08 华中科技大学 一种动态物体的三维测量系统
CN103438833A (zh) * 2013-09-12 2013-12-11 香港应用科技研究院有限公司 用于三维形状测量的彩色编码条纹图案
CN105180904A (zh) * 2015-09-21 2015-12-23 大连理工大学 基于编码结构光的高速运动目标位姿测量方法
CN108592823A (zh) * 2017-12-04 2018-09-28 湖南大学 一种基于双目视觉彩色条纹编码的解码方法
CN108592822A (zh) * 2017-12-04 2018-09-28 湖南大学 一种基于双目相机及结构光编解码的测量系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Coded Structured Light System Based on Primary Color Stripe Projection and Monochrome Imaging;Sandro Barone等;《sensors》;20131014;第13802-13819页 *
基于格雷编码的彩色结构光快速三维测量技术;韩佩妤等;《光电子·激光》;20100930;第21卷(第9期);第1359-1364页 *
高采样密度彩色结构光三维测量技术仿真研究;于晓洋等;《系统仿真学报》;20110228;第23卷(第2期);第346-350页 *

Also Published As

Publication number Publication date
CN110686599A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN110686599B (zh) 基于彩色格雷码结构光的三维测量方法、系统、装置
CN112097689B (zh) 一种3d结构光系统的标定方法
US6341016B1 (en) Method and apparatus for measuring three-dimensional shape of object
CA3040002C (en) A device and method for obtaining distance information from views
Salvi et al. A robust-coded pattern projection for dynamic 3D scene measurement
CN103069250B (zh) 三维测量设备、三维测量方法
JP5907596B2 (ja) 三次元計測装置、三次元計測方法及びプログラム
CN101697233A (zh) 一种基于结构光的三维物体表面重建方法
CN108592823A (zh) 一种基于双目视觉彩色条纹编码的解码方法
CN113129430B (zh) 基于双目结构光的水下三维重建方法
CN108592822A (zh) 一种基于双目相机及结构光编解码的测量系统及方法
CN201218726Y (zh) 基于彩色结构光的文物三维重建装置
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
CN107346040B (zh) 裸眼3d显示设备的光栅参数的确定方法、装置及电子设备
JP2003042735A (ja) ３次元計測方法および装置並びにコンピュータプログラム
CN110766767B (zh) 获取格雷码结构光图像的方法、系统、装置
CN112884880B (zh) 一种基于线激光的蜜柚三维建模装置和方法
CN108931209A (zh) 一种高适应性的彩色物体三维重建方法
Wijenayake et al. Dual pseudorandom array technique for error correction and hole filling of color structured-light three-dimensional scanning
CN117795553A (zh) 信息采集系统及其标定方法、装置及计算机可读存储介质
Garcia et al. Geometric calibration for a multi-camera-projector system
KR20170047780A (ko) 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법
Chen et al. Realtime structured light vision with the principle of unique color codes
CN115082538A (zh) 基于线结构光投影的多目视觉平衡环零件表面三维重建系统及方法
CN115345994A (zh) 三维重建方法及装置、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant