CN111383234B - 一种基于机器学习的结构光在线密集三维重建方法 - Google Patents

一种基于机器学习的结构光在线密集三维重建方法 Download PDF

Info

Publication number
CN111383234B
CN111383234B CN202010142269.9A CN202010142269A CN111383234B CN 111383234 B CN111383234 B CN 111383234B CN 202010142269 A CN202010142269 A CN 202010142269A CN 111383234 B CN111383234 B CN 111383234B
Authority
CN
China
Prior art keywords
image
camera
color
light
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010142269.9A
Other languages
English (en)
Other versions
CN111383234A (zh
Inventor
刘进博
杜百合
杨庆涛
罗跃
杨远剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ultra High Speed Aerodynamics Institute China Aerodynamics Research and Development Center
Original Assignee
Ultra High Speed Aerodynamics Institute China Aerodynamics Research and Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ultra High Speed Aerodynamics Institute China Aerodynamics Research and Development Center filed Critical Ultra High Speed Aerodynamics Institute China Aerodynamics Research and Development Center
Priority to CN202010142269.9A priority Critical patent/CN111383234B/zh
Publication of CN111383234A publication Critical patent/CN111383234A/zh
Application granted granted Critical
Publication of CN111383234B publication Critical patent/CN111383234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器学习的结构光在线密集三维重建方法，包括以下步骤：标定系统参数并采集图像；对图像进行预处理；基于神经网络算法训练颜色分类器；对颜色识别后的图像进行滤波，优化图像质量；检测光条中心线，并确定其在光条序列中对应的索引；根据每个像素点的亮度及光条索引，完成结构光解码，得到相机采集图像对应的相位，并得到对应点的集合；基于摄影测量学中的三角交会算法，对对应点集合中的每一组匹配点对进行交会，解算其空间三维坐标，进而完成对物体表面的密集三维重建。本发明的基于机器学习的结构光在线密集三维重建方法具有重建精度高，能保证系统稳定性和计算效率，有助于实现动态场景测量的优点。

Description

一种基于机器学习的结构光在线密集三维重建方法
技术领域
本发明属于三维重建技术领域，具体涉及一种基于机器学习的结构光在线密集三维重建方法。
背景技术
结构光三维重建技术是获取物体表面形貌数据的主要途径之一：通过投影仪向物体表面投射编码结构光图案，并利用相机采集其图像；对图像进行结构光解码，计算相机采集图像与投影仪图像之间的像素对应关系；根据该对应关系，基于摄影测量学原理，重建物体表面三维形貌。
根据编码方式的不同，结构光三维重建方法可分为时间编码结构光三维重建方法和空间编码结构光三维重建方法。时间编码结构光一般为多幅结构光图案组成的图像序列，根据时间序列信息计算相机图像与投影仪图像之间的像素对应关系，优势在于重建精度较高，但由于投影多幅结构光图案耗费时间，因此不适用于动态场景三维重建。空间编码结构光通过一幅图案即可获取相机图像与投影仪图像之间的像素对应关系，是目前三维重建方法中唯一有可能实现在线密集三维重建的方法，但由于其将所有信息压缩至一幅结构光图案中，解码难度较大，使得结构光三维重建系统性能不稳定，尤其是彩色结构光三维重建系统受物体表面曲率、材料反射率等因素影响较大。
为了解决上述问题，发明了一种基于机器学习的结构光在线密集三维重建技术，提高了相机-投影仪结构光三维重建系统的计算效率和稳定性。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。
为了实现根据本发明的这些目的和其它优点，提供了一种基于机器学习的结构光在线密集三维重建方法，包括以下步骤：
步骤S1、相机-投影仪系统的参数标定：其系统参数标定的具体过程如下：
S11、将一组灰度条纹图投射到静止的棋盘格标定板表面，并利用相机采集图像，
S12、利用四步相移法对相机采集的序列图像进行结构光解码，计算其对应的相位图，
S13、计算相机采集图像与投影仪图像之间的像素点对应关系，
S14、变换棋盘格标定板的位置和姿态，并重复步骤S11～S13，
S15、利用立体视觉标定方法，解算相机-投影仪系统的所有参数；
步骤S2、采集图像：利用投影仪将编码结构光投射到待测的物体表面上，并利用相机采集被物体表面调制后的结构光图像；
步骤S3、图像预处理：对采集到的图像进行噪声的去除，提高图像质量；
步骤S4、颜色识别：建立用于判别颜色的神经网络模型，该模型包括输入层、隐藏层和输出层，所述输入层中包含图像中的每个像素点颜色特征；将该神经网络模型记为颜色分类器，将相机采集图像中的每个像素点颜色特征输入颜色分类器，完成颜色识别；
步骤S5、颜色滤波：对图像进行行扫描，以第i行为例，从左至右检测光条边缘，从而计算得到光条宽度：如果当前光条宽度小于其相邻光条宽度的一半，则将当前光条的颜色设置为黑色；
步骤S6、中心线检测：执行过程如下：
S61、将指定颜色的光条置为白色，其余颜色置为黑色，从而将彩色图像转换为二值图像，
S62、对二值图像进行中值滤波，窗口大小为3pixel×3pixel，
S63、对图像进行轮廓搜索，
S64、对图像进行行扫描，在各个光条轮廓范围内搜索亮度最大值，
S65、基于灰度重心法计算光条中心线，
S66、改变指定的颜色，重复步骤S61～S65，完成对六种颜色的光条中心线检测；
步骤S7、索引判别；执行过程如下：
S71、计算指定的中心线与其它中心线之间的像素距离，
S72、搜索距离指定中心线最近的两条中心线，
S73、相邻三种颜色的光条在序列中只出现一次，基于此，可确定出指定中心线在编码结构光中的索引，
S74、改变指定的中心线，重复步骤S71～S73，完成对所有中心线的索引判别；
步骤S8、相位解缠：记任意两条相邻的中心线为li和li+1，i和i+1表示中心线在光条序列中的索引，
Figure BDA0002399510390000031
和
Figure BDA0002399510390000032
为li和li+1上同一行像素点，I(x,y)表示像素点p(x,y)的亮度值；若像素点满足以下约束，则将该像素点记为
Figure BDA0002399510390000033
和
Figure BDA0002399510390000034
之间的波谷点
Figure BDA0002399510390000035
I(x-2,y)≥I(x-1,y)≥I(x,y)≤I(x+1,y)≤I(x+2,y)
解缠相位可通过如下公式计算得到：
Figure BDA0002399510390000036
Figure BDA0002399510390000037
Figure BDA0002399510390000038
遍历所有中心线，即可解算得到相机采集图像对应的相位图；
步骤S9、亚像素匹配：由于投影仪图像中每列像素点亮度相同，即投影仪图像中每列的相位相同；记pc(x,y)为相机采集图像中某像素点，相位为pc(x,y)，其在投影仪图像中的对应点pp(x,y)必然在直线x＝xp上，xp通过如下公式计算：
Figure BDA0002399510390000039
T表示光条宽度，单位为像素，同时，pp(x,y)点也必然在pc(x,y)对应的对极线上，其直线方程可通过如下公式计算得到：
le＝[a b c]T＝F[pC 1]T
F为基础矩阵，通过步骤S1标定得到，直线x＝xp和直线le的交点即为像素点pc(x,y)在投影仪图像上的对应点：
Figure BDA0002399510390000041
遍历相机采集图像上的所有像素点，得到其在投影仪图像中的对应点，即可得到对应点集合；
步骤S10、基于摄影测量学中的三角交会算法，对对应点集合中的每一组匹配点对进行交会，解算其空间三维坐标，进而完成对物体表面的密集三维重建。
优选的是，所述相机-投影仪系统的所有参数包括：相机和投影仪的主点坐标、等效焦距、像差系数以及相机坐标系和投影仪坐标系之间的变换矩阵、基础矩阵、本质矩阵。
优选的是，所述噪声的去除方法为：采用窗口大小为3pixel×3pixel的均值滤波器对图像噪声进行去除。
优选的是，所述输入层包括以下内容：
输入层的输入变量记为xi(i＝1，2，…，16，17)，表示相机采集图像中每个像素点的颜色特征，x1、x2、x3分别对应像素点红、绿、蓝三个通道的亮度值；
通过如下公式：
x4＝0.41x1+0.36x2+0.18x3
x5＝0.21x1+0.71x2+0.07x3
x6＝0.02x1+0.12x2+0.95x3
x7＝0.30x1+0.59x2+0.11x3
x8＝0.713(x1-x7)+128
x9＝0.564(x3-x7)+128
Figure BDA0002399510390000042
Figure BDA0002399510390000043
Figure BDA0002399510390000044
Figure BDA0002399510390000051
Figure BDA0002399510390000052
Figure BDA0002399510390000053
Figure BDA0002399510390000054
Figure BDA0002399510390000055
可以计算得到xi(i＝4，5，…，16，17)的值。
优选的是，所述隐藏层包括以下内容：
隐藏层的变量记为zh(h＝1，2，…，39，40)，可通过如下公式计算得到：
Figure BDA0002399510390000056
其中，wh0是偏倚项，whi为输入层各个变量对应的权重，所述权重参数可通过数据集训练得到，
Figure BDA0002399510390000061
为激活函数。
优选的是，所述输出层包括以下内容：
输出变量记为yj(j＝0，1，2，3，4，5，6，7)，表示当前像素的颜色判别结果，“0”表示置为黑色，“1”表示置为红色，“2”表示置为绿色，“3”表示置为蓝色，“4”表示置为品红色，“5”表示置为黄色，“6”表示置为青色；yj由如下公式计算得到：
Figure BDA0002399510390000062
vj0为偏倚项，vjh为隐藏层各变量对应的权重，所述权重参数可通过数据集训练得到，f(z)为激活函数，与隐藏层中的激活函数相同。
本发明至少包括以下有益效果：
本发明在保证相机-投影仪系统三维重建精度和点云稠密度的同时，能够提高系统的稳定性和计算效率，有助于实现对物体表面变形等动态场景的在线测量。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明：
图1为本发明提供的彩色编码结构光示意图；
图2为本发明提供的结构光解码流程图；
图3为本发明提供的亚像素匹配流程图；
图4为本发明提供的基于机器学习的结构光在线密集三维重建流程图；
图5为本发明提供的相机-投影仪三维重建系统结构示意图。
具体实施方式：
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
如图1-5所示的一种基于机器学习的结构光在线密集三维重建方法，包括以下步骤：
步骤S1、相机-投影仪系统的参数标定：其系统参数标定的具体过程如下：
S11、将一组灰度条纹图投射到静止的棋盘格标定板表面，并利用相机采集图像，
S12、利用四步相移法对相机采集的序列图像进行结构光解码，计算其对应的相位图，
S13、计算相机采集图像与投影仪图像之间的像素点对应关系，
S14、变换棋盘格标定板的位置和姿态，并重复步骤S11～S13，
S15、利用立体视觉标定方法，解算相机-投影仪系统的所有参数，所述相机-投影仪系统的所有参数包括：相机和投影仪的主点坐标、等效焦距、像差系数以及相机坐标系和投影仪坐标系之间的变换矩阵、基础矩阵、本质矩阵；
步骤S2、采集图像：利用投影仪将如图1所示的编码结构光投射到待测的物体表面上，并利用相机采集被物体表面调制后的结构光图像；
步骤S3、图像预处理：受相机自身硬件和外部环境干扰，采集的图像包含噪声，本发明中采用窗口大小为3pixel×3pixel的均值滤波器对图像进行预处理，可以有效的消除图像噪声，提高图像质量；
步骤S4、颜色识别：建立用于判别颜色的神经网络模型，该模型包括输入层、隐藏层和输出层：
其中，输入层的输入变量记为xi(i＝1，2，…，16，17)，表示相机采集图像中每个像素点的颜色特征，x1、x2、x3分别对应像素点红、绿、蓝三个通道的亮度值，xi(i＝4，5，…，16，17)通过如下公式计算得到：
x4＝0.41x1+0.36x2+0.18x3
x5＝0.21x1+0.71x2+0.07x3
x6＝0.02x1+0.12x2+0.95x3
x7＝0.30x1+0.59x2+0.11x3
x8＝0.713(x1-x7)+128
x9＝0.564(x3-x7)+128
Figure BDA0002399510390000081
Figure BDA0002399510390000082
Figure BDA0002399510390000083
Figure BDA0002399510390000084
Figure BDA0002399510390000085
Figure BDA0002399510390000086
Figure BDA0002399510390000087
Figure BDA0002399510390000088
隐藏层的变量记为zh(h＝1，2，…，39，40)，可通过如下公式计算得到：
Figure BDA0002399510390000091
其中，wh0是偏倚项，whi为输入层各个变量对应的权重，所述权重参数可通过数据集训练得到，f(x)为激活函数：
Figure BDA0002399510390000092
输出层的输出变量记为yj(j＝0，1，2，3，4，5，6，7)，表示当前像素的颜色判别结果，“0”表示置为黑色，“1”表示置为红色，“2”表示置为绿色，“3”表示置为蓝色，“4”表示置为品红色，“5”表示置为黄色，“6”表示置为青色；yj由如下公式计算得到：
Figure BDA0002399510390000093
vj0为偏倚项，vjh为隐藏层各变量对应的权重，所述权重参数可通过数据集训练得到，f(z)为激活函数，与隐藏层中的激活函数相同
将该神经网络模型记为颜色分类器，将相机采集图像中的每个像素点颜色特征输入颜色分类器，完成颜色识别；
步骤S5、颜色滤波：对图像进行行扫描，以第i行为例，从左至右检测光条边缘，从而计算得到光条宽度：如果当前光条宽度小于其相邻光条宽度的一半，则将当前光条的颜色设置为黑色；
步骤S6、中心线检测：执行过程如下：
S61、将指定颜色的光条置为白色，其余颜色置为黑色，从而将彩色图像转换为二值图像，
S62、对二值图像进行中值滤波，窗口大小为3pixel×3pixel，
S63、对图像进行轮廓搜索，
S64、对图像进行行扫描，在各个光条轮廓范围内搜索亮度最大值，
S65、基于灰度重心法计算光条中心线，
S66、改变指定的颜色，重复步骤S61～S65，完成对六种颜色的光条中心线检测；
步骤S7、索引判别；执行过程如下：
S71、计算指定的中心线与其它中心线之间的像素距离，
S72、搜索距离指定中心线最近的两条中心线，
S73、相邻三种颜色的光条在序列中只出现一次，基于此，可确定出指定中心线在编码结构光中的索引，
S74、改变指定的中心线，重复步骤S71～S73，完成对所有中心线的索引判别；
步骤S8、相位解缠：记任意两条相邻的中心线为li和li+1，i和i+1表示中心线在光条序列中的索引，
Figure BDA0002399510390000101
和
Figure BDA0002399510390000102
为li和li+1上同一行像素点，I(x,y)表示像素点p(x,y)的亮度值。若像素点满足以下约束，则将该像素点记为
Figure BDA0002399510390000103
和
Figure BDA0002399510390000104
之间的波谷点
Figure BDA0002399510390000105
I(x-2,y)≥I(x-1,y)≥I(x,y)≤I(x+1,y)≤I(x+2,y)
解缠相位可通过如下公式计算得到：
Figure BDA0002399510390000106
Figure BDA0002399510390000107
Figure BDA0002399510390000108
遍历所有中心线，即可解算得到相机采集图像对应的相位图；
步骤S9、亚像素匹配：由于投影仪图像中每列像素点亮度相同，即投影仪图像中每列的相位相同；记pc(x,y)为相机采集图像中某像素点，相位为pc(x,y)，其在投影仪图像中的对应点pp(x,y)必然在直线x＝xp上，xp通过如下公式计算：
Figure BDA0002399510390000109
T表示光条宽度，单位为像素，同时，pp(x,y)点也必然在pc(x,y)对应的对极线上，其直线方程可通过如下公式计算得到：
le＝[a b c]T＝F[pC 1]T
F为基础矩阵，通过步骤S1标定得到，直线x＝xp和直线le的交点即为像素点pc(x,y)在投影仪图像上的对应点：
Figure BDA0002399510390000111
遍历相机采集图像上的所有像素点，得到其在投影仪图像中的对应点，即可得到对应点集合。
步骤S10、基于摄影测量学中的三角交会算法，对对应点集合中的每一组匹配点对进行交会，解算其空间三维坐标，进而完成对物体表面的密集三维重建。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的基于机器学习的结构光在线密集三维重建方法的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种基于机器学习的结构光在线密集三维重建方法，其特征在于，包括以下步骤：
步骤S1、相机-投影仪系统的参数标定：其系统参数标定的具体过程如下：
S11、将一组灰度条纹图投射到静止的棋盘格标定板表面，并利用相机采集图像，
S12、利用四步相移法对相机采集的序列图像进行结构光解码，计算其对应的相位图，
S13、计算相机采集图像与投影仪图像之间的像素点对应关系，
S14、变换棋盘格标定板的位置和姿态，并重复步骤S11～S13，
S15、利用立体视觉标定方法，解算相机-投影仪系统的所有参数；
步骤S2、采集图像：利用投影仪将编码结构光投射到待测的物体表面上，并利用相机采集被物体表面调制后的结构光图像；
步骤S3、图像预处理：对采集到的图像进行噪声的去除，提高图像质量；
步骤S4、颜色识别：建立用于判别颜色的神经网络模型，该模型包括输入层、隐藏层和输出层，所述输入层中包含图像中的每个像素点颜色特征；将该神经网络模型记为颜色分类器，将相机采集图像中的每个像素点颜色特征输入颜色分类器，完成颜色识别；
步骤S5、颜色滤波：对图像进行行扫描，从左至右检测光条边缘，从而计算得到光条宽度：如果当前光条宽度小于其相邻光条宽度的一半，则将当前光条的颜色设置为黑色；
步骤S6、中心线检测：执行过程如下：
S61、将指定颜色的光条置为白色，其余颜色置为黑色，从而将彩色图像转换为二值图像，
S62、对二值图像进行中值滤波，窗口大小为3pixel×3pixel，
S63、对图像进行轮廓搜索，
S64、对图像进行行扫描，在各个光条轮廓范围内搜索亮度最大值，
S65、基于灰度重心法计算光条中心线，
S66、改变指定的颜色，重复步骤S61～S65，完成对六种颜色的光条中心线检测；
步骤S7、索引判别；执行过程如下：
S71、计算指定的中心线与其它中心线之间的像素距离，
S72、搜索距离指定中心线最近的两条中心线，
S73、相邻三种颜色的光条在序列中只出现一次，基于此确定出指定中心线在编码结构光中的索引，
S74、改变指定的中心线，重复步骤S71～S73，完成对所有中心线的索引判别；
步骤S8、相位解缠：记任意两条相邻的中心线为lk和lk+1，k和k+1表示中心线在光条序列中的索引，
Figure FDA0003582049000000021
和
Figure FDA0003582049000000022
为lk和lk+1上同一行像素点，I(m,n)表示像素点p(m,n)的亮度值；若像素点满足以下约束，则将该像素点记为
Figure FDA0003582049000000023
和
Figure FDA0003582049000000024
之间的波谷点
Figure FDA0003582049000000025
I(m-2,n)≥I(m-1,n)≥I(m,n)≤I(m+1,n)≤I(m+2,n)
解缠相位通过如下公式计算得到：
Figure FDA0003582049000000026
Figure FDA0003582049000000027
Figure FDA0003582049000000028
遍历所有中心线，解算得到相机采集图像对应的相位图；
步骤S9、亚像素匹配：由于投影仪图像中每列像素点亮度相同，即投影仪图像中每列的相位相同；记pC(m,n)为相机采集图像中某像素点，相位为PC(m,n)，其在投影仪图像中的对应点pP(m,n)必然在直线m＝mP上，mP通过如下公式计算：
Figure FDA0003582049000000029
T表示光条宽度，单位为像素，同时，pP(m,n)点也必然在pC(m,n)对应的对极线上，其直线方程通过如下公式计算得到：
le＝[a b c]T＝F[pC 1]T
F为基础矩阵，通过步骤S1标定得到，直线m＝mP和直线le的交点即为像素点pC(m,n)在投影仪图像上的对应点：
Figure FDA0003582049000000031
遍历相机采集图像上的所有像素点，得到其在投影仪图像中的对应点，得到对应点集合；
步骤S10、基于摄影测量学中的三角交会算法，对对应点集合中的每一组匹配点对进行交会，解算其空间三维坐标，进而完成对物体表面的密集三维重建。
2.如权利要求1所述的基于机器学习的结构光在线密集三维重建方法，其特征在于，所述相机-投影仪系统的所有参数包括：相机和投影仪的主点坐标、等效焦距、像差系数以及相机坐标系和投影仪坐标系之间的变换矩阵、基础矩阵、本质矩阵。
3.如权利要求1所述的基于机器学习的结构光在线密集三维重建方法，其特征在于，所述噪声的去除方法为：采用窗口大小为3pixel×3pixel的均值滤波器对图像噪声进行去除。
4.如权利要求1所述的基于机器学习的结构光在线密集三维重建方法，其特征在于，所述输入层包括以下内容：
输入层的输入变量记为xi，表示相机采集图像中每个像素点的颜色特征，x1、x2、x3分别对应像素点红、绿、蓝三个通道的亮度值，i＝1，2，…，16，17；
通过如下公式：
x4＝0.41x1+0.36x2+0.18x3
x5＝0.21x1+0.71x2+0.07x3
x6＝0.02x1+0.12x2+0.95x3
x7＝0.30x1+0.59x2+0.11x3
x8＝0.713(x1-x7)+128
x9＝0.564(x3-x7)+128
Figure FDA0003582049000000041
Figure FDA0003582049000000042
Figure FDA0003582049000000043
Figure FDA0003582049000000044
Figure FDA0003582049000000045
Figure FDA0003582049000000046
Figure FDA0003582049000000047
Figure FDA0003582049000000048
计算得到xi的值，其中i＝4，5，…，16，17。
5.如权利要求4所述的基于机器学习的结构光在线密集三维重建方法，其特征在于，所述隐藏层包括以下内容：
隐藏层的变量记为zh，通过如下公式计算得到：
Figure FDA0003582049000000051
其中，h＝1，2，…，39，40，wh0是偏倚项，whi为输入层各个变量对应的权重，所述权重参数通过数据集训练得到，
Figure FDA0003582049000000052
为激活函数。
6.如权利要求5所述的基于机器学习的结构光在线密集三维重建方法，其特征在于，所述输出层包括以下内容：
输出变量记为yj，表示当前像素的颜色判别结果，“0”表示置为黑色，“1”表示置为红色，“2”表示置为绿色，“3”表示置为蓝色，“4”表示置为品红色，“5”表示置为黄色，“6”表示置为青色；yj由如下公式计算得到：
Figure FDA0003582049000000053
j＝0，1，2，3，4，5，6，7，vj0为偏倚项，vjh为隐藏层各变量对应的权重，所述权重参数通过数据集训练得到，f(z)为激活函数，与隐藏层中的激活函数相同。
CN202010142269.9A 2020-03-04 2020-03-04 一种基于机器学习的结构光在线密集三维重建方法 Active CN111383234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010142269.9A CN111383234B (zh) 2020-03-04 2020-03-04 一种基于机器学习的结构光在线密集三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010142269.9A CN111383234B (zh) 2020-03-04 2020-03-04 一种基于机器学习的结构光在线密集三维重建方法

Publications (2)

Publication Number Publication Date
CN111383234A CN111383234A (zh) 2020-07-07
CN111383234B true CN111383234B (zh) 2022-05-17

Family

ID=71219745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010142269.9A Active CN111383234B (zh) 2020-03-04 2020-03-04 一种基于机器学习的结构光在线密集三维重建方法

Country Status (1)

Country Link
CN (1) CN111383234B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330814B (zh) * 2020-11-24 2023-11-07 革点科技(深圳)有限公司 一种基于机器学习的结构光三维重建方法
CN112581605B (zh) * 2020-12-24 2024-05-14 西安中科光电精密工程有限公司 一种结构光三维重建校正方法及装置
EP4379661A1 (en) 2022-11-30 2024-06-05 Piotr Piechocki A method for dynamic 3d scanning of a spatial object and a dynamic 3d scanner

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667303A (zh) * 2009-09-29 2010-03-10 浙江工业大学 一种基于编码结构光的三维重建方法
CN102883658A (zh) * 2009-11-19 2013-01-16 调节成像公司 用于使用结构化照明经由单元件检测来分析浑浊介质的方法和设备
CN106709481A (zh) * 2017-03-03 2017-05-24 深圳市唯特视科技有限公司 一种基于二维‑三维语义数据集的室内场景理解方法
CN108225216A (zh) * 2016-12-14 2018-06-29 中国科学院深圳先进技术研究院 结构光系统标定方法及装置、结构光系统及移动设备
CN108269286A (zh) * 2016-12-30 2018-07-10 中国空气动力研究与发展中心超高速空气动力研究所 基于组合立体标志的多相机位姿关联方法
CN109191562A (zh) * 2018-07-15 2019-01-11 黑龙江科技大学 基于彩色伪随机编码结构光的三维重建方法
US10198823B1 (en) * 2017-03-28 2019-02-05 Amazon Technologies, Inc. Segmentation of object image data from background image data
CN109916331A (zh) * 2019-03-26 2019-06-21 中国科学院光电技术研究所 一种基于复合光栅的结构光微纳结构三维检测方法
CN110285775A (zh) * 2019-08-02 2019-09-27 四川大学 基于结构光周期编码图案的三维重建方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192347B2 (en) * 2016-05-17 2019-01-29 Vangogh Imaging, Inc. 3D photogrammetry

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667303A (zh) * 2009-09-29 2010-03-10 浙江工业大学 一种基于编码结构光的三维重建方法
CN102883658A (zh) * 2009-11-19 2013-01-16 调节成像公司 用于使用结构化照明经由单元件检测来分析浑浊介质的方法和设备
CN108225216A (zh) * 2016-12-14 2018-06-29 中国科学院深圳先进技术研究院 结构光系统标定方法及装置、结构光系统及移动设备
CN108269286A (zh) * 2016-12-30 2018-07-10 中国空气动力研究与发展中心超高速空气动力研究所 基于组合立体标志的多相机位姿关联方法
CN106709481A (zh) * 2017-03-03 2017-05-24 深圳市唯特视科技有限公司 一种基于二维‑三维语义数据集的室内场景理解方法
US10198823B1 (en) * 2017-03-28 2019-02-05 Amazon Technologies, Inc. Segmentation of object image data from background image data
CN109191562A (zh) * 2018-07-15 2019-01-11 黑龙江科技大学 基于彩色伪随机编码结构光的三维重建方法
CN109916331A (zh) * 2019-03-26 2019-06-21 中国科学院光电技术研究所 一种基于复合光栅的结构光微纳结构三维检测方法
CN110285775A (zh) * 2019-08-02 2019-09-27 四川大学 基于结构光周期编码图案的三维重建方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Lenet-5的空间结构光编码符号识别研究;宋丽芳等;《五邑大学学报》;20170515;第31卷(第02期);第40-45页 *

Also Published As

Publication number Publication date
CN111383234A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN111383234B (zh) 一种基于机器学习的结构光在线密集三维重建方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN101299270B (zh) 三维扫描系统中的多个摄像机同步快速标定方法
US9135522B2 (en) System and method for identifying scale invariant features of object outlines on images
CN108592822B (zh) 一种基于双目相机及结构光编解码的测量系统及方法
CN101443817B (zh) 用于确定场景的三维重建时的对应关系的方法和装置
CN108592823B (zh) 一种基于双目视觉彩色条纹编码的解码方法
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN110009667B (zh) 基于罗德里格斯变换的多视点云全局配准方法
CN107085850B (zh) 遮蔽采集图像中异物的标记体、识别图像中异物标记体的方法以及书籍扫描方法
CN111223133A (zh) 一种异源图像的配准方法
CN106485757A (zh) 一种基于实心圆标定板的立体视觉系统标定平台及标定方法
CN107358628A (zh) 基于靶标的线阵图像处理方法
CN106937109B (zh) 低成本判断摄像头分辨率水平的方法
CN112241964B (zh) 一种用于线结构光非接触测量的光条中心提取方法
CN107154017A (zh) 一种基于sift特征点匹配的图像拼接方法
CN108648222A (zh) 结构光深度数据空间分辨率的提升方法及装置
CN106952262A (zh) 一种基于立体视觉的船板加工精度分析方法
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN107679542A (zh) 一种双摄像头立体视觉识别方法及系统
CN112164044A (zh) 基于双目视觉的刚性接触网的磨耗分析方法
CN117146733A (zh) 一种高温目标三维形貌与温度场综合测量方法
JP2981382B2 (ja) パターンマッチング方法
CN110880186A (zh) 一种基于一次投影结构光平行条纹图案的实时人手三维测量方法
CN110879947A (zh) 一种基于一次投影结构光平行条纹图案的实时人脸三维测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant