CN112630469A - 一种基于结构光和多光场相机的三维检测方法 - Google Patents

一种基于结构光和多光场相机的三维检测方法 Download PDF

Info

Publication number
CN112630469A
CN112630469A CN202011431946.5A CN202011431946A CN112630469A CN 112630469 A CN112630469 A CN 112630469A CN 202011431946 A CN202011431946 A CN 202011431946A CN 112630469 A CN112630469 A CN 112630469A
Authority
CN
China
Prior art keywords
light
dimensional
light field
field
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011431946.5A
Other languages
English (en)
Other versions
CN112630469B (zh
Inventor
金欣
周思瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202011431946.5A priority Critical patent/CN112630469B/zh
Publication of CN112630469A publication Critical patent/CN112630469A/zh
Application granted granted Critical
Publication of CN112630469B publication Critical patent/CN112630469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/18—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance
    • G01P5/20—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance using particles entrained by a fluid stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于结构光和多光场相机的三维检测方法，包括：搭建包括结构光光源和多个光场相机的三维检测系统，将待检测目标物的参考物放置在所述三维检测系统的工作范围内，对所述参考物进行基于结构光的三维重建得到参考物三维模型，再将待检测目标物放置在所述三维检测系统的工作范围内，对所述待检测目标物进行基于结构光的三维重建得到待检测目标物三维模型；然后对所述参考物三维模型和所述待检测目标物三维模型做三维检测，输出所述待检测目标物的关键点的三维位置。本发明充分利用光场相机和结构光在近景三维重建领域的优势，能够精确且高效地完成对工作范围内目标物的三维检测。

Description

一种基于结构光和多光场相机的三维检测方法
技术领域
本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于结构光和多光场相机的三维检测系统与方法。
背景技术
光学三维检测技术是一类重要的非接触式检测技术，具有非接触、效率高、精度适中等优点，在工业检测、航空航天、农业生产等领域中有广泛的应用。光学三维检测根据系统照明方式不同，可分为主动法和被动法两种。结构光三维检测是常用的主动三维检测方法，在目标物表明投射结构光，然后通过相机采集到的二维图像重建物体表面信息，其检测模型简单，精度较高，但是检测信息简单。多目立体视觉检测是典型的被动式三维检测方法，该方法根据多个相机之间的位置关系，结合视差原理求解物体的三维坐标。该方法的优点是普适性强，缺点是检测精度较低。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题，本发明提出一种基于结构光和多光场相机的三维检测系统与方法，充分利用光场相机和结构光在近景三维重建领域的优势，能够精确且高效地完成对工作范围内目标物的三维检测。
为了达到上述目的，本发明采用以下技术方案：
本发明的一个实施例公开了一种基于结构光和多光场相机的三维检测方法，包括：搭建包括结构光光源和多个光场相机的三维检测系统，将待检测目标物的参考物放置在所述三维检测系统的工作范围内，对所述参考物进行基于结构光的三维重建得到参考物三维模型，再将待检测目标物放置在所述三维检测系统的工作范围内，对所述待检测目标物进行基于结构光的三维重建得到待检测目标物三维模型；然后对所述参考物三维模型和所述待检测目标物三维模型做三维检测，输出所述待检测目标物的关键点的三维位置。
优选地，基于结构光的三维重建步骤具体包括：
S1：通过多个所述光场相机相应采集多个光场，并标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵；
S2：将所述三维检测系统的工作范围划分为多个子视场，对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场，得到多个子视场光场；
S3：对每个所述子视场光场，进行基于结构光的三维重建。
优选地，步骤S1中标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵具体包括：
计算光场相机相对于标定板在空间中的位姿参数以及所述光场相机的内参，确定待检测的目标物表面的三维空间坐标与所述光场相机所采集的光场中四维坐标点之间的对应关系以得到所述结构光光源发出的光线分别到多个光场的单应性矩阵。
优选地，步骤S1中标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵具体包括：
采集带有结构光条纹的标定板图像，提取标定板图像的角点与结构光条纹的中心特征点，经过筛选和匹配，再根据下述第一至第三转换关系式求解世界坐标系与光场双平面坐标系之间的转换关系，得到所述结构光光源发出的光线分别到多个光场的单应性矩阵
Figure BDA0002820946140000021
第一转换关系式为光线与相机坐标系下空间点的相交关系式：
Figure BDA0002820946140000022
其中，(i,j,x,y)是由自由空间中的物理双平面坐标系参数化的光线坐标，(XC,YC,ZC)是对应相机坐标系下自由空间中的物点坐标，f为光场相机的焦距；
第二转换关系式为世界坐标系下自由空间中的物点(XW,YW,ZW)与对应相机坐标系下自由空间中的物点(XC,YC,ZC)之间的转换关系式：
[XC YC ZC 1]T＝R[XW YW ZW 1]T+T
其中R为旋转矩阵，T为平移向量；
第三转换关系式为解码后的光场双平面坐标系到物理双平面坐标系的转换关系式：
Figure BDA0002820946140000031
其中(u,v,s,t)表示光场双平面坐标系下的光场像素点坐标，ki,kj,ku,kv,u0,v0为6个独立的相机内部参数。
优选地，步骤S2中将所述三维检测系统的工作范围划分为多个子视场，对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场具体包括：
将所述三维检测系统的工作范围划分为个M个子视场
Figure BDA0002820946140000032
对于N个光场相机采集到的N个光场，分配情况由维度为M×N的逻辑矩阵[amn]M×N表示，矩阵元素amn定义为：
Figure BDA0002820946140000033
其中，FoVn为第n个光场的视场范围，FoVm为第m个子视场的范围；amn为1时表示第n台光场相机采集的光场对应第m个子视场，amn为0则表示第n台光场相机采集的光场不对应第m个子视场；
对于第m个子视场Fm，在其对应的
Figure BDA0002820946140000034
个光场中选定参考光场Lr，使用步骤S1得到的单应性矩阵配准该子视场对应的光场，将每个光场变换到参考光场Lr所在的光场双平面坐标系：
Ln′＝HnHr -1Ln
其中，
Figure BDA0002820946140000035
为对应第m个子视场的光场相机的数量；Ln'是第n个光场Ln经过单应性矩阵配准后的光场，Hn是第n个光场对应的单应性矩阵，Hr是参考光场对应的单应性矩阵。
优选地，步骤S2中在对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场之后还包括遍历配准后光场的每个像素以去除高光。
优选地，遍历配准后光场的每个像素以去除高光具体包括：采用均方误差是否大于预设阈值T来评价每个像素位置处是否存在高光：
Figure BDA0002820946140000041
其中，λm(u0,v0,s0,t0)表示第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处是否存在高反光，λm(u0,v0,s0,t0)为1时表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处存在高反光，λm(u0,v0,s0,t0)为0时表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处不存在高反光；
如果存在高反光，则去掉大于非零像素平均值的像素值后对其他光场非零像素值取平均，赋值给该像素位置，完成光场融合以去除高光。
优选地，步骤S3中对每个所述子视场光场，进行基于结构光的三维重建具体包括：
将每个子视场光场的像素点投影至世界坐标系，生成子视场空间点云，再使用Delaunay三角剖分法进行子视场中待检测目标物关键部件的三维表面几何纹理重建，其中子视场空间点云的坐标使用下式计算：
[XW,YW,ZW,1]T＝Ηr -1[u,v,s,t,1]T
其中，(XW,YW,ZW)表示世界坐标系下自由空间中的物点坐标，(u,v,s,t)表示光场双平面坐标系下的光场像素点坐标，Hr是参考光场对应的单应性矩阵。
优选地，三维检测步骤包括模型差分和关键点提取；
进一步地，模型差分步骤具体包括：分别提取所述参考物三维模型和所述待检测目标物三维模型的特征点，并进行匹配、筛选得到特征点对，根据特征点对计算所述参考物三维模型和所述待检测目标物三维模型之间的单应性矩阵，并根据所述参考物三维模型和所述待检测目标物三维模型之间的单应性矩阵配准所述参考物三维模型和所述待检测目标物三维模型，然后取所述参考物三维模型和所述待检测目标物三维模型的差分模型；
进一步地，关键点提取步骤具体包括：根据所述差分模型，使用形态学处理和自适应阈值分割，提取所述待检测目标物的关键点的三维位置。
本发明的另一实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现上述的三维检测方法的步骤。
与现有技术相比，本发明的有益效果在于：本发明提出的基于结构光和多光场相机的三维检测方法，通过搭建包括结构光光源和多个光场相机的三维检测系统，对工作范围内的参考物和待检测目标物进行基于结构光的三维重建，其中的光场相机可以为近景三维重建提供大量准确的关键点，结构光具有信息量多、处理迅速等优点，可以提高检测精度；从而实现准确地目标物表面三维检测。
在进一步的方案中，在对子视场配准对应的光场之后还遍历配准光场每个像素位置以进一步去除高光，从而可以得到完整且高质量的子视场光场，进一步提高三维检测的精度。
在更进一步的方案中，三维检测包括模型差分和关键点提取，通过将得到的参考物三维三维模型和待检测目标物三维模型进行配准并取两者的差分模型，使得其中包含的信息较少，采用形态学处理和自适应阈值分割即可快速且准确地提取关键点所在的三维位置。
附图说明
图1是针对目标物单侧检测的混合多光场相机和结构光的三维检测系统结构图；
图2是针对目标物双侧检测的混合多光场相机和结构光的三维检测系统结构图；
图3是本发明优选实施例的基于结构光的三维重建步骤的流程图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明；在实施过程中所采用的具体方法都仅为举例说明，本发明所涵盖的范围包括但不局限于所列举的以下方法。
光场相机通过在主透镜和图像传感器之间插入一个微透镜阵列，实现在一次拍摄中同时记录光线的方向和强度信息。光场相机能够被视为一个相机阵列，光场数据可以解码成一个子视角图像阵列，子视角图像之间存在视差，可以以此获取拍摄物体的深度信息，因此光场应用于近景三维重建比普通图像更加准确高效。
本发明优选实施例公开了一种混合多光场相机和结构光的三维检测方法，包括：搭建包括结构光光源和多个光场相机的三维检测系统，将待检测目标物的参考物放置在三维检测系统的工作范围内，对参考物进行基于结构光的三维重建得到参考物三维模型，再将参考物从工作范围内拿开，将待检测目标物放置在三维检测系统的工作范围内，对待检测目标物进行基于结构光的三维重建得到待检测目标物三维模型；然后对参考物三维模型和待检测目标物三维模型做表面三维检测，输出所述待检测目标物的关键点的三维位置。
其中，三维检测包括模型差分和关键点提取两部分。
模型差分步骤具体包括：分别提取参考物三维模型和待检测目标物三维模型的三维SIFT特征点，并进行快速最近邻匹配以及筛选得到特征点对，根据特征点对计算两个三维模型之间的单应性矩阵，并根据两个三维模型之间的单应性矩阵配准参考物三维模型和待检测目标物三维模型，然后取两个三维模型的差分模型。
关键点提取步骤具体包括：根据差分模型，使用形态学处理和自适应阈值分割，提取待检测目标物的关键点的三维位置。在本实施例中，由于差分模型包含的信息较少，使用形态学处理和自适应阈值分割，即可快速且准确地提取关键点所在的三维位置。
在一些实施例中，如需对待检测目标物的单侧进行三维检测，则可搭建如图1所示的单侧三维检测系统，该三维检测系统包括光场相机1、2、3、4、结构光光源5、光学支杆6，其中光场相机1、2、3、4通过光学支杆6连接固定，且均设置在待检测目标物7的一侧，待检测目标物7放置在该三维检测系统的工作范围8内，在执行上述步骤时，参考物也是对应放置在工作范围8内。在另一些实施例中，如需对待检测目标物的双侧进行三维检测时，则可搭建如图2所示的双侧三维检测系统，该三维检测系统包括光场相机9、10、11、12、结构光光源13、14、光学支杆15、16，光场相机9、11通过光学支杆15连接固定并设置在待检测目标物17的第一侧，光场相机10、12通过光学支杆16连接固定并设置在待检测目标物17的第二侧，结构光光源13、14也分别设置在待检测目标物17的两侧，待检测目标物17放置在该三维检测系统的工作范围18内，在执行上述步骤时，参考物也是对应放置在工作范围18内。在图1和图2的三维检测系统的示意图中，光场相机不限于图中所示的数量，还可以根据需要沿着光学支杆设置更多个光场相机。
在本实施例中，对参考物和待检测目标物分别进行基于结构光的三维重建以分别得到参考物三维模型和待检测目标物三维模型，如图3所示，其中基于结构光的三维重建步骤具体包括：
S1：通过多个所述光场相机相应采集多个光场，并标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵；具体地，通过结合结构光的多光场标定算法标定出结构光光源发出的光线分别到多个光场的单应性矩阵；
以N个光场相机为例，
Figure BDA0002820946140000071
为三维检测系统中N个光场相机采集到的多个光场，多光场标定算法是通过计算光场相机相对于标定板在空间中的位姿参数以及相机内参，确定待检测目标物表面的三维空间坐标(即在世界坐标系中的坐标)与光场相机所采集的光场中四维坐标点(即在光场双平面坐标系中的坐标)之间的对应关系。
首先采集带有结构光条纹的标定板图像，由光场成像原理，光线与相机坐标系下空间点的相交关系表示为：
Figure BDA0002820946140000072
其中，(i,j,x,y)是由自由空间中的物理双平面坐标系参数化的光线坐标，(XC,YC,ZC)是对应相机坐标系下自由空间中的物点坐标，f为光场相机的焦距。
世界坐标系下自由空间中的物点坐标(XW,YW,ZW)与(XC,YC,ZC)之间的转换关系为：
[XC YC ZC 1]T＝R[XW YW ZW 1]T+T. (2)
其中R为旋转矩阵，T为平移向量。
由解码后光场双平面坐标系到物理双平面坐标系的转换关系为：
Figure BDA0002820946140000081
其中(u,v,s,t)表示光场双平面坐标系下的光场像素点坐标，此处即对应解码后的光场双平面坐标系；ki,kj,ku,kv,u0,v0为6个独立的相机内部参数。
提取标定板图像的角点以及结构光条纹中心特征点，经过筛选和匹配，再根据以上公式(1)、(2)和(3)的转换关系求解三维世界坐标系与光场双平面坐标之间的单应性矩阵为
Figure BDA0002820946140000082
本步骤中，光场相比于普通图像提供了数量更多更精准的角点对，加入结构光条纹中心特征，使得标定结果更加鲁棒和准确。
S2：将三维检测系统的工作范围划分为多个子视场，对每个子视场采用步骤S1得到的单应性矩阵配准对应的光场，得到多个子视场光场；
具体地，将系统的工作范围划分为多个子视场。对于每个子视场使用步骤S1得到的单应性矩阵配准对应的若干输入光场，遍历配准后光场的每个像素，去除高光，得到完整且高质量的子视场光场；
本实施例中，将系统工作区间划分为个M个子视场
Figure BDA0002820946140000083
对于N个光场相机采集到的N个光场，视场范围覆盖子视场超过70％的光场被认为是对应子视场Fm的光场，光场相机分配情况由维度为M×N的逻辑矩阵[amn]M×N表示，矩阵元素定义为：
Figure BDA0002820946140000084
其中，FoVn为第n个光场(即第n个光场相机所采集的光场)的视场范围，FoVm为第m个子视场的范围。amn为1时表示第n台光场相机采集的光场对应第m个子视场，amn为0则表示第n台光场相机的视场范围与第m个子视场重叠区域太少，本实施例认为其不对应第m个子视场。
Figure BDA0002820946140000085
可以被描述为对应第m个子视场的光场相机的数量。
对于子视场Fm，在其对应的
Figure BDA0002820946140000091
个光场中选定参考光场Lr，使用步骤S1得到的光场单应性矩阵
Figure BDA0002820946140000092
配准该子视场对应的光场，将每个光场变换到参考光场Lr所在的双平面坐标系：
Ln'＝HnHr -1Ln (5)
其中Ln'是第n个光场Ln经过单应性矩阵配准后的光场，Hr是参考光场Lr对应的单应性矩阵，该单应性矩阵配准由HnHr -1定义，将全部光场变换到同一坐标系下。
由于三维检测方法对于存在表面镜面反射的目标物难以进行检测，而实际应用中很多待测目标物表面特征为镜面反射，因此，本进一步的实施例中，配准后的光场去高光后再进行融合得到大视角光场。
具体地，将配准后光场灰度化，遍历配准光场每个像素位置，对某个像素位置，如果没有出现高反光情况，则在
Figure BDA0002820946140000093
个光场中，该像素位置处的有值的像素灰度值差别很小。本实施例中，使用均方误差(MSE)是否大于给定的阈值T来评价每个像素位置处是否存在高反光：
Figure BDA0002820946140000094
其中，λm(u0,v0,s0,t0)表征第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处是否存在高反光，λm(u0,v0,s0,t0)为1时即表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处存在高反光，λm(u0,v0,s0,t0)为0时即表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处不存在高反光。
如果存在高反光，去掉大于非零像素平均值的像素值后对其他光场非零像素值取平均，赋值给该像素位置，完成光场融合，实现快速准确的去高光操作。
S3：对每个子视场光场，进行基于结构光的三维重建；
通过上述步骤得到每个子视场去高光后的配准光场。光场相比于普通图像，能够为三维重建提供更多关键点，能够生成稠密点云，且一定程度上提高重建精度。并且本实施例采用结构光照明，在标定过程中通过使用线结构光条纹特征能够准确计算各个光场之间的单应性变换关系，提高三维重建精度。
具体地，对于每个子视场，通过参考光场单应性矩阵，将去高光的配准光场像素点投影至三维世界坐标系，生成子视场空间点云。点云坐标使用下式计算：
[XW,YW,ZW,1]T＝Ηr -1[u,v,s,t,1]T. (7)
本实施例中，使用Delaunay三角剖分法进行子视场中待检测目标物关键部件的三维表面几何纹理重建。三角剖分将点云链接成三角面片的形式，描述空间三维点云之间的拓扑结构，即能够有效表示待检测目标物三维表面几何纹理。Delaunay三角剖分法具有唯一性与最优性，本实施例使用此方法对子视场三维点云进行三维重建，以进一步用于三维检测。
本发明优选实施例提出一种基于结构光和多光场相机的三维检测系统与方法，将多光场相机和结构光结合，其中光场相机可以为近景三维重建提供大量准确的关键点，线结构光具有信息量多、处理迅速等优点，可以提高检测精度。首先搭建多台光场相机、结构光光源和若干光学支杆构建混合多光场相机和结构光的三维检测系统；通过结合结构光的多光场标定算法标定出结构光光源发出的光线分别到多光场的单应性矩阵；将系统工作范围划分为多个子视场；对于每个子视场使用单应性矩阵配准对应的若干输入光场，遍历配准后光场的每个像素，去除高光，得到完整且高质量的子视场光场；对每个子视场光场，进行基于结构光的三维重建；最后对待检测目标物和参考物的三维重建结果做表面三维检测，输出关键点在大视角光场中的准确的三维位置。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的全景光场拼接方法，具体实现可参见方法实施例，在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于结构光和多光场相机的三维检测方法，其特征在于，包括：搭建包括结构光光源和多个光场相机的三维检测系统，将待检测目标物的参考物放置在所述三维检测系统的工作范围内，对所述参考物进行基于结构光的三维重建得到参考物三维模型，再将待检测目标物放置在所述三维检测系统的工作范围内，对所述待检测目标物进行基于结构光的三维重建得到待检测目标物三维模型；然后对所述参考物三维模型和所述待检测目标物三维模型做三维检测，输出所述待检测目标物的关键点的三维位置。
2.根据权利要求1所述的三维检测方法，其特征在于，基于结构光的三维重建步骤具体包括：
S1：通过多个所述光场相机相应采集多个光场，并标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵；
S2：将所述三维检测系统的工作范围划分为多个子视场，对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场，得到多个子视场光场；
S3：对每个所述子视场光场，进行基于结构光的三维重建。
3.根据权利要求1所述的三维检测方法，其特征在于，步骤S1中标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵具体包括：
计算光场相机相对于标定板在空间中的位姿参数以及所述光场相机的内参，确定待检测的目标物表面的三维空间坐标与所述光场相机所采集的光场中四维坐标点之间的对应关系以得到所述结构光光源发出的光线分别到多个光场的单应性矩阵。
4.根据权利要求1所述的三维检测方法，其特征在于，步骤S1中标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵具体包括：
采集带有结构光条纹的标定板图像，提取标定板图像的角点与结构光条纹的中心特征点，经过筛选和匹配，再根据下述第一至第三转换关系式求解世界坐标系与光场双平面坐标系之间的转换关系，得到所述结构光光源发出的光线分别到多个光场的单应性矩阵
Figure FDA0002820946130000011
第一转换关系式为光线与相机坐标系下空间点的相交关系式：
Figure FDA0002820946130000021
其中，(i,j,x,y)是由自由空间中的物理双平面坐标系参数化的光线坐标，(XC,YC,ZC)是对应相机坐标系下自由空间中的物点坐标，f为光场相机的焦距；
第二转换关系式为世界坐标系下自由空间中的物点(XW,YW,ZW)与对应相机坐标系下自由空间中的物点(XC,YC,ZC)之间的转换关系式：
Figure FDA0002820946130000025
其中R为旋转矩阵，T为平移向量；
第三转换关系式为解码后的光场双平面坐标系到物理双平面坐标系的转换关系式：
Figure FDA0002820946130000022
其中(u,v,s,t)表示光场双平面坐标系下的光场像素点坐标，ki,kj,ku,kv,u0,v0为6个独立的相机内部参数。
5.根据权利要求1所述的三维检测方法，其特征在于，步骤S2中将所述三维检测系统的工作范围划分为多个子视场，对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场具体包括：
将所述三维检测系统的工作范围划分为个M个子视场
Figure FDA0002820946130000023
对于N个光场相机采集到的N个光场，分配情况由维度为M×N的逻辑矩阵[amn]M×N表示，矩阵元素amn定义为：
Figure FDA0002820946130000024
其中，FoVn为第n个光场的视场范围，FoVm为第m个子视场的范围；amn为1时表示第n台光场相机采集的光场对应第m个子视场，amn为0则表示第n台光场相机采集的光场不对应第m个子视场；
对于第m个子视场Fm，在其对应的
Figure FDA0002820946130000031
个光场中选定参考光场Lr，使用步骤S1得到的单应性矩阵配准该子视场对应的光场，将每个光场变换到参考光场Lr所在的光场双平面坐标系：
Ln'＝HnHr -1Ln
其中，
Figure FDA0002820946130000032
为对应第m个子视场的光场相机的数量；Ln'是第n个光场Ln经过单应性矩阵配准后的光场，Hn是第n个光场对应的单应性矩阵，Hr是参考光场对应的单应性矩阵。
6.根据权利要求5所述的三维检测方法，其特征在于，步骤S2中在对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场之后还包括遍历配准后光场的每个像素以去除高光。
7.根据权利要求6所述的三维检测方法，其特征在于，遍历配准后光场的每个像素以去除高光具体包括：采用均方误差是否大于预设阈值T来评价每个像素位置处是否存在高光：
Figure FDA0002820946130000033
其中，λm(u0,v0,s0,t0)表示第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处是否存在高反光，λm(u0,v0,s0,t0)为1时表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处存在高反光，λm(u0,v0,s0,t0)为0时表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处不存在高反光；
如果存在高反光，则去掉大于非零像素平均值的像素值后对其他光场非零像素值取平均，赋值给该像素位置，完成光场融合以去除高光。
8.根据权利要求1所述的三维检测方法，其特征在于，步骤S3中对每个所述子视场光场，进行基于结构光的三维重建具体包括：
将每个子视场光场的像素点投影至世界坐标系，生成子视场空间点云，再使用Delaunay三角剖分法进行子视场中待检测目标物关键部件的三维表面几何纹理重建，其中子视场空间点云的坐标使用下式计算：
[XW,YW,ZW,1]T＝Ηr -1[u,v,s,t,1]T
其中，(XW,YW,ZW)表示世界坐标系下自由空间中的物点坐标，(u,v,s,t)表示光场双平面坐标系下的光场像素点坐标，Hr是参考光场对应的单应性矩阵。
9.根据权利要求1所述的三维检测方法，其特征在于，三维检测步骤包括模型差分和关键点提取；
进一步地，模型差分步骤具体包括：分别提取所述参考物三维模型和所述待检测目标物三维模型的特征点，并进行匹配、筛选得到特征点对，根据特征点对计算所述参考物三维模型和所述待检测目标物三维模型之间的单应性矩阵，并根据所述参考物三维模型和所述待检测目标物三维模型之间的单应性矩阵配准所述参考物三维模型和所述待检测目标物三维模型，然后取所述参考物三维模型和所述待检测目标物三维模型的差分模型；
进一步地，关键点提取步骤具体包括：根据所述差分模型，使用形态学处理和自适应阈值分割，提取所述待检测目标物的关键点的三维位置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求1至9任一项所述的三维检测方法的步骤。
CN202011431946.5A 2020-12-07 2020-12-07 一种基于结构光和多光场相机的三维检测方法 Active CN112630469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011431946.5A CN112630469B (zh) 2020-12-07 2020-12-07 一种基于结构光和多光场相机的三维检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011431946.5A CN112630469B (zh) 2020-12-07 2020-12-07 一种基于结构光和多光场相机的三维检测方法

Publications (2)

Publication Number Publication Date
CN112630469A true CN112630469A (zh) 2021-04-09
CN112630469B CN112630469B (zh) 2023-04-25

Family

ID=75309047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011431946.5A Active CN112630469B (zh) 2020-12-07 2020-12-07 一种基于结构光和多光场相机的三维检测方法

Country Status (1)

Country Link
CN (1) CN112630469B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406111A (zh) * 2021-05-31 2021-09-17 清华大学深圳国际研究生院 一种基于结构光场视频流的缺陷检测方法和装置
CN116380408A (zh) * 2023-04-10 2023-07-04 南京航空航天大学 基于结构光和光场成像的三维超分辨流场测量方法及系统
CN117351137A (zh) * 2023-08-30 2024-01-05 华中科技大学 一种结构光系统在隧道工作中的应用及其应用方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101476882A (zh) * 2009-01-08 2009-07-08 上海交通大学 基于单应性矩阵的结构光三维检测方法
CN104408732A (zh) * 2014-12-10 2015-03-11 东北大学 一种基于全向结构光的大视场深度测量系统及方法
CN105528788A (zh) * 2015-12-08 2016-04-27 湖南拓视觉信息技术有限公司 相对位姿参数的标定方法、装置和确定三维形状的装置
US10057498B1 (en) * 2013-03-15 2018-08-21 Cognex Corporation Light field vision system camera and methods for using the same
CN109443245A (zh) * 2018-11-09 2019-03-08 扬州市职业大学 一种基于单应性矩阵的多线结构光视觉测量方法
CN109506589A (zh) * 2018-12-25 2019-03-22 东南大学苏州医疗器械研究院 一种基于结构光场成像的三维轮廓测量方法
CN109712232A (zh) * 2018-12-25 2019-05-03 东南大学苏州医疗器械研究院 一种基于光场的物体表面轮廓三维成像方法
US20190333266A1 (en) * 2018-04-30 2019-10-31 The Regents Of The University Of California Methods and systems for acquiring svbrdf measurements
CN111288925A (zh) * 2020-01-18 2020-06-16 武汉烽火凯卓科技有限公司 一种基于数字对焦结构照明光场的三维重建方法和装置
CN111750806A (zh) * 2020-07-20 2020-10-09 西安交通大学 一种多视角三维测量系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101476882A (zh) * 2009-01-08 2009-07-08 上海交通大学 基于单应性矩阵的结构光三维检测方法
US10057498B1 (en) * 2013-03-15 2018-08-21 Cognex Corporation Light field vision system camera and methods for using the same
CN104408732A (zh) * 2014-12-10 2015-03-11 东北大学 一种基于全向结构光的大视场深度测量系统及方法
CN105528788A (zh) * 2015-12-08 2016-04-27 湖南拓视觉信息技术有限公司 相对位姿参数的标定方法、装置和确定三维形状的装置
US20190333266A1 (en) * 2018-04-30 2019-10-31 The Regents Of The University Of California Methods and systems for acquiring svbrdf measurements
CN109443245A (zh) * 2018-11-09 2019-03-08 扬州市职业大学 一种基于单应性矩阵的多线结构光视觉测量方法
CN109506589A (zh) * 2018-12-25 2019-03-22 东南大学苏州医疗器械研究院 一种基于结构光场成像的三维轮廓测量方法
CN109712232A (zh) * 2018-12-25 2019-05-03 东南大学苏州医疗器械研究院 一种基于光场的物体表面轮廓三维成像方法
CN111288925A (zh) * 2020-01-18 2020-06-16 武汉烽火凯卓科技有限公司 一种基于数字对焦结构照明光场的三维重建方法和装置
CN111750806A (zh) * 2020-07-20 2020-10-09 西安交通大学 一种多视角三维测量系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴庆阳 等: "基于结构光标记的光场三维成像技术研究", 《红外与激光工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406111A (zh) * 2021-05-31 2021-09-17 清华大学深圳国际研究生院 一种基于结构光场视频流的缺陷检测方法和装置
CN116380408A (zh) * 2023-04-10 2023-07-04 南京航空航天大学 基于结构光和光场成像的三维超分辨流场测量方法及系统
CN116380408B (zh) * 2023-04-10 2024-06-07 南京航空航天大学 基于结构光和光场成像的三维超分辨流场测量方法及系统
CN117351137A (zh) * 2023-08-30 2024-01-05 华中科技大学 一种结构光系统在隧道工作中的应用及其应用方法
CN117351137B (zh) * 2023-08-30 2024-06-11 华中科技大学 一种结构光系统在隧道工作中的应用及其应用方法

Also Published As

Publication number Publication date
CN112630469B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
Shen Accurate multiple view 3d reconstruction using patch-based stereo for large-scale scenes
CN112630469B (zh) 一种基于结构光和多光场相机的三维检测方法
Santos et al. 3D plant modeling: localization, mapping and segmentation for plant phenotyping using a single hand-held camera
CN111612728B (zh) 一种基于双目rgb图像的3d点云稠密化方法和装置
CN113178009A (zh) 一种利用点云分割和网格修补的室内三维重建方法
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN111524233B (zh) 一种静态场景动态目标的三维重建方法
CN113362457B (zh) 一种基于散斑结构光的立体视觉测量方法及系统
CN110533774B (zh) 一种基于智能手机的三维模型重建方法
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
Zhu et al. Local readjustment for high-resolution 3d reconstruction
Zhao et al. Mvpsnet: Fast generalizable multi-view photometric stereo
CN110969650B (zh) 一种基于中心投影的强度图像与纹理序列间的配准方法
Ling et al. A dense 3D reconstruction approach from uncalibrated video sequences
CN112598789A (zh) 图像纹理重建方法、装置、设备及存储介质
Shalma et al. A review on 3D image reconstruction on specific and generic objects
Kang et al. Progressive 3D model acquisition with a commodity hand-held camera
Mahmoud et al. Fast 3d structure from motion with missing points from registration of partial reconstructions
CN110717910A (zh) Ct图像目标检测方法及ct扫描仪
CN107194334B (zh) 基于光流模型的视频卫星影像密集匹配方法及系统
Lee et al. ELF-Nets: deep learning on point clouds using extended laplacian filter
Tylecek et al. Depth map fusion with camera position refinement
US20230326126A1 (en) Generation of a 3d point cloud of a scene
Hafeez et al. Performance evaluation of patterns for image-based 3D model reconstruction of textureless objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant