CN110634180B - 一种基于相移轮廓术的多运动物体三维重构方法 - Google Patents

一种基于相移轮廓术的多运动物体三维重构方法 Download PDF

Info

Publication number
CN110634180B
CN110634180B CN201910760502.7A CN201910760502A CN110634180B CN 110634180 B CN110634180 B CN 110634180B CN 201910760502 A CN201910760502 A CN 201910760502A CN 110634180 B CN110634180 B CN 110634180B
Authority
CN
China
Prior art keywords
motion
phase
target
stripe pattern
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910760502.7A
Other languages
English (en)
Other versions
CN110634180A (zh
Inventor
吕磊
贾钊逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan 3d Taike Electronic Technology Co ltd
Original Assignee
Henan 3d Taike Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan 3d Taike Electronic Technology Co ltd filed Critical Henan 3d Taike Electronic Technology Co ltd
Priority to CN201910760502.7A priority Critical patent/CN110634180B/zh
Publication of CN110634180A publication Critical patent/CN110634180A/zh
Application granted granted Critical
Publication of CN110634180B publication Critical patent/CN110634180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于相移轮廓术的多运动物体三维重构方法，包括以下步骤：(1)确定不同物体的感兴趣区域，将每个感兴趣区域中的对象作为目标；(2)采用高速跟踪算法‑核相关滤波器对目标进行单独跟踪，并在捕获图像中识别出运动后的目标区域；(3)利用运动前和运动后目标的区域，获得每个对象运动的旋转矩阵和平移向量；(4)将尺度不变特征变换算法用于跟踪区域，得到相应的特征点；(5)利用目标运动与相位值的关系，用运动信息的重建模型消除运动引起的误差；(6)利用N步相移轮廓术得到物体上的条纹图案，求得物体的包裹相位，分别恢复相位图并对多个目标进行重构；本发明具有可对多个不同运动的对象进行重构，重构精度高的优点。

Description

一种基于相移轮廓术的多运动物体三维重构方法
技术领域
本发明涉及三维重构技术领域，尤其涉及一种基于相移轮廓术的多运动物体三维重构方法。
背景技术
相移轮廓术(PSP)是目前最常用的三维重构技术之一，PSP具有精度高、鲁棒性强等优点，常用于三维形状测量中，其典型结构包括一台摄像机和一台投影仪，投影仪将多个已知相移的条纹图案(通常至少三个)投射到物体表面，然后，相机捕获从物体表面反射的条纹图案，利用多个条纹图的强度值，恢复相位图，并且通过条纹图案中存在的相位信息来计算物体表面的高度信息，传统PSP原理：对于N步PSP，从参考平面和物体上获取的条纹图案可以分别表示如下：
和
其中n＝1，2，3,……,N；N为条纹图案的数量；为参考平面上的第n个条纹图案；/>为物体上的第n个条纹图案；a为环境光，b为正弦条纹图案强度的幅值；φr(x,y)为参考平面上的相位值；φ0(x,y)为物体表面上的相位值。
参考平面和物体的相位图可以通过以下公式计算得到
和
其中φ(x,y)为参考平面上的相位值；Φ(x,y)为由物体高度引起的参考平面和物体之间的相位差；基于正确的相位信息，可以在系统校准之后成功地重构对象。
从公式(4)可以看出，采用多个条纹图案来恢复相位值，在测量过程中，物体需要保持稳定，若物体在捕获到的条纹图案之间发生移动，则会引入误差，从而导致错误的重构结果，若物体在捕获过程中发生运动，在传统的PSP中会产生两个问题：(1)不同条纹图案中的物体位置不匹配；(2)对象上同一点的相移是未知的；当用传统的PSP重构运动物体时会引入误差，申请人已经通过将运动信息引入重建模型，消除了二维运动所引起的误差，实现了对多个运动物体的重构(Lei Lu,Zhaoyi Jia,Yinsen Luan,JiangtaoXi.Reconstruction of isolated moving objects with high 3D frame rate based onphase shifting profilometry.Optics Communications,2018.),但是，这个方法需要多个对象具有相同的运动，而不能对多个具有不同运动的对象进行重构。
发明内容
本发明的目的是为了克服现有技术的不足，而提供一种基于相移轮廓术的多运动物体三维重构方法，该方法可以对多个具有不同运动的对象进行重构。
本发明的目的是这样实现的：一种基于相移轮廓术的多运动物体三维重构方法，包括以下步骤：
(1)确定不同物体的感兴趣区域，将每个感兴趣区域中的对象作为目标，以跟踪之后捕获的条纹图案中对象的移动；
(2)采用高速跟踪算法-核相关滤波器(KCF)对目标进行单独跟踪，并在捕获图像中识别出运动后的目标区域；
(3)利用运动前和运动后目标的区域，获得描述每个对象运动的旋转矩阵和平移向量；
(4)将尺度不变特征变换(SIFT)算法应用于跟踪区域，得到相应的特征点；
(5)利用目标运动与相位值之间的关系，采用运动信息的重建模型消除运动引起的误差；
(6)利用N步相移轮廓术得到物体上的条纹图案，求得物体的包裹相位，分别恢复相位图并对多个目标进行重构。
所述的步骤(1)中没有发生运动物体和运动后物体的条纹图案分别表示如下：
和
其中n＝1，2，3,……,N；N为条纹图案的数量；为物体上的第n个条纹图案；a为环境光，b为正弦条纹图案强度的幅值；φ0(x,y)为物体表面上的相位值；Φ(f(x,y),g(x,y))为点(x,y)运动后的相位差。
所述的步骤(3)中每个对象运动的旋转矩阵和平移向量的计算过程如下：
假设对象在x-y平面上执行二维运动，点(x，y)将按照下面的关系移动到点(u，v)，
其中R,T和/>被称为描述(x，y)和(u，v)之间关系的旋转矩阵和平移向量，它们由下式给出：
(R,T)和之间的关系可以由下式表达：
所述的步骤(6)中物体上的条纹图案表示如下：
其中I′1(x,y)为第一个原始的条纹图案。
所述的步骤(6)中包裹相位的计算公式如下：
其中
本发明产生的有益效果：本发明公开了一种基于相移轮廓术的多运动物体三维重构方法，由于物体具有不同的运动，多个对象可以具有不同的运动，应首先确定感兴趣的区域，然后分别对目标进行单独跟踪，并得到描述运动的旋转矩阵和平移向量，利用目标运动与相位值之间的关系，采用运动信息的重建模型消除运动引起的误差，最后通过将运动信息引入重构模型，分别恢复相位图并对多个目标进行重构，通过实验验证该方法的有效性。
附图说明
图1为采用KCF方法的跟踪结果图，其中，(a)为无条纹的纯物体图像；(b)和(c)为要跟踪的感兴趣区域图；(d)和(e)为运动后的跟踪区域图。
图2为采用SIFT方法的跟踪结果图。
图3为按顺序依次捕获到的三个条纹图案，其中，(a)为第一个捕获的条纹图案；(b)为第二个捕获的条纹图案；(c)为第三个捕获的条纹图案。
图4为跟踪和匹配的结果图，其中，(a)为跟踪对象；(b)为跟踪结果图；(c)为通过SIFT算法获得的特征点图。
图5为采用传统方法的重构结果图。
图6为图5的网格显示图。
图7为采用基于相移轮廓术的多运动物体三维重构方法的重构结果图。
图8为图7的网格显示图。
具体实施方式
实施例1
一种基于相移轮廓术的多运动物体三维重构方法，包括以下步骤：
(1)确定不同物体的感兴趣区域，将每个感兴趣区域中的对象作为目标，以跟踪之后捕获的条纹图案中对象的移动；
(2)采用高速跟踪算法-核相关滤波器(KCF)对目标进行单独跟踪，并在捕获图像中识别出运动后的目标区域；
(3)利用运动前和运动后目标的区域，获得描述每个对象运动的旋转矩阵和平移向量；
(4)将尺度不变特征变换(SIFT)算法应用于跟踪区域，得到相应的特征点；
(5)利用目标运动与相位值之间的关系，采用运动信息的重建模型消除运动引起的误差；
(6)利用N步相移轮廓术得到物体上的条纹图案，求得物体的包裹相位，分别恢复相位图并对多个目标进行重构。
由于多个对象具有不同的运动，因此应单独跟踪这些对象，然后，检索每个对象的旋转矩阵和平移向量，为了单独跟踪物体的运动，首先需要确定不同物体的感兴趣区域，基于被测对象的图像，如图1(a)所示，在重构前手动设置感兴趣区域，如图1(b)和图1(c)所示，矩形中的对象是我们希望重构的区域，然后，将每个矩形中的对象作为目标，以跟踪之后捕获的条纹图案中对象的移动，采用高速跟踪算法-核相关滤波器(KCF)对目标进行跟踪，并在其他捕获图像中识别出运动后的目标区域，如图1(d)和图1(e)所示，利用运动前和运动后目标的区域，可以检索描述运动的旋转矩阵和平移向量，将尺度不变特征变换(SIFT)算法应用于跟踪区域，图2显示了SIFT方法的匹配结果，可得到相应的特征点，该方法计算速度快，定位精度高。
为了计算运动物体的相位图，第一个任务是描述物体的运动，假设对象在x-y平面上执行二维运动，点(x，y)将按照下面的关系移动到点(u，v)，
其中R,T和/>被称为描述(x，y)和(u，v)之间关系的旋转矩阵和平移向量，它们由下式给出：
(R,T)和之间的关系可以由下式表达：
由于物体表面的形状不变，运动后物体表面的高度分布变为：
h′(u,v)＝h(x,y)＝h(f(u,v),g(u,v)) (9)
其中
f(u,v)＝r11u+r12v+t1，g(u,v)＝r21u+r22v+t2 (10)
在不丧失一般性的情况下，(u,v)可以被(x,y)替代，得到:
h′(x,y)＝h(f(x,y),g(x,y)) (11)
没有发生运动的物体上的条纹图案可以用公式(2)描述，因此，运动后物体的条纹图案可以表示为：
其中Φ(f(x,y),g(x,y))为点(x,y)运动后的相位差。
由公式(12)可得
其中
对于N步PSP，可以得到物体上的条纹图案如下：
其中I′1(x,y)为第一个原始的条纹图案。求解公式(15)可以得到包裹相位
其中
利用物体上的条纹图案求得物体的包裹相位，分别恢复相位图并对多个目标进行重构，本发明所提供的基于相移轮廓术的多运动物体三维重构方法可以对多个具有不同运动的对象进行重构，重构精度高。
实施例2
一种基于相移轮廓术的多运动物体三维重构方法，包括以下步骤：
(1)确定不同物体的感兴趣区域，将每个感兴趣区域中的对象作为目标，以跟踪之后捕获的条纹图案中对象的移动；
(2)采用高速跟踪算法-核相关滤波器(KCF)对目标进行单独跟踪，并在捕获图像中识别出运动后的目标区域；
(3)利用运动前和运动后目标的区域，获得描述每个对象运动的旋转矩阵和平移向量；
(4)将尺度不变特征变换(SIFT)算法应用于跟踪区域，得到相应的特征点；
(5)利用目标运动与相位值之间的关系，采用运动信息的重建模型消除运动引起的误差；
(6)利用N步相移轮廓术得到物体上的条纹图案，求得物体的包裹相位，分别恢复相位图并对多个目标进行重构。
所述的步骤(1)中没有发生运动物体和运动后物体的条纹图案分别表示如下：
和
其中n＝1，2，3,……,N；N为条纹图案的数量；为物体上的第n个条纹图案；a为环境光，b为正弦条纹图案强度的幅值；φ0(x,y)为物体表面上的相位值；Φ(f(x,y),g(x,y))为点(x,y)运动后的相位差。
所述的步骤(3)中每个对象运动的旋转矩阵和平移向量的计算过程如下：
假设对象在x-y平面上执行二维运动，点(x，y)将按照下面的关系移动到点(u，v)，
其中R,T和/>被称为描述(x，y)和(u，v)之间关系的旋转矩阵和平移向量，它们由下式给出：
(R,T)和之间的关系可以由下式表达：
所述的步骤(6)中物体上的条纹图案表示如下：
其中I′1(x,y)为第一个原始的条纹图案。
所述的步骤(6)中包裹相位的计算公式如下：
其中
为了同时获得运动信息和相位信息，采用彩色摄像机并投影出红色条纹图案，在捕获的图像中，红色通道中的条纹图案用于相位恢复，同时，利用蓝色通道中没有条纹的纯物体图像对目标进行跟踪。如图3所示，测量两个物体(一个台阶和一个圆柱体)并采用三步PSP，物体在二维平面内任意运动，用KCF算法对目标进行跟踪，并通过SIFT算法得到相对应的点，图3(a)-(c)是依次捕获到的三个条纹图案，台阶部分从第一个条纹图案(图3(a))逆时针旋转4度到第二个条纹图案(图3(b))；在第二个条纹图案和第三个条纹图案之间沿顺时针方向旋转2度(图3(c))；对于圆柱体部分，它从第一个条纹图案向右移动40个像素，向下移动40个像素到第二个条纹图案；从第二个条纹图案向左移动10个像素，向下移动30个像素到第三个条纹图案。
图4(a)-(b)显示了移动跟踪结果，图4(c)显示了通过SIFT算法获得的特征点，首先利用传统的相移轮廓仪对目标进行重构，结果如图5和图6所示，很明显，结果中引入了误差，图7和图8显示了利用本发明所提供方法的重构结果，得到正确相位图，物体被成功重构，证明了该方法的有效性。

Claims (1)

1.一种基于相移轮廓术的多运动物体三维重构方法，其特征在于：包括以下步骤：
(1)确定不同物体的感兴趣区域，将每个感兴趣区域中的对象作为目标，以跟踪之后捕获的条纹图案中对象的移动；
(2)采用高速跟踪算法-核相关滤波器对目标进行单独跟踪，并在捕获图像中识别出运动后的目标区域；
(3)利用运动前和运动后目标的区域，获得描述每个对象运动的旋转矩阵和平移向量；
(4)将尺度不变特征变换算法应用于跟踪区域，得到相应的特征点；
(5)利用目标运动与相位值之间的关系，采用运动信息的重建模型消除运动引起的误差；
(6)利用N步相移轮廓术得到物体上的条纹图案，求得物体的包裹相位，分别恢复相位图并对多个目标进行重构；
其中，所述步骤(1)中没有发生运动物体和运动后物体的条纹图案分别表示如下：
和
其中n＝1，2，3，……，N；N为条纹图案的数量；为物体上的第n个条纹图案；a为环境光，b为正弦条纹图案强度的幅值；φ0(x,y)为物体表面上的相位值；Φ(f(x,y),g(x,y))为点(x,y)运动后的相位差；
所述的步骤(3)中每个对象运动的旋转矩阵和平移向量的计算过程如下：
假设对象在x-y平面上执行二维运动，点(x，y)将按照下面的关系移动到点(u，v)，
其中R，T和/>被称为描述(x,y)和(u,v)之间关系的旋转矩阵和平移向量，它们由下式给出：
(R,T)和之间的关系可以由下式表达：
所述的步骤(6)中物体上的条纹图案表示如下：
其中I′1(x,y)为第一个原始的条纹图案；
所述的步骤(6)中包裹相位的计算公式如下：
其中
其中，为了同时获得运动信息和相位信息，采用彩色摄像机投影出红色条纹图案，在捕获的图像中，红色通道中的条纹图案用于相位恢复，蓝色通道中没有条纹的纯物体图像用于对目标进行跟踪。
CN201910760502.7A 2019-08-16 2019-08-16 一种基于相移轮廓术的多运动物体三维重构方法 Active CN110634180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910760502.7A CN110634180B (zh) 2019-08-16 2019-08-16 一种基于相移轮廓术的多运动物体三维重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910760502.7A CN110634180B (zh) 2019-08-16 2019-08-16 一种基于相移轮廓术的多运动物体三维重构方法

Publications (2)

Publication Number Publication Date
CN110634180A CN110634180A (zh) 2019-12-31
CN110634180B true CN110634180B (zh) 2024-02-02

Family

ID=68970537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910760502.7A Active CN110634180B (zh) 2019-08-16 2019-08-16 一种基于相移轮廓术的多运动物体三维重构方法

Country Status (1)

Country Link
CN (1) CN110634180B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233225B (zh) * 2020-10-14 2023-08-29 中国科学技术大学 基于相位相关匹配的平移运动物体三维重建方法和系统
CN113066164A (zh) * 2021-03-19 2021-07-02 河南工业大学 一种基于相移轮廓术的单条纹运动物体三维重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106767531B (zh) * 2016-12-27 2019-03-29 河南工业大学 一种二维运动物体的三维测量方法及装置
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描系统的三维重构方法和装置
CN109631797B (zh) * 2018-12-28 2020-08-11 广东奥普特科技股份有限公司 一种基于相移技术的三维重构无效区域快速定位方法

Also Published As

Publication number Publication date
CN110634180A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN110514143B (zh) 一种基于反射镜的条纹投影系统标定方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
EP1649423B1 (en) Method and sytem for the three-dimensional surface reconstruction of an object
US10529076B2 (en) Image processing apparatus and image processing method
CN104596439A (zh) 一种基于相位信息辅助的散斑匹配三维测量方法
CN111637850A (zh) 一种无需主动视觉标记的自拼接表面点云测量方法
Furukawa et al. Depth estimation using structured light flow--analysis of projected pattern flow on an object's surface
CN110634180B (zh) 一种基于相移轮廓术的多运动物体三维重构方法
CN110692084B (zh) 用于导出场景的拓扑信息的装置和机器可读存储介质
CN112815843B (zh) 一种3d打印过程中工件表面打印偏差的在线监测方法
CN105890540A (zh) 基于数字图像相关的物体离面变形相位测量方法
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
CN108961378B (zh) 一种多目点云三维重建方法、装置及其设备
CN106767531B (zh) 一种二维运动物体的三维测量方法及装置
Hu et al. High-speed and accurate 3D shape measurement using DIC-assisted phase matching and triple-scanning
CN113066164A (zh) 一种基于相移轮廓术的单条纹运动物体三维重建方法
CN111640084A (zh) 一种基于lk光流的高速像素匹配方法
CN116429014A (zh) 一种正交多投射的混叠图像不分离结构光三维测量方法
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
CN116433841A (zh) 一种基于全局优化的实时模型重建方法
Wong et al. 3D model reconstruction by constrained bundle adjustment
Chen et al. Feature points matching for face reconstruction based on the window unique property of pseudo-random coded image
CN117333649B (zh) 一种动态扰动下高频线扫描稠密点云的优化方法
KR20200074798A (ko) 3차원 스캐닝 장치 및 그 방법
Fanfani et al. LaserGun: A tool for hybrid 3D reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant