CN107967697A - 基于彩色随机二元编码结构照明的三维测量方法和系统 - Google Patents

基于彩色随机二元编码结构照明的三维测量方法和系统 Download PDF

Info

Publication number
CN107967697A
CN107967697A CN201711183737.1A CN201711183737A CN107967697A CN 107967697 A CN107967697 A CN 107967697A CN 201711183737 A CN201711183737 A CN 201711183737A CN 107967697 A CN107967697 A CN 107967697A
Authority
CN
China
Prior art keywords
gray
images
image
random binary
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711183737.1A
Other languages
English (en)
Other versions
CN107967697B (zh
Inventor
朱江平
周佩
荆海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201711183737.1A priority Critical patent/CN107967697B/zh
Publication of CN107967697A publication Critical patent/CN107967697A/zh
Application granted granted Critical
Publication of CN107967697B publication Critical patent/CN107967697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于彩色随机二元编码结构照明的三维测量方法和系统，能够降低颜色串扰对三维重建的影响，实现更高测量精度和更高空间分辨率的全分辨率动态三维测量。所述方法包括：分别产生三幅模式分布不相同的灰度随机二元编码图像；获取一幅彩色随机二元编码结构光图像；将所获取的彩色随机二元编码结构光图像投影到测量目标的表面上；获取经过测量目标形貌调制的左、右变形彩色编码图像；分离出左、右各三幅变形灰度编码图像；对分离出的左、右变形灰度编码图像进行像素相关匹配获取视差数据，并基于双目立体视觉原理和视差数据对测量目标进行三维重建，获取测量目标表面的三维坐标数据。

Description

基于彩色随机二元编码结构照明的三维测量方法和系统
技术领域
本发明涉及光学三维测量技术领域，尤其涉及一种基于彩色随机二元编码结构照明的三维测量方法和系统。
背景技术
光学三维测量技术在工业检测、影视特技、医学美容和文物保护等领域得到了广泛应用。它通过投影点、线、面结构光场照明测量空间的待测物体，然后通过某种图像处理方法和光学测量原理分析摄像机获取的受物体形貌调制的结构光场，从而实现三维重建。近年来，由于测量效率的显著优势，面结构光照明的三维测量技术得到了广泛的研究和应用。
在很多应用场景，比如动态目标，具有代表性的基于多帧正弦条纹投影的结构光编码方法完成一次三维测量的方案很难胜任这一工作。为了最大程度上解决目标运动造成的问题，通常增加投影仪和相机拍摄的帧率是一个较为直接的办法，但同时也增加了硬件的成本，不利于推广应用。于是，人们将注意力转移到单帧投影结构光场的三维测量技术的研究：完成一次三维测量仅需要一幅图像，只要投影和拍摄同步就可以抓取动态场景某一时刻的三维形态，目标的运动并不会对测量过程造成任何影响。傅里叶变换轮廓术作为基于单帧结构光场照明实现动态三维测量的典型代表(Takeda M，Mutoh K.Fouriertransform profilometry for the automatic measurement of3-D object shapes[J].Applied Optics，1983，22(24)：3977.)，采用单频正弦结构光场照明，然后对相机获取的变形条纹进行傅里叶变换等一系列操作完成三维重建。由于这种方案图像分析方法的特性，如全场图像分析、空间相位展开，因而并不适合测量有空间孤立和形状跳跃的物体，也不适用于形貌复杂的曲面测量。
随机二元编码结构光场(亦称散斑结构光场)照明结合相关匹配算法是另一种单帧结构照明的光学三维测量技术：通过数字投影或者激光照明漫反射表面，亦或基于衍射光学原理产生随机二元或者有一定灰度变化结构光场，处于光场的目标对光场进行形貌调制。从单目测量系统角度讲，仅需要一台相机获取变形编码图像，三维重建过程中获得的编码图像要和标定过程中与深度位置关联的参考编码图像进行时间相关计算；从双目视觉原理讲，两台相机分别从以投影光场两侧的某个角度获取变形的编码图像，通过空域立体匹配计算与目标三维坐标相关的视差。这种方案的测量精度不高，尤其是测量面形复杂的目标，但对于空间孤立的情况并没有严格的限制。
为了提高测量精度，Schaffer等人提出在双目视觉测量的基础上，投影多帧(例如12或者20帧)模式分布互不相同的时间序列散斑结构光场(Schaffer M，Grosse M，Kowarschik R.High-speed pattern projection for three-dimensional shapemeasurement using laser speckles[J].Applied Optics，2010，49(18)：3622.)，两台相机同时获取同一时刻场景的变形散斑图像，结合时空相关算法取得了较为满意的测量效果。尽管只需要严格保证两台相机的同步(作者设计了一种连续变换的散斑投影装置)，但是需要获取多帧图像进行计算。由于图像采集消耗的时间无法避免，导致重建结果无法反映运动目标某一时刻的实际状态，而是一段时间的积分，导致重建的表面出现运动造成的条状纹理，因此对于快速运动目标的三维测量仍然存在同步困难，测量精度和空间分辨率较低等问题。
发明内容
本发明的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种基于彩色随机二元编码结构照明的三维测量方法和系统，能够降低颜色串扰对三维重建的影响，实现更高测量精度和更高空间分辨率的全分辨率动态三维测量。
为了实现上述目的，本发明采用的技术方案包括以下各方面。
一种基于彩色随机二元编码结构照明的三维测量方法，其包括：
步骤A：分别产生三幅模式分布不相同的灰度随机二元编码图像；
步骤B：将所产生的三幅灰度随机二元编码图像分别嵌入一幅彩色图像的RGB三个通道，获取一幅彩色随机二元编码结构光图像；
步骤C：将所获取的彩色随机二元编码结构光图像投影到测量目标的表面上；
步骤D：分别从符合双目立体视觉布局的两个不同角度获取经过测量目标形貌调制的左、右变形彩色编码图像；
步骤E：分别从所获取的左、右变形彩色编码图像的RGB通道中分离出左、右各三幅变形灰度编码图像；
步骤F：对分离出的左、右变形灰度编码图像进行像素相关匹配获取视差数据，并基于双目立体视觉原理和视差数据对测量目标进行三维重建，获取测量目标表面的三维坐标数据。
优选的，所述灰度随机二元编码图像为基于局域和全局随机相结合的方式通过图像处理器产生。
优选的，每幅所述灰度随机二元编码图像中像素的灰度为0或者255。
优选的，所述步骤E包括：对获取的左、右变形彩色编码图像进行极线校正，获取仅有列方向上视差的矫正视图，并基于矫正视图分离出左、右各三幅变形灰度编码图像。
优选的，所述步骤F包括：从一幅左或右变形灰度编码图像上待匹配的像素开始，用匹配窗口区域对右或左变形灰度编码图像进行遍历，计算左、右变形灰度编码图像上同一行中允许视差范围内的所有匹配窗口区域内的像素之间的相关系数；当相关系数大于预设阈值时，左、右变形灰度编码图像中两像素点匹配为对应点，逐一计算左、右变形灰度编码图像上对应点之间的视差，获取视差数据。
优选的，所述相关系数的计算式为：
式中，(i，j)、(i，，j，)分别为左、右变形灰度编码图像上中心像素；G(m，n)和Gavg分别表示左变形灰度编码图像中像素(m，n)的灰度值和匹配窗口内所有像素的平均灰度值；G’(m’，n’)和G’avg分别表示右变形灰度编码图像中像素(m’，n’)的灰度值和匹配窗口内所有像素的平均灰度值；匹配窗口大小为[(2mx+1),(2my+1)]；
其中，mx，my为大于1的正整数；
优选的，所述方法包括：将分离出的左、右各三幅变形灰度编码图像按照时间序列进行像素相关匹配来获取视差数据。
优选的，所述相关系数的计算式为：
式中，(i，j)、(i，，j，)分别为左、右变形灰度编码图像上中心像素；G(m，n，t)和Gavg分别表示三幅左变形灰度编码图中像素(m，n)的灰度值和匹配窗口内所有像素的平均灰度值；G’(m’，n’，t)和G’avg分别表示三幅右变形灰度编码图像中像素(m’，n’)的灰度值和匹配窗口内所有像素的平均灰度值；匹配窗口大小为[(2mx+1),(2my+1)]；
其中，mx，my为大于1的正整数；N表示左、右变形灰度编码图像分别参与时空相关的图像数量，N为大于或等于3的正整数；
优选的，所述方法进一步包括：重复执行步骤A和步骤B来产生多幅彩色随机二元编码结构图像；分别利用每一幅彩色随机二元编码结构图像执行步骤C～E来获取左、右各大于三幅变形灰度编码图像；并将左、右各大于三幅变形灰度编码图像按照时间序列进行像素相关匹配来获取视差数据。
一种基于彩色随机二元编码结构照明的三维测量系统，其包括用于执行上述任一种方法的彩色数字投影仪、两台彩色工业相机、同步控制电路以及图像处理器。
综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：
1、本发明通过彩色二元编码图形的RGB通道装载的二元随机编码图形采用0或255两种状态，不受数字投影仪非线性的影响，颜色串扰对三维重建的影响几乎可以忽略。
2、本发明的硬件组成只需要一台彩色二元编码图形的数字投影仪、2台彩色工业相机，且彩色编码图形的投影与两台相机不需要严格同步。
3.本发明的方案实现目标的三维重建只需要投影一幅彩色结构光编码图像，从获取的彩色编码图像中分离出三幅灰度编码图像，采用时空相关算法具有很高的可靠性。三维重建帧率仅受相机帧率的限制，因而可实现全分辨率动态三维测量。
4.本发明的方案比传统灰度随机二元编码光场照明的方案具有更高的测量精度和更高的空间分辨率。
附图说明
图1是根据本发明实施例的基于彩色随机二元编码结构照明的三维测量方法的流程图。
图2是根据本发明实施例的示例性灰度随机二元编码图像和彩色随机二元编码结构光图像。
图3是根据本发明实施例的左、右相机及投影仪的设置位置示意图。
图4是根据本发明实施例的示例性变形彩色编码图像。
图5是根据本发明实施例的示例性三维坐标数据对应的测量目标三维模型图。
图6是根据本发明实施例的按照时间序列进行时空归一化交叉像素相关匹配的示意图。
图7是根据本发明实施例的三维测量系统对测量标准平面的点云结果示意图。
具体实施方式
下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，根据本发明一实施例的基于彩色随机二元编码结构照明的三维测量方法包括如下步骤：
步骤101：分别产生三幅模式分布不相同的灰度随机二元编码图像
具体地，可以通过计算机编程来产生灰度随机的二元编码图像，其中产生的灰度随机二元编码可以基于局域和全局随机相结合的方式，保证编码图像的高度随机性。并且，所产生的三幅灰度随机二元编码图像在空间模式分布上互不相同，且相互之间不存在任何相关性。其中，每幅二元编码图像中像素的灰度仅有0和255两种状态。示例性的灰度随机二元编码图像如图2中的(a)～(c)所示。
步骤102：将所产生的三幅灰度随机二元编码图像分别嵌入一幅彩色图像的RGB三个通道，获取一幅彩色随机二元编码结构光图像
其中，嵌入的顺序可以任意选择，无严格限制，所获取的示例性彩色随机二元编码结构光图像如图2中的(d)所示。
步骤103：将所获取的彩色随机二元编码结构光图像投影到测量目标的表面上
例如，可以将中间分辨率为1366×768像素的数字投影仪(例如，EPSON CX-25)设置在正对测量目标的位置，并所获取的彩色随机二元编码结构光图像投影到测量目标的表面。
步骤104：分别从符合双目立体视觉布局的两个不同角度获取经过测量目标形貌调制的左、右变形彩色编码图像
具体地，可以使用分别设置在投影仪左右两侧的两台相机(例如均为IDS公司的3060CP型工业相机，其分辨率为1936x 1216像素、CCD靶面尺寸为1/1.2”、焦距f＝16mm)来捕获物体的变形编码图像。为了符合双目立体视觉布局，左右相机的基线距离(即左右相机所确定的线上的距离)约为320mm，可以用于测量距离0.5-1m处的物体。图3示出了示例性的左相机31、右相机32及投影仪30的设置位置，左相机31、右相机32所获取的示例性变形彩色编码图像分别如图4中的(a)、(b)所示。
步骤105：分别从所获取的左、右变形彩色编码图像的RGB通道中分离出左、右各三幅变形灰度编码图像
其中，可以在分离前对变形彩色编码图像进行极线校正，获取仅有列方向上视差的矫正视图，并基于矫正视图分离出左、右各三幅变形灰度编码图像。
步骤106：对分离出的左、右变形灰度编码图像进行像素相关匹配获取视差数据，并基于双目立体视觉原理和视差数据对测量目标进行三维重建，获取测量目标表面的三维坐标数据
在各实施例中，可以重复执行步骤101和步骤102来产生多幅(例如，M幅，且M≥2)彩色随机二元编码结构图像，并分别利用每一幅彩色随机二元编码结构图像执行步骤103～105来获取左、右各大于三幅(例如3*M)变形灰度编码图像，并将大于三幅变形灰度编码图像按照时间序列进行像素相关匹配以获取更为准确的视差数据，从而实现对静态测量目标进行高精度的三维测量。所获取的示例性三维坐标数据对应的测量目标三维模型在不同视角下如图5中的(a)～(c)所示。
上述步骤106中，对分离出的左、右各一幅变形灰度编码图像进行像素归一化交叉相关匹配获取视差数据包括：
从一幅左变形灰度编码图像上待匹配的像素开始，或者从右变形灰度编码图像上待匹配的像素开始，以大小为[(2mx+1),(2my+1)]的匹配窗口区域对右或左变形灰度编码图像进行遍历，计算左、右变形灰度编码图像上同一行中允许视差范围内的所有匹配窗口区域内的像素之间的相关系数；其中，mx，my为大于1的正整数；
当相关系数δ大于预设阈值δth(例如，δth＝0.1)时，左、右变形灰度编码图像中两像素点匹配为对应点，即该两像素对应于测量目标上的同一点；
逐一计算左、右变形灰度编码图像上对应点之间的视差，获取视差数据。
其中，相关系数δ的计算式为：
式中，(i，j)、(i，，j，)分别为左、右变形灰度编码图像上中心像素；G(m，n)和Gavg分别表示左变形灰度编码图像中像素(m，n)的灰度值和匹配窗口内所有像素的平均灰度值；同样地，G’(m’，n’)和G’avg分别表示右变形灰度编码图像中像素(m’，n’)的灰度值和匹配窗口内所有像素的平均灰度值。当左变形灰度编码图像的像素(m，n)与同一行上右变形灰度编码图像的某个像素(m’，n’)的相关系数δ大于设定的阈值(δ>δth)时，认为(m’，n’)是(m，n)的对应点。
上所述实施例中描述了对分离出的左、右各一幅变形灰度编码图像进行像素立体匹配获取视差数据的步骤。在优选的实施例中，为了获取更为精确的视差数据，提高三维测量的精度，可以基于RGB三个通道中分离出左、右各三幅变形灰度编码图像，按照时间序列t进行时空归一化交叉像素相关匹配(如图6中的600层所示)，来获取视差数据。相应地，时空归一化交叉像素相关匹配中的相关系数δ的计算式为：
式中，G(m，n，t)和Gavg分别表示左变形灰度编码图像中RGB通道分离出的三幅图像像素(m，n，t)的灰度值和匹配窗口内所有像素的平均灰度值；G’(m’，n’，t)和G’avg分别表示右变形灰度编码图像中RGB通道三幅图像像素(m，n，t)的灰度值和匹配窗口内所有像素的平均灰度值；N表示左、右变形灰度编码图像分别参与时空相关的图像数量。其中，N在上述实施例中取值为3，但在也可以通过多幅彩色随机二元编码结构图像，并分别利用每一幅彩色随机二元编码结构图像来获取左、右各大于三幅变形灰度编码图像，使得N大于3；
进一步地，基于每两个像素之间的视差和双目立体视觉布局，根据三角原理计算测量目标上对应点的深度，继而根据测量目标上每个点的深度数据，获取测量目标表面的三维坐标数据，实现对测量目标的精确测量。
为了实施上述方法，本发明的实施例进一步公开了一种基于彩色随机二元编码结构照明的三维测量系统，其包括：一台彩色数字投影仪、两台彩色工业相机、同步控制电路以及图像处理器，以执行上述各实施例所述的方法。通过该系统对一个标准平面度优于0.01mm的平晶标准件进行了三维测量，重建效果如图7所示，其最大测量偏差小于0.3mm，标准偏差小于0.06mm。
以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于彩色随机二元编码结构照明的三维测量方法，其特征在于，所述方法包括：
步骤A：分别产生三幅模式分布不相同的灰度随机二元编码图像；
步骤B：将所产生的三幅灰度随机二元编码图像分别嵌入一幅彩色图像的RGB三个通道，获取一幅彩色随机二元编码结构光图像；
步骤C：将所获取的彩色随机二元编码结构光图像投影到测量目标的表面上；
步骤D：分别从符合双目立体视觉布局的两个不同角度获取经过测量目标形貌调制的左、右变形彩色编码图像；
步骤E：分别从所获取的左、右变形彩色编码图像的RGB通道中分离出左、右各三幅变形灰度编码图像；
步骤F：对分离出的左、右变形灰度编码图像进行像素相关匹配获取视差数据，并基于双目立体视觉原理和视差数据对测量目标进行三维重建，获取测量目标表面的三维坐标数据。
2.根据权利要求1所述的方法，其特征在于，所述灰度随机二元编码图像为基于局域和全局随机相结合的方式通过图像处理器产生。
3.根据权利要求1所述的方法，其特征在于，每幅所述灰度随机二元编码图像中像素的灰度为0或者255。
4.根据权利要求1所述的方法，其特征在于，所述步骤E包括：对获取的左、右变形彩色编码图像进行极线校正，获取仅有列方向上视差的矫正视图，并基于矫正视图分离出左、右各三幅变形灰度编码图像。
5.根据权利要求1所述的方法，其特征在于，所述步骤F包括：从一幅左或右变形灰度编码图像上待匹配的像素开始，用匹配窗口区域对右或左变形灰度编码图像进行遍历，计算左、右变形灰度编码图像上同一行中允许视差范围内的所有匹配窗口区域内的像素之间的相关系数；当相关系数大于预设阈值时，左、右变形灰度编码图像中两像素点匹配为对应点，逐一计算左、右变形灰度编码图像上对应点之间的视差，获取视差数据。
6.根据权利要求5所述的方法，其特征在于，所述相关系数的计算式为：
<mrow> <mi>&amp;delta;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <msup> <mi>i</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>j</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>x</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>x</mi> </msub> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>y</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>y</mi> </msub> </munderover> <mo>&amp;lsqb;</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>+</mo> <mi>l</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>h</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>G</mi> <mrow> <mi>a</mi> <mi>v</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> <mo>&amp;lsqb;</mo> <msup> <mi>G</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <msup> <mi>i</mi> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <mi>l</mi> <mo>,</mo> <msup> <mi>j</mi> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <mi>h</mi> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>G</mi> <mrow> <mi>a</mi> <mi>v</mi> <mi>g</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>&amp;rsqb;</mo> </mrow> <mrow> <msqrt> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>x</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>x</mi> </msub> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>y</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>y</mi> </msub> </munderover> <msup> <mrow> <mo>&amp;lsqb;</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>+</mo> <mi>l</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>h</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>G</mi> <mrow> <mi>a</mi> <mi>v</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <msqrt> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>x</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>x</mi> </msub> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>y</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>y</mi> </msub> </munderover> <msup> <mrow> <mo>&amp;lsqb;</mo> <msup> <mi>G</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <msup> <mi>i</mi> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <mi>l</mi> <mo>,</mo> <msup> <mi>j</mi> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <mi>h</mi> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>G</mi> <mrow> <mi>a</mi> <mi>v</mi> <mi>g</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mfrac> <mo>;</mo> </mrow>
式中，(i，j)、(i’，j’)分别为左、右变形灰度编码图像上中心像素；G(m，n)和Gavg分别表示左变形灰度编码图像中像素(m，n)的灰度值和匹配窗口内所有像素的平均灰度值；G’(m’，n’)和G’avg分别表示右变形灰度编码图像中像素(m’，n’)的灰度值和匹配窗口内所有像素的平均灰度值；匹配窗口大小为[(2mx+1),(2my+1)]；
其中，mx，my为大于1的正整数；
7.根据权利要求5所述的方法，其特征在于，所述方法包括：将分离出的左、右各三幅变形灰度编码图像按照时间序列进行像素相关匹配来获取视差数据。
8.根据权利要求7所述的方法，其特征在于，所述相关系数的计算式为：
<mrow> <mi>&amp;delta;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <msup> <mi>i</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>j</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>y</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>y</mi> </msub> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>x</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>x</mi> </msub> </munderover> <mo>&amp;lsqb;</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>+</mo> <mi>l</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>h</mi> <mo>,</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>G</mi> <mrow> <mi>a</mi> <mi>v</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> <mo>&amp;lsqb;</mo> <msup> <mi>G</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <msup> <mi>i</mi> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <mi>l</mi> <mo>,</mo> <msup> <mi>j</mi> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <mi>h</mi> <mo>,</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>G</mi> <mrow> <mi>a</mi> <mi>v</mi> <mi>g</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>&amp;rsqb;</mo> </mrow> <mrow> <msqrt> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>y</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>y</mi> </msub> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>x</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>x</mi> </msub> </munderover> <msup> <mrow> <mo>&amp;lsqb;</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>+</mo> <mi>l</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>h</mi> <mo>,</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>G</mi> <mrow> <mi>a</mi> <mi>v</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <msqrt> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>y</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>y</mi> </msub> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>m</mi> <mi>x</mi> </msub> </mrow> <msub> <mi>m</mi> <mi>x</mi> </msub> </munderover> <msup> <mrow> <mo>&amp;lsqb;</mo> <msup> <mi>G</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <msup> <mi>i</mi> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <mi>l</mi> <mo>,</mo> <msup> <mi>j</mi> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <mi>h</mi> <mo>,</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>G</mi> <mrow> <mi>a</mi> <mi>v</mi> <mi>g</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mfrac> <mo>;</mo> </mrow>
式中，(i，j)、(i’，j’)分别为左、右变形灰度编码图像上中心像素；G(m，n，t)和Gavg分别表示三幅左变形灰度编码图中像素(m，n)的灰度值和匹配窗口内所有像素的平均灰度值；G’(m’，n’，t)和G’avg分别表示三幅右变形灰度编码图像中像素(m’，n’)的灰度值和匹配窗口内所有像素的平均灰度值；匹配窗口大小为[(2mx+1),(2my+1)]；
其中，mx，my为大于1的正整数；N表示左、右变形灰度编码图像分别参与时空相关的图像数量，N为大于或等于3的正整数；
9.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：重复执行步骤A和步骤B来产生多幅彩色随机二元编码结构图像；分别利用每一幅彩色随机二元编码结构图像执行步骤C～E来获取左、右各大于三幅变形灰度编码图像；并将左、右各大于三幅变形灰度编码图像按照时间序列进行像素相关匹配来获取视差数据。
10.一种基于彩色随机二元编码结构照明的三维测量系统，其特征在于，所述系统包括用于执行权利要求1～9中任一项所述方法的彩色数字投影仪、两台彩色工业相机、同步控制电路以及图像处理器。
CN201711183737.1A 2017-11-23 2017-11-23 基于彩色随机二元编码结构照明的三维测量方法和系统 Active CN107967697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711183737.1A CN107967697B (zh) 2017-11-23 2017-11-23 基于彩色随机二元编码结构照明的三维测量方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711183737.1A CN107967697B (zh) 2017-11-23 2017-11-23 基于彩色随机二元编码结构照明的三维测量方法和系统

Publications (2)

Publication Number Publication Date
CN107967697A true CN107967697A (zh) 2018-04-27
CN107967697B CN107967697B (zh) 2021-02-26

Family

ID=62000459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711183737.1A Active CN107967697B (zh) 2017-11-23 2017-11-23 基于彩色随机二元编码结构照明的三维测量方法和系统

Country Status (1)

Country Link
CN (1) CN107967697B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108645353A (zh) * 2018-05-14 2018-10-12 四川川大智胜软件股份有限公司 基于多帧随机二元编码光场的三维数据采集系统及方法
CN108924407A (zh) * 2018-06-15 2018-11-30 深圳奥比中光科技有限公司 一种深度成像方法及系统
CN109887022A (zh) * 2019-02-25 2019-06-14 北京超维度计算科技有限公司 一种双目深度相机的特征点匹配方法
CN110415201A (zh) * 2019-07-30 2019-11-05 北京理工大学 基于结构光和深度学习的单曝光超分辨率成像方法及装置
CN110443888A (zh) * 2019-08-15 2019-11-12 华南理工大学 一种形成多次反射成像的结构光三维重建装置及方法
CN110440712A (zh) * 2019-08-26 2019-11-12 英特维科技(苏州)有限公司 自适应大景深三维扫描方法与系统
CN111429571A (zh) * 2020-04-15 2020-07-17 四川大学 一种基于时空图像信息联合相关的快速立体匹配方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046291A1 (en) * 2005-11-18 2009-02-19 Koninklijke Philips Electronics, N.V. Device for imaging an interior of a turbid medium
CN101373135A (zh) * 2008-07-01 2009-02-25 南京航空航天大学 基于瞬时随机光照的三维曲面测量装置及方法
CN102445165A (zh) * 2011-08-05 2012-05-09 南京航空航天大学 基于单幅彩色编码光栅的立体视觉测量方法
CN102704215A (zh) * 2012-04-24 2012-10-03 东南大学 基于dst文件解析与机器视觉结合的绣布自动切割方法
CN102768069A (zh) * 2012-07-27 2012-11-07 中国科学院空间科学与应用研究中心 一种互补测量的单光子光谱计数成像系统及方法
CN103900494A (zh) * 2014-03-31 2014-07-02 中国科学院上海光学精密机械研究所 用于双目视觉三维测量的同源点快速匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046291A1 (en) * 2005-11-18 2009-02-19 Koninklijke Philips Electronics, N.V. Device for imaging an interior of a turbid medium
CN101373135A (zh) * 2008-07-01 2009-02-25 南京航空航天大学 基于瞬时随机光照的三维曲面测量装置及方法
CN102445165A (zh) * 2011-08-05 2012-05-09 南京航空航天大学 基于单幅彩色编码光栅的立体视觉测量方法
CN102704215A (zh) * 2012-04-24 2012-10-03 东南大学 基于dst文件解析与机器视觉结合的绣布自动切割方法
CN102768069A (zh) * 2012-07-27 2012-11-07 中国科学院空间科学与应用研究中心 一种互补测量的单光子光谱计数成像系统及方法
CN103900494A (zh) * 2014-03-31 2014-07-02 中国科学院上海光学精密机械研究所 用于双目视觉三维测量的同源点快速匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邢威等: "基于数字微镜器件的高光面物体三维测量方法", 《光学学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108645353A (zh) * 2018-05-14 2018-10-12 四川川大智胜软件股份有限公司 基于多帧随机二元编码光场的三维数据采集系统及方法
CN108924407A (zh) * 2018-06-15 2018-11-30 深圳奥比中光科技有限公司 一种深度成像方法及系统
CN108924407B (zh) * 2018-06-15 2020-12-18 深圳奥比中光科技有限公司 一种深度成像方法及系统
CN109887022A (zh) * 2019-02-25 2019-06-14 北京超维度计算科技有限公司 一种双目深度相机的特征点匹配方法
CN110415201A (zh) * 2019-07-30 2019-11-05 北京理工大学 基于结构光和深度学习的单曝光超分辨率成像方法及装置
CN110415201B (zh) * 2019-07-30 2022-03-22 北京理工大学 基于结构光和深度学习的单曝光超分辨率成像方法及装置
CN110443888A (zh) * 2019-08-15 2019-11-12 华南理工大学 一种形成多次反射成像的结构光三维重建装置及方法
CN110440712A (zh) * 2019-08-26 2019-11-12 英特维科技(苏州)有限公司 自适应大景深三维扫描方法与系统
CN111429571A (zh) * 2020-04-15 2020-07-17 四川大学 一种基于时空图像信息联合相关的快速立体匹配方法

Also Published As

Publication number Publication date
CN107967697B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN107967697B (zh) 基于彩色随机二元编码结构照明的三维测量方法和系统
US11003897B2 (en) Three-dimensional real face modeling method and three-dimensional real face camera system
US9501833B2 (en) Method and system for providing three-dimensional and range inter-planar estimation
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US20190156557A1 (en) 3d geometric modeling and 3d video content creation
US5003166A (en) Multidimensional range mapping with pattern projection and cross correlation
CN106875435B (zh) 获取深度图像的方法及系统
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
KR20120058828A (ko) 3차원 좌표 추출 시스템 및 그 방법
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
CN105890546A (zh) 基于正交格雷码和线移相结合的结构光三维测量方法
CN111563952B (zh) 基于相位信息与空间纹理特征实现立体匹配方法及系统
CN110940295B (zh) 基于激光散斑极限约束投影的高反射物体测量方法及系统
Kim et al. Adaptive 3D sensing system based on variable magnification using stereo vision and structured light
CN106225676B (zh) 三维测量方法、装置及系统
CN108645353B (zh) 基于多帧随机二元编码光场的三维数据采集系统及方法
CN107990846A (zh) 基于单帧结构光的主被动结合深度信息获取方法
Je et al. Color-phase analysis for sinusoidal structured light in rapid range imaging
WO2013012054A1 (ja) 画像処理方法および装置
Dal Mutto et al. Microsoft kinect™ range camera
JP2015019346A (ja) 視差画像生成装置
CN107103620B (zh) 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
CN111023999B (zh) 一种基于空间编码结构光的稠密点云生成方法
Xu et al. High-resolution modeling of moving and deforming objects using sparse geometric and dense photometric measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant