CN109690241A - 三维测定装置和三维测定方法 - Google Patents

三维测定装置和三维测定方法 Download PDF

Info

Publication number
CN109690241A
CN109690241A CN201780054883.6A CN201780054883A CN109690241A CN 109690241 A CN109690241 A CN 109690241A CN 201780054883 A CN201780054883 A CN 201780054883A CN 109690241 A CN109690241 A CN 109690241A
Authority
CN
China
Prior art keywords
word
pattern
dimensional
column
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780054883.6A
Other languages
English (en)
Other versions
CN109690241B (zh
Inventor
付星斗
诹访正树
长谷川友纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109690241A publication Critical patent/CN109690241A/zh
Application granted granted Critical
Publication of CN109690241B publication Critical patent/CN109690241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

三维测定装置的特征在于，具有：投影单元，其将具有二维编码图案的图案光投影到所述测定对象物上，所述二维编码图案是二维地配置分别具有不同的二维构造且能够相互区分的多个种类的字而成的；摄像单元，其拍摄被投影所述图案光的所述测定对象物；以及计算单元，其根据由所述摄像单元拍摄到的图像计算该图像的对象像素的三维位置，所述二维编码图案二次对称。优选二维编码图案是按照每列在列方向上重复规定的字而得到的图案，从一端起第k列的字与使从另一端起第k列的字旋转180°而得到的字相同。此外，优选投影单元通过衍射光学元件生成图案光。

Description

三维测定装置和三维测定方法
技术领域
本发明涉及对图案光进行投影而对测定对象物的三维位置进行测定的三维测定技术。
背景技术
作为对测定对象物的三维形状进行测定的方法，公知有主动型计测(active计测)。在主动型计测中，在对测定对象物投影图案光的状态下进行拍摄，根据拍摄到的图像上的图案的位置，使用三角测量的原理求出测定对象物的三维形状(各像素的三维位置)。
在主动型计测中，仅根据一张图像就能够测定三维形状的单触发主动测量也是特别有益的技术。其理由可举出：第一，由于仅利用一张图像，因此能够进行实时测量；第二，还能够测量移动物体；第三，在摄像机移动的情况下(例如在摄像机安装在机器人的手上的情况下)也能够进行测量。
单触发主动测量能够大致分成ToF(Time-of-Flight：飞行时间)法和使用构造光(图案光)的方法这两种。ToF法是根据从传感器发光部发出的光到达受光部为止的光路长度来测定距离的方式。另一方面，在使用构造光的方法中，在对测定对象物投影图案光的状态下进行拍摄，根据拍摄到的图像上的图案的位置求出测定对象物的三维形状。在本说明书中，对使用构造光的方法进行说明。使用构造光的方法具有高精度(特别是在近距离中)、宽视野、低成本这样的优点。
作为构造光的一例，专利文献1公开有使用随机点图案的方法。非专利文献2提示使用具有随机构造的图案的系统。但是，当使用随机点时，存在作为基础的算法即模板匹配所需要的计算量增多这样的问题。
此外，非专利文献1和专利文献2公开有使用进行空间编码后的图案光的方法。非专利文献1和专利文献2中的二维图案具有二维地铺设被称作图元(primitive)的图案结构要素而得到的构造。包含多个图元的窗口(例如由2×3的图元构成)能够由该窗口中包含的多个图元来确定。因此，根据摄影图像检测图元的排列，由此能够计算三维位置。
现有技术文献
专利文献
专利文献1：日本特开2004-212385号公报
专利文献2：美国专利第8090194号说明书
非专利文献
非专利文献1：P.Vuylsteke and A.Oosterlinck,Range image acquisitionwith a single binary-encoded light pattern,IEEE Trans.Pattern Analysis andMachine Intelligence,Vol.12,No.2,pp.148-164,1990.
非专利文献2：Hiroshi Kawasaki,Hitoshi Masuyama,Ryusuke Sagawa and RyoFurukawa,“Single Color One-shot Scan using Topology Information”,ComputerVision ECCV 2012.Workshops and Demonstrations,DOI 10.1007/978-3-642-33885-4_49
发明内容
发明要解决的课题
本发明正是鉴于上述实情而完成的，本发明的目的在于，提供能够使用构造光以单触发方式进行三维测定的与以往相比更加有效的三维测定方法。
用于解决课题的手段
本发明的第一方式是一种三维测定装置，其对测定对象物的三维形状进行测定，其特征在于，所述三维测定装置具有：投影单元，其将具有规定的图案的图案光投影到所述测定对象物上；摄像单元，其拍摄被投影所述图案光的所述测定对象物；以及计算单元，其根据由所述摄像单元拍摄到的图像计算该图像的对象像素的三维位置，所述规定的图案二次旋转对称。换言之，规定的图案关于其中心旋转180°时，与原来的图案相同。
通过使图案光的图案成为上述结构，在现有的主动三维测量能够实现的效果的基础上，产生能够使用衍射光学元件(DOE)构成投影部这样的优点。投影部不需要必须使用DOE构成，例如也可以使用掩模构成，但是，投影部的设计灵活性提高是有利的效果。
在本方式中，上述规定的图案是按照每列在列方向上重复规定的要素图案而得到的图案，从一端起第k列的要素图案可以是与使从另一端起第k列的要素图案旋转180°而得到的要素图案相同的图案。换言之，在整体为N列(N为整数)时，从一端起第k列的要素图案和第N-k+1列的要素图案具有相互旋转180°这样的关系。或者，也可以理解成第k列整体的图案和第N-k+1列整体的图案是相互旋转180°的关系。如果这样构成图案，则该图案整体成为二次旋转对称的图案。
此时，优选各列的要素图案相互不同。如果要素图案按照每列而不同，则能够根据图案唯一确定列。但是，即使是一部分列与其他列相同的图案，通过还考虑相邻列的图案，也能够确定列。
本方式中的规定的图案的另一例是如下的图案：其上半部分在列方向上重复规定的要素图案，下半部分与使所述上半部分的图案整体旋转180°而得到的图案相同。这样，规定的图案整体也成为二次旋转对称的图案。
在本方式中，所述计算单元能够计算所述计算对象像素的三维位置，作为根据三维位置的计算对象像素中的所述图案光的图案求出的平面与根据所述计算对象像素的像素位置求出的直线的交点。
另外，本发明可以理解成包含上述单元中的至少一部分的三维测定装置。此外，本发明还可以理解成包含上述单元进行的处理中的至少一部分的三维测定方法。此外，还可以理解成用于使计算机执行这些方法的各步骤的计算机程序、非暂时性存储有该程序的计算机可读取的存储介质。只要不产生技术上的矛盾，则上述结构和处理能够分别相互组合而构成本发明。
发明效果
根据本发明，能够进行与以往相比更加有效的三维测定。
附图说明
图1的(A)是示出本实施方式中的图案光整体的一例的图。
图1的(B)是示出本实施方式中的图案光的一例的图。
图1的(C)是示出本实施方式中的图案光的一例的图。
图2是说明三维位置的计算原理的图。
图3的(A)～图3的(D)是说明本实施方式中的图案光的编码方式的图。
图4的(A)、图4的(B)是说明本实施方式中的图案光的编码方式的图。
图5的(A)、图5的(B)是说明本实施方式的图案光的构造和设计方法的一例的图。
图6的(A)、图6的(B)是说明本实施方式的图案光的构造和设计方法的另一例的图。
图7是示出本实施方式的三维测定系统的系统结构的图。
图8是示出本实施方式的三维测定系统中的处理流程的流程图。
具体实施方式
下面，参照附图对本发明的优选实施方式进行说明。本实施方式的三维测定系统对测定对象物投影图案光进行拍摄，使用三角测量的原理对测定对象物的三维形状进行测定。
[概要]
图1的(A)是示出本实施方式中投影的图案光整体的一例的图。示出在纵向上具有周期性，成为二次对称的图形。
图1的(B)是示出在本实施方式中投影的图案光的重复单位的一例的图。图案光10被实施规定的编码(详细情况在后面叙述)，能够视为图1的(C)所示的码的二维排列。图案光10按照每列具有特有的码列，因此，通过分析被投影图案光的测定对象物的摄影图像，能够求出摄影图像的各像素对应于图案光的哪列。更具体而言，各像素以图元为单位进行处理。
图2是说明本实施方式中的三维计测的原理的图。图2示出从投影部21对测定对象物20投影图案光23，由摄像机22拍摄被投影图案光的测定对象物20。这里，通过调查摄影图像26的测距对象像素27附近的投影图案(码)，可知像素27中映出的图案光是哪列的图案光。这里，设在像素27中映出列24。于是，能够求出像素27中映出的测定对象物20的点25的三维位置，作为包含投影部21和列24的平面28与连接摄像机22和像素27的直线29的交点。
[编码方式]
接着，对本实施方式中的图案光的编码方式进行说明。本实施方式中的图案光具有二维编码图案。具体而言，通过二维地排列规定数量的由明暗2值构成的有限种类的“图元”(基本图案)而得到的“字”构成一个码字。二维编码图案具有多个种类的“字”，各种类的“字”分别具有不同的二维构造，能够相互区分。
图3的(A)是说明被称作“图元”的要素的图。图元30由中央的一个小矩形即“比特”31及其周围的4个大矩形即“网格”32～35构成。根据比特和网格有无光照射的组合，一个图元取图3的(D)所示的4个值。
另外，在图3的(A)中，比特不仅存在于中央部，还存在于其周围，但是，决定图元值的比特仅是中央的比特，因此，省略周围的比特的记载。
首先，如图3的(B)所示，根据比特31有无光照射，图元30的值(绝对值)决定为“0”或“1”。另外，这里，黑色的矩形表示被照射光，白色的矩形表示未被照射光，但是也可以相反。
接着，如图3的(C)所示，根据网格32～35的组合，图元30的符号决定为“正”或“负”。正和负的图案也可以分别相反。
然后，如图3的(D)所示，根据比特31和网格32～35的组合，图元30可取“+1”“-1”“+0”“-0”这4个值。
图4的(A)是示出由多个图元构成的“字”的例子的图。这里，示出利用4行4列的图元构成一个字的例子，但是，构成1个字的字的数量可以适当决定。例如，也可以设3×3或2×4的图元为1个字。
图4的(B)示出字40中包含的图元的一部分。字40包含5×5的网格。这里，字40内的图元是通过一个网格一个网格地偏移2×2网格(1个图元)的范围而得到的。因此，如图4的(B)所示，在字40的左端的列中包含4个图元41～44。各行也同样由4个图元构成，因此，字40由16个图元构成。即，1个字对应于由16个图元构成的码。
在图1的(B)所示的图案10中，配置成在列方向上重复字11。这里，字11由4×4的图元构成。
一眼即可看出图案10的左端的列仅由字11构成，但是，实际上，通过使字11向下偏移1个图元而得到另一个不同的字。通过同样进行偏移，如图1的(C)所示，在图1的(B)的左端的列中得到“A1”“A2”“A3”“A4”这4个字。当从最初的位置偏移4个图元时，得到与最初的字11相同的字，因此，以后反复包含“A1”“A2”“A3”“A4”。行方向也同样按照每1个图元得到字。这样，相邻的字彼此相互重复。
[图案的设计方法/其一]
在本实施方式中，采用二次对称的图案作为图案光。这里，参照图5的(A)、(B)对图案的设计方法进行说明。
下面，通过排列图案的一部分即“要素图案”来设计图案。此时，假设使用与1个字相同大小的图案作为要素图案来进行说明，但是，要素图案不需要必须是字单位，也可以是比1个字大的图案。
在图5的(A)中，图案50的左端的列(第1列)反复配置相同的要素图案。因此，第1列的最上部的要素图案52和最下部的要素图案53是相同的图案。接着，右端的列反复配置使第1列的要素图案52旋转180°而得到的要素图案。因此，右端的最上部的要素图案54和最下部的要素图案55均使要素图案52旋转180°。
在本例中，一般而言设计成从左侧起第k列的要素图案与使从右侧起第k列(从左侧起第N-k+1列)的要素图案旋转180°而得到的要素图案相同。此外，各列是重复相同的要素图案而得到的。因此，如图5的(B)所示，通过决定从第1列到第N/2列的要素图案52、56、…、57，能够决定整体的图案50。
这样设计的图案50在关于中心51旋转180°时成为相同的图案。即，图案50是关于中心51二次对称的图案。另外，这里的说明和图5的(A)、(B)中的“列”意味着要素图案的列。因此，在整体的图案50由N列的要素图案构成且各要素图案由M列的图元构成的情况下，整体的图案50具有大约N×M列(准确地讲为N×(M-1)+1列)的图元或字。
根据上述设计方法可知，当以字单位的列进行考虑时，满足从左侧起第k列(字列)的字与使从右侧起第k列(字列)的字旋转180°而得到的字相同这样的条件。
另外，优选图案50中包含的各列的要素图案相互不同。为了满足该条件，优选不仅要素图案52、56、…、57相互不同，而且包含它们的旋转180°图案的要素图案也相互不同。这是因为，如果要素图案相互不同，则各字列中包含的字也相互不同，因此，能够根据1列的字判别是哪列。但是，即使一部分的列由与其他列相同的字构成，通过调查包含相邻列的字在内的字的组合，也能够确定列，因此，也可以不必满足上述条件。因此，相邻的多列(例如3列、5列等)的字的排列方式的图案与其他多列的图案相互不同即可。
[图案的设计方法/其二]
参照图6的(A)、(B)对与上述不同的另一个图案的设计方法进行说明。在本例中，如图6的(A)所示，首先，决定图案60内的上半部分的区域(上部区域)62的图案。在上部区域62中，各列是配置相同的要素图案而构成的。针对上部区域62的全部列决定要素图案(64、65等)，在列方向上重复该要素图案，由此能够决定上部区域62的图案。
接着，如图6的(B)所示，通过使上部区域62旋转180°，决定下半部分的区域(下部区域)63的图案。
这样设计的图案60在关于中心61旋转180°时成为相同的图案。即，图案60是关于中心61二次对称的图案。
在本例中，1列中包含的字在上部区域62和下部区域63中不同，产生无法仅根据摄影图像中的1列字确定列的情况。具体而言，在i列存在字X且在j列存在字Y，当使字Y反转时成为与字X相同的字的情况下，即使从图像中检测到字X，也无法确定其是第i列还是第j列。此外，在反转而成为相同字的X位于第k列的情况下，即使从图像中检测到字X，也无法确定其是第k列还是第N-k列(N为整体图案中的字的列数)。但是，通过还调查相邻列的字，能够确定列。
在本例中，也优选上部区域的各列的要素图案相互不同。但是，即使一部分的列由与其他列相同的字构成，通过调查相邻列的字，也能够确定列，因此，也可以不必满足上述条件。
[图案设计中的注意事项]
上述没有详细叙述，但是，优选以使包含要素图案的边界的字为有效字的方式设计各个要素图案。即，优选以使在列方向上排列要素图案时的边界部分为有效字的方式决定各列的要素图案。此外，优选以使相邻的2列要素图案的边界部分也为有效字的方式决定各列的要素图案。进而，在上述第2方法中，优选以使上部区域62与下部区域63的边界部分也为有效字的方式决定各列的要素图案。另外，有效例如意味着在图案中相互不同、包含相邻列的字在内的字的组合相互不同。
上述图案的设计方法的说明只是一例，只要图案二次对称即可，可以是任何图案，此外，其设计方法也没有特别限定。例如，在第1方法中，也可以针对左半部分的区域进行设计，右半部分的区域设计成使左半部分的区域旋转180°。
在上述说明中，设为设计在行方向上排列多个“要素图案”的整体图案进行了说明，但是，本发明的设计方法不限于此。如下所述，可考虑一个图元一个图元地增加行方向的图案的方法。
1.配置一个最初成为最左侧的字。
2.在其右侧追加一列“图元”。
3.在行整体中确认是否不存在相同的字。如果存在相同的字，则利用其他图元重新进行“2”。
4.反复进行“2”和“3”。到达右端后结束。
这里例示出从行的左端起进行处理的情况，但是，也可以从右端向左进行处理，还可以从中央向两端进行处理。此外，每当追加一列图元时，确认字的重复，但是，也可以每当追加多列图元时，确认字的重复。
[系统结构]
图7是示出本实施方式的三维测定系统1的结构的图。三维测定系统由投影部(投影仪)100、摄影部(摄像机)200和计算机300构成。
投影部100是对具有二次对称图案的图案光进行投影的装置。在本实施方式中，投影部100由激光光源101、衍射光学元件(DOE)102和透镜103构成。对DOE102的表面实施微细加工，由此，当激光入射到DOE102时，出射二维编码图案。
激光光源101生成的激光的波长没有特别限定。例如，能够使用红外光、可视光、紫外光等。
一般而言，DOE102具有能够容易地生成二次对称图案而很难生成除此以外的图案这样的性质。因此，如本实施方式那样，通过使用二次对称图案，容易安装使用DOE的投影部100。
另外，不需要必须通过DOE进行图案光的生成。例如，也可以使用掩模生成图案光。
摄影部(摄像机)200拍摄被投影部100投影图案光的物体。因此，摄影部200的摄像元件需要能够检测投影部100投影的图案光的波长。对投影部100和摄影部200的位置进行调整，以使投影出的图案光的一部分或全部映入摄影部200的视野中。由摄影部200拍摄到的图像被输入到计算机300。
计算机300进行投影部100和摄影部200的控制，并且根据被投影图案光的计测对象物的拍摄图像计算三维位置。计算机300构成为通用计算机(信息处理装置)，该通用计算机构成为包含：CPU(Central Processing Unit：中央处理单元)或MPU(Micro ProcessingUnit：微处理单元)等处理器(运算处理装置)；RAM(Random Access Memory：随机存取存储器)等主存储装置；半导体存储器、磁盘、光盘、光磁盘等辅助存储装置；键盘或各种指示器件(鼠标、触摸板、触摸面板、手写板等)或麦克风等输入装置；显示器装置(液晶显示器、CRT显示器、投影仪等)或语音输出装置等输出装置；用于进行有线通信或无线通信的通信装置等。主存储装置上展开的处理器执行辅助存储装置中存储的计算机程序，由此，计算机300提供以下的各功能。但是，也可以使用ASIC(Application Specific Integrated Circuit：面向特定用途的集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)、DSP(Digital Signal Processor：数字信号处理器)等实现以下功能的一部分或全部。此外，计算机300不需要必须构成为1台装置，也可以由多个计算机协作来提供该功能。
计算机300作为其功能部具有控制部301、图像输入部302、三维位置计算部303和图案存储部304。
控制部301负责三维测定系统1的处理整体的控制，特别是实施投影部100对图案光的投影、摄影部200的拍摄以及基于摄影图像的三维测定的控制。
图像输入部302从摄影部200接受摄影图像的输入，作为图像数据存储在存储器中。
三维位置计算部303选择摄影图像的三维位置的计算对象像素，按照选择出的每个对象像素确定该像素中映出的图案光的码(字)即图案中的列(字列)，并且基于列和像素位置计算三维位置。在图案存储部304中存储有投影部100投影的图案光的图案，因此，三维位置计算部303能够根据图像中的图案光的码(字)确定图案中的列。此外，三维位置计算部303保持投影部100与摄影部200的设置位置的关系。因此，能够求出包含投影部100和已确定的列的平面与连接摄影部200和对象像素的直线的交点，作为对象像素的三维位置。
[处理]
参照图8说明本实施方式的三维测定系统1进行的处理内容。在步骤S10中，控制部301控制投影部100，将图案光投影到测定对象物。在步骤S12中，控制部301控制摄影部200，拍摄被投影图案光的测定对象物的图像，从图像输入部302取入拍摄图像。
在步骤S13中，三维位置计算部303通过图像处理从摄影图像中提取作为三维位置计算对象的像素。具体而言，从摄影图像中提取图元，得到图元的中心坐标、图元的码、图元之间的相邻关系的信息。作为图像处理对象的区域可以是摄影图像中的全部像素，但是，也可以将一部分区域中包含的像素作为对象。
针对已得到的计算对象像素分别执行步骤S14～S16的循环L1。在步骤S14中，三维位置计算部303根据由与计算对象像素对应的图元构成的字的图案确定图案中的列。
在步骤S16中，三维位置计算部303计算映出对象像素的被摄体的三维位置(实际空间内的位置)，作为根据图案的列和投影部100确定的平面与根据对象像素的位置(图像内位置)和摄影部200确定的直线的交点。
在针对全部测距对象像素完成三维位置的计算后，在步骤S18中，将三维图存储到存储器中或输出到外部装置。
[本实施方式的有利效果]
根据本实施方式，能够进行单触发的主动三维测量。因此，与TOF方式相比，具有高精度(特别是在近距离中)、宽视野、低成本这样的优点。进而，图案光是二次对称图案，因此，除了使用掩模实现投影装置以外，还能够使用衍射光学元件(DOE)实现投影装置，投影装置的结构灵活性增加。为了对二次对称图案进行投影，作为衍射光学元件，特别地能够使用二元衍射光学元件。二元衍射光学元件的设计容易，并且能够廉价地制造，因此，适合于本发明的实施。
[变形例]
上述实施方式和变形例的说明只不过是用于说明本发明的实施方式的例示，并不意图将本发明限定在该公开范围内。此外，在上述实施方式和各变形例中说明的要素技术能够分别在技术上不矛盾的范围内进行组合来实施本发明。
例如，本发明中能够应用的二维编码图案光不限于上述。特别地，图3的(A)～(D)、图4的(A)～(B)所示的编码方式只不过是一例，也可以采用其他已知的二维编码方式的空间编码方式。作为例子，可举出二维网格索引、使用伪随机二元阵列的网格索引、使用多值伪随机阵列的网格索引。
此外，在三维位置的计算中，将三维位置计算为根据图案的列求出的平面与根据像素位置求出的直线的交点，但是，也可以使用核线(epipolar line)制约求出三维位置。即，也可以在对应的图案的列中，进一步通过核线制约进行行的确定，将三维位置计算为根据图案中唯一求出的图元求出的直线与根据像素位置求出的直线的交点。
在上述实施方式中，将根据图案光求出的三维图作为最终输出，但是，此后，还能够进一步实施平滑化或插值等校正处理而作为最终输出。此外，仅将一张摄影图像作为对象求出三维位置，但是，通过将动态图像的各帧作为对象进行同样的处理，能够进行移动物体的三维测定。
标号说明
1：三维测定系统；100：投影部(投影仪)；101：激光光源；102：衍射光学元件(DOE)；103：透镜；200：摄影部(摄像机)；300：计算机；301：控制部；302：图像输入部；303：三维位置计算部；304：图案存储部。

Claims (12)

1.一种三维测定装置，其对测定对象物的三维形状进行测定，其中，所述三维测定装置具有：
投影单元，其将具有二维编码图案的图案光投影到所述测定对象物上，所述二维编码图案是二维地配置分别具有不同的二维构造且能够相互区分的多个种类的字而成的；
摄像单元，其拍摄被投影所述图案光的所述测定对象物；以及
计算单元，其从由所述摄像单元拍摄到的图像中提取字，根据提取出的字计算该图像的对象像素的三维位置，
所述二维编码图案二次对称。
2.根据权利要求1所述的三维测定装置，其中，
所述多个种类的字均在旋转180°时与所述多个种类的字中的任意字相同。
3.根据权利要求1或2所述的三维测定装置，其中，
在所述二维编码图案中，1个种类的字在一行中仅出现一次，能够通过提取出的字来确定列。
4.根据权利要求1或2所述的三维测定装置，其中，
在所述二维编码图案中，当1个种类的字在一行中出现在多个位置的情况下，在各个位置处，与该字相邻的字的组合是不同的，能够根据提取出的字和与该字相邻的字的组合来确定列。
5.根据权利要求1～4中的任意一项所述的三维测定装置，其中，
所述二维编码图案是按照每列在列方向上重复规定的字而得到的图案，
从一端起第k列的字与使从另一端起第k列的字旋转180°而得到的字相同。
6.根据权利要求1～4中的任意一项所述的三维测定装置，其中，
所述二维编码图案的上半部分在列方向上重复规定的字，
所述二维编码图案的下半部分与使所述上半部分的图案旋转180°而得到的图案相同。
7.根据权利要求1～6中的任意一项所述的三维测定装置，其中，
所述计算单元针对从摄影图像中提取出的字，将所述三维位置计算为根据摄影图像中的位置决定的空间中的直线与根据由该字确定的所述二维编码图案中的列决定的空间中的平面的交点。
8.根据权利要求7所述的三维测定装置，其中，
所述计算单元在所述图像中使用所述对象像素和所述对象像素的周边像素确定包含所述对象像素的字，根据该字计算所述对象像素的三维位置。
9.根据权利要求1～6中的任意一项所述的三维测定装置，其中，
所述计算单元针对从摄影图像中提取出的字，将所述三维位置计算为根据摄影图像中的位置决定的空间中的直线与根据由该字确定的所述二维编码图案中的列和核线的交点决定的空间中的直线的交点。
10.根据权利要求1～9中的任意一项所述的三维测定装置，其中，
所述投影单元通过衍射光学元件(DOE)生成所述图案光。
11.根据权利要求10所述的三维测定装置，其中，
所述衍射光学元件是二元衍射光学元件。
12.一种三维测定方法，对测定对象物的三维形状进行测定，其中，所述三维测定方法包含以下步骤：
投影步骤，将具有二维编码图案的图案光投影到所述测定对象物上，所述二维编码图案是二维地配置分别具有不同的二维构造且能够相互区分的多个种类的字而成的；
摄像步骤，拍摄被投影所述图案光的所述测定对象物；以及
计算步骤，从在所述摄像步骤中拍摄到的图像中提取字，根据提取出的字计算该图像的对象像素的三维位置，
所述二维编码图案二次对称。
CN201780054883.6A 2016-10-14 2017-09-22 三维测定装置和三维测定方法 Active CN109690241B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-202682 2016-10-14
JP2016202682A JP6319395B2 (ja) 2016-10-14 2016-10-14 ３次元測定装置および３次元測定方法
PCT/JP2017/034218 WO2018070210A1 (ja) 2016-10-14 2017-09-22 ３次元測定装置および３次元測定方法

Publications (2)

Publication Number Publication Date
CN109690241A true CN109690241A (zh) 2019-04-26
CN109690241B CN109690241B (zh) 2020-12-15

Family

ID=61905363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780054883.6A Active CN109690241B (zh) 2016-10-14 2017-09-22 三维测定装置和三维测定方法

Country Status (5)

Country Link
US (1) US10818030B2 (zh)
EP (1) EP3527936B1 (zh)
JP (1) JP6319395B2 (zh)
CN (1) CN109690241B (zh)
WO (1) WO2018070210A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566440A (zh) * 2018-02-14 2020-08-21 欧姆龙株式会社 三维测定装置、三维测定方法以及程序

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243513B2 (ja) * 2018-08-02 2023-03-22 オムロン株式会社 計測システムおよび計測方法
DE102020133627A1 (de) * 2020-12-15 2022-06-15 Infinisense Technologies GmbH Verfahren und Intraoralscanner zum Erfassen der Topographie der Oberfläche eines transluzenten, insbesondere dentalen, Objektes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06249631A (ja) * 1993-02-26 1994-09-09 Murata Mach Ltd 積荷の三次元画像計測方法
CN1654922A (zh) * 2003-09-25 2005-08-17 西门子测听技术有限责任公司 环视扫描仪
CN101063605A (zh) * 2006-04-27 2007-10-31 浙江工业大学 基于二维彩色光编码的实时三维视觉系统
CN101089551A (zh) * 2007-07-11 2007-12-19 华中科技大学 一种基于二维编码的三维形貌测量方法
CN103090819A (zh) * 2008-10-06 2013-05-08 曼蒂斯影像有限公司 用于提供三维和距离面间判定的方法和系统
CN104813141A (zh) * 2012-11-21 2015-07-29 三菱电机株式会社 图像生成装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512385B1 (en) * 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US20030067312A1 (en) * 2001-06-12 2003-04-10 Paul Pfaff Voltage testing and measurement
JP2004212385A (ja) 2002-12-19 2004-07-29 Olympus Corp 撮影装置とその撮影装置の撮影方法及び制御方法
US20050068544A1 (en) 2003-09-25 2005-03-31 Gunter Doemens Panoramic scanner
TW200538704A (en) * 2004-05-21 2005-12-01 Zetetic Inst Apparatus and methods for overlay, alignment mark, and critical dimension metrologies based on optical interferometry
JP2008032609A (ja) * 2006-07-31 2008-02-14 Aisin Seiki Co Ltd 三次元形状測定装置及び三次元形状測定方法
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
JP2009031150A (ja) * 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US9927718B2 (en) 2010-08-03 2018-03-27 Kla-Tencor Corporation Multi-layer overlay metrology target and complimentary overlay metrology measurement systems
KR101736266B1 (ko) * 2014-01-10 2017-05-17 주식회사 고영테크놀러지 3차원 형상측정장치 및 방법
US9562760B2 (en) * 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging
US9558436B2 (en) * 2014-06-20 2017-01-31 Qualcomm Incorporated Coded light pattern having hermitian symmetry
US10595941B2 (en) * 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
US10376182B2 (en) * 2015-10-30 2019-08-13 Orthosensor Inc. Spine measurement system including rod measurement
US20170119316A1 (en) * 2015-10-30 2017-05-04 Orthosensor Inc Orthopedic measurement and tracking system
EP3296723A1 (en) * 2016-09-14 2018-03-21 ASML Netherlands B.V. Illumination source for an inspection apparatus, inspection apparatus and inspection method
US10867225B2 (en) * 2018-08-02 2020-12-15 Omron Corporation Measurement system and measurement method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06249631A (ja) * 1993-02-26 1994-09-09 Murata Mach Ltd 積荷の三次元画像計測方法
CN1654922A (zh) * 2003-09-25 2005-08-17 西门子测听技术有限责任公司 环视扫描仪
CN101063605A (zh) * 2006-04-27 2007-10-31 浙江工业大学 基于二维彩色光编码的实时三维视觉系统
CN101089551A (zh) * 2007-07-11 2007-12-19 华中科技大学 一种基于二维编码的三维形貌测量方法
CN103090819A (zh) * 2008-10-06 2013-05-08 曼蒂斯影像有限公司 用于提供三维和距离面间判定的方法和系统
CN104813141A (zh) * 2012-11-21 2015-07-29 三菱电机株式会社 图像生成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566440A (zh) * 2018-02-14 2020-08-21 欧姆龙株式会社 三维测定装置、三维测定方法以及程序
US11321860B2 (en) 2018-02-14 2022-05-03 Omron Corporation Three-dimensional measurement apparatus, three-dimensional measurement method and non-transitory computer readable medium

Also Published As

Publication number Publication date
CN109690241B (zh) 2020-12-15
EP3527936B1 (en) 2021-12-15
JP2018063220A (ja) 2018-04-19
EP3527936A1 (en) 2019-08-21
WO2018070210A1 (ja) 2018-04-19
US20190213753A1 (en) 2019-07-11
US10818030B2 (en) 2020-10-27
EP3527936A4 (en) 2019-12-11
JP6319395B2 (ja) 2018-05-09

Similar Documents

Publication Publication Date Title
EP3516625B1 (en) A device and method for obtaining distance information from views
KR101605224B1 (ko) 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
CN206583415U (zh) 确定反射表面的均匀度的系统、表面分析设备和系统
Ahmadabadian et al. An automatic 3D reconstruction system for texture-less objects
CN113916130B (zh) 一种基于最小二乘法的建筑物位置测量方法
CN101821580A (zh) 用于实物形状的三维测量的系统和方法
CN102376089A (zh) 一种标靶校正方法及系统
CN110288651A (zh) 大尺寸工件的公差视觉检测方法、装置和计算设备
CN109690241A (zh) 三维测定装置和三维测定方法
EP3279864A1 (en) A method for obtaining parameters defining a pixel beam associated with a pixel of an image sensor comprised in an optical device
Yilmazturk et al. Geometric evaluation of mobile‐phone camera images for 3D information
Ravanelli et al. A high-resolution photogrammetric workflow based on focus stacking for the 3D modeling of small Aegean inscriptions
Meng et al. Defocused calibration for large field-of-view binocular cameras
CN108898629B (zh) 用于三维建模中航空行李表面纹理增强的投影编码方法
KR101538014B1 (ko) 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법
Shen et al. Accurate extraction of brick shapes in masonry walls from dense terrestrial laser scanning point cloud
Otero et al. Local iterative DLT soft-computing vs. interval-valued stereo calibration and triangulation with uncertainty bounding in 3D reconstruction
CN115880448B (zh) 基于双目成像的三维测量方法及装置
JP2011059009A (ja) 位置計測対象物、位置計測システム、位置計測用演算装置およびプログラム
Fiedler et al. A Novel Method for Digitalisation of Test Fields by Laser Scanning
US20210027488A1 (en) General monocular machine vision system and method for identifying locations of target elements
JP6001389B2 (ja) 環境復元装置、環境復元方法及び環境復元プログラム
Lau et al. Design of coded structured light based on square-shaped primitives
JP2016121916A (ja) 形状測定装置
Ahmadabadian Photogrammetric multi-view stereo and imaging network design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant