CN106062507A - 计测系统、计测方法及视觉芯片 - Google Patents

计测系统、计测方法及视觉芯片 Download PDF

Info

Publication number
CN106062507A
CN106062507A CN201580000218.XA CN201580000218A CN106062507A CN 106062507 A CN106062507 A CN 106062507A CN 201580000218 A CN201580000218 A CN 201580000218A CN 106062507 A CN106062507 A CN 106062507A
Authority
CN
China
Prior art keywords
projection
image
pattern
subject
pattern image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580000218.XA
Other languages
English (en)
Other versions
CN106062507B (zh
Inventor
渕上竜司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN106062507A publication Critical patent/CN106062507A/zh
Application granted granted Critical
Publication of CN106062507B publication Critical patent/CN106062507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

计测系统(100)具有：投影装置(102)，按照第1图案图像和第2图案图像的投影混合存在的投影流程，将表示第1图案投影图像的第1图案光投影在被摄体上，该第1图案投影图像包括第1图案图像和第2图案图像，第1图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，第2图案图像具有与第1图案图像相同的周期，而且具有与第1图案图像不同的相位；以及至少一个摄像装置(101)，拍摄被投影于被摄体的第1图案光并生成摄像图像。

Description

计测系统、计测方法及视觉芯片
技术领域
本发明涉及计测系统、计测系统使用的计测方法及视觉芯片。
背景技术
从很久以前就知道利用结构灯取得物体的3D形状的方法。例如，专利文献1公开了这种技术。
现有技术文献
专利文献
专利文献1：日本特开昭60－152903号公报
非专利文献
非专利文献1：武井丈治、鏡慎吾、橋本浩一：“高速プロジェクタを用いた3000フレーム毎秒の三次元画像計測システムの開発”、ロボティクス·メカトロニクス講演会講演概要集2007、“1P1-M02(1)”-“1P1-M02(4)”、2007-05-11
非专利文献2：石井抱、石川正俊：“1msビジュアルフィードバックシステムのための高速対象追跡アルゴリズム”、日本ロボット学会誌、Vol.17、No.2、pp.195-201(1999)
发明内容
对于上述以往的计测系统，要求进一步提高对物体的运动的追踪性和鲁棒性。本发明非限定性地示例的一个方式能够提高对物体的运动的追踪性和鲁棒性。
本发明的一个方式的附加的优点及有利之处根据本说明书及附图得到明确。该优点及/或有利之处能够根据本说明书及附图所公开的各种方式及特征单独地提供，为得到其中一个以上的优点及/或有利之处不一定需要所有方式及特征。
本发明的一个方式的计测系统具有：投影装置，按照第1图案图像和第2图案图像的投影混合存在的投影流程，将表示第1图案投影图像的第1图案光投影在被摄体上，所述第1图案投影图像包含所述第1图案图像和所述第2图案图像，所述第1图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第1图案图像相同的周期，而且具有与所述第1图案图像不同的相位；以及至少一个摄像装置，拍摄所述第1图案光并生成摄像图像。
另外，这些总体的或者具体的方式也可以以系统、方法、集成电路、计算机程序或者计算机可读的记录介质来实现，还可以以装置、系统、方法、集成电路、计算机程序及计算机可读的记录介质的任意组合来实现。计算机可读的记录介质例如包括CD-ROM(CompactDisc-Read Only Memory)等非易失性记录介质。
根据本发明，能够提高对物体的运动的追踪性和鲁棒性。
附图说明
图1是表示示例性的实施方式1的计测系统100的概略结构例的示意图。
图2A是表示5bit的葛莱码表的图。
图2B是表示与5bit的葛莱码对应的5bit的辅助码表的图。
图3是表示与5bit的葛莱码对应的图案图像的一部分的概念图。
图4是示例性的实施方式1的计算设备的概略功能框图。
图5是表示示例性的实施方式1的计测系统的计测方法的流程图。
图6A是以往的三维计测的投影流程的图。
图6B是表示示例性的实施方式1的投影流程的图。
图7是表示取得X坐标的0bit的数据时的投影帧的状态的图。
图8A是表示以往的CMOS图像传感器内的单位像素的构造的示意图。
图8B是示意地表示图8A的单位像素内的数据流动的概念图。
图8C是表示示例性的实施方式2的视觉芯片内的单位像素的构造的示意图。
图8D是示意地表示图8C的单位像素内的数据流动的概念图。
图9是表示示例性的实施方式2的视觉芯片的动作的流程图。
图10是表示以往的计测系统的概略结构例的示意图。
具体实施方式
在说明本发明的实施方式之前，首先参照图10说明专利文献1公开的以往的计测系统800。
计测系统800具有摄像装置801、光源802和狭缝板803。狭缝板803设定了具有基于各种葛莱码的不同图案的狭缝，如表示葛莱码的图案803a、803b和803c。摄像装置801拍摄与图案803a、803b和803c分别对应的光，分别生成图像805a、805b和805c。由图像805a、805b和805c构成图像组805。
根据该结构，通过对葛莱码进行解码，能够唯一地确定图像组805中包含的3张图像的相同明暗度的图案是基于经由狭缝板803向哪个方向出射的来自光源802的光。因此，能够确定根据到被摄体804的距离而产生的视差，能够利用三角法类推被摄体804的三维形状。
另外，在计测领域中，除专利文献1以外，还公知有非专利文献1公开的使用光图案投影的高速3D形状计测的方法。
非专利文献1公开了使用光图案投影高速计测3D形状的方法。非专利文献1的计测系统包括摄像装置、以及具有光源和透镜和数字微镜器件的投影装置。摄像装置具有进行高速摄影的功能。例如，摄像装置能够以6000fps进行高速摄影。投影装置能够以6000fps以上投影具有1024×768的像素的二维图像(binary pattern)。可以说非专利文献1的特征在于，将专利文献1的技术的光源及狭缝板替换为投影装置，该投影装置具有能够利用计算机以非常高速的速率进行控制的数字微镜器件。
具体而言，数字微镜器件以6000fps设定对将1024×768的图像的X坐标葛莱码化后的各个比特进行曼彻斯特编码而得到的图案。将该图案投影于投影对象上，摄像装置以6000fps拍摄被投影了图案的投影对象。
X坐标在0～1023的范围内，因而各个坐标用10bit表示。另外，通过曼彻斯特编码，各个坐标能够用20bit表示。因此，从20帧的摄像图像得到各个X坐标。并且，能够利用三角法按照每个像素获得到投影对象的距离。将摄像结果传输给计算装置(例如个人电脑)进行分析。通过曼彻斯特编码对每2帧获得新的X坐标的比特，并进行再计算。因此，作为最终的生产率(through-put)，能够以3000fps的分辨率进行3D计测。
另外，公知有非专利文献2公开的针对高速视觉空间的图像处理技术。
根据非专利文献2，构建了这样的图像处理算法，如果以相对于摄像空间的系统动态足够快的帧率进行拍摄，则能够定义在摄像像素空间内将帧间的对象物体的运动量限定为1像素以下的高速视觉空间。
下面，说明所研究的现有技术的问题点。
非专利文献1启示了使用投影装置和摄像装置以高帧率三维计测移动物体的可行性。
但是，根据非专利文献1的方法，例如在投影装置的投影图像在X坐标方向具有1024像素的情况下，X坐标的10比特量的传输将使用20帧。的确，每当新的比特确定时，新的三维计测的结果就被更新，因而能够以3000fps的速率进行三维计测。但是，其结果是包含基于6000fps的摄像的20帧前的结果，因而实质上的时间分辨率约是投影速率的1/20即300fps。其结果是，实际上能够计测的被摄体的移动速度大受限制。
鉴于这样的问题，想到了具有新的构造的计测系统、以及该计测系统使用的计测方法及视觉芯片。
根据本发明，以足以应对计测对象的被摄体的移动速度的方式限定投影装置和摄像装置的帧率。因此，提供改善对运动的追踪性和鲁棒性的新的图案的编码方式。例如，在计测人体的情况下，假定是体育等运动中的被摄体的运动时，也大致不会产生超过秒速30米的移动。并且，如果是以医疗的诊断目的计测人体时等，能够将被摄体速度限定为更低速。
另外，假定在娱乐设施等中是投影映射的交互式的投影。此时，例如当在保龄球场进行与保龄球联动的内容投影的情况下，即使是世界纪录，保龄球的速度也大约是秒速15米。这意味着即使是按照用途限制被摄体速度的范围，系统也能够正常发挥作用。
本发明的一个方式的概要情况如下所述。
本发明的一个方式的计测系统具有：投影装置，按照第1图案图像和第2图案图像的投影混合存在的投影流程，将表示第1图案投影图像的第1图案光投影在被摄体上，所述第1图案投影图像包含所述第1图案图像和所述第2图案图像，所述第1图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第1图案图像相同的周期，而且具有与所述第1图案图像不同的相位；以及至少一个摄像装置，拍摄所述第1图案光并生成摄像图像。
根据这种结构，可以提供能够提高对物体的运动的追踪性和鲁棒性的计测系统。
在某个方式中，也可以是，所述计测系统还具有运算装置，该运算装置根据所述摄像图像计测所述被摄体的三维形状信息。
根据这种结构，能够实时地计测被摄体的三维形状信息。
在某个方式中，也可以是，所述投影装置在将表示第2图案投影图像的第2图案光以1帧以上的期间投影在所述被摄体上之后，将所述第1图案光以2帧以上的期间投影在所述被摄体上，所述第2图案投影图像包含所述第1图案图像、但不包含所述第2图案图像，所述运算装置根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第2图案光的摄像图像，计测表示距所述被摄体的绝对距离的第2三维形状信息，并根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第1图案光的摄像图像，计测表示所述被摄体的相对变化量的第1三维形状信息，根据所述第1三维形状信息更新所述第2三维形状信息。
根据这种结构，能够得到比现有的方法高的时间分辨率。
在某个方式中，也可以是，所述第1图案投影图像还包括与所述第1及第2图案图像不同的第3图案图像，所述投影流程还包括所述第3图案图像的投影，当关注于在所述第1、第2及第3图案图像之间相互对应的、由所述投影坐标确定的某个像素时，在所述第1及第2图案图像内的所述某个像素的像素值都是1时，所述第3图案图像内的所述某个像素的像素值是0，在所述第1及第2图案图像内的所述某个像素的像素值都是0时，所述第3图案图像内的所述某个像素的像素值是1。
根据这种结构，能够根据摄像结果检测图案光未到达的部位。
在某个方式中，也可以是，在所述第1及第2图案图像内的所述某个像素的像素值相互不同时，所述第3图案图像内的所述某个像素具有0或者1之中的、在所述第3图案图像的过去的帧中出现频次低的一方的值。
根据这种结构，能够提高在二维的图像处理中的应用性。
在某个方式中，也可以是，所述运算装置按照所述被摄体的三维变化量有选择地切换是否将所述第2图案图像的投影混合在所述投影流程中。
根据这种结构，能够限制计测系统的速度。与此相同，也能够对移动物体的加速度施加制约。
在某个方式中，也可以是，所述运算装置按照所述被摄体的三维变化量有选择地决定所述葛莱码的特定的比特。
根据这种结构，能够动态地变更能够追踪被摄体的变化量的范围。
在某个方式中，也可以是，所述运算装置与所述被摄体的三维形状的计测相独立地搜索二维的运动量，参照所述二维的运动量对由所述至少一个摄像装置拍摄的表示所述葛莱码的图像进行解码。
根据这种结构，能够高精度地进行考虑了二维的运动量的三维计测。
在某个方式中，在所述二维的运动量的搜索中使用的图像，是通过将从所述三维形状的计测所取得的多个图像合成而得到的。
根据这种结构，能够在运动搜索等的二维图像处理中使用其合成图像，而不需进行重新拍摄。
在某个方式中，也可以是，所述运算装置对所述摄像图像进行解码，根据被解码后的所述投影坐标、与利用所述至少一个摄像装置的摄像坐标系规定的摄像像素坐标的对应关系，将从所述摄像坐标系得到的所述三维形状信息变换为所述投影坐标系中的三维形状信息。
根据这种结构，能够取得投影坐标系中的三维形状信息。
在某个方式中，也可以是，所述至少一个摄像装置是多个摄像装置，所述多个摄像装置以将所述被摄体的摄像范围相互补充的方式拍摄所述第1图案光。
根据这种结构，能够减少尽管图案光到达了却不能摄像的遮挡区域。
在某个方式中，也可以是，所述运算装置对所述摄像图像进行解码，根据被解码后的所述投影坐标、与利用所述至少一个摄像装置的摄像坐标系规定的摄像像素坐标的对应关系，生成莫尔条纹表面形态测量图像。
根据这种结构，能够取得莫尔条纹表面形态测量图像作为运动图像，适合将本发明用于医疗领域。
在某个方式中，也可以是，所述运算装置根据所述三维形状信息生成投影图像，所述投影装置将表示所述投影图像的投影光投影在所述被摄体上。
根据这种结构，能够使该计测系统作为投影系统发挥作用。
在某个方式中提供在所述计测系统中使用的视觉芯片，所述视觉芯片具有多个单位像素，所述多个单位像素分别具有：受光元件，接受光并生成电荷；第1及第2电荷蓄积部，分别蓄积由所述受光元件在不同的时刻取得的第1及第2电荷；以及比较部，将在所述第1电荷蓄积部蓄积的第1电荷的量与在所述第2电荷蓄积部蓄积的第2电荷的量进行比较，根据表示所述第1电荷与第2电荷的量的大小关系的第1比特、以及表示所述第1电荷与第2电荷的量的差分是否在规定的范围内的第2比特的比较结果进行生成。
根据这种结构，不需在外部设置存储器，能够使存储器容量和频带的成本最小化。
本发明的一个方式的计测方法是在具有投影装置和摄像装置的计测系统统中使用的计测方法，在将表示第2图案投影图像的第2图案光以1帧以上的期间投影在作为计测对象的被摄体上之后，使用所述投影装置将表示第1图案投影图像的第1图案光以2帧以上的期间投影在所述被摄体上，所述第2图案投影图像包含第1图案图像但不包含第2图案图像，所述第1图案投影图像包含所述第1及第2图案图像，所述第1图案图像与将投影坐标系中的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第1图案图像相同的周期，而且具有与所述第1图案图像不同的相位，根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第2图案光的摄像图像，计测表示距所述被摄体的绝对距离的第2三维形状信息，根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第1图案光的摄像图像，计测表示所述被摄体的相对变化量的第1三维形状信息，根据所述第1三维形状信息更新所述第2三维形状信息。
根据这种结构，能够提高对物体的运动的追踪性和鲁棒性。
根据本发明，在使用投影装置和摄像装置三维计测移动物体时，能够得到相对于投影装置的帧率具有比以往高的时间分辨率的三维计测结果。
本发明的一个方式的计测方法包括：第1投射步骤，以第1周期反复向被摄体投射第1数据，该第1数据表示将投影坐标系中的规定的投影坐标葛莱码化得到的葛莱码的特定的比特的数据；第2投射步骤，以与所述第1周期相同的周期反复向被摄体投射第2数据；以及拍摄被投射于所述被摄体的所述第1数据和所述第2数据的步骤，在所述第1投射步骤中反复进行如下处理：在以第1次数连续采用第1图像作为所述第1数据后，以所述第1次数连续采用第2图像作为所述第1数据，在所述第2投射步骤中反复进行如下处理：在以所述第1次数连续采用第3图像作为所述第2数据后，以所述第1次数连续采用第4图像作为所述第2数据。
下面，参照附图说明本发明的具体的实施方式。在下面的说明中，对相同或者相似的构成要素标注相同的参照标号。并且，存在省略重复说明的情况。另外，本发明的实施方式的投影系统不限于以下示例的方式。
(实施方式1)
参照图1～图6说明本实施方式的计测系统100的构造、功能和动作。
图1示意地表示计测系统100的概略结构的一例。计测系统100具有摄像装置101、投影装置102和计算设备104。
投影装置102按照第1图案图像和第2图案图像的投影混合存在的投影流程，将表示第1图案投影图像的第1图案光投影在物体上，所述第1图案投影图像包括第1图案图像和第2图案图像。第1图案图像是与将利用投影坐标系规定的投影坐标葛莱码化而得到的葛莱码的特定的比特对应的图像。第2图案图像具有与第1图案图像相同的周期，而且具有与第1图案图像不同的相位。在本申请说明书中，投影坐标系是指用于确定投影用的图案图像的各个像素的坐标的坐标系。并且，将用于确定图案图像的各个像素的坐标称为投影坐标系的“投影坐标”。投影装置102包括光源和透镜光学系统等。
投影装置102具有X轴方向为32像素、Y轴方向为28像素的分辨率。但是，该分辨率是用于简单进行说明的规格。例如，已知有DLP投影仪等。DLP投影仪可能具有X轴方向为1920像素、Y轴方向为1080像素的分辨率。如果使用这样的DLP投影仪，能够输出超过20000fps的二维图像。能够将这种类型的产品广泛用于投影装置102。
图2A表示将X坐标可能取值的0～31的值葛莱码化得到的5bit的葛莱码。图2B表示与5bit的葛莱码对应的辅助码。图3表示与5bit的葛莱码对应的图案图像的一部分。
图2A所示的葛莱码是利用bit0～bit4这5bit将32种的值代码化而得到的。在葛莱码的特性方面，在相邻的值之间只有某一个的1个比特变化。
图3的(X4a)表示在X坐标的葛莱码值中对应bit4的图案图像。图3的(X4b)表示将(X4a)进行比特反转得到的图案图像。同样，图3的(X3a)表示在X坐标的葛莱码值中对应bit3的图案图像。图3的(X2b)表示将(X2a)进行比特反转得到的图案图像。图3的(X2a)表示在X坐标的葛莱码值中对应bit2的图案图像。图3的(X2b)表示将(X2a)进行比特反转得到的图案图像。
图3的(Y4a)表示在Y坐标的葛莱码值中对应bit4的图案图像。图3的(Y4b)表示将(Y4a)进行比特反转得到的图案图像。同样，图3的(Y3a)表示在Y坐标的葛莱码值中对应bit3的图案图像。图3的(Y2b)表示将(Y2a)进行比特反转得到的图案图像。图3的(Y2a)表示在X坐标的葛莱码值中对应bit2的图案图像。图3的(Y2b)表示将(Y2a)进行比特反转得到的图案图像。
另外，虽然未图示，但也可以存在分别与X坐标及Y坐标的bit1及0对应的图案图像及反转图案图像，但没有图示。
投影装置102将这些图案依次投影在被摄体103上。投影装置102按照后述的投影流程对包括与葛莱码及辅助码对应的图像的投影在内的投影光进行投影。
摄像装置101依次拍摄所投影的图案光并生成摄像图像。并且，摄像装置101具有规定摄像像素坐标的摄像坐标系。摄像装置101包括图像传感器、透镜光学系统等。在本申请说明书中，摄像坐标系是指用于确定通过摄像装置101取得的摄像图像的各像素的坐标的坐标系。将摄像图像的各像素的坐标称为摄像坐标系的“摄像坐标”，以便与“投影坐标”区分。
计算设备104具有控制计测系统100整体的功能。例如，计算设备104根据摄像图像计测被摄体的三维形状信息。计算设备104例如由以计算机、处理器为代表的运算装置或者半导体集成电路实现。半导体集成电路例如指ASIC(Application Specific IntegratedCircuit：专用集成电路)及FPAG(Field Programmable Gate Array：可现场编程门阵列)等。也可以是，在存储器中安装用于发挥各构成要素的功能的计算机程序，半导体集成电路内的处理器依次执行计算机程序，由此实现各构成要素的功能。
参照图4详细说明计算设备104的构造、功能。
图4表示计算设备104的功能单元结构的一例。计算设备104包括图像输出部400、图像输入部410、差分计算部420、帧存储器部430、代码解码单元440、坐标变换部450、坐标变换用存储器部460、坐标插补部470、内容生成部480、图案生成单元490及图像输出部400。计算设备104内的各存储器部例如能够由RAM等构成。另外，坐标变换部450、坐标变换用存储器部460、坐标插补部470、内容生成部480能够任意设定。如后面所述，计测系统100也能够作为投影系统发挥作用。在作为投影系统发挥作用时，在计算设备104安装这些功能单元具有的功能即可。
图像输入部410与图像输出部400同步地接收由摄像装置101拍摄的摄像图像(摄像数据)。图像输入部410将接收到的摄像数据发送给差分计算部420。
差分计算部420按照葛莱码的每个比特，计算表示反转比特和非反转比特的图案图像的差分，由此对曼彻斯特代码进行解码，按照每2帧向代码解码单元440输出数据。
具体而言，如果从图像输入部410接收到的摄像数据是X及Y坐标的非比特反转图像，差分计算部420将该摄像数据写入帧存储器部430。如果该图像数据是X及Y坐标的比特反转图像，差分计算部420读出先前记录在帧存储器430中的非比特反转图像，取得两者的差分。通过取得该差分，无论被摄体的颜色或者环境光怎样，都能够判别投影光的“0”和“1”。将该差分为规定的值以下的区域判定为投影光未投影的区域，将该区域从计测对象区域中去除。
在代码解码用存储器部441中按照摄像装置101的每个像素设有写入区域。将被葛莱码化的坐标数据的各比特值以比特单位写入该写入区域中。该操作是在摄像装置101的曝光时间的期间逐次执行的。
代码解码单元440以比特单位读出被记录在代码解码用存储器部441中的数据。代码解码单元440按照表示图案生成单元490当前输出的图案的类别的信息(图案类别信息)更新特定的比特，将更新后的数据以比特单位写入代码解码用存储器部441内的上述的写入区域中。
代码解码单元440在接收到基于表示第2图案投影图像的第2图案光的摄像数据时，对该摄像数据进行解码，生成表示距被摄体的绝对距离信息的第2三维形状信息。并且，代码解码单元440在接收到基于表示第1图案投影图像的第1图案光的摄像数据时，对该摄像数据进行解码，生成表示被摄体的相对变化量的第1三维形状信息。此时，代码解码单元440根据该变化量校正(更新)距被摄体的绝对距离信息。即，代码解码单元440根据第1三维形状信息更新第2三维形状信息。
代码解码单元440最终将被记录在代码解码用存储器部441中的葛莱码的坐标数据再次变换为二进制数据，并输出给坐标变换部450。
通过截止到此的处理，能够得知利用摄像装置101的某个像素拍摄的投影光是从投影装置102的哪个像素投影的。即，能够得知投影坐标与摄像坐标的对应关系。因此，如果摄像装置101与投影装置102的相互的位置关系是已知的，则能够利用三角法按照每个摄像像素获得距被摄体的距离。但是，所得到的信息是与摄像装置101的摄像像素对应的距离信息。因此，在本实施方式中，将该信息变换为与投影装置102的像素坐标对应的距离信息。
坐标变换部450将从代码解码单元440接收到的数据写入到用与投影装置102的投影坐标对应的地址确定的坐标变换用存储器部460的区域中。然后，坐标变换部450按照投影坐标102的X坐标及Y坐标的顺序、从坐标变换用存储器部460读出第2三维形状信息，由此生成与投影装置102的投影坐标对应的距被摄体的距离信息。
此时，有可能发生不存在对应点的投影像素。具体而言，被投影在被摄体上的与图案图像中某多个像素对应的各个光可能是通过摄像装置101的一个摄像像素拍摄到的。在这种情况下，在葛莱码的特性方面，不存在对应点的投影像素被划入到相邻的两个投影像素中某一方的像素坐标中，因而一侧的投影像素处于没有对应目的地的状态。
坐标插补部470从坐标变换部450接收与投影装置102的投影坐标对应的距离信息。坐标插补部470对于不存在距离信息的投影坐标插补距离信息。这限定于在其周边存在一定数量的、具有能够进行插补的距离信息的投影坐标的部位，并且根据周边坐标的距离信息使用线性插补等插补法进行。坐标插补部470将基于投影坐标系的距离信息输出给内容生成部480。
内容生成部480生成投影用的影像内容。内容生成部480根据从坐标插补部470接收到的距离信息对预先记录的影像内容进行加工，将加工后的影像内容输出给图像输出部400。以下，有时将加工后的影像内容称为“加工后的影像内容”，以便与预先记录的加工前的影像内容区分。
内容生成部480生成没有坐标偏移的与距被摄体的距离准确对应的影像内容。内容生成部480将投影用的加工后的影像内容输出给图像输出部400。
图案生成单元490具有基本图案生成部491、辅助图案生成部492和选择器493。基本图案生成部491生成表示葛莱码的基本图案，该葛莱码是将用投影坐标系规定的投影坐标葛莱码化而得到的。第1图像图案包含在基本图案中。辅助图案生成部492生成具有与基本图案相同的周期、而且具有与基本图案不同的相位的辅助图案。第2图像图案包含在辅助图案中。
通过选择器493选择基本图案或者辅助图案，并输出给图像输出部400。通过与被摄体103的三维变化量对应的选择器493的切换，将辅助图案有选择地混合在基本图案中。其结果是，能够决定基本图案和辅助图案的投影混合存在的投影流程。
图像输出部400将由内容生成部480生成的影像内容、和由图案生成单元490生成的包括基本图案和辅助图案的投影图案，输出给投影装置102。投影装置102将表示加工后的影像内容的投影光投影在被摄体103上。
参照图5、图6A及图6B说明计测系统100的动作。
图5表示计测系统100的计测方法的流程图。
(步骤S101和S102)
首先，说明计测系统100的初始校准的方法的一例。在初始校准中，投影装置102将表示第2图案投影图像的第2图案光以1帧以上的期间投影在被摄体上，该第2图案投影图像包含第1图案图像、但不包含第2图案图像。
在初始校准中，将具有基准平面的不移动的物体等设置在被摄体103的位置。投影装置102将表示图3的图案图像(X4a)的图案光投影在被摄体103上。并且，摄像装置101拍摄该图案光，并取得第1校准图像。
然后，投影装置102将表示图3的图案图像(X4b)的图案光投影在该物体上。摄像装置101拍摄该图案光，并取得第2校准图像。
通过比较第1校准图像和第2校准图像，能够将差分较小的区域判定为投影光未到达的区域。另一方面，能够将差分足够的区域判定为投影光到达的区域，根据该差分的代码对投影坐标进行解码。
通过对X坐标及Y坐标各自的5比特全部反复上述的处理，能够得知在摄像装置101的某个像素拍摄到的投影光是从投影装置102的哪个像素投影的。即，能够得知投影坐标与用摄像装置的摄像坐标系规定的摄像坐标的对应关系。最终，能够通过计算设备104获得距基准平面的绝对的距离信息(第2三维形状信息)。
在后述的3D计测中，使用三角法将与该基准平面在X轴方向上的差分换算为距离。在初始校准中，也能够预先求出Y轴方向的设置误差或者透镜畸变等。当然，在不需要计测精度的情况下，将不需要初始校准。
(步骤S103和S104)
投影装置102将表示第1图案投影图像的第1图案光以2帧以上的期间投影在被摄体上，该第1图案投影图像包括第1图案图像和第2图案图像。换言之，投影装置102按照与基本图案和辅助图案对应的图像的投影混合存在的投影流程，将图案光投影在被摄体上。此时，投影装置102分别投影非反转比特和反转比特的图案图像。
摄像装置101拍摄第1图案光。并且，计算设备104从基于第1图案光的摄像图像取得第1三维形状信息。
(步骤105)
以后，计算设备104根据第1三维形状信息更新第2三维形状信息。因此，能够根据相对的变化量追踪移动物体。
下面，与以往的方法对比说明本实施方式的移动物体的计测方法。
图6A表示以往的三维计测中的投影流程。在以往的投影流程中，在依次投影X坐标的bit0～bit5的投影光的同时进行计测。在一个bit的计测中使用包括反转图案图像的2帧，因而在图6A所示的例子中，以10帧周期反复进行计测。
根据以往的投影流程，每当得到新的比特的计测结果时，对过去5比特量进行累计而得到X坐标。因此，能够利用三角法求出到被摄体103的距离。但是，由于依赖于过去10帧的图像，因而不能避免时间分辨率的下降。
在本实施方式中，除以往在计测中使用的图6A所示的葛莱码以外，还使用辅助码的特定的比特。
再次参照图2A和图2B。关注于在图2A和图2B分别示出的葛莱码及辅助码的各个bit的代码列，可知在葛莱码和辅助码之间，与比特位置相对应地，0和1的反复图案的周期是相同的，该反复图案相互在相位上相差90度。即，辅助码是通过在每个比特使葛莱码的相位偏移90度得到的。
在本实施方式中，计测对象的距离是以计测3个比特的区间即在6帧区间中没有变化1像素量以上为前提的。下面，说明使用与葛莱码的bit0对应的辅助码的bit0的计测方法。
图6B表示本实施方式的三维计测的投影流程。
本实施方式的摄像程序具有根据计测3个比特的区间而确定的单位程序。单位程序包括葛莱码的bit0以及与其对应的辅助码的bit0。单位程序还包括葛莱码的bit0以外的bit。在图示的例子中，首先，表示与葛莱码的bit0、辅助码的bit0、以及葛莱码的bit1对应的图像的图案光，按照该顺序进行投影。然后，表示与葛莱码的bit0、辅助码的bit0、葛莱码的bit2、葛莱码的bit0、辅助码的bit0、葛莱码的bit3、葛莱码的bit0、辅助码的bit0、以及葛莱码的bit4对应的图像的图案光，按照该顺序进行投影。因此，备齐所有的比特需要24帧。以后反复执行这样的投影。这样，在本实施方式的投影流程中，在葛莱码之间插入辅助码。
但是，在关注于图2A的葛莱码的bit0和图2B的辅助码的bit0时，可知只要被摄体的距离的变化小于1像素，如果监视葛莱码及辅助码的bit0，就能够追踪被摄体的距离的相对变化。关于这样的计测方法，公知有通过使用葛莱码的旋转编码器等计测相对移动量的方法。
根据本实施方式，距最先出现在帧内的被摄体的距离的绝对值是伴随着24帧的延迟而得到的。以后，每6帧就能得到距离的变化的相对值。因此，能够使用6帧追踪到对绝对值进行了一次补充的被摄体的距离的变化。因此，能够得到比以往的方法高的时间分辨率。
另外，在本实施方式中示出了使用辅助码的bit0的示例，但本发明不限于此。也能够根据作为计测对象的移动物体的移动量，将bit1或者bit2等用于相对移动量的追踪中。只要根据被摄体的三维变化量有选择地决定葛莱码的特定的比特即可。例如，如图2B所示，如果使用辅助码的bit1，则能够追踪在3像素以内的范围内变化的移动物体。并且，如果使用辅助码的bit2，则能够追踪在7像素以内的范围内变化的移动物体。
另外，也能够一面计测被摄体的移动速度，一面根据被摄体的三维变化量有选择地切换将辅助图案的图像的投影混合在投影流程中，即根据被摄体的三维变化量有选择地切换有无使用辅助图案。另外，也可以动态地变更所使用的辅助图案的bit的位置。许多系统能够实际限制自身的速度。与此相同，也能够对移动物体的加速度施加制约。由于不会产生一定值以上的速度的变化，因而即使是动态地变更辅助图案的bit，也能够在一定的范围内追踪被摄体。
另外，也能够取代以帧单位投射表示图案图像的图案光的方式，而通过对每个图案图像改变颜色或者波长，使在1帧期间叠加更多的图案图像。
下面，以本实施方式的变形例为主进行说明。
在本实施方式中，计测系统100具有一个摄像装置101。但是，计测系统100也可以具有多个摄像装置101。多个摄像装置101能够以将被摄体103的摄像范围相互补充的方式拍摄图案光。因此，能够减少尽管投影光到达了却不能拍摄的遮挡区域。
通过在投影装置102的两侧设置至少两个摄像装置101，能够减少尽管投影光到达了却不能拍摄的遮挡区域。
在本实施方式中，关注于投影装置102和被摄体103之间的距离方向(Z方向)的变化。但是，当然被摄体103也可能在摄像面的X-Y坐标方向上变化。
计算设备104相对于被摄体的三维形状的计测而独立地搜索二维的运动量，参照二维的运动量对表示由摄像装置101拍摄的葛莱码的图像进行解码。
关于向X-Y坐标方向的变化的追踪方法，以往公知有基于二维的图像处理的运动搜索等。通过利用以往的运动搜索来求出各像素的运动向量，并根据过去的帧中对应的像素位置对葛莱码进行解码，由此得到更高的计测性能。尤其是在高速视觉空间中将被摄体的运动的量限制在1像素以内，因而即使是沿所有方向搜索，该搜索也是在3×3范围内完成。
假设帧率是1/10时，需要搜索21×21的范围。因此，相比搜索10次3×3的范围，需要49倍的运算量。这样，即使在增加帧率、将数据量设为10倍时，也有可能发生运算量反而减少至1/49的情况。这是对高速视觉空间施加制约的图像处理的特点。
在此提出这样的方法，将葛莱码或者辅助码等的投影用的非反转比特图案的摄像图像和其反转比特图案的摄像图像进行合成，由此得到在二维的图像处理中使用的图像。
使用非反转比特图案和反转比特图案的图像是在非专利文献1中记述的方法，利用曼彻斯特编码提高鲁棒性。根据曼彻斯特编码，在各bit中时间方向的0和1的出现频次相同。因此，通过将计测用的多个图像合成，能够得到与在对所有像素进行了一定量的投光的状态下得到的图像相同的图像。因此，在运动搜索等二维的图像处理中能够使用其合成图像，而不需重新拍摄。
另外，作为编码的扩展，提出了使用反转比特的图案图像以外的图像的方法。
在上述的说明中，使用了与葛莱码的bit0对应的图像及其反转图像、和与辅助码的bit0对应的图像及其反转图像这4帧。同样，使用3帧也能够实现移动物体的计测。在该方法中，投影流程还包括第3图像帧的投影。
图7表示取得X坐标的0bit的数据时的投影帧的情况。在图7中，第1图像帧是指与图2A的葛莱码的bit0对应的图像的帧。第2图像帧是指与图2B的辅助码的bit0对应的图像的帧。在第3图像帧中，当在各像素中第1及第2图像帧双方的像素值是1时，与该像素对应的像素的像素值是0，在第1及第2图像帧双方的像素值是0时，与该像素对应的像素的其像素值是1。另外，在第3图像帧中，可以不必在意第1及第2图像帧双方的像素值相互不同的像素的像素值。另外，能够按照不同的顺序投影这些图像帧。
根据该方法，如果在3帧期间中计测对象的运动足够小，则由于在各像素包含0和1，因而能够根据摄像结果检测出投影光未到达的部位。在投影光所到达的部位能够进行0/1的判别。
另外，也可以是，在与第3图像帧内的像素中的其像素对应的、第1图像帧和第2图像帧的像素的两个像素值相互不同的情况下，对第3图像帧内的像素分配0或者1之中的在第3图像帧的过去的帧中出现频次低的一方。
由此，能够使0和1的出现频次在各个像素中一样，因而能够提高对上述的二维的图像处理的适用性。并且，能够降低在使用可见光进行计测时有可能产生的图案的闪变。另外，在投影装置中能够防止液晶的烧焦或者因微镜器件的偏倚导致的寿命缩短。
本发明在计测中使用投影装置102，因而能够使用相同的投影装置102应用于投影映射等领域中。尤其是本发明的计测的特性方面，能够得到投影装置102的摄像坐标与摄像装置101的投影坐标的对应关系，因而能够将计测结果换算为投影装置102的投影坐标。通过得到这种对应关系，能够实现使用该信息的各种内容生成，作为其中一例，能够根据该关系生成莫尔条纹表面形态测量图像。在这种情况下，计算设备104内的内容生成部480生成莫尔条纹表面形态测量图像作为影像内容。此外，当然也能够实现如以往那样使用3D计算机图形等的距离信息的应用。但是，在单纯地取得距离信息的以往的深度传感器中，从原理上讲不能生成严格的莫尔条纹表面形态测量图像，因而可以说是在本方式中能够实施的有用的表现形式的一种。
莫尔条纹表面形态测量图像是在投光和摄像双方使用狭缝来拍摄被摄体的等高线的技术。在本实施方式中，由于能够得到摄像坐标和投影坐标的对应关系，因而通过分别假定狭缝并进行再计算，能够得到莫尔条纹表面形态测量图像作为运动图像。另外，如果将莫尔条纹表面形态测量图像的原始数据预先记录在存储器等中，能够在事后取得变更了狭缝的间隔的图像。
在医疗领域中看惯了莫尔条纹表面形态测量图像的用户较多，因而能够变换图像的形式是非常有意义的事情。另外，如上所述，如果应用投影映射，也能够将表示患部的图像投影在实际的人体上。
(实施方式2)
参照图8A～图8D说明本实施方式的视觉芯片。本实施方式的视觉芯片能够用于实施方式1的计测系统100中。
图8A示意地示出了具有全方位快门功能的以往的CMOS图像传感器内的单位像素700的构造。图8B示意地示出了该单位像素700内的数据流动。
通过光电二极管701将接受到的光变换为电荷。在适当的定时将该电荷传输给浮动扩散器702。然后，与该电荷量对应的电位通过放大器704被放大。并且，读出光的信号作为多值信息。根据将光电二极管701和浮动扩散器702的电荷复位的定时或者传输的定时控制曝光时间。
图8C示意地示出了本实施方式的视觉芯片内的单位像素700的构造。图8D示意地示出了该单位像素700内的数据流动。
本实施方式的视觉芯片具有多个单位像素700。多个单位像素700分别代表性地具有光电二极管(PD)701、浮动扩散器(FD)702、扩展浮动扩散器(EFD)703、及比较器705。
浮动扩散器702和扩展浮动扩散器703蓄积通过光电二极管701生成的电荷。比较器705获取根据在浮动扩散器702和扩展浮动扩散器703分别蓄积的电荷而产生的电位的差分，并比较两者的大小关系。
参照图9说明本实施方式的视觉芯片的动作流程。
图9表示本实施方式的视觉芯片的动作流程。
(步骤S201)
首先，在第1时刻，将光电二极管701、浮动扩散器702及扩展浮动扩散器703各自的电荷复位。
(步骤S202)
然后，在第2时刻，将光电二极管701的电荷传输给浮动扩散器702。
(步骤S203)
然后，在第3时刻，将光电二极管701复位。
(步骤S204)
然后，在第4时刻，将浮动扩散器702的电荷传输给扩展浮动扩散器703。
(步骤S205)
然后，在第5时刻，将光电二极管701的电荷传输给浮动扩散器702。
(步骤S206)
最后，比较器705将与浮动扩散器702的电荷对应的电位和与扩展浮动扩散器703的电荷对应的电位进行比较。比较的结果是，输出表示两者的大小关系的第1比特、和表示两者的差分是否在一定的范围内的第2比特。
在将以往的图像传感器应用于实施方式1的计测系统的情况下，图像传感器的输出的数据频带成为瓶颈，牵涉到系统成本的增加。并且，为了取得与过去的帧的差分，需要在图像传感器的外部以多值状态记录过去的帧的图像数据的存储器。其结果是，为了确保存储器容量及其存储器访问用的频带，导致存储器成本增大。
根据本实施方式的视觉芯片，能够得到将在第1时刻和第2时刻之间被曝光的第1帧、与在第3时刻和第5时刻之间被曝光的第2帧的差分代码化的输出。该输出针对每1像素对应2帧而包含2比特。
另外，视觉芯片在内部保存过去的帧的图像作为电荷量，因而即使不在外部设置存储器，也能够将存储器容量及频带的成本最小化。
根据本发明的计测系统，能够在移动物体的三维计测中实现3000fps以上的高速计测，而且能够维持其较高的时间分辨率。
下面说明能够想到的本发明的应用例。
本发明适合应用于FA设备的控制、汽车的前大灯控制等机械视觉领域、或者交互式的投影映射等。并且，也可以考虑应用于体育等计测运动较快的人的移动的计测领域、或者医疗领域。在医疗领域中存在已习惯使用莫尔条纹表面形态测量图像等的形式，然而能够如上所述将本发明的摄像数据变换为莫尔条纹表面形态测量图像的形式的图像。
产业上的可利用性
本发明的计测系统及计测方法能够应用于医疗系统及投影映射系统。
标号说明
100、800计测系统；101、801摄像装置；102投影装置；103、804被摄体；104计算设备；400图像输出部；410图像输入部；420差分计算部；430帧存储器部；440代码解码单元；441代码解码用存储器部；450坐标变换部；460坐标变换用存储器部；470坐标插补部；480内容生成部；490图案生成单元；491基本图案生成部；492辅助图案生成部；493选择器；410图像输出部；411图案生成部；701光电二极管；702浮动扩散器；703扩展浮动扩散器；704放大器；705比较器；802光源；803狭缝板；805图像组。

Claims (16)

1.一种计测系统，该计测系统具有：
投影装置，按照第1图案图像和第2图案图像的投影混合存在的投影流程，将表示第1图案投影图像的第1图案光投影在被摄体上，所述第1图案投影图像包含所述第1图案图像和所述第2图案图像，所述第1图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第1图案图像相同的周期，而且具有与所述第1图案图像不同的相位；以及
至少一个摄像装置，拍摄所述第1图案光并生成摄像图像。
2.根据权利要求1所述的计测系统，
所述计测系统还具有运算装置，该运算装置根据所述摄像图像计测所述被摄体的三维形状信息。
3.根据权利要求2所述的计测系统，
所述投影装置在将表示第2图案投影图像的第2图案光以1帧以上的期间投影在所述被摄体上之后，将所述第1图案光以2帧以上的期间投影在所述被摄体上，所述第2图案投影图像包含所述第1图案图像、但不包含所述第2图案图像，
所述运算装置根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第2图案光的摄像图像，计测表示距所述被摄体的绝对距离的第2三维形状信息，并根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第1图案光的摄像图像，计测表示所述被摄体的相对变化量的第1三维形状信息，根据所述第1三维形状信息更新所述第2三维形状信息。
4.根据权利要求3所述的计测系统，
所述第1图案投影图像还包括与所述第1及第2图案图像不同的第3图案图像，
所述投影流程还包括所述第3图案图像的投影，
当关注于在所述第1、第2及第3图案图像之间相互对应的、由所述投影坐标确定的某个像素时，在所述第1及第2图案图像内的所述某个像素的像素值都是1时，所述第3图案图像内的所述某个像素的像素值是0，在所述第1及第2图案图像内的所述某个像素的像素值都是0时，所述第3图案图像内的所述某个像素的像素值是1。
5.根据权利要求4所述的计测系统，
在所述第1及第2图案图像内的所述某个像素的像素值相互不同时，所述第3图案图像内的所述某个像素具有0或者1之中的、在所述第3图案图像的过去的帧中出现频次低的一方的值。
6.根据权利要求2所述的计测系统，
所述运算装置按照所述被摄体的三维变化量有选择地切换是否将所述第2图案图像的投影混合在所述投影流程中。
7.根据权利要求2所述的计测系统，
所述运算装置按照所述被摄体的三维变化量有选择地决定所述葛莱码的特定的比特。
8.根据权利要求2所述的计测系统，
所述运算装置与所述被摄体的三维形状的计测相独立地搜索二维的运动量，参照所述二维的运动量对由所述至少一个摄像装置拍摄的表示所述葛莱码的图像进行解码。
9.根据权利要求2所述的计测系统，
在所述二维的运动量的搜索中使用的图像，是通过将从所述三维形状的计测所取得的多个图像合成而得到的。
10.根据权利要求2所述的计测系统，
所述运算装置对所述摄像图像进行解码，根据被解码后的所述投影坐标、与利用所述至少一个摄像装置的摄像坐标系规定的摄像像素坐标的对应关系，将从所述摄像坐标系得到的所述三维形状信息变换为所述投影坐标系中的三维形状信息。
11.根据权利要求1所述的计测系统，
所述至少一个摄像装置是多个摄像装置，
所述多个摄像装置以将所述被摄体的摄像范围相互补充的方式拍摄所述第1图案光。
12.根据权利要求2所述的计测系统，
所述运算装置对所述摄像图像进行解码，根据被解码后的所述投影坐标、与利用所述至少一个摄像装置的摄像坐标系规定的摄像像素坐标的对应关系，生成莫尔条纹表面形态测量图像。
13.根据权利要求2所述的计测系统，
所述运算装置根据所述三维形状信息生成投影图像，
所述投影装置将表示所述投影图像的投影光投影在所述被摄体上。
14.一种在计测系统中使用的视觉芯片，所述计测系统是权利要求1所述的计测系统，所述视觉芯片具有多个单位像素，
所述多个单位像素分别具有：
受光元件，接受光并生成电荷；
第1及第2电荷蓄积部，分别蓄积由所述受光元件在不同的时刻取得的第1及第2电荷；以及
比较部，将在所述第1电荷蓄积部蓄积的第1电荷的量与在所述第2电荷蓄积部蓄积的第2电荷的量进行比较，根据表示所述第1电荷与第2电荷的量的大小关系的第1比特、以及表示所述第1电荷与第2电荷的量的差分是否在规定的范围内的第2比特的比较结果进行生成。
15.一种在具有投影装置和摄像装置的计测系统中使用的计测方法，
在将表示第2图案投影图像的第2图案光以1帧以上的期间投影在作为计测对象的被摄体上之后，使用所述投影装置将表示第1图案投影图像的第1图案光以2帧以上的期间投影在所述被摄体上，所述第2图案投影图像包含第1图案图像但不包含第2图案图像，所述第1图案投影图像包含所述第1及第2图案图像，所述第1图案图像与将投影坐标系中的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第1图案图像相同的周期，而且具有与所述第1图案图像不同的相位，
根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第2图案光的摄像图像，计测表示距所述被摄体的绝对距离的第2三维形状信息，
根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第1图案光的摄像图像，计测表示所述被摄体的相对变化量的第1三维形状信息，
根据所述第1三维形状信息更新所述第2三维形状信息。
16.一种计测方法，包括：
第1投射步骤，以第1周期反复向被摄体投射第1数据，该第1数据表示将投影坐标系中的规定的投影坐标葛莱码化得到的葛莱码的特定的比特的数据；
第2投射步骤，以与所述第1周期相同的周期反复向被摄体投射第2数据；以及
拍摄被投射于所述被摄体的所述第1数据和所述第2数据的步骤，
在所述第1投射步骤中反复进行如下处理：在以第1次数连续采用第1图像作为所述第1数据后，以所述第1次数连续采用第2图像作为所述第1数据，
在所述第2投射步骤中反复进行如下处理：在以所述第1次数连续采用第3图像作为所述第2数据后，以所述第1次数连续采用第4图像作为所述第2数据。
CN201580000218.XA 2014-03-06 2015-01-22 计测系统、计测方法及视觉芯片 Active CN106062507B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014043467 2014-03-06
JP2014-043467 2014-03-06
JP2014-240115 2014-11-27
JP2014240115A JP6434788B2 (ja) 2014-03-06 2014-11-27 計測システム、計測方法およびビジョンチップ
PCT/JP2015/000272 WO2015133053A1 (ja) 2014-03-06 2015-01-22 計測システム、計測方法およびビジョンチップ

Publications (2)

Publication Number Publication Date
CN106062507A true CN106062507A (zh) 2016-10-26
CN106062507B CN106062507B (zh) 2020-03-17

Family

ID=54054875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580000218.XA Active CN106062507B (zh) 2014-03-06 2015-01-22 计测系统、计测方法及视觉芯片

Country Status (6)

Country Link
US (1) US10240915B2 (zh)
EP (1) EP3115743B1 (zh)
JP (1) JP6434788B2 (zh)
KR (1) KR102217934B1 (zh)
CN (1) CN106062507B (zh)
WO (1) WO2015133053A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963047A (zh) * 2017-12-22 2019-07-02 精工爱普生株式会社 检测装置、显示装置、检测方法
CN114500963A (zh) * 2020-10-23 2022-05-13 精工爱普生株式会社 确定方法、确定系统和记录介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10032279B2 (en) * 2015-02-23 2018-07-24 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US10168146B2 (en) * 2015-05-29 2019-01-01 Canon Kabushiki Kaisha Measuring shape of specular objects by local projection of coded patterns
GB2548827B (en) * 2016-03-25 2020-09-23 Jaguar Land Rover Ltd Apparatus, system, method and computer program for providing lighting of a vehicle
JP6153050B1 (ja) 2016-06-08 2017-06-28 パナソニックＩｐマネジメント株式会社 投影システム
JP6160851B1 (ja) 2016-06-08 2017-07-12 パナソニックＩｐマネジメント株式会社 投影システム
JP6880512B2 (ja) * 2018-02-14 2021-06-02 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
CN108776338B (zh) * 2018-06-19 2022-05-24 四川大学 信号源空间传感方法、装置及主动式传感系统
JP7130544B2 (ja) 2018-12-20 2022-09-05 三星電子株式会社 ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム
TWI680648B (zh) * 2018-12-26 2019-12-21 財團法人工業技術研究院 編碼盤、檢光器、光學絕對式旋轉編碼器及編碼值輸出、偵錯與除錯的方法
CN112051587A (zh) 2019-06-07 2020-12-08 松下知识产权经营株式会社 被摄体的位置检测系统以及位置检测方法
CN114363600B (zh) * 2022-03-15 2022-06-21 视田科技（天津）有限公司 一种基于结构光扫描的远程快速3d投影方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006177781A (ja) * 2004-12-22 2006-07-06 Matsushita Electric Works Ltd ３次元形状計測方法並びに３次元形状計測装置、３次元形状計測用プログラム
JP2008145139A (ja) * 2006-12-06 2008-06-26 Mitsubishi Electric Corp 形状計測装置
US20120089364A1 (en) * 2010-10-12 2012-04-12 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program
CN102472613A (zh) * 2009-07-29 2012-05-23 佳能株式会社 测量设备、测量方法和程序
US20120176478A1 (en) * 2011-01-11 2012-07-12 Sen Wang Forming range maps using periodic illumination patterns
US20130278787A1 (en) * 2010-11-19 2013-10-24 Primesense Ltd. Imaging and processing using dual clocks

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5593008A (en) * 1979-01-09 1980-07-15 Canon Inc Signal formation unit
JPS60152903A (ja) 1984-01-21 1985-08-12 Kosuke Sato 位置計測方法
DE4007502A1 (de) * 1990-03-09 1991-09-12 Zeiss Carl Fa Verfahren und vorrichtung zur beruehrungslosen vermessung von objektoberflaechen
US5764786A (en) * 1993-06-10 1998-06-09 Kuwashima; Shigesumi Moving object measurement device employing a three-dimensional analysis to obtain characteristics of the moving object
JP3218889B2 (ja) * 1994-09-30 2001-10-15 スズキ株式会社 立体物の形状検査装置
JP3525964B2 (ja) * 1995-07-05 2004-05-10 株式会社エフ・エフ・シー 物体の三次元形状計測方法
US6438272B1 (en) * 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
US6377353B1 (en) * 2000-03-07 2002-04-23 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
US6634552B2 (en) * 2001-09-26 2003-10-21 Nec Laboratories America, Inc. Three dimensional vision device and method, and structured light bar-code patterns for use in the same
JP2003270719A (ja) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
US7570368B2 (en) * 2004-05-12 2009-08-04 Veeco Instruments Inc. Method and apparatus for measuring the curvature of reflective surfaces
JP4883517B2 (ja) * 2004-11-19 2012-02-22 学校法人福岡工業大学 三次元計測装置および三次元計測方法並びに三次元計測プログラム
US20070046924A1 (en) * 2005-08-30 2007-03-01 Chang Nelson L A Projecting light patterns encoding correspondence information
JP2008141737A (ja) * 2006-11-07 2008-06-19 Nippon Signal Co Ltd:The 電荷検出装置
JP5576726B2 (ja) * 2010-06-29 2014-08-20 キヤノン株式会社 三次元計測装置、三次元計測方法、及びプログラム
WO2012099151A1 (ja) * 2011-01-18 2012-07-26 オリンパス株式会社 光走査装置および走査型検査装置
US20120242795A1 (en) * 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination
KR20130103060A (ko) * 2012-03-09 2013-09-23 삼성전기주식회사 3차원 측정 장치 및 방법
JP5652883B2 (ja) * 2012-07-11 2015-01-14 学校法人北里研究所 被写体の形態観察に用いる等高線画像生成方法，及びこれを用いる側弯症スクリーニングシステム
JP6029394B2 (ja) * 2012-09-11 2016-11-24 株式会社キーエンス 形状測定装置
JP6112807B2 (ja) * 2012-09-11 2017-04-12 株式会社キーエンス 形状測定装置、形状測定方法および形状測定プログラム
JP6320051B2 (ja) * 2014-01-17 2018-05-09 キヤノン株式会社 三次元形状計測装置、三次元形状計測方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006177781A (ja) * 2004-12-22 2006-07-06 Matsushita Electric Works Ltd ３次元形状計測方法並びに３次元形状計測装置、３次元形状計測用プログラム
JP2008145139A (ja) * 2006-12-06 2008-06-26 Mitsubishi Electric Corp 形状計測装置
CN102472613A (zh) * 2009-07-29 2012-05-23 佳能株式会社 测量设备、测量方法和程序
US20120089364A1 (en) * 2010-10-12 2012-04-12 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program
US20130278787A1 (en) * 2010-11-19 2013-10-24 Primesense Ltd. Imaging and processing using dual clocks
US20120176478A1 (en) * 2011-01-11 2012-07-12 Sen Wang Forming range maps using periodic illumination patterns

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963047A (zh) * 2017-12-22 2019-07-02 精工爱普生株式会社 检测装置、显示装置、检测方法
CN109963047B (zh) * 2017-12-22 2021-08-06 精工爱普生株式会社 检测装置、显示装置、检测方法
CN114500963A (zh) * 2020-10-23 2022-05-13 精工爱普生株式会社 确定方法、确定系统和记录介质
CN114500963B (zh) * 2020-10-23 2024-01-02 精工爱普生株式会社 确定方法、确定系统和记录介质

Also Published As

Publication number Publication date
JP6434788B2 (ja) 2018-12-05
EP3115743A1 (en) 2017-01-11
JP2015180857A (ja) 2015-10-15
US10240915B2 (en) 2019-03-26
WO2015133053A1 (ja) 2015-09-11
EP3115743A4 (en) 2017-04-12
EP3115743B1 (en) 2018-09-19
US20160054118A1 (en) 2016-02-25
KR20160130938A (ko) 2016-11-15
CN106062507B (zh) 2020-03-17
KR102217934B1 (ko) 2021-02-19

Similar Documents

Publication Publication Date Title
CN106062507A (zh) 计测系统、计测方法及视觉芯片
CN108702437B (zh) 计算深度图的方法、系统、设备和存储介质
KR101221449B1 (ko) 카메라간 영상 보정 장치 및 방법
US8154616B2 (en) Data processing apparatus and method, and recording medium
JP6601790B2 (ja) リアルタイム計測投影装置及び三次元投影計測装置
JP7105246B2 (ja) 再構成方法および再構成装置
JP7058277B2 (ja) 再構成方法および再構成装置
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
US10326894B1 (en) Self stabilizing projector
EP3417606A1 (en) A method of stabilizing a sequence of images
CN104584032A (zh) 混合式精确跟踪
JP2008217243A (ja) 画像生成装置
JP4347614B2 (ja) ３次元曲面形状の測定装置及び測定方法
US20190289218A1 (en) Phase detect auto-focus three dimensional image capture system
JPWO2019225682A1 (ja) 三次元再構成方法および三次元再構成装置
CN110544278A (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
Wang et al. Temporal matrices mapping-based calibration method for event-driven structured light systems
JP2022525374A (ja) 深度データ測定ヘッド、測定装置及び測定方法
CN108895979B (zh) 线段编码的结构光深度获取方法
JP2011160344A (ja) 立体画像補正装置および立体画像補正方法
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2002022444A (ja) 座標情報収集システム、座標情報収集方法及びマーク部材
Konig et al. Image-based motion compensation for structured light scanning of dynamic surfaces
US11250589B2 (en) General monocular machine vision system and method for identifying locations of target elements
JP2012029199A (ja) 立体撮像装置およびその撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant