CN112105888A - 测量系统以及测量方法 - Google Patents

测量系统以及测量方法 Download PDF

Info

Publication number
CN112105888A
CN112105888A CN201980030286.9A CN201980030286A CN112105888A CN 112105888 A CN112105888 A CN 112105888A CN 201980030286 A CN201980030286 A CN 201980030286A CN 112105888 A CN112105888 A CN 112105888A
Authority
CN
China
Prior art keywords
measurement
image
light
head
measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980030286.9A
Other languages
English (en)
Other versions
CN112105888B (zh
Inventor
有吉智规
饭田豊男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN112105888A publication Critical patent/CN112105888A/zh
Application granted granted Critical
Publication of CN112105888B publication Critical patent/CN112105888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

图像处理控制器使用第一图像、第二图像及第三图像中的至少一者,来输出表示对象物的三维形状的测量结果,所述第一图像是在来自第一测量头的投光部的测量光被投影至对象物的状态下,由第一测量头的拍摄部拍摄对象物所得的图像,所述第二图像是在来自第一测量头的投光部的测量光被投影至对象物的状态下,由第二测量头的拍摄部拍摄对象物所得的图像,所述第三图像是在来自第二测量头的投光部的测量光被投影至对象物的状态下,由第一测量头的拍摄部拍摄对象物所得的图像。

Description

测量系统以及测量方法
技术领域
本技术涉及一种测量系统以及测量方法,对于对象物照射测量光,并且在投影有所述测量光的状态下拍摄对象物,由此来输出测量结果。
背景技术
已知有使用光学方法来测量对象物的三维形状的方法。作为测量三维形状的方法之一,已知有下述方法,即,使用从不同的视点分别拍摄的图像来算出直至各部为止的距离。典型的是,有一种使用立体摄像机(stereo camera)的立体测量。作为对使用此种立体摄像机的三维形状的测量中的测量范围进行扩大的方法,例如日本专利特开2014-215039号公报(专利文献1)公开了一种结构,其能够使用多个立体摄像机来广范围地测量立体的障碍物。
作为测量对象物的三维形状的其他方法,还有一种方法,对于对象物照射测量光,并且基于对照射至对象物的测量光进行拍摄所得的信息来获取三维形状。此种三维形状的测量方法中,可能产生测量光未到达的场所或者无法拍摄对象物的场所即死角。作为防止因这样的死角而产生无法测量的部分的方法,例如日本专利特开2001-324313号公报(专利文献2)公开了一种三维形状测量装置,其使用将相对位置关系设为固定位置而安装的狭缝光源及多台摄像机。
现有技术文献
专利文献
专利文献1:日本专利特开2014-215039号公报
专利文献2:日本专利特开2001-324313号公报
发明内容
发明所要解决的问题
为了测量对象部的三维形状,有时会使用包含光源与拍摄部的测量装置,所述光源照射测量光,所述拍摄部在视野内包含测量光的照射范围。在使用此种测量装置的情况下,根据对象物的形状,可能会产生无法测量的部分(死角)。
所述专利文献1设想了使用立体摄像机的结构,关于对于对象物照射测量光的结构未作任何研讨。而且,所述专利文献2设想了多台摄像机相对于一个狭缝光源的相对位置被固定的结构,关于包含光源与拍摄部的一体型测量装置未作任何设想。
本技术的一个目的在于提供一种结构,能够使用测量头来实现测量范围的扩大和/或测量精度的提高,所述测量头包含对于对象物照射测量光的投光部、及在被投影有所述测量光的状态下拍摄所述对象物的拍摄部。
解决问题的技术手段
依据本技术的一个实施方式的测量系统包括:图像处理控制器;以及第一测量头及第二测量头,连接于图像处理控制器。第一测量头及第二测量头分别包含对于对象物照射测量光的投光部、及在被投影有所述测量光的状态下拍摄所述对象物的拍摄部。图像处理控制器使用第一图像、第二图像及第三图像中的至少一者,来输出表示对象物的三维形状的测量结果,所述第一图像是在来自第一测量头的投光部的测量光被投影至对象物的状态下,由第一测量头的拍摄部拍摄对象物所得的图像,所述第二图像是在来自第一测量头的投光部的测量光被投影至对象物的状态下,由第二测量头的拍摄部拍摄对象物所得的图像,所述第三图像是在来自第二测量头的投光部的测量光被投影至对象物的状态下,由第一测量头的拍摄部拍摄对象物所得的图像。
根据本公开,使用通过将测量头组合配置而拍摄的第一图像与第二图像和/或第三图像的组合来执行三维测量处理,由此,能够实现测量范围的扩大和/或测量精度的提高。
所述公开中,图像处理控制器也可将表示对象物的像中的、未包含在第一图像中的像从第二图像中予以提取,并与第一图像结合。
根据本公开,能够使用第一图像及第二图像来扩大测量范围。
所述公开中,图像处理控制器也可提取第一图像及第三图像中所含的表示对象物的共同部分的像中的、更适合于测量的像。
根据本公开,能够使用第一图像及第三图像来提高测量精度。
所述公开中,图像处理控制器也可进一步使用第四图像来输出表示对象物的三维形状的测量结果,所述第四图像是在来自第二测量头的投光部的测量光被投影至对象物的状态下,由第二测量头的拍摄部拍摄对象物所得的图像。
根据本公开,能够实现测量范围的扩大及测量精度的提高这两方。
所述公开中,也可在第一测量头与第二测量头之间设有通信线,所述通信线用于将从第一测量头的投光部照射测量光的时机通知给第二测量头。
根据本公开,能够更准确地控制测量光的照射时机及拍摄部的拍摄时机。
所述公开中,设有通信线,所述通信线用于从图像处理控制器对第一测量头及第二测量头通知从各测量头的投光部照射测量光的时机。
根据本公开,能够更准确地控制测量光的照射时机及拍摄部的拍摄时机。
所述公开中,第一测量头及第二测量头的投光部也可照射遵循结构化照明的测量光。
根据本公开,照射预先规定的图案的光,因此能够使所拍摄的各个图像间的校准(calibration)等容易化。
所述公开中,测量光的剖面也可具有预先规定的二维的浓淡图案。
根据本公开,由于浓淡图案被预先规定,因此能够使所拍摄的各个图像间的校准等容易化。
所述公开中,测量光的剖面也可具有在一方向上亮度发生变化并且在另一方向上一样的、二维的浓淡图案。
根据本公开,能够使高度方向的信息的计算处理进一步简便化。
所述公开中,投光部也可照射作为测量光的线状的光,并且使照射位置随时间发生变化。
根据本公开,能够使高度方向的信息的计算处理进一步简便化。
依据本技术的另一实施方式的测量方法包括准备第一测量头及第二测量头的步骤。第一测量头及第二测量头分别包含对于对象物照射测量光的投光部、及在被投影有所述测量光的状态下拍摄所述对象物的拍摄部。测量方法包括下述步骤:在来自第一测量头的投光部的测量光被投影至对象物的状态下,第一测量头的拍摄部拍摄对象物而获取第一图像;在来自第一测量头的投光部的测量光被投影至对象物的状态下,第二测量头的拍摄部拍摄对象物而获取第二图像;在来自第二测量头的投光部的测量光被投影至对象物的状态下,第一测量头的拍摄部拍摄对象物而获取第三图像;以及使用第一图像、第二图像及第三图像中的至少一者,来输出表示对象物的三维形状的测量结果。
根据本公开,使用通过将测量头组合配置而拍摄的第一图像与第二图像和/或第三图像的组合来执行三维测量处理,由此,能够实现测量范围的扩大和/或测量精度的提高。
发明的效果
根据本技术,能够实现测量范围的扩大和/或测量精度的提高。
附图说明
图1是表示依据本实施方式的测量系统的适用例的示意图。
图2是表示依据本实施方式的测量系统的结构例的示意图。
图3是表示依据本实施方式的测量系统中所含的测量头的结构例的示意图。
图4是表示依据本实施方式的测量系统中所含的图像处理控制器的结构例的示意图。
图5是表示从依据本实施方式的测量系统的测量头照射的浓淡图案的一例的图。
图6是用于说明依据本实施方式的测量系统所执行的三维测量的原理的图。
图7是用于说明本技术的背景技术的图。
图8是用于说明本技术的背景技术的图。
图9是表示依据实施方式1的测量系统的结构例的示意图。
图10是用于说明依据实施方式1的测量系统中的测量光的照射及对象物的拍摄的动作模式的图。
图11是用于说明依据实施方式1的测量系统中的测量光的照射及对象物的拍摄的动作模式的图。
图12是用于说明依据实施方式1的测量系统中的测量光的照射及对象物的拍摄的动作模式的图。
图13是用于说明依据实施方式1的测量系统中的测量光的照射及对象物的拍摄的动作模式的图。
图14是用于说明实现依据实施方式1的测量系统的测量范围的扩大的利用例的图。
图15是用于说明实现依据实施方式1的测量系统的测量精度的提高的利用例的图。
图16是用于说明实现依据实施方式1的测量系统的测量范围的扩大及测量精度的提高的利用例的图。
图17是表示依据实施方式1的测量系统中的测量头间的连接结构例的示意图。
图18是表示依据实施方式1的测量系统中的测量头间的另一连接结构例的示意图。
图19是表示依据实施方式1的测量系统中的测量处理流程的流程图。
图20是表示依据实施方式1的测量系统中的另一测量处理流程的流程图。
图21是用于说明在依据实施方式2的测量系统中所用的相位偏移法的图。
图22是用于说明在依据实施方式2的测量系统中所用的校准参数的图。
图23是用于说明在依据实施方式3的测量系统中所用的光切法的图。
图24是表示依据本实施方式的测量系统的另一结构例的示意图。
图25是表示依据本实施方式的测量系统中的测量头的布局例的示意图。
具体实施方式
一边参照图示一边详细说明本发明的实施方式。另外,对于图中的相同或相当的部分,标注相同的符号并不重复其说明。
<A.适用例>
首先,对适用本发明的场景的一例进行说明。
图1是表示依据本实施方式的测量系统1的适用例的示意图。参照图1,测量系统1具有图像处理控制器60与连接于图像处理控制器60的测量头10-1、测量头10-2。测量头10-1、测量头10-2分别包含对于对象物(图1所示的示例中为工件W)照射测量光的投光部20、及在被投影有所述测量光的状态下拍摄所述对象物的拍摄部30。
如图1所示,在典型的测量动作中,在来自测量头10-1(相当于第一测量头)的投光部20的测量光22-1被投影至对象物(工件W)的状态下,测量头10-1的拍摄部30拍摄对象物而获取第一图像61。第一图像61相当于来自工件W的反射光32-1入射至拍摄部30而形成的像。
同样地,在来自测量头10-1(相当于第一测量头)的投光部20的测量光22-1被投影至对象物(工件W)的状态下,测量头10-2的拍摄部30拍摄对象物而获取第二图像62。第二图像62相当于来自工件W的反射光32-2入射至拍摄部30而形成的像。
同样地,在来自测量头10-2(相当于第二测量头)的投光部20的测量光22-2被投影至对象物(工件W)的状态下,测量头10-1的拍摄部30拍摄对象物而获取第三图像63。第三图像63相当于来自工件W的反射光32-1入射至拍摄部30而形成的像。
图像处理控制器60使用第一图像61、第二图像62及第三图像63中的至少一者,来输出表示对象物的三维形状的测量结果66。更具体而言,图像处理控制器60对第一图像61以及第二图像62和/或第三图像63执行三维形状测量处理64,由此来输出对象物的三维形状(典型的是对象物表面的各点的高度信息的集合)。
通过采用此种结构,能够获得由更多的拍摄部30所拍摄的图像,其结果,能够实现测量范围的扩大和/或测量精度的提高。
<B.装置结构>
首先,对实现依据本实施方式的测量系统1的装置结构的一例进行说明。
(b1:测量系统1的结构例)
图2是表示依据本实施方式的测量系统1的结构例的示意图。依据本实施方式的测量系统1具有多个测量头(作为测量装置的一例),所述测量头包含对于对象物照射测量光的投光部、及在被投影有所述测量光的状态下拍摄所述对象物的拍摄部。图2所示的结构例中,具有两个测量头10-1、10-2(以下,也有时总称为“测量头10”)。
测量头10-1、测量头10-2分别具有投光部20及拍摄部30。从投光部20照射测量光的范围与拍摄部30所拍摄的范围构成为实质上一致。从投光部20照射的测量光既可为具有规定的浓淡图案的图案光,也可为具有规定宽度的狭缝光。
对于测量头10-1、测量头10-2,从外部电源40-1、外部电源40-2分别供给电力。测量头10-1、测量头10-2经由通信线12-1、通信线12-2而连接于集线器50。进而,测量头10-1与测量头10-2之间也能够利用通信线14而通信。
测量系统1包含图像处理控制器60,所述图像处理控制器60对来自测量头10-1、测量头10-2的图像进行处理,并输出表示对象物的三维形状的测量结果。在图像处理控制器60,也可连接有上位控制器70,所述上位控制器70是从图像处理控制器60输出的测量结果的输出目标。
设想上位控制器70例如是对与由测量头10-1、测量头10-2所拍摄的对象物关联的设备或装置等进行控制的可编程逻辑控制器(Programmable Logic Controller,PLC)(可编程控制器)等。或者,作为上位控制器70,也有时使用数据库或生产管理系统等。
如后述的那样,在依据依据本实施方式的方式的测量系统1中,测量头10彼此联系,由此来实现使测量范围的扩大和/或测量精度的提高成为可能的结构。
(b2:测量头10的结构例)
图3是表示依据本实施方式的测量系统1中所含的测量头10的结构例的示意图。参照图3,测量头10除了投光部20及拍摄部30以外,还包括处理部100、设定部110、存储部112、存储部116、显示部114、上位接口(Interface,I/F)部118及同步接口(I/F)部120。
处理部100负责测量头10的整体处理。典型的是,处理部100包括处理器(processor)、保存由处理器所执行的命令代码的贮存器(storage)以及展开命令代码的存储器。此时,在处理部100中,通过处理器将命令代码在存储器上展开并执行而实现各种处理。
另外,也可使用专用的硬件电路(例如专用集成电路(Application SpecificIntegrated Circuit,ASIC)或现场可编程门阵列(Field-Programmable Gate Array,FPGA)等)来实现处理部100的全部或一部分。
设定部110在如后所述的多个测量头10相联系地运行的情况下,对用于实现测量头10彼此的同步的各种设定进行受理。
存储部112保存与包含存储部112的测量头10自身的投光部20及拍摄部30相关的校准参数、及与跟其他测量头10的位置关系相关的校准参数。此类校准参数是通过预先对作为对象的测量头10各别地进行校准而获取,并且通过对多个测量头10彼此进行校准而获取。
显示部114将在测量头10中获取或者算出的各种信息通知给外部。
存储部116保存由拍摄部30所获取的图像。
上位接口部118负责与图像处理控制器60(参照图2)等上位控制器的数据交换。同步接口部120负责与其他测量头10之间的数据交换。
(b3:图像处理控制器60的结构例)
图4是表示依据本实施方式的测量系统1中所含的图像处理控制器60的结构例的示意图。典型的是,图像处理控制器60是使用通用计算机而实现。参照图4,图像处理控制器60包括处理器202、主存储器204、贮存器206、输入部208、显示部210、光学驱动器212、下位接口部214及上位接口部216。这些组件(component)经由处理器总线218而连接。
处理器202包含中央处理器(Central Processing Unit,CPU)或图形处理器(Graphics Processing Unit,GPU)等,读出保存在贮存器206中的程序(作为一例,为操作系统(Operating System,OS)2060及三维测量程序2062),并在主存储器204中展开而执行,由此来实现如后所述的各种处理。
主存储器204包含动态随机存取存储器(Dynamic Random Access Memory,DRAM)或静态随机存取存储器(Static Random Access Memory,SRAM)等易失性存储装置等。贮存器206例如包含硬盘驱动器(Hard Disk Drive,HDD)或固态硬盘(Solid State Drive,SSD)等非易失性存储装置等。
在贮存器206中,除了用于实现基本功能的OS 2060以外,还保存有用于提供作为图像处理控制器60的功能的三维测量程序2062。
输入部208包含键盘或鼠标等,受理用户操作。显示部210包含显示器、各种指示器(indicator)、打印机等,输出来自处理器202的处理结果等。
下位接口部214负责与一个或多个测量头10之间的数据交换。上位接口部216负责与上位控制器70之间的数据交换。
图像处理控制器60具有光学驱动器212,从计算机可读取的非一次性地保存程序的记录介质215(例如数字多功能光盘(Digital Versatile Disc,DVD)等光学记录介质)中,读取保存在其中的程序并安装到贮存器206等中。
由图像处理控制器60所执行的三维测量程序2062等也可经由计算机可读取的记录介质215而安装,但也可以从网络上的服务器装置等下载的形式而安装。而且,依据本实施方式的三维测量程序2062所提供的功能也有时以利用OS所提供的模块的一部分的形式而实现。
图4中表示了通过处理器202执行程序而提供作为图像处理控制器60所需的功能的结构例,但也可使用专用的硬件电路(例如ASIC或FPGA等)来实现所述提供的功能的一部分或全部。
<C.三维测量>
接下来,对依据本实施方式的测量系统1所执行的三维测量进行说明。本实施方式中,作为典型例,使用被称作结构化照明的方法来实现三维测量。结构化照明的方法中,将测量光照射至对象物,并且基于通过在被投影有测量光的状态下拍摄对象物而获得的图像,来测量直至对象物为止的距离。此时,测量头10的投光部20将照射遵循结构化照明的测量光。
作为结构化照明的一例,已知有空间编码法。在空间编码法中,照射具有预先规定的浓淡图案的测量光。即,测量光的剖面具有预先规定的二维的浓淡图案。
图5是表示从依据本实施方式的测量系统1的测量头10照射的浓淡图案的一例的图。图6是用于说明依据本实施方式的测量系统1所执行的三维测量的原理的图。
从测量头10的投光部20,例如将包含图5所示的浓淡图案P的测量光照射至对象物。测量头10的拍摄部30在被投影有浓淡图案P的状态下拍摄对象物。
图5所示的浓淡图案P是按照依据空间编码法的规定规则来规定。更具体而言,浓淡图案P是通过多种图元(primitive)的组合来规定。图6(A)表示了四种图元。各图元表示被分别分配的值(图6(A)所示的示例中为1~4这四个数值)。
各图元包含四个大的正方形Qa~Qd与位于中心部的一个小的正方形Qe)。正方形Qa~正方形Qd分别以图元的中心位置R成为隅角的方式而配置。中心位置R也是小的正方形Qe的中心位置。
图6(B)表示与浓淡图案P(参照图5)的一部分等价的矩阵。通过确定所投影的浓淡图案P中所含的各图元,以数值来表达各确定的图元,由此,能够生成与浓淡图案P等价的矩阵K。
图6(C)表示图6(B)所示的矩阵K的局部矩阵。设想在矩阵K中设定的规定大小的局部矩阵。此种局部矩阵也称作“字(word)”。即,各字是通过规定数量的图元的组合(图6(C)所示的示例中为3×3)来规定。浓淡图案P是通过以所有的字各自成为唯一(unique)的方式来配置图元而生成。
提取矩阵K中所含的所有的字。图6(C)表示了所提取的三个字。在提取了所有的字时,对于数值的排列为唯一的字,能够确定在浓淡图案P中的位置(字的位置)。
在从测量头10(投光部20)照射浓淡图案P的情况下,距离投光部20越远的对象物,浓淡图案P将被投影得越大。因此,对被投影有浓淡图案P的对象物进行拍摄所得的图像内的图元的大小也将依存于测量头10与对象物之间的距离而变化。
基于由在将此种浓淡图案P照射至对象物的状态下拍摄对象物所得的图像中所含的图元而规定的字的大小、及邻接的字间的位置偏离,能够测量从测量头10直至对象物的各部为止的距离及对象物的三维形状。
图像处理控制器60(参照图2)对于从各个测量头10输出的图像,执行图元的提取处理、以及通过所提取的图元而确定的字的位置及大小的评价处理,由此,输出对象物的三维形状的测量结果。
如后述的那样,作为结构化照明的另一例,例如也能够采用相位偏移法或光切法等。
无论所述的哪种测量方法,均能够适用本发明的技术思想。
<D.背景技术及课题>
接下来,概括本技术的背景技术及课题。图7及图8是用于说明本技术的背景技术的图。
首先,如图7所示,设想下述情况:使用一个测量头10,对配置在所述测量头10的视野内的单个工件W进行三维测量。参照图7,从测量头10的投光部20朝向工件W照射测量光22。在对工件W照射有测量光22的状态下,获取拍摄部30的视野内的反射光32,由此来获取拍摄部30的视野内的图像。
图7所示的示例中,测量光22被工件W的表面反射而产生的反射光32的光学路径与测量光22被其他部分(配置有工件W的基准面)反射而产生的反射光32的光学路径不同。基于因此种光学路径的不同而产生的图像内的特征,能够算出工件W的表面各部的高度。
接下来,如图8所示,设想下述情况:使用一个测量头10,对不规则地堆积在所述测量头10的视野内的多个工件W进行三维测量。参照图8,从测量头10的投光部20朝向多个工件W照射测量光22。此时,依存于工件W的堆积状态,有可能产生未包含在拍摄部30的视野内的部分(即,死角)。
这样,在仅包含单个测量头10的结构中,在不规则地堆积有多个工件W的配置状态下,可能产生死角,从而可能产生无法进行三维测量的部分。
针对如上所述的课题,在依据本实施方式的测量系统1中,使用多个测量头10来进行对象物的三维测量。通过使用多个测量头10,能够实现测量精度的提高和/或测量范围的扩大。
<E.实施方式1>
(e1:测量头的配置例)
图9是表示依据实施方式1的测量系统1的结构例的示意图。参照图9,测量头10-1的投光部20以不仅包含测量头10-1的拍摄部30的视野,而且包含测量头10-2的拍摄部30的视野(的一部分)的方式,来照射测量光22-1。同样地,测量头10-2的投光部20以不仅包含测量头10-2的拍摄部30的视野,而且包含测量头10-1的拍摄部30的视野(的一部分)的方式,来照射测量光22-2。
如图9所示,多个测量头10被配置成,能够利用另一个测量头10的拍摄部30来拍摄从其中一个测量头10的投光部20照射的测量光22。图9所示的结构例中,照射测量光的投光部20与在投影有测量光的状态下进行拍摄的拍摄部30的组合存在四种。
(e2:动作模式)
图10~图13是用于说明依据实施方式1的测量系统1中的测量光的照射及对象物的拍摄的动作模式的图。图10~图13中,作为一例,表示五个工件W以彼此部分重叠的方式而配置的示例。为了便于说明,对于五个工件W标注1~5的编号,这些编号对应于在由拍摄部30所拍摄的图像内所赋予的编号。
图10~图13所示的“点数群”示意性地表示通过从测量头10的投光部20照射的测量光22(浓淡图案)而出现的图元的数量。越是接近测量头10的投光部20,将出现越多的点数群。点数群的数量意味着测量精度,点数群越多,则能够实现越高的测量精度。
图10表示下述动作模式,即,测量头10-1的投光部20将包含浓淡图案的测量光22-1照射至工件W,测量头10-1的拍摄部30对来自工件W的反射光32-1进行拍摄的动作模式。在图10所示的动作模式中,将从测量头10-1的拍摄部30输出的图像称作“图像A”。
在测量头10-1的拍摄部30的视野内,存在1~3的工件W,在图像A(参照符号81)中,包含作为对象物的1~3的工件W的像。
图11表示下述动作模式,即,测量头10-1的投光部20将包含浓淡图案的测量光22-1照射至工件W,测量头10-2的拍摄部30对来自工件W的反射光32-2进行拍摄。在图11所示的动作模式中,将从测量头10-2的拍摄部30输出的图像称作“图像C”。
在测量头10-2的拍摄部30的视野内,存在1~5的工件W,但1的工件W为2的工件W的死角,因此在图像C(参照符号82)中,包含作为对象物的2~5的工件W的像。
图12表示下述动作模式,即,测量头10-2的投光部20将包含浓淡图案的测量光22-2照射至工件W,测量头10-1的拍摄部30对来自工件W的反射光32-1进行拍摄。在图12所示的动作模式中,将从测量头10-1的拍摄部30输出的图像称作“图像D”。
在测量头10-1的拍摄部30的视野内,存在1~3的工件W,在图像D(参照符号83)中,包含作为对象物的1~3的工件W的像。但是,对于1及2的工件W,未照射来自测量头10-2的测量光22-2,因此1及2的工件W将在未被投影有浓淡图案的状态下受到拍摄。
图13表示下述动作模式,即,测量头10-2的投光部20将包含浓淡图案的测量光22-2照射至工件W,测量头10-2的拍摄部30对来自工件W的反射光32-2进行拍摄。在图13所示的动作模式中,将从测量头10-2的拍摄部30输出的图像称作“图像B”。
在测量头10-2的拍摄部30的视野内,存在1~5的工件W,但由于1的工件W为2的工件W的死角,因此在图像B(参照符号84)中,包含作为对象物的2~5的工件W的像。
(e3:图像的利用例)
接下来,对通过图10~图13所示的结构例所拍摄的图像A~图像D的利用例进行说明。
图14是用于说明实现依据实施方式1的测量系统1的测量范围的扩大的利用例的图。图14表示下述处理例,即,使用在从测量头10-1的投光部20照射有测量光22-1的状态下由测量头10-1的拍摄部30所拍摄的图像A(参照图10)、与在从测量头10-1的投光部20照射有测量光22-1的状态下由测量头10-2的拍摄部30所拍摄的图像C(参照图11)。
测量头10-1与测量头10-2经预先校准。校准是预先算出测量头10-1的照射/拍摄范围与测量头10-2的照射/拍摄范围之间的差的处理。通过校准而决定的校准参数包含用于对测量头10-1的测量结果与测量头10-2的测量结果进行合成的偏移量(offset)。
参照此种校准参数,对由测量头10-1的拍摄部30所拍摄的图像A与由测量头10-2的拍摄部30所拍摄的图像C进行图像合成,由此,能够获取关于从其中一个测量头10观察成为死角的部分的信息。
图14所示的示例中,图像A仅包含1~3的工件W的像,图像C仅包含2~5的工件W的像,仅仅依靠单独的图像,无法实现所有工件W的三维测量。另一方面,通过对图像A与图像C进行图像合成,能够使所有工件W的像包含在一个图像中。图14所示的图像合成的处理为将由拍摄部30所拍摄的图像直接结合的处理。对于重复部分,既可对两图像的对应的像素值彼此进行加法处理,也可对其中任一个图像的像素值进行选择处理。
图14所示的利用例中,图像处理控制器60将表示工件W(对象物)的像中的、未包含在图像A中的像从图像C中予以提取,并与图像A结合,由此,实质上扩大拍摄部30的视野范围。
另外,在处理的实现例中,也可对通过将图像A与图像C合成而获得的合成图像86进行图6所示的图元及字的提取处理,由此,输出关于所有工件W的测量结果。或者,也可对图像A及图像C分别进行图6所示的图元及字的提取处理,由此,输出与各个图像对应的测量结果,并将各个测量结果予以合成。
图15是用于说明实现依据实施方式1的测量系统1的测量精度的提高的利用例的图。图15表示下述处理例,即,使用在从测量头10-1的投光部20照射有测量光22-1的状态下由测量头10-2的拍摄部30所拍摄的图像C(参照图11)、与在从测量头10-2的投光部20照射有测量光22-2的状态下由测量头10-2的拍摄部30所拍摄的图像B(参照图13)。
参照校准参数,对由测量头10-2的拍摄部30所拍摄的图像B及图像C进行图像合成,由此,能够提高从同一测量头10对于对象物的三维测量的精度。
图15所示的示例中,图像C仅包含2~5的工件W的像,图像B仅包含2~5的工件W的像。在图像C中,对于2~4的工件W投影有充分的浓淡图案,但对5的工件W的浓淡图案的投影量相对较少。另一方面,在图像B中,对于4及5的工件W投影有充分的浓淡图案,但对3的工件W的浓淡图案的投影量相对较少。进而,对于2的工件W,未投影有浓淡图案。因此,仅仅依靠图像C,无法高精度地获取直至5的工件W为止的距离或者三维形状。另一方面,仅仅依靠图像B,无法获取直至2的工件W为止的距离或者三维形状。
因此,通过对图像C与图像B进行图像合成,能够对所有的2~5的工件W高精度地测量距离或三维形状。更具体而言,对于作为测量对象的每个工件W、或者在每个规定区间,从图像C及图像B的其中任一者中提取对应的局部图像,将所提取的局部图像加以组合,由此来生成合成图像87。即,在图15所示的图像合成处理中,通常,对于重复部分,对其中任一个图像的像素值进行选择处理。
图15所示的示例中,2及3的工件W的像是从图像C中提取,4及5的工件W的像是从图像B中提取。通过将各工件W的像加以组合,从而生成合成图像87,使用所述合成图像87来执行三维测量。
另外,在处理的实现例中,也可对通过将图像C与图像B合成而获得的合成图像87进行图6所示的图元及字的提取处理,由此来输出关于视野中所含的所有工件W的测量结果。或者,也可对图像C及图像B分别进行图6所示的图元及字的提取处理,由此,输出与各个图像对应的测量结果,并将各个测量结果予以合成。
图15所示的利用例中,图像处理控制器60提取图像C及图像B中所含的表示工件W(对象物)的共同部分的像中的、更适合于测量的像,由此来提高拍摄部30的测量精度。
图16是用于说明实现依据实施方式1的测量系统1的测量范围的扩大及测量精度的提高的利用例的图。图16表示下述处理例,即,使用通过图14所示的合成处理而生成的合成图像86、与通过图15所示的合成处理而生成的合成图像87。
图16所示的示例中,合成图像86包含1~5的工件W的像,合成图像87仅包含2~5的工件W的像。但是,在合成图像86中,对于1~4的工件W投影有充分的浓淡图案,但对5的工件W的浓淡图案的投影量相对较少。另一方面,在合成图像87中,对于2~5的工件W投影有充分的浓淡图案。
即,合成图像86具有充分的视野范围,但包含测量精度低的区域,合成图像87具有充分的测量精度,但不具有充分的测量范围。
因此,通过对合成图像86与合成图像87进行图像合成,从而实现测量范围的扩大及测量精度的提高。更具体而言,对于作为测量对象的每个工件W、或者在每个规定区间,从其中任一个合成图像中提取对应的局部图像,将所提取的局部图像加以组合,由此来生成合成图像88。
图16所示的示例中,1的工件W的像是从合成图像86中提取,5的工件W的像是从合成图像87中提取。2~4的工件W的像是从合成图像86及合成图像87的任一个中提取。通过提取各工件W的像而生成合成图像88,使用所述合成图像88来执行三维测量。
另外,在处理的实现例中,也可对通过将合成图像86与合成图像87合成而获得的合成图像44进行图6所示的图元及字的提取处理,由此来输出关于包含在视野内的所有工件W的测量结果。或者,也可对合成图像86及合成图像87分别进行图6所示的图元及字的提取处理,由此来输出与各个图像对应的测量结果,并将各个测量结果予以合成。
图16所示的利用例中,图像处理控制器60使用图像A、图像C及图像B来输出表示工件W的三维形状的测量结果,所述图像A是在来自测量头10-1的投光部20的测量光被投影至工件W的状态下,由测量头10-1的拍摄部30拍摄工件W所得的图像,所述图像C是在来自测量头10-1的投光部20的测量光被投影至工件W的状态下,由测量头10-2的拍摄部30拍摄工件W所得的图像,所述图像B是在来自测量头10-2的投光部20的测量光被投影至工件W的状态下,由测量头10-2的拍摄部30拍摄工件W所得的图像B。通过采用此种处理,能够实质上扩大拍摄部30的视野范围,并且能够提高拍摄部30的测量精度。
(e4:测量头间的连接结构)
接下来,对用于在依据实施方式1的测量系统1中使多个测量头10联系地运行的连接结构的一例进行说明。
图17是表示依据实施方式1的测量系统1中的测量头10间的连接结构例的示意图。参照图17,例如,测量头10-1与测量头10-2之间经由通信线14而连接。测量头10-1与测量头10-2经由通信线14来交换同步信号,由此同步地执行测量光的照射及拍摄。
例如,与测量头10-1的投光部20照射测量光22的时机一致地,将同步信号输出至测量头10-2,由此,能够同时或者序列地(sequential)地执行利用测量头10-1的拍摄部30及测量头10-2的拍摄部30的拍摄。同样,与测量头10-2的投光部20照射测量光22的时机一致地,将同步信号输出至测量头10-1,由此,能够同时或者序列地执行利用测量头10-1的拍摄部30及测量头10-2的拍摄部30的拍摄。
这样,也可在测量头10-1与测量头10-2之间设有通信线14,所述通信线14用于将从测量头10-1的投光部20照射测量光的时机通知给测量头10-2。
图18是表示依据实施方式1的测量系统1中的测量头10间的另一连接结构例的示意图。图18表示根据需要而利用多个测量头10时的连接结构例。例如,根据工件W的配置状态,也有时只要利用单个测量头10便能够实现充分的三维测量。此种情况下,未必需要使用多个测量头10。
在采用此种处理的情况下,例如也可将由测量头10-1所拍摄的图像发送至图像处理控制器60(参照图2),基于图像处理控制器60进行图像处理所得的测量结果,根据需要来对测量头10-2给予进一步的拍摄指令。
通过采用此种连接结构例,能够根据需要,适当地使用测量头10-1及测量头10-2中的其中一个或者两者来实现三维测量。
(e5:测量处理流程(该1))
接下来,对依据实施方式1的测量系统1中的测量处理流程进行说明。图19是表示依据实施方式1的测量系统1中的测量处理流程的流程图。图19所示的各步骤典型的是通过图像处理控制器60的处理器202执行三维测量程序2062(参照图2)而实现。
图19表示下述示例,即,测量头10-1及测量头10-2分别照射测量光22,并且在测量光22的每次照射时,测量头10-1及测量头10-2分别进行拍摄。在图19所示的测量处理开始之前,准备测量头10-1与测量头10-2。
参照图19,图像处理控制器60在收到测量开始命令时(步骤S100中为是),对测量头10-1发送指示测量光的照射开始的命令(步骤S102),并且对测量头10-1及测量头10-2分别发送指示拍摄的命令(步骤S104)。图像处理控制器60从测量头10-1及测量头10-2分别获取所拍摄的图像(图像A及图像C)(步骤S106)。
即,执行下述处理,即,在来自测量头10-1的投光部20的测量光被投影至工件W的状态下,测量头10-2的拍摄部30拍摄工件W而获取第一图像。并行地,执行下述处理,即,在来自测量头10-1的投光部20的测量光被投影至工件W的状态下,测量头10-2的拍摄部30拍摄工件W而获取第二图像。
继而,图像处理控制器60对测量头10-2发送指示测量光的照射开始的命令(步骤S108),并且对测量头10-1及测量头10-2分别发送指示拍摄的命令(步骤S110)。图像处理控制器60从测量头10-1及测量头10-2分别获取所拍摄的图像(步骤S112)。
即,执行下述处理,即,在来自测量头10-2的投光部20的测量光被投影至工件W的状态下,测量头10-2的拍摄部30拍摄工件W而获取第三图像。并行地,执行下述处理,即,在来自测量头10-2的投光部20的测量光被投影至工件W的状态下,测量头10-1的拍摄部30拍摄工件W而获取第四图像。
通过以上的处理,由测量头10所进行的测量光的照射及在被投影有测量光的状态下的拍摄完成。
继而,图像处理控制器60使用从测量头10-1及测量头10-2分别获取的四种图像的一部分或全部,来执行图像合成处理(步骤S114)。即,执行下述处理,即,输出表示工件W的三维形状的测量结果。步骤S114中的图像合成处理的内容是根据预先设定的目的等来决定。并且,图像处理控制器60对图像合成处理的结果所获得的合成图像执行三维测量的处理并输出测量结果(步骤S116)。由此,处理结束,成为下个测量开始命令的输入等待状态。
(e6:测量处理流程(其二))
接下来,对依据实施方式1的测量系统1中的另一测量处理流程进行说明。图20是表示依据实施方式1的测量系统1中的另一测量处理流程的流程图。图20所示的各步骤典型的是通过图像处理控制器60的处理器202执行三维测量程序2062(参照图2)而实现。
图20表示下述示例,即,首先,使用测量头10-1来执行对象物的三维测量,若此三维测量的测量结果不够充分,则使用测量头10-2,且使测量头10-1与测量头10-2联系地执行三维测量。
在图20所示的测量处理开始之前,准备测量头10-1与测量头10-2。此时,图20所示的示例中,假设在图像处理控制器60中保存有对象物的形状数据。
参照图20,图像处理控制器60在收到测量开始命令时(步骤S200中为是),对测量头10-1发送指示测量光的照射开始及拍摄的命令(步骤S202)。继而,图像处理控制器60从测量头10-1获取所拍摄的图像(步骤S204),对所获取的图像执行三维测量的处理而算出测量结果(步骤S206)。接下来,图像处理控制器60判断所算出的三维测量的测量结果是否与预先保存的任一个对象物的形状数据一致(步骤S208)。若所算出的三维测量的测量结果与预先保存的任一个对象物的形状数据一致(步骤S208中为是),则图像处理控制器60将在步骤S206中算出的测量结果作为最终结果予以输出(步骤S210)。即,在所算出的三维测量的测量结果与预先保存的任一个对象物的形状数据一致的情况下,意味着能够通过单个测量头10来适当地对于对象物进行三维测量。并且,本次的测量处理结束。
另一方面,若所算出的三维测量的测量结果不与预先保存的任一个对象物的形状数据一致(步骤S208中为否),则图像处理控制器60对测量头10-2发送指示测量光的照射开始及拍摄的命令(步骤S212)。继而,图像处理控制器60从测量头10-2获取所拍摄的图像(步骤S214),对所获取的图像执行三维测量的处理而算出测量结果(步骤S216)。接下来,图像处理控制器60判断将在步骤S216中算出的三维测量的测量结果编入至先前算出的三维测量的测量结果中所得的结果,是否与预先保存的任一个对象物的形状数据一致(步骤S218)。若所算出的三维测量的测量结果与预先保存的任一个对象物的形状数据一致(步骤S218中为是),则图像处理控制器60将在步骤S216中算出的三维测量的测量结果编入至先前算出的三维测量的测量结果中所得的结果作为最终结果予以输出(步骤S220)。并且,本次的测量处理结束。
另一方面,若所算出的三维测量的测量结果不与预先保存的任一个对象物的形状数据一致(步骤S218中为否),则图像处理控制器60对测量头10-1发送指示测量光的照射开始的命令,并且对测量头10-2发送指示拍摄的命令(步骤S222)。继而,图像处理控制器60从测量头10-2获取所拍摄的图像(步骤S224),对所获取的图像执行三维测量的处理而算出测量结果(步骤S226)。接下来,图像处理控制器60判断将在步骤S226中算出的三维测量的测量结果编入至先前算出的三维测量的测量结果中所得的结果,是否与预先保存的任一个对象物的形状数据一致(步骤S228)。若所算出的三维测量的测量结果与预先保存的任一个对象物的形状数据一致(步骤S228中为是),则图像处理控制器60将在步骤S226中算出的三维测量的测量结果编入至先前算出的三维测量的测量结果中所得的结果作为最终结果予以输出(步骤S230)。并且,本次的测量处理结束。
另一方面,若所算出的三维测量的测量结果不与预先保存的任一个对象物的形状数据一致(步骤S228中为否),则图像处理控制器60对测量头10-2发送指示测量光的照射开始的命令,并且对测量头10-1发送指示拍摄的命令(步骤S232)。继而,图像处理控制器60从测量头10-1获取所拍摄的图像(步骤S234),对所获取的图像执行三维测量的处理而算出测量结果(步骤S236)。接下来,图像处理控制器60判断将在步骤S236中算出的三维测量的测量结果编入至先前算出的三维测量的测量结果中所得的结果,是否与预先保存的任一个对象物的形状数据一致(步骤S238)。若所算出的三维测量的测量结果与预先保存的任一个对象物的形状数据一致(步骤S238中为是),则图像处理控制器60将在步骤S236中算出的三维测量的测量结果编入至先前算出的三维测量的测量结果中所得的结果作为最终结果予以输出(步骤S240)。
若最终算出的三维测量的测量结果不与预先保存的任一个对象物的形状数据一致(步骤S238中为否),则图像处理控制器60将三维测量失败作为最终结果予以输出(步骤S242)。并且,本次的测量处理结束。
图20所示的测量处理根据需要而反复执行。例如,如图9所示,在对不规则地堆积在规定位置的多个工件W进行测量的情况下,由于存在多个同种类的工件,因此也可反复执行图20所示的测量处理,直至所测量的工件W的每个种类的数量满足预先规定的条件为止。此时,图像处理控制器60也可对所测量的工件W的每个种类的数量数据等进行管理。
<F.实施方式2>
作为结构化照明的另一例,对使用相位偏移法时的结构例等进行说明。所述空间编码法中,所照射的浓淡图案是亮度在二维上变化的图案,与此相对,相位偏移法中,所照射的浓淡图案是亮度在一维上变化的图案。即,测量光的剖面具有在一方向上亮度发生变化并且在另一方向上一样的、二维的浓淡图案。
图21是用于说明在依据实施方式2的测量系统1中所用的相位偏移法的图。参照图21,从投光部20A将包含浓淡图案的测定光P'照射至对象物OBJ,并且通过拍摄部30A来拍摄测定光P'被投影至对象物OBJ的状态。图21所示的浓淡图案在Y方向上具有一样的浓淡值,X方向的浓淡值发生变化。
由拍摄部30A所拍摄的图像90可能在X方向上产生对象物OBJ的高度信息(Z方向)。图21所示的图像90中,相当于对象物OBJ的照射面的区域沿X方向偏移,此图像中的偏移量表示对象物OBJ的高度信息(Z方向的位移)。
依据实施方式2的测量系统1具有多个测量头,所述测量头包含图21所示的投光部20A及拍摄部30A。如在所述实施方式1中所说明的那样,在从其中一个测量头的投光部20A照射有测量光的状态下,通过所述测量头的拍摄部30A和/或测量头的拍摄部30A来进行拍摄。例如,在具有投光部20A及拍摄部30A的测量头有两个的情况下,最大能够获取四种图像,使用所述四种图像,实现测量范围的扩大和/或测量精度的提高。
图22是用于说明在依据实施方式2的测量系统1中所用的校准参数的图。参照图22,作为在依据实施方式2的测量系统1中所用的校准参数,与第一测量头的拍摄部30A及第二测量头的拍摄部30A分别相关联地,相对于第一测量头的投光部20A及第二测量头的投光部20A的相对角度在图像处理控制器60中共用。
关于其他的结构及处理,与所述实施方式1同样,因此不再重复详细说明。
<G.实施方式3>
作为结构化照明的另一例,对使用光切法时的结构例等进行说明。所述空间编码法中,所照射的浓淡图案是亮度在二维上变化的图案,与此相对,在光切法中,照射线状的光。
图23是用于说明在依据实施方式3的测量系统1中所用的光切法的图。参照图23,使投光部20B将线状的测定光P”照射至对象物OBJ的位置依序变化(扫描),并且通过拍摄部30B来拍摄测定光被投影至对象物OBJ的状态。伴随测定光P”的扫描,拍摄部30B拍摄多个图像。即,测量头10的投光部20照射作为测量光的线状的光,并且使照射位置随时间发生变化。
由拍摄部30B所拍摄的多个图像92(典型的是30张左右)可能在X方向上产生对象物OBJ的高度信息(Z方向)。图23所示的图像92中,相当于对象物OBJ的照射面的区域沿X方向偏移,此图像中的偏移量表示对象物OBJ的高度信息(Z方向的位移)。
依据实施方式3的测量系统1具有多个测量头,所述测量头包含图23所示的投光部20B及拍摄部30B。如在所述实施方式1中所说明的那样,在从其中一个测量头的投光部20B照射有测量光的状态下,通过所述测量头的拍摄部30B和/或测量头的拍摄部30B来进行拍摄。例如,在具有投光部20B及拍摄部30B的测量头有两个的情况下,最大能够获取四种图像,使用所述四种图像群,实现测量范围的扩大和/或测量精度的提高。
作为在依据实施方式3的测量系统1中所用的校准参数,与所述实施方式2同样地,与第一测量头的拍摄部30B及第二测量头的拍摄部30B分别相关联地,相对于第一测量头的投光部20B及第二测量头的投光部20B的相对角度在图像处理控制器60中共用。
另外,图像处理控制器60预先管理投光部20B照射测定光的位置(角度)与拍摄部30B的拍摄时机的关系,基于所述受到管理的对应关系来对所拍摄的图像群进行图像合成。
其他的结构及处理与所述实施方式1及实施方式2同样,因此不再重复详细说明。
<H.变形例>
(h1:测量光)
所述实施方式1~实施方式3中,作为结构化照明的典型例,例示了空间编码法、相位偏移法、光切法,但并不限于此,能够采用任意的结构化照明。进而,并不限定于结构化照明这一范畴(category),只要是使用具有投光部及拍摄部的组的测量头(或者与此类似的结构),并使用通过投光部与拍摄部的任意组合而拍摄的图像的结构,则也可采用任何结构。
所述实施方式1~实施方式3中,例示了图像处理控制器60对由多个测量头所拍摄的图像进行收集并处理的结构,但并不限于此,也可在任一个测量头中安装图像处理功能。进而,也可将图像处理控制器60作为被称作云的网络上的功能而安装。
(h2:同步信号)
所述图2中公开的测量系统1中,例示了下述结构,即,测量头10-1与测量头10-2之间经由通信线14来交换同步信号,由此来使测量光的照射及拍摄同步。并不限于此,也可由另一主体来控制测量头10-1及测量头10-2中的测量光的照射及拍摄的时机。
图24是表示依据本实施方式的测量系统1的另一结构例的示意图。图24所示的测量系统1中,在图像处理控制器60与测量头10-1及测量头10-2之间,能够利用通信线15来进行通信。这样,设有通信线15,所述通信线15用于从图像处理控制器60对测量头10-1及测量头10-2通知从各测量头10的投光部20照射测量光的时机。
图像处理控制器60经由通信线15来对测量头10-1及测量头10-2中的其中一个指示测量光的照射,并且与所述测量光的照射指示相联系地,对测量头10-1和/或测量头10-2给予拍摄的指示。这样,通信线15传输用于对测量头10-1及测量头10-2中的测量光的照射和/或拍摄的时机进行控制的指令。通过采用此种结构,能够使测量头10-1及测量头10-2联系地实现测量范围的扩大和/或测量精度。
(h3:测量头的布局)
所述实施方式中,主要例示了使用两个测量头10的结构,但也可构成使用三个以上的测量头10的测量系统。而且,关于测量头10的配置,也能够采用与应用相应的配置。
图25是表示依据本实施方式的测量系统1中的测量头10的布局例的示意图。图25(A)及图25(B)表示使用两个测量头10的结构例。
图25中,将测量头10的投光部20与拍摄部30的排列方向规定为X方向,将与X方向正交的方向规定为Y方向。此时,Z方向表示投光部20及拍摄部30的光轴方向。
图25(A)中表示将两个测量头10-1及测量头10-2沿着投光部20与拍摄部30的排列方向(X方向)而配置的示例。图25(B)表示将两个测量头10-1及测量头10-2沿着与投光部20和拍摄部30的排列方向(X方向)正交的方向(Y方向)而配置的示例。
另外,并不限于图25(A)及图25(B)所示的布局,能够根据应用来采用任意布局。
图25(C)表示包含三个测量头10-1、测量头10-2及测量头10-3的测量系统的示例。图25(C)表示下述示例,即,将测量头10-1及测量头10-2沿着X方向而排列配置,并且将测量头10-3配置在朝Y方向偏移的位置。并不限于图25(C)的布局,在采用三个以上的测量头10的情况下,能够采用与应用相应的任意布局。
无论在哪种情况下,均优选各测量头10的投光部20及拍摄部30的端面在Z方向上对齐。
<I.附注>
如上所述的本实施方式包含以下的技术思想。
结构1
包括:
图像处理控制器(60);以及
第一测量头及第二测量头(10-1、10-2),连接于所述图像处理控制器,
所述第一测量头及第二测量头分别包含对于对象物(W)照射测量光的投光部(20)、及在被投影有所述测量光的状态下拍摄所述对象物的拍摄部(30),
所述图像处理控制器使用第一图像(61)、第二图像(62)及第三图像(63)中的至少一者,来输出表示所述对象物的三维形状的测量结果(66),
所述第一图像(61)是在来自所述第一测量头的投光部的测量光(22-1)被投影至所述对象物的状态下,由所述第一测量头的拍摄部拍摄所述对象物所得的图像,
所述第二图像(62)是在来自所述第一测量头的投光部的测量光(22-1)被投影至所述对象物的状态下,由所述第二测量头的拍摄部拍摄所述对象物所得的图像,
所述第三图像(63)是在来自所述第二测量头的投光部的测量光(22-2)被投影至所述对象物的状态下,由所述第一测量头的拍摄部拍摄所述对象物所得的图像。
结构2
根据结构1所述的测量系统,其中
所述图像处理控制器将表示所述对象物的像中的、未包含在所述第一图像(81)中的像从所述第二图像(82)中予以提取,并与所述第一图像结合。
结构3
根据结构1所述的测量系统,其中
所述图像处理控制器提取所述第一图像(84)及所述第三图像(82)中所含的表示所述对象物的共同部分的像中的、更适合于测量的像。
结构4
根据结构1至3中任一项所述的测量系统,其中
所述图像处理控制器进一步使用第四图像来输出表示所述对象物的三维形状的测量结果,所述第四图像是在来自所述第二测量头(10-2)的投光部(20)的测量光(22-2)被投影至所述对象物的状态下,由所述第二测量头(10-2)的拍摄部(30)拍摄所述对象物所得的图像。
结构5
根据结构1至4中任一项所述的测量系统,其中
在所述第一测量头与所述第二测量头之间设有通信线(14),所述通信线(14)用于将从所述第一测量头的投光部(22-1)照射测量光的时机通知给所述第二测量头。
结构6
根据结构1至4中任一项所述的测量系统,其中
设有通信线(15),所述通信线(15)用于从所述图像处理控制器对所述第一测量头及所述第二测量头通知从各测量头的投光部照射测量光的时机。
结构7
根据结构1至6中任一项所述的测量系统,其中
所述第一测量头及第二测量头的投光部照射遵循结构化照明的测量光。
结构8
根据结构1至7中任一项所述的测量系统,其中
所述测量光的剖面具有预先规定的二维的浓淡图案(P)。
结构9
根据结构1至7中任一项所述的测量系统,其中
所述测量光的剖面(P')具有在一方向上亮度发生变化并且在另一方向上一样的、二维的浓淡图案。
结构10
根据结构1至7中任一项所述的测量系统,其中
所述投光部照射作为所述测量光的线状的光,并且使照射位置随时间发生变化。
结构11
一种测量方法,包括准备第一测量头及第二测量头(10-1、10-2)的步骤,所述第一测量头及第二测量头分别包含对于对象物(W)照射测量光的投光部(20)、及在被投影有所述测量光的状态下拍摄所述对象物的拍摄部(30),且所述测量方法包括:
步骤(S102、S104、S106),在来自所述第一测量头的投光部的测量光被投影至所述对象物的状态下,所述第一测量头的拍摄部拍摄所述对象物而获取第一图像;
步骤(S102、S104、S106),在来自所述第一测量头的投光部的测量光被投影至所述对象物的状态下,所述第二测量头的拍摄部拍摄所述对象物而获取第二图像;
步骤(S110、S108、S112),在来自所述第二测量头的投光部的测量光被投影至所述对象物的状态下,所述第一测量头的拍摄部拍摄所述对象物而获取第三图像;以及
步骤(S114),使用所述第一图像、所述第二图像及所述第三图像中的至少一者,来输出表示所述对象物的三维形状的测量结果。
<J.优点>
依据本实施方式的测量系统1通过使用多个测量头,从而能够容易地实现测量范围的扩大和/或测量精度的提高,所述测量头包含对于对象物照射测量光的投光部、及在被投影有所述测量光的状态下拍摄所述对象物的拍摄部。
应认为,本次公开的实施方式在所有方面为例示而非限制者。本发明的范围是由权利要求而非所述说明所示,且意图包含权利要求与均等的含义及范围内的所有变更。
符号的说明
1:测量系统
10、10-1、10-2:测量头
12、14、15:通信线
20、20A、20B:投光部
22、22-1、22-2:测量光
30、30A、30B:拍摄部
32、32-1、32-2:反射光
40:外部电源
44、86、87、88:合成图像
50:集线器
60:图像处理控制器
61:第一图像
62:第二图像
63:第三图像
64:三维形状测量处理
66:测量结果
70:上位控制器
81、82、83、84、90、92:图像
100:处理部
110:设定部
112、116:存储部
114、210:显示部
118、216:上位接口部
120:同步接口部
202:处理器
204:主存储器
206:贮存器
208:输入部
212:光学驱动器
215:记录介质
214:下位接口部
218:处理器总线
2060:OS
2062:三维测量程序
OBJ:对象物
W:工件

Claims (11)

1.一种测量系统,包括:
图像处理控制器;以及
第一测量头及第二测量头,连接于所述图像处理控制器,
所述第一测量头及所述第二测量头分别包含对于对象物照射测量光的投光部、及在被投影有所述测量光的状态下拍摄所述对象物的拍摄部,
所述图像处理控制器使用第一图像、第二图像及第三图像中的至少一者,来输出表示所述对象物的三维形状的测量结果,
所述第一图像是在来自所述第一测量头的投光部的所述测量光被投影至所述对象物的状态下,由所述第一测量头的拍摄部拍摄所述对象物所得的图像,
所述第二图像是在来自所述第一测量头的投光部的所述测量光被投影至所述对象物的状态下,由所述第二测量头的拍摄部拍摄所述对象物所得的图像,
所述第三图像是在来自所述第二测量头的投光部的所述测量光被投影至所述对象物的状态下,由所述第一测量头的拍摄部拍摄所述对象物所得的图像。
2.根据权利要求1所述的测量系统,其中
所述图像处理控制器将表示所述对象物的像中的、未包含在所述第一图像中的像从所述第二图像中予以提取,并与所述第一图像结合。
3.根据权利要求1所述的测量系统,其中
所述图像处理控制器提取所述第一图像及所述第三图像中所含的表示所述对象物的共同部分的像中的、更适合于测量的像。
4.根据权利要求1至3中任一项所述的测量系统,其中
所述图像处理控制器进一步使用第四图像来输出表示所述对象物的三维形状的测量结果,所述第四图像是在来自所述第二测量头的投光部的所述测量光被投影至所述对象物的状态下,由所述第二测量头的拍摄部拍摄所述对象物所得的图像。
5.根据权利要求1至4中任一项所述的测量系统,其中
在所述第一测量头与所述第二测量头之间设有通信线,所述通信线用于将从所述第一测量头的投光部照射所述测量光的时机通知给所述第二测量头。
6.根据权利要求1至4中任一项所述的测量系统,其中
设有通信线,所述通信线用于从所述图像处理控制器对所述第一测量头及所述第二测量头通知从各测量头的投光部照射所述测量光的时机。
7.根据权利要求1至6中任一项所述的测量系统,其中
所述第一测量头及所述第二测量头的投光部照射遵循结构化照明的所述测量光。
8.根据权利要求1至7中任一项所述的测量系统,其中
所述测量光的剖面具有预先规定的二维的浓淡图案。
9.根据权利要求1至7中任一项所述的测量系统,其中
所述测量光的剖面具有在一方向上亮度发生变化并且在另一方向上一样的、二维的浓淡图案。
10.根据权利要求1至7中任一项所述的测量系统,其中
所述投光部照射作为所述测量光的线状的光,并且使照射位置随时间发生变化。
11.一种测量方法,包括准备第一测量头及第二测量头的步骤,所述第一测量头及所述第二测量头分别包含对于对象物照射测量光的投光部、及在被投影有所述测量光的状态下拍摄所述对象物的拍摄部,且所述测量方法包括下述步骤:
在来自所述第一测量头的投光部的所述测量光被投影至所述对象物的状态下,所述第一测量头的拍摄部拍摄所述对象物而获取第一图像;
在来自所述第一测量头的投光部的所述测量光被投影至所述对象物的状态下,所述第二测量头的拍摄部拍摄所述对象物而获取第二图像;
在来自所述第二测量头的投光部的所述测量光被投影至所述对象物的状态下,所述第一测量头的拍摄部拍摄所述对象物而获取第三图像;以及
使用所述第一图像、所述第二图像及所述第三图像中的至少一者,来输出表示所述对象物的三维形状的测量结果。
CN201980030286.9A 2018-06-11 2019-05-24 测量系统以及测量方法 Active CN112105888B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-111126 2018-06-11
JP2018111126A JP7212240B2 (ja) 2018-06-11 2018-06-11 計測システムおよび計測方法
PCT/JP2019/020621 WO2019239847A1 (ja) 2018-06-11 2019-05-24 計測システムおよび計測方法

Publications (2)

Publication Number Publication Date
CN112105888A true CN112105888A (zh) 2020-12-18
CN112105888B CN112105888B (zh) 2022-04-15

Family

ID=68842845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980030286.9A Active CN112105888B (zh) 2018-06-11 2019-05-24 测量系统以及测量方法

Country Status (4)

Country Link
EP (1) EP3805696A4 (zh)
JP (1) JP7212240B2 (zh)
CN (1) CN112105888B (zh)
WO (1) WO2019239847A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366931A (ja) * 2001-06-08 2002-12-20 Nec Corp 形状計測装置およびその方法
JP2003148936A (ja) * 2002-10-30 2003-05-21 Nippon Avionics Co Ltd 光切断法による対象物の三次元計測方法
CN1982841A (zh) * 2005-12-14 2007-06-20 株式会社高永科技 三维形状测量装置及方法
CN101765755A (zh) * 2007-07-27 2010-06-30 欧姆龙株式会社 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
CN103261836A (zh) * 2010-10-08 2013-08-21 欧姆龙株式会社 形状测量设备及形状测量方法
US20130214178A1 (en) * 2010-11-18 2013-08-22 Rolls-Royce Plc Surface coating for inspection
JP2013205407A (ja) * 2012-03-29 2013-10-07 Moire Institute Inc 形状計測装置、形状計測方法及び形状計測装置における校正処理方法
CN104380037A (zh) * 2012-06-12 2015-02-25 株式会社岛精机制作所 三维测量装置和三维测量方法
CN105313126A (zh) * 2014-07-29 2016-02-10 精工爱普生株式会社 控制系统、机器人系统、以及控制方法
CN106595519A (zh) * 2016-12-07 2017-04-26 西安知象光电科技有限公司 一种基于激光mems投影的柔性三维轮廓测量方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001324313A (ja) 2000-05-16 2001-11-22 Koichi Nakano 三次元形状計測装置
EP1625350A1 (en) * 2003-03-18 2006-02-15 Alexander Thomas Hermary Coded-light dual-view profile scanner
JP6091977B2 (ja) 2013-04-22 2017-03-08 日立建機株式会社 建設機械
KR101659302B1 (ko) * 2015-04-10 2016-09-23 주식회사 고영테크놀러지 3차원 형상 측정장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366931A (ja) * 2001-06-08 2002-12-20 Nec Corp 形状計測装置およびその方法
JP2003148936A (ja) * 2002-10-30 2003-05-21 Nippon Avionics Co Ltd 光切断法による対象物の三次元計測方法
CN1982841A (zh) * 2005-12-14 2007-06-20 株式会社高永科技 三维形状测量装置及方法
CN101765755A (zh) * 2007-07-27 2010-06-30 欧姆龙株式会社 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
CN103261836A (zh) * 2010-10-08 2013-08-21 欧姆龙株式会社 形状测量设备及形状测量方法
US20130214178A1 (en) * 2010-11-18 2013-08-22 Rolls-Royce Plc Surface coating for inspection
JP2013205407A (ja) * 2012-03-29 2013-10-07 Moire Institute Inc 形状計測装置、形状計測方法及び形状計測装置における校正処理方法
CN104380037A (zh) * 2012-06-12 2015-02-25 株式会社岛精机制作所 三维测量装置和三维测量方法
CN105313126A (zh) * 2014-07-29 2016-02-10 精工爱普生株式会社 控制系统、机器人系统、以及控制方法
CN106595519A (zh) * 2016-12-07 2017-04-26 西安知象光电科技有限公司 一种基于激光mems投影的柔性三维轮廓测量方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MING PENG等: "Three dimensional photovoltaic fibers for wearable energy harvesting and conversion", 《JOURNAL OF ENERGY CHEMISTRY》 *
曾亮 等: "一种新的结构光三维测量方法", 《微计算机信息》 *
石春琴 等: "随机模式投影双目测量系统中的单目测量", 《光学精密工程》 *

Also Published As

Publication number Publication date
EP3805696A4 (en) 2022-02-23
JP2019215181A (ja) 2019-12-19
WO2019239847A1 (ja) 2019-12-19
EP3805696A1 (en) 2021-04-14
JP7212240B2 (ja) 2023-01-25
CN112105888B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
US8330803B2 (en) Method and apparatus for 3D digitization of an object
US8160334B2 (en) Method for optical measurement of objects using a triangulation method
JP5057734B2 (ja) 測量方法及び測量システム及び測量データ処理プログラム
US7196730B2 (en) Method and system for complete 3D object and area digitizing
JP6484072B2 (ja) 物体検出装置
EP2869266A1 (en) Method and apparatus for generating depth map of a scene
CN106715084A (zh) 机器视觉辅助的增材制造的系统和方法
EP3049756B1 (en) Modeling arrangement and method and system for modeling the topography of a three-dimensional surface
JP5633058B1 (ja) 3次元計測装置及び3次元計測方法
Kersten et al. Potential of automatic 3D object reconstruction from multiple images for applications in architecture, cultural heritage and archaeology
JP7344289B2 (ja) 点群データ処理装置、点群データ処理方法及びプログラム
US20130287293A1 (en) Active Lighting For Stereo Reconstruction Of Edges
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
US20190180475A1 (en) Dynamic camera calibration
CN1544883A (zh) 基于特定网格图案的三维脚型测量和建模的方法
CN112105888B (zh) 测量系统以及测量方法
CN114782632A (zh) 一种图像重建方法、装置及设备
JP4599500B2 (ja) 座標情報収集システム及び3次元形状推定システム
CN112292577A (zh) 三维测量装置以及方法
Doroszuk et al. The possibility of using close-range photogrammetry in the inventory of historic complex basements-case study
CN108182702B (zh) 基于深度图像采集设备的实时三维建模方法及系统
CN103299156B (zh) 创建三维图像文件的系统和方法
CA2364888C (en) A method and system for complete 3d object and area digitizing
JP7327484B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
WO2023139946A1 (ja) 測距装置および測距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant