CN109323668B - 三维形状测定装置、机器人系统以及三维形状测定方法 - Google Patents

三维形状测定装置、机器人系统以及三维形状测定方法 Download PDF

Info

Publication number
CN109323668B
CN109323668B CN201810835367.3A CN201810835367A CN109323668B CN 109323668 B CN109323668 B CN 109323668B CN 201810835367 A CN201810835367 A CN 201810835367A CN 109323668 B CN109323668 B CN 109323668B
Authority
CN
China
Prior art keywords
phase pattern
pattern image
dimensional shape
phase
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810835367.3A
Other languages
English (en)
Other versions
CN109323668A (zh
Inventor
塚本健太郎
原田智纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN109323668A publication Critical patent/CN109323668A/zh
Application granted granted Critical
Publication of CN109323668B publication Critical patent/CN109323668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

提供三维形状测定装置、机器人系统以及三维形状测定方法。能够缩短对象物的三维形状的测定所需的时间。一种三维形状测定装置，具备控制部，所述控制部进行下述工作：在经过启动时间为止的期间，开始利用投射部投射互不相同的多个相位图案像的每一个并且每当所述相位图案像各自被所述投射部投射时使拍摄部拍摄所述相位图案像的处理，所述启动时间为从所述投射部所具备的光源开始照射光起直到所述光的亮度不再随时间变化为止的时间，在进行所述处理之后，基于由所述拍摄部拍摄到的拍摄图像，测定被投射了所述相位图案像的对象物的三维形状。

Description

三维形状测定装置、机器人系统以及三维形状测定方法
技术领域
本发明涉及三维形状测定装置、机器人系统以及三维形状测定方法。
背景技术
正在进行关于测定对象物的三维形状的技术的研究、开发。
关于这一点，已知有使用了相移法的形状测定装置(参照专利文献1)。
专利文献1：日本特开2012－159412号公报
在相移法中，具有互不相同的相位的多个正弦波图案分别被投射部投射到对象物，被投射了正弦波图案的对象物由拍摄部来拍摄。因此，在从投射部所具备的光源开始照射光到该光的亮度不再随时间变化为止的期间，这样的形状测定装置不进行拍摄部对被投射了正弦波图案的对象物的拍摄而是待机。其结果，该形状测定装置有时难以缩短对象物的三维形状的测定所需的时间。
发明内容
为了解决至少一个上述技术问题，本发明的一方式为一种三维形状测定装置，其是具备控制部的三维形状测定装置，其中，所述控制部进行下述工作：在经过启动时间为止的期间，开始利用投射部投射互不相同的多个相位图案像的每一个并且每当所述相位图案像各自被所述投射部投射时使拍摄部拍摄所述相位图案像的处理，所述启动时间为从所述投射部所具备的光源开始照射光起直到所述光的亮度不再随时间变化为止的时间，在进行所述处理之后，基于由所述拍摄部拍摄到的拍摄图像，测定被投射了所述相位图案像的对象物的三维形状。
通过该结构，三维形状测定装置在经过从投射部所具备的光源开始照射光起直到该光的亮度不再随时间变化的时间即启动时间为止的期间，开始利用投射部投射互不相同的多个相位图案像的每一个并且每当相位图案像分别被投射部投射时使拍摄部拍摄相位图案像的处理，在进行该处理之后，基于由拍摄部拍摄到的拍摄图像，测定被投射了相位图案像的对象物的三维形状。由此，三维形状测定装置能够缩短对象物的三维形状的测定所需的时间。
另外，本发明的其他方式也可以使用如下构成：在三维形状测定装置中，所述多个相位图案像是四个所述相位图案像，所述四个所述相位图案像各自表示亮度值沿所述相位图案像上的第一方向周期性变化的波，所述四个所述相位图案像中包含表示成为基准的所述波的所述相位图案像即第一相位图案像、表示相位相对于所述第一相位图案像所表示的所述波超前90度的所述波的所述相位图案像即第二相位图案像、表示相位相对于所述第二相位图案像所表示的所述波超前90度的所述波的所述相位图案像即第三相位图案像、以及表示相位相对于所述第三相位图案像所表示的所述波超前90度的所述波的所述相位图案像即第四相位图案像，所述控制部使所述投射部依次投射所述第一相位图案像、所述第三相位图案像、所述第二相位图案像、所述第四相位图案像。
根据该结构，三维形状测定装置使投射部依次投射第一相位图案像、第三相位图案像、第二相位图案像、第四相位图案像。由此，三维形状测定装置基于按照第一相位图案像、第三相位图案像、第二相位图案像、第四相位图案像的顺序被投射部投射了的第一相位图案像、第二相位图案像、第三相位图案像，第四相位图案像，能够减少误差，并且能够缩短对象物的三维形状的测定所需的时间。
另外，本发明的其他方式也可以使用如下构成：在三维形状测定装置中，所述控制部具备：操作受理部，受理操作；图像生成部，根据所述操作受理部所受理的操作，生成所述多个相位图案像；定时控制部，控制使所述投射部投射所述图像生成部所生成的所述多个相位图案像的每一个的投射定时、以及使所述拍摄部拍摄由所述投射部投射的所述相位图案像的每一个的拍摄定时；投射控制部，根据由所述定时控制部控制的所述投射定时，使所述投射部投射所述图像生成部所生成的所述多个相位图案像的每一个；拍摄控制部，根据由所述定时控制部控制的所述拍摄定时，使所述拍摄部拍摄所述相位图案像；以及三维形状测定部，基于由所述拍摄部拍摄到的所述拍摄图像，测定所述对象物的三维形状。
通过该结构，三维形状测定装置受理操作，根据受理的操作生成多个相位图案像，控制使投射部投射生成的多个相位图案像的每一个的投射定时、以及使拍摄部拍摄由投射部投射的相位图案像的每一个的拍摄定时，根据控制的投射定时，使投射部投射所生成的多个相位图案像的每一个，根据控制的拍摄定时，使拍摄部拍摄相位图案像，基于由拍摄部拍摄到的拍摄图像，测定对象物的三维形状。由此，三维形状测定装置基于投射定时以及拍摄定时，能够缩短对象物的三维形状的测定所需的时间。
另外，本发明的其他方式也可以使用如下构成：在三维形状测定装置中，所述操作受理部受理用户的所述操作。
通过该结构，三维形状测定装置受理用户的操作。由此，三维形状测定装置根据从用户受理的操作，能够缩短对象物的三维形状的测定所需的时间。
另外，本发明的其他方式也可以使用如下构成：在三维形状测定装置中，所述操作受理部受理来自其他装置的要求作为所述操作。
通过该结构，三维形状测定装置受理来自其他装置的要求作为操作。由此，三维形状测定装置根据从其他装置受理的操作，能够缩短对象物的三维形状的测定所需的时间。
另外，本发明的其他方式也可以使用如下构成：在三维形状测定装置中，所述控制部使用基于由所述拍摄部拍摄到的拍摄图像的相移法，测定被投射了所述相位图案像的所述对象物的三维形状。
通过该结构，三维形状测定装置使用基于由拍摄部拍摄到的拍摄图像的相移法，测定被投射了相位图案像的对象物的三维形状。由此，三维形状测定装置能够缩短基于相移法的对象物的三维形状的测定所需的时间。
另外，本发明的其他方式为一种机器人系统，具备：三维形状测定装置，具备控制部并测定对象物的三维形状；机器人；以及机器人控制装置，基于由所述三维形状测定装置测定出的所述对象物的三维形状，使所述机器人移动，所述控制部进行下述工作：在经过启动时间为止的期间，开始利用投射部投射互不相同的多个相位图案像的每一个并且每当所述相位图案像各自被所述投射部投射时使拍摄部拍摄所述相位图案像的处理，所述启动时间为从所述投射部所具备的光源开始照射光起直到所述光的亮度不再随时间变化为止的时间；在进行所述处理之后，基于由所述拍摄部拍摄到的拍摄图像，测定被投射了所述相位图案像的所述对象物的三维形状。
通过该结构，机器人系统在经过从投射部所具备的光源开始照射光起直到该光的亮度不再随时间变化的时间即启动时间为止的期间内，开始利用投射部投射互不相同的多个相位图案像的每一个并且每当相位图案像分别被投射部投射时使拍摄部拍摄相位图案像的处理，在进行该处理之后，基于由拍摄部拍摄到的拍摄图像，测定被投射了相位图案像的对象物的三维形状。由此，机器人系统能够缩短使机器人进行的作业所需的时间。
另外，本发明的其他方式为一种三维形状测定方法，具有：处理步骤，在经过启动时间为止的期间，开始利用投射部投射互不相同的多个相位图案像的每一个并且每当所述相位图案像各自被所述投射部投射时使拍摄部拍摄所述相位图案像的处理，所述启动时间为从所述投射部所具备的光源开始照射光起直到所述光的亮度不再随时间变化为止的时间；以及测定步骤，在通过所述处理步骤进行所述处理之后，基于由所述拍摄部拍摄到的拍摄图像，测定被投射了所述相位图案像的对象物的三维形状。
通过该结构，三维形状测定方法在经过从投射部所具备的光源开始照射光起直到所述光的亮度不再随时间变化的时间即启动时间为止的期间内，开始利用投射部投射互不相同的多个相位图案像的每一个并且每当相位图案像分别被投射部投射时使拍摄部拍摄相位图案像的处理，在进行处理之后，基于由拍摄部拍摄到的拍摄图像，测定被投射了相位图案像的对象物的三维形状。由此，三维形状测定方法能够缩短对象物的三维形状的测定所需的时间。
另外，本发明的其他方式为一种机器人系统，其特征在于，具备：三维形状测定装置，具备处理器并测定对象物的三维形状；机器人；以及机器人控制装置，基于由所述三维形状测定装置测定出的所述对象物的三维形状，使所述机器人移动，所述处理器构成为执行下述指令：在经过启动时间为止的期间，开始利用投射部投射互不相同的多个相位图案像的每一个并且每当所述相位图案像各自被所述投射部投射时使拍摄部拍摄所述相位图案像的处理，所述启动时间为从所述投射部所具备的光源开始照射光起直到所述光的亮度不再随时间变化为止的时间；在进行所述处理之后，基于由所述拍摄部拍摄到的拍摄图像，测定被投射了所述相位图案像的所述对象物的三维形状。
通过该结构，机器人系统在经过从投射部所具备的光源开始照射光起直到该光的亮度不再随时间变化的时间即启动时间为止的期间，开始使投射部投射互不相同的多个相位图案像的每一个并且每当相位图案像分别被投射部投射时使拍摄部拍摄相位图案像的处理，在进行该处理之后，基于由拍摄部拍摄到的拍摄图像，测定被投射了相位图案像的对象物的三维形状。由此，机器人系统能够缩短使机器人进行的作业所需的时间。
由此，三维形状测定装置以及三维形状测定方法在经过从投射部所具备的光源开始照射光起直到该光的亮度不再随时间变化的时间即启动时间为止的期间，开始利用投射部投射互不相同的多个相位图案像的每一个，并且每当相位图案像分别被投射部投射时，开始使拍摄部拍摄相位图案像的处理，在进行该处理之后，基于由拍摄部拍摄到的拍摄图像，测定被投射了相位图案像的对象物的三维形状。由此，三维形状测定装置以及三维形状测定方法能够缩短对象物的三维形状的测定所需的时间。
另外，机器人系统在经过从投射部所具备的光源开始照射光起直到该光的亮度不再随时间变化的时间即启动时间为止的期间，开始利用投射部投射互不相同的多个相位图案像的每一个并且每当相位图案像分别被投射部投射时使拍摄部拍摄相位图案像的处理，在进行该处理之后，基于由拍摄部拍摄到的拍摄图像，测定被投射了相位图案像的对象物的三维形状。由此，机器人系统能够缩短使机器人进行的作业所需的时间。
附图说明
图1是表示实施方式的三维形状测定系统1的构成的一个例子的图。
图2是通过多个信息处理装置构成了三维形状测定装置30的情况下的三维形状测定装置30的硬件构成的一个例子。
图3是表示投射到不包含对象物O的投射范围R1的情况下的四个相位图案像各自的一个例子的图。
图4是表示从投射部5所具备的光源照射的光的亮度随时间变化的情况下的四个相位图案像各自的平均亮度值的时间上的变化的图。
图5是表示图4所示的图表中使利用投射部5分别投射四个相位图案像的定时的顺序变化的情况下的图表的图。
图6是表示三维形状测定装置30的功能构成的一个例子的图。
图7是表示三维形状测定装置30测定对象物O的三维形状的处理的流程的一个例子的图。
图8是表示实施方式的变形例1的机器人系统2的一个例子的构成图。
图9是表示机器人控制装置70使机器人60进行预定的作业的处理的流程的一个例子的图。
图10是表示实施方式的变形例2的机器人系统3的一个例子的构成图。
附图标记说明
1…三维形状测定系统，2…机器人系统，5…投射部，10…拍摄部，30…三维形状测定装置，31、41、51…处理器，32、42、52…存储器，40…输入装置，50…显示装置，60…机器人，70…机器人控制装置，321、322…指令，361…操作受理部，362…定时控制部，363…拍摄控制部，365…投射控制部，367…图像取得部，371…建立对应部，373…三维形状测定部，377…显示控制部，379…图像生成部，C1…第一拍摄图像，C2…第二拍摄图像，C3…第三拍摄图像，C4…第四拍摄图像，P1…第一相位图案像，P2…第二相位图案像，P3…第三相位图案像，P4…第四相位图案像，PC1～PC4…信息处理装置。
具体实施方式
＜实施方式＞
以下，参照附图对本发明的实施方式进行说明。
＜三维形状测定系统的概要＞
首先，对三维形状测定系统1的概要进行说明。
三维形状测定系统1利用投射部向对象物投射相位图案像，利用拍摄部拍摄被投射了相位图案像的对象物，基于拍摄到该对象物的拍摄图像，测定对象物的三维形状。相位图案像是由投射部投射的投射图像中的、表示图像上的像素值沿图像上的第一方向周期性地变化的波(例如，正弦波)的投射图像。在该一个例子中，第一方向是沿着投射图像的长边方向的方向。此外，第一方向也可以取代沿着该长边方向的方向而是投射图像上的其他方向。在该一个例子中，该像素值是亮度值。此外，该像素值也可以取代亮度值而是明度值、彩度值等其他像素值。
这里，从投射部所具备的光源照射的光的亮度在该光源开始照射光到该光源的物理特性稳定为止的期间随时间变化。以下，为了方便说明，将该光源开始照射光到该光源的物理特性稳定为止的期间的时间称作启动时间(即，启动时间)来进行说明。即，该光源照射的光的亮度从该光源开始照射光经过启动时间之后，除了因电压的波动等产生的波动、光源的恶化等带来的减少之外，不随时间变化。
在从光源照射的光的亮度随时间变化的情况下，相位图案像的平均亮度值也对应于该亮度的变化而变化。某一相位图案像的平均亮度值是该相位图案像上的各点上的亮度值的平均值。在这样的情况下，基于由拍摄部拍摄被投射了相位图案像的对象物而得的拍摄图像的三维形状的测定中，存在误差变大的情况。
出于这样的理由，与三维形状测定系统1不同的三维形状测定系统X(例如，以往的三维形状测定系统)在利用投射部向对象物投射了相位图案像之后，在从该光源开始照射光到经过启动时间为止的期间，不进行拍摄部对对象物O的拍摄而是待机。其结果，三维形状测定系统X有时难以缩短对象物的三维形状的测定所需的时间。
因此，三维形状测定系统1在经过从投射部所具备的光源开始照射光起直到该光的亮度不再随时间变化的时间即启动时间为止的期间，利用投射部投射互不相同的多个相位图案像的每一个，并且每当相位图案像分别被投射部投射时，开始使拍摄部拍摄相位图案像的投射拍摄处理。然后，三维形状测定系统1在进行了投射拍摄处理之后，基于由拍摄部拍摄到的拍摄图像，测定被投射了相位图案像的对象物的三维形状。由此，三维形状测定系统1能够缩短对象物的三维形状的测定所需的时间。
以下，对三维形状测定系统1的构成、由三维形状测定系统1抑制通过所述那种方法进行对象物的三维形状的测定时产生的误差的处理、以及三维形状测定系统1测定对象物的三维形状的处理进行说明。
＜三维形状测定系统的构成＞
以下，对三维形状测定系统1的构成进行说明。
图1是表示实施方式的三维形状测定系统1的构成的一个例子的图。三维形状测定系统1具备作为所述的投射部的一个例子的投射部5、作为所述的拍摄部的一个例子的拍摄部10、三维形状测定装置30、输入装置40、以及显示装置50。此外，三维形状测定系统1可以是不具备投射部5、拍摄部10、输入装置40、以及显示装置50的一部分或者全部的构成，也可以是投射部5、拍摄部10、以及三维形状测定装置30的一部分或者全部构成为一体的构成，还可以是输入装置40作为触摸面板装置与显示装置50一体地构成的构成，还可以是输入装置40与显示装置50中的某一方或者两方与三维形状测定装置30一体地构成的构成。
投射部5例如是具备用于进行投射图像的投射的液晶光阀、投射透镜、液晶驱动部的投影仪。另外，投射部5是具备超高压汞灯、金属卤化物灯等作为光源的投影仪。投射部5设置于能够向图1所示的包含载置于作业台TB的上表面的对象物O的范围、即投射范围R1投射投射图像的位置。
作业台TB例如是工作台等台。此外，作业台TB也可以取代工作台，只要是能够载置对象物O的台，也可以是其他台。
对象物O是所述的对象物的一个例子。对象物O例如是组装于产品的板、螺丝、螺栓等工业用的部件、构件。在图1中，为了简化图，将对象物O表示为立方体形状的物体。此外，对象物O也可以取代工业用的部件、构件而为日用品、生物体等其他物体。另外，对象物O的形状也可以取代立方体形状而为其他形状。
投射部5利用线缆与三维形状测定装置30能够通信地连接。经由线缆的有线通信例如通过以太网(注册商标)、USB(Universal Serial Bus)等标准进行。此外，投射部5也可以是通过以Wi－Fi(注册商标)等通信标准进行的无线通信而与三维形状测定装置30连接的构成。
拍摄部10例如是具备CCD(Charge Coupled Device)、CMOS(Complementary MetalOxide Semiconductor)等作为将会聚的光转换为电信号的拍摄元件的相机。拍摄部10设置于图1所示的能够拍摄包含载置于作业台TB的上表面的对象物O的范围即拍摄范围R2的位置。以下，作为一个例子，对拍摄范围R2的整体包含在投射范围R1的内侧的情况进行说明。此外，拍摄范围R2也可以取代于此而为与投射范围R1局部重叠的构成，还可以是将投射范围R1的整体包含于内侧的构成。
拍摄部10通过线缆与三维形状测定装置30能够通信地连接。此外，经由线缆的有线通信例如通过以太网(注册商标)、USB等标准来进行。另外，拍摄部10也可以是通过以Wi－Fi(注册商标)等通信标准进行的无线通信而与三维形状测定装置30连接的构成。
三维形状测定装置30由至少一个处理器和至少一个存储器构成。在三维形状测定装置30中，该至少一个处理器可以是具备在一个装置的构成，也可以是分散具备在多个信息处理装置中的构成。另外，在三维形状测定装置30中，该至少一个存储器可以是具备在一个装置的构成，也可以是分散具备在多个信息处理装置中的构成。
在图1所示的例子中，三维形状测定装置30由信息处理装置PC1所具备的一个处理器即处理器31、以及信息处理装置PC1所具备的一个存储器即存储器32构成。此外，信息处理装置PC1也可以是除了处理器31之外还具备其他处理器的构成，还可以是除了存储器32之外还具备其他存储器的构成。
信息处理装置PC1例如是工作站、台式PC(Personal Computer)、笔记本PC、平板PC、多功能移动电话终端(智能手机)、带通信功能的电子书阅读器、PDA(Personal DigitalAssistant)等。
处理器31例如是CPU(Central Processing Unit)。此外，处理器31也可以是FPGA(Field-Programmable Gate Array)等其他处理器。处理器31执行储存于存储器32的各种指令。另外，处理器31执行储存于其他装置的存储器的各种指令。
存储器32例如包含HDD(Hard Disk Drive)、SSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read－Only Memory)、ROM(Read－OnlyMemory)、RAM(Random Access Memory)等。即，存储器32包含暂时性的存储装置和非暂时性的存储装置。此外，存储器32也可以取代内置于信息处理装置PC1，而为利用USB等数字输入输出端口等连接的外设型的存储装置。存储器32储存处理器31或者其他装置的处理器所处理的各种信息、指令321、322等能够由计算机执行的各种指令(例如程序、代码等)、各种图像等。
指令321以及指令322分别是处理器31为了构成三维形状测定装置30而由处理器31执行的多个指令(即，能够由计算机执行的多个指令)中的一部分。
另外，信息处理装置PC1为了与其他装置进行通信，具备通信部34作为硬件功能部。
通信部34包含USB等数字输入输出端口、以太网(注册商标)端口等而构成。
此外，三维形状测定装置30也可以取代具备一个处理器31和一个存储器32的信息处理装置PC1，而是如图2所示那样由多个信息处理装置中的一部分或者全部构成。图2是由多个信息处理装置构成三维形状测定装置30的情况下的三维形状测定装置30的硬件构成的一个例子。
图2所示的信息处理装置PC2具备作为一个处理器的处理器41、作为一个存储器的存储器42、以及通信部44。此外，信息处理装置PC2也可以是除了处理器41之外还具备其他处理器的构成。另外，信息处理装置PC2也可以是除了存储器42之外还具备其他存储器的构成
信息处理装置PC2例如是工作站、台式PC、笔记本PC、平板PC、多功能移动电话终端(智能手机)、带通信功能的电子书阅读器、PDA等。
处理器41是CPU。此外，处理器41也可以是FPGA等其他处理器。处理器41执行储存于存储器42的各种指令。另外，处理器41执行储存于其他装置的存储器的各种指令。
存储器42例如包含HDD、SSD、EEPROM、ROM、RAM等。即，存储器42包含暂时性的存储装置和非暂时性的存储装置。此外，存储器42也可以取代内置于信息处理装置PC2，而为利用USB等数字输入输出端口等连接的外设型的存储装置。存储器42储存处理器41或者其他装置的处理器所处理的各种信息、各种指令(例如程序、代码等)、各种图像等。
通信部44包含USB等数字输入输出端口、以太网(注册商标)端口等而构成。
图2所示的信息处理装置PC3具备作为一个处理器的处理器51、作为一个存储器的存储器52、以及通信部54。此外，信息处理装置PC3也可以是除了处理器51之外还具备其他处理器的构成。另外，信息处理装置PC3也可以是除了存储器52之外还具备其他存储器的构成。
信息处理装置PC3例如是工作站、台式PC、笔记本PC、平板PC、多功能移动电话终端(智能手机)、带通信功能的电子书阅读器、PDA等。
处理器51是CPU。此外，处理器51也可以是FPGA等其他处理器。处理器51执行储存于存储器52的各种指令。另外，处理器51执行储存于其他装置的存储器的各种指令。
存储器52例如包含HDD、SSD、EEPROM、ROM、RAM等。即，存储器52包含暂时性的存储装置和非暂时性的存储装置。此外，存储器52也可以取代内置于信息处理装置PC3，而为利用USB等数字输入输出端口等连接的外设型的存储装置。存储器52储存处理器51或者其他装置的处理器所处理的各种信息、各种指令(例如程序、代码等)、各种图像等。
通信部54包含USB等数字输入输出端口、以太网(注册商标)端口等而构成。
在图2所示的例子中，信息处理装置PC1和信息处理装置PC2通过无线或者有线能够相互通信地连接。另外，在该例子中，信息处理装置PC1和信息处理装置PC3经由LAN(Local Area Network)通过无线或者有线能够相互通信地连接。另外，在该例子中，信息处理装置PC2和信息处理装置PC3经由LAN通过无线或者有线能够相互通信地连接。
在图2所示的例子中，三维形状测定装置30由处理器31、处理器41、及处理器51中的至少一个和存储器32、存储器42、及存储器52中的至少一个构成。在利用处理器31、处理器41、及处理器51中的2个以上构成三维形状测定装置30的情况下，构成三维形状测定装置30的该2个以上的处理器通过进行基于通信部的通信，从而协作地实现三维形状测定装置30的功能。另外，在该情况下，该2个以上的处理器基于存储器32、存储器42、及存储器52中的至少一个所储存的指令，执行基于三维形状测定装置30的功能的处理。
此外，如图2所示的例子那样，在三维形状测定装置30由多个信息处理装置构成的情况下，投射部5、拍摄部10分别与该多个信息处理装置的至少一个能够通信地连接。另外，在该情况下，输入装置40、显示装置50分别与该多个信息处理装置的至少一个能够通信地连接。
返回到图1。三维形状测定装置30使投射部5向投射范围R1投射相位图案像。三维形状测定装置30使拍摄部10拍摄被投射了相位图案像的投射范围R1所含的拍摄范围R2。拍摄范围R2中包含对象物O。即，三维形状测定装置30使拍摄部10拍摄作为包含对象物O的范围的拍摄范围R2。三维形状测定装置30从拍摄部10取得拍摄部10所拍摄到的拍摄图像。三维形状测定装置30基于取得的拍摄图像，进行对象物O的三维形状的测定。这里，在该一个例子中，测定对象物O的三维形状的意思是，生成作为表示对象物O的三维形状的信息的三维形状信息。
具体而言，对于取得的拍摄图像上的点、即该拍摄图像内的区域中的作为拍摄到对象物O的区域的对象物区域内所含的点的每一个，三维形状测定装置30检测点的三维位置(三维坐标)，并将检测出的三维位置与该点建立对应。这样，三维形状测定装置30生成拍摄到包含对象物O的拍摄范围R2的拍摄图像、即对象物区域内的各点与三维位置建立了对应的拍摄图像，作为表示对象物O的三维形状的三维形状信息。
这里，从拍摄图像检测的三维位置可以是机器人坐标系中的三维位置，也可以是世界坐标系中的三维位置，也可以其他三维坐标系中的三维位置。以下，作为一个例子，对三维形状测定装置30基于取得的拍摄图像检测对象物区域内所含的各点的机器人坐标系中的三维位置的情况进行说明。
此外，以下，对于三维形状测定装置30而言，针对预先进行了将表示由拍摄部拍摄到的拍摄图像上的各点的位置的拍摄部坐标系的XY平面上的坐标、以及机器人坐标系中的XY平面上的坐标建立对应的校准的情况进行说明。拍摄部坐标系的XY平面是由拍摄部坐标系中的X轴以及Y轴所展开的平面。机器人坐标系的XY平面是由机器人坐标系中的X轴以及Y轴所展开的平面。
输入装置40是键盘、鼠标、触控板等。此外，输入装置40也可以是其他输入装置。
输入装置40通过线缆与三维形状测定装置30能够通信地连接。经由线缆的有线通信例如以以太网(注册商标)、USB等标准来进行。此外，输入装置40也可以是通过以近距离无线通信、Wi－Fi(注册商标)等通信标准进行的无线通信而与三维形状测定装置30连接的构成。
显示装置50是具备液晶显示器面板、有机EL(ElectroLuminescence)显示器面板等的显示器。此外，显示装置50也可以是其他显示装置。
显示装置50通过线缆与三维形状测定装置30能够通信地连接。经由线缆的有线通信例如以以太网(注册商标)、USB等标准来进行。此外，显示装置50也可以是通过以近距离无线通信、Wi－Fi(注册商标)等通信标准进行的无线通信而与三维形状测定装置30连接的构成。
＜三维形状测定装置测定对象物的三维形状的方法＞
以下，对三维形状测定装置30测定对象物O的三维形状的方法进行说明。
三维形状测定装置30通过作为该一个例子中的相移法的改正相移法，使用互不相同的多个相位图案像测定对象物O的三维形状。更具体而言，如前述那样，三维形状测定装置30在从投射部5所具备的光源开始照射光经过启动时间的期间内，利用投射部投射互不相同的多个相位图案像的每一个，并且每当利用投射部投射相位图案像的每一个时，开始使拍摄部拍摄相位图案像的投射拍摄处理。在该投射拍摄处理中，三维形状测定装置30按照预先决定的顺序使投射部5投射多个相位图案像的每一个。此外，在与改正相移法不同的相移法(例如，以往的相移法)中，并没有特定使投射部5投射互不相同的多个相位图案像的每一个的顺序。
三维形状测定装置30基于通过投射拍摄处理由拍摄部10拍摄到的拍摄图像，计算多个相位图案像中的成为基准的相位图案像所表示的波的相位、即拍摄到该相位图案像的拍摄图像上的各位置的相位。三维形状测定装置30基于计算出的相位，计算对应位置，该对应位置为该拍摄图像上的各位置所对应的位置、即成为该基准的相位图案像上的位置。三维形状测定装置30基于该相位计算对应位置的方法可以是已知的方法，也可以是即将研发出的方法。三维形状测定装置30基于计算出的对应位置，测定对象物O的三维形状。三维形状测定装置30基于该对应位置测定对象物O的三维形状的方法可以是已知的方法，可以是即将研发出的方法。这样，三维形状测定装置30通过改正相移法改，测定对象物O的三维形状。
以下，作为一个例子，对前述的互不相同的多个相位图案像是互不相同的四个相位图案像的情况进行说明。即，三维形状测定装置30通过使用了互不相同的四个相位图案像的改正相移法(4步骤法的改正相移法)测定对象物O的三维形状。此外，互不相同的多个相位图案像可以是互不相同的3个相位图案像，也可以是互不相同的5个以上的相位图案像。
关于互不相同的四个相位图案像，该四个相位图案像分别表示的波的相位互不相同。以下，作为一个例子，说明该四个相位图案像包含作为表示成为前述的基准的波的相位图案像的第一相位图案像P1、作为表示相位相对于第一相位图案像P1所表示的波超前90度的波的相位图案像的第二相位图案像P2、作为表示相位相对于第二相位图案像P2所表示的波超前90度的波的相位图案像的第三相位图案像P3、以及作为表示相位相对于第三相位图案像P3所表示的波超前90度的波的相位图案像的第四相位图案像P4的情况。即，在将第一相位图案像P1所表示的波的相位设为0的情况下，第二相位图案像P2所表示的波的相位为π/2。另外，在该情况下，第三相位图案像P3所表示的波的相位为π。另外，在该情况下，第四相位图案像P4所表示的波的相位为3π/2。
这里，图3是表示投射到不包含对象物O的投射范围R1的情况下的四个相位图案像各自的一个例子的图。如图3所示，作为该四个相位图案像的第一相位图案像P1、第二相位图案像P2、第三相位图案像P3、第四相位图案像P4分别表示图像上的亮度值沿图像上的第一方向周期性地变化的波。另外，第二相位图案像P2所表示的波的相位相对于第一相位图案像P1所表示的波的相位超前90度。另外，第三相位图案像P3所表示的波的相位相对于第二相位图案像P2所表示的波的相位超前90度。另外，第四相位图案像P4所表示的波的相位相对于第三相位图案像P3所表示的波的相位超前90度。在该情况下，第一相位图案像P1所表示的波的相位相对于第四相位图案像P4所表示的波的相位超前90度。
另外，第一相位图案像P1、第二相位图案像P2、第三相位图案像P3、第四相位图案像P4分别表示的波是在空间上扩展的波。此外，第一相位图案像P1、第二相位图案像P2、第三相位图案像P3、第四相位图案像P4分别表示的波也可以是随时间扩展的波。在该情况下，第一相位图案像P1、第二相位图案像P2、第三相位图案像P3、第四相位图案像P4分别与亮度值随时间的经过而变化的多个相位图案像了建立对应。而且，三维形状测定装置30使第一相位图案像P1、第二相位图案像P2、第三相位图案像P3、第四相位图案像P4的每一个和分别与第一相位图案像P1、第二相位图案像P2、第三相位图案像P3、第四相位图案像P4建立了对应的多个相位图案像依次向投射范围R1投射。
此外，在该一个例子中，第一相位图案像P1、第二相位图案像P2、第三相位图案像P3、第四相位图案像P4分别表示的波虽然是沿第一方向行进的平面波，但也可以取代于此而为球面波。
在4步骤法的改正相移法中，三维形状测定装置30使投射部5按照预先决定的顺序投射作为这样的四个相位图案像的第一相位图案像P1、第二相位图案像P2、第三相位图案像P3、第四相位图案像P4分别至包含对象物O的投射范围R1。
这里，关于改正相移法，更具体地进行说明。在4步骤法的改正相移法中，三维形状测定装置30将第一相位图案像P1、第二相位图案像P2、第三相位图案像P3、第四相位图案像P4分别作为对象相位图案像按照预先决定的顺序一个一个进行选择。对于选择出的对象相位图案像的每一个，三维形状测定装置30使投射部5向包含对象物O的投射范围R1投射对象相位图案像，之后，使拍摄部10拍摄被投射了对象相位图案像的包含对象物O的拍摄范围R2。由此，三维形状测定装置30从拍摄部10取得第一拍摄图像C1、第二拍摄图像C2、第三拍摄图像C3以及第四拍摄图像C4，该第一拍摄图像C1为对被投射了第一相位图案像P1的对象物O进行拍摄而得到的拍摄图像、该第二拍摄图像C2为对被投射了第二相位图案像P2的对象物O进行拍摄而得到的拍摄图像、该第三拍摄图像C3为对被投射了第三相位图案像P3的对象物O进行拍摄而得到的拍摄图像、该第四拍摄图像C4为对被投射了第四相位图案像P4的对象物O进行拍摄而得到的拍摄图像。此外，在该一个例子中，各个第一拍摄图像C1～第四拍摄图像C4那种由拍摄部10拍摄到的拍摄图像上的各位置由表示该拍摄图像上的位置的拍摄部坐标系的坐标来表示。
在改正相移法中，三维形状测定装置30计算第一拍摄图像C1～第四拍摄图像C4中的、作为拍摄到成为基准的相位图案像即第一相位图案像P1的拍摄图像的第一拍摄图像C1上的各位置的相位。具体而言，在相移法中，三维形状测定装置30基于拍摄部坐标系的某一坐标(x，y)所示的位置中的第一拍摄图像C1上的位置的亮度值I1(x，y)、拍摄部坐标系的某一坐标(x，y)所示的位置中的第二拍摄图像C2上的位置的亮度值I2(x，y)、坐标(x，y)所示的位置中的第三拍摄图像C3上的位置的亮度值I3(x，y)、坐标(x，y)所示的位置中的第四拍摄图像C4上的位置的亮度值I4(x，y)、以及以下所示的式(1)，计算坐标(x，y)所示的位置中的第一拍摄图像C1上的位置的相位φ(x，y)。
【式1】
Figure BDA0001744372560000181
这里，如图3所示，第一相位图案像P1～第四相位图案像P4各自所表示的波具有周期性，因此在从投射部5所具备的光源照射的该光的亮度不随时间变化的情况下，第一相位图案像P1～第四相位图案像P4各自的平均亮度值彼此成为大致相同的值。第一相位图案像P1的平均亮度值是第一相位图案像P1上的各位置的亮度值的平均值。第二相位图案像P2的平均亮度值是第二相位图案像P2上的各位置的亮度值的平均值。第三相位图案像P3的平均亮度值是第三相位图案像P3上的各位置的亮度值的平均值。第四相位图案像P4的平均亮度值是第四相位图案像P4上的各位置的亮度值的平均值。
另一方面，在从投射部5所具备的光源照射的光的亮度随时间变化的情况下，第一相位图案像P1～第四相位图案像P4各自的平均亮度值成为互不相同的值。即，在从投射部5所具备的光源照射的光的亮度随时间变化的情况下，所述的式(1)中的分母与分子所含的四个亮度值即I1(x，y)、I2(x，y)、I3(x，y)、I4(x，y)分别与该亮度的变化一同变化。这意味着在该亮度随时间变化的情况下，误差增大。为了抑制该误差的增大，三维形状测定装置30在使投射部5分别投射四个相位图案像时，从四个相位图案像中按照预先决定的顺序一个一个选择对象相位图案像，使投射部5投射选择出的对象相位图案像。该预先决定的顺序是对应于所述的式(1)的顺序，即是对应于表示成为基准的相位图案像所表示的波的相位即拍摄到该相位图案像的拍摄图像上的该相位、和分别拍摄到四个相位图案像的四个拍摄图像上的亮度值的对应关系的式子的顺序。
这里，参照图4以及图5，对改正相移法中的预先决定的顺序进行说明。图4是表示从投射部5所具备的光源照射的光的亮度随时间变化的情况下的四个相位图案像各自的平均亮度值的时间上的变化的图。图4所示的图表的横轴表示从投射部5所具备的光源开始照射光之后的经过时间。另外，该图表的纵轴表示四个相位图案像各自的平均亮度值。另外，图4所示的曲线F1是表示第一相位图案像P1的平均亮度值的时间上的变化的曲线。此外，在图4中，表示第二相位图案像P2～第四相位图案像P4各自的平均亮度值的时间上的变化的曲线与表示第一相位图案像P1的平均亮度值的时间的变化的曲线大致重叠，因此由曲线F1来代替。
在图4所示的例子中，三维形状测定装置30在图4所示的定时T(P1)使投射部5投射第一相位图案像P1的情况下，第一相位图案像P1的平均亮度值是I(P1)。另外，在该例中，三维形状测定装置30在图4所示的定时T(P2)使投射部5投射第二相位图案像P2的情况下，第二相位图案像P2的平均亮度值是I(P2)。定时T(P2)是比定时T(P1)靠后的定时。另外，I(P2)是比I(P1)高的值。另外，在该例中，三维形状测定装置30在图4所示的定时T(P3)使投射部5投射第三相位图案像P3的情况下，第三相位图案像P3的平均亮度值是I(P3)。定时T(P3)是比定时T(P2)靠后的定时。另外，I(P3)是比I(P2)高的值。另外，在该例中，三维形状测定装置30在图4所示的定时T(P4)使投射部5投射第四相位图案像P4的情况下，第四相位图案像P4的平均亮度值是I(P4)。定时T(P4)是比定时T(P3)靠后的定时。另外，I(P4)是比I(P3)高的值。在图4中，I(P1)与I(P3)的差分由D11表示。另外，在图4中，I(P2)与I(P4)的差分由D12表示。
差分D11越小，所述的式(1)中的分母所含的误差越小。另外，差分D12越小，所述的式(1)中的分子所含的误差越小。
因此，三维形状测定装置30在改正相移法中使投射部5分别投射四个相位图案像的顺序为与图4所示的顺序不同的顺序，使投射部5按该顺序分别投射四个相位图案像。如图5所示，三维形状测定装置30通过替换图4所示的定时T(P2)与图4所示的定时T(P3)，能够减小所述的式(1)中的分母所含的误差和所述的式(1)中的分子所含的误差。
图5是表示图4所示的图表中使利用投射部5分别投射四个相位图案像的定时的顺序变化的情况下的图表的图。在图5中，I(P1)与I(P3)的差分由D21表示。D21是比D11小的值。另外，在图5中，I(P2)与I(P4)的差分由D22表示。D22是比D12小的值。即，三维形状测定系统1作为预先决定的顺序，按照第一相位图案像P1、第三相位图案像P3、第二相位图案像P2、第四相位图案像P4的顺序，使投射部5分别投射四个相位图案像，从而能够减小所述的式(1)中的分母所含的误差和所述的式(1)中的分子所含的误差。即，三维形状测定装置30通过使用改正相移法，能够抑制进行对象物O的三维形状的测定时产生的这些误差。其结果，三维形状测定装置30能够省略从投射部5所具备的光源照射的光的亮度不再随时间变化为止的待机时间，能够缩短对象物O的三维形状的测定所需的时间。
这里，对于图5所示的顺序、即使投射部5分别投射四个相位图案像的顺序而言，其是根据所述的式(1)来决定的，即其是根据表示成为基准的相位图案像所表示的波的相位即拍摄到该相位图案像的拍摄图像上的该相位、以及分别拍摄到四个相位图案像的四个拍摄图像上的亮度值的对应关系的式子来决定的。具体而言，该顺序是分别与该式的分母所含的亮度值对应的相位图案像彼此连续地投射的顺序，并且是分别与该式的分子所含的亮度值对应的相位图案像彼此连续地投射的顺序。如该一个例子那样，在4步骤法的改正相移法中，与该分母所含的亮度值对应的相位图案像是第一相位图案像P1与第三相位图案像P3。另外，在该改正相移法中，与该分子所含的亮度值对应的相位图案像是第二相位图案像P2与第四相位图案像P4。因此，三维形状测定装置30通过使图5所示的顺序、即使投射部5分别投射四个相位图案像的顺序为第一相位图案像P1、第三相位图案像P3、第二相位图案像P2、第四相位图案像P4的顺序，能够抑制进行对象物O的三维形状的测定时产生的这些误差。此外，在除了4步骤法之外的n步骤法(n是除了4之外的3以上的整数)的情况下，使投射部5分别投射n个相位图案像的顺序根据与n步骤法中的该式的分子以及分母所含的亮度值对应的相位图案像来决定。
此外，三维形状测定系统1也可以为下述构成：作为预先决定的顺序，按照第二相位图案像P2、第四相位图案像P4、第一相位图案像P1、第三相位图案像P3的顺序使投射部5分别投射四个相位图案像。另外，三维形状测定系统1也可以为下述构成：作为预先决定的顺序，按照第二相位图案像P2、第四相位图案像P4、第三相位图案像P3、第一相位图案像P1的顺序使投射部5分别投射四个相位图案像。另外，三维形状测定系统1也可以为下述构成：作为预先决定的顺序，按照第四相位图案像P4、第二相位图案像P2、第一相位图案像P1、第三相位图案像P3的顺序使投射部5分别投射四个相位图案像。另外，三维形状测定系统1也可以为下述构成：作为预先决定的顺序，按照第四相位图案像P4、第二相位图案像P2、第三相位图案像P3、第一相位图案像P1的按顺序使投射部5分别投射四个相位图案像。另外，三维形状测定系统1也可以为下述构成：作为预先决定的顺序，按照第三相位图案像P3、第一相位图案像P1、第二相位图案像P2、第四相位图案像P4的按顺序使投射部5分别投射四个相位图案像。另外，三维形状测定系统1也可以为下述构成：作为预先决定的顺序，按照第三相位图案像P3、第一相位图案像P1、第四相位图案像P4、第二相位图案像P2的按顺序使投射部5分别投射四个相位图案像。另外，三维形状测定系统1也可以为下述构成：作为预先决定的顺序，按照第一相位图案像P1、第三相位图案像P3、第四相位图案像P4、第二相位图案像P2的顺序使投射部5分别投射四个相位图案像。
＜三维形状测定装置的功能构成＞
以下、参照图6，对三维形状测定装置30的功能构成进行说明。图6是三维形状测定装置30的功能构成的一个例子的图。
三维形状测定装置30具备存储器32、通信部34、以及控制部36。
控制部36控制三维形状测定装置30的整体。控制部36具备操作受理部361、定时控制部362、拍摄控制部363、投射控制部365、图像取得部367、建立对应部371、三维形状测定部373、存储控制部375、显示控制部377、以及图像生成部379。控制部36所具备的这些功能部例如通过由处理器31执行存储于存储器32的指令321、322等各种指令来实现。另外，该功能部中的一部分或者全部也可以是LSI(Large Scale Integration)、ASIC(ApplicationSpecific Integrated Circuit)等硬件功能部。
操作受理部361经由输入装置40受理来自用户的操作。另外，操作受理部361受理来自其他装置的要求作为对于三维形状测定装置30的操作。
定时控制部362控制使投射部5分别投射后述的图像生成部379所生成的多个相位图案像的投射定时、以及使拍摄部10分别拍摄由投射部5投射的多个相位图案像的拍摄定时。
拍摄控制部363使拍摄部10拍摄拍摄部10所能够拍摄的拍摄范围R2。
投射控制部365使投射部5将投射图像投射到能够投射投射图像的投射范围R1。
图像取得部367从拍摄部10取得拍摄部10所拍摄到的拍摄图像。
建立对应部371分别基于图像取得部367从拍摄部10取得的拍摄图像中的前述的第一拍摄图像C1～第四拍摄图像C4，计算成为基准的相位图案像即第一相位图案像P1所表示的波的相位、即拍摄到第一相位图案像P1的第一拍摄图像C1上的各位置的相位。建立对应部371基于计算出的相位，计算前述的对应位置。
三维形状测定部373基于建立对应部371所计算出的对应位置，例如通过三角测量法测定对象物O的三维形状。此外，三维形状测定部373也可以是通过基于该对应位置的其他方法测定对象物O的三维形状的构成。
存储控制部375使三维形状测定部373的测定结果存储于存储器32。此外，存储控制部375也可以为下述构成：使该测定结果存储于与三维形状测定装置30能够通信地连接的其他装置所具备的存储器、云上的信息处理装置所具备的存储器等。
显示控制部377生成显示装置50所显示的各种图像。显示控制部377使显示装置50显示生成的图像。
图像生成部379根据从操作受理部361受理的操作，生成多个相位图案像。
＜三维形状测定装置测定对象物的三维形状的处理＞
以下，参照图7，对三维形状测定装置30测定对象物O的三维形状的处理进行说明。图7是表示三维形状测定装置30测定对象物O的三维形状的处理的流程的一个例子的图。此外，在图7的说明中，图6所示的控制部36所具备的各功能部进行的处理即为信息处理装置PC1所具备的处理器31进行的处理。
操作受理部361待机至经由输入装置40受理到使测定对象物O的三维形状的处理开始的操作即测定开始操作为止(步骤S110)。例如，操作受理部361利用显示控制部377经由预先显示于显示装置50的操作画面从用户受理测定开始操作。在操作受理部361判定为经由输入装置40受理到测定开始操作的情况下(步骤S110－YES)，图像生成部379分别生成前述的四个相位图案像、即第一相位图案像P1～第四相位图案像P4(步骤S120)。此外，也可以是第一相位图案像P1～第四相位图案像P4分别预先储存于存储器32的构成。在该情况下，存储控制部375在比进行步骤S110的处理靠前的定时根据来自用户的操作使第一相位图案像P1～第四相位图案像P4分别储存于存储器32(进行存储)。另外，操作受理部361也可以是在步骤S110中待机至从其他装置受理到测定开始操作为止的构成。该其他装置例如是图2所示的信息处理装置PC2、信息处理装置PC3等。此外，存储控制部375也可以为下述构成：在比进行步骤S110的处理靠前的定时，根据来自用户的操作使第一相位图案像P1～第四相位图案像P4分别储存于其他装置所具备的存储器、云上的信息处理装置所具备的存储器等(进行存储)。
接下来，投射控制部365分别将在步骤S120中生成的四个相位图案像，按照图5所示的顺序、即第一相位图案像P1、第三相位图案像P3、第二相位图案像P2、第四相位图案像P4的顺序一个一个作为对象相位图案像来选择(步骤S130)。然后，投射控制部365、拍摄控制部363、定时控制部362、图像取得部367、以及存储控制部375分别重复进行步骤S140～步骤S170的处理。此时，在步骤S140～步骤S170的重复处理中的第一次执行的步骤S140的处理开始之前的定时，投射控制部365使投射部5所具备的光源开始光的照射。但是，投射控制部365、拍摄控制部363、定时控制部362、图像取得部367、以及存储控制部375分别在从该光源开始照射光经过前述的启动时间的期间内开始该第一次执行的步骤S140的处理。
在步骤S130中选择了对象相位图案像之后，投射控制部365使投射部5向投射范围R1投射选择出的对象相位图案像(步骤S140)。具体而言，在步骤S140中，定时控制部362将预先决定的定时中的前述的投射定时向投射控制部365输出。投射控制部365根据从定时控制部362取得的投射定时，使投射部5向投射范围R1投射在步骤S130中选择出的对象相位图案像。
接下来，拍摄控制部363使拍摄部10拍摄拍摄部10所能够拍摄的拍摄范围R2(步骤S150)。具体而言，在步骤S150中，定时控制部362将预先决定的定时中的前述的拍摄定时向拍摄控制部363输出。拍摄控制部363根据从定时控制部362取得的拍摄定时，使拍摄部10拍摄拍摄范围R2。此外，相邻执行的步骤S140中的投射定时和步骤S150中的拍摄定时之间的时间越短，图5所示的D21以及D22所引起的误差越小。
此外，在投射控制部365控制投射定时并且拍摄控制部363控制拍摄定时的情况下，三维形状测定装置30也可以是不具备定时控制部362的构成。另外，定时控制部362也可以为下述构成：能够根据操作受理部361从用户受理的操作变更投射定时与拍摄定时中的某一方或者两方。在该情况下，定时控制部362例如能够以毫秒单位变更投射定时与拍摄定时中的某一方或者两方。由此，在从投射部5所具备的光源开始照射光经过启动时间为止的期间内，三维形状测定装置30能够更可靠地开始投射拍摄处理。
接下来，图像取得部367从拍摄部10取得在步骤S150中拍摄部10所拍摄到的拍摄图像(步骤S160)。
接下来，存储控制部375使存储器32存储在步骤S160中图像取得部367所取得的拍摄图像(步骤S170)。此外，存储控制部375也可以是使其他装置所具备的存储器、云上的信息处理装置所具备的存储器等存储该拍摄图像的构成。
在进行步骤S170的处理之后，投射控制部365迁移到步骤S130，选择接下来的对象相位图案像。此外，在步骤S130中，在作为对象不存在相位图案像未选择的相位图案像的情况下，建立对应部371迁移到步骤S180。
这样，投射控制部365、拍摄控制部363、定时控制部362、图像取得部367、以及存储控制部375分别在从投射部5所具备的光源开始照射光到启动时间以下的时间内开始步骤S130～步骤S170的处理。
在进行了步骤S130～步骤S170的重复处理之后，建立对应部371从存储器32读出在重复执行步骤S170中存储于存储器32的四个拍摄图像(步骤S180)。
接下来，建立对应部371基于在步骤S180中从存储器32读出的四个拍摄图像、即第一拍摄图像C1～第四拍摄图像C4的各个、以及所述的式(1)，计算第一拍摄图像C1上的各位置的相位(步骤S190)，该第一拍摄图像C1为对成为基准的相位图案像即第一相位图案像P1进行拍摄而得到的拍摄图像。
接下来，建立对应部371基于在步骤S190中计算出的相位、即第一拍摄图像C1上的各位置的相位，计算前述的对应位置(步骤S200)。
接下来，三维形状测定部373基于在步骤S200中计算出的对应位置，测定对象物O的三维形状(步骤S210)。即，三维形状测定装置30在步骤S210中生成表示对象物O的三维形状的三维形状信息。然后，三维形状测定部373结束处理。
如以上那样，对于三维形状测定装置30而言，在经过从投射部(在该一个例子中是投射部5)所具备的光源开始照射光起直到该光的亮度不再随时间变化的时间即启动时间为止的期间，开始利用投射部分别投射互不相同的多个相位图案像并且每当相位图案像分别被投射部投射时使拍摄部(在该一个例子中是拍摄部10)拍摄相位图案像的处理(在该一个例子中是投射拍摄处理)，在进行该处理之后，基于由拍摄部拍摄到的拍摄图像，测定被投射了相位图案像的对象物(在该一个例子中是对象物O)的三维形状。由此，三维形状测定装置30能够缩短对象物的三维形状的测定所需的时间。
另外，三维形状测定装置30使投射部依次投射第一相位图案像(在该一个例子中是第一相位图案像P1)、第三相位图案像(在该一个例子中是第三相位图案像P3)、第二相位图案像(在该一个例子中是第二相位图案像P2)、第四相位图案像(在该一个例子中是第四相位图案像P4)。由此，三维形状测定装置30基于按照第一相位图案像、第三相位图案像、第二相位图案像、第四相位图案像的顺序被投射部投射的第一相位图案像、第二相位图案像、第三相位图案像、第四相位图案像，能够减少误差，并且能够缩短对象物的三维形状的测定所需的时间。
另外，三维形状测定装置30受理操作，根据受理的操作，生成多个相位图案像，控制使投射部投射所生成的多个相位图案像的各个的投射定时、以及使拍摄部拍摄由投射部投射的相位图案像的各个的拍摄定时，根据被控制的投射定时，使投射部分别投射所生成的多个相位图案像，根据被控制的拍摄定时，使拍摄部拍摄相位图案像，基于由拍摄部拍摄到的拍摄图像，测定对象物的三维形状。由此，三维形状测定装置30基于投射定时以及拍摄定时，能够缩短对象物的三维形状的测定所需的时间。
另外，三维形状测定装置30从用户受理操作。由此，三维形状测定装置30根据从用户受理的操作，能够缩短对象物的三维形状的测定所需的时间。
另外，三维形状测定装置30受理来自其他装置的要求作为操作。由此，三维形状测定装置30根据从其他装置受理的操作，能够缩短对象物的三维形状的测定所需的时间。
另外，三维形状测定装置30使用基于由拍摄部拍摄到的拍摄图像的相移法(在该一个例子中是改正相移法)，测定被投射了相位图案像的对象物的三维形状。由此，三维形状测定装置30能够缩短使用相移法测定对象物的三维形状所需的时间。
＜实施方式的变形例1＞
以下，参照图8以及图9，对实施方式的变形例1进行说明。此外，在实施方式的变形例1中，对与实施方式相同的构成部标注相同的附图标记而省略说明。
图8是表示实施方式的变形例1的机器人系统2的一个例子的构成图。在实施方式的变形例1中，机器人系统2具备在所述的实施方式中说明的三维形状测定装置30。更具体而言，机器人系统2具备投射部5、拍摄部10、三维形状测定装置30、输入装置40、显示装置50、机器人60、以及机器人控制装置70。在机器人系统2中，三维形状测定装置30与机器人控制装置70以能够通过无线或者有线通信的方式连接。而且，在机器人系统2中，三维形状测定装置30根据来自机器人控制装置70的要求测定对象物O的三维形状。然后，机器人控制装置70基于三维形状测定装置30测定出的对象物O的三维形状使机器人60移动。
＜机器人系统的构成＞
以下，参照图8，对机器人系统2的构成进行说明。
在该一个例子中，三维形状测定装置30根据来自机器人控制装置70的要求，测定对象物O的三维形状。
在该一个例子中，输入装置40与机器人控制装置70以能够通过无线或者有线通信的方式连接，而并非三维形状测定装置30。
在该一个例子中，显示装置50与机器人控制装置70以能够通过无线或者有线通信的方式连接，而并非三维形状测定装置30。
机器人60是具备可动部A和支承可动部A的支承台B的单臂机器人。单臂机器人是具备该一个例子中的可动部A那样的1条臂(胳膊)的机器人。此外，机器人60也可以取代单臂机器人而为多臂机器人，也可以是台架(gantry)机器人那样的线性机器人，也可以是水平多关节机器人，还可以是其他机器人。多臂机器人是具备2条以上的臂(例如，2条以上的可动部A)的机器人。此外，多臂机器人中的具备2条臂的机器人也被称作双臂机器人。即，机器人60可以是具备2条臂的双臂机器人，也可以是具备3条以上的臂(例如，3条以上的可动部A)的多臂机器人。
可动部A具备端部执行器E和机械手M。
端部执行器E是保持物体的端部执行器。在该一个例子中，端部执行器E具备指部，利用该指部夹持物体，由此保持该物体。此外，端部执行器E也可以取代于指部，而是通过空气的吸引、磁力、其他夹具等提起物体来保持该物体的构成。即，在该一个例子中，保持的意思是设为能够提起物体的状态。
端部执行器E利用线缆与机器人控制装置70以能够通信的方式连接。由此，端部执行器E进行基于从机器人控制装置70取得的控制信号的动作。此外，经由线缆的有线通信例如以以太网(注册商标)、USB等标准来进行。另外，端部执行器E也可以是通过由Wi－Fi(注册商标)等通信标准进行的无线通信与机器人控制装置70连接的构成。
机械手M具备6个关节。另外，6个关节分别具备未图示的促动器。即，具备机械手M的可动部A是6轴垂直多关节型的臂。此外，可动部A也可以取代6轴垂直多关节型的臂而为6轴水平多关节型的臂。可动部A通过基于支承台B、端部执行器E、机械手M、以及机械手M所具备的6个关节各自的促动器的协作动作而进行6轴的自由度的动作。此外，可动部A也可以是以5轴以下的自由度动作的构成，也可以是以7轴以上的自由度动作的构成。
机械手M所具备的6个(配备于关节的)促动器分别利用线缆与机器人控制装置70能够通信地连接。由此，该促动器基于从机器人控制装置70取得的控制信号，使机械手M动作。此外，经由线缆的有线通信例如通过以太网(注册商标)、USB等标准来进行。另外，机械手M所具备的6个促动器中的一部分或者全部也可以是通过以Wi－Fi(注册商标)等通信标准进行的无线通信与机器人控制装置70连接的构成。
此外，机器人60也可以是具备投射部5和拍摄部10中的任一方或者两方的构成。
机器人控制装置70由至少一个处理器和至少一个存储器构成。在机器人控制装置70中，该至少一个处理器可以是具备在一个装置的构成，也可以是分散配备在多个信息处理装置中的构成。另外，在机器人控制装置70中，该至少一个存储器可以是具备在一个装置的构成，也可以是分散配备在多个信息处理装置中的构成。
在图8所示的例子中，机器人控制装置70由信息处理装置PC4所具备的一个处理器和信息处理装置PC4所具备的一个存储器构成。此外，信息处理装置PC4可以是除了该处理器之外还具备其他处理器的构成，也可以是除了该存储器之外还具备其他存储器的构成。
机器人控制装置70所具备的处理器例如是CPU。此外，该处理器也可以是FPGA等其他处理器。机器人控制装置70所具备的处理器执行机器人控制装置70所具备的存储器中储存的各种指令。另外，该处理器执行储存于其他装置的存储器的各种指令。
机器人控制装置70所具备的存储器例如是HDD、SSD、EEPROM、ROM、RAM等。即，该存储器包含暂时性的存储装置和非暂时性的存储装置。此外，该存储器也可以取代内置于信息处理装置PC4，而为利用USB等数字输入输出端口等连接的外设型的存储装置。该存储器储存由机器人控制装置70所具备的处理器或者其他装置的处理器所处理的各种信息、能够由计算机执行的各种指令(例如程序、代码等)、各种图像等。
此外，机器人控制装置70也可以取代具备一个处理器和一个存储器的信息处理装置PC4，而由多个信息处理装置中的一部分或者全部构成。利用多个信息处理装置构成三维形状测定装置30的情况下的机器人控制装置70的硬件构成为与将图2所示的信息处理装置PC1替换为信息处理装置PC4的情况下的硬件构成相同的构成，因此省略说明。
另外，机器人控制装置70为了与其他装置进行通信，作为硬件功能部具备通信部。
该通信部包含USB等数字输入输出端口、以太网(注册商标)端口等而构成。
机器人控制装置70根据从用户受理的操作、或者根据从其他装置受理的要求，使三维形状测定装置30测定对象物O的三维形状。机器人控制装置70从三维形状测定装置30取得表示三维形状测定装置30生成的对象物O的三维形状的三维形状信息。机器人控制装置70基于取得的三维形状信息，计算机器人坐标系中的对象物O的位置以及姿势。机器人控制装置70基于计算出的对象物O的位置以及姿势，使机器人60进行预定的作业。预定的作业例如是使机器人60保持对象物O的作业。此外，预定的作业也可以取代于此而为与对象物O有关的其他作业。
此外，机器人控制装置70也可以与三维形状测定装置30一体地构成。另外，机器人控制装置70也可以是内置于机器人60的构成。
＜机器人控制装置使机器人进行预定的作业的处理＞
以下，参照图9，对机器人控制装置70使机器人60进行预定的作业的处理进行说明。图9是表示机器人控制装置70使机器人60进行预定的作业的处理的流程的一个例子的图。
机器人控制装置70将使三维形状测定装置30测定对象物O的三维形状的要求、即三维形状测定要求向三维形状测定装置30输出(步骤S310)。例如，机器人控制装置70经由机器人控制装置70使显示装置50预先显示的机器人操作画面，从用户受理使三维形状测定要求向三维形状测定装置30输出的操作。然后，机器人控制装置70根据受理的该操作，将三维形状测定要求向三维形状测定装置30输出。在图7所示的步骤S110中，受理到三维形状测定要求的三维形状测定装置30的操作受理部361判定为受理到测定开始操作。然后，三维形状测定部373进行步骤S120～步骤S210的处理，测定对象物O的三维形状。
接下来，机器人控制装置70作为在步骤S310中输出的对于三维形状测定要求的响应，从三维形状测定装置30取得表示三维形状测定装置30所生成的对象物O的三维形状的三维形状信息(步骤S320)。
接下来，机器人控制装置70基于在步骤S320中取得的三维形状信息，计算机器人坐标系中的对象物O的位置以及姿势(步骤S330)。基于三维形状信息计算机器人坐标系中的对象物O的位置以及姿势的方法可以是已知的方法，也可以是即将开发的方法。
接下来，机器人控制装置70基于在步骤S330中计算出的位置以及姿势，使机器人60进行预定的作业(步骤S340)，结束处理。
如以上那样，机器人系统2在经过从投射部(在该一个例子中是投射部5)所具备的光源开始照射光起直到该光的亮度不再随时间变化的时间即启动时间为止的期间，开始利用投射部投射互不相同的多个相位图案像的各个并且每当相位图案像分别被投射部投射时使拍摄部(在该一个例子中是拍摄部10)拍摄相位图案像的处理(在该一个例子中是投射拍摄处理)，在进行该处理之后，基于由拍摄部拍摄到的拍摄图像，测定被投射了相位图案像的对象物(在该一个例子中是对象物O)的三维形状。由此，机器人系统2能够缩短使机器人(在该一个例子中是机器人60)进行的作业所需的时间。
＜实施方式的变形例2＞
以下，参照图10，对实施方式的变形例2进行说明。此外，在实施方式的变形例2中，对与实施方式以及实施方式的变形例1相同的构成部标注相同的附图标记而省略说明。
图10是表示实施方式的变形例2的机器人系统3的一个例子的构成图。在实施方式的变形例2中，机器人系统3具备在所述的实施方式中说明的三维形状测定装置30。更具体而言，机器人系统3具备投射部5、拍摄部10、三维形状测定装置30、输入装置40、显示装置50、机器人控制装置70、以及机器人80。在机器人系统3中，三维形状测定装置30与机器人控制装置70以能够通过无线或者有线通信的方式连接，并与机器人控制装置70一起内置于机器人80。而且，在机器人系统3中，三维形状测定装置30根据来自机器人控制装置70的要求测定对象物O的三维形状。然后，机器人控制装置70基于三维形状测定装置30测定出的对象物O的三维形状使机器人80移动。此外，机器人系统3也可以是不具备拍摄部10、输入装置40、以及显示装置50中的一部分或者全部的构成。
＜机器人系统的构成＞
以下，参照图10，对机器人系统3的构成进行说明。
三维形状测定装置30在该一个例子中对应于来自机器人控制装置70的要求，测定对象物O的三维形状。
在该一个例子中，输入装置40不与三维形状测定装置30而是与机器人控制装置70以能够通过无线或者有线通信的方式连接。
在该一个例子中，显示装置50不与三维形状测定装置30而是与机器人控制装置70以能够通过无线或者有线通信的方式连接。
机器人80是具备第一臂A1、第二臂A2、支承第一臂A1及第二臂A2的支承台BS、以及支承台BS的内侧的机器人控制装置70和三维形状测定装置30的双臂机器人。
支承台BS沿与机器人80所设置的设置面正交的方向被分割为2个部分。此外，支承台BS可以是不被分割的构成，也可以是被分割为3个以上的部分的构成。该2个部分中的距该设置面较远的部分能够相对于该2个部分中的距该设置面较近的部分进行转动。该较远的部分转动的情况下的转动面例如与该设置面平行。此外，该转动面也可以相对于该设置面不平行。
第一臂A1具备第一端部执行器E1和第一机械手M1。
第一端部执行器E1是保持物体的端部执行器。在该一个例子中，第一端部执行器E1具备指部，利用该指部夹持物体，由此保持该物体。此外，第一端部执行器E1也可以取代于指部，而是通过空气的吸引、磁力、其他夹具等提起物体来保持该物体的构成。
第一端部执行器E1利用线缆与机器人控制装置70以能够通信的方式连接。由此，第一端部执行器E1进行基于从机器人控制装置70取得的控制信号的动作。此外，经由线缆的有线通信例如以以太网(注册商标)、USB等标准来进行。另外，第一端部执行器E1也可以是通过由Wi－Fi(注册商标)等通信标准进行的无线通信与机器人控制装置70连接的构成。
第一机械手M1具备7个关节和第一拍摄部21。另外，该7个关节分别具备未图示的促动器。即，具备第一机械手M1的第一臂A1是7轴垂直多关节型的臂。第一臂A1通过基于支承台BS、第一端部执行器E1、第一机械手M1、以及该7个关节各自的促动器的协作的动作，进行7轴的自由度的动作。此外，第一臂A1也可以是以6轴以下的自由度动作的构成，也可以是以8轴以上的自由度动作的构成。
在第一臂A1以7轴的自由度动作的情况下，与以6轴以下的自由度动作的情况相比，第一臂A1可获取的姿势增加。由此，第一臂A1例如动作变得顺畅，而且能够容易地避免与存在于第一臂A1的周边的物体的干扰。另外，在第一臂A1以7轴的自由度动作的情况下，与第一臂A1以8轴以上的自由度动作的情况相比，第一臂A1的控制易于减少计算量。
第一机械手M1所具备的7个促动器分别通过线缆与机器人控制装置70能够通信地连接。由此，该促动器基于从机器人控制装置70取得的控制信号，使第一机械手M1动作。此外，经由线缆的有线通信例如通过以太网(注册商标)、USB等标准来进行。另外，第一机械手M1所具备的7个促动器中的一部分或者全部也可以是通过以Wi－Fi(注册商标)等通信标准进行的无线通信与机器人控制装置70连接的构成。
第一拍摄部21例如是具备CCD、CMOS等作为将会聚的光转换为电信号的拍摄元件的相机。在该一个例子中，第一拍摄部21具备在第一机械手M1的一部分。因此，第一拍摄部21根据第一机械手M1的移动而移动。另外，第一拍摄部21所能够拍摄的范围根据第一臂A1的移动而变化。第一拍摄部21拍摄该范围的二维图像。此外，第一拍摄部21可以是拍摄该范围的静止图像的构成，也可以是拍摄该范围的动态图像的构成。
另外，第一拍摄部21通过线缆与机器人控制装置70能够通信地连接。经由线缆的有线通信例如通过以太网(注册商标)、USB等标准来进行。此外，第一拍摄部21也可以是通过由Wi－Fi(注册商标)等通信标准进行的无线通信而与机器人控制装置70连接的构成。
第二臂A2具备第二端部执行器E2、第二机械手M2。
第二端部执行器E2是保持物体的端部执行器。在该一个例子中，第二端部执行器E2具备指部，利用该指部夹持物体，由此保持该物体。此外，第二端部执行器E2也可以取代于指部，而是通过空气的吸引、磁力、其他夹具等提起物体来保持该物体的构成。
第二端部执行器E2利用线缆与机器人控制装置70以能够通信的方式连接。由此，第二端部执行器E2进行基于从机器人控制装置70取得的控制信号的动作。此外，经由线缆的有线通信例如以以太网(注册商标)、USB等标准来进行。另外，第二端部执行器E2也可以是通过由Wi－Fi(注册商标)等通信标准进行的无线通信与机器人控制装置70连接的构成。
第二机械手M2具备7个关节和第二拍摄部22。另外，该7个关节分别具备未图示的促动器。即，具备第二机械手M2的第二臂A2是7轴垂直多关节型的臂。第二臂A2通过基于支承台BS、第二端部执行器E2、第二机械手M2、以及该7个关节各自的促动器的协作的动作，进行7轴的自由度的动作。此外，第二臂A2也可以是以6轴以下的自由度动作的构成，也可以是以8轴以上的自由度动作的构成。
在第二臂A2以7轴的自由度动作的情况下，与以6轴以下的自由度动作的情况相比，第二臂A2可获取的姿势增加。由此，第二臂A2例如动作变得顺畅，而且能够容易地避免与存在于第二臂A2的周边的物体的干扰。另外，在第二臂A2以7轴的自由度动作的情况下，与第二臂A2以8轴以上的自由度动作的情况相比，第二臂A2的控制易于减少计算量。
第二机械手M2所具备的7个促动器分别通过线缆与机器人控制装置70能够通信地连接。由此，该促动器基于从机器人控制装置70取得的控制信号，使第二机械手M2动作。此外，经由线缆的有线通信例如通过以太网(注册商标)、USB等标准来进行。另外，第二机械手M2所具备的7个促动器中的一部分或者全部也可以是通过以Wi－Fi(注册商标)等通信标准来进行的无线通信与机器人控制装置70连接的构成。
第二拍摄部22例如是具备CCD、CMOS等作为将会聚的光转换为电信号的拍摄元件的相机。在该一个例子中，第二拍摄部22具备在第二机械手M2的一部分。因此，第二拍摄部22根据第二机械手M2的移动而移动。另外，第二拍摄部22所能够拍摄的范围根据第二臂A2的移动而变化。第二拍摄部22拍摄该范围的二维图像。此外，第二拍摄部22可以是拍摄该范围的静止图像的构成，也可以是拍摄该范围的动态图像的构成。
另外，第二拍摄部22通过线缆与机器人控制装置70能够通信地连接。经由线缆的有线通信例如通过以太网(注册商标)、USB等标准来进行。此外，第二拍摄部22也可以是通过由Wi－Fi(注册商标)等通信标准进行的无线通信与机器人控制装置70连接的构成。
另外，机器人80具备第三拍摄部23和第四拍摄部24。
第三拍摄部23例如是具备CCD、CMOS等作为将会聚的光转换为电信号的拍摄元件的相机。第三拍摄部23配备于能够与第四拍摄部24一起对第四拍摄部24所能够拍摄的范围进行立体拍摄的部位。第三拍摄部23通过线缆与机器人控制装置70能够通信地连接。经由线缆的有线通信例如通过以太网(注册商标)、USB等标准来进行。此外，第三拍摄部23也可以是通过由Wi－Fi(注册商标)等通信标准进行的无线通信与机器人控制装置70连接的构成。
第四拍摄部24例如是具备CCD、CMOS等作为将会聚的光转换为电信号的拍摄元件的相机。第四拍摄部24配备于能够与第三拍摄部23一起对第三拍摄部23所能够拍摄的范围进行立体拍摄的部位。第四拍摄部24通过线缆与机器人控制装置70能够通信地连接。经由线缆的有线通信例如通过以太网(注册商标)、USB等标准来进行。此外，第四拍摄部24也可以是通过由Wi－Fi(注册商标)等通信标准进行的无线通信与机器人控制装置70连接的构成。
在该一个例子中，所述说明的机器人80所具备的各功能部从内置于机器人80的机器人控制装置70取得控制信号。而且，该各功能部进行基于所取得的控制信号的动作。此外，机器人80也可以取代内置机器人控制装置70的构成，而为由设置于外部的机器人控制装置70控制的构成。另外，机器人80也可以是不具备第一拍摄部21、第二拍摄部22、第三拍摄部23、第四拍摄部24中的一部分或者全部的构成。
此外，在机器人系统3不具备拍摄部10的情况下，三维形状测定装置30控制机器人控制装置70，使机器人80所具备的第一拍摄部21～第四拍摄部24中的一部分或者全部拍摄拍摄范围R2。
如以上那样，机器人系统3即使是取代作为单臂机器人的机器人60而是具备作为双臂机器人的机器人80的构成，也能够获得与实施方式的变形例1相同的效果。
以上，参照附图详细叙述了该发明的实施方式，但具体的构成并不限定于该实施方式，只要不脱离该发明的主旨，也可以进行变更、替换、删除等。
另外，也可以将用于实现以上说明的装置(例如三维形状测定装置30、机器人控制装置70)中的任意的构成部的功能的程序记录于计算机可读取的记录介质，并使计算机系统读取而执行该程序。此外，这里所说的“计算机系统”指的是包含OS(Operating System)、外围设备等硬件的系统。另外，“计算机可读取的记录介质”指的是软盘、光磁盘、ROM、CD(Compact Disk)－ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读取的记录介质”包含如成为经由因特网等网络、电话线路等通信线路发送了程序时的服务器、客户端的计算机系统内部的易失性存储器(RAM)那样的、以一定时间保持程序的记录介质。
另外，所述的程序也可以从在存储装置等中储存有该程序的计算机系统经由传送介质、或通过传送介质中的传送波向其他计算机系统传送。这里，传送程序的“传送介质”指的是像因特网等网络(通信网)、电话线路等通信线路(通信线)那样具有传送信息的功能的介质。
另外，所述的程序也可以是用于实现前述功能的一部分的程序。并且，所述的程序也可以是能通过与已记录在计算机系统中程序进行组合来实现前述功能的所谓的差分文件(差分程序)。

Claims (3)

1.一种三维形状测定装置，其特征在于，通过投射部向对象物依次投射多个相位图案像，并且每当被投射多个所述相位图案像中的一个时通过拍摄部对拍摄图像进行拍摄，并通过三维形状测定部使用基于多个所述拍摄图像的相移法来测定所述对象物的三维形状，
所述三维形状测定装置具备：所述投射部、所述拍摄部以及控制所述三维形状测定部的控制部，
多个所述相位图案像包含：
第一相位图案像，表示亮度值沿预定的方向周期性变化的波；
第二相位图案像，表示相位相对于所述第一相位图案像所表示的所述波超前90度的波；
第三相位图案像，表示相位相对于所述第二相位图案像所表示的所述波超前90度的波；以及
第四相位图案像，表示相位相对于所述第三相位图案像所表示的所述波超前90度的波，
所述控制部进行下述工作：
在从投射部所具备的光源开始照射光起直到所述光的亮度不再随时间变化为止的期间，使所述投射部向所述对象物投射多个所述相位图案像，
连续地投射所述第一相位图案像以及所述第三相位图案像，
连续地投射所述第二相位图案像以及所述第四相位图案像，
将所述第一相位图案像以及所述第三相位图案像的所述拍摄图像的位置成对地进行处理，将所述第二相位图案像以及所述第四相位图案像的所述拍摄图像的位置成对地进行处理，从而计算相位。
2.一种机器人系统，其特征在于，具备：
三维形状测定装置，通过投射部向对象物依次投射多个相位图案像，并且每当被投射多个所述相位图案像中的一个时通过拍摄部对拍摄图像进行拍摄，并通过三维形状测定部使用基于多个所述拍摄图像的相移法来测定所述对象物的三维形状；
机器人；以及
机器人控制装置，基于由所述三维形状测定装置测定出的所述对象物的三维形状，使所述机器人移动，
所述三维形状测定装置具有：所述投射部、所述拍摄部以及控制所述三维形状测定部的控制部，
多个所述相位图案像包含：
第一相位图案像，表示亮度值沿预定的方向周期性变化的波；
第二相位图案像，表示相位相对于所述第一相位图案像所表示的所述波超前90度的波；
第三相位图案像，表示相位相对于所述第二相位图案像所表示的所述波超前90度的波；以及
第四相位图案像，表示相位相对于所述第三相位图案像所表示的所述波超前90度的波，
所述控制部进行下述工作：
在从投射部所具备的光源开始照射光起直到所述光的亮度不再随时间变化为止的期间，使所述投射部向所述对象物投射多个所述相位图案像，
连续地投射所述第一相位图案像以及所述第三相位图案像，
连续地投射所述第二相位图案像以及所述第四相位图案像，
将所述第一相位图案像以及所述第三相位图案像的所述拍摄图像的位置成对地进行处理，将所述第二相位图案像以及所述第四相位图案像的所述拍摄图像的位置成对地进行处理，从而计算相位。
3.一种三维形状测定方法，其特征在于，向对象物依次投射多个相位图案像，并且每当被投射多个所述相位图案像中的一个时对拍摄图像进行拍摄，并使用基于多个所述拍摄图像的相移法来测定所述对象物的三维形状，
多个所述相位图案像包含：
第一相位图案像，表示亮度值沿预定的方向周期性变化的波；
第二相位图案像，表示相位相对于所述第一相位图案像所表示的所述波超前90度的波；
第三相位图案像，表示相位相对于所述第二相位图案像所表示的所述波超前90度的波；以及
第四相位图案像，表示相位相对于所述第三相位图案像所表示的所述波超前90度的波，
在投射多个所述相位图案像的投射部所具备的光源开始照射光起直到所述光的亮度不再随时间变化为止的期间，使所述投射部投射多个所述相位图案像，
连续地投射所述第一相位图案像和所述第三相位图案像，
连续地投射所述第二相位图案像和所述第四相位图案像，
将所述第一相位图案像以及所述第三相位图案像的所述拍摄图像的位置成对地进行处理，将所述第二相位图案像以及所述第四相位图案像的所述拍摄图像的位置成对地进行处理，从而计算相位。
CN201810835367.3A 2017-07-31 2018-07-26 三维形状测定装置、机器人系统以及三维形状测定方法 Active CN109323668B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017147587A JP6897398B2 (ja) 2017-07-31 2017-07-31 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法
JP2017-147587 2017-07-31

Publications (2)

Publication Number Publication Date
CN109323668A CN109323668A (zh) 2019-02-12
CN109323668B true CN109323668B (zh) 2022-01-11

Family

ID=65038175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810835367.3A Active CN109323668B (zh) 2017-07-31 2018-07-26 三维形状测定装置、机器人系统以及三维形状测定方法

Country Status (3)

Country Link
US (1) US11118902B2 (zh)
JP (1) JP6897398B2 (zh)
CN (1) CN109323668B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018129766A1 (de) * 2018-11-26 2020-05-28 Gom Gmbh Vorrichtung und Verfahren für die Vermessung von Objekten
DE102022204922A1 (de) * 2022-05-18 2023-11-23 MICRO-EPSILON-MESSTECHNIK GmbH & Co. K.G. Vorrichtung und Verfahren zur messtechnischen Erfassung von Eigenschaften von Messobjekten

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284346A (ja) * 1999-03-30 2000-10-13 Minolta Co Ltd ３次元情報入力カメラ
CN101765755A (zh) * 2007-07-27 2010-06-30 欧姆龙株式会社 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
CN102365522A (zh) * 2009-04-03 2012-02-29 欧姆龙株式会社 三维形状计测装置、方法及程序
CN102628678A (zh) * 2011-02-01 2012-08-08 索尼公司 三维测量装置、三维测量方法及程序
CN102954770A (zh) * 2011-08-15 2013-03-06 佳能株式会社 三维测量设备和三维测量方法
CN103562673A (zh) * 2011-05-31 2014-02-05 Ckd株式会社 三维测量装置
EP2667305B1 (en) * 2012-05-23 2015-01-14 Fujitsu Limited Information processing apparatus, and control method
CN104697469A (zh) * 2015-03-30 2015-06-10 四川大学 利用谐波幅值判定饱和的高动态三维测量方法
CN105313126A (zh) * 2014-07-29 2016-02-10 精工爱普生株式会社 控制系统、机器人系统、以及控制方法
CN105917358A (zh) * 2014-01-10 2016-08-31 株式会社高永科技 三维形状测定装置及方法
CN106969704A (zh) * 2015-12-16 2017-07-21 精工爱普生株式会社 测量系统、测量方法、机器人控制方法、机器人、机器人系统以及拾取装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2878409B2 (ja) * 1989-09-04 1999-04-05 株式会社リコー ３次元物体撮像方式
WO2010036403A2 (en) * 2008-05-06 2010-04-01 Flashscan3D, Llc System and method for structured light illumination with frame subwindows
JP2012093235A (ja) * 2010-10-27 2012-05-17 Nikon Corp 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム
US9124873B2 (en) * 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
WO2013136620A1 (ja) * 2012-03-14 2013-09-19 独立行政法人産業技術総合研究所 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム
JP5971050B2 (ja) 2012-09-18 2016-08-17 富士通株式会社 形状計測装置及び形状計測方法
JP2015203588A (ja) * 2014-04-11 2015-11-16 株式会社ニコン 検出装置、検出方法、形状測定装置、形状測定方法、構造物製造システム、構造物製造方法、及び形状測定プログラム
KR101784276B1 (ko) * 2015-02-27 2017-10-12 주식회사 고영테크놀러지 기판 검사 방법 및 시스템
EP3101383A1 (en) * 2015-06-01 2016-12-07 Canon Kabushiki Kaisha Shape measurement apparatus, shape calculation method, system, and method of manufacturing an article
US10531064B2 (en) * 2016-04-15 2020-01-07 Canon Kabushiki Kaisha Shape reconstruction using electronic light diffusing layers (E-Glass)
JP6691837B2 (ja) * 2016-06-27 2020-05-13 株式会社キーエンス 測定装置
JP6583761B2 (ja) * 2016-09-27 2019-10-02 国立研究開発法人産業技術総合研究所 周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284346A (ja) * 1999-03-30 2000-10-13 Minolta Co Ltd ３次元情報入力カメラ
CN101765755A (zh) * 2007-07-27 2010-06-30 欧姆龙株式会社 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
CN102365522A (zh) * 2009-04-03 2012-02-29 欧姆龙株式会社 三维形状计测装置、方法及程序
CN102628678A (zh) * 2011-02-01 2012-08-08 索尼公司 三维测量装置、三维测量方法及程序
CN103562673A (zh) * 2011-05-31 2014-02-05 Ckd株式会社 三维测量装置
CN102954770A (zh) * 2011-08-15 2013-03-06 佳能株式会社 三维测量设备和三维测量方法
EP2667305B1 (en) * 2012-05-23 2015-01-14 Fujitsu Limited Information processing apparatus, and control method
CN105917358A (zh) * 2014-01-10 2016-08-31 株式会社高永科技 三维形状测定装置及方法
CN105313126A (zh) * 2014-07-29 2016-02-10 精工爱普生株式会社 控制系统、机器人系统、以及控制方法
CN104697469A (zh) * 2015-03-30 2015-06-10 四川大学 利用谐波幅值判定饱和的高动态三维测量方法
CN106969704A (zh) * 2015-12-16 2017-07-21 精工爱普生株式会社 测量系统、测量方法、机器人控制方法、机器人、机器人系统以及拾取装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Rapid in-situ 3D measurement of shiny object based on fast and high dynamic range digital fringe projector》;HuijieZhao，等;《Optics and Lasers in Engineering》;20131212;全文 *
《基于三维缺陷检测的ＤＭＤ数字条纹投影光学系统设计》;陈方涵，等;《光子学报》;20150228;全文 *
《基于结构光的三维成像技术》;李托拓，等;《网络新媒体技术》;20120131;全文 *
《非接触式三维重建测量方法综述》;丁少闻，等;《激光与光电子学进展》;20170331;全文 *

Also Published As

Publication number Publication date
US11118902B2 (en) 2021-09-14
US20190033065A1 (en) 2019-01-31
JP2019027921A (ja) 2019-02-21
JP6897398B2 (ja) 2021-06-30
CN109323668A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN105269578B (zh) 指示装置以及机器人系统
JP5928114B2 (ja) ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
JP2020116734A (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
US20140288710A1 (en) Robot system and calibration method
US9652660B2 (en) Control system, robot system, and control method
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
JP2016185572A (ja) ロボット、ロボット制御装置およびロボットシステム
JP2019030943A (ja) キャリブレーション方法、キャリブレーションシステム及びプログラム
CN111801198A (zh) 一种手眼标定方法、系统及计算机存储介质
CN109323668B (zh) 三维形状测定装置、机器人系统以及三维形状测定方法
JP2020078859A (ja) ロボット装置
JP2017170571A (ja) ロボット、ロボット制御装置、及びロボットシステム
JP6772630B2 (ja) 三次元計測装置及び三次元物体認識方法
JP2015087321A (ja) 制御装置、ロボット、制御システム、制御方法、及び制御プログラム
US20180215044A1 (en) Image processing device, robot control device, and robot
JP2020082274A (ja) 画像処理装置およびその制御方法、プログラム
JP2017047479A (ja) ロボット、制御装置、及びロボットシステム
JP2018034243A (ja) ロボット、ロボット制御装置、及びロボットシステム
JP2016120530A (ja) ロボット、及びロボット校正システム
JP2018017610A (ja) 三次元計測装置、ロボット、ロボット制御装置、及びロボットシステム
JP2016120558A (ja) ロボット、及びロボットシステム
JP2015087313A (ja) 制御装置、ロボット、制御システム、制御方法、及び制御プログラム
JP2019042902A (ja) 撮像方法及びロボットシステム
JP2020123049A (ja) 寸法単位設定方法、情報処理装置、及びロボットシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant