JP2019027921A - 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法 - Google Patents

三次元形状測定装置、ロボットシステム、及び三次元形状測定方法 Download PDF

Info

Publication number
JP2019027921A
JP2019027921A JP2017147587A JP2017147587A JP2019027921A JP 2019027921 A JP2019027921 A JP 2019027921A JP 2017147587 A JP2017147587 A JP 2017147587A JP 2017147587 A JP2017147587 A JP 2017147587A JP 2019027921 A JP2019027921 A JP 2019027921A
Authority
JP
Japan
Prior art keywords
phase pattern
dimensional shape
unit
pattern image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017147587A
Other languages
English (en)
Other versions
JP2019027921A5 (ja
JP6897398B2 (ja
Inventor
健太郎 塚本
Kentaro Tsukamoto
健太郎 塚本
智紀 原田
Tomonori Harada
智紀 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017147587A priority Critical patent/JP6897398B2/ja
Priority to CN201810835367.3A priority patent/CN109323668B/zh
Priority to US16/048,421 priority patent/US11118902B2/en
Publication of JP2019027921A publication Critical patent/JP2019027921A/ja
Publication of JP2019027921A5 publication Critical patent/JP2019027921A5/ja
Application granted granted Critical
Publication of JP6897398B2 publication Critical patent/JP6897398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

【課題】対象物の三次元形状の測定に要する時間を短くすることができる三次元形状測定装置を提供すること。【解決手段】制御部を備えた三次元形状測定装置であって、前記制御部は、投射部が備える光源が光を照射させ始めてから前記光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを前記投射部により投射させるとともに、前記位相パターン像のそれぞれが前記投射部により投射される毎に、前記位相パターン像を撮像部に撮像させる処理を開始し、前記処理が行われた後、前記撮像部により撮像された撮像画像に基づいて、前記位相パターン像が投射された対象物の三次元形状を測定する、三次元形状測定装置。【選択図】図６

Description

この発明は、三次元形状測定装置、ロボットシステム、及び三次元形状測定方法に関する。
対象物の三次元形状を測定する技術についての研究や開発が行われている。
これに関し、位相シフト法を用いた形状測定装置が知られている（特許文献１参照）。
特開２０１２−１５９４１２号公報
位相シフト法では、互いに異なる位相を有する複数の正弦波パターンのそれぞれが投射部によって対象物に投射され、正弦波パターンが投射された対象物が撮像部によって撮像される。このため、このような形状測定装置は、投射部が備える光源から光が照射され始めてから当該光の輝度が時間的に変化しなくなるまでの間、正弦波パターンが投射された対象物の撮像部による撮像を行わずに待機する。その結果、当該形状測定装置は、対象物の三次元形状の測定に要する時間を短くすることが困難な場合があった。
上記課題の少なくとも一つを解決するために本発明の一態様は、制御部を備えた三次元形状測定装置であって、前記制御部は、投射部が備える光源が光を照射させ始めてから前記光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを前記投射部により投射させるとともに、前記位相パターン像のそれぞれが前記投射部により投射される毎に、前記位相パターン像を撮像部に撮像させる処理を開始し、前記処理が行われた後、前記撮像部により撮像された撮像画像に基づいて、前記位相パターン像が投射された対象物の三次元形状を測定する、三次元形状測定装置である。
この構成により、三次元形状測定装置は、投射部が備える光源が光を照射させ始めてから当該光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを投射部により投射させるとともに、位相パターン像のそれぞれが投射部により投射される毎に、位相パターン像を撮像部に撮像させる処理を開始し、当該処理が行われた後、撮像部により撮像された撮像画像に基づいて、位相パターン像が投射された対象物の三次元形状を測定する。これにより、三次元形状測定装置は、対象物の三次元形状の測定に要する時間を短くすることができる。
また、本発明の他の態様は、三次元形状測定装置において、前記複数の前記位相パターン像は、４つの前記位相パターン像であり、前記４つの前記位相パターン像それぞれは、前記位相パターン像上の第１方向に沿って輝度値が周期的に変化する波を表し、前記４つの前記位相パターン像には、基準となる前記波を表す前記位相パターン像である第１位相パターン像と、前記第１位相パターン像が表す前記波に対して位相が９０度進んだ前記波を表す前記位相パターン像である第２位相パターン像と、前記第２位相パターン像が表す前記波に対して位相が９０度進んだ前記波を表す前記位相パターン像である第３位相パターン像と、前記第３位相パターン像が表す前記波に対して位相が９０度進んだ前記波を表す前記位相パターン像である第４位相パターン像とが含まれ、前記制御部は、前記第１位相パターン像、前記第３位相パターン像、前記第２位相パターン像、前記第４位相パターン像の順に前記投射部に投射させる構成が用いられてもよい。
この構成により、三次元形状測定装置は、第１位相パターン像、第３位相パターン像、第２位相パターン像、第４位相パターン像の順に投射部に投射させる。これにより、三次元形状測定装置は、第１位相パターン像、第３位相パターン像、第２位相パターン像、第４位相パターン像の順に投射部に投射された第１位相パターン像、第２位相パターン像、第３位相パターン像、第４位相パターン像に基づいて、誤差を低減することができるとともに、対象物の三次元形状の測定に要する時間を短くすることができる。
また、本発明の他の態様は、三次元形状測定装置において、前記制御部は、操作を受け付ける操作受付部と、前記操作受付部が受け付けた操作に応じて、前記複数の前記位相パターン像を生成する画像生成部と、前記画像生成部が生成した前記複数の前記位相パターン像のそれぞれを前記投射部に投射させる投射タイミングと、前記投射部により投射された前記位相パターン像のそれぞれを前記撮像部に撮像させる撮像タイミングとを制御するタイミング制御部と、前記タイミング制御部により制御された前記投射タイミングに応じて、前記画像生成部が生成した前記複数の前記位相パターン像のそれぞれを前記投射部に投射させる投射制御部と、前記タイミング制御部により制御された前記撮像タイミングに応じて、前記位相パターン像を前記撮像部に撮像させる撮像制御部と、前記撮像部により撮像された前記撮像画像に基づいて、前記対象物の三次元形状を測定する三次元形状測定部と、を備える、構成が用いられてもよい。
この構成により、三次元形状測定装置は、操作を受け付け、受け付けた操作に応じて、複数の位相パターン像を生成し、生成した複数の位相パターン像のそれぞれを投射部に投射させる投射タイミングと、投射部により投射された位相パターン像のそれぞれを撮像部に撮像させる撮像タイミングとを制御し、制御された投射タイミングに応じて、生成した複数の位相パターン像のそれぞれを投射部に投射させ、制御された撮像タイミングに応じて、位相パターン像を撮像部に撮像させ、撮像部により撮像された撮像画像に基づいて、対象物の三次元形状を測定する。これにより、三次元形状測定装置は、投射タイミング及び撮像タイミングに基づいて、対象物の三次元形状の測定に要する時間を短くすることができる。
また、本発明の他の態様は、三次元形状測定装置において、前記操作受付部は、ユーザーから前記操作を受け付ける、構成が用いられてもよい。
この構成により、三次元形状測定装置は、ユーザーから操作を受け付ける。これにより、三次元形状測定装置は、ユーザーから受け付けた操作に応じて、対象物の三次元形状の測定に要する時間を短くすることができる。
また、本発明の他の態様は、三次元形状測定装置において、前記操作受付部は、他の装置からの要求を前記操作として受け付ける、構成が用いられてもよい。
この構成により、三次元形状測定装置は、他の装置からの要求を操作として受け付ける。これにより、三次元形状測定装置は、他の装置から受け付けた操作に応じて、対象物の三次元形状の測定に要する時間を短くすることができる。
また、本発明の他の態様は、三次元形状測定装置において、前記制御部は、前記撮像部により撮像された撮像画像に基づく位相シフト法を用いて、前記位相パターン像が投射された前記対象物の三次元形状を測定する、構成が用いられてもよい。
この構成により、三次元形状測定装置は、撮像部により撮像された撮像画像に基づく位相シフト法を用いて、位相パターン像が投射された対象物の三次元形状を測定する。これにより、三次元形状測定装置は、位相シフト法による対象物の三次元形状の測定に要する時間を短くすることができる。
また、本発明の他の態様は、制御部を備え、対象物の三次元形状を測定する三次元形状測定装置と、ロボットと、前記三次元形状測定装置により測定された前記対象物の三次元形状に基づいて前記ロボットを動かすロボット制御装置と、を備え、前記制御部は、投射部が備える光源が光を照射させ始めてから前記光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを前記投射部により投射させるとともに、前記位相パターン像のそれぞれが前記投射部により投射される毎に、前記位相パターン像を撮像部に撮像させる処理を開始し、前記処理が行われた後、前記撮像部により撮像された撮像画像に基づいて、前記位相パターン像が投射された前記対象物の三次元形状を測定する、ロボットシステムである。
この構成により、ロボットシステムは、投射部が備える光源が光を照射させ始めてから当該光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを投射部により投射させるとともに、位相パターン像のそれぞれが投射部により投射される毎に、位相パターン像を撮像部に撮像させる処理を開始し、当該処理が行われた後、撮像部により撮像された撮像画像に基づいて、位相パターン像が投射された対象物の三次元形状を測定する。これにより、ロボットシステムは、ロボットに行わせる作業に要する時間を短くすることができる。
また、本発明の他の態様は、投射部が備える光源が光を照射させ始めてから前記光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを前記投射部により投射させるとともに、前記位相パターン像のそれぞれが前記投射部により投射される毎に、前記位相パターン像を撮像部に撮像させる処理を開始する処理ステップと、前記処理ステップにより前記処理が行われた後、前記撮像部により撮像された撮像画像に基づいて、前記位相パターン像が投射された対象物の三次元形状を測定する測定ステップと、を有する三次元形状測定方法である。
この構成により、三次元形状測定方法は、投射部が備える光源が光を照射させ始めてから前記光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを投射部により投射させるとともに、位相パターン像のそれぞれが投射部により投射される毎に、位相パターン像を撮像部に撮像させる処理を開始し、処理が行われた後、撮像部により撮像された撮像画像に基づいて、位相パターン像が投射された対象物の三次元形状を測定する。これにより、三次元形状測定方法は、対象物の三次元形状の測定に要する時間を短くすることができる。
また、本発明の他の態様は、ロボットシステムであって、プロセッサーを備え、対象物の三次元形状を測定する三次元形状測定装置と、ロボットと、前記三次元形状測定装置により測定された前記対象物の三次元形状に基づいて前記ロボットを動かすロボット制御装置と、を備え、前記プロセッサーは、投射部が備える光源が光を照射させ始めてから前記光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを前記投射部により投射させるとともに、前記位相パターン像のそれぞれが前記投射部により投射される毎に、前記位相パターン像を撮像部に撮像させる処理を開始し、前記処理が行われた後、前記撮像部により撮像された撮像画像に基づいて、前記位相パターン像が投射された前記対象物の三次元形状を測定する指令を実行するように構成されていることを特徴する、ロボットシステムである。
この構成により、ロボットシステムは、投射部が備える光源が光を照射させ始めてから当該光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを投射部により投射させるとともに、位相パターン像のそれぞれが投射部により投射される毎に、位相パターン像を撮像部に撮像させる処理を開始し、当該処理が行われた後、撮像部により撮像された撮像画像に基づいて、位相パターン像が投射された対象物の三次元形状を測定する。これにより、ロボットシステムは、ロボットに行わせる作業に要する時間を短くすることができる。
以上により、三次元形状測定装置、及び三次元形状測定方法は、投射部が備える光源が光を照射させ始めてから当該光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを投射部により投射させるとともに、位相パターン像のそれぞれが投射部により投射される毎に、位相パターン像を撮像部に撮像させる処理を開始し、当該処理が行われた後、撮像部により撮像された撮像画像に基づいて、位相パターン像が投射された対象物の三次元形状を測定する。これにより、三次元形状測定装置、及び三次元形状測定方法は、対象物の三次元形状の測定に要する時間を短くすることができる。
また、ロボットシステムは、投射部が備える光源が光を照射させ始めてから当該光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを投射部により投射させるとともに、位相パターン像のそれぞれが投射部により投射される毎に、位相パターン像を撮像部に撮像させる処理を開始し、当該処理が行われた後、撮像部により撮像された撮像画像に基づいて、位相パターン像が投射された対象物の三次元形状を測定する。これにより、ロボットシステムは、ロボットに行わせる作業に要する時間を短くすることができる。
実施形態に係る三次元形状測定システム１の構成の一例を示す図である。 複数の情報処理装置によって三次元形状測定装置３０が構成される場合における三次元形状測定装置３０のハードウェア構成の一例である。 対象物Ｏを含まない投射範囲Ｒ１に投射された場合における４つの位相パターン像それぞれの一例を示す図である。 投射部５が備える光源から照射される光の輝度が時間的に変化する場合における４つの位相パターン像それぞれの平均輝度値の時間的変化を示す図である。 図４に示したグラフであって４つの位相パターン像のそれぞれが投射部５により投射されるタイミングの順を変化させた場合におけるグラフを示す図である。 三次元形状測定装置３０の機能構成の一例を示す図である。 三次元形状測定装置３０が対象物Ｏの三次元形状を測定する処理の流れの一例を示す図である。 実施形態の変形例１に係るロボットシステム２の一例を示す構成図である。 ロボット制御装置７０がロボット６０に所定の作業を行わせる処理の流れの一例を示す図である。 実施形態の変形例２に係るロボットシステム３の一例を示す構成図である。
＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。
＜三次元形状測定システムの概要＞
まず、三次元形状測定システム１の概要について説明する。
三次元形状測定システム１は、対象物に位相パターン像を投射部によって投射し、位相パターン像が投射された対象物を撮像部によって撮像し、当該対象物が撮像された撮像画像に基づいて、対象物の三次元形状を測定する。位相パターン像は、投射部により投射される投射画像のうち画像上の第１方向に沿って画像上の画素値が周期的に変化する波（例えば、正弦波）を表す投射画像のことである。第１方向は、この一例において、投射画像の長手方向に沿った方向である。なお、第１方向は、当該長手方向に沿った方向に代えて、投射画像上の他の方向であってもよい。当該画素値は、この一例において、輝度値である。なお、当該画素値は、輝度値に代えて、明度値、彩度値等の他の画素値であってもよい。
ここで、投射部が備える光源から照射される光の輝度は、当該光源が光を照射し始めてから当該光源の物理的な特性が安定するまでの間、時間的に変化する。以下では、説明の便宜上、当該光源が光を照射し始めてから当該光源の物理的な特性が安定するまでの間の時間を立上時間（すなわち、立ち上がり時間）と称して説明する。すなわち、当該光源から照射される光の輝度は、当該光源が光を照射し始めてから立上時間が経過した後、電圧の揺らぎ等によって生じる揺らぎ、光源の劣化等による減少を除いて、時間的に変化しない。
光源から照射される光の輝度が時間的に変化する場合、当該輝度の変化に応じて位相パターン像の平均輝度値も変化する。ある位相パターン像の平均輝度値は、当該位相パターン像上の各点における輝度値の平均値のことである。このような場合、位相パターン像が投射された対象物が撮像部により撮像された撮像画像に基づく三次元形状の測定は、誤差が大きくなる場合がある。
このような理由から、三次元形状測定システム１と異なる三次元形状測定システムＸ（例えば、従来の三次元形状測定システム）は、対象物に位相パターン像を投射部によって投射した後、当該光源が光を照射し始めてから立上時間が経過するまでの間、撮像部による対象物Ｏの撮像を行わずに待機する。その結果、三次元形状測定システムＸは、対象物の三次元形状の測定に要する時間を短くすることが困難な場合があった。
そこで、三次元形状測定システム１は、投射部が備える光源が光を照射させ始めてから当該光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを投射部により投射させるとともに、位相パターン像のそれぞれが投射部により投射される毎に、位相パターン像を撮像部に撮像させる投射撮像処理を開始する。そして、三次元形状測定システム１は、投射撮像処理を行った後、撮像部により撮像された撮像画像に基づいて、位相パターン像が投射された対象物の三次元形状を測定する。これにより、三次元形状測定システム１は、対象物の三次元形状の測定に要する時間を短くすることができる。
以下では、三次元形状測定システム１の構成と、上記のような方法によって対象物の三次元形状の測定を行う際に発生する誤差を三次元形状測定システム１が抑制する処理と、三次元形状測定システム１が対象物の三次元形状の測定する処理とについて説明する。
＜三次元形状測定システムの構成＞
以下、三次元形状測定システム１の構成について説明する。
図１は、実施形態に係る三次元形状測定システム１の構成の一例を示す図である。三次元形状測定システム１は、上記の投射部の一例である投射部５と、上記の撮像部の一例である撮像部１０と、三次元形状測定装置３０と、入力装置４０と、表示装置５０を備える。なお、三次元形状測定システム１は、投射部５と撮像部１０と入力装置４０と表示装置５０との一部又は全部を備えない構成であってもよく、投射部５と撮像部１０と三次元形状測定装置３０との一部又は全部が一体に構成される構成であってもよく、入力装置４０がタッチパネル装置として表示装置５０と一体に構成される構成であってもよく、入力装置４０と表示装置５０とのいずれか一方又は両方が三次元形状測定装置３０と一体に構成される構成であってもよい。
投射部５は、例えば、投射画像を投射するための液晶ライトバルブ、投射レンズ、液晶駆動部を備えるプロジェクターである。また、投射部５は、超高圧水銀ランプ、メタルハライドランプ等を光源として備えるプロジェクターである。投射部５は、図１に示した作業台ＴＢの上面に載置された対象物Ｏを含む範囲である投射範囲Ｒ１に投射画像を投射可能な位置に設置される。
作業台ＴＢは、例えば、テーブル等の台である。なお、作業台ＴＢは、テーブルに代えて、対象物Ｏを載置することが可能な台であれば、他の台であってもよい。
対象物Ｏは、上記の対象物の一例である。対象物Ｏは、例えば、製品に組み付けるプレート、ネジ、ボルト等の産業用の部品や部材である。図１では、図の簡略化のため、対象物Ｏを直方体形状の物体として表している。なお、対象物Ｏは、産業用の部品や部材に代えて、日用品、生体等の他の物体であってもよい。また、対象物Ｏの形状は、直方体形状に代えて、他の形状であってもよい。
投射部５は、ケーブルによって三次元形状測定装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）等の規格によって行われる。なお、投射部５は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって三次元形状測定装置３０と接続される構成であってもよい。
撮像部１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を、集光された光を電気信号に変換する撮像素子として備えたカメラである。撮像部１０は、図１に示した作業台ＴＢの上面に載置された対象物Ｏを含む範囲である撮像範囲Ｒ２を撮像可能な位置に設置される。以下では、一例として、撮像範囲Ｒ２の全体が投射範囲Ｒ１の内側に含まれる場合について説明する。なお、撮像範囲Ｒ２は、これに代えて、投射範囲Ｒ１と部分的に重なる構成であってもよく、投射範囲Ｒ１の全体を内側に含む構成であってもよい。
撮像部１０は、ケーブルによって三次元形状測定装置３０と通信可能に接続されている。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。また、撮像部１０は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって三次元形状測定装置３０と接続される構成であってもよい。
三次元形状測定装置３０は、少なくとも１つのプロセッサーと、少なくとも１つのメモリーとによって構成される。三次元形状測定装置３０において、当該少なくとも１つのプロセッサーは、１つの装置に備えられる構成であってもよく、複数の情報処理装置に分散されて備えられている構成であってもよい。また、三次元形状測定装置３０において、当該少なくとも１つのメモリーは、１つの装置に備えられる構成であってもよく、複数の情報処理装置に分散されて備えられている構成であってもよい。
図１に示した例では、三次元形状測定装置３０は、情報処理装置ＰＣ１に備えられた１つのプロセッサーであるプロセッサー３１と、情報処理装置ＰＣ１に備えられた１つのメモリーであるメモリー３２とによって構成されている。なお、情報処理装置ＰＣ１は、プロセッサー３１に加えて、他のプロセッサーを備える構成であってもよく、メモリー３２に加えて、他のメモリーを備える構成であってもよい。
情報処理装置ＰＣ１は、例えば、ワークステーション、デスクトップＰＣ（Personal Computer）、ノートＰＣ、タブレットＰＣ、多機能携帯電話端末（スマートフォン）、通信機能付きの電子書籍リーダー、ＰＤＡ（Personal Digital Assistant）等である。
プロセッサー３１は、例えば、ＣＰＵ（Central Processing Unit）である。なお、プロセッサー３１は、ＦＰＧＡ（Field-Programmable Gate Array）等の他のプロセッサーであってもよい。プロセッサー３１は、メモリー３２に格納された各種の指令を実行する。また、プロセッサー３１は、他の装置のメモリーに格納された各種の指令を実行する。
メモリー３２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＲＯＭ（Read−Only Memory）、ＲＡＭ（Random Access Memory）等を含む。すなわち、メモリー３２は、一時的な記憶装置と、非一時的な記憶装置とを含む。なお、メモリー３２は、情報処理装置ＰＣ１に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー３２は、プロセッサー３１又は他の装置のプロセッサーが処理する各種の情報、指令３２１、３２２等のコンピューターにより実行可能な各種の指令（例えば、プログラム、コード等）、各種の画像等を格納する。
指令３２１及び指令３２２はそれぞれ、プロセッサー３１が三次元形状測定装置３０を構成するためにプロセッサー３１が実行する複数の指令（すなわち、コンピューターにより実行可能な複数の指令）のうちの一部である。
また、情報処理装置ＰＣ１は、他の装置と通信を行うため、ハードウェア機能部として通信部３４を備える。
通信部３４は、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。
なお、三次元形状測定装置３０は、１つのプロセッサー３１と、１つのメモリー３２とを備える情報処理装置ＰＣ１に代えて、図２に示したように、複数の情報処理装置のうちの一部又は全部によって構成されてもよい。図２は、複数の情報処理装置によって三次元形状測定装置３０が構成される場合における三次元形状測定装置３０のハードウェア構成の一例である。
図２に示した情報処理装置ＰＣ２は、１つのプロセッサーであるプロセッサー４１と、１つのメモリーであるメモリー４２と、通信部４４を備える。なお、情報処理装置ＰＣ２は、プロセッサー４１に加えて、他のプロセッサーを備える構成であってもよい。また、情報処理装置ＰＣ２は、メモリー４２に加えて、他のメモリーを備える構成であってもよい。
情報処理装置ＰＣ２は、例えば、ワークステーション、デスクトップＰＣ、ノートＰＣ、タブレットＰＣ、多機能携帯電話端末（スマートフォン）、通信機能付きの電子書籍リーダー、ＰＤＡ等である。
プロセッサー４１は、ＣＰＵである。なお、プロセッサー４１は、ＦＰＧＡ等の他のプロセッサーであってもよい。プロセッサー４１は、メモリー３２に格納された各種の指令を実行する。また、プロセッサー４１は、他の装置のメモリーに格納された各種の指令を実行する。
メモリー４２は、例えば、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ等を含む。すなわち、メモリー４２は、一時的な記憶装置と、非一時的な記憶装置とを含む。なお、メモリー４２は、情報処理装置ＰＣ２に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー４２は、プロセッサー４１又は他の装置のプロセッサーが処理する各種の情報、各種の指令（例えば、プログラム、コード等）、各種の画像等を格納する。
通信部４４は、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。
図２に示した情報処理装置ＰＣ３は、１つのプロセッサーであるプロセッサー５１と、１つのメモリーであるメモリー５２と、通信部５４を備える。なお、情報処理装置ＰＣ３は、プロセッサー５１に加えて、他のプロセッサーを備える構成であってもよい。また、情報処理装置ＰＣ３は、メモリー５２に加えて、他のメモリーを備える構成であってもよい。
情報処理装置ＰＣ３は、例えば、ワークステーション、デスクトップＰＣ、ノートＰＣ、タブレットＰＣ、多機能携帯電話端末（スマートフォン）、通信機能付きの電子書籍リーダー、ＰＤＡ等である。
プロセッサー５１は、ＣＰＵである。なお、プロセッサー５１は、ＦＰＧＡ等の他のプロセッサーであってもよい。プロセッサー５１は、メモリー５２に格納された各種の指令を実行する。また、プロセッサー５１は、他の装置のメモリーに格納された各種の指令を実行する。
メモリー５２は、例えば、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ等を含む。すなわち、メモリー５２は、一時的な記憶装置と、非一時的な記憶装置とを含む。なお、メモリー５２は、情報処理装置ＰＣ３に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー５２は、プロセッサー５１又は他の装置のプロセッサーが処理する各種の情報、各種の指令（例えば、プログラム、コード等）、各種の画像等を格納する。
通信部５４は、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。
図２に示した例では、情報処理装置ＰＣ１と、情報処理装置ＰＣ２とが無線又は有線によって互いに通信可能に接続されている。また、当該例では、情報処理装置ＰＣ１と、情報処理装置ＰＣ３とがＬＡＮ（Local Area Network）を介して無線又は有線によって互いに通信可能に接続されている。また、当該例では、情報処理装置ＰＣ２と、情報処理装置ＰＣ３とがＬＡＮを介して無線又は有線によって互いに通信可能に接続されている。
図２に示した例では、三次元形状測定装置３０は、プロセッサー３１と、プロセッサー４１と、プロセッサー５１のうちの少なくとも１つと、メモリー３２と、メモリー４２と、メモリー５２のうちの少なくとも１つとによって構成される。プロセッサー３１と、プロセッサー４１と、プロセッサー５１のうちの２つ以上によって三次元形状測定装置３０が構成される場合、三次元形状測定装置３０を構成する当該２つ以上のプロセッサーは、通信部による通信を行うことにより、連携して三次元形状測定装置３０の機能を実現する。また、当該場合、当該２つ以上のプロセッサーは、メモリー３２と、メモリー４２と、メモリー５２のうちの少なくとも１つに格納された指令に基づいて、三次元形状測定装置３０の機能による処理を実行する。
なお、図２に示した例のように、三次元形状測定装置３０が複数の情報処理装置によって構成される場合、投射部５、撮像部１０のそれぞれは、当該複数の情報処理装置の少なくとも１つと通信可能に接続される。また、当該場合、入力装置４０、表示装置５０のそれぞれは、当該複数の情報処理装置の少なくとも１つと通信可能に接続される。
図１に戻る。三次元形状測定装置３０は、投射部５に位相パターン像を投射範囲Ｒ１へ投射させる。三次元形状測定装置３０は、位相パターン像が投射された投射範囲Ｒ１に含まれる撮像範囲Ｒ２を撮像部１０に撮像させる。撮像範囲Ｒ２には、対象物Ｏが含まれている。すなわち、三次元形状測定装置３０は、対象物Ｏを含む範囲である撮像範囲Ｒ２を撮像部１０に撮像させる。三次元形状測定装置３０は、撮像部１０が撮像した撮像画像を撮像部１０から取得する。三次元形状測定装置３０は、取得した撮像画像に基づいて、対象物Ｏの三次元形状の測定を行う。ここで、対象物Ｏの三次元形状を測定するとは、この一例において、対象物Ｏの三次元形状を示す情報である三次元形状情報を生成することを意味する。
具体的には、三次元形状測定装置３０は、取得した撮像画像上の点であって当該撮像画像内の領域のうち対象物Ｏが撮像された領域である対象物領域内に含まれる点毎に、点の三次元位置（三次元座標）を検出し、検出した三次元位置を当該点に対応付ける。このようにして、三次元形状測定装置３０は、対象物Ｏを含む撮像範囲Ｒ２が撮像された撮像画像であって対象物領域内の各点に三次元位置が対応付けられた撮像画像を、対象物Ｏの三次元形状を示す三次元形状情報として生成する。
ここで、撮像画像から検出する三次元位置は、ロボット座標系における三次元位置であってもよく、ワールド座標系における三次元位置であってもよく、他の三次元座標系における三次元位置であってもよい。以下では、一例として、三次元形状測定装置３０が、取得した撮像画像に基づいて、対象物領域内に含まれる各点のロボット座標系における三次元位置を検出する場合について説明する。
なお、以下では、三次元形状測定装置３０には、撮像部によって撮像された撮像画像上の各点における位置を示す撮像部座標系のＸＹ平面上の座標と、ロボット座標系におけるＸＹ平面上の座標とを対応付けるキャリブレーションが予め行われている場合について説明する。撮像部座標系のＸＹ平面は、撮像部座標系におけるＸ軸及びＹ軸によって張られる平面のことである。ロボット座標系のＸＹ平面は、ロボット座標系におけるＸ軸及びＹ軸によって張られる平面のことである。
入力装置４０は、キーボード、マウス、タッチパッド等である。なお、入力装置４０は、他の入力装置であってもよい。
入力装置４０は、ケーブルによって三次元形状測定装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、入力装置４０は、近距離無線通信、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって三次元形状測定装置３０と接続される構成であってもよい。
表示装置５０は、液晶ディスプレイパネル、有機ＥＬ（ElectroLuminescence）ディスプレイパネル等を備えるディスプレイである。なお、表示装置５０は、他の表示装置であってもよい。
表示装置５０は、ケーブルによって三次元形状測定装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、表示装置５０は、近距離無線通信、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって三次元形状測定装置３０と接続される構成であってもよい。
＜三次元形状測定装置が対象物の三次元形状を測定する方法＞
以下、三次元形状測定装置３０が対象物Ｏの三次元形状を測定する方法について説明する。
三次元形状測定装置３０は、この一例における位相シフト法である位相シフト法改によって、互いに異なる複数の位相パターン像を用いて対象物Ｏの三次元形状を測定する。より具体的には、三次元形状測定装置３０は、前述した通り、投射部５が備える光源が光を照射させ始めてから立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを投射部により投射させるとともに、位相パターン像のそれぞれが投射部により投射される毎に、位相パターン像を撮像部に撮像させる投射撮像処理を開始する。この投射撮像処理において、三次元形状測定装置３０は、複数の位相パターン像のそれぞれを、予め決められた順に投射部５に投射させる。なお、位相シフト法改と異なる位相シフト法（例えば、従来の位相シフト法）では、互いに異なる複数の位相パターン像のそれぞれを投射部５に投射させる順番には、決まりが無い。
三次元形状測定装置３０は、投射撮像処理によって撮像部１０が撮像した撮像画像に基づいて、複数の位相パターン像のうち基準となる位相パターン像が表す波の位相であって当該位相パターン像が撮像された撮像画像上の各位置における位相を算出する。三次元形状測定装置３０は、算出した位相に基づいて、当該撮像画像上の各位置に対応する位置であって当該基準となる位相パターン像上の位置である対応位置を算出する。三次元形状測定装置３０が当該位相に基づいて対応位置を算出する方法は、既知の方法であってもよく、これから開発される方法であってもよい。三次元形状測定装置３０は、算出した対応位置に基づいて、対象物Ｏの三次元形状を測定する。三次元形状測定装置３０が当該対応位置に基づいて対象物Ｏの三次元形状を測定する方法は、既知の方法であってもよく、これから開発される方法であってもよい。このように、三次元形状測定装置３０は、位相シフト法改によって、対象物Ｏの三次元形状を測定する。
以下では、一例として、前述の互いに異なる複数の位相パターン像が、互いに異なる４つの位相パターン像である場合について説明する。すなわち、三次元形状測定装置３０は、互いに異なる４つの位相パターン像を用いた位相シフト法改（４ステップ法の位相シフト法改）によって対象物Ｏの三次元形状を測定する。なお、互いに異なる複数の位相パターン像は、互いに異なる３つの位相パターン像であってもよく、互いに異なる５つ以上の位相パターン像であってもよい。
互いに異なる４つの位相パターン像は、当該４つの位相パターン像のそれぞれが表す波の位相が互いに異なる。以下では、一例として、当該４つの位相パターン像が、前述の基準となる波を表す位相パターン像である第１位相パターン像Ｐ１と、第１位相パターン像Ｐ１が表す波に対して位相が９０度進んだ波を表す位相パターン像である第２位相パターン像Ｐ２と、第２位相パターン像Ｐ２が表す波に対して位相が９０度進んだ波を表す位相パターン像である第３位相パターン像Ｐ３と、第３位相パターン像Ｐ３が表す波に対して位相が９０度進んだ波を表す位相パターン像である第４位相パターン像Ｐ４とを含む場合について説明する。すなわち、第１位相パターン像Ｐ１が表す波の位相を０とした場合、第２位相パターン像Ｐ２が表す波の位相は、π／２である。また、当該場合、第３位相パターン像Ｐ３が表す波の位相は、πである。また、当該場合、第４位相パターン像Ｐ４が表す波の位相は、３π／２である。
ここで、図３は、対象物Ｏを含まない投射範囲Ｒ１に投射された場合における４つの位相パターン像それぞれの一例を示す図である。図３に示したように、当該４つの位相パターン像である第１位相パターン像Ｐ１、第２位相パターン像Ｐ２、第３位相パターン像Ｐ３、第４位相パターン像Ｐ４のそれぞれは、画像上の第１方向に沿って画像上の輝度値が周期的に変化する波を表している。また、第２位相パターン像Ｐ２が表す波の位相は、第１位相パターン像Ｐ１が表す波の位相よりも９０度進んでいる。また、第３位相パターン像Ｐ３が表す波の位相は、第２位相パターン像Ｐ２が表す波の位相よりも９０度進んでいる。また、第４位相パターン像Ｐ４が表す波の位相は、第３位相パターン像Ｐ３が表す波の位相よりも９０度進んでいる。この場合、第１位相パターン像Ｐ１が表す波の位相は、第４位相パターン像Ｐ４が表す波の位相よりも９０度進んでいる。
また、第１位相パターン像Ｐ１、第２位相パターン像Ｐ２、第３位相パターン像Ｐ３、第４位相パターン像Ｐ４のそれぞれが表す波は、空間的に拡がる波である。なお、第１位相パターン像Ｐ１、第２位相パターン像Ｐ２、第３位相パターン像Ｐ３、第４位相パターン像Ｐ４のそれぞれが表す波は、時間的に拡がる波であってもよい。この場合、第１位相パターン像Ｐ１、第２位相パターン像Ｐ２、第３位相パターン像Ｐ３、第４位相パターン像Ｐ４のそれぞれは、時間の経過毎に輝度値が変化する複数の位相パターン像と対応付けられる。そして、三次元形状測定装置３０は、第１位相パターン像Ｐ１、第２位相パターン像Ｐ２、第３位相パターン像Ｐ３、第４位相パターン像Ｐ４のそれぞれと、第１位相パターン像Ｐ１、第２位相パターン像Ｐ２、第３位相パターン像Ｐ３、第４位相パターン像Ｐ４のそれぞれに対応付けられた複数の位相パターン像とを投射範囲Ｒ１に順に投射させる。
なお、この一例において、第１位相パターン像Ｐ１、第２位相パターン像Ｐ２、第３位相パターン像Ｐ３、第４位相パターン像Ｐ４のそれぞれが表す波は、第１方向に沿って進行する平面波であるが、これに代えて、球面波であってもよい。
４ステップ法の位相シフト法改では、三次元形状測定装置３０は、対象物Ｏを含む投射範囲Ｒ１へ、このような４つの位相パターン像である第１位相パターン像Ｐ１、第２位相パターン像Ｐ２、第３位相パターン像Ｐ３、第４位相パターン像Ｐ４のそれぞれを、予め決められた順に、投射部５に投射させる。
ここで、位相シフト法改について、より具体的に説明する。４ステップ法の位相シフト法改では、三次元形状測定装置３０は、第１位相パターン像Ｐ１、第２位相パターン像Ｐ２、第３位相パターン像Ｐ３、第４位相パターン像Ｐ４のそれぞれを対象位相パターン像として予め決められた順に１つずつ選択する。三次元形状測定装置３０は、選択した対象位相パターン像毎に、対象位相パターン像を対象物Ｏを含む投射範囲Ｒ１へ投射部５に投射させ、その後、対象位相パターン像が投射された対象物Ｏを含む撮像範囲Ｒ２を撮像部１０に撮像させる。これにより、三次元形状測定装置３０は、第１位相パターン像Ｐ１が投射された対象物Ｏが撮像された撮像画像である第１撮像画像Ｃ１と、第２位相パターン像Ｐ２が投射された対象物Ｏが撮像された撮像画像である第２撮像画像Ｃ２と、第３位相パターン像Ｐ３が投射された対象物Ｏが撮像された撮像画像である第３撮像画像Ｃ３と、第４位相パターン像Ｐ４が投射された対象物Ｏが撮像された撮像画像である第４撮像画像Ｃ４とを撮像部１０から取得する。なお、この一例において、第１撮像画像Ｃ１〜第４撮像画像Ｃ４のそれぞれのような撮像部１０により撮像された撮像画像上の各位置は、当該撮像画像上の位置を示す撮像部座標系の座標によって表される。
三次元形状測定装置３０は、位相シフト法改において、第１撮像画像Ｃ１〜第４撮像画像Ｃ４のうち、基準となる位相パターン像である第１位相パターン像Ｐ１が撮像された撮像画像である第１撮像画像Ｃ１上の各位置における位相を算出する。具体的には、三次元形状測定装置３０は、位相シフト法において、撮像部座標系のある座標（ｘ，ｙ）が示す位置であって第１撮像画像Ｃ１上の位置における輝度値Ｉ１（ｘ，ｙ）と、撮像部座標系のある座標（ｘ，ｙ）が示す位置であって第２撮像画像Ｃ２上の位置における輝度値Ｉ２（ｘ，ｙ）と、座標（ｘ，ｙ）が示す位置であって第３撮像画像Ｃ３上の位置における輝度値Ｉ３（ｘ，ｙ）と、座標（ｘ，ｙ）が示す位置であって第４撮像画像Ｃ４上の位置における輝度値Ｉ４（ｘ，ｙ）と、以下に示した式（１）とに基づいて、座標（ｘ，ｙ）が示す位置であって第１撮像画像Ｃ１上の位置における位相φ（ｘ，ｙ）を算出する。
ここで、図３に示したように第１位相パターン像Ｐ１〜第４位相パターン像Ｐ４のそれぞれが表す波が周期性を有するため、投射部５が備える光源から照射される当該光の輝度が時間的に変化しない場合、第１位相パターン像Ｐ１〜第４位相パターン像Ｐ４のそれぞれの平均輝度値は、互いにほぼ同じ値となる。第１位相パターン像Ｐ１の平均輝度値は、第１位相パターン像Ｐ１上の各位置における輝度値の平均値のことである。第２位相パターン像Ｐ２の平均輝度値は、第２位相パターン像Ｐ２上の各位置における輝度値の平均値のことである。第３位相パターン像Ｐ３の平均輝度値は、第３位相パターン像Ｐ３上の各位置における輝度値の平均値のことである。第４位相パターン像Ｐ４の平均輝度値は、第４位相パターン像Ｐ４上の各位置における輝度値の平均値のことである。
一方、投射部５が備える光源から照射される光の輝度が時間的に変化する場合、第１位相パターン像Ｐ１〜第４位相パターン像Ｐ４のそれぞれの平均輝度値は、互いに異なる値となる。すなわち、投射部５が備える光源から照射される光の輝度が時間的に変化する場合、上記の式（１）における分母と分子に含まれている４つの輝度値であるＩ１（ｘ，ｙ）、Ｉ２（ｘ，ｙ）、Ｉ３（ｘ，ｙ）、Ｉ４（ｘ，ｙ）のそれぞれは、当該輝度の変化とともに変化してしまう。これは、当該輝度が時間的に変化する場合、誤差が増大することを意味している。この誤差の増大を抑制するため、三次元形状測定装置３０は、４つの位相パターン像のそれぞれを投射部５に投射させる際、４つの位相パターン像の中から予め決められた順に１つずつ対象位相パターン像を選択し、選択した対象位相パターン像を投射部５に投射させる。当該予め決められた順は、上記の式（１）、すなわち、基準となる位相パターン像が表す波の位相であって当該位相パターン像が撮像された撮像画像上における当該位相と、４つの位相パターン像のそれぞれが撮像された４つの撮像画像上の輝度値との対応関係を示す式に応じた順である。
ここで、図４及び図５を参照し、位相シフト法改における予め決められた順について説明する。図４は、投射部５が備える光源から照射される光の輝度が時間的に変化する場合における４つの位相パターン像それぞれの平均輝度値の時間的変化を示す図である。図４に示したグラフの横軸は、投射部５が備える光源が光を照射し始めてからの経過時間を示す。また、当該グラフの縦軸は、４つの位相パターン像それぞれの平均輝度値を示す。また、図４に示した曲線Ｆ１は、第１位相パターン像Ｐ１の平均輝度値の時間的変化を示す曲線である。なお、図４では、第２位相パターン像Ｐ２〜第４位相パターン像Ｐ４それぞれの平均輝度値の時間的変化を示す曲線は、第１位相パターン像Ｐ１の平均輝度値の時間的変化を示す曲線とほぼ重なるため、曲線Ｆ１によって代用されている。
図４に示した例では、三次元形状測定装置３０が、図４に示したタイミングＴ（Ｐ１）に第１位相パターン像Ｐ１を投射部５に投射させた場合、第１位相パターン像Ｐ１の平均輝度値は、Ｉ（Ｐ１）である。また、当該例では、三次元形状測定装置３０が、図４に示したタイミングＴ（Ｐ２）に第２位相パターン像Ｐ２を投射部５に投射させた場合、第２位相パターン像Ｐ２の平均輝度値は、Ｉ（Ｐ２）である。タイミングＴ（Ｐ２）は、タイミングＴ（Ｐ１）よりも後のタイミングである。また、Ｉ（Ｐ２）は、Ｉ（Ｐ１）よりも高い値である。また、当該例では、三次元形状測定装置３０が、図４に示したタイミングＴ（Ｐ３）に第３位相パターン像Ｐ３を投射部５に投射させた場合、第３位相パターン像Ｐ３の平均輝度値は、Ｉ（Ｐ３）である。タイミングＴ（Ｐ３）は、タイミングＴ（Ｐ２）よりも後のタイミングである。また、Ｉ（Ｐ３）は、Ｉ（Ｐ２）よりも高い値である。また、当該例では、三次元形状測定装置３０が、図４に示したタイミングＴ（Ｐ４）に第４位相パターン像Ｐ４を投射部５に投射させた場合、第４位相パターン像Ｐ４の平均輝度値は、Ｉ（Ｐ４）である。タイミングＴ（Ｐ４）は、タイミングＴ（Ｐ３）よりも後のタイミングである。また、Ｉ（Ｐ４）は、Ｉ（Ｐ３）よりも高い値である。図４では、Ｉ（Ｐ１）とＩ（Ｐ３）との差分は、Ｄ１１によって示されている。また、図４では、Ｉ（Ｐ２）とＩ（Ｐ４）との差分は、Ｄ１２によって示されている。
差分Ｄ１１が小さいほど、上記の式（１）における分母に含まれる誤差は、小さくなる。また、差分Ｄ１２が小さいほど、上記の式（１）における分子に含まれる誤差は、小さくなる。
そこで、三次元形状測定装置３０は、位相シフト法改において、４つの位相パターン像のそれぞれを投射部５に投射させる順を、図４に示した順と異なる順にし、４つの位相パターン像のそれぞれを当該順に、投射部５に投射させる。図５に示したように、三次元形状測定装置３０は、図４に示したタイミングＴ（Ｐ２）と図４に示したタイミングＴ（Ｐ３）とを入れ替えることにより、上記の式（１）における分母に含まれる誤差と、上記の式（１）における分子に含まれる誤差とを小さくすることができる。
図５は、図４に示したグラフであって４つの位相パターン像のそれぞれが投射部５により投射されるタイミングの順を変化させた場合におけるグラフを示す図である。図５では、Ｉ（Ｐ１）とＩ（Ｐ３）との差分は、Ｄ２１によって示されている。Ｄ２１は、Ｄ１１よりも小さい値である。また、図５では、Ｉ（Ｐ２）とＩ（Ｐ４）との差分は、Ｄ２２によって示されている。Ｄ２２は、Ｄ１２よりも小さい値である。すなわち、三次元形状測定システム１は、予め決められた順として、第１位相パターン像Ｐ１、第３位相パターン像Ｐ３、第２位相パターン像Ｐ２、第４位相パターン像Ｐ４の順に、４つの位相パターン像のそれぞれを投射部５に投射させることにより、上記の式（１）における分母に含まれる誤差と、上記の式（１）における分子に含まれる誤差とを小さくすることができる。すなわち、三次元形状測定装置３０は、位相シフト法改を用いることによって、対象物Ｏの三次元形状の測定を行う際に発生するこれらの誤差を抑制することができる。その結果、三次元形状測定装置３０は、投射部５が備える光源から照射される光の輝度が時間的に変化しなくなるまでの待機時間を省略することができ、対象物Ｏの三次元形状の測定に要する時間を短くすることができる。
ここで、図５に示した順であって４つの位相パターン像のそれぞれを投射部５に投射させる順は、上記の式（１）、すなわち、基準となる位相パターン像が表す波の位相であって当該位相パターン像が撮像された撮像画像上における当該位相と、４つの位相パターン像のそれぞれが撮像された４つの撮像画像上の輝度値との対応関係を示す式に応じて決定される。具体的には、当該順は、当該式の分母に含まれる輝度値のそれぞれに対応する位相パターン像同士が連続して投射される順であり、且つ、当該式の分子に含まれる輝度値のそれぞれに対応する位相パターン像同士が連続して投射される順である。この一例のように４ステップ法の位相シフト法改では、当該分母に含まれる輝度値に対応する位相パターン像は、第１位相パターン像Ｐ１と第３位相パターン像Ｐ３である。また、当該位相シフト法改では、当該分子に含まれる輝度値に対応する位相パターン像は、第２位相パターン像Ｐ２と第４位相パターン像Ｐ４である。このため、三次元形状測定装置３０は、図５に示した順はであって４つの位相パターン像のそれぞれを投射部５に投射させる順を、第１位相パターン像Ｐ１、第３位相パターン像Ｐ３、第２位相パターン像Ｐ２、第４位相パターン像Ｐ４の順とすることにより、対象物Ｏの三次元形状の測定を行う際に発生するこれらの誤差を抑制することができる。なお、４ステップ法を除くｎステップ法（ｎは、４を除く３以上の整数）の場合、ｎ個の位相パターン像のそれぞれを投射部５に投射させる順は、ｎステップ法における当該式の分子及び分母それぞれに含まれる輝度値に対応する位相パターン像に応じて決まる。
なお、三次元形状測定システム１は、予め決められた順として、第２位相パターン像Ｐ２、第４位相パターン像Ｐ４、第１位相パターン像Ｐ１、第３位相パターン像Ｐ３の順に、４つの位相パターン像のそれぞれを投射部５に投射させる構成であってもよい。また、三次元形状測定システム１は、予め決められた順として、第２位相パターン像Ｐ２、第４位相パターン像Ｐ４、第３位相パターン像Ｐ３、第１位相パターン像Ｐ１の順に、４つの位相パターン像のそれぞれを投射部５に投射させる構成であってもよい。また、三次元形状測定システム１は、予め決められた順として、第４位相パターン像Ｐ４、第２位相パターン像Ｐ２、第１位相パターン像Ｐ１、第３位相パターン像Ｐ３の順に、４つの位相パターン像のそれぞれを投射部５に投射させる構成であってもよい。また、三次元形状測定システム１は、予め決められた順として、第４位相パターン像Ｐ４、第２位相パターン像Ｐ２、第３位相パターン像Ｐ３、第１位相パターン像Ｐ１の順に、４つの位相パターン像のそれぞれを投射部５に投射させる構成であってもよい。また、三次元形状測定システム１は、予め決められた順として、第３位相パターン像Ｐ３、第１位相パターン像Ｐ１、第２位相パターン像Ｐ２、第４位相パターン像Ｐ４の順に、４つの位相パターン像のそれぞれを投射部５に投射させる構成であってもよい。また、三次元形状測定システム１は、予め決められた順として、第３位相パターン像Ｐ３、第１位相パターン像Ｐ１、第４位相パターン像Ｐ４、第２位相パターン像Ｐ２の順に、４つの位相パターン像のそれぞれを投射部５に投射させる構成であってもよい。また、三次元形状測定システム１は、予め決められた順として、第１位相パターン像Ｐ１、第３位相パターン像Ｐ３、第４位相パターン像Ｐ４、第２位相パターン像Ｐ２の順に、４つの位相パターン像のそれぞれを投射部５に投射させる構成であってもよい。
＜三次元形状測定装置の機能構成＞
以下、図６を参照し、三次元形状測定装置３０の機能構成について説明する。図６は、三次元形状測定装置３０の機能構成の一例を示す図である。
三次元形状測定装置３０は、メモリー３２と、通信部３４と、制御部３６を備える。
制御部３６は、三次元形状測定装置３０の全体を制御する。制御部３６は、操作受付部３６１と、タイミング制御部３６２と、撮像制御部３６３と、投射制御部３６５と、画像取得部３６７と、対応付部３７１と、三次元形状測定部３７３と、記憶制御部３７５と、表示制御部３７７と、画像生成部３７９を備える。制御部３６が備えるこれらの機能部は、例えば、プロセッサー３１が、メモリー３２に記憶された指令３２１、３２２等の各種の指令を実行することにより実現される。また、当該機能部のうちの一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。
操作受付部３６１は、入力装置４０を介してユーザーからの操作を受け付ける。また、操作受付部３６１は、他の装置からの要求を三次元形状測定装置３０に対する操作として受け付ける。
タイミング制御部３６２は、後述する画像生成部３７９が生成した複数の位相パターン像のそれぞれを投射部５に投射させる投射タイミングと、投射部５により投射された複数の位相パターン像のそれぞれを撮像部１０に撮像させる撮像タイミングとを制御する。
撮像制御部３６３は、撮像部１０が撮像可能な撮像範囲Ｒ２を撮像部１０に撮像させる。
投射制御部３６５は、投射部５が投射画像を投射可能な投射範囲Ｒ１に投射画像を投射させる。
画像取得部３６７は、撮像部１０が撮像した撮像画像を撮像部１０から取得する。
対応付部３７１は、画像取得部３６７が撮像部１０から取得した撮像画像のうち前述の第１撮像画像Ｃ１〜第４撮像画像Ｃ４のそれぞれに基づいて、基準となる位相パターン像である第１位相パターン像Ｐ１が表す波の位相であって第１位相パターン像Ｐ１が撮像された第１撮像画像Ｃ１上の各位置における位相を算出する。対応付部３７１は、算出した位相に基づいて、前述の対応位置を算出する。
三次元形状測定部３７３は、対応付部３７１が算出した対応位置に基づいて、例えば、三角測量法によって対象物Ｏの三次元形状を測定する。なお、三次元形状測定部３７３は、当該対応位置に基づく他の方法によって対象物Ｏの三次元形状を測定する構成であってもよい。
記憶制御部３７５は、三次元形状測定部３７３の測定結果をメモリー３２に記憶させる。なお、記憶制御部３７５は、当該測定結果を、三次元形状測定装置３０と通信可能に接続された他の装置が備えるメモリー、クラウド上の情報処理装置が備えるメモリー等に記憶させる構成であってもよい。
表示制御部３７７は、表示装置５０に表示させる各種の画像を生成する。表示制御部３７７は、生成した画像を表示装置５０に表示させる。
画像生成部３７９は、操作受付部３６１から受け付けた操作に応じて、複数の位相パターン像を生成する。
＜三次元形状測定装置が対象物の三次元形状を測定する処理＞
以下、図７を参照し、三次元形状測定装置３０が対象物Ｏの三次元形状を測定する処理について説明する。図７は、三次元形状測定装置３０が対象物Ｏの三次元形状を測定する処理の流れの一例を示す図である。なお、図７の説明において、図６に示した制御部３６が備える各機能部が行う処理は、すなわち、情報処理装置ＰＣ１が備えるプロセッサー３１が行う処理のことである。
操作受付部３６１は、対象物Ｏの三次元形状を測定する処理を開始させる操作である測定開始操作を、入力装置４０を介して受け付けるまで待機する（ステップＳ１１０）。例えば、操作受付部３６１は、表示制御部３７７により表示装置５０に予め表示された操作画面を介してユーザーから測定開始操作を受け付ける。測定開始操作を入力装置４０を介して受け付けたと操作受付部３６１が判定した場合（ステップＳ１１０−ＹＥＳ）、画像生成部３７９は、前述の４つの位相パターン像、すなわち、第１位相パターン像Ｐ１〜第４位相パターン像Ｐ４のそれぞれを生成する（ステップＳ１２０）。なお、第１位相パターン像Ｐ１〜第４位相パターン像Ｐ４のそれぞれは、メモリー３２に予め格納されている構成であってもよい。この場合、記憶制御部３７５は、第１位相パターン像Ｐ１〜第４位相パターン像Ｐ４のそれぞれを、ステップＳ１１０の処理が行われるよりも前のタイミングにおいて、ユーザーからの操作に応じてメモリー３２に格納する（記憶させる）。また、操作受付部３６１は、ステップＳ１１０において、測定開始操作を、他の装置から受け付けるまで待機する構成であってもよい。当該他の装置は、例えば、図２に示した情報処理装置ＰＣ２、情報処理装置ＰＣ３等のことである。なお、記憶制御部３７５は、第１位相パターン像Ｐ１〜第４位相パターン像Ｐ４のそれぞれを、ステップＳ１１０の処理が行われるよりも前のタイミングにおいて、ユーザーからの操作に応じて、他の装置が備えるメモリー、クラウド上の情報処理装置が備えるメモリー等に格納する（記憶させる）構成であってもよい。
次に、投射制御部３６５は、ステップＳ１２０において生成された４つの位相パターン像のそれぞれを、図５に示した順、すなわち、第１位相パターン像Ｐ１、第３位相パターン像Ｐ３、第２位相パターン像Ｐ２、第４位相パターン像Ｐ４の順に１つずつ対象位相パターン像として選択する（ステップＳ１３０）。そして、投射制御部３６５と、撮像制御部３６３と、タイミング制御部３６２と、画像取得部３６７と、記憶制御部３７５のそれぞれは、ステップＳ１４０〜ステップＳ１７０の処理を繰り返し行う。この際、投射制御部３６５は、ステップＳ１４０〜ステップＳ１７０の繰り返し処理のうちの１回目に実行されるステップＳ１４０の処理が開始される前のタイミングにおいて、投射部５が備える光源に光の照射を開始させる。ただし、投射制御部３６５と、撮像制御部３６３と、タイミング制御部３６２と、画像取得部３６７と、記憶制御部３７５のそれぞれは、当該１回目に実行されるステップＳ１４０の処理を、当該光源が光を照射させ始めてから前述の立上時間が経過するまでの間において開始する。
ステップＳ１３０において対象位相パターン像を選択した後、投射制御部３６５は、選択した対象位相パターン像を投射部５に投射範囲Ｒ１へ投射させる（ステップＳ１４０）。具体的には、ステップＳ１４０においてタイミング制御部３６２は、予め決められたタイミングのうちの前述の投射タイミングを投射制御部３６５に出力する。投射制御部３６５は、タイミング制御部３６２から取得した投射タイミングに応じて、ステップＳ１３０において選択した対象位相パターン像を投射部５に投射範囲Ｒ１へ投射させる。
次に、撮像制御部３６３は、撮像部１０が撮像可能な撮像範囲Ｒ２を撮像部１０に撮像させる（ステップＳ１５０）。具体的には、ステップＳ１５０においてタイミング制御部３６２は、予め決められたタイミングのうちの前述の撮像タイミングを撮像制御部３６３に出力する。撮像制御部３６３は、タイミング制御部３６２から取得した撮像タイミングに応じて、撮像範囲Ｒ２を撮像部１０に撮像させる。なお、直近に実行されたステップＳ１４０における投射タイミングと、ステップＳ１５０における撮像タイミングとの間の時間が短いほど、図５に示したＤ２１及びＤ２２に起因する誤差は、小さくなる。
なお、投射制御部３６５が投射タイミングを制御するとともに、撮像制御部３６３が撮像タイミングを制御する場合、三次元形状測定装置３０は、タイミング制御部３６２を備えない構成であってもよい。また、タイミング制御部３６２は、操作受付部３６１がユーザーから受け付けた操作に応じて、投射タイミングと撮像タイミングとのいずれか一方又は両方を変更可能な構成であってもよい。この場合、タイミング制御部３６２は、例えば、ミリ秒単位で投射タイミングと撮像タイミングとのいずれか一方又は両方を変更可能である。これにより、三次元形状測定装置３０は、投射部５が備える光源が光を照射させ始めてから立上時間が経過するまでの間において、より確実に投射撮像処理を開始することができる。
次に、画像取得部３６７は、ステップＳ１５０において撮像部１０が撮像した撮像画像を撮像部１０から取得する（ステップＳ１６０）。
次に、記憶制御部３７５は、ステップＳ１６０において画像取得部３６７が取得した撮像画像をメモリー３２に記憶させる（ステップＳ１７０）。なお、記憶制御部３７５は、当該撮像画像を、他の装置が備えるメモリー、クラウド上の情報処理装置が備えるメモリー等に記憶させる構成であってもよい。
ステップＳ１７０の処理が行われた後、投射制御部３６５は、ステップＳ１３０に遷移し、次の対象位相パターン像を選択する。なお、ステップＳ１３０において、対象位相パターン像として未選択の位相パターン像が存在しない場合、対応付部３７１は、ステップＳ１８０に遷移する。
このように、投射制御部３６５と、撮像制御部３６３と、タイミング制御部３６２と、画像取得部３６７と、記憶制御部３７５のそれぞれは、ステップＳ１３０〜ステップＳ１７０の処理を、投射部５が備える光源が光を照射させ始めてから立上時間以下の時間内において開始する。
ステップＳ１３０〜ステップＳ１７０の繰り返し処理が行われた後、対応付部３７１は、繰り返し実行されたステップＳ１７０においてメモリー３２に記憶された４つの撮像画像をメモリー３２から読み出す（ステップＳ１８０）。
次に、対応付部３７１は、ステップＳ１８０においてメモリー３２から読み出した４つの撮像画像、すなわち、第１撮像画像Ｃ１〜第４撮像画像Ｃ４のそれぞれと、上記の式（１）とに基づいて、基準となる位相パターン像である第１位相パターン像Ｐ１が撮像された撮像画像である第１撮像画像Ｃ１上の各位置における位相を算出する（ステップＳ１９０）。
次に、対応付部３７１は、ステップＳ１９０において算出された位相であって第１撮像画像Ｃ１上の各位置における位相に基づいて、前述の対応位置を算出する（ステップＳ２００）。
次に、三次元形状測定部３７３は、ステップＳ２００において算出した対応位置に基づいて、対象物Ｏの三次元形状を測定する（ステップＳ２１０）。すなわち、三次元形状測定装置３０は、ステップＳ２１０において、対象物Ｏの三次元形状を示す三次元形状情報を生成する。そして、三次元形状測定部３７３は、処理を終了する。
以上のように、三次元形状測定装置３０は、投射部（この一例において、投射部５）が備える光源が光を照射させ始めてから当該光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを投射部により投射させるとともに、位相パターン像のそれぞれが投射部により投射される毎に、位相パターン像を撮像部（この一例において、撮像部１０）に撮像させる処理（この一例において、投射撮像処理）を開始し、当該処理が行われた後、撮像部により撮像された撮像画像に基づいて、位相パターン像が投射された対象物（この一例において、対象物Ｏ）の三次元形状を測定する。これにより、三次元形状測定装置３０は、対象物の三次元形状の測定に要する時間を短くすることができる。
また、三次元形状測定装置３０は、第１位相パターン像（この一例において、第１位相パターン像Ｐ１）、第３位相パターン像（この一例において、第３位相パターン像Ｐ３）、第２位相パターン像（この一例において、第２位相パターン像Ｐ２）、第４位相パターン像（この一例において、第４位相パターン像Ｐ４）の順に投射部に投射させる。これにより、三次元形状測定装置３０は、第１位相パターン像、第３位相パターン像、第２位相パターン像、第４位相パターン像の順に投射部に投射された第１位相パターン像、第２位相パターン像、第３位相パターン像、第４位相パターン像に基づいて、誤差を低減することができるとともに、対象物の三次元形状の測定に要する時間を短くすることができる。
また、三次元形状測定装置３０は、操作を受け付け、受け付けた操作に応じて、複数の位相パターン像を生成し、生成した複数の位相パターン像のそれぞれを投射部に投射させる投射タイミングと、投射部により投射された位相パターン像のそれぞれを撮像部に撮像させる撮像タイミングとを制御し、制御された投射タイミングに応じて、生成した複数の位相パターン像のそれぞれを投射部に投射させ、制御された撮像タイミングに応じて、位相パターン像を撮像部に撮像させ、撮像部により撮像された撮像画像に基づいて、対象物の三次元形状を測定する。これにより、三次元形状測定装置３０は、投射タイミング及び撮像タイミングに基づいて、対象物の三次元形状の測定に要する時間を短くすることができる。
また、三次元形状測定装置３０は、ユーザーから操作を受け付ける。これにより、三次元形状測定装置３０は、ユーザーから受け付けた操作に応じて、対象物の三次元形状の測定に要する時間を短くすることができる。
また、三次元形状測定装置３０は、他の装置からの要求を操作として受け付ける。これにより、三次元形状測定装置３０は、他の装置から受け付けた操作に応じて、対象物の三次元形状の測定に要する時間を短くすることができる。
また、三次元形状測定装置３０は、撮像部により撮像された撮像画像に基づく位相シフト法（この一例において、位相シフト法改）を用いて、位相パターン像が投射された対象物の三次元形状を測定する。これにより、三次元形状測定装置３０は、位相シフト法による対象物の三次元形状の測定に要する時間を短くすることができる。
＜実施形態の変形例１＞
以下、図８及び図９を参照し、実施形態の変形例１について説明する。なお、実施形態の変形例１では、実施形態と同様な構成部に対して同じ符号を付して説明を省略する。
図８は、実施形態の変形例１に係るロボットシステム２の一例を示す構成図である。実施形態の変形例１では、上記の実施形態において説明した三次元形状測定装置３０をロボットシステム２が備える。より具体的には、ロボットシステム２は、投射部５と、撮像部１０と、三次元形状測定装置３０と、入力装置４０と、表示装置５０と、ロボット６０と、ロボット制御装置７０を備える。ロボットシステム２では、三次元形状測定装置３０は、ロボット制御装置７０と無線又は有線によって通信可能に接続される。そして、ロボットシステム２では、三次元形状測定装置３０は、ロボット制御装置７０からの要求に応じて対象物Ｏの三次元形状を測定する。そして、ロボット制御装置７０は、三次元形状測定装置３０が測定した対象物Ｏの三次元形状に基づいてロボット６０を動かす。
＜ロボットシステムの構成＞
以下、図８を参照し、ロボットシステム２の構成について説明する。
三次元形状測定装置３０は、この一例において、ロボット制御装置７０からの要求に応じて、対象物Ｏの三次元形状を測定する。
入力装置４０は、この一例において、三次元形状測定装置３０ではなく、ロボット制御装置７０と無線又は有線によって通信可能に接続される。
表示装置５０は、この一例において、三次元形状測定装置３０ではなく、ロボット制御装置７０と無線又は有線によって通信可能に接続される。
ロボット６０は、可動部Ａと、可動部Ａを支持する支持台Ｂを備える単腕ロボットである。単腕ロボットは、この一例における可動部Ａのような１本のアーム（腕）を備えるロボットである。なお、ロボット６０は、単腕ロボットに代えて、複腕ロボットであってもよく、ガントリロボットのような直動ロボットであってもよく、スカラロボットであってもよく、その他のロボットであってもよい。複腕ロボットは、２本以上のアーム（例えば、２本以上の可動部Ａ）を備えるロボットである。なお、複腕ロボットのうち、２本のアームを備えるロボットは、双腕ロボットとも称される。すなわち、ロボット６０は、２本のアームを備える双腕ロボットであってもよく、３本以上のアーム（例えば、３本以上の可動部Ａ）を備える複腕ロボットであってもよい。
可動部Ａは、エンドエフェクターＥと、マニピュレーターＭを備える。
エンドエフェクターＥは、物体を保持するエンドエフェクターである。この一例において、エンドエフェクターＥは、指部を備え、当該指部によって物体を挟んで持つことにより当該物体を保持する。なお、エンドエフェクターＥは、これに代えて、空気の吸引や磁力、他の治具等によって物体を持ち上げることにより当該物体を保持する構成であってもよい。すなわち、この一例において、保持するとは、物体を持ち上げることが可能な状態にすることを意味する。
エンドエフェクターＥは、ケーブルによってロボット制御装置７０と通信可能に接続されている。これにより、エンドエフェクターＥは、ロボット制御装置７０から取得される制御信号に基づく動作を行う。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。また、エンドエフェクターＥは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置７０と接続される構成であってもよい。
マニピュレーターＭは、６つの関節を備える。また、６つの関節はそれぞれ、図示しないアクチュエーターを備える。すなわち、マニピュレーターＭを備える可動部Ａは、６軸垂直多関節型のアームである。なお、可動部Ａは、これに代えて、６軸水平多関節型のアームであってもよい。可動部Ａは、支持台Ｂと、エンドエフェクターＥと、マニピュレーターＭと、マニピュレーターＭが備える６つの関節それぞれのアクチュエーターとによる連携した動作によって６軸の自由度の動作を行う。なお、可動部Ａは、５軸以下の自由度で動作する構成であってもよく、７軸以上の自由度で動作する構成であってもよい。
マニピュレーターＭが備える６つの（関節に備えられた）アクチュエーターはそれぞれ、ケーブルによってロボット制御装置７０と通信可能に接続されている。これにより、当該アクチュエーターは、ロボット制御装置７０から取得される制御信号に基づいて、マニピュレーターＭを動作させる。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。また、マニピュレーターＭが備える６つのアクチュエーターのうちの一部又は全部は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置７０と接続される構成であってもよい。
なお、ロボット６０は、投射部５と、撮像部１０とのいずれか一方又は両方を備える構成であってもよい。
ロボット制御装置７０は、少なくとも１つのプロセッサーと、少なくとも１つのメモリーとによって構成される。ロボット制御装置７０において、当該少なくとも１つのプロセッサーは、１つの装置に備えられる構成であってもよく、複数の情報処理装置に分散されて備えられている構成であってもよい。また、ロボット制御装置７０において、当該少なくとも１つのメモリーは、１つの装置に備えられる構成であってもよく、複数の情報処理装置に分散されて備えられている構成であってもよい。
図８に示した例では、ロボット制御装置７０は、情報処理装置ＰＣ４に備えられた１つのプロセッサーと、情報処理装置ＰＣ４に備えられた１つのメモリーとによって構成されている。なお、情報処理装置ＰＣ４は、当該プロセッサーに加えて、他のプロセッサーを備える構成であってもよく、当該メモリーに加えて、他のメモリーを備える構成であってもよい。
ロボット制御装置７０が備えるプロセッサーは、例えば、ＣＰＵである。なお、当該プロセッサーは、ＦＰＧＡ等の他のプロセッサーであってもよい。ロボット制御装置７０が備えるプロセッサーは、ロボット制御装置７０が備えるメモリーに格納された各種の指令を実行する。また、当該プロセッサーは、他の装置のメモリーに格納された各種の指令を実行する。
ロボット制御装置７０が備えるメモリーは、例えば、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ等を含む。すなわち、当該メモリーは、一時的な記憶装置と、非一時的な記憶装置とを含む。なお、当該メモリーは、情報処理装置ＰＣ１に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。当該メモリーは、ロボット制御装置７０が備えるプロセッサー又は他の装置のプロセッサーが処理する各種の情報、コンピューターにより実行可能な各種の指令（例えば、プログラム、コード等）、各種の画像等を格納する。
なお、ロボット制御装置７０は、１つのプロセッサーと、１つのメモリーとを備える情報処理装置ＰＣ４に代えて、複数の情報処理装置のうちの一部又は全部によって構成されてもよい。複数の情報処理装置によって三次元形状測定装置３０が構成される場合におけるロボット制御装置７０のハードウェア構成は、図２に示した情報処理装置ＰＣ１を情報処理装置ＰＣ４に置き換えた場合のハードウェア構成と同様の構成であるため、説明を省略する。
また、ロボット制御装置７０は、他の装置と通信を行うため、ハードウェア機能部として通信部を備える。
当該通信部は、ＵＳＢ等のデジタル入出力ポートやイーサネット（登録商標）ポート等を含んで構成される。
ロボット制御装置７０は、ユーザーから受け付けた操作に応じて、又は他の装置から受け付けた要求に応じて、三次元形状測定装置３０に対象物Ｏの三次元形状を測定させる。ロボット制御装置７０は、三次元形状測定装置３０が生成した対象物Ｏの三次元形状を示す三次元形状情報を三次元形状測定装置３０から取得する。ロボット制御装置７０は、取得した三次元形状情報に基づいて、ロボット座標系における対象物Ｏの位置及び姿勢を算出する。ロボット制御装置７０は、算出した対象物Ｏの位置及び姿勢に基づいて、ロボット６０に所定の作業を行わせる。所定の作業は、例えば、ロボット６０に対象物Ｏを保持させる作業である。なお、所定の作業は、これに代えて、対象物Ｏに関する他の作業であってもよい。
なお、ロボット制御装置７０は、三次元形状測定装置３０と一体に構成されてもよい。また、ロボット制御装置７０は、ロボット６０に内蔵される構成であってもよい。
＜ロボット制御装置がロボットに所定の作業を行わせる処理＞
以下、図９を参照し、ロボット制御装置７０がロボット６０に所定の作業を行わせる処理について説明する。図９は、ロボット制御装置７０がロボット６０に所定の作業を行わせる処理の流れの一例を示す図である。
ロボット制御装置７０は、三次元形状測定装置３０に対象物Ｏの三次元形状を測定させる要求である三次元形状測定要求を三次元形状測定装置３０に出力する（ステップＳ３１０）。例えば、ロボット制御装置７０は、ロボット制御装置７０が表示装置５０に予め表示させたロボット操作画面を介して、三次元形状測定要求を三次元形状測定装置３０に出力させる操作をユーザーから受け付ける。そして、ロボット制御装置７０は、受け付けた当該操作に応じて、三次元形状測定要求を三次元形状測定装置３０に出力する。三次元形状測定要求を受け付けた三次元形状測定装置３０の操作受付部３６１は、図７に示したステップＳ１１０において、測定開始操作を受け付けたと判定する。そして、三次元形状測定部３７３は、ステップＳ１２０〜ステップＳ２１０の処理を行い、対象物Ｏの三次元形状を測定する。
次に、ロボット制御装置７０は、ステップＳ３１０において出力した三次元形状測定要求に対する応答として、三次元形状測定装置３０が生成した対象物Ｏの三次元形状を示す三次元形状情報を三次元形状測定装置３０から取得する（ステップＳ３２０）。
次に、ロボット制御装置７０は、ステップＳ３２０において取得した三次元形状情報に基づいて、ロボット座標系における対象物Ｏの位置及び姿勢を算出する（ステップＳ３３０）。三次元形状情報に基づいてロボット座標系における対象物Ｏの位置及び姿勢を算出する方法は、既知の方法であってもよく、これから開発される方法であってもよい。
次に、ロボット制御装置７０は、ステップＳ３３０において算出した位置及び姿勢に基づいて、ロボット６０に所定の作業を行わせ（ステップＳ３４０）、処理を終了する。
以上のように、ロボットシステム２は、投射部（この一例において、投射部５）が備える光源が光を照射させ始めてから当該光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを投射部により投射させるとともに、位相パターン像のそれぞれが投射部により投射される毎に、位相パターン像を撮像部（この一例において、撮像部１０）に撮像させる処理（この一例において、投射撮像処理）を開始し、当該処理が行われた後、撮像部により撮像された撮像画像に基づいて、位相パターン像が投射された対象物（この一例において、対象物Ｏ）の三次元形状を測定する。これにより、ロボットシステム２は、ロボット（この一例において、ロボット６０）に行わせる作業に要する時間を短くすることができる。
＜実施形態の変形例２＞
以下、図１０を参照し、実施形態の変形例２について説明する。なお、実施形態の変形例２では、実施形態及び実施形態の変形例１と同様な構成部に対して同じ符号を付して説明を省略する。
図１０は、実施形態の変形例２に係るロボットシステム３の一例を示す構成図である。実施形態の変形例２では、上記の実施形態において説明した三次元形状測定装置３０をロボットシステム３が備える。より具体的には、ロボットシステム３は、投射部５と、撮像部１０と、三次元形状測定装置３０と、入力装置４０と、表示装置５０と、ロボット制御装置７０と、ロボット８０を備える。ロボットシステム３では、三次元形状測定装置３０は、ロボット制御装置７０と無線又は有線によって通信可能に接続され、ロボット制御装置７０とともにロボット８０に内蔵される。そして、ロボットシステム３では、三次元形状測定装置３０は、ロボット制御装置７０からの要求に応じて対象物Ｏの三次元形状を測定する。そして、ロボット制御装置７０は、三次元形状測定装置３０が測定した対象物Ｏの三次元形状に基づいてロボット８０を動かす。なお、ロボットシステム３は、撮像部１０と、入力装置４０と、表示装置５０のうちの一部又は全部を備えない構成であってもよい。
＜ロボットシステムの構成＞
以下、図１０を参照し、ロボットシステム３の構成について説明する。
三次元形状測定装置３０は、この一例において、ロボット制御装置７０からの要求に応じて、対象物Ｏの三次元形状を測定する。
入力装置４０は、この一例において、三次元形状測定装置３０ではなく、ロボット制御装置７０と無線又は有線によって通信可能に接続される。
表示装置５０は、この一例において、三次元形状測定装置３０ではなく、ロボット制御装置７０と無線又は有線によって通信可能に接続される。
ロボット８０は、第１アームＡ１と、第２アームＡ２と、第１アームＡ１及び第２アームＡ２を支持する支持台ＢＳと、支持台ＢＳの内側にロボット制御装置７０とともに三次元形状測定装置３０を備える双腕ロボットである。
支持台ＢＳは、ロボット８０が設置された設置面に直交する方向に沿って２つの部分に分割されている。なお、支持台Ｂは、分割されていない構成であってもよく、３つ以上の部分に分割されている構成であってもよい。当該２つの部分のうち当該設置面から遠い方の部分は、当該２つの部分のうち当該設置面から近い方の部分に対して回動可能である。当該遠い方の部分が回動する場合の回動面は、例えば、当該設置面に対して平行である。なお、当該回動面は、当該設置面に対して非平行であってもよい。
第１アームＡ１は、第１エンドエフェクターＥ１と、第１マニピュレーターＭ１を備える。
第１エンドエフェクターＥ１は、物体を保持するエンドエフェクターである。この一例において、第１エンドエフェクターＥ１は、指部を備え、当該指部によって物体を挟んで持つことにより当該物体を保持する。なお、第１エンドエフェクターＥ１は、これに代えて、空気の吸引や磁力、他の治具等によって物体を持ち上げることにより当該物体を保持する構成であってもよい。
第１エンドエフェクターＥ１は、ケーブルによってロボット制御装置７０と通信可能に接続されている。これにより、第１エンドエフェクターＥ１は、ロボット制御装置３０から取得される制御信号に基づく動作を行う。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、第１エンドエフェクターＥ１は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置７０と接続される構成であってもよい。
第１マニピュレーターＭ１は、７つの関節と、第１撮像部２１を備える。また、当該７つの関節のそれぞれは、図示しないアクチュエーターを備える。すなわち、第１マニピュレーターＭ１を備える第１アームＡ１は、７軸垂直多関節型のアームである。第１アームＡ１は、支持台ＢＳと、第１エンドエフェクターＥ１と、第１マニピュレーターＭ１と、当該７つの関節それぞれのアクチュエーターとによる連携した動作によって７軸の自由度の動作を行う。なお、第１アームＡ１は、６軸以下の自由度で動作する構成であってもよく、８軸以上の自由度で動作する構成であってもよい。
第１アームＡ１が７軸の自由度で動作する場合、第１アームＡ１は、６軸以下の自由度で動作する場合と比較して取り得る姿勢が増える。これにより第１アームＡ１は、例えば、動作が滑らかになり、更に第１アームＡ１の周辺に存在する物体との干渉を容易に回避することができる。また、第１アームＡ１が７軸の自由度で動作する場合、第１アームＡ１の制御は、第１アームＡ１が８軸以上の自由度で動作する場合と比較して計算量が少なく容易である。
第１マニピュレーターＭ１が備える７つのアクチュエーターはそれぞれ、ケーブルによってロボット制御装置７０と通信可能に接続されている。これにより、当該アクチュエーターは、ロボット制御装置７０から取得される制御信号に基づいて、第１マニピュレーターＭ１を動作させる。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、第１マニピュレーターＭ１が備える７つのアクチュエーターのうちの一部又は全部は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置７０と接続される構成であってもよい。
第１撮像部２１は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備えたカメラである。この一例において、第１撮像部２１は、第１マニピュレーターＭ１の一部に備えられる。そのため、第１撮像部２１は、第１マニピュレーターＭ１の動きに応じて移動する。また、第１撮像部２１が撮像可能な範囲は、第１アームＡ１の動きに応じて変化する。第１撮像部２１は、当該範囲の二次元画像を撮像する。なお、第１撮像部２１は、当該範囲の静止画像を撮像する構成であってもよく、当該範囲の動画像を撮像する構成であってもよい。
また、第１撮像部２１は、ケーブルによってロボット制御装置７０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、第１撮像部２１は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置７０と接続される構成であってもよい。
第２アームＡ２は、第２エンドエフェクターＥ２と、第２マニピュレーターＭ２と、第２力検出部Ｃ２を備える。
第２エンドエフェクターＥ２は、物体を保持するエンドエフェクターである。この一例において、第２エンドエフェクターＥ２は、指部を備え、当該指部によって物体を挟んで持つことにより当該物体を保持する。なお、第２エンドエフェクターＥ２は、これに代えて、空気の吸引や磁力、他の治具等によって物体を持ち上げることにより当該物体を保持する構成であってもよい。
第２エンドエフェクターＥ２は、ケーブルによってロボット制御装置７０と通信可能に接続されている。これにより、第２エンドエフェクターＥ２は、ロボット制御装置７０から取得される制御信号に基づく動作を行う。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、第２エンドエフェクターＥ２は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置７０と接続される構成であってもよい。
第２マニピュレーターＭ２は、７つの関節と、第２撮像部２２を備える。また、当該７つの関節のそれぞれは、図示しないアクチュエーターを備える。すなわち、第２マニピュレーターＭ２を備える第２アームＡ２は、７軸垂直多関節型のアームである。第２アームＡ２は、支持台Ｂと、第２エンドエフェクターＥ２と、第２マニピュレーターＭ２と、当該７つの関節それぞれのアクチュエーターとによる連携した動作によって７軸の自由度の動作を行う。なお、第２アームＡ２は、６軸以下の自由度で動作する構成であってもよく、８軸以上の自由度で動作する構成であってもよい。
第２アームＡ２が７軸の自由度で動作する場合、第２アームＡ２は、６軸以下の自由度で動作する場合と比較して取り得る姿勢が増える。これにより第２アームＡ２は、例えば、動作が滑らかになり、更に第２アームＡ２の周辺に存在する物体との干渉を容易に回避することができる。また、第２アームＡ２が７軸の自由度で動作する場合、第２アームＡ２の制御は、第２アームＡ２が８軸以上の自由度で動作する場合と比較して計算量が少なく容易である。
第２マニピュレーターＭ２が備える７つのアクチュエーターはそれぞれ、ケーブルによってロボット制御装置７０と通信可能に接続されている。これにより、当該アクチュエーターは、ロボット制御装置３０から取得される制御信号に基づいて、第２マニピュレーターＭ２を動作させる。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、第２マニピュレーターＭ２が備える７つのアクチュエーターのうちの一部又は全部は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置７０と接続される構成であってもよい。
第２撮像部２２は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備えたカメラである。この一例において、第２撮像部２２は、第２マニピュレーターＭ２の一部に備えられる。そのため、第２撮像部２２は、第２マニピュレーターＭ２の動きに応じて移動する。また、第２撮像部２２が撮像可能な範囲は、第２アームＡ２の動きに応じて変化する。第２撮像部２２は、当該範囲の二次元画像を撮像する。なお、第２撮像部２２は、当該範囲の静止画像を撮像する構成であってもよく、当該範囲の動画像を撮像する構成であってもよい。
また、第２撮像部２２は、ケーブルによってロボット制御装置７０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、第２撮像部２２は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置７０と接続される構成であってもよい。
また、ロボット２０は、第３撮像部２３と、第４撮像部２４を備える。
第３撮像部２３は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備えたカメラである。第３撮像部２３は、第４撮像部２４が撮像可能な範囲を第４撮像部２４とともにステレオ撮像可能な部位に備えられる。第３撮像部２３は、ケーブルによってロボット制御装置７０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、第３撮像部２３は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置７０と接続される構成であってもよい。
第４撮像部２４は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備えたカメラである。第４撮像部２４は、第３撮像部２３が撮像可能な範囲を第３撮像部２３とともにステレオ撮像可能な部位に備えられる。第４撮像部２４は、ケーブルによって通信可能にロボット制御装置７０と接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、第４撮像部２４は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置７０と接続される構成であってもよい。
上記で説明したロボット８０が備える各機能部は、この一例において、ロボット８０に内蔵されたロボット制御装置７０から制御信号を取得する。そして、当該各機能部は、取得した制御信号に基づいた動作を行う。なお、ロボット８０は、ロボット制御装置７０を内蔵する構成に代えて、外部に設置されたロボット制御装置７０により制御される構成であってもよい。また、ロボット８０は、第１撮像部２１、第２撮像部２２、第３撮像部２３、第４撮像部２４のうちの一部又は全部を備えない構成であってもよい。
なお、ロボットシステム３が撮像部１０を備えない場合、三次元形状測定装置３０は、ロボット制御装置７０を制御し、ロボット８０が備える第１撮像部２１〜第４撮像部２４のうちの一部又は全部に撮像範囲Ｒ２を撮像させる。
以上のように、ロボットシステム３は、単腕ロボットであるロボット６０に代えて、双腕ロボットであるロボット８０を備える構成であっても、実施形態の変形例１と同様の効果を得ることができる。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
また、以上に説明した装置（例えば、三次元形状測定装置３０、ロボット制御装置７０）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact Disk）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１…三次元形状測定システム、２…ロボットシステム、５…投射部、１０…撮像部、３０…三次元形状測定装置、３１、４１、５１…プロセッサー、３２、４２、５２…メモリー、４０…入力装置、５０…表示装置、６０…ロボット、７０…ロボット制御装置、３２１、３２２…指令、３６１…操作受付部、３６２…タイミング制御部、３６３…撮像制御部、３６５…投射制御部、３６７…画像取得部、３７１…対応付部、３７３…三次元形状測定部、３７７…表示制御部、３７９…画像生成部、Ｃ１…第１撮像画像、Ｃ２…第２撮像画像、Ｃ３…第３撮像画像、Ｃ４…第４撮像画像、Ｐ１…第１位相パターン像、Ｐ２…第２位相パターン像、Ｐ３…第３位相パターン像、Ｐ４…第４位相パターン像、ＰＣ１〜ＰＣ４…情報処理装置

Claims (9)

  1. 制御部を備えた三次元形状測定装置であって、
    前記制御部は、
    投射部が備える光源が光を照射させ始めてから前記光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを前記投射部により投射させるとともに、前記位相パターン像のそれぞれが前記投射部により投射される毎に、前記位相パターン像を撮像部に撮像させる処理を開始し、
    前記処理が行われた後、前記撮像部により撮像された撮像画像に基づいて、前記位相パターン像が投射された対象物の三次元形状を測定する、
    三次元形状測定装置。
  2. 前記複数の前記位相パターン像は、４つの前記位相パターン像であり、
    前記４つの前記位相パターン像それぞれは、前記位相パターン像上の第１方向に沿って輝度値が周期的に変化する波を表し、
    前記４つの前記位相パターン像には、基準となる前記波を表す前記位相パターン像である第１位相パターン像と、前記第１位相パターン像が表す前記波に対して位相が９０度進んだ前記波を表す前記位相パターン像である第２位相パターン像と、前記第２位相パターン像が表す前記波に対して位相が９０度進んだ前記波を表す前記位相パターン像である第３位相パターン像と、前記第３位相パターン像が表す前記波に対して位相が９０度進んだ前記波を表す前記位相パターン像である第４位相パターン像とが含まれ、
    前記制御部は、前記第１位相パターン像、前記第３位相パターン像、前記第２位相パターン像、前記第４位相パターン像の順に前記投射部に投射させる、
    請求項１に記載の三次元形状測定装置。
  3. 前記制御部は、
    操作を受け付ける操作受付部と、
    前記操作受付部が受け付けた操作に応じて、前記複数の前記位相パターン像を生成する画像生成部と、
    前記画像生成部が生成した前記複数の前記位相パターン像のそれぞれを前記投射部に投射させる投射タイミングと、前記投射部により投射された前記位相パターン像のそれぞれを前記撮像部に撮像させる撮像タイミングとを制御するタイミング制御部と、
    前記タイミング制御部により制御された前記投射タイミングに応じて、前記画像生成部が生成した前記複数の前記位相パターン像のそれぞれを前記投射部に投射させる投射制御部と、
    前記タイミング制御部により制御された前記撮像タイミングに応じて、前記位相パターン像を前記撮像部に撮像させる撮像制御部と、
    前記撮像部により撮像された前記撮像画像に基づいて、前記対象物の三次元形状を測定する三次元形状測定部と、
    を備える請求項１又は２に記載の三次元形状測定装置。
  4. 前記操作受付部は、ユーザーから前記操作を受け付ける、
    請求項３に記載の三次元形状測定装置。
  5. 前記操作受付部は、他の装置からの要求を前記操作として受け付ける、
    請求項３又は４に記載の三次元形状測定装置。
  6. 前記制御部は、前記撮像部により撮像された撮像画像に基づく位相シフト法を用いて、前記位相パターン像が投射された前記対象物の三次元形状を測定する、
    請求項１から５のうちいずれか一項に記載の三次元形状測定装置。
  7. 制御部を備え、対象物の三次元形状を測定する三次元形状測定装置と、
    ロボットと、
    前記三次元形状測定装置により測定された前記対象物の三次元形状に基づいて前記ロボットを動かすロボット制御装置と、
    を備え、
    前記制御部は、
    投射部が備える光源が光を照射させ始めてから前記光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを前記投射部により投射させるとともに、前記位相パターン像のそれぞれが前記投射部により投射される毎に、前記位相パターン像を撮像部に撮像させる処理を開始し、
    前記処理が行われた後、前記撮像部により撮像された撮像画像に基づいて、前記位相パターン像が投射された前記対象物の三次元形状を測定する、
    ロボットシステム。
  8. 投射部が備える光源が光を照射させ始めてから前記光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを前記投射部により投射させるとともに、前記位相パターン像のそれぞれが前記投射部により投射される毎に、前記位相パターン像を撮像部に撮像させる処理を開始する処理ステップと、
    前記処理ステップにより前記処理が行われた後、前記撮像部により撮像された撮像画像に基づいて、前記位相パターン像が投射された対象物の三次元形状を測定する測定ステップと、
    を有する三次元形状測定方法。
  9. ロボットシステムであって、
    プロセッサーを備え、対象物の三次元形状を測定する三次元形状測定装置と、
    ロボットと、
    前記三次元形状測定装置により測定された前記対象物の三次元形状に基づいて前記ロボットを動かすロボット制御装置と、
    を備え、
    前記プロセッサーは、
    投射部が備える光源が光を照射させ始めてから前記光の輝度が時間的に変化しなくなるまでの時間である立上時間が経過するまでの間において、互いに異なる複数の位相パターン像のそれぞれを前記投射部により投射させるとともに、前記位相パターン像のそれぞれが前記投射部により投射される毎に、前記位相パターン像を撮像部に撮像させる処理を開始し、
    前記処理が行われた後、前記撮像部により撮像された撮像画像に基づいて、前記位相パターン像が投射された前記対象物の三次元形状を測定する指令を実行するように構成されていることを特徴する、
    ロボットシステム。
JP2017147587A 2017-07-31 2017-07-31 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法 Active JP6897398B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017147587A JP6897398B2 (ja) 2017-07-31 2017-07-31 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法
CN201810835367.3A CN109323668B (zh) 2017-07-31 2018-07-26 三维形状测定装置、机器人系统以及三维形状测定方法
US16/048,421 US11118902B2 (en) 2017-07-31 2018-07-30 Three-dimensional shape measurement device, robot system, and three-dimensional shape measurement method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017147587A JP6897398B2 (ja) 2017-07-31 2017-07-31 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法

Publications (3)

Publication Number Publication Date
JP2019027921A true JP2019027921A (ja) 2019-02-21
JP2019027921A5 JP2019027921A5 (ja) 2020-08-27
JP6897398B2 JP6897398B2 (ja) 2021-06-30

Family

ID=65038175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017147587A Active JP6897398B2 (ja) 2017-07-31 2017-07-31 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法

Country Status (3)

Country Link
US (1) US11118902B2 (ja)
JP (1) JP6897398B2 (ja)
CN (1) CN109323668B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018129766A1 (de) * 2018-11-26 2020-05-28 Gom Gmbh Vorrichtung und Verfahren für die Vermessung von Objekten
US20230194248A1 (en) * 2020-05-12 2023-06-22 Nippon Telegraph And Telephone Corporation Three-Dimensional Measurement System
DE102022204922A1 (de) * 2022-05-18 2023-11-23 MICRO-EPSILON-MESSTECHNIK GmbH & Co. K.G. Vorrichtung und Verfahren zur messtechnischen Erfassung von Eigenschaften von Messobjekten

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110058023A1 (en) * 2008-05-06 2011-03-10 Flashscan3D, Llc System and method for structured light illumination with frame subwindows
JP2012093235A (ja) * 2010-10-27 2012-05-17 Nikon Corp 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム
JP2015203588A (ja) * 2014-04-11 2015-11-16 株式会社ニコン 検出装置、検出方法、形状測定装置、形状測定方法、構造物製造システム、構造物製造方法、及び形状測定プログラム
JP2016031284A (ja) * 2014-07-29 2016-03-07 セイコーエプソン株式会社 制御システム、ロボットシステム、及び制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2878409B2 (ja) * 1989-09-04 1999-04-05 株式会社リコー ３次元物体撮像方式
JP3358584B2 (ja) * 1999-03-30 2002-12-24 ミノルタ株式会社 ３次元情報入力カメラ
JP2009031150A (ja) * 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
JP4715944B2 (ja) * 2009-04-03 2011-07-06 オムロン株式会社 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
US9124873B2 (en) * 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
JP5683002B2 (ja) * 2011-02-01 2015-03-11 Ｊｕｋｉオートメーションシステムズ株式会社 ３次元測定装置、３次元測定方法及びプログラム
JP5430612B2 (ja) * 2011-05-31 2014-03-05 Ｃｋｄ株式会社 三次元計測装置
JP5864950B2 (ja) * 2011-08-15 2016-02-17 キヤノン株式会社 三次元計測装置、三次元計測方法およびプログラム
US9389068B2 (en) * 2012-03-14 2016-07-12 National Institute Of Advanced Industrial Science And Technology Method and device for analysing phase distribution of fringe image using high-dimensional intensity information, and program for the same
JP6078984B2 (ja) * 2012-05-23 2017-02-15 富士通株式会社 処理装置，処理方法，処理プログラム及び管理装置
JP5971050B2 (ja) 2012-09-18 2016-08-17 富士通株式会社 形状計測装置及び形状計測方法
KR101736266B1 (ko) * 2014-01-10 2017-05-17 주식회사 고영테크놀러지 3차원 형상측정장치 및 방법
KR101784276B1 (ko) * 2015-02-27 2017-10-12 주식회사 고영테크놀러지 기판 검사 방법 및 시스템
CN104697469B (zh) * 2015-03-30 2017-11-10 四川大学 利用谐波幅值判定饱和的高动态三维测量方法
EP3101383A1 (en) * 2015-06-01 2016-12-07 Canon Kabushiki Kaisha Shape measurement apparatus, shape calculation method, system, and method of manufacturing an article
JP2017110991A (ja) * 2015-12-16 2017-06-22 セイコーエプソン株式会社 計測システム、計測方法、ロボット制御方法、ロボット、ロボットシステムおよびピッキング装置
US10531064B2 (en) * 2016-04-15 2020-01-07 Canon Kabushiki Kaisha Shape reconstruction using electronic light diffusing layers (E-Glass)
JP6691837B2 (ja) * 2016-06-27 2020-05-13 株式会社キーエンス 測定装置
WO2018061321A1 (ja) * 2016-09-27 2018-04-05 国立研究開発法人産業技術総合研究所 周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110058023A1 (en) * 2008-05-06 2011-03-10 Flashscan3D, Llc System and method for structured light illumination with frame subwindows
JP2012093235A (ja) * 2010-10-27 2012-05-17 Nikon Corp 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム
JP2015203588A (ja) * 2014-04-11 2015-11-16 株式会社ニコン 検出装置、検出方法、形状測定装置、形状測定方法、構造物製造システム、構造物製造方法、及び形状測定プログラム
JP2016031284A (ja) * 2014-07-29 2016-03-07 セイコーエプソン株式会社 制御システム、ロボットシステム、及び制御方法

Also Published As

Publication number Publication date
JP6897398B2 (ja) 2021-06-30
US20190033065A1 (en) 2019-01-31
CN109323668A (zh) 2019-02-12
US11118902B2 (en) 2021-09-14
CN109323668B (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
KR20220098699A (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
JP6733239B2 (ja) 制御装置及びロボットシステム
US9652660B2 (en) Control system, robot system, and control method
CN109323668B (zh) 三维形状测定装置、机器人系统以及三维形状测定方法
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
JP2017170571A (ja) ロボット、ロボット制御装置、及びロボットシステム
JP2018051704A (ja) ロボット制御装置、ロボット、及びロボットシステム
JP2013215866A (ja) ロボットシステム、ロボットシステムのキャリブレーション方法、キャリブレーション装置およびデジタルカメラ
JP2016185572A (ja) ロボット、ロボット制御装置およびロボットシステム
JP6772630B2 (ja) 三次元計測装置及び三次元物体認識方法
JP7250489B2 (ja) 画像処理装置およびその制御方法、プログラム
US20180215044A1 (en) Image processing device, robot control device, and robot
CN111745639B (zh) 信息处理方法及装置、物体检测装置以及机器人系统
JP2017219365A (ja) 位置姿勢算出装置、ロボット制御装置、及びロボット
JP7190552B1 (ja) ロボット教示システム
JP2018017610A (ja) 三次元計測装置、ロボット、ロボット制御装置、及びロボットシステム
JP2017047479A (ja) ロボット、制御装置、及びロボットシステム
JP2016120530A (ja) ロボット、及びロボット校正システム
JP2018034243A (ja) ロボット、ロボット制御装置、及びロボットシステム
JP2016120558A (ja) ロボット、及びロボットシステム
JP2015087313A (ja) 制御装置、ロボット、制御システム、制御方法、及び制御プログラム
JP2019042902A (ja) 撮像方法及びロボットシステム
JP2017100197A (ja) ロボット、及び制御方法
JP2019042837A (ja) ロボット、ロボット制御装置、ロボットシステム、及びロボット制御方法
JP2016217778A (ja) 制御システム、ロボットシステム、及び制御方法

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200610

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R150 Certificate of patent or registration of utility model

Ref document number: 6897398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150