JP2020003263A - 三次元計測装置、制御装置およびロボットシステム - Google Patents

三次元計測装置、制御装置およびロボットシステム Download PDF

Info

Publication number
JP2020003263A
JP2020003263A JP2018120989A JP2018120989A JP2020003263A JP 2020003263 A JP2020003263 A JP 2020003263A JP 2018120989 A JP2018120989 A JP 2018120989A JP 2018120989 A JP2018120989 A JP 2018120989A JP 2020003263 A JP2020003263 A JP 2020003263A
Authority
JP
Japan
Prior art keywords
laser light
output
unit
irradiation
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018120989A
Other languages
English (en)
Other versions
JP7135496B2 (ja
Inventor
若林 修一
Shuichi Wakabayashi
修一 若林
真希子 日野
Makiko Hino
真希子 日野
宏貞 堀口
Hirosada Horiguchi
宏貞 堀口
大輔 石田
Daisuke Ishida
大輔 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2018120989A priority Critical patent/JP7135496B2/ja
Priority to CN201910548587.2A priority patent/CN110645907A/zh
Priority to US16/451,546 priority patent/US10837759B2/en
Publication of JP2020003263A publication Critical patent/JP2020003263A/ja
Application granted granted Critical
Publication of JP7135496B2 publication Critical patent/JP7135496B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/028Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/022Optical sensing devices using lasers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/28Measuring arrangements characterised by the use of optical techniques for measuring areas
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

【課題】対象物の三次元計測を精度よく行うことのできる三次元計測装置、制御装置およびロボットシステムを提供すること。【解決手段】三次元計測装置は、検出範囲内の人を検出する人感センサーからの情報を受け付ける人感情報受付部と、対象物を含む領域にレーザー光を照射するレーザー光照射部と、レーザー光照射部から照射されるレーザー光の出力を、第1出力と、第1出力よりも低い第2出力と、に制御する照射制御部と、レーザー光が照射された対象物を撮像して画像データを取得する撮像部と、画像データに基づいて、対象物を含む領域の三次元点群データを生成する点群データ生成部と、を備え、照射制御部は、人感情報受付部が人感センサーから検出範囲内に人がいないことを示す第1情報を受け付けている場合、レーザー光の出力を第1出力とする。【選択図】図2

Description

本発明は、三次元計測装置、制御装置およびロボットシステムに関するものである。
特許文献1には、三次元形状測定装置を搭載した多関節ロボットが記載されている。また、多関節ロボットに搭載された三次元形状測定装置は、対象物に向けて測定用レーザー光を走査することにより対象物部にパターンを投影する測定用レーザー光照射器と、パターンが投影された対象物の画像を取得する受光器と、を備え、受光器が取得した画像に基づいて対象物の三次元計測を行うように構成されている。
特開2004−333369号公報
ここで、測定用レーザー光を利用した三次元形状測定装置を用いて対象物の三次元計測を行う場合には、ロボットの周囲に人が存在している場合に備えて、例えば、測定用レーザー光の出力(強度)を低くするといった対策が必要となる。しかしながら、測定用レーザー光の出力を低くすると、対象物に投影されるパターンのコントラストが低下し、対象物の三次元計測の精度が低下するという問題があった。
本発明の三次元計測装置は、レーザー光を用いて対象物の三次元計測を行う三次元計測装置であって、
検出範囲内の人を検出する人感センサーからの情報を受け付ける人感情報受付部と、
前記対象物を含む領域に前記レーザー光を照射するレーザー光照射部と、
前記レーザー光照射部から照射される前記レーザー光の出力を、第1出力と、前記第1出力よりも低い第2出力と、に制御する照射制御部と、
前記レーザー光が照射された前記対象物を撮像して画像データを取得する撮像部と、
前記画像データに基づいて、前記対象物を含む領域の三次元点群データを生成する点群データ生成部と、を備え、
前記照射制御部は、
前記人感情報受付部が前記人感センサーから前記検出範囲内に人がいないことを示す第1情報を受け付けている場合、前記レーザー光の出力を前記第1出力とすることを特徴とする。
本発明の第1実施形態に係るロボットシステムの全体構成を示す図である。 三次元計測装置の全体構成を示す図である。 図2に示す三次元計測装置が有する光走査部を示す平面図である。 レーザー光照射部により投影される投影パターンを示す平面図である。 ロボットシステムに設定された検出範囲を示す平面図である。 本発明の第2実施形態に係るロボットシステムに設定された検出範囲を示す平面図である。 本発明の第3実施形態に係るロボットシステムに設定された検出範囲を示す平面図である。 本発明の第4実施形態に係るロボットシステムが有するレーザー光照射部の全体構成を示す図である。 図8に示すレーザー光照射部が有する回折光学素子を示す平面図である。
以下、本発明の三次元計測装置、制御装置およびロボットシステムを添付図面に示す実施形態に基づいて詳細に説明する。
<第1実施形態>
図1は、本発明の第1実施形態に係るロボットシステムの全体構成を示す図である。図2は、三次元計測装置の全体構成を示す図である。図3は、図2に示す三次元計測装置が有する光走査部を示す平面図である。図4は、レーザー光照射部により投影される投影パターンを示す平面図である。図5は、ロボットシステムに設定された検出範囲を示す平面図である。
図1に示すロボットシステム1は、人と共存する、すなわち、周囲で人が作業することを前提とした人共存型のロボットシステムである。そのため、ロボットシステム1は、検出範囲内の人の存在を検出し、それに応じた対応を行うように構成されている。
ロボットシステム1は、ロボット2と、ロボット2の周囲に設定された検出範囲内の人を感知する人感センサー3と、レーザー光Lを用いて対象物Wを三次元計測する三次元計測装置4と、三次元計測装置4の計測結果に基づいてロボット2の駆動を制御するロボット制御装置5と、ロボット制御装置5と通信可能なホストコンピューター6と、を有する。なお、これら各部は、有線または無線により通信可能とされ、該通信は、インターネットのようなネットワークを介してなされてもよい。
このようなロボットシステム1は、人感センサー3が検出範囲内で人を感知すると、検出範囲内の人の眼に入っても安全なレベルまでレーザー光Lの出力を下げる。これにより、検出範囲内の人にとって安全なロボットシステム1となる。以下、このようなロボットシステム1について、詳細に説明する。
<ロボット>
ロボット2は、例えば、精密機器やこれを構成する部品の給材、除材、搬送および組立等の作業を行うロボットである。ただし、ロボット2の用途としては、特に限定されない。
ロボット2は、6軸ロボットであり、図1に示すように、床や天井に固定されるベース21と、ベース21に第1軸O1まわりに回動自在に連結された第1アーム221と、第1アーム221に第2軸O2まわりに回動自在に連結された第2アーム222と、第2アーム222に第3軸O3まわりに回動自在に連結された第3アーム223と、第3アーム223に第4軸O4まわりに回動自在に連結された第4アーム224と、第4アーム224に第5軸O5まわりに回動自在に連結された第5アーム225と、第5アーム225に第6軸O6まわりに回動自在に連結された第6アーム226と、を有する。また、第6アーム226にはハンド接続部が設けられており、ハンド接続部にはロボット2に実行させる作業に応じたエンドエフェクター24が装着される。
また、ロボット2は、ベース21に対して第1アーム221を回動させる第1駆動装置251と、第1アーム221に対して第2アーム222を回動させる第2駆動装置252と、第2アーム222に対して第3アーム223を回動させる第3駆動装置253と、第3アーム223に対して第4アーム224を回動させる第4駆動装置254と、第4アーム224に対して第5アーム225を回動させる第5駆動装置255と、第5アーム225に対して第6アーム226を回動させる第6駆動装置256と、を有する。第1〜第6駆動装置251〜256は、それぞれ、例えば、駆動源としてのモーターと、モーターの駆動を制御するコントローラーと、モーターの回転量を検出するエンコーダーと、を有する。そして、第1〜第6駆動装置251〜256は、それぞれ、ロボット制御装置5によって独立して制御される。
なお、ロボット2としては、本実施形態の構成に限定されず、例えば、アームの数が1本〜5本であってもよいし、7本以上であってもよい。また、例えば、ロボット2の種類は、スカラロボットや双腕ロボットであってもよい。
<ロボット制御装置>
ロボット制御装置5は、ホストコンピューター6からロボット2の位置指令を受け、各アーム221〜226が受けた位置指令に応じた位置となるように、第1〜第6駆動装置251〜256の駆動をそれぞれ独立して制御する。ロボット制御装置5は、例えば、コンピューターから構成され、情報を処理するプロセッサー(CPU)と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。
<人感センサー>
人感センサー3は、ロボット2の周囲に設定されたレーザー光出力制御エリアS3(検出範囲)内の人の有無を感知する。そして、人感センサー3は、感知の結果を三次元計測装置4に送信する。なお、以下では、レーザー光出力制御エリアS3内に人がいない場合に人感センサー3から出力される第1情報を「非検知信号」ともいい、レーザー光出力制御エリアS3内に人がいる場合に人感センサー3から出力される第2情報を「検知信号」ともいう。
このような目的を達成できる限り、人感センサー3の構成は、特に限定されない。本実施形態の人感センサー3は、図1に示すように、ロボット2の上方に設けられ、レーザー光出力制御エリアS3の全域を撮像可能なカメラ31を有し、カメラ31で撮像された画像データに基づいてレーザー光出力制御エリアS3内の人を感知する構成となっている。ただし、カメラ31の配置としては、天井に限定されず、例えば、壁に設けられていたり、可動式または固定式のスタンドに設けられていたり、床に設けられていたりしてもよい。また、カメラ31の数としても、特に限定されず、2つ以上であってもよい。また、カメラ31は、例えば、ロボット2に設けられていてもよい。また、この場合、後述するカメラ471がカメラ31を兼ねていてもよい。この他にも、人感センサー3として、重量センサー、レーザー光センサー、赤外線センサー、静電容量型のセンサー等を用いてもよい。
<三次元計測装置>
三次元計測装置4は、位相シフト法によって対象物Wの姿勢、位置等を検出する。図2に示すように、三次元計測装置4は、対象物Wを含む領域にレーザー光Lを照射するレーザー光照射部41と、レーザー光Lが照射された対象物Wを撮像して画像データを取得する撮像部47と、レーザー光照射部41や撮像部47の駆動を制御したり、撮像部47が取得した画像データから対象物Wの三次元点群データを生成したりする制御装置48と、を有する。
これら各構成要素のうち、レーザー光照射部41および撮像部47は、それぞれ、ロボット2の第5アーム225に固定されている。また、レーザー光照射部41は、第5アーム225の先端側(エンドエフェクター24側)に向けてレーザー光Lを照射するように配置され、撮像部47は、第5アーム225の先端側(エンドエフェクター24側)を向き、レーザー光Lの照射範囲を含む領域を撮像するように配置されている。
ここで、第5アーム225の先端側にエンドエフェクター24が位置する関係は、第5アーム225以外のアーム221〜224、226が動いても維持される。そのため、第5アーム225にレーザー光照射部41および撮像部47を固定することにより、三次元計測装置4は、常に、エンドエフェクター24の先端側にレーザー光Lを出射することができると共に、エンドエフェクター24の先端側を撮像することができる。したがって、エンドエフェクター24により対象物Wを把持しようとするときの姿勢、つまり、エンドエフェクター24が対象物Wと対向している姿勢が如何なる姿勢であっても、当該姿勢において、対象物Wに向けてレーザー光Lを照射することができると共に、対象物Wを撮像することができる。そのため、より確実に対象物Wの三次元計測を行うことができる。
ただし、レーザー光照射部41および撮像部47の配置は、特に限定されず、第1〜第4アーム221〜224や第6アーム226に固定されていてもよい。また、レーザー光照射部41および撮像部47は、互いに異なるアームに固定されていてもよい。また、レーザー光照射部41および撮像部47の少なくとも一方は、ベース21、床、天井、壁等の可動しない部位に固定されていてもよい。
レーザー光照射部41は、対象物Wに向けてレーザー光Lを照射することにより、対象物Wに所定の投影パターンP(図4参照)を投影する機能を有する。このようなレーザー光照射部41は、レーザー光Lを出射するレーザー光源42と、レーザー光Lが通過する複数のレンズを含む光学系44と、光学系44を通過したレーザー光Lを対象物Wに向けて走査する光走査部45と、を有する。
レーザー光源42としては、特に限定されず、例えば、垂直共振器面発光レーザー(VCSEL)、外部共振器型垂直面発光レーザー(VECSEL)等の半導体レーザーを用いることができる。レーザー光Lの波長としては、特に限定されず、可視域(400〜700nm)であってもよいし、不可視域(400nm以下、1400nm〜1mm)であってもよいし、近赤外線域(700〜1400nm)であってもよい。ただし、レーザー光Lの波長は、可視域(400〜700nm)であるのが好ましい。可視域では、レーザー光Lがロボット2と共存する人の眼に入ってしまっても、その人は、すぐに眩しさを感じ、瞬きによる防御反応を示すことができる。そのため、レーザー光Lの波長を可視域とすることにより、より安全なロボットシステム1となる。
光学系44は、レーザー光源42から出射されるレーザー光Lを平行化するコリメータレンズ441と、コリメータレンズ441によって平行化されたレーザー光Lを後述する回動軸Jと平行な方向(図2の紙面奥行き方向)に延びるライン状とするロッドレンズ442(レンズ)と、を有する。
光走査部45は、ロッドレンズ442によってライン状となったレーザー光Lを走査する機能を有する。これにより、レーザー光Lを二次元的(面状)に拡散させて照射することができる。このように、レーザー光Lを二次元的に拡散させることにより、レーザー光Lの光路が長くなる程、単位面積当たりの出力が低下する。光走査部45としては、特に限定されず、例えば、MEMS(Micro Electro Mechanical Systems)、ガルバノミラー、ポリゴンミラー等を用いることができる。
本実施形態の光走査部45は、MEMSで構成されている。図3に示すように、光走査部45は、可動部451と、可動部451を支持する支持部452と、可動部451と支持部452とを接続し、可動部451を支持部452に対して回動軸Jまわりに回動可能とする梁部453と、可動部451の表面(図3の紙面手前側の面)に配置され、レーザー光Lを反射するミラー454と、可動部451の裏面(図3の紙面奥側の面)に設けられた永久磁石455と、永久磁石455と対向配置されたコイル456と、を有する。なお、可動部451、支持部452および梁部453は、例えば、シリコン基板から一体形成されている。
このような光走査部45は、回動軸Jがライン状のレーザー光Lの延在方向とほぼ一致するように配置されている。そして、コイル456に駆動信号(交番電圧)が印加されると、可動部451が回動軸Jまわりに回動し、これにより、ライン状のレーザー光Lが走査される。
また、光走査部45は、支持部452に設けられたピエゾ抵抗部457を有する。ピエゾ抵抗部457は、可動部451が回動軸Jまわりに回動するのに伴って支持部452に発生する応力に応じて抵抗値が変化する。そのため、光走査部45では、ピエゾ抵抗部457の抵抗値変化に基づいて、可動部451の回動角を検知することができる。なお、ピエゾ抵抗部457は、シリコン基板にリン、ボロン等の不純物をドープ(拡散または注入)することにより形成することができる。
以上、レーザー光照射部41について説明した。このようなレーザー光照射部41では、前述したように、光学系44および光走査部45によってレーザー光Lを二次元的に拡散する。そのため、レーザー光照射部41から離れる程、言い換えると、レーザー光Lの光路長が長くなる程、レーザー光Lの強度すなわちレーザー光Lが照射され得る各領域での単位時間当たりのエネルギー量が小さくなる。このような構成とすることにより、ロボット2と共存する人の眼に高強度のレーザー光Lが入ってしまうことをより効果的に抑制することができる。そのため、ロボット2と共存する人にとって安全なロボットシステム1となる。
なお、レーザー光照射部41の構成としては、対象物Wに所定の投影パターンPを投影することができれば、特に限定されない。例えば、本実施形態では、光学系44によってレーザー光Lをライン状に拡散しているが、これに限定されず、例えば、MEMSやガルバノミラーを用いてライン状に拡散させてもよい。つまり、2つの光走査部45を用いてレーザー光Lを二次元走査してもよい。また、例えば、2軸自由度を有するジンバル型のMEMSを用いてレーザー光Lを二次元走査してもよい。
撮像部47は、少なくとも1つの対象物Wに投影パターンPが投影されている状態を撮像する。すなわち、撮像部47は、投影パターンPを含む少なくとも1つの対象物Wを撮像する。図2に示すように、撮像部47は、例えば、CMOSイメージセンサー、CCDイメージセンサー等の撮像素子472と集光レンズ473とを備えたカメラ471で構成されている。
図2に示すように、制御装置48は、人感センサー3からの情報を受け付ける人感情報受付部481と、レーザー光源42の駆動を制御する照射制御部482と、光走査部45の駆動を制御する光走査制御部483と、撮像部47の駆動を制御する撮像制御部484と、撮像部47が取得した画像データに基づいて対象物Wを含む領域の三次元点群データを生成する点群データ生成部485と、を有する。
制御装置48は、例えば、コンピューターから構成され、情報を処理するプロセッサー(CPU)と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが保存(記憶)されており、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。
光走査制御部483は、コイル456に駆動信号を印加することにより、光走査部45の駆動を制御する。また、光走査制御部483は、ピエゾ抵抗部457の抵抗値変化に基づいて、可動部451の回動角を検知する。照射制御部482は、レーザー光源42に駆動信号を印加することにより、レーザー光源42の駆動を制御する。照射制御部482は、光走査制御部483が検知する可動部451の回動と同期させてレーザー光源42からレーザー光Lを出射し、例えば、図4に示すような、輝度値の明暗で表現した縞模様の投影パターンPを対象物W上に形成する。
照射制御部482は、レーザー光Lの出力として、第1出力と、第1出力よりも低い第2出力を選択することができる。なお、照射制御部482は、さらに、第2出力よりも低い第3出力、第3出力よりも低い第4出力等を選択することが出来るように構成されていてもよい。つまり、照射制御部482が有する出力の選択数は、特に限定されない。
ここで、照射制御部482は、可動部451の回動が開始された後にレーザー光源42からレーザー光Lを出射する。すなわち、可動部451の回動を開始する時刻よりもレーザー光源42からレーザー光Lを出射する時刻の方が遅い。例えば、可動部451が回動しておらず姿勢が一定の状態でレーザー光Lを出射すると、レーザー光Lが同じ個所に照射され続けてしまう。仮に、レーザー光Lの光路上にロボット2と共存する人の眼があった場合、レーザー光Lがその人の眼に入り続け、レーザー光Lの強度等によっては、眼に悪影響を与えるおそれがある。これに対して、レーザー光Lが出射されるより先に可動部451の回動が開始されていれば、レーザー光Lが走査され、同じ個所に照射され続けることが無い。そのため、上述のような問題が生じ難くなり、ロボット2と共存する人にとってより安全なロボットシステム1となる。
なお、照射制御部482は、光走査制御部483がコイル456に駆動信号を印加しているか否かに基づいて可動部451が回動しているか否かを判断してもよいが、それよりも、ピエゾ抵抗部457の抵抗値変化に基づいて可動部451が回動しているか否かを判断するのが好ましい。例えば、光走査部45の故障や断線等に起因して駆動信号をコイル456に印加しているにも関わらず可動部451の回動が開始されないおそれが考えられる。これに対して、ピエゾ抵抗部457の抵抗値変化に基づけば、可動部451の回動が開始されないとピエゾ抵抗部457の抵抗値が変化しないため、可動部451が回動を開始していることを確実に確認することができる。そのため、ロボット2と共存する人にとってより安全なロボットシステム1となる。
撮像制御部484は、撮像部47(カメラ471)の駆動を制御する。ここで、投影パターンPは、π/2ずつずらして4回投影され、撮像制御部484は、その都度、投影パターンPが投影された対象物Wを撮像部47で撮像する。ただし、投影パターンPの投影回数は、特に限定されず、撮影結果から位相が計算できる枚数であればよい。また、ピッチの大きなパターンや逆に小さなパターンを用いて同様の投影と撮影を行い、位相接続を行ってもよい。ピッチの種類を増やすほど、計測範囲と分解能を向上させることができるが、撮影回数が増す分、画像データを取得するのに要する時間が増えて、ロボット2の稼働効率が低下する。そのため、三次元計測の精度および計測範囲とロボット2の稼働効率との兼ね合いから投影パターンPの投影回数を適宜設定すればよい。
また、撮像制御部484は、撮像部47の撮像モードとして、第1露光時間で対象物Wを撮像する第1撮像モードと、第1露光時間よりも長い第2露光時間で対象物Wを撮像する第2撮像モードと、を有し、これらを選択することができる。なお、撮像制御部484は、撮像部47の撮像モードとして、第2露光時間よりも長い第3露光時間で対象物Wを撮像する第3撮像モード、第3露光時間よりも長い第4露光時間で対象物Wを撮像する第4撮像モード等を有していてもよい。つまり、撮像制御部484が有する撮像モードの数は、特に限定されない。
前述したように、照射制御部482は、レーザー光Lの出力として第1出力と、第1出力よりもレーザー強度が低い第2出力と、を選択することができる。照射制御部482が第1出力を選択している場合、撮像制御部484は、第1撮像モードを選択する。第1出力では、十分に明るい投影パターンPが投影されるため、露光時間の短い第1撮像モードとすることにより、カメラ471が取得する画像の所謂「白飛び」を抑制しつつ、適度な明るさおよびコントラスを有する画像データを取得することができる。一方、照射制御部482が第2出力を選択している場合、撮像制御部484は、第2撮像モードを選択する。第2出力では、第1出力よりも暗い投影パターンPが投影されるため、露光時間の長い第2撮像モードとすることにより、所謂「黒潰れ」を抑制しつつ、適度な明るさおよびコントラスを有する画像データを取得することができる。
このように、第1撮像モードと第2撮像モードとをレーザー光Lの出力に応じて適宜変更することにより、第1出力および第2出力のいずれの出力で投影された投影パターンPであっても、カメラ471によって、対象物Wの三次元計測を行うのに十分な明るさおよびコントラストを有する画像データを取得することができる。
第1露光時間および第2露光時間は、それぞれ、特に限定されず、第1出力および第2出力で投影される投影パターンPの明るさに応じて適宜設定することができるが、例えば、第1撮像モードと第2撮像モードとで、露光量(撮像素子に入射する光の強さ×露光時間)が互いに等しくなるように設定することが好ましい。これにより、第1撮像モードで取得した画像データと第2撮像モードで取得した画像データとをより均質なものとすることができる。
なお、上述の構成ではレーザー光Lの出力に応じて露光時間を適宜変更しているが、これに限定されず、例えば、レーザー光Lの出力に応じて絞り値を適宜変更してもよい。例えば、撮像制御部484は、照射制御部482が第1出力を選択している場合、第1の絞り値を選択し、照射制御部482が第1出力を選択している場合、第1絞り値よりも開放側の第2絞り値を選択するようになっていてもよい。ただし、絞り値を変更することにより、カメラ471の被写界深度が変化し、画像のピントずれ等が生じるおそれがあるため、本実施形態のように露光時間を変更する方が好ましい。
点群データ生成部485は、位相シフト法を用いて、撮像部47が取得した複数の画像データから対象物Wを含む領域の三次元点群データを生成する。そして、点群データ生成部485で生成した三次元点群データは、ホストコンピューター6に送信される。なお、三次元点群データとは、例えば、画像データ上の各点の三次元座標を記録したデータである。
ホストコンピューター6は、点群データ生成部485から受信した三次元点群データに基づいて、対象物Wの姿勢、位置(空間座標)等を含む三次元情報を算出する算出部61を有する。例えば、算出部61には対象物Wの形状に関する情報が記憶されており、三次元点群データと対象物Wの形状とをマッチングすることにより、対象物Wの姿勢や位置を算出することができる。ただし、これに限定されず、三次元点群データから対象物Wの形状を取得してもよい。
また、ホストコンピューター6は、算出した対象物Wの三次元情報からロボット2の位置指令を生成し、生成した位置指令をロボット制御装置5に送信する。ロボット制御装置5は、ホストコンピューター6から受信した位置指令に基づいて第1〜第6駆動装置251〜256をそれぞれ独立して駆動し、第1〜第6アーム221〜226を指示された位置に移動させる。
なお、本実施形態では、ホストコンピューター6が算出部61を有するが、これに限定されず、例えば、三次元計測装置4やロボット制御装置5が算出部61を有していてもよいし、別の装置が有していてもよい。
以上、ロボットシステム1の構成について説明した。次に、ロボットシステム1の制御方法について説明する。図5に示すように、ロボットシステム1は、ロボット2の駆動によりエンドエフェクター24の先端が位置し得る領域である最大可動エリアS1と、最大可動エリアS1よりも大きく、第1出力で出射されたレーザー光Lの強度が所定強度よりも高い強度となり得る領域である高強度レーザー光照射エリアS2と、を有する。そして、ロボットシステム1には、高強度レーザー光照射エリアS2よりも大きく、高強度レーザー光照射エリアS2の全域を内包するレーザー光出力制御エリアS3(検出範囲)が設定されている。なお、図5では、説明の便宜上、エリアS1〜S3をそれぞれ円形で示しているが、各エリアの形状は、特に限定されない。
なお、前記「所定強度」とは、特に限定されないが、例えば、人体に影響を与えない程度のレーザー光Lの強度とすることもでき、第2出力でのレーザー光Lの強度とすることもできる。また、レーザー光出力制御エリアS3(検出範囲)とは、レーザー光照射部41から所定の距離以下の範囲であり、レーザー光Lが照射される照射範囲を含む。
まず、レーザー光出力制御エリアS3内に人がいない場合、すなわち、人感情報受付部481が人感センサー3から非検知信号を受け付けている場合について説明する。ここで、「人がいない」とは、人の全部または一部がレーザー光出力制御エリアS3に存在しないことを言う。この場合、レーザー光出力制御エリアS3内に人がいないため、高強度のレーザー光Lが人の眼に入るおそれがほとんどない。したがって、対象物Wの三次元計測を行う際、照射制御部482は、第1出力でレーザー光Lを出射し、撮像制御部484は、第1撮像モードで対象物Wを撮像する。また、レーザー光出力制御エリアS3内に人がいない場合は、ロボット2と人とがぶつかるおそれもほとんどない。したがって、ロボット制御装置5は、通常の移動速度で第1〜第6アーム221〜226を駆動する。
次に、レーザー光出力制御エリアS3内に人がいる場合、すなわち、人感情報受付部481が人感センサー3から検知信号を受け付けている場合について説明する。ここで、「人がいる」とは、人の全部または一部がレーザー光出力制御エリアS3に存在することを言う。この場合、レーザー光出力制御エリアS3内に人がいるため、レーザー光Lが人の眼に入るおそれがある。したがって、対象物Wの三次元計測を行う際、照射制御部482は、第1出力よりも低強度の第2出力でレーザー光Lを出射し、撮像制御部484は、第1撮像モードよりも露光時間の長い第2撮像モードで対象物Wを撮像する。また、レーザー光出力制御エリアS3内に人がいる場合、ロボット2と人とがぶつかるおそれもある。したがって、ロボット制御装置5は、上述した通常の移動速度よりも遅い移動速度(角速度)で第1〜第6アーム221〜226を駆動する。
このように、レーザー光出力制御エリアS3内に人がいない場合は、レーザー光出力制御エリアS3内に人がいる場合と比べて高強度のレーザー光Lを用い、短い露光時間で対象物Wを撮像する。これにより、対象物Wの三次元計測に要する時間を短くすることができ、ロボット2の稼働効率(処理速度)を高めることができる。これに対して、レーザー光出力制御エリアS3内に人がいる場合は、レーザー光出力制御エリアS3内に人がいない場合と比べて低強度のレーザー光Lを用い、長い露光時間で対象物Wを撮像する。これにより、レーザー光出力制御エリアS3内に人がいない場合と比べて対象物Wの三次元計測に要する時間が長くなり、ロボット2の稼働効率が低下するが、レーザー光出力制御エリアS3内にいる人の眼に入っても安全なレベルまでレーザー光Lの出力が落とされているため、当該人の安全を確保することができる。
また、レーザー光出力制御エリアS3内に人がいる場合は、レーザー光出力制御エリアS3内に人がいない場合と比べて第1〜第6アーム221〜226の移動速度をそれぞれ遅くする。これにより、仮に、ロボット2と人とが接触しても、その衝撃を小さく抑えることができる。そのため、レーザー光出力制御エリアS3内にいる人にとって安全なロボットシステム1となる。
なお、これに限定されず、レーザー光出力制御エリアS3内に人がいる場合、照射制御部482は、レーザー光Lの出射を停止してもよい。また、レーザー光出力制御エリアS3内に人がいる場合、撮像制御部484は、第1撮像モードで対象物Wを撮像してもよい。これにより、第2撮像モードで対象物Wを撮像する場合と比べて画像データの質が悪く、対象物Wの三次元計測の精度が低下するが、対象物Wの三次元計測に要する時間を短くすることができる。そのため、ロボット2の稼働効率(処理速度)を高めることができる。また、レーザー光出力制御エリアS3内に人がいる場合、ロボット制御装置5は、第1〜第6アーム221〜226の駆動をそれぞれ停止してもよい。これにより、レーザー光出力制御エリアS3内にいる人にとってより安全なロボットシステム1となる。
次に、対象物Wの三次元計測を行っている途中で、人感情報受付部481が受け付ける信号が変化する場合について説明する。なお、「三次元計測を行っている途中」とは、例えば、1枚目の画像データを取得するためにレーザー光Lの出射を開始したときから、最後(本実施形態では4枚目)の画像データを取得し終え、レーザー光Lの出射を停止したときまでとすることができる。
まず、対象物Wの三次元計測を行っている途中にレーザー光出力制御エリアS3内から人が退避した場合、すなわち、対象物Wの三次元計測を行っている途中に人感情報受付部481が受け付ける信号が検出信号から非検出信号に変化した場合について説明する。この場合、照射制御部482は、対象物Wの三次元計測が終了するまでレーザー光Lの出力を第2出力に維持し、撮像制御部484は、カメラ471の撮像モードを第2撮像モードに維持する。つまり、三次元計測の途中でレーザー光出力制御エリアS3内から人が退避したからといって、それに合わせてレーザー光Lの出力を第1出力に変更し、カメラ471の撮像モードを第1撮像モードに変更するのではなく、対象物Wの三次元計測が終了するまで、レーザー光Lの出力やカメラ471の露光時間を維持する。
対象物Wの三次元計測を行っている途中でレーザー光Lの出力やカメラ471の露光時間を変更すると、それに起因して、例えば、変更前に取得した画像データと変更後に取得した画像データとの間で明るさやコントラストの差が生じたり、レーザー光Lの出力を変更する際に投影パターンPに歪みや抜けが生じたりし、対象物Wの三次元計測の精度が低下するおそれがある。これに対して、レーザー光Lの出力やカメラ471の露光時間を維持することにより、上述のような問題が生じるおそれが無く、対象物Wの三次元計測をより精度よく行うことができる。
もちろん、上述のような問題が生じても構わない場合や上述のような問題が生じないような構成となっている場合(例えば、第1撮像モードと第2撮像モードとで露光量が等しい場合)等には、人感情報受付部481が受け付ける信号が検出信号から非検出信号に変化したのに応じて、レーザー光Lの出力を第2出力から第1出力に変更すると共に、カメラ471の撮像モードを第2撮像モードから第1撮像モードに変更し、変更後の条件で対象物Wの三次元計測を継続してもよい。これにより、レーザー光Lの出力やカメラ471の露光時間を維持する場合と比べて、対象物Wの三次元計測に要する時間が短くなり、ロボット2の稼働効率が向上する。
また、別の制御として、レーザー光出力制御エリアS3内から人が退避したら、対象物Wの三次元計測を中止し、レーザー光Lの出力を第2出力から第1出力に変更すると共に、カメラ471の撮像モードを第2撮像モードから第1撮像モードに変更した上で、対象物Wの三次元計測を初めからやり直してもよい。これにより、それまでの測定の進み具合によっては、上述のようなレーザー光Lの出力やカメラ471の露光時間を維持する場合と比べて、対象物Wの三次元計測に要する時間が短くなり、ロボット2の稼働効率が向上する。
次に、対象物Wの三次元計測を行っている途中にレーザー光出力制御エリアS3内に人が侵入した場合、すなわち、対象物Wの三次元計測の途中に人感情報受付部481が受け付ける信号が非検出信号から検出信号に変化する場合について説明する。この場合、レーザー光出力制御エリアS3内に人が侵入したら、それに合わせて、レーザー光Lの出力を第1出力から第2出力に変更すると共に、カメラ471の撮像モードを第1撮像モードから第2撮像モードに変更し、変更後の条件で対象物Wの三次元計測を継続する。これにより、レーザー光出力制御エリアS3内の人の眼に高強度のレーザー光Lが入ってしまうことが抑制され、より安全なロボットシステム1となる。また、対象物Wの三次元計測を継続することができるため、例えば、三次元計測をやり直す場合と比べて、対象物Wの三次元計測に要する時間が短くなり、ロボット2の稼働効率が向上する。
また、別の制御として、レーザー光出力制御エリアS3内に人が侵入したら、照射制御部482は、レーザー光Lの出射を停止してもよい。これにより、レーザー光出力制御エリアS3内の人の眼に高強度のレーザー光Lが入ってしまうことが抑制され、より安全なロボットシステム1となる。なお、前述したように、第3出力、第4出力等を有する場合には、レーザー光出力制御エリアS3内に人が侵入したら、照射制御部482は、レーザー光Lの出力を第3、第4出力に切り替えてもよい。
ここで、レーザー光出力制御エリアS3の大きさとしては、特に限定されないが、レーザー光出力制御エリアS3内に人が侵入してから高強度レーザー光照射エリアS2に到達する時間T1が、レーザー光出力制御エリアS3内に人が侵入してからレーザー光Lの出力が第1出力から第2出力に切り替わるかレーザー光Lの出射が停止されるまでの時間T2よりも長くなるように設定する。これにより、レーザー光Lの出力を変更している間に人が高強度レーザー光照射エリアS2内に侵入してしまい、その人の眼に高強度のレーザー光Lが入ってしまうことを効果的に抑制することができる。なお、時間T1は、例えば、作業中の人の移動速度や移動ルート等に基づいて適宜算出することができる。
以上、ロボットシステム1について詳細に説明した。このようなロボットシステム1は、前述したように、ロボット2と、レーザー光出力制御エリアS3(検出範囲)内の人を検出する人感センサー3と、レーザー光Lを用いて対象物Wの三次元計測を行う三次元計測装置4と、三次元計測装置4による計測結果に基づいてロボット2の動作を制御するロボット制御装置5と、を備える。また、三次元計測装置4は、対象物Wを含む領域にレーザー光Lを照射するレーザー光照射部41と、レーザー光照射部41から照射されるレーザー光Lの出力を、第1出力と、第1出力よりも低い第2出力と、に制御する照射制御部482と、レーザー光Lが照射された対象物Wを撮像して画像データを取得する撮像部47と、を備える。また、照射制御部482は、人感センサー3からレーザー光出力制御エリアS3内に人がいないことを示す情報が出力されている場合、レーザー光Lの出力を第1出力とする。レーザー光出力制御エリアS3内に人がいない場合は、レーザー光Lが人の眼に入るおそれがない。したがって、第1出力でレーザー光Lを出射することにより、第2出力でレーザー光Lを出射する場合と比べて、対象物Wにより明るい投影パターンPを投影することができ、その分、三次元計測に要する時間が短くなる。そのため、ロボット2の処理スピードが向上する。一方で、人感センサー3からレーザー光出力制御エリアS3内に人がいることを示す信号が出力されている場合は、出力を第2出力とする。これにより、レーザー光出力制御エリアS3内にいる人の眼に入っても安全なレベルまでレーザー光Lの出力を下げることができ、レーザー光出力制御エリアS3内にいる人にとって安全なロボットシステム1となる。
また、前述したように、三次元計測装置4は、レーザー光出力制御エリアS3(検出範囲)内の人を検出する人感センサー3からの情報を受け付ける人感情報受付部481と、対象物Wを含む領域にレーザー光Lを照射するレーザー光照射部41と、レーザー光照射部41から照射されるレーザー光Lの出力を、第1出力と、第1出力よりも低い第2出力と、に制御する照射制御部482と、レーザー光Lが照射された対象物Wを撮像して画像データを取得する撮像部47と、画像データに基づいて、対象物Wを含む領域の三次元点群データを生成する点群データ生成部485と、を備える。そして、照射制御部482は、人感情報受付部481が人感センサー3からレーザー光出力制御エリアS3内に人がいないことを示す第1情報を受け付けている場合、レーザー光Lの出力を第1出力とする。レーザー光出力制御エリアS3内に人がいない場合は、レーザー光Lが人の眼に入るおそれがない。したがって、第1出力でレーザー光Lを出射することにより、第2出力でレーザー光Lを出射する場合と比べて、対象物Wにより明るい投影パターンPを投影することができ、その分、三次元計測に要する時間が短くなる。そのため、ロボット2の処理スピードが向上する。
また、前述したように、照射制御部482は、人感情報受付部481が人感センサー3からレーザー光出力制御エリアS3内に人がいることを示す第2情報を受け付けている場合、レーザー光Lの出力を第2出力とする。これにより、レーザー光出力制御エリアS3内にいる人の眼に入っても安全なレベルまでレーザー光Lの出力を下げることができ、レーザー光出力制御エリアS3内にいる人にとって安全なロボットシステム1となる。
また、前述したように、照射制御部482は、第2出力でレーザー光Lの照射を開始し、レーザー光L照射が完了するまでに人感情報受付部481が第1情報を受け付けた場合、第2出力でのレーザー光Lの照射を維持する。つまり、三次元計測の途中で人感情報受付部481が受け付ける信号が検出信号から非検出信号に変化しても、対象物Wの三次元計測が終了するまで、レーザー光Lの出力やカメラ471の露光時間を維持する。計測の途中でレーザー光Lの出力やカメラ471の露光時間を変更すると、それに起因して、例えば、画像データ内で明るさやコントラストの差が生じたり、変更前の画像データと変更後の画像データとの間で明るさやコントラストの差が生じたり、レーザー光Lの出力を切り替える際に投影パターンPに歪みや抜けが生じたりし、対象物Wの三次元計測の精度が低下するおそれがある。そのため、レーザー光Lの出力やカメラ471の露光時間を維持することにより、上述のような問題が生じるおそれが無く、対象物Wの三次元計測をより精度よく行うことができる。
また、前述したように、照射制御部482は、第1出力でレーザー光Lの照射を開始し、レーザー光L照射が完了するまでに人感情報受付部481が第2情報を受け付けた場合、レーザー光Lの出力を第2出力に切り替えるか、レーザー光Lの照射を停止する。これにより、レーザー光出力制御エリアS3内にいる人にとって安全なロボットシステム1となる。
また、前述したように、撮像部47の撮像モードを制御する撮像制御部484を有する。また、撮像制御部484は、撮像モードとして、撮像部47の露光時間が第1露光時間である第1撮像モードと、撮像部47の露光時間が第1露光時間よりも長い第2撮像モードと、を有し、レーザー光Lの出力が第1出力の場合は、第1撮像モードとする。このように、高強度のレーザー光Lが照射されている場合に、短時間の露光時間とすることにより、適切な明るさとコントラストとを有する画像データを取得することができる。そのため、対象物Wの三次元計測をより高精度に行うことができる。
また、前述したように、撮像制御部484は、レーザー光Lの出力が第2出力の場合は、撮像モードを第2撮像モードとする。このように、低強度のレーザー光Lが照射されている場合に、長時間の露光時間とすることにより、適切な明るさとコントラストとを有する画像データを取得することができる。そのため、対象物Wの三次元計測をより高精度に行うことができる。
また、前述したように、レーザー光照射部41は、レーザー光Lを拡散させるミラー454を有する。このように、レーザー光Lを拡散させることにより、レーザー光照射部41から離間する程、レーザー光Lの強度が低下するため、より安全な三次元計測装置4となる。
また、前述したように、レーザー光照射部41は、レーザー光Lを拡散させるレンズとしてのロッドレンズ442を有する。このように、レーザー光Lを拡散させることにより、レーザー光照射部41から離間する程、レーザー光Lの強度が低下するため、より安全な三次元計測装置4となる。
また、制御装置48は、レーザー光出力制御エリアS3内の人を検出する人感センサー3からの情報を受け付ける人感情報受付部481と、レーザー光照射部41から照射されるレーザー光Lの出力を、第1出力と、第1出力よりも低い第2出力と、に制御する照射制御部482と、を備える。また、照射制御部482は、人感情報受付部481が人感センサー3からレーザー光出力制御エリアS3内に人がいないことを示す第1情報を受け付けている場合、レーザー光Lの出力を第1出力とする。レーザー光出力制御エリアS3内に人がいない場合は、レーザー光Lが人の眼に入るおそれがない。したがって、第1出力でレーザー光Lを出射することにより、第2出力でレーザー光Lを出射する場合と比べて、対象物Wにより明るい投影パターンPを投影することができ、その分、三次元計測に要する時間が短くなる。そのため、ロボット2の稼働効率が向上する。
<第2実施形態>
図6は、本発明の第2実施形態に係るロボットシステムに設定された検出範囲を示す平面図である。
以下の説明では、第2実施形態のロボットシステムについて前述した実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。第2実施形態のロボットシステム1は、検出範囲として、レーザー光出力制御エリアS3と、レーザー光出力制御エリアS3よりも広いロボット駆動制御エリアS4が設定されていること以外は、前述した第1実施形態のロボットシステム1とほぼ同様である。なお、図6では、前述した実施形態と同様の構成には同一符号を付してある。
図6に示すように、ロボットシステム1は、ロボット2の駆動によりエンドエフェクター24の先端が位置し得る領域である最大可動エリアS1と、第1出力で出射されたレーザー光Lの強度が所定強度よりも高い強度となり得る領域である高強度レーザー光照射エリアS2と、を有する。そして、ロボットシステム1には、検出範囲として、レーザー光Lの出力を制御するためのレーザー光出力制御エリアS3と、ロボット2の駆動を制御するためのロボット駆動制御エリアS4と、が設定されている。高強度レーザー光照射エリアS2は、最大可動エリアS1よりも大きく、最大可動エリアS1の全域を内包している。
次に、このような構成のロボットシステム1の駆動方法について説明する。まず、人感情報受付部481が人感センサー3からロボット駆動制御エリアS4内に人がいないことを示す信号を受け付けている場合について説明する。この場合、ロボット駆動制御エリアS4内に人がいないため、ロボット制御装置5は、通常の移動速度で第1〜第6アーム221〜226を駆動する。
次に、人感情報受付部481が人感センサー3からロボット駆動制御エリアS4内に人がいることを示す信号を受け付けている場合について説明する。この場合、ロボット2の近くに人がおり、人の動きによっては当該人とロボット2とが接触するおそれがある。そこで、ロボット制御装置5は、上述した通常の移動速度よりも遅い移動速度で第1〜第6アーム221〜226を駆動する。
このように、ロボット駆動制御エリアS4内に人がいる場合は、ロボット駆動制御エリアS4内に人がいない場合と比べて、第1〜第6アーム221〜226の移動速度を遅くする。これにより、仮に、ロボット2と人とが接触しても、その衝撃を小さく抑えることができる。そのため、ロボット駆動制御エリアS4内にいる人にとって安全なロボットシステム1となる。
なお、レーザー光出力制御エリアS3内に人がいる場合、いない場合の制御方法は、上述した第1実施形態と同様である。このような第2実施形態によっても前述した第1実施形態と同様の効果を発揮することができる。
<第3実施形態>
図7は、本発明の第3実施形態に係るロボットシステムに設定された検出範囲を示す平面図である。
以下の説明では、第3実施形態のロボットシステムについて前述した実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。第3実施形態のロボットシステム1は、レーザー光Lの出力が第1出力から第3出力まであり、レーザー光出力制御エリアS3が2つのエリアに分かれていること以外は、前述した第1実施形態のロボットシステム1とほぼ同様である。なお、図7では、前述した実施形態と同様の構成には同一符号を付してある。
本実施形態のロボットシステム1では、照射制御部482は、レーザー光Lの出力として、第1出力と、第1出力よりも低い第2出力と、第2出力よりも低い第3出力と、を有し、これらを選択することができる。一方、撮像制御部484は、撮像部47の撮像モードとして、第1露光時間で対象物Wを撮像する第1撮像モードと、第1露光時間よりも長い第2露光時間で対象物Wを撮像する第2撮像モードと、第2露光時間よりも長い第3露光時間で対象物Wを撮像する第3撮像モードと、を有し、これらを選択することができる。
図7に示すように、ロボットシステム1は、ロボット2の駆動によりエンドエフェクター24の先端が位置し得る領域である最大可動エリアS1と、第1出力で出射されたレーザー光Lの強度が所定強度よりも高い強度となり得る領域である高強度レーザー光照射エリアS2’と、第2出力で出射されたレーザー光Lの強度が所定強度よりも高い強度となり得る領域である高強度レーザー光照射エリアS2”と、を有する。そして、ロボットシステム1には、検出範囲として、レーザー光Lの出力を制御するためのレーザー光出力制御エリアS3’、S3”が設定されている。レーザー光出力制御エリアS3’は、高強度レーザー光照射エリアS2’よりも大きく、高強度レーザー光照射エリアS2’の全域を内包している。また、レーザー光出力制御エリアS3”は、高強度レーザー光照射エリアS2”よりも大きく、高強度レーザー光照射エリアS2”の全域を内包している。
次に、このような構成のロボットシステム1の駆動方法について説明する。まず、人感情報受付部481が人感センサー3からレーザー光出力制御エリアS3’に人がいないことを示す信号を受け付けている場合について説明する。この場合、レーザー光出力制御エリアS3’内に人がいないため、高強度のレーザー光Lが人の眼に入るおそれがほとんどない。したがって、対象物Wの三次元計測を行う際、照射制御部482は、第1出力でレーザー光Lを出射し、撮像制御部484は、第1撮像モードで対象物Wを撮像する。
次に、人感情報受付部481が人感センサー3からレーザー光出力制御エリアS3’に人がいることを示す信号を受け付けている場合について説明する。この場合、レーザー光出力制御エリアS3’内に人がいるため、第1出力でレーザー光Lを出射すると、高強度のレーザー光Lが当該人の眼に入るおそれがある。したがって、対象物Wの三次元計測を行う際、照射制御部482は、第1出力よりも低強度の第2出力でレーザー光Lを出射し、撮像制御部484は、第1撮像モードよりも露光時間の長い第2撮像モードで対象物Wを撮像する。
次に、人感情報受付部481が人感センサー3からレーザー光出力制御エリアS3”に人がいることを示す信号を受け付けている場合について説明する。この場合、レーザー光出力制御エリアS3”内に人がいるため、第2出力での駆動であっても、高強度のレーザー光Lが当該人の眼に入るおそれがある。したがって、対象物Wの三次元計測を行う際、照射制御部482は、第2出力よりも低強度の第3出力でレーザー光Lを出射し、撮像制御部484は、第2撮像モードよりも露光時間の長い第3撮像モードで対象物Wを撮像する。
このような第3実施形態によっても前述した第1実施形態と同様の効果を発揮することができる。
<第4実施形態>
図8は、本発明の第4実施形態に係るロボットシステムが有するレーザー光照射部の全体構成を示す図である。図9は、図8に示すレーザー光照射部が有する回折光学素子を示す平面図である。
以下の説明では、第4実施形態のロボットシステムについて前述した実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。第4実施形態のロボットシステム1は、レーザー光照射部41の構成が異なること以外は、前述した第1実施形態のロボットシステム1とほぼ同様である。なお、図8では、前述した実施形態と同様の構成には同一符号を付してある。
図8に示すように、本実施形態のレーザー光照射部41は、レーザー光Lを出射するレーザー光源42と、投射レンズ445を含む光学系44と、レーザー光源42と投射レンズ445との間に位置する回折光学素子43と、回折光学素子43を中心軸Aまわりに回転させるアクチュエーター49と、を有する。また、図9に示すように、回折光学素子43は、中心軸Aまわりに配置された8パターンの回折格子431〜438を有している。そして、回折光学素子43を中心軸Aまわりに回転させることにより、所定の回折格子431〜438をレーザー光Lの光路上に位置させることができる。なお、図示しないが、回折格子431〜434は、位相がπ/2ずつずれるような縞状となっている。回折格子435〜438は、投射面での投影パターンの位相がπ/2ずつずれるような縞状となっており、投射面での投影者パターンのピッチは、回折格子431〜434の投射パターンのピッチの2倍となっている。
このような構成のレーザー光照射部41では、回折格子431〜438を順にレーザー光Lの光路上に位置させることにより、8つの投影パターンPを対象物W上に順に投影することができる。
このような第4実施形態では、レーザー光照射部41は、レーザー光Lを拡散させる回折光学素子43を有する。このように、レーザー光Lを拡散させることにより、レーザー光照射部41から離間する程、レーザー光Lの強度が低下するため、より安全な三次元計測装置4となる。
以上、本発明の三次元計測装置、制御装置およびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。
1…ロボットシステム、2…ロボット、21…ベース、221〜226…第1〜第6アーム、24…エンドエフェクター、251〜256…第1〜第5駆動装置、3…人感センサー、31…カメラ、4…三次元計測装置、41…レーザー光照射部、42…レーザー光源、43…回折光学素子、431〜438…回折格子、44…光学系、441…コリメータレンズ、442…ロッドレンズ、445…投射レンズ、45…光走査部、451…可動部、452…支持部、453…梁部、454…ミラー、455…永久磁石、456…コイル、457…ピエゾ抵抗部、47…撮像部、471…カメラ、472…撮像素子、473…集光レンズ、48…制御装置、481…人感情報受付部、482…照射制御部、483…光走査制御部、484…撮像制御部、485…点群データ生成部、49…アクチュエーター、5…ロボット制御装置、6…ホストコンピューター、61…算出部、A…中心軸、J…回動軸、L…レーザー光、O1〜O6…第1〜第6軸、P…投影パターン、S1…最大可動エリア、S2、S2’、S2”…高強度レーザー光照射エリア、S3、S3’、S3”…レーザー光出力制御エリア、S4…ロボット駆動制御エリア、W…対象物

Claims (11)

  1. レーザー光を用いて対象物の三次元計測を行う三次元計測装置であって、
    検出範囲内の人を検出する人感センサーからの情報を受け付ける人感情報受付部と、
    前記対象物を含む領域に前記レーザー光を照射するレーザー光照射部と、
    前記レーザー光照射部から照射される前記レーザー光の出力を、第1出力と、前記第1出力よりも低い第2出力と、に制御する照射制御部と、
    前記レーザー光が照射された前記対象物を撮像して画像データを取得する撮像部と、
    前記画像データに基づいて、前記対象物を含む領域の三次元点群データを生成する点群データ生成部と、を備え、
    前記照射制御部は、
    前記人感情報受付部が前記人感センサーから前記検出範囲内に人がいないことを示す第1情報を受け付けている場合、前記レーザー光の出力を前記第1出力とすることを特徴とする三次元計測装置。
  2. 前記照射制御部は、
    前記人感情報受付部が前記人感センサーから前記検出範囲内に人がいることを示す第2情報を受け付けている場合、前記レーザー光の出力を前記第2出力とする請求項1に記載の三次元計測装置。
  3. 前記照射制御部は、
    前記第2出力で前記レーザー光の照射を開始し、前記レーザー光の照射が完了するまでに前記人感情報受付部が前記第1情報を受け付けた場合、前記第2出力での前記レーザー光の照射を維持する請求項1に記載の三次元計測装置。
  4. 前記照射制御部は、
    前記第1出力で前記レーザー光の照射を開始し、前記レーザー光の照射が完了するまでに前記人感情報受付部が前記人感センサーから前記検出範囲内に人がいることを示す第2情報を受け付けた場合、前記レーザー光の出力を前記第2出力に切り替えるか、前記レーザー光の照射を停止する請求項1に記載の三次元計測装置。
  5. 前記撮像部の撮像モードを制御する撮像制御部を有し、
    前記撮像制御部は、
    前記撮像モードとして、
    前記撮像部の露光時間が第1露光時間である第1撮像モードと、
    前記撮像部の露光時間が前記第1露光時間よりも長い第2撮像モードと、を有し、
    前記出力モードが前記第1出力モードの場合は、前記第1撮像モードとする請求項1ないし4のいずれか1項に記載の三次元計測装置。
  6. 前記撮像制御部は、
    前記レーザー光の出力が前記第2出力の場合は、前記撮像モードを前記第2撮像モードとする請求項5に記載の三次元計測装置。
  7. 前記レーザー光照射部は、前記レーザー光を拡散させるミラーを有する請求項1ないし6のいずれか1項に記載の三次元計測装置。
  8. 前記レーザー光照射部は、前記レーザー光を拡散させるレンズを有する請求項1ないし7のいずれか1項に記載の三次元計測装置。
  9. 前記レーザー光照射部は、前記レーザー光を拡散させる回折光学素子を有する請求項1ないし6のいずれか1項に記載の三次元計測装置。
  10. 対象物を含む領域にレーザー光を照射するレーザー光照射部と、前記レーザー光が照射された前記対象物を撮像して画像データを取得する撮像部と、に接続する制御装置であって、
    検出範囲内の人を検出する人感センサーからの情報を受け付ける人感情報受付部と、
    前記レーザー光照射部から照射される前記レーザー光の出力を、第1出力と、前記第1出力よりも低い第2出力と、に制御する照射制御部と、を備え、
    前記照射制御部は、
    前記人感情報受付部が前記人感センサーから前記検出範囲内に人がいないことを示す第1情報を受け付けている場合、前記レーザー光の出力を前記第1出力とすることを特徴とする制御装置。
  11. ロボットと、
    検出範囲内の人を検出する人感センサーと、
    レーザー光を用いて対象物の三次元計測を行う三次元計測装置と、
    前記三次元計測装置による計測結果に基づいて前記ロボットの動作を制御するロボット制御装置と、を備え、
    前記三次元計測装置は、
    前記対象物を含む領域に前記レーザー光を照射するレーザー光照射部と、
    前記レーザー光照射部から照射される前記レーザー光の出力を、第1出力と、前記第1出力よりも低い第2出力と、に制御する照射制御部と、
    前記レーザー光が照射された前記対象物を撮像して画像データを取得する撮像部と、を備え、
    前記照射制御部は、
    前記人感センサーから前記検出範囲内に人がいないことを示す情報が出力されている場合、前記レーザー光の出力を前記第1出力とすることを特徴とするロボットシステム。
JP2018120989A 2018-06-26 2018-06-26 三次元計測装置、制御装置およびロボットシステム Active JP7135496B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018120989A JP7135496B2 (ja) 2018-06-26 2018-06-26 三次元計測装置、制御装置およびロボットシステム
CN201910548587.2A CN110645907A (zh) 2018-06-26 2019-06-24 三维计测装置、控制装置及机器人系统
US16/451,546 US10837759B2 (en) 2018-06-26 2019-06-25 Three-dimensional measuring device, controller, and robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018120989A JP7135496B2 (ja) 2018-06-26 2018-06-26 三次元計測装置、制御装置およびロボットシステム

Publications (2)

Publication Number Publication Date
JP2020003263A true JP2020003263A (ja) 2020-01-09
JP7135496B2 JP7135496B2 (ja) 2022-09-13

Family

ID=68981615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018120989A Active JP7135496B2 (ja) 2018-06-26 2018-06-26 三次元計測装置、制御装置およびロボットシステム

Country Status (3)

Country Link
US (1) US10837759B2 (ja)
JP (1) JP7135496B2 (ja)
CN (1) CN110645907A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135495B2 (ja) * 2018-06-26 2022-09-13 セイコーエプソン株式会社 三次元計測装置、制御装置およびロボットシステム
JP7155660B2 (ja) * 2018-06-26 2022-10-19 セイコーエプソン株式会社 ロボット制御装置およびロボットシステム
CN112162294B (zh) * 2020-10-10 2023-12-15 北京布科思科技有限公司 一种基于激光传感器的机器人结构检测方法
DE102021130999A1 (de) 2021-11-25 2023-05-25 Kuka Deutschland Gmbh Verfahren, Laser-optisches Erfassungssystem und Roboterarbeitsplatz
DE102022104912A1 (de) * 2022-03-02 2023-09-07 Carl Zeiss GOM Metrology GmbH Optisches Messgerät und Verfahren zum dreidimensionalen optischen Vermessen von Objekten
CN114877920A (zh) * 2022-06-01 2022-08-09 上海钊晟传感技术有限公司 一种人眼安全型激光传感器方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352172A (ja) * 2004-06-10 2005-12-22 Sony Corp 画像投射装置及びその制御方法
JP2008271261A (ja) * 2007-04-20 2008-11-06 Sharp Corp 電子機器
JP2012220473A (ja) * 2011-04-14 2012-11-12 Yaskawa Electric Corp 3次元形状計測装置およびロボットシステム
JP2014059281A (ja) * 2012-09-19 2014-04-03 Sanyo Electric Co Ltd 情報取得装置および物体検出装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548211A (ja) * 1991-08-12 1993-02-26 Fanuc Ltd 半導体レーザセンサの制御方式
DE4325139C1 (de) * 1993-07-27 1994-12-15 Deutsche Aerospace Verfahren zur Vermeidung von Augenschäden beim Einsatz von Hochleistungslasern
JP3584399B2 (ja) 2001-01-17 2004-11-04 光進電気工業株式会社 積雪計
JP4375710B2 (ja) * 2003-05-09 2009-12-02 パルステック工業株式会社 3次元形状測定装置および3次元形状測定方法
FR2902307B1 (fr) * 2006-06-14 2008-08-29 Quidd Sas Dispositif d'imagerie optique
JP5190761B2 (ja) 2008-01-10 2013-04-24 株式会社Ihi 移動ロボットの監視装置および監視方法
DE102009031732B3 (de) * 2009-07-04 2010-11-25 Sick Ag Entfernungsmessender optoelektronischer Sensor
CN102681312B (zh) * 2011-03-16 2015-06-24 宏瞻科技股份有限公司 激光投影系统的人眼安全保护系统
US8576382B2 (en) * 2011-03-22 2013-11-05 Exelis, Inc. Method and apparatus for controlling laser transmissions for enhanced safety
CN102547098B (zh) * 2012-02-03 2013-06-12 深圳市保千里电子有限公司 一种激光夜视系统及其实现人眼保护的方法
SK7142Y1 (sk) * 2013-04-09 2015-06-02 Kvant Spol S R O Spôsob riadenia bezpečnosti vykresľovania laserových zariadení nastavovaním výkonu laserového žiarenia
CN204130899U (zh) * 2014-11-12 2015-01-28 河北科技大学 一种激光投射装置
CN105373223B (zh) * 2015-10-10 2020-09-25 Tcl移动通信科技(宁波)有限公司 一种自动调节发光强度的发光设备及方法
WO2017186850A1 (en) * 2016-04-28 2017-11-02 Trinamix Gmbh Detector for optically detecting at least one object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352172A (ja) * 2004-06-10 2005-12-22 Sony Corp 画像投射装置及びその制御方法
JP2008271261A (ja) * 2007-04-20 2008-11-06 Sharp Corp 電子機器
JP2012220473A (ja) * 2011-04-14 2012-11-12 Yaskawa Electric Corp 3次元形状計測装置およびロボットシステム
JP2014059281A (ja) * 2012-09-19 2014-04-03 Sanyo Electric Co Ltd 情報取得装置および物体検出装置

Also Published As

Publication number Publication date
JP7135496B2 (ja) 2022-09-13
US20190390952A1 (en) 2019-12-26
CN110645907A (zh) 2020-01-03
US10837759B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
JP7135495B2 (ja) 三次元計測装置、制御装置およびロボットシステム
JP7135496B2 (ja) 三次元計測装置、制御装置およびロボットシステム
JP5189287B2 (ja) 歯科用レーザデジタイザシステム
CN110640749B (zh) 机器人控制装置以及机器人系统
KR101043976B1 (ko) 구강용 스캐너
JP5225631B2 (ja) 測定プローブおよびその制御方法
EP2259010A1 (en) Reference sphere detecting device, reference sphere position detecting device, and three-dimensional coordinate measuring device
US11312029B2 (en) Three-dimensional measuring apparatus, robot, and robot system
JP6009753B2 (ja) 画像測定装置
JP2006514739A5 (ja)
JP2006514739A (ja) 歯科用レーザデジタイザシステム
JP2017520755A (ja) 3d粗レーザスキャナ
KR20110068954A (ko) 구강용 스캐너
JP3941631B2 (ja) 三次元撮像装置および方法
JP2006204635A (ja) 内視鏡
JP2020159730A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
US20210080577A1 (en) Three-dimensional survey apparatus, three-dimensional survey method, and three-dimensional survey program
JP2020159732A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
CN111750800B (zh) 三维测量装置及机器人系统
JP2022098072A (ja) 三次元形状計測方法、三次元形状計測装置およびロボットシステム
JP2022098073A (ja) 三次元形状計測方法、三次元形状計測装置およびロボットシステム
KR20210023665A (ko) 시선을 추적하는 방법 및 전자 장치
JP2016125894A (ja) 物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R150 Certificate of patent or registration of utility model

Ref document number: 7135496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150