JP2021047109A - 深度センサーの制御方法、深度センサーおよびロボットシステム - Google Patents
深度センサーの制御方法、深度センサーおよびロボットシステム Download PDFInfo
- Publication number
- JP2021047109A JP2021047109A JP2019170393A JP2019170393A JP2021047109A JP 2021047109 A JP2021047109 A JP 2021047109A JP 2019170393 A JP2019170393 A JP 2019170393A JP 2019170393 A JP2019170393 A JP 2019170393A JP 2021047109 A JP2021047109 A JP 2021047109A
- Authority
- JP
- Japan
- Prior art keywords
- current
- control
- light
- measurement
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000005259 measurement Methods 0.000 claims abstract description 160
- 238000003384 imaging method Methods 0.000 claims abstract description 68
- 230000003287 optical effect Effects 0.000 claims abstract description 43
- 238000006243 chemical reaction Methods 0.000 claims description 63
- 238000001514 detection method Methods 0.000 claims description 41
- 230000010363 phase shift Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 239000012636 effector Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
計測用印加電流により計測用出射光を出射し、制御用印加電流により制御用出射光を出射する光源と、
揺動軸まわりの第1回転方向および前記第1回転方向とは反対の第2回転方向に交互に揺動するミラーを備え、前記光源から出射された前記計測用出射光を対象物に向けて反射して走査する光走査部と、
撮像部と、
前記制御用出射光の輝度を検出する受光部と、
を備える深度センサーを用い、
前記光走査部で走査された前記計測用出射光により形成されるパターン光を前記対象物に投影し、前記パターン光が投影されている前記対象物を前記撮像部により撮像することにより、前記対象物の深度計測を行う深度センサーの制御方法であって、
前記光源および前記光走査部は、前記ミラーが前記第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間において前記パターン光を前記対象物に投影し、
前記第n期間と前記第n+1期間との間の第m(mは1以上の整数)期間に、前記制御用印加電流により出射された前記制御用出射光の輝度と、前記制御用出射光の出射に用いた前記制御用印加電流と、に基づいて、前記計測用印加電流を決定することを特徴とする。
図1は、実施形態に係るロボットシステムの全体構成を示す図である。図2は、深度センサーの全体構成を示す図である。図3は、図2に示す深度センサーが備える光走査部を示す平面図である。図4は、投影部により投影されるパターン光の一例を示す平面図である。図5は、図2に示す制御回路の機能ブロック図である。
ロボット2は、例えば、精密機器やこれを構成する部品の給材、除材、搬送、組立等の作業を行うロボットである。ただし、ロボット2の用途としては、特に限定されない。本実施形態に係るロボット2は、6軸ロボットであり、図1に示すように、床や天井に固定されるベース21と、ベース21に連結されたロボットアーム22と、を有する。
ロボット制御装置5は、ホストコンピューター6からロボット2の位置指令を受け、各アーム221〜226が受けた位置指令に応じた位置となるように、第1駆動装置251〜第6駆動装置256の駆動を互いに独立して制御する。ロボット制御装置5は、例えば、コンピューターから構成され、情報を処理するプロセッサー(CPU)と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。
深度センサー4は、位相シフト法を用いて対象物Wの深度計測を行う。図2に示すように、深度センサー4は、対象物Wを含む領域にレーザー光Lにより形成したパターン光PLを投影する投影部40と、パターン光PLが投影された対象物Wを含む領域を撮像した撮像画像を取得する撮像部47と、投影部40および撮像部47の駆動を制御する制御回路48と、を備える。
得られた変換テーブルTは、変換テーブル保持部482に出力され、保持される。
次に、対象物Wの深度計測動作Wmに用いる位相シフト法について説明する。
図7は、位相シフト法を用いた深度計測動作Wmの手順を示すフローチャートである。
ホストコンピューター6は、計測部486が算出した対象物Wの三次元情報からロボット2の位置指令を生成し、生成した位置指令をロボット制御装置5に送信する。ロボット制御装置5は、ホストコンピューター6から受信した位置指令に基づいて第1駆動装置251、第2駆動装置252、第3駆動装置253、第4駆動装置254、第5駆動装置255および第6駆動装置256をそれぞれ独立して制御する。これにより、第1アーム221、第2アーム222、第3アーム223、第4アーム224、第5アーム225および第6アーム226を指示された位置に移動させる。なお、本実施形態では、ホストコンピューター6と計測部486とが別体となっているが、これに限定されず、ホストコンピューター6に計測部486としての機能が搭載されていてもよい。
次に、実施形態に係る深度センサーの制御方法について説明する。
図8では、4回の連続した深度計測動作Wmを示している。4回の深度計測動作Wmは、前述した第1撮像ステップS11、第2撮像ステップS12、第3撮像ステップS13、第4撮像ステップS14に対応している。図8では、各深度計測動作Wmの1つ直前の描画期間から順に、描画期間を、第n期間、第n+1期間、第n+2期間、第n+3期間、第n+4期間としている。nは、1以上の整数である。そうすると、4回の深度計測動作Wmは、それぞれ、第n+1期間から第n+4期間までの4回の描画期間を含んでいる。また、図8の各深度計測動作Wmに含まれた第n+4期間は、次の深度計測動作Wmにおける第n期間と重複している。
第2撮像ステップS12における第n期間は、第1撮像ステップS11における第n+4期間と重複している。第1撮像ステップS11における第n+4期間では、計測用出射光であるレーザー光Lが出射されるように、描画制御部481によって各部が制御される。また、第2撮像ステップS12における第n+1期間、第n+2期間、第n+3期間、第n+4期間の4つの期間でも、それぞれ計測用出射光であるレーザー光Lが出射されるように、描画制御部481によって各部が制御される。4つの期間に投影されるパターン光PLは、第2パターン光PL2をπ/2ずつ位相をずらしたものである。各第2パターン光PL2は、それぞれ対象物Wに投影され、その状態で対象物Wを含む領域がカメラ471で撮像される。そして、その撮像結果に基づいて、対象物Wの深度計測が行われる。
次に、第m期間に実行するAPC動作WAPCについて説明する。
図9は、APC動作WAPCの一例を示すフローチャートである。
APC処理部483は、まず、第m期間において、レーザー光Lを出射させない時間帯を設け、その時間帯でレーザー光源42に対する制御用印加電流Icの印加を停止し得る。そして、そのタイミングで、環境光検出工程S21として、受光部45に入射する光を検出し、その輝度を環境光の輝度として取得する。このようにして取得した環境光の輝度は、後述する検出輝度PVのオフセット量を決める要素として用いられる。このようにして求めたオフセット量に基づいて検出輝度PVにオフセット処理を施すことにより、検出輝度PVに含まれる環境光の影響を除去することができる。これにより、制御用出射光による輝度をより高精度に検出することが可能になる。その結果、APCの精度をより高めることができる。
次に、第1電流決定工程S22として、第1目標輝度SV1を輝度25%に設定する。輝度25%とは、例えば、レーザー光源42の定格の最大輝度の25%である。そして、第1目標輝度SV1の制御用出射光を得るための制御用印加電流である第1電流I1を決定する。
図10は、第1電流決定動作W1の一例を示すフローチャートである。
次に、第2電流決定工程S23として、第2目標輝度SV2を輝度75%に設定する。輝度75%とは、例えば、レーザー光源42の定格の最大輝度の75%である。そして、第2目標輝度SV2の制御用出射光を得るための制御用印加電流である第2電流I2を決定する。
次に、第3電流決定工程S24として、第3目標輝度SV3を輝度50%に設定する。すなわち、第3目標輝度SV3として、第1目標輝度SV1および第2目標輝度SV2とは異なる値を設定する。そして、第3目標輝度SV3の制御用出射光を得るための制御用印加電流である第3電流I3を決定する。
次に、APC処理部483では、前述した第1目標輝度SV1およびそれを実現する第1電流I1、前述した第2目標輝度SV2およびそれを実現する第2電流I2、ならびに、前述した第3目標輝度SV3およびそれを実現する第3電流I3に基づき、レーザー光源42の輝度と電流との相関関係、つまり前述した変換テーブルTを求める。
第m期間において以上のようにして生成され、更新された変換テーブルTに基づいて、計測用印加電流Imを決定する。本工程の後、描画制御部481からの制御信号により、スイッチング部484の動作を制御し、変換テーブル保持部482と第2駆動回路420とを接続する。その結果、第m期間後の第n+1期間〜第n+4期間では、本工程で決定された計測用印加電流Imをレーザー光源42に印加することにより、目標輝度SVを高い精度で満たす計測用出射光の出射が可能になる。
Claims (9)
- 計測用印加電流により計測用出射光を出射し、制御用印加電流により制御用出射光を出射する光源と、
揺動軸まわりの第1回転方向および前記第1回転方向とは反対の第2回転方向に交互に揺動するミラーを備え、前記光源から出射された前記計測用出射光を対象物に向けて反射して走査する光走査部と、
撮像部と、
前記制御用出射光の輝度を検出する受光部と、
を備える深度センサーを用い、
前記光走査部で走査された前記計測用出射光により形成されるパターン光を前記対象物に投影し、前記パターン光が投影されている前記対象物を前記撮像部により撮像することにより、前記対象物の深度計測を行う深度センサーの制御方法であって、
前記光源および前記光走査部は、前記ミラーが前記第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間において前記パターン光を前記対象物に投影し、
前記第n期間と前記第n+1期間との間の第m(mは1以上の整数)期間に、前記制御用印加電流により出射された前記制御用出射光の輝度と、前記制御用出射光の出射に用いた前記制御用印加電流と、に基づいて、前記計測用印加電流を決定することを特徴とする深度センサーの制御方法。 - 前記計測用印加電流の決定は、
第1目標輝度SV1に基づいて前記光源に印加すべき前記制御用印加電流である第1電流I1を求める第1電流決定工程と、
前記第1目標輝度SV1より大きい第2目標輝度SV2に基づいて前記光源に印加すべき前記制御用印加電流である第2電流I2を求める第2電流決定工程と、
前記第1目標輝度SV1および前記第1電流I1、ならびに、前記第2目標輝度SV2および前記第2電流I2に基づき、前記光源の輝度と電流との相関関係を表す変換テーブルを求める変換テーブル生成工程と、
前記変換テーブルに基づいて、前記計測用印加電流を決定する印加電流決定工程と、
を有する請求項1に記載の深度センサーの制御方法。 - 前記第1電流決定工程は、
目標輝度SVに基づいて前記光源に印加すべき電流Inを設定する電流設定工程と、
前記電流Inにより前記光源から出射された出射光の輝度である検出輝度PVを前記受光部により検出する輝度検出工程と、
前記目標輝度SVおよび前記検出輝度PVに基づいて、前記電流Inを更新する電流更新工程と、
を有し、
前記輝度検出工程および前記電流更新工程を2回以上繰り返した後、更新後の前記電流Inを前記第1電流I1とする工程である請求項2に記載の深度センサーの制御方法。 - 前記第2電流決定工程は、
目標輝度SVに基づいて前記光源に印加すべき電流Inを設定する電流設定工程と、
前記電流Inにより前記光源から出射された出射光の輝度である検出輝度PVを前記受光部により検出する輝度検出工程と、
前記目標輝度SVおよび前記検出輝度PVに基づいて、前記電流Inを更新する電流更新工程と、
を有し、
前記輝度検出工程および前記電流更新工程を2回以上繰り返した後、更新後の前記電流Inを前記第2電流I2とする工程である請求項2に記載の深度センサーの制御方法。 - 前記電流更新工程は、
前記検出輝度PVが前記目標輝度SVより大きい場合、更新前よりも小さい値に前記電流Inを更新し、
前記検出輝度PVが前記目標輝度SVより小さい場合、更新前よりも大きい値に前記電流Inを更新する工程である請求項3または4に記載の深度センサーの制御方法。 - 前記第n期間は、前記深度センサーが前記パターン光として第1パターン光を前記対象物に複数回投影するときの最後の回に対応する期間であり、
前記第n+1期間は、前記深度センサーが前記パターン光として前記第1パターン光とはパターンが異なる第2パターン光を前記対象物に複数回投影するときの最初の回に対応する期間である請求項1ないし5のいずれか1項に記載の深度センサーの制御方法。 - 前記制御用印加電流は、前記計測用印加電流の最大電流以下である請求項1ないし6のいずれか1項に記載の深度センサーの制御方法。
- 計測用印加電流により計測用出射光を出射し、制御用印加電流により制御用出射光を出射する光源と、
揺動軸まわりの第1回転方向および前記第1回転方向とは反対の第2回転方向に交互に揺動するミラーを備え、前記光源から出射された前記計測用出射光を前記対象物に向けて反射して走査する光走査部と、
前記光走査部で走査された前記計測用出射光により形成され、前記対象物に投影されたパターン光を前記対象物とともに撮像する撮像部と、
前記制御用出射光の輝度を検出する受光部と、
前記計測用印加電流および前記制御用印加電流を制御する制御回路と、
を備え、
前記光源および前記光走査部は、前記ミラーが前記第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間において前記パターン光を前記対象物に投影し、
前記制御回路は、前記第n期間と前記第n+1期間との間の第m(mは1以上の整数)期間に、前記制御用印加電流により出射された前記制御用出射光の輝度と、前記制御用出射光の出射に用いた前記制御用印加電流と、に基づいて、前記計測用印加電流を決定することを特徴とする深度センサー。 - ロボットアームを備えるロボットと、
対象物の深度計測を行う深度センサーと、
前記深度センサーによる計測結果に基づいて前記ロボットの動作を制御するロボット制御装置と、
を備え、
前記深度センサーは、
計測用印加電流により計測用出射光を出射し、制御用印加電流により制御用出射光を出射する光源と、
揺動軸まわりの第1回転方向および前記第1回転方向とは反対の第2回転方向に交互に揺動するミラーを備え、前記光源から出射された前記計測用出射光を前記対象物に向けて反射して走査する光走査部と、
前記光走査部で走査された前記計測用出射光により形成され、前記対象物に投影されたパターン光を前記対象物とともに撮像する撮像部と、
前記制御用出射光の輝度を検出する受光部と、
前記計測用印加電流および前記制御用印加電流を制御する制御回路と、
を備え、
前記光源および前記光走査部は、前記ミラーが前記第1回転方向にn(nは1以上の整数)回目揺動している第n期間、および、n+1回目揺動している第n+1期間において前記パターン光を前記対象物に投影し、
前記制御回路は、前記第n期間と前記第n+1期間との間の第m(mは1以上の整数)期間に、前記制御用印加電流により出射された前記制御用出射光の輝度と、前記制御用出射光の出射に用いた前記制御用印加電流と、に基づいて、前記計測用印加電流を決定することを特徴とするロボットシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019170393A JP7310481B2 (ja) | 2019-09-19 | 2019-09-19 | 深度センサーの制御方法、深度センサーおよびロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019170393A JP7310481B2 (ja) | 2019-09-19 | 2019-09-19 | 深度センサーの制御方法、深度センサーおよびロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021047109A true JP2021047109A (ja) | 2021-03-25 |
JP7310481B2 JP7310481B2 (ja) | 2023-07-19 |
Family
ID=74876213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019170393A Active JP7310481B2 (ja) | 2019-09-19 | 2019-09-19 | 深度センサーの制御方法、深度センサーおよびロボットシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7310481B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH085344A (ja) * | 1994-06-15 | 1996-01-12 | Minolta Co Ltd | 3次元形状入力装置 |
JP2009258089A (ja) * | 2008-03-19 | 2009-11-05 | Mitsubishi Electric Corp | 形状計測装置 |
JP2014089062A (ja) * | 2012-10-29 | 2014-05-15 | Nikon Corp | 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム |
JP2015102485A (ja) * | 2013-11-27 | 2015-06-04 | 株式会社ニコン | 形状測定装置、光走査装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム |
JP2019059004A (ja) * | 2017-09-28 | 2019-04-18 | セイコーエプソン株式会社 | ロボットシステム |
-
2019
- 2019-09-19 JP JP2019170393A patent/JP7310481B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH085344A (ja) * | 1994-06-15 | 1996-01-12 | Minolta Co Ltd | 3次元形状入力装置 |
JP2009258089A (ja) * | 2008-03-19 | 2009-11-05 | Mitsubishi Electric Corp | 形状計測装置 |
JP2014089062A (ja) * | 2012-10-29 | 2014-05-15 | Nikon Corp | 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム |
JP2015102485A (ja) * | 2013-11-27 | 2015-06-04 | 株式会社ニコン | 形状測定装置、光走査装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム |
JP2019059004A (ja) * | 2017-09-28 | 2019-04-18 | セイコーエプソン株式会社 | ロボットシステム |
Also Published As
Publication number | Publication date |
---|---|
JP7310481B2 (ja) | 2023-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8929642B2 (en) | Three-dimensional scanner and robot system | |
US9188432B2 (en) | Profile measuring apparatus, structure manufacturing system, method for measuring profile, method for manufacturing structure, and non-transitory computer readable medium | |
US11312029B2 (en) | Three-dimensional measuring apparatus, robot, and robot system | |
JP2014159989A (ja) | 物体検出装置及びロボットシステム | |
JP2020159730A (ja) | 三次元計測方法、三次元計測装置およびロボットシステム | |
JP5865562B1 (ja) | 走査型内視鏡用画像処理装置 | |
JP2021047109A (ja) | 深度センサーの制御方法、深度センサーおよびロボットシステム | |
JP7310218B2 (ja) | 三次元計測方法、三次元計測装置およびロボットシステム | |
JP2568388B2 (ja) | 形状計測装置 | |
JP2018060220A (ja) | レーザ投射表示装置 | |
JP6714393B2 (ja) | 計測装置、システム、計測方法、および物品の製造方法 | |
JP2020159731A (ja) | 三次元計測方法、三次元計測装置およびロボットシステム | |
JP4962769B2 (ja) | 3次元顕微鏡システム | |
JP6927101B2 (ja) | 光検出装置、光検出方法及びライダー装置 | |
JP5205101B2 (ja) | パターン描画装置およびパターン描画方法 | |
JP2022098072A (ja) | 三次元形状計測方法、三次元形状計測装置およびロボットシステム | |
JP5016812B2 (ja) | レーザ加工装置及びレーザ加工装置の製造方法 | |
JP7268553B2 (ja) | 揺動角制御方法、三次元計測装置およびロボットシステム | |
JP5200866B2 (ja) | ロボットシステム、ロボット制御装置およびロボット制御方法 | |
JP2021076385A (ja) | 測定装置、及び光量制御方法 | |
CN111750800B (zh) | 三维测量装置及机器人系统 | |
JP2022098073A (ja) | 三次元形状計測方法、三次元形状計測装置およびロボットシステム | |
JP2021148670A (ja) | 測定方法、光学装置、計測装置、移動体、ロボット、電子機器及び造形装置 | |
CN118294106A (zh) | Mems微振镜标定方法、装置、存储介质及系统 | |
JP2020146823A (ja) | ロボットの部品ピッキングシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7310481 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |