JP2002046087A - ３次元位置計測方法及び計測装置並びにロボット制御装置 - Google Patents
３次元位置計測方法及び計測装置並びにロボット制御装置Info
- Publication number
- JP2002046087A JP2002046087A JP2000233305A JP2000233305A JP2002046087A JP 2002046087 A JP2002046087 A JP 2002046087A JP 2000233305 A JP2000233305 A JP 2000233305A JP 2000233305 A JP2000233305 A JP 2000233305A JP 2002046087 A JP2002046087 A JP 2002046087A
- Authority
- JP
- Japan
- Prior art keywords
- model
- cad
- image
- cad model
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
(57)【要約】
【課題】計測機器の設置が容易で、かつ計測時間を短縮
し得る３次元位置計測装置を提供する。 【解決手段】距離画像センサ１２により計測した対象物
１１の３次元座標値をＣＡＤモデル座標系に変換した
後、モデリングする。対象物画像処理部２４は、対象物
モデルの模擬画像を生成する。また、対象物１１のＣＡ
Ｄデータをモデリングし、ＣＡＤモデル画像処理部２８
にてＣＡＤモデルの模擬画像を生成する。上記対象物モ
デルの模擬画像とＣＡＤモデルの模擬画像の奥行き情報
を比較照合部３０にて比較照合し、その差分に基づいて
移動量を計算する。ＣＡＤモデル移動処理部３１は、上
記移動量に従ってＣＡＤモデルを平行・回転移動し、Ｃ
ＡＤモデルを対象物モデルに近付け、一致した際に対象
物１１のＣＡＤモデル座標系原点からのずれ量を求め
る。
し得る３次元位置計測装置を提供する。 【解決手段】距離画像センサ１２により計測した対象物
１１の３次元座標値をＣＡＤモデル座標系に変換した
後、モデリングする。対象物画像処理部２４は、対象物
モデルの模擬画像を生成する。また、対象物１１のＣＡ
Ｄデータをモデリングし、ＣＡＤモデル画像処理部２８
にてＣＡＤモデルの模擬画像を生成する。上記対象物モ
デルの模擬画像とＣＡＤモデルの模擬画像の奥行き情報
を比較照合部３０にて比較照合し、その差分に基づいて
移動量を計算する。ＣＡＤモデル移動処理部３１は、上
記移動量に従ってＣＡＤモデルを平行・回転移動し、Ｃ
ＡＤモデルを対象物モデルに近付け、一致した際に対象
物１１のＣＡＤモデル座標系原点からのずれ量を求め
る。
Description
【０００１】
【発明の属する技術分野】本発明は、対象物を画像セン
サにより計測した画像及び対象物のＣＡＤデータを比較
して対象物の３次元位置を計測する３次元位置計測方法
及び計測装置並びに上記計測した位置情報に基づいてロ
ボットのアーム軌道を補正するロボット制御装置に関す
る。
サにより計測した画像及び対象物のＣＡＤデータを比較
して対象物の３次元位置を計測する３次元位置計測方法
及び計測装置並びに上記計測した位置情報に基づいてロ
ボットのアーム軌道を補正するロボット制御装置に関す
る。
【０００２】
【従来の技術】従来、計測対象物の３次元位置を計測す
る３次元位置計測方法としては、写真測量による計測が
一般的に行なわれているが、その他、計測対象物を複数
台例えば２台のカメラにより撮影し、そのカメラ映像と
計測対象物の３次元ＣＡＤ図面データとを比較照合する
ことにより位置計測を行なう方法がある。この方法で
は、計測対象物を撮影した各カメラ映像を処理して輪郭
濃淡画像を取出し、この輪郭濃淡画像を３次元ＣＡＤ図
面データと比較照合する際、３次元ＣＡＤ図面データを
回転移動させることにより、各カメラ映像との一致点を
検出している。
る３次元位置計測方法としては、写真測量による計測が
一般的に行なわれているが、その他、計測対象物を複数
台例えば２台のカメラにより撮影し、そのカメラ映像と
計測対象物の３次元ＣＡＤ図面データとを比較照合する
ことにより位置計測を行なう方法がある。この方法で
は、計測対象物を撮影した各カメラ映像を処理して輪郭
濃淡画像を取出し、この輪郭濃淡画像を３次元ＣＡＤ図
面データと比較照合する際、３次元ＣＡＤ図面データを
回転移動させることにより、各カメラ映像との一致点を
検出している。
【０００３】
【発明が解決しようとする課題】上記従来における計測
対象物の輪郭濃淡画像と計測対象物の３次元ＣＡＤ図面
データとを比較照合する計測方法では、計測対象物の輪
郭濃淡画像を比較照合データとしているので、データ量
が非常に多く、計測時間を完了するまでに例えば数分と
いう非常に長い時間を必要とする。また、複数台のカメ
ラを必要とするので、この点からも処理するデータ量が
増大し、かつ機器構成も複雑になると共に、カメラの設
置が非常に面倒である。
対象物の輪郭濃淡画像と計測対象物の３次元ＣＡＤ図面
データとを比較照合する計測方法では、計測対象物の輪
郭濃淡画像を比較照合データとしているので、データ量
が非常に多く、計測時間を完了するまでに例えば数分と
いう非常に長い時間を必要とする。また、複数台のカメ
ラを必要とするので、この点からも処理するデータ量が
増大し、かつ機器構成も複雑になると共に、カメラの設
置が非常に面倒である。
【０００４】本発明は上記の課題を解決するためになさ
れたもので、計測機器の設置が容易で、かつ計測時間を
短縮し得る３次元位置計測方法及び計測装置を提供する
ことを目的とする。
れたもので、計測機器の設置が容易で、かつ計測時間を
短縮し得る３次元位置計測方法及び計測装置を提供する
ことを目的とする。
【０００５】また、本発明は、対象物のＣＡＤデータと
対象物の実際の設置位置がずれている場合であっても、
計測した対象物の位置データによりロボットのアーム軌
道を補正してロボットを正確に制御でき、対象物に対す
る作業精度を向上し得るロボット制御装置を提供するこ
とを目的とする。
対象物の実際の設置位置がずれている場合であっても、
計測した対象物の位置データによりロボットのアーム軌
道を補正してロボットを正確に制御でき、対象物に対す
る作業精度を向上し得るロボット制御装置を提供するこ
とを目的とする。
【０００６】
【課題を解決するための手段】第１の発明に係る３次元
位置計測方法は、距離画像センサにより対象物を計測し
たデータから対象物モデルの模擬画像を生成すると共
に、上記対象物のＣＡＤデータからＣＡＤモデルの模擬
画像を生成し、上記対象物モデルの模擬画像とＣＡＤモ
デルの模擬画像の奥行き情報を比較照合して上記対象物
モデルとＣＡＤモデルの位置のずれ量を計測することを
特徴とする。
位置計測方法は、距離画像センサにより対象物を計測し
たデータから対象物モデルの模擬画像を生成すると共
に、上記対象物のＣＡＤデータからＣＡＤモデルの模擬
画像を生成し、上記対象物モデルの模擬画像とＣＡＤモ
デルの模擬画像の奥行き情報を比較照合して上記対象物
モデルとＣＡＤモデルの位置のずれ量を計測することを
特徴とする。
【０００７】第２の発明に係る３次元位置計測方法は、
距離画像センサにより対象物を計測したデータから対象
物モデルの模擬画像を生成すると共に、上記対象物のＣ
ＡＤデータからＣＡＤモデルの模擬画像を生成し、上記
対象物モデルの模擬画像とＣＡＤモデルの模擬画像の奥
行き情報を比較照合して上記対象物モデルとＣＡＤモデ
ルの位置のずれ量を計測し、このずれ量を上記ＣＡＤモ
デルの座標系原点に加算して上記対象物の位置を計測す
ることを特徴とする。
距離画像センサにより対象物を計測したデータから対象
物モデルの模擬画像を生成すると共に、上記対象物のＣ
ＡＤデータからＣＡＤモデルの模擬画像を生成し、上記
対象物モデルの模擬画像とＣＡＤモデルの模擬画像の奥
行き情報を比較照合して上記対象物モデルとＣＡＤモデ
ルの位置のずれ量を計測し、このずれ量を上記ＣＡＤモ
デルの座標系原点に加算して上記対象物の位置を計測す
ることを特徴とする。
【０００８】第３の発明は、上記第１又は第２の発明に
係る３次元位置計測方法において、上記距離画像センサ
を上記対象物を作業対象とするロボットのアーム先端に
装着して対象物に対する位置計測を行なうことを特徴と
する。
係る３次元位置計測方法において、上記距離画像センサ
を上記対象物を作業対象とするロボットのアーム先端に
装着して対象物に対する位置計測を行なうことを特徴と
する。
【０００９】第４の発明に係る３次元位置計測装置は、
対象物を計測して該対象物の３次元座標値を得る距離画
像センサと、上記対象物の３次元座標値をモデリングし
奥行き情報を含む対象物モデルの模擬画像を得る第１の
画像処理手段と、上記対象物のＣＡＤデータをモデリン
グし、奥行き情報を含むＣＡＤモデルの模擬画像を得る
第２の画像処理手段と、上記第１の画像処理手段で得た
対象物モデルの奥行き情報と第２の画像処理手段で得た
ＣＡＤモデルの奥行き情報とを比較照合し、上記対象物
モデルとＣＡＤモデルの位置のずれ量を計測する照合手
段とを具備したことを特徴とする。
対象物を計測して該対象物の３次元座標値を得る距離画
像センサと、上記対象物の３次元座標値をモデリングし
奥行き情報を含む対象物モデルの模擬画像を得る第１の
画像処理手段と、上記対象物のＣＡＤデータをモデリン
グし、奥行き情報を含むＣＡＤモデルの模擬画像を得る
第２の画像処理手段と、上記第１の画像処理手段で得た
対象物モデルの奥行き情報と第２の画像処理手段で得た
ＣＡＤモデルの奥行き情報とを比較照合し、上記対象物
モデルとＣＡＤモデルの位置のずれ量を計測する照合手
段とを具備したことを特徴とする。
【００１０】第５の発明に係る３次元位置計測装置は、
対象物を計測して該対象物の３次元座標値を得る距離画
像センサと、上記対象物の３次元座標値をモデリングし
奥行き情報を含む対象物モデルの模擬画像を得る第１の
画像処理手段と、上記対象物のＣＡＤデータをモデリン
グし、奥行き情報を含むＣＡＤモデルの模擬画像を得る
第２の画像処理手段と、上記第１の画像処理手段で得た
対象物モデルの奥行き情報と第２の画像処理手段で得た
ＣＡＤモデルの奥行き情報とを比較照合し、上記対象物
モデルとＣＡＤモデルの位置のずれ量を計測すると共
に、このずれ量に基づいて上記ＣＡＤモデルの基準位置
に対する移動量を算出する照合手段と、この照合手段に
より算出した移動量に基づいて上記ＣＡＤモデルの基準
位置を平行・回転移動させるＣＡＤモデル移動手段と、
上記照合手段により算出した移動量を予め設定した閾値
と比較し、上記移動量が閾値より大きい状態では上記Ｃ
ＡＤモデルに対する移動処理を繰り返し実行してＣＡＤ
モデルを対象物モデルの位置に近付け、上記移動量が閾
値より小さくなった時点で計測処理を終了し、上記ＣＡ
Ｄモデルの移動量から上記対象物モデルとＣＡＤモデル
の位置のずれ量を算出するずれ量算出手段とを具備した
ことを特徴とする。
対象物を計測して該対象物の３次元座標値を得る距離画
像センサと、上記対象物の３次元座標値をモデリングし
奥行き情報を含む対象物モデルの模擬画像を得る第１の
画像処理手段と、上記対象物のＣＡＤデータをモデリン
グし、奥行き情報を含むＣＡＤモデルの模擬画像を得る
第２の画像処理手段と、上記第１の画像処理手段で得た
対象物モデルの奥行き情報と第２の画像処理手段で得た
ＣＡＤモデルの奥行き情報とを比較照合し、上記対象物
モデルとＣＡＤモデルの位置のずれ量を計測すると共
に、このずれ量に基づいて上記ＣＡＤモデルの基準位置
に対する移動量を算出する照合手段と、この照合手段に
より算出した移動量に基づいて上記ＣＡＤモデルの基準
位置を平行・回転移動させるＣＡＤモデル移動手段と、
上記照合手段により算出した移動量を予め設定した閾値
と比較し、上記移動量が閾値より大きい状態では上記Ｃ
ＡＤモデルに対する移動処理を繰り返し実行してＣＡＤ
モデルを対象物モデルの位置に近付け、上記移動量が閾
値より小さくなった時点で計測処理を終了し、上記ＣＡ
Ｄモデルの移動量から上記対象物モデルとＣＡＤモデル
の位置のずれ量を算出するずれ量算出手段とを具備した
ことを特徴とする。
【００１１】第６の発明は、上記第５の発明に係る３次
元位置計測装置において、ずれ量算出手段により算出し
た対象物モデルとＣＡＤモデルの位置のずれ量をＣＡＤ
モデルの座標系原点に加算して対象物の位置を計測する
ことを特徴とする。
元位置計測装置において、ずれ量算出手段により算出し
た対象物モデルとＣＡＤモデルの位置のずれ量をＣＡＤ
モデルの座標系原点に加算して対象物の位置を計測する
ことを特徴とする。
【００１２】第７の発明は、上記第４、第５又は第６の
発明に係る３次元位置計測装置において、上記距離画像
センサは、レーザにより対象物の奥行きを計測するレー
ザセンサを用いて構成したことを特徴とする。
発明に係る３次元位置計測装置において、上記距離画像
センサは、レーザにより対象物の奥行きを計測するレー
ザセンサを用いて構成したことを特徴とする。
【００１３】第８の発明は、上記第４、第５又は第６の
発明に係る３次元位置計測装置において、上記距離画像
センサを上記対象物から所定距離離れた位置に固定設置
して位置計測を行なうことを特徴とする。
発明に係る３次元位置計測装置において、上記距離画像
センサを上記対象物から所定距離離れた位置に固定設置
して位置計測を行なうことを特徴とする。
【００１４】第９の発明は、上記第４、第５又は第６の
発明に係る３次元位置計測装置において、上記距離画像
センサを上記対象物を作業対象とするロボットのアーム
先端に装着して対象物に対する位置計測を行なうことを
特徴とする。
発明に係る３次元位置計測装置において、上記距離画像
センサを上記対象物を作業対象とするロボットのアーム
先端に装着して対象物に対する位置計測を行なうことを
特徴とする。
【００１５】第１０の発明に係るロボット制御装置は、
距離画像センサにより対象物を計測したデータから対象
物モデルの模擬画像を生成すると共に、上記対象物のＣ
ＡＤデータからＣＡＤモデルの模擬画像を生成し、上記
対象物モデルの模擬画像とＣＡＤモデルの模擬画像の奥
行き情報を比較照合して上記対象物モデルとＣＡＤモデ
ルの位置のずれ量を計測する位置ずれ計測手段と、この
計測手段で計測された位置ずれ量により上記対象物のＣ
ＡＤデータに基づいて作成されたロボットのアーム軌道
データを補正するデータ補正手段と、このデータ補正手
段により補正されたアーム軌道データにより上記ロボッ
トを駆動制御する駆動手段とを具備したことを特徴とす
る。
距離画像センサにより対象物を計測したデータから対象
物モデルの模擬画像を生成すると共に、上記対象物のＣ
ＡＤデータからＣＡＤモデルの模擬画像を生成し、上記
対象物モデルの模擬画像とＣＡＤモデルの模擬画像の奥
行き情報を比較照合して上記対象物モデルとＣＡＤモデ
ルの位置のずれ量を計測する位置ずれ計測手段と、この
計測手段で計測された位置ずれ量により上記対象物のＣ
ＡＤデータに基づいて作成されたロボットのアーム軌道
データを補正するデータ補正手段と、このデータ補正手
段により補正されたアーム軌道データにより上記ロボッ
トを駆動制御する駆動手段とを具備したことを特徴とす
る。
【００１６】第１１の発明は、第１０の発明に係るロボ
ット制御装置において、上記距離画像センサをロボット
のアーム先端に装着して上記対象物に対する位置計測を
行なうことを特徴とする。
ット制御装置において、上記距離画像センサをロボット
のアーム先端に装着して上記対象物に対する位置計測を
行なうことを特徴とする。
【００１７】
【発明の実施の形態】以下、図面を参照して本発明の一
実施形態を説明する。図１は、本発明に係る３次元位置
計測装置の全体構成を示す図である。同図において、１
１は固定設置されている対象物で、例えばロボット等に
より定期的にあるいは必要に応じてメンテナンス作業が
行なわれる。また、１２は距離画像センサ（３次元セン
サ）で、例えばレーザを用いてＸＹ平面の各位置におけ
る奥行きを計測するレーザセンサ（レーザレンジファイ
ンダ）である。上記距離画像センサ１２により計測され
た３次元座標値は、電子計算機１３に入力されて処理さ
れる。この電子計算機１３としては、例えばパーソナル
コンピュータを使用することができる。
実施形態を説明する。図１は、本発明に係る３次元位置
計測装置の全体構成を示す図である。同図において、１
１は固定設置されている対象物で、例えばロボット等に
より定期的にあるいは必要に応じてメンテナンス作業が
行なわれる。また、１２は距離画像センサ（３次元セン
サ）で、例えばレーザを用いてＸＹ平面の各位置におけ
る奥行きを計測するレーザセンサ（レーザレンジファイ
ンダ）である。上記距離画像センサ１２により計測され
た３次元座標値は、電子計算機１３に入力されて処理さ
れる。この電子計算機１３としては、例えばパーソナル
コンピュータを使用することができる。
【００１８】上記電子計算機１３は、上記距離画像セン
サ１２から入力される３次元座標値（カメラ座標系）を
画像メモリ２１に記憶し、座標変換部２２において対象
物座標系、つまり、ＣＡＤモデル座標系に変換する。上
記座標変換部２２で変換したＣＡＤモデル座標系をモデ
リング処理部２３でカメラパラメータを用いてモデリン
グし、作成した対象物モデルを対象物画像処理部２４に
入力する。この対象物画像処理部２４は、上記対象物モ
デルから３次元座標値の模擬画像を生成し、２次元座標
値＋Ｚバッファ値に変換して対象物用メモリ２５に記憶
する。上記対象物画像処理部２４で生成された模擬画像
の各ピクセルは、通常のカメラ等と同様の色情報の他に
奥行き情報を持っており、この奥行き情報をＺバッファ
値（デプスバッファ値）と呼ぶ。このＺバッファ値は、
０．０〜１．０（視点〜無限遠）で表される。
サ１２から入力される３次元座標値（カメラ座標系）を
画像メモリ２１に記憶し、座標変換部２２において対象
物座標系、つまり、ＣＡＤモデル座標系に変換する。上
記座標変換部２２で変換したＣＡＤモデル座標系をモデ
リング処理部２３でカメラパラメータを用いてモデリン
グし、作成した対象物モデルを対象物画像処理部２４に
入力する。この対象物画像処理部２４は、上記対象物モ
デルから３次元座標値の模擬画像を生成し、２次元座標
値＋Ｚバッファ値に変換して対象物用メモリ２５に記憶
する。上記対象物画像処理部２４で生成された模擬画像
の各ピクセルは、通常のカメラ等と同様の色情報の他に
奥行き情報を持っており、この奥行き情報をＺバッファ
値（デプスバッファ値）と呼ぶ。このＺバッファ値は、
０．０〜１．０（視点〜無限遠）で表される。
【００１９】一方、２６はＣＡＤデータメモリで、上記
対象物１１に対するＣＡＤデータを記憶する。このＣＡ
Ｄデータとしては、例えば対象物１１を設計した際のデ
ータが使用される。なお、ＣＡＤデータメモリ２６を設
けなくても、外部から対象物１１のＣＡＤデータを読み
込んで使用するようにしても良い。
対象物１１に対するＣＡＤデータを記憶する。このＣＡ
Ｄデータとしては、例えば対象物１１を設計した際のデ
ータが使用される。なお、ＣＡＤデータメモリ２６を設
けなくても、外部から対象物１１のＣＡＤデータを読み
込んで使用するようにしても良い。
【００２０】上記ＣＡＤデータメモリ２６に記憶したＣ
ＡＤデータあるいは外部から読み込んだＣＡＤデータを
モデリング処理部２７に入力し、カメラパラメータを用
いてモデリングし、そのＣＡＤモデルをＣＡＤモデル画
像処理部２８に入力する。ＣＡＤモデル画像処理部２８
は、モデリング処理部２７で作成されたＣＡＤモデルか
らＣＡＤモデル模擬画像を生成し、２次元座標値＋Ｚバ
ッファ値に変換してＣＡＤ用メモリ２９に記憶する。
ＡＤデータあるいは外部から読み込んだＣＡＤデータを
モデリング処理部２７に入力し、カメラパラメータを用
いてモデリングし、そのＣＡＤモデルをＣＡＤモデル画
像処理部２８に入力する。ＣＡＤモデル画像処理部２８
は、モデリング処理部２７で作成されたＣＡＤモデルか
らＣＡＤモデル模擬画像を生成し、２次元座標値＋Ｚバ
ッファ値に変換してＣＡＤ用メモリ２９に記憶する。
【００２１】そして、上記対象物用メモリ２５に記憶し
た対象物のＺバッファ値及びＣＡＤ用メモリ２９に記憶
したＣＡＤモデルのＺバッファ値を比較照合部３０に入
力し、各２次元座標位置におけるＺバッファ値を比較照
合し、一致しているか否かを判断する。比較照合部３０
は、上記両Ｚバッファ値が一致していない場合は、その
照合結果に基づいてＣＡＤモデルの移動量を計算し、Ｃ
ＡＤモデル移動処理部３１に入力する。このＣＡＤモデ
ル移動処理部３１は、比較照合部３０からのデータに従
ってＣＡＤモデルを平行・回転移動し、ＣＡＤモデルの
基準位置を更新してＣＡＤモデル画像処理部２８に入力
する。すなわち、ＣＡＤモデルを移動することによって
対象物モデルに近付ける。以下、同様の処理を繰り返し
て実行し、比較照合部３０でＣＡＤモデルのＺバッファ
値が対象物モデルのＺバッファ値に一致したと判断され
ると処理を終了し、対象物１１のＣＡＤモデル座標系原
点からのずれ量を求める。そして、対象物１１の実際の
位置は、ＣＡＤモデル座標系原点に上記計測ずれ量を加
算することによって求めることができる。
た対象物のＺバッファ値及びＣＡＤ用メモリ２９に記憶
したＣＡＤモデルのＺバッファ値を比較照合部３０に入
力し、各２次元座標位置におけるＺバッファ値を比較照
合し、一致しているか否かを判断する。比較照合部３０
は、上記両Ｚバッファ値が一致していない場合は、その
照合結果に基づいてＣＡＤモデルの移動量を計算し、Ｃ
ＡＤモデル移動処理部３１に入力する。このＣＡＤモデ
ル移動処理部３１は、比較照合部３０からのデータに従
ってＣＡＤモデルを平行・回転移動し、ＣＡＤモデルの
基準位置を更新してＣＡＤモデル画像処理部２８に入力
する。すなわち、ＣＡＤモデルを移動することによって
対象物モデルに近付ける。以下、同様の処理を繰り返し
て実行し、比較照合部３０でＣＡＤモデルのＺバッファ
値が対象物モデルのＺバッファ値に一致したと判断され
ると処理を終了し、対象物１１のＣＡＤモデル座標系原
点からのずれ量を求める。そして、対象物１１の実際の
位置は、ＣＡＤモデル座標系原点に上記計測ずれ量を加
算することによって求めることができる。
【００２２】図２は、本発明に係る３次元位置計測装置
の原理図を示したものである。図２において、破線で示
すＡは対象物１１を距離画像センサ１２で計測してモデ
リングした実画像（距離画像）であり、対象物１１の実
際の位置を示している。また、実践で示すＢは対象物１
１のＣＡＤデータをモデリングしたＣＡＤモデルであ
り、本来の位置を示している。本発明は、上記距離画像
センサ１２で撮影してモデリングした実画像Ａと対象物
１１のＣＡＤデータをモデリングしたＣＡＤモデルＢと
の位置のずれ量「ΔＸ、ΔＹ、ΔＲＺ」を、距離画像セ
ンサ１２から得られた座標点の模擬画像とＣＡＤモデル
の模擬画像のＺバッファ値を比較することで計測する。
上記ΔＸ、ΔＹ、ΔＲＺはそれぞれＣＡＤモデル座標系
でのＸ方向、Ｙ方向、Ｚ軸周り回転のずれ量を示してい
る。
の原理図を示したものである。図２において、破線で示
すＡは対象物１１を距離画像センサ１２で計測してモデ
リングした実画像（距離画像）であり、対象物１１の実
際の位置を示している。また、実践で示すＢは対象物１
１のＣＡＤデータをモデリングしたＣＡＤモデルであ
り、本来の位置を示している。本発明は、上記距離画像
センサ１２で撮影してモデリングした実画像Ａと対象物
１１のＣＡＤデータをモデリングしたＣＡＤモデルＢと
の位置のずれ量「ΔＸ、ΔＹ、ΔＲＺ」を、距離画像セ
ンサ１２から得られた座標点の模擬画像とＣＡＤモデル
の模擬画像のＺバッファ値を比較することで計測する。
上記ΔＸ、ΔＹ、ΔＲＺはそれぞれＣＡＤモデル座標系
でのＸ方向、Ｙ方向、Ｚ軸周り回転のずれ量を示してい
る。
【００２３】上記のデータ計測は、対象物１１のＣＡＤ
モデル座標系原点からのずれ量であり、例えばマニピュ
レータなどで作業を行なう際に必要となる対象物１１の
実際の位置が「ＣＡＤモデル座標系原点＋計測ずれ量」
で求められる。
モデル座標系原点からのずれ量であり、例えばマニピュ
レータなどで作業を行なう際に必要となる対象物１１の
実際の位置が「ＣＡＤモデル座標系原点＋計測ずれ量」
で求められる。
【００２４】上記計測処理に際し、前提条件としてＣＡ
ＤモデルＢの位置は、実際の対象物１１の実画像Ａに対
して初期的に大きくずれていない。また、本実施形態で
は、上記ＣＡＤモデルＢを対象物１１の実画像Ａに位置
合わせする際、そのアルゴリズムとして生成画像ベクト
ルによるニュートン法を用いている。
ＤモデルＢの位置は、実際の対象物１１の実画像Ａに対
して初期的に大きくずれていない。また、本実施形態で
は、上記ＣＡＤモデルＢを対象物１１の実画像Ａに位置
合わせする際、そのアルゴリズムとして生成画像ベクト
ルによるニュートン法を用いている。
【００２５】図３は、ニュートン法の一般的な説明図で
あり、出発点から収束するまでの様子を示している。ニ
ュートン法では、関数ｆ（ｘ）とその導関数ｆ'（ｘ）
が与えられたとき、方程式ｆ（ｘ）＝０の解ｘを数値的
に求める。まず、適宜な出発点ｘ0 を与え、関数値ｆ
（ｘ0 ）と導関数の値ｆ'（ｘ0 ）を計算する。
あり、出発点から収束するまでの様子を示している。ニ
ュートン法では、関数ｆ（ｘ）とその導関数ｆ'（ｘ）
が与えられたとき、方程式ｆ（ｘ）＝０の解ｘを数値的
に求める。まず、適宜な出発点ｘ0 を与え、関数値ｆ
（ｘ0 ）と導関数の値ｆ'（ｘ0 ）を計算する。
【００２６】
【数１】
【００２７】上式の右辺の値をｘ1 とする。次に、この
ｘ1 から出発し、同様に考えて ｘ2 ＝ｘ1 −{（ｆ（ｘ1 ）／ｆ'（ｘ1 ）} を求めると、ｘ2 は更に良い近似解となる。
ｘ1 から出発し、同様に考えて ｘ2 ＝ｘ1 −{（ｆ（ｘ1 ）／ｆ'（ｘ1 ）} を求めると、ｘ2 は更に良い近似解となる。
【００２８】以下、同様に置き換え、 ｘn+1 ＝ｘn −{（ｆ（ｘn ）／ｆ'（ｘn ）} を収束するまで続ける。
【００２９】図４は、上記ニュートン法を本発明の画像
処理に応用した場合の出発点から収束するまでの様子を
示している。図４では、縦軸にＣＡＤモデルの模擬画像
と対象物の模擬画像との差Ｖｓを取り、横軸にＣＡＤの
移動量を取って示した。
処理に応用した場合の出発点から収束するまでの様子を
示している。図４では、縦軸にＣＡＤモデルの模擬画像
と対象物の模擬画像との差Ｖｓを取り、横軸にＣＡＤの
移動量を取って示した。
【００３０】図４において、最初の時点では、ＣＡＤモ
デルの模擬画像と対象物の模擬画像との差Ｖｓは大きな
値となっているが、その差に応じてＣＡＤモデルを移動
すると、つまり、１回目の移動を行なうと、ＣＡＤモデ
ルの模擬画像と対象物の模擬画像との差Ｖｓは、かなり
小さくなる。ここで、差Ｖｓが一致判定閾値より小さく
なった否かを判定し、判定閾値より大きければ、その差
Ｖｓに応じてＣＡＤモデルを移動する。以下、同様にし
てＣＡＤモデルを順次移動し、１回目、２回目、…と順
次移動する毎に差Ｖｓに対象物の模擬画像の位置に近付
いていく。そして、両者の差Ｖｓが“０”に収束すれ
ば、ＣＡＤモデルの模擬画像が対象物の模擬画像の位置
に一致したことになり、処理を終了する。この場合、両
者の差Ｖｓが“０”に収束するまで処理を繰り返すと、
処理時間が長くなるので、予め一致判定閾値を設定し、
上記差Ｖｓが判定閾値より小さくなった段階で処理を終
了する。上記ＣＡＤモデルの各移動量を加算処理するこ
とにより、ＣＡＤモデルの総移動量、すなわち、ＣＡＤ
モデルの模擬画像と対象物の模擬画像のずれ量を求める
ことができる。
デルの模擬画像と対象物の模擬画像との差Ｖｓは大きな
値となっているが、その差に応じてＣＡＤモデルを移動
すると、つまり、１回目の移動を行なうと、ＣＡＤモデ
ルの模擬画像と対象物の模擬画像との差Ｖｓは、かなり
小さくなる。ここで、差Ｖｓが一致判定閾値より小さく
なった否かを判定し、判定閾値より大きければ、その差
Ｖｓに応じてＣＡＤモデルを移動する。以下、同様にし
てＣＡＤモデルを順次移動し、１回目、２回目、…と順
次移動する毎に差Ｖｓに対象物の模擬画像の位置に近付
いていく。そして、両者の差Ｖｓが“０”に収束すれ
ば、ＣＡＤモデルの模擬画像が対象物の模擬画像の位置
に一致したことになり、処理を終了する。この場合、両
者の差Ｖｓが“０”に収束するまで処理を繰り返すと、
処理時間が長くなるので、予め一致判定閾値を設定し、
上記差Ｖｓが判定閾値より小さくなった段階で処理を終
了する。上記ＣＡＤモデルの各移動量を加算処理するこ
とにより、ＣＡＤモデルの総移動量、すなわち、ＣＡＤ
モデルの模擬画像と対象物の模擬画像のずれ量を求める
ことができる。
【００３１】次に上記図１に示した第１実施形態におけ
る処理動作を図５に示すフローチャートを参照して説明
する。まず、図１に示した距離画像センサ１２により対
象物１１を撮影して実画像（３次元座標値）４１を得
る。この実画像４１は２次元平面座標の各位置に奥行き
情報（Ｚバッファ値）を持たせたものである。上記実画
像４１をＣＡＤモデル座標系に変換し、対象物画像処理
部２４により特徴抽出を行ない（ステップＡ１）、対象
物の模擬画像４２を生成する。
る処理動作を図５に示すフローチャートを参照して説明
する。まず、図１に示した距離画像センサ１２により対
象物１１を撮影して実画像（３次元座標値）４１を得
る。この実画像４１は２次元平面座標の各位置に奥行き
情報（Ｚバッファ値）を持たせたものである。上記実画
像４１をＣＡＤモデル座標系に変換し、対象物画像処理
部２４により特徴抽出を行ない（ステップＡ１）、対象
物の模擬画像４２を生成する。
【００３２】一方、対象物１１のＣＡＤデータをモデリ
ング処理し、ＣＡＤモデル４３を得る。このＣＡＤモデ
ル４３をＣＡＤモデル画像処理部２８でシミュレーショ
ン処理し（ステップＡ４）、特徴抽出を行ない（ステッ
プＡ５）、ＣＡＤモデルの模擬画像４４を得る。このＣ
ＡＤモデル模擬画像４４は、２次元平面座標の各位置に
奥行き情報（Ｚバッファ値）を持たせたものである。
ング処理し、ＣＡＤモデル４３を得る。このＣＡＤモデ
ル４３をＣＡＤモデル画像処理部２８でシミュレーショ
ン処理し（ステップＡ４）、特徴抽出を行ない（ステッ
プＡ５）、ＣＡＤモデルの模擬画像４４を得る。このＣ
ＡＤモデル模擬画像４４は、２次元平面座標の各位置に
奥行き情報（Ｚバッファ値）を持たせたものである。
【００３３】更に上記ＣＡＤモデル画像処理部２８は、
上記ＣＡＤモデル４３の基準位置をＸ方向にｄｘ、Ｙ方
向にｄｙ、Ｚ軸中心にｄｒｚ、微小移動し（ステップＡ
３）、その微小移動したｄｘ、ｄｙ、ｄｒｚ毎にそれぞ
れシミュレーション処理して特徴抽出を行ない（ステッ
プＡ４、Ａ５）、ＣＡＤモデル４３の模擬画像４４ｘ、
４４ｙ、４４ｒｚを生成する。
上記ＣＡＤモデル４３の基準位置をＸ方向にｄｘ、Ｙ方
向にｄｙ、Ｚ軸中心にｄｒｚ、微小移動し（ステップＡ
３）、その微小移動したｄｘ、ｄｙ、ｄｒｚ毎にそれぞ
れシミュレーション処理して特徴抽出を行ない（ステッ
プＡ４、Ａ５）、ＣＡＤモデル４３の模擬画像４４ｘ、
４４ｙ、４４ｒｚを生成する。
【００３４】次いで、上記対象物模擬画像４２とＣＡＤ
モデル模擬画像４４、４４ｘ、４４ｙ、４４ｒｚを比較
照合部３０に入力して比較照合し、差分画像を求めると
共に、その差分画像から移動量を計算する。比較照合部
３０は、まず、上記対象物模擬画像４２の奥行き座標か
らＣＡＤモデルの模擬画像４４の奥行き座標を減算し
（ステップＡ２）、差分画像Ｖｓを求める。
モデル模擬画像４４、４４ｘ、４４ｙ、４４ｒｚを比較
照合部３０に入力して比較照合し、差分画像を求めると
共に、その差分画像から移動量を計算する。比較照合部
３０は、まず、上記対象物模擬画像４２の奥行き座標か
らＣＡＤモデルの模擬画像４４の奥行き座標を減算し
（ステップＡ２）、差分画像Ｖｓを求める。
【００３５】更に、比較照合部３０は、上記Ｘ方向の模
擬画像４４ｘ、Ｙ方向の模擬画像４４ｙ、ＲＺ方向の模
擬画像４４ｒｚから上記ＣＡＤモデルの模擬画像４４を
それぞれ減算し（ステップＡ６ａ、Ａ６ｂ、Ａ６ｃ）、
微小移動に対応した差分画像Ｖｄｘ、Ｖｄｙ、Ｖｄｒｚ
を得る。
擬画像４４ｘ、Ｙ方向の模擬画像４４ｙ、ＲＺ方向の模
擬画像４４ｒｚから上記ＣＡＤモデルの模擬画像４４を
それぞれ減算し（ステップＡ６ａ、Ａ６ｂ、Ａ６ｃ）、
微小移動に対応した差分画像Ｖｄｘ、Ｖｄｙ、Ｖｄｒｚ
を得る。
【００３６】その後、比較照合部３０は、差分画像Ｖ
ｓ、Ｖｄｘ、Ｖｄｙ、Ｖｄｒｚに基づいてＣＡＤモデル
４３の移動量を計算する（ステップＡ７）。上記差分画
像Ｖｓには、ずれの方向、大きさの情報が含まれている
ので、ＣＡＤモデル４３の移動量（Δｘ、Δｙ、Δｒ
ｚ）を効率良く求めることができる。
ｓ、Ｖｄｘ、Ｖｄｙ、Ｖｄｒｚに基づいてＣＡＤモデル
４３の移動量を計算する（ステップＡ７）。上記差分画
像Ｖｓには、ずれの方向、大きさの情報が含まれている
ので、ＣＡＤモデル４３の移動量（Δｘ、Δｙ、Δｒ
ｚ）を効率良く求めることができる。
【００３７】すなわち、ＣＡＤモデルの模擬画像４４の
１次元ベクトルをＶとすると、この模擬画像Ｖは、図６
に示すようにＣＡＤモデルの位置のベクトルｐに対応し
た関数として表される。ここで、ＣＡＤモデル４３の位
置に対する模擬画像Ｖの変化率ｄＶ／ｄｐが一定である
という線形性を仮定すると、移動量Ｐは、ＣＡＤモデル
の模擬画像４４のベクトルＶsim を用いて図６に示すよ
うに Ｖsens−Ｖsim＝（ｄＶ／ｄｐ）Ｐ ・・・（１） と近似的に表されるので、 Ｐ＝（Ｖsens−Ｖsim）／（ｄＶ／ｄｐ） ・・・（２） として求められる。
１次元ベクトルをＶとすると、この模擬画像Ｖは、図６
に示すようにＣＡＤモデルの位置のベクトルｐに対応し
た関数として表される。ここで、ＣＡＤモデル４３の位
置に対する模擬画像Ｖの変化率ｄＶ／ｄｐが一定である
という線形性を仮定すると、移動量Ｐは、ＣＡＤモデル
の模擬画像４４のベクトルＶsim を用いて図６に示すよ
うに Ｖsens−Ｖsim＝（ｄＶ／ｄｐ）Ｐ ・・・（１） と近似的に表されるので、 Ｐ＝（Ｖsens−Ｖsim）／（ｄＶ／ｄｐ） ・・・（２） として求められる。
【００３８】上記（２）式の（Ｖsens−Ｖsim）は、図
５における差分画像Ｖｓに対応している。また、変化率
ｄＶ／ｄｐは差分によって近似する。また、上記ステッ
プＡ６ａ、Ａ６ｂ、Ａ６ｃの減算処理によって求めた差
分画像Ｖｄｘ、Ｖｄｙ、Ｖｄｒｚは、上記（１）、
（２）式のｄＶに相当し、次式（３）のように表わせ
る。
５における差分画像Ｖｓに対応している。また、変化率
ｄＶ／ｄｐは差分によって近似する。また、上記ステッ
プＡ６ａ、Ａ６ｂ、Ａ６ｃの減算処理によって求めた差
分画像Ｖｄｘ、Ｖｄｙ、Ｖｄｒｚは、上記（１）、
（２）式のｄＶに相当し、次式（３）のように表わせ
る。
【００３９】
【数２】
【００４０】上記（５）式により求めたＰ／ｄｐの各要
素にそれぞれ微小移動量ｄｘ、ｄｙ、ｄｒｚを掛けるこ
とで、ＣＡＤモデル４３の移動量Ｐの各方向の要素α、
β、γが求められる。
素にそれぞれ微小移動量ｄｘ、ｄｙ、ｄｒｚを掛けるこ
とで、ＣＡＤモデル４３の移動量Ｐの各方向の要素α、
β、γが求められる。
【００４１】なお、疑似逆行列Ｍ'は、次のようにして
求められる。 Ｍ'＝（ＭT・Ｍ）-1 ＭT ・・・（６） 検算として、 Ｍ'・Ｍ＝（ＭT・Ｍ）-1 ＭT・Ｍ＝Ｅ（単位行列）・・・（７） と確かめられる。疑似逆行行列を用いるのは、Ｍが正方
向行列ではないためであり、未知数に対して式の数が冗
長であるためである。
求められる。 Ｍ'＝（ＭT・Ｍ）-1 ＭT ・・・（６） 検算として、 Ｍ'・Ｍ＝（ＭT・Ｍ）-1 ＭT・Ｍ＝Ｅ（単位行列）・・・（７） と確かめられる。疑似逆行行列を用いるのは、Ｍが正方
向行列ではないためであり、未知数に対して式の数が冗
長であるためである。
【００４２】上記移動量Ｐは、線形性の仮定を置いて求
めたものであるので、図６の（ａ）に示したように１回
の計算では正確なずれ量とはならない。このため計算に
よって求められたＰだけＣＡＤモデル４３を動かし、そ
の位置から新たに同様の計算をすることで、その位置か
らの移動量Ｐを求める。
めたものであるので、図６の（ａ）に示したように１回
の計算では正確なずれ量とはならない。このため計算に
よって求められたＰだけＣＡＤモデル４３を動かし、そ
の位置から新たに同様の計算をすることで、その位置か
らの移動量Ｐを求める。
【００４３】そして、比較照合部３０は、上記ＣＡＤモ
デル４３の移動量（Δｘ、Δｙ、Δｒｚ）を閾値より小
さいかどうか判定し（ステップＡ８）、閾値より大きけ
れば、上記移動量（Δｘ、Δｙ、Δｒｚ）をＣＡＤモデ
ル移動処理部３１に出力してＣＡＤモデルを移動させ
（ステップＡ９）、ＣＡＤモデル４３の基準位置を更新
する（ステップＡ１０）。
デル４３の移動量（Δｘ、Δｙ、Δｒｚ）を閾値より小
さいかどうか判定し（ステップＡ８）、閾値より大きけ
れば、上記移動量（Δｘ、Δｙ、Δｒｚ）をＣＡＤモデ
ル移動処理部３１に出力してＣＡＤモデルを移動させ
（ステップＡ９）、ＣＡＤモデル４３の基準位置を更新
する（ステップＡ１０）。
【００４４】上記基準位置を更新したＣＡＤモデル４３
に基づいて上記の処理を繰り返して実行する。上記のよ
うに繰り返し計算することで、それまで求めた移動量の
総計が真のずれ量に近付く。ＣＡＤモデル４３が対象物
１１の位置に近付くことにより、対象物の模擬画像４２
とＣＡＤモデルの模擬画像４４から作成された差分画像
Ｖｓは“０”に近付く。これにつれて各移動量Ｐの各要
素α、β、γも全て“０”に近付き、ＣＡＤモデル４３
の移動は徐々に小さくなっていく。この特徴を利用し、
ステップＡ８における一致判定は、繰り返し求める移動
量Ｐの各要素値をパラメータで設定した閾値と比較し、
移動量Ｐが閾値を下回ったとき一致したものと見なして
計測を終了する。
に基づいて上記の処理を繰り返して実行する。上記のよ
うに繰り返し計算することで、それまで求めた移動量の
総計が真のずれ量に近付く。ＣＡＤモデル４３が対象物
１１の位置に近付くことにより、対象物の模擬画像４２
とＣＡＤモデルの模擬画像４４から作成された差分画像
Ｖｓは“０”に近付く。これにつれて各移動量Ｐの各要
素α、β、γも全て“０”に近付き、ＣＡＤモデル４３
の移動は徐々に小さくなっていく。この特徴を利用し、
ステップＡ８における一致判定は、繰り返し求める移動
量Ｐの各要素値をパラメータで設定した閾値と比較し、
移動量Ｐが閾値を下回ったとき一致したものと見なして
計測を終了する。
【００４５】上記計測終了時にＣＡＤモデル座標系原点
にＣＡＤモデル４３の総移動量（計測ずれ量）を加算す
ることによって対象物１１の実際の位置を求めることが
できる。
にＣＡＤモデル４３の総移動量（計測ずれ量）を加算す
ることによって対象物１１の実際の位置を求めることが
できる。
【００４６】本発明では、距離画像センサ１２により計
測した対象物１１の模擬画像の奥行き情報（Ｚバッファ
値）と、対象物１１に対するＣＡＤモデルの模擬画像の
奥行き情報（Ｚバッファ値）とを比較照合して差分を求
め、その差分に基づいてＣＡＤモデルの模擬画像４４を
順次移動させ、対象物の模擬画像４２に一致した際のＣ
ＡＤモデルの総移動量から対象物１１の３次元位置を計
測するようにしているので、少ないデータ量で位置計測
を行なうことができ、このため例えば数秒程度の非常に
短い時間で計測動作を完了することができる。
測した対象物１１の模擬画像の奥行き情報（Ｚバッファ
値）と、対象物１１に対するＣＡＤモデルの模擬画像の
奥行き情報（Ｚバッファ値）とを比較照合して差分を求
め、その差分に基づいてＣＡＤモデルの模擬画像４４を
順次移動させ、対象物の模擬画像４２に一致した際のＣ
ＡＤモデルの総移動量から対象物１１の３次元位置を計
測するようにしているので、少ないデータ量で位置計測
を行なうことができ、このため例えば数秒程度の非常に
短い時間で計測動作を完了することができる。
【００４７】（第２実施形態）次に本発明の第２実施形
態について図７を参照して説明する。この第２実施形態
は、既に設置されている対象物１１に対し、例えばロボ
ット（マニピュレータ）５１を使用してメンテナンス作
業等を行なう場合について示したものである。ロボット
５１使用して対象物１１に対する作業を行なう場合に
は、対象物１１の位置を正確にロボット５１に教え、位
置ずれ等を補正する必要がある。このため、この第２実
施形態では、上記第１実施形態で示した３次元位置計測
方法により対象物１１の位置を計測し、ロボット５１の
動作を正確に制御できるようにしている。
態について図７を参照して説明する。この第２実施形態
は、既に設置されている対象物１１に対し、例えばロボ
ット（マニピュレータ）５１を使用してメンテナンス作
業等を行なう場合について示したものである。ロボット
５１使用して対象物１１に対する作業を行なう場合に
は、対象物１１の位置を正確にロボット５１に教え、位
置ずれ等を補正する必要がある。このため、この第２実
施形態では、上記第１実施形態で示した３次元位置計測
方法により対象物１１の位置を計測し、ロボット５１の
動作を正確に制御できるようにしている。
【００４８】上記ロボット５１は、サーボドライバ５２
を介して電子計算機例えばパーソナルコンピュータ５３
により制御される。このパーソナルコンピュータ５３
は、対象物１１のＣＡＤデータ５４に基づいて軌道デー
タ生成部５５がロボット５１の動作を制御するためのア
ーム軌道データを生成する。
を介して電子計算機例えばパーソナルコンピュータ５３
により制御される。このパーソナルコンピュータ５３
は、対象物１１のＣＡＤデータ５４に基づいて軌道デー
タ生成部５５がロボット５１の動作を制御するためのア
ーム軌道データを生成する。
【００４９】そして、対象物１１を撮影する距離画像セ
ンサ１２は、ロボット５１と所定の位置関係を保って設
けられる。上記距離画像センサ１２により撮影された対
象物１１に対する画像データは、パーソナルコンピュー
タ５３に画像入力ボード５６を介して入力される。パー
ソナルコンピュータ５３は、画像入力ボード５６を介し
て入力された画像データ５７及び上記対象物１１のＣＡ
Ｄデータ５４を位置ずれ計測部５８に入力する。
ンサ１２は、ロボット５１と所定の位置関係を保って設
けられる。上記距離画像センサ１２により撮影された対
象物１１に対する画像データは、パーソナルコンピュー
タ５３に画像入力ボード５６を介して入力される。パー
ソナルコンピュータ５３は、画像入力ボード５６を介し
て入力された画像データ５７及び上記対象物１１のＣＡ
Ｄデータ５４を位置ずれ計測部５８に入力する。
【００５０】上記位置ずれ計測部５８は、上記第１実施
形態で説明したように対象物１１のＣＡＤデータ５４及
び距離画像センサ１２により撮影された対象物１１の画
像データ５７に基づいて、対象物１１の実際の位置とＣ
ＡＤモデル座標系原点との位置ずれ量５９を求める。こ
の位置ずれ量５９を上記軌道データ生成部５５で生成さ
れたロボット５１のアーム軌道データとを演算部６０で
加算し、補正軌道データ６１を求める。また、この補正
軌道データ６１は、ロボット５１と距離画像センサ１２
との位置関係により、必要に応じて補正される。パーソ
ナルコンピュータ５３は、上記補正軌道データ６１に基
づいてロボット５１の動作コマンド６２を発行し、運動
制御ボード６３を介してサーボドライバ５２に出力す
る。このサーボドライバ５２は、パーソナルコンピュー
タ５３から与えられる動作コマンドに従ってロボット５
１の動作を制御する。
形態で説明したように対象物１１のＣＡＤデータ５４及
び距離画像センサ１２により撮影された対象物１１の画
像データ５７に基づいて、対象物１１の実際の位置とＣ
ＡＤモデル座標系原点との位置ずれ量５９を求める。こ
の位置ずれ量５９を上記軌道データ生成部５５で生成さ
れたロボット５１のアーム軌道データとを演算部６０で
加算し、補正軌道データ６１を求める。また、この補正
軌道データ６１は、ロボット５１と距離画像センサ１２
との位置関係により、必要に応じて補正される。パーソ
ナルコンピュータ５３は、上記補正軌道データ６１に基
づいてロボット５１の動作コマンド６２を発行し、運動
制御ボード６３を介してサーボドライバ５２に出力す
る。このサーボドライバ５２は、パーソナルコンピュー
タ５３から与えられる動作コマンドに従ってロボット５
１の動作を制御する。
【００５１】上記軌道データ生成部５５は、予め対象物
１１のＣＡＤデータ５４、すなわち、ＣＡＤモデル座標
系原点に基づいてロボット５１の動作を制御するための
アーム軌道データを生成して記憶しているが、ロボット
５１を実際に作動させる際に位置ずれ計測部５８により
計測された位置ずれ量５９によりアーム軌道データを補
正する。従って、対象物１１のＣＡＤデータ５４と対象
物１１の実際の設置位置がずれている場合であっても、
その位置ずれを補正してロボット５１を正確に制御で
き、対象物１１に対する作業精度を向上することができ
る。
１１のＣＡＤデータ５４、すなわち、ＣＡＤモデル座標
系原点に基づいてロボット５１の動作を制御するための
アーム軌道データを生成して記憶しているが、ロボット
５１を実際に作動させる際に位置ずれ計測部５８により
計測された位置ずれ量５９によりアーム軌道データを補
正する。従って、対象物１１のＣＡＤデータ５４と対象
物１１の実際の設置位置がずれている場合であっても、
その位置ずれを補正してロボット５１を正確に制御で
き、対象物１１に対する作業精度を向上することができ
る。
【００５２】なお、上記実施形態では、距離画像センサ
１２を対象物１１から所定の距離に固定設置する場合に
ついて示したが、ロボット５１のアーム先端（手先）に
取り付けるようにしても良い。
１２を対象物１１から所定の距離に固定設置する場合に
ついて示したが、ロボット５１のアーム先端（手先）に
取り付けるようにしても良い。
【００５３】また、ロボット５１のアーム先端に距離画
像センサ１２を取付けた場合、アームの移動に合わせて
計測処理及び軌道補正処理を繰り返し実行することによ
り、アーム先端を目標位置に高精度で導くことができ、
ロボット５１に複雑かつ高精度な作業を行なわせること
が可能になると共に、自律作業が可能になる。更に、ロ
ボット５１のアーム先端に距離画像センサ１２を取付
け、アーム先端の作業点から対象物までの相対的な測定
を行なうことにより、対象物の位置誤差やロボットの位
置誤差、たわみ等のあらゆる誤差を吸収することができ
る。
像センサ１２を取付けた場合、アームの移動に合わせて
計測処理及び軌道補正処理を繰り返し実行することによ
り、アーム先端を目標位置に高精度で導くことができ、
ロボット５１に複雑かつ高精度な作業を行なわせること
が可能になると共に、自律作業が可能になる。更に、ロ
ボット５１のアーム先端に距離画像センサ１２を取付
け、アーム先端の作業点から対象物までの相対的な測定
を行なうことにより、対象物の位置誤差やロボットの位
置誤差、たわみ等のあらゆる誤差を吸収することができ
る。
【００５４】なお、上記実施形態では、距離画像センサ
１２をレーザセンサにより対象物の奥行きを計測する場
合について示したが、対象物の奥行きを計測できるもの
であれば、レーザ計測に限らず、他の計測方法を用いて
も良いことは勿論である。
１２をレーザセンサにより対象物の奥行きを計測する場
合について示したが、対象物の奥行きを計測できるもの
であれば、レーザ計測に限らず、他の計測方法を用いて
も良いことは勿論である。
【００５５】
【発明の効果】以上詳記したように本発明によれば、対
象物のＣＡＤモデルの模擬画像と距離画像センサにより
計測した対象物の座標点の模擬画像の奥行き情報とを比
較照合して両者のずれ量を計測するようにしたので、少
ないデータ量で位置計測を行なうことができ、計測時間
を短縮することができる。また、ＣＡＤモデル座標系原
点に上記計測ずれ量を加算することにより、対象物の位
置を正確に求めることができる。
象物のＣＡＤモデルの模擬画像と距離画像センサにより
計測した対象物の座標点の模擬画像の奥行き情報とを比
較照合して両者のずれ量を計測するようにしたので、少
ないデータ量で位置計測を行なうことができ、計測時間
を短縮することができる。また、ＣＡＤモデル座標系原
点に上記計測ずれ量を加算することにより、対象物の位
置を正確に求めることができる。
【００５６】また、本発明は、対象物のＣＡＤデータに
基づいて作業用ロボットのアーム軌道データを生成する
と共に、上記計測手段により計測した位置ずれ量により
上記アーム軌道データを補正するようにしたので、対象
物のＣＡＤデータと対象物の実際の設置位置がずれてい
る場合であっても、その位置ずれを補正してロボットを
正確に制御でき、対象物に対する作業精度を向上するこ
とができる。
基づいて作業用ロボットのアーム軌道データを生成する
と共に、上記計測手段により計測した位置ずれ量により
上記アーム軌道データを補正するようにしたので、対象
物のＣＡＤデータと対象物の実際の設置位置がずれてい
る場合であっても、その位置ずれを補正してロボットを
正確に制御でき、対象物に対する作業精度を向上するこ
とができる。
【００５７】また、ロボットのアーム先端に距離画像セ
ンサを取付け、アームの移動に合わせて計測処理及び軌
道補正処理を繰り返し実行することにより、対象物の位
置誤差やロボットの位置誤差、たわみ等のあらゆる誤差
を吸収してアーム先端を目標位置に高精度で導くことが
でき、自律作業が可能になる。
ンサを取付け、アームの移動に合わせて計測処理及び軌
道補正処理を繰り返し実行することにより、対象物の位
置誤差やロボットの位置誤差、たわみ等のあらゆる誤差
を吸収してアーム先端を目標位置に高精度で導くことが
でき、自律作業が可能になる。
【図１】本発明の第１実施形態に係る３次元位置計測装
置の構成図。
置の構成図。
【図２】同実施形態における計測動作の原理を説明する
ための図。
ための図。
【図３】同実施形態において使用するニュートン法の一
般的な説明図。
般的な説明図。
【図４】同実施形態においてニュートン法を用いて計測
処理を行なう場合の基本的な説明図。
処理を行なう場合の基本的な説明図。
【図５】同実施形態における計測動作を説明するための
フローチャート。
フローチャート。
【図６】同実施形態における計測中のずれ量の推定動作
を説明するための図。
を説明するための図。
【図７】本発明の第２実施形態に係る３次元位置計測装
置の構成図。
置の構成図。
１１ 対象物 １２ 距離画像センサ １３ 電子計算機 ２１ 画像メモリ ２２ 座標変換部 ２３ モデリング処理部 ２４ 対象物画像処理部 ２５ 対象物用メモリ ２６ ＣＡＤデータメモリ ２７ モデリング処理部 ２８ ＣＡＤモデル画像処理部 ２９ ＣＡＤ用メモリ ３０ 比較照合部 ３１ ＣＡＤモデル移動処理部 ４１ 実画像 ４２ 対象物の模擬画像 ４３ ＣＡＤモデル ４４ ＣＡＤモデルの模擬画像 ５１ ロボット ５２ サーボドライバ ５３ パーソナルコンピュータ ５４ ＣＡＤデータ ５５ 軌道データ生成部 ５６ 画像入力ボード ５７ 画像データ ５８ 位置ずれ計測部 ５９ 位置ずれ量 ６０ 演算部 ６１ 補正軌道データ ６２ 動作コマンド ６３ 運動制御ボード
Claims (11)
- 【請求項１】 距離画像センサにより対象物を計測した
データから対象物モデルの模擬画像を生成すると共に、
上記対象物のＣＡＤデータからＣＡＤモデルの模擬画像
を生成し、上記対象物モデルの模擬画像とＣＡＤモデル
の模擬画像の奥行き情報を比較照合して上記対象物モデ
ルとＣＡＤモデルの位置のずれ量を計測することを特徴
とする３次元位置計測方法。 - 【請求項２】 距離画像センサにより対象物を計測した
データから対象物モデルの模擬画像を生成すると共に、
上記対象物のＣＡＤデータからＣＡＤモデルの模擬画像
を生成し、上記対象物モデルの模擬画像とＣＡＤモデル
の模擬画像の奥行き情報を比較照合して上記対象物モデ
ルとＣＡＤモデルの位置のずれ量を計測し、このずれ量
を上記ＣＡＤモデルの座標系原点に加算して上記対象物
の位置を計測することを特徴とする３次元位置計測方
法。 - 【請求項３】 請求項１又は２記載の３次元位置計測方
法において、上記距離画像センサを上記対象物を作業対
象とするロボットのアーム先端に装着して対象物に対す
る位置計測を行なうことを特徴とする３次元位置計測方
法。 - 【請求項４】 対象物を計測して該対象物の３次元座標
値を得る距離画像センサと、上記対象物の３次元座標値
をモデリングし奥行き情報を含む対象物モデルの模擬画
像を得る第１の画像処理手段と、上記対象物のＣＡＤデ
ータをモデリングし、奥行き情報を含むＣＡＤモデルの
模擬画像を得る第２の画像処理手段と、上記第１の画像
処理手段で得た対象物モデルの奥行き情報と第２の画像
処理手段で得たＣＡＤモデルの奥行き情報とを比較照合
し、上記対象物モデルとＣＡＤモデルの位置のずれ量を
計測する照合手段とを具備したことを特徴とする３次元
位置計測装置。 - 【請求項５】 対象物を計測して該対象物の３次元座標
値を得る距離画像センサと、上記対象物の３次元座標値
をモデリングし奥行き情報を含む対象物モデルの模擬画
像を得る第１の画像処理手段と、上記対象物のＣＡＤデ
ータをモデリングし、奥行き情報を含むＣＡＤモデルの
模擬画像を得る第２の画像処理手段と、上記第１の画像
処理手段で得た対象物モデルの奥行き情報と第２の画像
処理手段で得たＣＡＤモデルの奥行き情報とを比較照合
し、上記対象物モデルとＣＡＤモデルの位置のずれ量を
計測すると共に、このずれ量に基づいて上記ＣＡＤモデ
ルの基準位置に対する移動量を算出する照合手段と、こ
の照合手段により算出した移動量に基づいて上記ＣＡＤ
モデルの基準位置を平行・回転移動させるＣＡＤモデル
移動手段と、上記照合手段により算出した移動量を予め
設定した閾値と比較し、上記移動量が閾値より大きい状
態では上記ＣＡＤモデルに対する移動処理を繰り返し実
行してＣＡＤモデルを対象物モデルの位置に近付け、上
記移動量が閾値より小さくなった時点で計測処理を終了
し、上記ＣＡＤモデルの移動量から上記対象物モデルと
ＣＡＤモデルの位置のずれ量を算出するずれ量算出手段
とを具備したことを特徴とする３次元位置計測装置。 - 【請求項６】 請求項５記載の３次元位置計測装置にお
いて、ずれ量算出手段により算出した対象物モデルとＣ
ＡＤモデルの位置のずれ量をＣＡＤモデルの座標系原点
に加算して対象物の位置を計測することを特徴とする３
次元位置計測装置。 - 【請求項７】 請求項４、５又は６記載の３次元位置計
測装置において、上記距離画像センサは、レーザにより
対象物の奥行きを計測するレーザセンサを用いて構成し
たことを特徴とする３次元位置計測装置。 - 【請求項８】 請求項４、５又は６記載の３次元位置計
測装置において、上記距離画像センサを上記対象物から
所定距離離れた位置に固定設置して位置計測を行なうこ
とを特徴とする３次元位置計測装置。 - 【請求項９】 請求項４、５又は６記載の３次元位置計
測装置において、上記距離画像センサを上記対象物を作
業対象とするロボットのアーム先端に装着して対象物に
対する位置計測を行なうことを特徴とする３次元位置計
測装置。 - 【請求項１０】 距離画像センサにより対象物を計測し
たデータから対象物モデルの模擬画像を生成すると共
に、上記対象物のＣＡＤデータからＣＡＤモデルの模擬
画像を生成し、上記対象物モデルの模擬画像とＣＡＤモ
デルの模擬画像の奥行き情報を比較照合して上記対象物
モデルとＣＡＤモデルの位置のずれ量を計測する位置ず
れ計測手段と、この計測手段で計測された位置ずれ量に
より上記対象物のＣＡＤデータに基づいて作成されたロ
ボットのアーム軌道データを補正するデータ補正手段
と、このデータ補正手段により補正されたアーム軌道デ
ータにより上記ロボットを駆動制御する駆動手段とを具
備したことを特徴とするロボット制御装置。 - 【請求項１１】 請求項１０記載のロボット制御装置に
おいて、上記距離画像センサをロボットのアーム先端に
装着して上記対象物に対する位置計測を行なうことを特
徴とするロボット制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000233305A JP2002046087A (ja) | 2000-08-01 | 2000-08-01 | ３次元位置計測方法及び計測装置並びにロボット制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000233305A JP2002046087A (ja) | 2000-08-01 | 2000-08-01 | ３次元位置計測方法及び計測装置並びにロボット制御装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002046087A true JP2002046087A (ja) | 2002-02-12 |
Family
ID=18725843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000233305A Withdrawn JP2002046087A (ja) | 2000-08-01 | 2000-08-01 | ３次元位置計測方法及び計測装置並びにロボット制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002046087A (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010087358A (ja) * | 2008-10-01 | 2010-04-15 | Muratec Automation Co Ltd | 搬送システム及びズレ検出用治具 |
| US7822571B2 (en) | 2008-02-28 | 2010-10-26 | Aisin Seiki Kabushiki Kaisha | Calibration device and calibration method for range image sensor |
| CN102608950A (zh) * | 2012-04-12 | 2012-07-25 | 苏州天准精密技术有限公司 | 一种总线结构的三坐标测量机控制系统 |
| JP2015018484A (ja) * | 2013-07-12 | 2015-01-29 | 株式会社Ihi | 評価方法および評価装置 |
| JP2015062017A (ja) * | 2014-09-30 | 2015-04-02 | オムロン株式会社 | モデル作成装置、モデル作成プログラム、および画像認識システム |
| DE102016214035A1 (de) | 2015-07-30 | 2017-02-02 | Keyence Corporation | Messzielobjekt-Messprogramm, Messzielobjekt-Messverfahren und vergrössernde Beobachtungseinrichtung |
| JP2018087715A (ja) * | 2016-11-28 | 2018-06-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| EP3355279A1 (en) * | 2017-01-30 | 2018-08-01 | 3D Repo Ltd | Method and computer programs for identifying differences between 3-dimensional scenes |
| JPWO2021161582A1 (ja) * | 2020-02-13 | 2021-08-19 | ||
| WO2021181929A1 (ja) | 2020-03-09 | 2021-09-16 | リンクウィズ株式会社 | 情報処理方法、情報処理システム、プログラム |
| WO2023157083A1 (ja) * | 2022-02-15 | 2023-08-24 | ファナック株式会社 | ワークの位置を取得する装置、制御装置、ロボットシステム、及び方法 |
| JP7436188B2 (ja) | 2019-11-26 | 2024-02-21 | ファナック株式会社 | 座標系設定システムおよび座標系設定方法 |
-
2000
- 2000-08-01 JP JP2000233305A patent/JP2002046087A/ja not_active Withdrawn
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7822571B2 (en) | 2008-02-28 | 2010-10-26 | Aisin Seiki Kabushiki Kaisha | Calibration device and calibration method for range image sensor |
| JP2010087358A (ja) * | 2008-10-01 | 2010-04-15 | Muratec Automation Co Ltd | 搬送システム及びズレ検出用治具 |
| CN102608950A (zh) * | 2012-04-12 | 2012-07-25 | 苏州天准精密技术有限公司 | 一种总线结构的三坐标测量机控制系统 |
| JP2015018484A (ja) * | 2013-07-12 | 2015-01-29 | 株式会社Ihi | 評価方法および評価装置 |
| JP2015062017A (ja) * | 2014-09-30 | 2015-04-02 | オムロン株式会社 | モデル作成装置、モデル作成プログラム、および画像認識システム |
| DE102016214035A1 (de) | 2015-07-30 | 2017-02-02 | Keyence Corporation | Messzielobjekt-Messprogramm, Messzielobjekt-Messverfahren und vergrössernde Beobachtungseinrichtung |
| US9970745B2 (en) | 2015-07-30 | 2018-05-15 | Keyence Corporation | Measurement target measuring program, measurement target measuring method, and magnifying observation device |
| JP7179439B2 (ja) | 2016-11-28 | 2022-11-29 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP2018087715A (ja) * | 2016-11-28 | 2018-06-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| EP3355279A1 (en) * | 2017-01-30 | 2018-08-01 | 3D Repo Ltd | Method and computer programs for identifying differences between 3-dimensional scenes |
| GB2573219A (en) * | 2017-01-30 | 2019-10-30 | 3D Repo Ltd | Method and computer programs for identifying differences between 3-dimensional scenes |
| GB2573219B (en) * | 2017-01-30 | 2022-04-13 | 3D Repo Ltd | Method and computer programs for identifying differences between 3-dimensional scenes |
| WO2018138290A1 (en) * | 2017-01-30 | 2018-08-02 | 3D Repo Ltd | Method and computer programs for identifying differences between 3-dimensional scenes |
| JP7436188B2 (ja) | 2019-11-26 | 2024-02-21 | ファナック株式会社 | 座標系設定システムおよび座標系設定方法 |
| JPWO2021161582A1 (ja) * | 2020-02-13 | 2021-08-19 | ||
| WO2021181929A1 (ja) | 2020-03-09 | 2021-09-16 | リンクウィズ株式会社 | 情報処理方法、情報処理システム、プログラム |
| WO2023157083A1 (ja) * | 2022-02-15 | 2023-08-24 | ファナック株式会社 | ワークの位置を取得する装置、制御装置、ロボットシステム、及び方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110146099B (zh) | 一种基于深度学习的同步定位与地图构建方法 | |
| JP5850962B2 (ja) | ビジュアルフィードバックを利用したロボットシステム | |
| JP7326911B2 (ja) | 制御システムおよび制御方法 | |
| US10974393B2 (en) | Automation apparatus | |
| JP6235664B2 (ja) | ロボットの機構パラメータを校正するために使用される計測装置 | |
| EP1975046A1 (en) | Legged locomotion robot | |
| US20180161984A1 (en) | Control device, robot, and robot system | |
| KR20140008262A (ko) | 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램 | |
| JP6826069B2 (ja) | ロボットの動作教示装置、ロボットシステムおよびロボット制御装置 | |
| JP2017170599A (ja) | ロボットを用いた位置決め装置 | |
| CN111185901A (zh) | 机器人装置 | |
| JP4171459B2 (ja) | 移動体の回転移動量利用方法とその装置、及びコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体 | |
| CN111443337B (zh) | 一种基于手眼标定的雷达-imu标定方法 | |
| JP2002046087A (ja) | ３次元位置計測方法及び計測装置並びにロボット制御装置 | |
| JP2018027580A (ja) | ロボット制御装置 | |
| CN109531604B (zh) | 进行校准的机器人控制装置、测量系统以及校准方法 | |
| CN111459274A (zh) | 一种基于5g+ ar的针对非结构化环境的遥操作方法 | |
| CN109764805A (zh) | 一种基于激光扫描的机械臂定位装置与方法 | |
| JP6410411B2 (ja) | パターンマッチング装置及びパターンマッチング方法 | |
| JP7137464B2 (ja) | カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム | |
| JP6912529B2 (ja) | 視覚誘導ロボットアームの補正方法 | |
| KR101972432B1 (ko) | 레이저비전 센서 및 그 보정방법 | |
| CN111459176B (zh) | 车自动充电定位控制方法、标定方法及车辆姿态计算方法 | |
| KR102438490B1 (ko) | 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치 | |
| US11662742B2 (en) | Self-position estimation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071002 |