JP2007225434A - ３次元計測装置 - Google Patents

Abstract

【課題】ＣＣＤカメラとレンジファインダを用いて計測対象物の３次元計測を行い、未知の計測対象物を早い処理で、計測精度良く認識する３次元計測装置を提供する。
【解決手段】ＣＣＤカメラ１、レンジファインダ５を有し、ヨー、ピッチ、ロール方向に動くセンサ部６と、ＣＣＤカメラ１で撮影した画像データに基づいて計測対象物２を検知し、計測対象物２とレンジファインダ５が正対する位置になるようにヨー軸７、ピッチ軸８を制御し、計測対象物２を中央に捉えたまま、レンジファインダ５をその光軸中心に１８０度ロール回転動作させ、回転動作中に得られたレンジファインダ５の情報に基づいて計測対象物２の３次元形状データ１１ｃを取得し、３次元形状パターン１２ｂとの比較結果に基づいて計測対象物２を認識するコンピュータ１６を備える。
【選択図】図１

Description

本発明は、ＣＣＤカメラとレーザーレンジファインダ（以下、レンジファインダと称す）を用いて計測対象物を３次元計測することにより認識する３次元計測装置に関する。

計測対象物の３次元計測を行う従来技術として、複数台カメラを用いたステレオ視による第１の従来技術（例えば、特許文献１参照）と、レンジファインダを用いたレーザー距離計測による第２の従来技術（例えば、特許文献２参照）がある。
図４は、第１の従来技術を示す３次元計測装置の説明図である。
図４において、１はＣＣＤカメラ、２は計測対象物である。
以下、図４を用いて、複数台カメラを用いたステレオ視による第１の従来技術を説明する。図４に示すように、計測対象物２を異なる複数の視点からＣＣＤカメラ１で撮影し、得られた撮像の差異によりその３次元的な位置を計測するものであり、比較的計算コストも安価で、計測対象物のエッジ検出処理などに優れている。
また図５は、第２の従来技術を示す３次元計測装置の説明図である。
図５において、２は計測対象物、３は測定ポイントである。
以下、図５を用いて、レンジファインダを用いたレーザー距離計測による第２の従来技術を説明する。
回転鏡などの駆動機構を用いてヨー、ピッチ方向にレーザーを駆動し、図５に示すような計測ポイント毎の距離を計測して３次元距離計測を行う。レーザー光線を用いるため、外部環境の明るさの変化や、平面部分の距離計測に優れている。
図６は、第1、第２の従来技術の長所・短所を説明する比較図である。すなわち、カメラを用いたステレオ視による第１の従来技術と、レンジファインダを用いたレーザー距離計測による第２の従来技術について長所・短所をまとめたものである。

特開平７−３５５４６号公報（第２図） 特開平９−２９７０１９号公報（第５図）

図６に示すように、複数台カメラを用いたステレオ視による第１の従来技術では、外部環境の変化による輝度の変化に弱い、平面部分の計測に大きな誤差が生ずる、全体的な距離の精度がばらつくなどの問題がある。
また、レンジファインダを用いたレーザー距離計測による第２の従来技術では、平面に対して均一にレーザー光を照射するため計測対象物のエッジ部分の計測精度がばらつく、スキャン時間が長いなどの問題がある。

本発明は、これらの問題点に鑑みてなされたものであり、複数台カメラを用いたステレオ視による第１の従来技術と、レンジファインダを用いたレーザー距離計測による第２の従来技術のそれぞれの長所が、それぞれの短所を補間する３次元計測装置を提供することを目的としている。すなわち、ＣＣＤカメラによって得られた画像データとレンジファインダによって得られた３次元データを用いて、未知の計測対象物を早い処理で、計測精度良く認識する３次元計測装置を提供することを目的としている。

請求項１に記載の発明は、３次元計測することにより未知の計測対象物を認識する３次元計測装置において、ＣＣＤカメラおよびレンジファインダを有し、ヨー軸、ピッチ軸、ロール軸により、それぞれヨー、ピッチ、ロール方向に動くセンサ部と、 前記ＣＣＤカメラで撮影した画像データに基づいて前記計測対象物を検知し、前記計測対象物と前記レンジファインダが正対する位置になるように前記ヨー軸、前記ピッチ軸を制御し、前記正対後に前記レンジファインダが前記計測対象物を中央に捉えたまま、その光軸中心にロール回転動作するように前記ロール軸を制御し、該回転動作中に得られた前記レンジファインダからの情報に基づいて前記計測対象物の３次元形状データを取得するコンピュータと、を備えたことを特徴としている。

また、請求項２に記載の発明は、請求項１に記載の３次元計測装置において、前記レンジファインダが前記計測対象物を中央に捉えたまま、前記光軸中心にロール回転動作する角度は１８０度であることを特徴としている。

また、請求項３に記載の発明は、請求項１に記載の３次元計測装置において、前記コンピュータは、前記ＣＣＤカメラで撮影した前記画像データおよび前記レンジファインダで取得した前記３次元形状データを一時的に保存するメモリと、前記計測対象物の２次元テンプレート画像と計測対象物３次元パターンを予め登録し保存する固定ディスクと、を備え、前記画像データと前記２次元テンプレート画像の比較結果、および前記３次元形状データと前記計測対象物３次元パターンとの比較結果に基づいて前記計測対象物を認識することを特徴としている。

請求項１に記載の発明によると、ＣＣＤカメラで撮影した画像データに基づいて計測対象物を検知するようにしているので、動く計測対象物でも短時間で検知することができる。また、計測対象物とレンジファインダが正対する位置になるようにヨー軸、ピッチ軸を制御し、計測対象物がレンジファインダとの位置が正対した後、レンジファインダが計測対象物を中央に捉えたまま、その光軸中心にロール回転動作するようにロール軸を制御し、該回転動作中に得られたレンジファインダの情報に基づいて計測対象物の３次元形状データを取得するようにしているので精度よく計測することができる。

また、請求項２に記載の発明は、レンジファインダが計測対象物を中央に捉えたまま、その光軸中心に１８０度ロール回転動作するようにロール軸を制御し、該回転動作中に得られたレンジファインダの情報に基づいて計測対象物の３次元形状データを取得するようにしているので、レンジファインダの計測ポイントを計測対象物に集中でき、計測精度を向上することができる。

また、請求項３に記載の発明は、予め登録保存している計測対象物の３次元パターンと計測対象物と計測で得られた３次元形状データの比較結果に基づいて計測対象物を認識するようにしているので、精度良く未知の計測対象物を認識できる。

以下、本発明の具体的実施例について、図に基づいて説明する。

図１は、本発明を示す３次元計測装置の構成図である。
図１において、１はＣＣＤカメラ、２は計測対象物、３は測定ポイント、４はレンジファインダの回転中心、５はレンジファインダ、６はセンサ部、７はヨ―軸、８はピッチ軸、９はロール軸、１０はＣＰＵ、１０ａはデーターバス、１１はメモリ、１１ａは制御プログラム、１１ｂは画像データ、１１ｃは３次元形状データ、１２は固定ディスク、１２ａはテンプレート画像、１２ｂは計測対象物３次元パターン、１３はモータ制御部、１４は外部入力部、１５は表示部、１６はコンピュータである。
本発明が従来技術と異なる部分は、ＣＣＤカメラ１、レンジファインダ５を有してヨー、ピッチ、ロール方向に動くセンサ部６と、計測対象物２とレンジファインダ５が正対する位置になるようにヨー軸７、ピッチ軸８を制御し計測対象物２を中央に捉えたままレンジファインダ５をその光軸中心に１８０度ロール回転動作させて得られたレンジファインダ５の情報から３次元形状データ１１ｃを取得して３次元形状パターン１２ｂとの比較結果に基づいて計測対象物２を認識するコンピュータ１６を備えた部分である。

以下、図１を用いて、本発明の３次元計測装置の詳細構成について説明する。
ＣＣＤカメラ１は、例えば６４０×４８０ピクセル程度の画像を３０フレーム/ｓｅｃで計測対象物２の画像データ１１ｂの取得を行うものである。レンジファインダ５は、計測ポイント間が１ｄｅｇ程度、最大計測距離が数ｍ程度、１ライン１０Ｈｚ程度でスキャン可能であり、計測距離の分解能が数ｍｍ程度のものであり、距離画像を取得して計測対象物２の３次元形状データ１１ｃを取得するものである。
また、ＣＣＤカメラ１とレンジファインダ５は、１つのテーブル上に固定されセンサ部６を形成しており、センサ部６をヨー方向、ピッチ方向、ロール方向にそれぞれ駆動するヨー軸７、ピッチ軸８、ロール軸９を備えている。尚、本発明におけるヨー方向、ピッチ方向、ロール方向の定義は図１に示す方向である。
また、コンピュータ１６は、通常のＤＯＳ/Ｖマシン相当と同様な構成になっており、各種演算命令を実行するＣＰＵ１０、制御プログラム１１ａ、取得した画像データ１１ｂ、３次元形状データ１１ｃを一時的に保存しておくメモリ１１、計測対象物２の認識ため取得データと比較する各種データ、すなわちテンプレート画像１２ａや計測対象物３次元パターン１２ｂを保存しておく固定ディスク１２、ヨー軸７、ピッチ軸８、ロール軸９のモータを制御するモータ制御部１３、ＣＣＤカメラ１とレンジファインダ５からの信号データを取得する外部入力部１４、画像データ１１ｂ、３次元形状データ１１ｃ、計測対象物２の認識結果などを表示する表示部１５から構成され、制御プログラム１１ａに従ってＣＰＵ１０が命令を実行することにより、モータ制御部１３、外部入力部１４を介して画像データ１１ｂ、３次元形状データ１１ｃを取得し計測対象物２の認識処理を実現するものであり、主としてＣＰＵ１０およびメモリ１１がコンピュータ１６の動作を実現する手段としての役割を果たしている。

図２は、本発明を示す３次元計測装置における動作を説明するフロー図である。
以下、図２を用いて本発明の３次元計測装置における動作を手順を追って説明する。
先ず、ステップＳＴ２０はキャリブレーションなどの初期設定であり、ヨー軸７、ピッチ軸８、ロール軸９のキャリブレーション動作、ＣＣＤカメラ１のズーム、フォーカス設定、レンジファインダの反射率設定などの初期設定を行う。
ステップＳＴ２０のキャリブレーションなどの初期設定が完了すると、次に、ステップＳＴ２１で、ヨー軸７、ピッチ軸８を駆動してセンサ部６を上下左右に動作させＣＣＤカメラ１を用いて計測対象物の検索を行う。
次のステップＳＴ２２はＣＣＤカメラ１により得られた画像データ１１ｂによる計測対象物２の認識であり、認識しようとする計測対象物２を予め様々な角度から撮影して大量のテンプレート画像１２ａを用意し、テンプレートマッチングによる認識を行う。
尚、計算コストの削減と、複雑な背景や環境光の変化に対するある程度頑健な認識を行うためテンプレートマッチングには固有空間法を用いる。すなわち、ＣＣＤカメラ１により得られる画像データ１１ｂとテンプレート画像１２ａに対してＫ-Ｌ展開を施し、画像ベクトルの識別に最適な固有空間上で類似度計算を正規化相関によって行い、お互いを比較することで計測対象物２の認識を行う。またここで、カメラ画像を用いた計測対象物２の認識においては、本実施例では１つのカメラ画像による計測対象物２の認識を挙げたが、複数カメラを用いたステレオ視による計測対象物２の認識手法を用いても良い。
ただし、画像データ１１ｂによる計測対象物２の認識においては、外部環境の変化による輝度値の変化に弱いなどのカメラ特有の問題があるため、ロバストな計測が困難であり計測対象物２の認識精度が劣化する。また、画像データ１１ｂは、２次元データであるため形状を持った計測対象物２の正確な認識には不十分である。そのため、ＣＣＤカメラ１によって得られた画像データ１１ｂで計測対象物２が認識された場合は、さらに高精度な認識処理を施すため、レンジファインダ５を用いて計測対象物２の３次元形状データ１１ｃを取得し計測対象物の認識に用いる。
次のステップＳＴ２３はレンジファインダ５を用いた計測対象物２の３次元形状データの取得であり、ＣＣＤカメラ１により認識された計測対象物２の中心が、レンジファインダ５の光軸中心と一致するようにレンジファインダ５をヨー軸７、ピッチ軸８を駆動して正対動作させる。
正対動作させたあと、ステップＳＴ２４で、レンジファインダ５を計測対象物２を中央に捉えたまま、その光軸中心に１８０度ロール軸９でロール回転動作させて３次元形状データ１１ｃを取得する。
なお、計測対象物２に対してレンジファインダ５を正対動作させるためには、画像データ１１ｂで認識された計測対象物２を追跡しながら、３次元計測装置のヨー軸７、ピッチ軸８を駆動してビジュアルサーボ制御して正対動作を行う。画像データ１１ｂを用いた計測対象物２の追跡は、固有空間法によるパターンマッチング処理を行ったあと、ＣＡＭＳＨＩＦＴ（ｃｏｎｔｉｎｕｏｕｓｌｙ ａｄａｐｔｉｖｅ ｍｅａｎ ｓｈｉｆｔ）アルゴリズムに切り替えて行う。このＣＡＭＳＨＩＦＴアルゴリズムは、画像データをＨＳＶ（ｈｕｅ、ｓａｔｕｒａｔｉｏｎ、ｖａｌｕｅ）変換することによって得られる色相値の分布を参照しながら計測対象物２周辺の色相値の勾配を検査し、その勾配のピーク周辺の領域を追跡するというノンパラメトリックな手法である。このアルゴリズムは、ノイズに対する頑健性を持ち、計測対象物追跡領域を前フレームの追跡領域の周辺に限定するため計算量が少なく、ほぼリアルタイムでの処理が可能であるため、計測対象物２への追従動作といったビジュアルサーボに用いることができる。
ステップＳＴ２５で、取得した計測対象物２の３次元形状データ１１ｃが、登録されている計測対象物２の３次元形状パターン１２ｂと一致しているかを判断する。
一致していたら、ステップＳＴ２６で、計測対象物２の認識を行う。

図３は、本発明を示す３次元計測装置におけるレンジファインダ５の計測ポイントの説明図である。
図３において、２は計測対象物、３は測定ポイント、４はレンジファインダの回転中心である。
図３に示すように、本実施例に係る３次元計測装置は、レンジファインダ５を計測対象物２中心、すなわちレンジファインダの回転中心４を中心に１８０ｄｅｇロール回転させて３次元形状データを取得するようにしているため、従来技術を示す図５と比較して、レンジファインダ５の計測ポイント３を計測対象物２に集中でき、計測精度の向上が図れる。

本発明は、未知の計測対象物を早い処理で、計測精度良く認識することができるので、屋外における清掃、警備、運搬などをおこなうサービスロボットに応用可能である。

本発明を示す３次元計測装置の構成図 本発明を示す３次元計測装置における動作を説明するフロー図 本発明を示す３次元計測装置におけるレンジファインダ５の計測ポイントの説明図 第１の従来技術を示す３次元計測装置の説明図 第２の従来技術を示す３次元計測装置の説明図 第1、第２の従来技術の長所・短所を説明する比較図

符号の説明

１ ＣＣＤカメラ
２ 計測対象(対象物)
３ 測定ポイント
４ レンジファインダの回転中心
５ レンジファインダ
６ センサ部
７ ヨ―軸
８ ピッチ軸
９ ロール軸
１０ ＣＰＵ
１０ａ データーバス
１１ メモリ
１１ａ 制御プログラム１
１１ｂ 画像データ
１１ｃ ３次元形状データ
１２ 固定ディスク
１２ａ テンプレート画像
１２ｂ 計測対象物３次元パターン
１３ モータ制御部
１４ 外部入力部
１５ 表示部
１６ コンピュータ

Claims (3)

1. ３次元計測することにより未知の計測対象物（２）を認識する３次元計測装置において、
   ＣＣＤカメラ（１）およびレーザーレンジファインダ（５）を有し、ヨー軸（７）、ピッチ軸（８）、ロール軸（９）により、それぞれヨー、ピッチ、ロール方向に動くセンサ部（６）と、
   前記ＣＣＤカメラ（１）で撮影した画像データに基づいて前記計測対象物（２）を検知し、前記計測対象物（２）と前記レーザーレンジファインダ（５）が正対する位置になるように前記ヨー軸（７）、前記ピッチ軸（８）を制御し、前記正対後に前記レーザーレンジファインダ（５）が前記計測対象物（２）を中央に捉えたまま、その光軸中心にロール回転動作するように前記ロール軸（９）を制御し、該回転動作中に得られた前記レーザーレンジファインダ（５）からの情報に基づいて前記計測対象物（２）の３次元形状データ（１１ｃ）を取得するコンピュータ（１６）と、を備えたことを特徴とする３次元計測装置。
2. 前記レーザーレンジファインダ（５）が前記計測対象物（２）を中央に捉えたまま、前記光軸中心にロール回転動作する角度は１８０度であることを特徴とする請求項１に記載の３次元計測装置。
3. 前記コンピュータ（１６）は、
   前記ＣＣＤカメラ（１）で撮影した前記画像データ（１１ｂ）および前記レーザーレンジファインダ（５）で取得した前記３次元形状データ（１１ｃ）を一時的に保存するメモリ（１１）と、
   前記計測対象物（２）の２次元テンプレート画像（１２ａ）と計測対象物３次元パターン（１２ｂ）を予め登録し保存する固定ディスク（１２）と、を備え、
   前記画像データ（１１ｂ）と前記２次元テンプレート画像（１２ａ）の比較結果、および前記３次元形状データ（１１ｃ）と前記計測対象物３次元パターン（１２ｂ）との比較結果に基づいて前記計測対象物（２）を認識することを特徴とする請求項１に記載の３次元計測装置。

Images