JP2010205095A - ３次元物体認識装置、並びに３次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】 ２次元画像における輪郭などの特徴から３次元物体を認識する３次元物体認識装置において、隠れの影響を排除してロバスト性を向上させるとともに、位置及び姿勢を最適化して認識精度を高める手段を提供する。
【解決手段】 本発明に係る３次元物体認識装置は、３次元物体を撮影するカメラと、３次元物体の位置及び姿勢を変化させながらカメラ画像に投影し、各投影点の座標及びエッジの向きを算出する手段と、それに基づいて作成したルックアップテーブルを記憶する手段と、ピラミッド画像を作成する手段と、解像度が最も低いピラミッド画像についてエッジを抽出する手段と、方向付きディスタンスマップを作成する手段と、方向付きディスタンスマップ上に各投影点をマッピングする手段と、位置及び姿勢を評価する手段と、位置及び姿勢を最適化する手段と、を備えるものである。
【選択図】 図２

Description

本発明は、形状が既知の３次元物体を、カメラ等で撮影した２次元画像における輪郭などの特徴から認識する３次元物体認識装置、並びに３次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体に関する。

生産ラインにおいてロボットアームによる部品等の正確な操作を可能とするため、山積みにされた部品等を個々に認識し、各部品の位置及び姿勢を認識する３次元物体認識装置が近年開発されている。この３次元物体認識装置は、まず３次元物体を所定方向からカメラで撮影した画像から３次元物体のエッジすなわち輪郭などの特徴を抽出し、撮影画像を構成する各ピクセルについて最も近いエッジまでの距離をそれぞれ計算する。次に、３次元物体認識装置は、３次元物体を種々の位置及び姿勢に置いた状態で撮影画像に投影し、エッジを構成する各点の座標をそれぞれ算出する。そして、３次元物体認識装置は、両者を比較した誤差に基づいてその位置及び姿勢を評価し、最も評価の高い位置及び姿勢をその３次元物体の位置及び姿勢として認識する。

しかし、３次元物体の位置及び姿勢を変化させる度に、撮影画像を構成する各ピクセルについて最も近いエッジまでの距離を計算したのでは、高性能な処理装置が必要となりコストが高くなる。従って、この問題を解消すべく、ディスタンスマップを予め作成することが提案されている（例えば特許文献１参照）。このディスタンスマップは、撮影画像を構成する各ピクセルに、最も近いエッジまでの距離を画素値としてそれぞれ持たせたものであり、このディスタンスマップを参照することにより、最も近いエッジまでの距離を一々計算する手間を省くことができる。

特開平１１−０２５２９１号公報

しかし、従来の３次元物体認識装置は、認識対象物の隠れの影響によってロバスト性が悪いという問題があった。すなわち、部品等が山積みされた状態では、カメラ方向から見ると、認識対象である３次元物体の一部が他の物体によって隠された状態となる場合がある。そして、あるピクセルから最も近いエッジが隠れた状態となった場合、最も近いエッジまでの距離が誤って計算されるため、３次元物体の位置及び姿勢を正しく評価することができず、誤認識が発生する。

また、本発明に係る３次元認識システムは、予め定めた複数の位置及び姿勢を評価して最適なものを選択するに留まるため、３次元物体の本来の位置及び姿勢と比較して誤差が生じる場合があり、認識精度が悪いという問題もある。

本発明は、このような問題に鑑みてなされたものであり、２次元画像における輪郭などの特徴から３次元物体を認識する３次元物体認識装置において、隠れの影響を排除してロバスト性を向上させるとともに、位置及び姿勢を最適化して認識精度を高める手段を提供する。

上記目的を達成するための本発明の請求項１に係る３次元物体認識装置は、認識対象である３次元物体を所定方向から撮影して画像を取得するカメラと、前記３次元物体の位置及び姿勢を変化させながら、前記３次元物体のエッジを構成するサンプリング点のうち前記カメラから視認可能なサンプリング点をカメラ画像にそれぞれ投影し、各投影点の座標及び各投影点におけるエッジの向きをそれぞれ算出する投影点座標算出手段と、前記３次元物体の位置及び姿勢と、前記各投影点の座標及び各投影点におけるエッジの向きとを対応付けて格納したルックアップテーブルを記憶するルックアップテーブル記憶手段と、前記カメラが取得した原画像に基づいて、該原画像の解像度を異なる比率で低下させた複数枚のピラミッド画像を作成するピラミッド画像作成手段と、解像度が最も低い前記ピラミッド画像について前記３次元物体のエッジを抽出するエッジ抽出手段と、解像度が最も低い前記ピラミッド画像を構成する各ピクセルに、抽出したエッジのうち最も近いエッジまでの距離と、前記最も近いエッジの向きとを画素値として持たせてなる方向付きディスタンスマップを作成する方向付きディスタンスマップ作成手段と、前記方向付きディスタンスマップ上に、前記ルックアップテーブルに格納された前記各投影点をそれぞれマッピングする投影点マッピング手段と、前記各投影点におけるエッジの向きと、前記方向付きディスタンスマップにおいて前記各投影点に対応するピクセルが持つ最も近いエッジの向きとをそれぞれ比較し、両者が略一致する投影点群について対応するピクセル群が持つ最も近いエッジまでの距離の自乗和を算出し、その算出結果に基づいて前記３次元物体の位置及び姿勢を評価する位置姿勢評価手段と、該位置姿勢評価手段によって前記３次元物体の実際の位置及び姿勢に近いと評価された位置及び姿勢を、前記自乗和が最小となるように最適化する位置姿勢最適化手段と、を備えるものである。

また、請求項２に係る３次元物体認識装置は、前記エッジ抽出手段が、サブピクセル精度で前記３次元物体のエッジを抽出し、前記位置姿勢評価手段が、前記最も近いエッジまでの距離として、前記ピクセル群から前記サブピクセル精度のエッジへ降ろした垂線の長さを用いるものである。

また、請求項３に係る３次元物体認識装置は、コンピュータを、認識対象である３次元物体の位置及び姿勢を変化させながら、前記３次元物体のエッジを構成するサンプリング点のうちカメラから視認可能なサンプリング点をカメラ画像にそれぞれ投影し、各投影点の座標及び各投影点におけるエッジの向きをそれぞれ算出する投影点座標算出手段と、前記３次元物体の位置及び姿勢と、前記各投影点の座標及び各投影点におけるエッジの向きとを対応付けて格納したルックアップテーブルを記憶するルックアップテーブル記憶手段と、前記カメラが取得した原画像に基づいて、該原画像の解像度を異なる比率で低下させた複数枚のピラミッド画像を作成するピラミッド画像作成手段と、解像度が最も低い前記ピラミッド画像について前記３次元物体のエッジを抽出するエッジ抽出手段と、解像度が最も低い前記ピラミッド画像を構成する各ピクセルに、抽出したエッジのうち最も近いエッジまでの距離と、前記最も近いエッジの向きとを画素値として持たせてなる方向付きディスタンスマップを作成する方向付きディスタンスマップ作成手段と、前記方向付きディスタンスマップ上に、前記ルックアップテーブルに格納された前記各投影点をそれぞれマッピングする投影点マッピング手段と、前記各投影点におけるエッジの向きと、前記方向付きディスタンスマップにおいて前記各投影点に対応するピクセルが持つ最も近いエッジの向きとをそれぞれ比較し、両者が略一致する投影点群について対応するピクセル群が持つ最も近いエッジまでの距離の自乗和を算出し、その算出結果に基づいて前記３次元物体の位置及び姿勢を評価する位置姿勢評価手段と、該位置姿勢評価手段によって前記３次元物体の実際の位置及び姿勢に近いと評価された位置及び姿勢を、前記自乗和が最小となるように最適化する位置姿勢最適化手段として機能させるものである。

また、請求項４に係る３次元物体認識プログラムが記録されたコンピュータ読み取り可能な記録媒体は、請求項３に記載の３次元物体認識プログラムが記録されたものである。

本発明の請求項１に係る３次元物体認識装置によれば、位置姿勢評価手段が、方向付けディスタンスマップとエッジの向きが略一致する投影点だけについて自乗和を算出する。従って、カメラの方向から見て３次元物体の一部が他の物体によって隠された状態であって、最も近いエッジまでの距離が誤って計算されたピクセルに関しては、エッジの向きが一致せず、自乗和を算出する対象から除外される。これにより、いわゆる隠れの影響を低減して、ロバスト性を向上させることができる。また、解像度が最も低いピラミッド画像を用いてルックアップテーブルに格納された位置及び姿勢を評価するので、処理速度を高速化することができる。また、位置姿勢最適化手段が、実際の位置及び姿勢に近いと評価された位置及び姿勢を更に最適化するので、位置及び姿勢の認識精度を向上させることができる。

また、請求項２に係る３次元物体認識装置によれば、ピラミッド画像についてのエッジ抽出をサブピクセル精度で行うので、位置及び姿勢の認識精度を向上させることができる。

また、請求項３に係る３次元物体認識プログラムによれば、請求項１に係る３次元物体認識装置と同様の効果が得られる。

また、請求項４に係る３次元物体認識プログラムが記録されたコンピュータ読み取り可能な記録媒体によれば、請求項１に係る３次元物体認識装置と同様の効果が得られる。

本発明の実施例に係る３次元物体認識装置１の構成を示す模式図。 ３次元物体認識プログラム８による処理の流れを示すフローチャート。 ピラミッド画像１５を説明するための説明図。 エッジ抽出を説明するための説明図であって、原画像１６の一部をピクセルレベルまで拡大した状態を示す図。 ルックアップテーブルの作成方法を説明するための説明図。

図１は、本実施例に係る３次元物体認識装置１の構成を示す模式図である。３次元物体認識装置１は、作業台２の上に置かれた認識対象としての３次元物体３と、この３次元物体３を異なる方向から撮影する２台のカメラ４と、３次元物体３を把持するためのロボットアーム５と、各カメラ４から入力された撮影画像に基づいてロボットアーム５の動作を制御するコンピュータ６とを備えるものである。

コンピュータ６は、図１に示すように、カメラ４が撮影した画像データ等を記憶する画像メモリ７と、３次元物体認識プログラム８を格納するハードディスク９と、該ハードディスク９から読み出された３次元物体認識プログラム８を一時記憶するＲＡＭ（Ｒａｎｄａｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０と、この３次元物体認識プログラム８に従って３次元物体３の位置及び姿勢を算出するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、画像メモリ７に記憶された画像データやＣＰＵ１１による算出結果を表示するための表示部１２と、マウスやキーボード等で構成される操作部１３と、これら各部を互いに接続するシステムバス１４とを有している。尚、本実施例では３次元物体認識プログラム８をハードディスク９に格納しているが、これに代えて、コンピュータ読み取り可能な記録媒体（不図示）に格納しておき、この記録媒体から読み出すことも可能である。

以下、３次元物体認識プログラム８による処理手順について説明する。図２は、３次元物体認識プログラム８による処理の流れを示すフローチャートである。まず、ＣＰＵ１１は、３次元物体３を撮影した原画像がカメラ４から入力されると、この原画像に基づいて複数枚のピラミッド画像を作成し（Ｓ１）、図１に示す画像メモリ７に記憶する。図３は、ピラミッド画像１５を説明するための説明図である。ピラミッド画像１５は、原画像１６の解像度を所定の比率で低下させたものである。例えば、ＣＰＵ１１は、縦横両方向にそれぞれｎ個ずつのピクセルが並んだ原画像１６が入力された場合、縦横両方向にそれぞれｎ／２個のピクセルが並んだ第１ピラミッド画像１５Ａ、縦横両方向にそれぞれｎ／４個のピクセルが並んだ第２ピラミッド画像１５Ｂ、縦横両方向にそれぞれｎ／８個のピクセルが並んだ第３ピラミッド画像１５Ｃを作成する。尚、本実施例では３段階のピラミッド画像１５を作成したが、この段階数は入力画像の大きさに応じて適宜変更することができる。

次に、ＣＰＵ１１は、図２に示すように、解像度が最も低い第３ピラミッド画像１５Ｃについて３次元物体３のエッジを抽出する（Ｓ２）。ここで、このエッジ抽出としては、ピクセル精度でのエッジ抽出を行う。図４は、エッジ抽出を説明するための説明図であって、原画像１６の一部をピクセルレベルまで拡大した状態を示している。ピクセル精度でのエッジ抽出によれば、図において黒く塗り潰されたエッジ構成ピクセル１７の集合体としてエッジが抽出される（以下、このエッジを「ピクセルエッジ１８」と呼ぶ）。尚、本実施例では処理速度を優先させるべくピクセル精度でのエッジ抽出を行ったが、高い認識精度が要求される場合には、サブピクセル精度でのエッジ抽出を行ってもよい。サブピクセル精度でのエッジ抽出によれば、図４に直線で示すように、隣接ピクセル間隔Ｄ以下の精度でエッジが抽出される（以下、このエッジを「サブピクセルエッジ１９」と呼ぶ）。

次に、ＣＰＵ１１は、図２に示すように、方向付きディスタンスマップを作成し（Ｓ３）、図１に示すＲＡＭ８に記憶する。方向付きディスタンスマップとは、図に詳細は示さないが、エッジ抽出を行った第３ピラミッド画像１５Ｃを構成する各ピクセルに、そのピクセルから最も近いピクセルエッジ１８までの距離と、最も近いピクセルエッジ１８の向きとを画素値として持たせたものである。

次に、ＣＰＵ１１は、方向付きディスタンスマップ上に、予め記憶したルックアップテーブルに格納された投影点をそれぞれマッピングする（Ｓ４）。このルックアップテーブルとは、３次元物体３の形状やカメラ４の位置等に応じ、ＣＰＵ１１が事前に作成してＲＡＭ１０等に記憶したものである。その作成方法は、図５に示すように、３次元物体３の各エッジ２０の上にサンプリング点２１を設定し、各サンプリング点２１がカメラ４から視認可能であるか否かを判定する。そして、カメラ４から視認可能と判断したサンプリング点２１だけをカメラ画像２２に投影し、投影点２３の座標及び投影点２３におけるエッジ２４の向きを算出する。この作業を、カメラ４の位置等から考えて可能性のある全範囲に渡って、３次元物体３の位置（３自由度）及び姿勢（３自由度）を十分に細かく変化させながら、繰り返し行う。そして、３次元物体３の位置及び姿勢に対応付けて、投影点２３の座標と投影点２３におけるエッジ２０の向きとを格納することにより、ルックアップテーブルを作成する。ＣＰＵ１１は、このルックアップテーブルに格納された各投影点２３を、その座標に基づいて方向付きディスタンスマップ上に順次配置する。尚、方向付きディスタンスマップでは、最も近いピクセルエッジ１８までの距離は画素毎にしか格納されていないため、投影点２３のマッピングに際し、投影点２３の座標値が小数部分を有する場合には、いわゆるバイリニア補間を用いることによって投影点２３の配置位置を決定すればよい。

次に、ＣＰＵ１１は、マッピングされた各投影点２３におけるエッジ２４の向きと、方向付けディスタンスマップ上でその投影点２３に対応するピクセルが画素値として持つ最も近いピクセルエッジ１８の向きとを比較する。そして、両者が一致する投影点群について、ＣＰＵ１１は、その投影点群に対応するピクセル群が持つ最も近いピクセルエッジ１８までの距離の自乗和を算出し、その算出結果に基づいて、３次元物体３の位置及び姿勢を評価する（Ｓ５）。すなわち、投影点２３からなるエッジ２４と、ピラミッド画像１５Ａにおけるピクセルエッジ１８とを比較した時の誤差の大きさに基づいて、ルックアップテーブルに従って決定した位置及び姿勢が、３次元物体３の実際の位置及び姿勢からどの程度近いかを評価する。

ここで、前記自乗和の算出に際しては、最も近いエッジまでの距離として、図４に示す対象ピクセル２５からピクセルエッジ１８までの距離Ｌａを用いる。このピクセルエッジ１８までの距離Ｌａとは、図で黒く塗り潰されたエッジ構成ピクセル１７までの最短距離を意味している。尚、前述のようにピラミッド画像１５についてのエッジ抽出をサブピクセル精度で行った場合には、最も近いエッジまでの距離として、図４に示す対象ピクセル２５からサブピクセルエッジ１９までの距離Ｌｂを用いてもよい。このサブピクセルエッジ１９までの距離Ｌｂとは、対象ピクセル２５からサブピクセルエッジ１９へと降ろした垂線２６の長さを意味している。また、要求される処理速度と認識精度の兼ね合いによっては、最も近いエッジまでの距離として距離Ｌａと距離Ｌｂを混在させて用いてもよい。例えば、距離Ｌｂが隣接ピクセル間距離Ｄに満たない場合には距離Ｌｂを用い、距離Ｌｂが隣接ピクセル間距離Ｄ以上である場合には距離Ｌａを用いるようにしてもよい。

そして、評価の結果、ルックアップテーブルに従って決定した位置及び姿勢が、３次元物体３の実際の位置及び姿勢に近いと判断した場合、ＣＰＵ１１は、前記自乗和が最小となるように、当該位置及び姿勢を最適化する（Ｓ６）。ここで、この最適化には、従来公知のレーベンバーグ・マーカート法を用いる。このように、方向付けディスタンスマップとエッジの向きが略一致する投影点２３だけについて前記自乗和を算出するので、カメラ４の方向から見て３次元物体３の一部が他の物体によって隠された状態であって、最も近いエッジまでの距離が誤って計算されたピクセルに関しては、エッジの向きが一致せず、前記自乗和を算出する対象から除外される。これにより、いわゆる隠れの影響を低減して、ロバスト性を向上させることができる。また、自乗和が最小となるように位置及び姿勢を最適化することにより、位置及び姿勢の認識精度を向上させることができる。尚、位置及び姿勢の最適化の手法としては、レーベンバーグ・マーカート法に限られず、従来公知の他の非線形最適化手法を用いてもよい。

その後、ＣＰＵ１１は、Ｓ６で最適化した位置及び精度が必要な精度を満たしているか否かを判定し（Ｓ７）、必要な精度を満たしていると判断した場合は（Ｓ７：Ｙｅｓ）、第１ピラミッド画像１５Ａについて得られた位置及び姿勢を最終結果として出力し（Ｓ８）、処理を終了する。一方、Ｓ７での判定の結果、必要な精度を満たしていないと判断した場合は（Ｓ７：Ｎｏ）、未処理のピラミッド画像１５があるか否かを判定し（Ｓ９）、未処理のピラミッド画像１５はないと判断した場合は（Ｓ９：Ｎｏ）、第１ピラミッド画像１５Ａの結果を最終結果として出力し（Ｓ８）、処理を終了する。一方、未処理のピラミッド画像１５があると判断した場合は（Ｓ９：Ｙｅｓ）、Ｓ２へ戻って残りのピラミッド画像１５例えば第２ピラミッド画像１５Ｂについて同様の処理を行う。そして、未処理のピラミッド画像１５が無くなるまでこれを繰り返す。このように、必要な精度に達するまで、より解像度の高いピラミッド画像１５について処理を行うことにより、３次元物体３の位置及び姿勢をより高い精度で認識することができる。もちろん、高速な処理速度が要求される場合には、所定段階のピラミッド画像１５で処理が終了するよう予め定めておいてもよいし、また所定段階のピラミッド画像１５だけについて処理を行うように予め定めておいてもよい。

本発明に係る３次元物体認識装置は、ロボットアーム以外の他の機器の動作制御に用いることも可能である。

１ ３次元物体認識装置
３ ３次元物体
４ カメラ
８ ３次元物体認識プログラム
１５ ピラミッド画像
１５Ｃ 第３ピラミッド画像
１６ 原画像
１８ ピクセルエッジ
１９ サブピクセルエッジ
２１ サンプリング点
２２ カメラ画像
２３ 投影点

Claims (4)

1. 認識対象である３次元物体を所定方向から撮影して画像を取得するカメラと、
   前記３次元物体の位置及び姿勢を変化させながら、前記３次元物体のエッジを構成するサンプリング点のうち前記カメラから視認可能なサンプリング点をカメラ画像にそれぞれ投影し、各投影点の座標及び各投影点におけるエッジの向きをそれぞれ算出する投影点座標算出手段と、
   前記３次元物体の位置及び姿勢と、前記各投影点の座標及び各投影点におけるエッジの向きとを対応付けて格納したルックアップテーブルを記憶するルックアップテーブル記憶手段と、
   前記カメラが取得した原画像に基づいて、該原画像の解像度を異なる比率で低下させた複数枚のピラミッド画像を作成するピラミッド画像作成手段と、
   解像度が最も低い前記ピラミッド画像について前記３次元物体のエッジを抽出するエッジ抽出手段と、
   解像度が最も低い前記ピラミッド画像を構成する各ピクセルに、抽出したエッジのうち最も近いエッジまでの距離と、前記最も近いエッジの向きとを画素値として持たせてなる方向付きディスタンスマップを作成する方向付きディスタンスマップ作成手段と、
   前記方向付きディスタンスマップ上に、前記ルックアップテーブルに格納された前記各投影点をそれぞれマッピングする投影点マッピング手段と、
   前記各投影点におけるエッジの向きと、前記方向付きディスタンスマップにおいて前記各投影点に対応するピクセルが持つ最も近いエッジの向きとをそれぞれ比較し、両者が略一致する投影点群について対応するピクセル群が持つ最も近いエッジまでの距離の自乗和を算出し、その算出結果に基づいて前記３次元物体の位置及び姿勢を評価する位置姿勢評価手段と、
   該位置姿勢評価手段によって前記３次元物体の実際の位置及び姿勢に近いと評価された位置及び姿勢を、前記自乗和が最小となるように最適化する位置姿勢最適化手段と、
   を備えることを特徴とする３次元物体認識装置。
2. 前記エッジ抽出手段が、サブピクセル精度で前記３次元物体のエッジを抽出し、
   前記位置姿勢評価手段が、前記最も近いエッジまでの距離として、前記ピクセル群から前記サブピクセル精度のエッジへ降ろした垂線の長さを用いることを特徴とする請求項１に記載の３次元物体認識装置。
3. コンピュータを、
   認識対象である３次元物体の位置及び姿勢を変化させながら、前記３次元物体のエッジを構成するサンプリング点のうちカメラから視認可能なサンプリング点をカメラ画像にそれぞれ投影し、各投影点の座標及び各投影点におけるエッジの向きをそれぞれ算出する投影点座標算出手段と、
   前記３次元物体の位置及び姿勢と、前記各投影点の座標及び各投影点におけるエッジの向きとを対応付けて格納したルックアップテーブルを記憶するルックアップテーブル記憶手段と、
   前記カメラが取得した原画像に基づいて、該原画像の解像度を異なる比率で低下させた複数枚のピラミッド画像を作成するピラミッド画像作成手段と、
   解像度が最も低い前記ピラミッド画像について前記３次元物体のエッジを抽出するエッジ抽出手段と、
   解像度が最も低い前記ピラミッド画像を構成する各ピクセルに、抽出したエッジのうち最も近いエッジまでの距離と、前記最も近いエッジの向きとを画素値として持たせてなる方向付きディスタンスマップを作成する方向付きディスタンスマップ作成手段と、
   前記方向付きディスタンスマップ上に、前記ルックアップテーブルに格納された前記各投影点をそれぞれマッピングする投影点マッピング手段と、
   前記各投影点におけるエッジの向きと、前記方向付きディスタンスマップにおいて前記各投影点に対応するピクセルが持つ最も近いエッジの向きとをそれぞれ比較し、両者が略一致する投影点群について対応するピクセル群が持つ最も近いエッジまでの距離の自乗和を算出し、その算出結果に基づいて前記３次元物体の位置及び姿勢を評価する位置姿勢評価手段と、
   該位置姿勢評価手段によって前記３次元物体の実際の位置及び姿勢に近いと評価された位置及び姿勢を、前記自乗和が最小となるように最適化する位置姿勢最適化手段
   として機能させるための３次元物体認識プログラム。
4. 請求項３に記載の３次元物体認識プログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images