JP2014185901A

JP2014185901A - ３次元物体認識装置

Info

Publication number: JP2014185901A
Application number: JP2013060011A
Authority: JP
Inventors: Tomohiro Nakamichi; 朋弘仲道
Original assignee: 3D Media Co Ltd
Current assignee: Kyoto Robotics Corp
Priority date: 2013-03-22
Filing date: 2013-03-22
Publication date: 2014-10-02

Abstract

【課題】認識対象物の形状や向きに関係なく、認識対象物の位置姿勢の認識を行うために必要な情報を確実に取得することができる３次元物体認識装置を提供する。
【解決手段】３次元形状を有する認識対象物Ｗの位置姿勢を認識するための３次元物体認識装置において、認識対象物Ｗの画像の取得又は認識対象物Ｗの表面の点の３次元座標を示す３次元点群の計測を行うための撮像装置３を３台以上備え、それぞれの撮像装置３ａ〜３ｃが、共通視野を持つように各２台の撮像装置の視線方向を示す視線方向ベクトルで形成される平面上とは異なる位置に配置される。
【選択図】図１

Description

本発明は、認識対象となる３次元物体を認識するための３次元物体認識装置に関する。

生産ラインにおいてロボットアームによる部品等の正確な操作を可能とするため、山積みにされた部品等を個々に認識し、各部品の位置及び姿勢を認識する３次元物体認識装置が近年開発されている。

従来、このような３次元物体認識装置では、例えば、３次元形状を有する認識対象物を所定方向からカメラで撮影した画像から認識対象物のエッジすなわち輪郭等の特徴を抽出し、撮影画像を構成する各画素について最も近いエッジまでの距離をそれぞれ計算し、認識対象物の輪郭形状を表わす３次元モデルを撮影画像上に射影して照合することにより認識対象物の位置姿勢を認識している（例えば、特許文献１参照）。また、３次元物体認識装置としては、認識対象物の表面の点の３次元座標を示す３次元点群を用いて認識対象物の位置姿勢を認識するものもある。通常、このような３次元物体認識装置では、上記のように認識対象物の画像や計測点群を取得するために撮像装置が備えられている。

特開２０１０−２０５０９５号公報

しかしながら、従来の３次元物体認識装置は、認識方式にも拠るが、１台又は２台の撮像装置を備えたものが一般的であり、図６（ａ）に示すように、薄い板金のような認識対象物（以下、ワークという）Ｗに対して、１台の撮像装置１００ａを用いた場合には、撮像装置１００ａがワークＷの面１０１に対して真横（図６（ａ）中の左側）に位置すると、撮像装置１００ａの視線方向を示す視線方向ベクトルＣ１とワークＷの平面１０１は交わらず、撮像装置１００ａにより得られる画像１０３ａは、ワークＷの図６（ａ）中の左側の端部１０２ａが細い直線Ｌ１として撮影されたものになるので、ワークＷの背景等に存在する直線状のノイズＮとの識別が困難になる。

また、図６（ｂ）に示すように、もう１台の撮像装置１００ｂを設けた場合でも、撮像装置１００ｂがワークＷの面１０１に対して真上等に位置すると、撮像装置１００ｂの視線方向を示す視線方向ベクトルＣ２とワークＷの平面１０１が交わらず、撮像装置１００ｂにより得られる画像１０３ｂは、ワークＷの図６（ｂ）中の上方の端部１０２ｂが細い直線Ｌ２として撮影されたものになるので、画像１０３ａと同様にワークＷの背景等に存在する直線状のノイズＮとの識別が困難になる。このように、ワークＷの向きによっては、１台又は２台の撮像装置を設けた３次元物体認識装置では、ワークＷの位置姿勢を適切に認識することができないという問題が生じる。

本発明、上記のような課題に鑑みてなされたものであって、認識対象物の形状や向きに関係なく、認識対象物の位置姿勢の認識を行うために必要な情報を確実に取得することができる３次元物体認識装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の３次元物体認識装置は、３次元形状を有する認識対象物の位置姿勢を認識するための３次元物体認識装置において、前記認識対象物の画像の取得又は前記認識対象物の表面の点の３次元座標を示す３次元点群の計測を行うための撮像装置を３台以上備え、前記それぞれの撮像装置は、共通視野を持つように各２台の前記撮像装置の視線方向を示す視線方向ベクトルで形成される平面上とは異なる位置に配置されることを特徴としている。

請求項２に記載の３次元物体認識装置は、３次元形状を有する認識対象物の位置姿勢を認識するための３次元物体認識装置において、前記認識対象物の画像の取得又は前記認識対象物の表面の点の３次元座標を示す３次元点群の計測を行うための撮像装置を３台以上備え、前記それぞれの撮像装置は、各２台の前記撮像装置の視線方向を示す視線方向ベクトルで形成されるそれぞれの平面が、互いに同一平面とならないように配置されることを特徴としている。

請求項３に記載の３次元物体認識装置は、前記撮像装置が、３台設けられており、前記それぞれの撮像装置は、前記視線方向ベクトルがそれぞれ直交するように配置されていることを特徴としている。

請求項１に記載の３次元物体認識装置によれば、認識対象物の画像の取得又は認識対象物の表面の点の３次元座標を示す３次元点群の計測を行うための撮像装置を３台以上備えており、それぞれの撮像装置は、共通視野を持つように各２台の前記撮像装置の視線方向を示す視線方向ベクトルで形成される平面上とは異なる位置に配置される。従って、薄い板状の認識対象物がどのような向きに置かれていたとしても、撮像装置を合計ｎ（ｎ≧３）とした場合に、少なくともｎ−２台の撮像装置により、ノイズと識別可能な情報を有する画像又は３次元点群を取得することができるので、認識対象物の位置姿勢を適切に認識することができる。

請求項２に記載の３次元物体認識装置によれば、認識対象物の画像の取得又は認識対象物の表面の点の３次元座標を示す３次元点群の計測を行うための撮像装置を３台以上備えており、それぞれの撮像装置は、各２台の前記撮像装置の視線方向を示す視線方向ベクトルで形成されるそれぞれの平面が、互いに同一平面とならないように配置される。従って、薄い板状の認識対象物がどのような向きに置かれていたとしても、撮像装置を合計ｎ（ｎ≧３）とした場合に、少なくともｎ−２台の撮像装置により、ノイズと識別可能な情報を有する画像又は３次元点群を取得することができるので、認識対象物の位置姿勢を適切に認識することができる。

請求項３に記載の３次元物体認識装置によれば、撮像装置の数を３台に抑えるとともに、それぞれの撮像装置の視線方向ベクトルが直交するように配置することで、それぞれの撮像装置からの認識対象物の見え方を最大に変化させて最も多くの情報を得ることができるので、装置のコストを軽減しつつ、効率良くノイズと識別可能な情報を有する画像又は３次元点群を取得することができる。

本発明の実施形態に係る３次元物体認識装置の構成の一例を示す概略模式図である。撮像装置の配置の仕方について説明するための概略説明図である。撮像装置の配置の一例を示す概略模式図である。図３の撮像装置の配置により取得される画像について説明するための概略説明図である。撮像装置の配置の他の一例を示す概略平面図である。従来の撮像装置の配置について説明するための概略説明図であって、（ａ）は１台の撮像装置を用いた場合を示しており、（ｂ）は２台の撮像装置を用いた場合を示している。

以下に本発明の実施形態に係る３次元物体認識装置１について、図面を参照しつつ説明する。図１に示すように、３次元物体認識装置１は、通い箱２内に積まれた３次元形状を有する認識対象物（以下、ワークという）Ｗの位置姿勢を認識するためのものであって、ワークＷの画像の取得又はワークＷの表面の点の３次元座標を示す３次元点群の計測を行うための撮像装置３と、ワークＷを把持するためのロボットアーム４と、撮像装置３により得られた画像や点群データに基づいてロボットアーム４の動作を制御するコンピュータ５とを備えている。ワークＷは、特に限定されるものではないが、ここでは薄い板状の板金を認識対象としている。

コンピュータ５は、図１に示すように、撮像装置３により得られた画像データ又は点群データ等を記憶する画像メモリ６と、ワークＷの認識を行うための処理プログラム等を格納するハードディスク７と、該ハードディスク７から読み出された処理プログラムを一時記憶するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）８と、この処理プログラムに従って３次元認識処理を行うＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｅｓｓｉｎｇＵｎｉｔ）９と、画像メモリ６に記憶された画像データやＣＰＵ９によって求められた認識結果等を表示するための表示部１０と、マウスやキーボード等で構成される操作部１１と、これら各部を互いに接続するシステムバス１２とを有している。尚、本実施形態では、ワークＷの認識を行う処理プログラムをハードディスク７に格納している例を示しているが、これに代えて、コンピュータ読み取り可能な記憶媒体（不図示）に格納しておき、この記録媒体から処理プログラムを読み出すように構成することも可能である。

撮像装置３は、図１に示すように、ワークＷが積まれた通い箱２の上方に３台設けられている。この撮像装置３としては、例えば、ワークＷの画像を取得するためのカメラやレーザのワークＷによる反射を用いてワークＷの表面の点の３次元座標を示す３次元点群を計測する３次元センサ等を用いることができる。尚、撮像装置３は、これらに限定されるものではなく、ワークＷの位置姿勢の認識を行うために、ワークＷの各種画像やワークＷの表面の点の３次元座標を示す３次元点群を取得できるものであれば良く、従来公知のものを用いることができる。また、撮像装置３の台数は、３台に限定されるものではなく、少なくとも３台以上設けられていれば良い。

以下、３次元物体認識装置１における撮像装置３（３ａ〜３ｃ）の配置について図２及び図３を参照しつつ説明する。撮像装置３の配置の仕方としては、それぞれの撮像装置３ａ〜３ｃが、共通視野を持つように各２台の撮像装置の視線方向を示す視線方向ベクトルで形成される平面上とは異なる位置に配置される。視線方向ベクトルとは、撮像装置３の光軸方向と対応する視線方向を示すものである。

本実施形態のように３台の撮像装置３ａ〜３ｃを用いた場合には、図２に示すように、撮像装置３ａの視線方向ベクトルＣ１と撮像装置３ｂの視線方向ベクトルＣ２で形成される平面と、撮像装置３ａの視線方向ベクトルＣ１と撮像装置３ｃの視線方向ベクトルＣ３で形成される平面と、撮像装置３ｂの視線方向ベクトルＣ２と撮像装置３ｃの視線方向ベクトルＣ３で形成される平面の３つの仮想的な平面が形成される。３次元物体認識装置１では、この３つの平面がそれぞれ同一平面とならないようにそれぞれの撮像装置３ａ〜３ｃが配置される。つまり、撮像装置３ａは、撮像装置３ｂの視線方向ベクトルＣ２と撮像装置３ｃの視線方向ベクトルＣ３で形成される平面上とは異なる位置に配置され、撮像装置３ｂは、撮像装置３ａの視線方向ベクトルＣ１と撮像装置３ｃの視線方向ベクトルＣ３で形成される平面上とは異なる位置に配置され、撮像装置３ｃは、撮像装置３ａの視線方向ベクトルＣ１と撮像装置３ｂの視線方向ベクトルＣ２で形成される平面上とは異なる位置に配置されることになる。この際、それぞれの撮像装置３ａ〜３ｃは、共通視野を持つように配置される。従って、それぞれの視線方向ベクトルＣ１〜Ｃ３により形成される３つの平面は、それぞれ異なる平面を形成することになる。これにより、ワークＷがどのような向きで通い箱２に積まれていても撮像装置３ａ〜３ｃの少なくとも１台の撮像装置によりワークＷを認識するのに必要な情報を有する画像又は３次元点群を取得することができる。尚、４台以上の撮像装置３を設ける場合も同様にそれぞれの撮像装置が、共通視野を持つように各２台の撮像装置の視線方向を示す視線方向ベクトルで形成される平面上とは異なる位置に配置されることになる。

図３は、３台の撮像装置３ａ〜３ｃの視線方向ベクトルＣ１〜Ｃ３がそれぞれ直交するように撮像装置３ａ〜３ｃを配置した場合を示している。図３では、撮像装置３ａは、視線方向ベクトルＣ１が図３中の右方向を向くように配置され、撮像装置３ｂは、視線方向ベクトルＣ２が図３中の下方向を向くように配置され、撮像装置３ｃは、視線方向ベクトルＣ３が、図３中の紙面奥行方向を向くように配置されることにより、それぞれの視線方向ベクトルＣ１〜Ｃ３が直交している。従って、それぞれの視線方向ベクトルＣ１〜Ｃ３により形成される３つの平面もそれぞれ直交する。

３台の撮像装置３ａ〜３ｃを図３のように配置した場合には、例えば、撮像装置３ａ〜３ｃにより、図４に示すように、それぞれ画像１３ａ〜１３ｃを取得することができる。図４では、撮像装置３ａがワークＷの平面１４に対して真横（図３の左側）に位置し、撮像装置３ｂがワークＷの平面１４に対して真上（図３の上側）に位置し、撮像装置３ｃがワークＷの平面１４と対向するような場合に得られる画像３ａ〜３ｃを示している。つまり、図３では、撮像装置３ａの視線ベクトルＣ１と撮像装置３ｂの視線ベクトルＣ２で形成される平面上にワークＷの面１４が位置するような状態にワークＷが置かれている。

このような場合、撮像装置３ａの視線方向ベクトルＣ１とワークＷの平面１４は交わらず、撮像装置３ａにより得られる画像１３ａは、ワークＷの図３中の左側の端部１５が細い直線１５´として撮影されたものになるので、ワークＷや通い箱２に付いた直線状の傷や通い箱２の網目部分等に起因する直線状のノイズＮとの識別が困難になる。また、同様に、撮像装置３ｂの視線方向ベクトルＣ２とワークＷの平面１４は交わらず、撮像装置３ｂにより得られる画像１３ｂは、ワークＷの図３中の上側の端部１６が細い直線１６´として撮影されたものになる。

一方、撮像装置３ｃは、撮像装置３ａの視線ベクトルＣ１と撮像装置３ｂの視線ベクトルＣ２で形成される平面上とは異なる位置で、撮像装置３ｃの視線方向ベクトルＣ３が、撮像装置３ａの視線ベクトルＣ１と撮像装置３ｂの視線ベクトルＣ２で形成される平面に直交するように配置されているので、ワークＷの面１４を正面から見た画像１３ｃを取得することができる。従って、撮像装置３ｃにより得られた画像１３ｃを用いることで、ワークＷとノイズＮとを適切に識別でき、ワークＷの位置姿勢を認識するための情報として用いることができる。このように、視線方向ベクトルＣ１〜Ｃ３がそれぞれ直交するように撮像装置３ａ〜３ｃを配置することで、撮像装置３ａ〜３ｃからワークＷの見え方が最大に変わるので、最も多くの情報を得ることができ、効率良くノイズＮと識別可能な情報を有する画像又は３次元点群を取得することができる。

このような撮像装置３ｃにより得られた画像又は３次元点群を用いて、ワークＷの位置姿勢を評価するための方法としては、例えば、特開２０１０−２０５０９５号公報、特開２０１１−１２９０８２号公報、特開２０１２−０２６９７４号公報等に記載の位置姿勢の評価方法を好適に用いることができる。また、その他、従来公知の画像上の輪郭を用いた位置姿勢の評価方法や３次元点群を用いた位置姿勢の評価方法等を用いてワークＷの位置姿勢の認識を行っても良い。つまり、図２及び図３に示すような撮像装置３ｃの配置の仕方は、従来の３次元物体認識装置における撮像装置に対して好適に利用できるものである。

図５は、４台の撮像装置３ａ〜３ｄを備えた場合の配置の仕方の一例を示すものであって、平面側から見た状態を示している。ここでは、撮像装置３ａ〜３ｃは、図３と同様に視線方向ベクトルＣ１〜Ｃ３がそれぞれ直交するように配置されている。そして、図５に示すように、４台目の撮像装置３ｄを他の３台の撮像装置３ａ〜３ｃの真中に位置するように配置する。このように、撮像装置３を４台設けた場合には、ワークＷがどのような向きに置かれていたとしても、２台以上の撮像装置によりワークＷを認識するのに必要な情報を有する画像又は３次元点群を効率良く取得することができる。また、撮像装置３の台数を増やすことにより、撮像装置３の台数の合計をｎ（ｎ≧３）とした場合に、少なくともｎ−２台の撮像装置により、ノイズと識別可能な情報を有する画像又は３次元点群を取得することができる。

尚、本発明の実施の形態は上述の形態に限るものではなく、本発明の思想の範囲を逸脱しない範囲で適宜変更することができる。

本発明に係る３次元物体認識装置は、生産ライン等における部品等の認識を行うための技術として有効に利用することができる。

１３次元物体認識装置
３〜３ｃ撮像装置
１３ａ〜１３ｃ画像
Ｃ１〜Ｃ３視線方向ベクトル
Ｗワーク（認識対象物）

Claims

３次元形状を有する認識対象物の位置姿勢を認識するための３次元物体認識装置において、
前記認識対象物の画像の取得又は前記認識対象物の表面の点の３次元座標を示す３次元点群の計測を行うための撮像装置を３台以上備え、
前記それぞれの撮像装置は、共通視野を持つように各２台の前記撮像装置の視線方向を示す視線方向ベクトルで形成される平面上とは異なる位置に配置されることを特徴とする３次元物体認識装置。
３次元形状を有する認識対象物の位置姿勢を認識するための３次元物体認識装置において、
前記認識対象物の画像の取得又は前記認識対象物の表面の点の３次元座標を示す３次元点群の計測を行うための撮像装置を３台以上備え、
前記それぞれの撮像装置は、各２台の前記撮像装置の視線方向を示す視線方向ベクトルで形成されるそれぞれの平面が、互いに同一平面とならないように配置されることを特徴とする３次元計測システム。
前記撮像装置は、３台設けられており、
前記それぞれの撮像装置は、前記視線方向ベクトルがそれぞれ直交するように配置されていることを特徴とする請求項１又は２に記載の３次元計測システム。