JP2010146357A - ３次元画像処理方法および３次元画像処理装置 - Google Patents

Abstract

【課題】距離画像について着目する特徴を抽出する際に２次元画像として扱うことを可能にし、処理負荷を大幅に軽減する。
【解決手段】距離画像撮像装置２は認識対象Ｏｂの距離画像を生成する。３次元画像処理装置１は、距離画像から認識対象Ｏｂに規定した基準面を抽出する基準面抽出手段１１と、距離画像の空間内で一定距離に設定した仮想平面に基準面を重ね合わせるように距離画像に座標変換を施す座標変換手段１２と、座標変換後の距離画像に含まれる２次元情報を用いて認識対象から着目する特徴を抽出する特徴抽出手段１３とを備える。特徴抽出手段１３は、座標変換後の距離画像から抽出した認識対象Ｏｂと、あらかじめ登録されている標準画像との誤差を抽出する。
【選択図】図１

Description

本発明は、認識対象の距離画像から着目する特徴を抽出する３次元画像処理方法および３次元画像処理装置に関するものである。

従来から、３次元空間に存在する立体物を認識対象として、認識対象の距離画像を生成し、距離画像から認識対象に関して着目する特徴を抽出する技術が提案されている（たとえば、特許文献１参照）。この種の技術は、たとえば、工場で用いる産業用ロボットの視覚として採用され、３次元の情報を持つ距離画像に基づいて、ワークの種類を識別したり、ワークの位置や姿勢を認識したり、ワークの特定部位の寸法を計測したりする目的で用いられている。

特許文献１に記載された技術は、物体モデルとシーン（距離画像内の認識対象）とを照合するものであり、そのため、グローバル座標系とモデル座標系とシーン座標系の３つの座標系を設定し、モデル座標系とシーン座標系とを関係付ける変位ベクトルおよび回転行列を用いて、モデル座標系の座標位置とシーン座標系の座標位置との間で座標変換を行っている。

実際には、テンプレートとなる物体モデルと認識対象であるシーンとから抽出される３点以上の特徴点を互いに対応付けることによって，変位ベクトルと回転行列とを決定し、求めた変位ベクトルおよび回転行列を用いて、認識対象の位置や姿勢を求めている。特許文献１に記載の技術では、変位ベクトルや回転行列を求めるための計算量を軽減するために、距離画像より得られた特徴点と物体モデルの特徴点とから互いに対応する２点をそれぞれ抽出し、２点を結ぶ線分が対応しているか否かを評価している。また、対応する線分とみなせる場合には、参照ベクトルを設定し参照ベクトルを１２０度間隔で回転させ、回転により求められる３点の軌跡から円の中心および円の半径とを求め、すべての特徴点の組み合わせについて求めた円の中心と半径とから，投票空間上での集積点を検出することにより、変位ベクトルと回転行列の組み合わせを確定している。
特開２００１−２５０１２２号公報

上述した特許文献１に記載の技術は、すべての特徴点から回転行列を求めるにあたって回転角度を１度刻みとすることなく１２０度刻みとしているから、それだけ計算量が軽減されてはいるが、認識対象において線分を形成するすべての特徴点の組について１２０度刻みでベクトル演算を行うから、依然として多くの計算を要し、処理負荷が大きいという問題を有している。

また、特許文献１に記載の技術は、シーンを物体モデルと照合するために３次元のパラメータを持つ距離画像をそのまま扱っているから、認識対象であるシーンから着目する特徴（物体モデルとの誤差や認識対象の寸法）を求めにあたり、３次元空間での演算処理が必要になり、この点でも処理負荷が大きくなる。

本発明は上記事由に鑑みて為されたものであり、その目的は、着目する特徴を抽出する際に２次元画像として扱うことを可能にし、処理負荷を大幅に軽減することを可能にした３次元画像処理方法および３次元画像処理装置を提供することにある。

請求項１の発明は、認識対象の距離画像から認識対象に規定した基準面を抽出した後、前記距離画像の空間内で一定距離に設定した仮想平面に当該基準面を重ね合わせるように距離画像に座標変換を施し、次に、座標変換後の距離画像に含まれる２次元情報を用いて認識対象から着目する特徴を抽出することを特徴とする。

請求項２の発明では、請求項１の発明において、前記特徴として、座標変換後の距離画像から抽出した認識対象と、あらかじめ登録されている標準画像との誤差を抽出することを特徴とする。

請求項３の発明では、請求項１の発明において、前記特徴として、座標変換後の距離画像から着目部位の寸法を抽出することを特徴とする。

請求項４の発明は、距離画像撮像装置により撮像した認識対象の距離画像から認識対象に規定した基準面を抽出する基準面抽出手段と、前記距離画像の空間内で一定距離に設定した仮想平面に当該基準面を重ね合わせるように距離画像に座標変換を施す座標変換手段と、座標変換手段により座標変換を行った後の距離画像のうちの２次元情報を用いて認識対象から着目する特徴を抽出する特徴抽出手段とを備えることを特徴とする。

本発明の構成によれば、距離画像に含まれる認識対象について基準面を抽出し、一定距離に設定した仮想平面に当該基準面を重ね合わせるように座標変換を行うから、座標変換後の認識対象の距離画像は、認識対象について各画素に対応する部位ごとに基準面に対する高さの情報を持つことになる。したがって、距離画像内での認識対象の位置や姿勢にかかわらず、座標変換後の認識対象は同条件で扱うことができるようになる。その結果、認識対象をあらかじめ登録されている標準画像と比較する場合には、座標変換後には標準画像とは２次元平面内での位置合わせのみを行えばよく、処理負荷の軽減につながる。また、認識対象について着目部位の寸法を求める場合に、寸法を求める着目部位が基準面と平行になるように基準面を設定しておくことにより、２次元平面内での距離を求めるだけで寸法を求めることができ、この場合も処理負荷の軽減につながる。

要するに、一定距離に設定した仮想平面に対して認識対象に規定した基準面を重ね合わせるように座標変換を行った後に、認識対象に関して着目する特徴を抽出するから、座標変換後の処理は２次元画像と同様に扱うことが可能になり、３次元画像のまま扱う場合よりも処理負荷を軽減することが可能になるという効果を奏する。

以下に説明する実施形態では、図１に示すように、工場での製品生産ラインを搬送されるワークのような認識対象Ｏｂの距離画像を生成する距離画像撮像装置２と、距離画像に対して以下に説明する画像処理を行う３次元画像処理装置１とを備えるものとする。ここに、距離画像は、各画素に対応付けられている視線方向における物体までの距離を画素値とした画像を意味する。

距離画像を生成する距離画像撮像装置２の原理は種々提案されており、光の投光を行わないパッシブ型のものと光を投光するアクティブ型のものとに大別することができる。いずれの原理も周知であるから詳述しないが、各原理の距離画像撮像装置２は、おおよそ以下の構成を有している。

パッシブ型の距離画像撮像装置には、ステレオ画像法の原理によるものやデプス・フロム・フォーカス法の原理によるものが知られている。前者は、認識対象Ｏｂを異なる位置から撮像する複数台の撮像装置を用いて撮像装置の視差を利用することにより認識対象Ｏｂの距離画像を生成する。後者は、受光光学系（望ましくはテレセントリック光学系）と、受光光学系の後方に配置したＣＣＤイメージセンサのような受光素子とを有し、受光光学系と受光素子との距離を変化させたときに受光素子に形成される像の空間周波数や強度を用いることによって合焦するときの受光光学系と受光素子との距離を求め、ガウスの結像公式に従って認識対象Ｏｂまでの距離を求める。この構成では、受光光学系との距離が異なる３個以上の受光素子を用いる構成があり、合焦する距離を求める処理の高速化が図られている。さらに、撮像部位により合焦する距離が異なるから、合焦したときの画像を重ね合わせることにより１枚の距離画像を生成する技術も知られている。

アクティブ型の距離画像撮像装置には、タイム・オブ・フライト法の原理を用いるもの、三角測量法の原理を用いるもの、パターンシフト法の原理を用いるものなどが知られている。タイム・オブ・フライト法では、時間経過に伴って強度が変化する強度変調光を投光し、あらかじめ定めたタイミングで受光したときの受光強度の関係を用いて投光時と受光時との位相差を求め、位相差から認識対象Ｏｂまでの距離を求める技術が知られている。また、三角測量法の原理によるものは、認識対象Ｏｂに光ビームを投光し、光ビームの照射により認識対象Ｏｂの表面に形成される光スポットの位置をＰＳＤ（半導体位置センサ）などにより検出し、光スポットの位置を距離に換算する構成がある。したがって、３次元の距離画像を得るためには認識対象Ｏｂの表面で光ビームを走査することが必要である。パターンシフト法では、縞状の複数種類のパターンを認識対象Ｏｂの表面に投影しパターンの形状変化に基づいて認識対象Ｏｂまでの距離を計測する技術が知られている。

距離画像撮像装置２により生成された距離画像は、３次元画像処理装置１に入力される。３次元画像処理装置１は、マイクロコンピュータを備え、以下に説明する機能を実現するプログラムを実行する装置であって、画像を記憶する記憶部や画像を処理する間に生じるデータを一時記憶するための作業用の記憶部などに用いるための半導体メモリや大容量記憶装置としてのハードディスク駆動装置などが設けられるが、これらについてはとくに説明しない。また、３次元画像処理装置１には、モニタ装置３が接続され、処理中の各種画像をモニタ装置３に表示することが可能になっている。

３次元画像処理装置１は、距離画像撮像装置２で得られた距離画像から認識対象Ｏｂに規定した基準面を抽出する基準面抽出手段１１を備える。基準面Ｆｓは、図２に示すように、認識対象Ｏｂにおいて着目する特徴（画像から抽出しようとする特徴）を含む平面または当該面の反対側の平面を選択する。したがって、基準面Ｆｓを選択するためには、認識対象Ｏｂを含む領域を指定することと、認識対象Ｏｂについてどの部位を基準面Ｆｓとするかの指定が必要である。したがって、３次元画像処理装置１は、着目する領域をオペレータが指定するための領域指定部１４と、オペレータが基準面Ｆｓを指定する基準面指定部１５とを備える。

図２に示す例は、認識対象Ｏｂが箱状であって、着目する特徴を含む面と反対側の面とが平行であるが、認識対象Ｏｂが箱状以外の形状であっても着目する特徴を含む面の反対面を基準面Ｆｓに用いることが可能である。また、基準面Ｆｓは認識対象Ｏｂの一面であることは必須ではなく、認識対象Ｆｓとの関係が規定された平面であれば認識対象Ｏｂの一面ではなくとも基準面Ｆｓとして用いることが可能である。

たとえば、図３に示すように、複数本（図示例は４本）の管Ｔｂを一平面内で十字形に接合した集合管を認識対象Ｆｓとするような場合であって、接合部位における各管Ｔｂの位置を着目する特徴とするのであれば、すべての管Ｔｂを投影できる平面を基準面Ｆｓ（図３の一点鎖線）としたり、管Ｔｂの延長方向に平行であって、すべての管Ｔｂを含む面に直交する平面を基準面Ｆｓ（図３の破線）としたりすることが可能である。

ただし、基準面Ｆｓを設定するにあたっては、幾何学的に面を特定できる要素が距離画像に含まれていなければならない。幾何学的に面を特定する条件は、一直線上に並ばない３個の特徴点を特定できるか、直線および当該直線上にない１個の特徴点を特定できるか、交差する２直線を特定できるかのいずれかの条件になる。また、距離画像では、各画素の距離値に誤差が含まれている可能性があるから、上記条件よりも多くの情報を用いて平均値を求めるなどの方法により基準面Ｆｓを適正化する必要がある。たとえば、３個の特徴点ではなく、さらに多数個の点群を抽出し、できるだけ多くの点群が含まれる平面を基準面Ｆｓに用いる。このような基準面Ｆｓを求めるには、平面の方程式に関する標準形を用い、抽出した点群について回帰演算を行えばよい。

図２の例では、基準面Ｆｓとなる平面を特定するために４個の頂点を特徴点に用いることができる。また、各頂点間を結ぶ線分も基準面Ｆｓの特定に用いることができる。さらに、基準面Ｆｓに用いる平面内の各部位について３次元の座標が求められているから、各部位から適宜に選択した点群を平面の方程式に当てはめることにより、当該平面を規定してもよい。基準点指定部１５では、これらの情報から基準面Ｆｓを選択するための情報を指定し、どの条件を用いて基準面Ｆｓを決定するかを指示することができる。

ところで、３次元画像処理装置１は、距離画像において画素値（つまり、距離値）が一定である仮想平面Ｆｖを設定する仮想平面設定部１２ａと、基準面抽出手段１１により抽出した基準面Ｆｓを仮想平面Ｆｖに重ね合わせるように認識対象Ｏｂの座標を変換する座標変換部１２ｂとを有する座標変換手段１２を備える。

仮想平面Ｆｖは、図２に示すように、距離画像撮像装置２により生成された距離画像について、画素が配列されている平面をＸＹ平面とし、画素値としての距離値の方向をＺ方向とする撮像座標系Ｏ−ＸＹＺにおいて、ＸＹ平面に平行な平面として規定される。ところで、一般的な３次元の座標変換では、認識対象Ｏｂについて設定される対象座標系ｏ−ｘｙｚの原点ｏと撮像座標系Ｏ−ＸＹＺの原点Ｏとの座標位置の相対差に相当する並進移動と、対象座標系ｏ−ｘｙｚの座標軸ｘ，ｙ，ｚを撮像座標系Ｏ−ＸＹＺの座標軸Ｘ，Ｙ，Ｚと平行にする回転移動とを伴っている。このような座標変換の演算は周知技術であり、背景技術として説明したモデル座標系とシーン座標系とを対象とする座標変換と同様の技術を用いることができる。

一方、本実施形態において、座標変換手段１２により基準面Ｆｓを仮想平面Ｆｖに重ね合わせるように座標変換を行うことは、対象座標系ｏ−ｘｙｚのｚ軸を撮像座標系Ｏ−ＸＹＺのＺ軸と平行にする回転移動と、仮想平面Ｆｖに対する基準面Ｆｓの相対距離分の並進移動との組み合わせになる。したがって、一般的な３次元の座標変換に比較して座標変換に用いるパラメータが低減され、座標変換の計算に伴う処理負荷を軽減することができる。

さらに、本実施形態では、基準面Ｆｓを仮想平面Ｆｖに重ね合わせるように認識対象Ｏｂの各部位の座標変換を行うだけであるから、認識対象Ｏｂの形状が既知である工業用途においては、認識対象Ｏｂのすべての部位について座標変換を施す必要はなく、たとえば、図２に示す例では、基準面Ｆｓに相当する画素についてのみ座標変換を行えばよいことになる。言い換えると、基準面抽出手段１１により抽出された基準面Ｆｓに含まれる画素のみの座標変換でよいから、全画素について座標変換を施す場合に比較すると、座標変換の計算に要する処理負荷が大幅に低減される。

図３に示すように基準面Ｆｓが認識対象Ｏｂと特定の関係を有するときには、基準面抽出手段１１により抽出した基準面Ｆｓに対して特定の関係を有する画素群に対してのみ座標変換を施すことになる。図３の例では、認識対象Ｏｂとして距離画像に含まれている部位のうち管Ｔｂの端部における穴についは座標変換を行う必要がない。また、認識対象Ｏｂの座標変換を行ったときに、距離画像に含まれていない部位（管Ｔｂの向こう側）が現れることになるが、この部位については距離画像には情報が含まれていないから、座標変換後の画像では欠落することになるが、着目する特徴が含まれて入れば欠落部分が存在することは許容される。

図２に示した例では、座標変換手段１２により基準面Ｆｓが仮想平面Ｆｖに重なるように認識対象Ｏｂに座標変換を施すと、図４に示すように、基準面Ｆｓは仮想平面Ｆｖに重なった２次元画像が得られる。この画像における画素値は距離値であるが、着目する特徴が仮想平面Ｆｖに含まれていることになり、濃淡画像における濃淡値と同様に扱うことができる。また、図３に示した例では、座標変換手段１２による座標変換の後には、図５に斜線部で示す欠落部分Ｄｆが生じるが、各管Ｔｂの接合部位の位置は、変換後の画像により認識することが可能である。

３次元画像処理装置１には、座標変換手段１２による座標変換後の距離画像の２次元情報を用いて認識対象Ｏｂから着目する特徴を抽出する特徴抽出手段１３が設けられる。特徴抽出手段１３では、あらかじめ登録されている標準画像と座標変換後の認識対象Ｏｂの画像とを比較し標準画像に対する認識対象Ｏｂの誤差を抽出する処理と、座標変換後の認識対象Ｏｂの画像から着目部位の寸法を抽出する処理との少なくとも一方を行う。

前者の処理は、２次元画像に対するテンプレートマッチングに相当する処理であり、基準面Ｆｓを仮想平面Ｆｖに重ねたことにより、実質的に２次元画像を扱うことになるから、２次元画像におけるテンプレートマッチングと同様の処理を行うことが可能になる。つまり、３次元の認識対象Ｏｂのうち２次元の情報にのみ着目してテンプレートマッチングを行うことにより、３次元のままテンプレートマッチングを行う処理に比較して処理負荷の大幅な軽減が可能になる。

また、後者の処理は、２次元画像において特定部位の寸法（面積を含む）を求めることに相当し、当該部位の画素数を計数したり、特徴点の座標を用いて距離を求める計算を行うことで、所望の寸法を容易に求めることができる。

なお、座標変換手段１２による座標変換後の画像から特徴を抽出する処理について説明したが、特徴の抽出後に座標変換時のパラメータを用いて逆変換を行えば、３次元情報を復元することができるから、たとえば、産業用のロボットの視覚として用いる場合に、座標変換後の画像により特徴を抽出することで、良否の判定などを行い、その後、逆変換を行った３次元情報をロボットの位置制御などに反映させることが可能である。

さらに、上述の例では、座標変換を１回だけ行っているが、基準面Ｆｓを指定した後に座標変換を行い、座標変換後の画像において基準面Ｆｓを再度指定して座標変換を行うという処理を繰り返すことにより、基準面Ｆｓを仮想平面Ｆｖと重ねる際の位置合わせの精度を高めるようにしてもよい。

本発明の実施形態を示すブロック図である。 同上において座標変換前の画像例を示す図である。 同上において座標変換前の他の画像例を示す図である。 同上において座標変換後の画像例を示す図である。 同上において座標変換後の他の画像例を示す図である。

符号の説明

１ ３次元画像処理装置
２ 距離画像撮像装置
３ モニタ装置
１１ 基準面抽出手段
１２ 座標変換手段
１２ａ 仮想平面設定部
１２ｂ 座標変換部
１３ 特徴抽出手段
１４ 領域指定部
１５ 基準面指定部
Ｆｓ 基準面
Ｆｖ 仮想平面
Ｏｂ 認識対象

Claims (4)

1. 認識対象の距離画像から認識対象に規定した基準面を抽出した後、前記距離画像の空間内で一定距離に設定した仮想平面に当該基準面を重ね合わせるように距離画像に座標変換を施し、次に、座標変換後の距離画像に含まれる２次元情報を用いて認識対象から着目する特徴を抽出することを特徴とする３次元画像処理方法。
2. 前記特徴として、座標変換後の距離画像から抽出した認識対象と、あらかじめ登録されている標準画像との誤差を抽出することを特徴とする請求項１記載の３次元画像処理方法。
3. 前記特徴として、座標変換後の距離画像から着目部位の寸法を抽出することを特徴とする請求項１記載の３次元画像処理方法。
4. 距離画像撮像装置により撮像した認識対象の距離画像から認識対象に規定した基準面を抽出する基準面抽出手段と、前記距離画像の空間内で一定距離に設定した仮想平面に当該基準面を重ね合わせるように距離画像に座標変換を施す座標変換手段と、座標変換手段により座標変換を行った後の距離画像のうちの２次元情報を用いて認識対象から着目する特徴を抽出する特徴抽出手段とを備えることを特徴とする３次元画像処理装置。

Images