JP2004145459A

JP2004145459A - 画像処理方法および画像処理装置

Info

Publication number: JP2004145459A
Application number: JP2002307302A
Authority: JP
Inventors: Kenichi Kitahama; 北浜　謙一
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2002-10-22
Filing date: 2002-10-22
Publication date: 2004-05-20
Anticipated expiration: 2022-10-22
Also published as: JP4032917B2

Abstract

【課題】対象物の姿勢の如何にかかわらず、対象物の形状を正確に復元することができる画像処理方法および画像処理装置を提供する。
【解決手段】基準画像と参照画像とを用いたステレオマッチングによって対象物の形状を復元するにあたり、基準画像および参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定する。これらの対応付けされた複数のウィンドウをステレオマッチングすることにより、対象物の形状を複数の微小単位面によって現す。次に、複数の単位面それぞれの法線方向を検出し、法線方向をクラスタリングしてクラスタ数を求める。それから、クラスタ数に基づいて対象物の形状に立体プリミティブをあてはめて、対象物の形状を復元する。
【選択図】　図３

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
立体画像を画像処理方法し、復元された３次元画像の位置と姿勢を認識する方法として、たとえば特開平１１−５１６１１号公報に開示された位置姿勢認識方法がある。この位置姿勢認識方法は、認識対象を撮影して得られる画像特徴と、用意した認識対象の３次元モデルの投影像を比較し、その当てはまりの程度を検証して、その検証結果に応じてモデルの位置姿勢を求め、認識対象物体の３次元的な位置と姿勢を認識するものである。
【０００３】
【特許文献１】
特開平１１−５１６１１号公報（５頁）
【０００４】
【発明が解決しようとする課題】
しかし、上記公報に開示されている位置姿勢認識方法では、３次元形状のデータを投影面に投影した投影像を形成しているため、物体の姿勢によっては、物体の形状を正確に復元することができない場合があるという問題があった。
【０００５】
そこで、本発明の課題は、対象物の姿勢の如何にかかわらず、対象物の形状を正確に復元することができる画像処理方法および画像処理装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決した本発明に係る画像処理方法は、基準画像撮影手段および参照画像撮影手段で同一の対象物を撮影し、基準画像撮影手段で撮影された基準画像および参照画像撮影手段で撮影された参照画像を用いたステレオマッチングによって対象物の形状を復元する画像処理方法において、基準画像および参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定し、対応付けされた複数のウィンドウをステレオマッチングすることにより、対象物の形状を複数の単位面によって現し、複数の単位面それぞれの法線方向を検出し、法線方向をクラスタリングしてクラスタ数を求め、求められたクラスタ数に基づいて対象物の形状に立体プリミティブをあてはめて、対象物の形状を復元するものである。
【０００７】
このように、本発明に係る画像処理方法では、復元された画像に立体プリミティブをあてはめることにより、対象物の形状を復元しようとするものである。ここで、本発明では、対象物を形成する単位面をクラスタリングし、求められたクラスタ数に基づいて立体プリミティブをあてはめている。このため、対象物の姿勢によらず、対象物に対応する立体プリミティブをあてはめることができる。このように、本発明では立体プリミティブをあてはめてから対象物の形状を復元するので、対象物の姿勢の如何にかかわらず、対象物の形状を正確に復元することができる。
【０００８】
また、上記課題を解決した本発明に係る画像処理装置は、基準画像撮影手段および参照画像撮影手段でそれぞれ撮影された同一対象物の基準画像および参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定するウィンドウ設定手段と、対応付けされた複数のウィンドウをステレオマッチングすることにより、対象物の形状を複数の単位面によって現し、複数の単位面それぞれの法線方向を検出し、法線方向をクラスタリングしてクラスタ数を求め、求められたクラスタ数に基づいて対象物の形状に立体プリミティブをあてはめて、対象物の形状を復元するステレオマッチング手段と、を備えるものである。
【０００９】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００１０】
図１は、本発明の第１の実施形態に係る画像処理装置のブロック構成図である。図１に示すように、本実施形態に係る画像処理装置１は、基準画像カメラ２と、参照画像カメラ３と、モニタ４に接続されている。また、画像処理装置１は、前処理部１１と、ウィンドウ生成部１２と、ステレオマッチング部１３とを備えている。これらの画像処理装置１、カメラ２，３、およびモニタ４は、たとえば図示しない車両に取り付けられている。具体的には、たとえば画像処理装置１は車室内の適宜の位置に設置されている。また、基準画像カメラ２および参照画像カメラ３は、たとえば車両の側面における互いに近傍位置に設けられている。さらに、モニタ４は、たとえば車室内におけるドライバの視界が届く位置、たとえばインストルメントパネルに取り付けられている。
【００１１】
基準画像カメラ２と参照画像カメラ３は、いずれもＣＣＤカメラからなり、同一対象物をアナログ画像として撮影している。基準画像カメラ２および参照画像カメラ３で撮影されたアナログ画像は、画像処理装置１における前処理部１１に出力される。画像処理装置１に出力されたアナログ画像は、画像処理装置１における前処理部１１、ウィンドウ生成部１２、およびステレオマッチング部１３で所定の画像処理が施された後、デジタル画像からなる投影像としてモニタ４に出力される。画像処理装置１における画像処理手順については後述する。モニタ４は、ステレオマッチングされて画像処理装置１から出力された投影像を画面に表示する。
【００１２】
次に、画像処理装置１による画像処理の手順について説明する。図２は、画像処理装置による画像処理の工程を示すフローチャートである。ここでは、画像処理の全体的な流れについて説明する。
【００１３】
画像処理装置１における画像処理を行うために、基準画像カメラ２および参照画像カメラ３で同一対象物を撮影する。基準画像カメラ２で対象物が撮影された基準画像は、画像処理装置１における前処理部１１に出力される。同様に、参照画像カメラ３で対象物が撮影された参照画像は、画像処理装置１における前処理部１１に出力される。こうして、画像処理装置１による画像処理が開始される。
【００１４】
画像処理が開始されると、前処理部１１において、前処理として、基準画像および参照画像に対してカメラキャリブレーションを行い（Ｓ１）、続いて基準画像および参照画像の平行化を行う（Ｓ２）。これらの前処理が施された画像は、前処理部１１からウィンドウ生成部１２に出力される。
【００１５】
ウィンドウ生成部１２では、基準画像および参照画像のそれぞれを複数の領域に分割する領域分割を行う（Ｓ３）。続いて、基準画像および参照画像において分割された各領域をウィンドウとして設定する（Ｓ４）。基準画像および参照画像でウィンドウが設定されたら、基準画像におけるウィンドウおよび参照画像におけるウィンドウの間で、相関演算を行って対応付けを行う（Ｓ５）。この相関演算では、各ウィンドウにおける色、輝度、明度等の相関があるしきい値を超えたときに対応付けされるなどとして、対応付けの判断を行っている。続いて、参照画像におけるウィンドウの並び順の修正を行う（Ｓ６）。並び順の修正は、参照画像における複数のウィンドウのうち、対応付けを行った結果、基準画像における複数のウィンドウとの並び順が異なる誤対応ウィンドウを検出し、誤対応ウィンドウの並び順の修正を行う。この修正を行った後、いまだ誤対応が修正されていないウィンドウを再探索するなどして、参照画像におけるウィンドウの並び順の修正を完了させる（Ｓ６）。
【００１６】
こうして、ウィンドウの並び順の修正が済んだら、参照画像におけるウィンドウ間の隙間を埋めるためのウィンドウの変形を行う（Ｓ７）。ウィンドウの変形が完了した時点で、全ウィンドウが同一の平面内にあるか否かを判断する（Ｓ８）。その結果、全ウィンドウが同一の平面内にない場合には、同一の平面から外れたウィンドウ（該当ウィンドウ）を再分割し（Ｓ９）、再び相関演算を行う（Ｓ１０）。それから、ステップＳ７に戻って、ウィンドウの変形を行い、再び全ウィンドウ内が同一の平面内か否かを判断する（Ｓ８）。この工程を繰り返した後、ステップＳ９で全ウィンドウが同一の平面内であると判断したら、各ウィンドウの４隅の３次元座標を計算して（Ｓ１１）、ステレオマッチング部１３に出力する。
【００１７】
ステレオマッチング部１３では、各ウィンドウの４隅の３次元座標に基づいて、立体プリミティブのあてはめを行う（Ｓ１２）。そして、投影像を生成して（Ｓ１３）、画像処理が終了する。こうして生成された投影像は、モニタ４に出力され、モニタ４に表示される。
【００１８】
上記の画像処理工程において、本実施形態では、立体プリミティブのあてはめ（Ｓ１２）に特徴がある。以下に、かかる特徴的な工程について、さらに説明する。
【００１９】
図３は、本実施形態に係る立体プリミティブのあてはめを行う手順を説明するフローチャート、図４は、立体プリミティブのあてはめを行う手順に従ったＸＹＺ座標軸上のデータの変化を示す図である。
【００２０】
立体プリミティブのあてはめを行うにあたり、基準画像および参照画像のそれぞれにおける対応するウィンドウ同士における色、輝度、明度等の所定の相関関係に基づいて、対象物の形状データを算出する。ここで算出された対象物の形状データから、対象物をかたどる複数の単位面である微小単位面を求め、続いて複数の微小単位面の法線ベクトルを算出する（Ｓ２１）。対象物がたとえば車両である場合、車両の画像データＭは、図４（ａ）に示すように、ＸＹＺ座標軸上で複数の単位微小面によって現される。これらの画像データは、図４（ａ）の一部を図５に拡大して示すように、四角形状からなる複数の微小単位面Ｍ１，Ｍ２…によって形成されている。なお、図５では微小単位面Ｍ１〜Ｍ１２にのみ符号を付しているが、符号を付さない他の微小単位面も同様に図４（ａ）に示す車両の画像データＭの一部を構成している。また、図５および図６では、便宜上、微小単位面は整然と並んでいるように描いているが、実際は乱雑に並んでいる。
【００２１】
これらの微小単位面Ｍ１，Ｍ２…に対して、それぞれ法線ベクトルが算出される。微小単位面Ｍ１，Ｍ２…に対して法線ベクトルが算出されると、図４（ｂ）に示すように、微小単位面Ｍ１，Ｍ２…のすべてに対して、それぞれ法線ベクトルが与えられる。図４（ｂ）の一部を図６に拡大して示すように、各微小単位面Ｍ１１，Ｍ１２…に対して、それぞれ法線ベクトルＶ１１，Ｖ１２…が与えられる。なお、図６では、微小単位面Ｍ１１〜Ｍ１８に対してそれぞれ与えられた法線ベクトルＶ１１〜Ｖ１８を示しているが、符号を付さない他の微小単位面に対しても同様に法線ベクトルが算出されて与えられている。
【００２２】
こうして、各微小単位面に対する法線ベクトルを算出したら、図４（ｃ）に示すように、すべての法線ベクトルを単位球上にプロットする（Ｓ２２）。すべての法線ベクトルを単位球上にプロットしたら、いわゆるＮＮ（Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ）法によってクラスタリングする（Ｓ２３）。なお、クラスタリングをＮＮ法で行うことが必須ではなく、たとえばＫ−ｍｅａｎ法など、適宜の手法でクラスタリングを行うことができる。
【００２３】
ＮＮ法によってクラスタリングされた対象物の画像データＭは、そのクラスタ数Ｎによってプリミティブ形状が特定される。ここで、クラスタ数Ｎとプリミティブ形状の関係を図７に示すと、クラスタ数Ｎ＝１のときは、図７（ａ）に示すようにプリミティブ形状は球形状Ｐ１となる。なお、図７（ａ）〜（ｅ）において、プリミティブ形状の中心には主軸Ｘが示されている。また、クラスタ数Ｎ＝２のときは、図７（ｂ）に示すようにプリミティブ形状は円柱形状Ｐ２Ａまたは円錐形状Ｐ２Ｂとなる。円柱形状Ｐ２Ａか円錐形状Ｐ２Ｂかの判断はクラスタリングが終了した後に行われるものである。その判断手順を説明すると、クラスタ数Ｎが求められた後、各立体の主軸に垂直な断面での物体の表面の座標を調べ、あてはめる立体の大きさが決定される。クラスタ数＝２のときには、この立体の大きさを決定する段階で、円柱形状Ｐ２Ａか円錐Ｐ２Ｂ形状かが決定される。
【００２４】
さらに、クラスタ数Ｎ＝３のときは、図７（ｃ）に示すように、プリミティブ形状は平行六面体形状Ｐ３となり、クラスタ数Ｎ＝４のときは、図７（ｄ）に示すように、プリミティブ形状は三角錐形状Ｐ４となる。そして、クラスタ数Ｎ＝５のときは、図７（ｅ）に示すように、プリミティブ形状は四角錐形状Ｐ５となる。
【００２５】
図４（ｃ）に示す例を解析した結果、図４（ｄ）に示すように、エリアＥ１、エリアＥ２、エリアＥ３の３つのエリアにそれぞれあるほとんどの微小単位面が、それぞれ同じクラスタに属するものである。この結果から、このデータのクラスタ数Ｎ＝３であることがわかり、このプリミティブ形状は平行六面体形状であると決定され、平行六面体形状の立体プリミティブが選択される（Ｓ２４）。
【００２６】
こうして立体プリミティブが選択されたら、立体プリミティブの大きさを決める座標値を算出する（Ｓ２５）。座標値の算出の際には、図８（ａ）〜（ｄ）に示すように、ＸＹＺ軸に形成された画像データＭの周囲に適宜の大きさからなる平行六面体形状の立体プリミティブＰを被せ、もっとも適切となる角度、大きさを探索する。そして、画像データＭに対応する立体プリミティブＰをあてはめる（Ｓ２６）。こうして、図２に示すフローのステップＳ１２における立体プリミティブのあてはめが終了する。
【００２７】
このように、本実施形態では、立体プリミティブのあてはめを行う際にクラスタリングを利用していることから、対象物がいかなる姿勢となっていても、立体プリミティブをあてはめることにより、その形状を復元することができる。そのため、対象物、たとえば車両の姿勢の如何にかかわらず、対象物の形状を正確に復元することができる。
【００２８】
以上、本発明の好適な実施形態について説明したが、本発明は上記各実施形態に限定されるものではない。たとえば、上記実施形態において、画像処理装置１によって生成された画像は、モニタ４に表示するようにしているが、モニタ４に表示することなく、他の画像処理の用途に使用することもできる。
【００２９】
【発明の効果】
以上のとおり、本発明によれば、対象物の姿勢の如何にかかわらず、対象物の形状を正確に復元することができる画像処理方法および画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置のブロック構成図である。
【図２】画像処理装置による画像処理の工程を示すフローチャートである。
【図３】本実施形態に係る立体プリミティブのあてはめを行う手順を説明するフローチャートである。
【図４】立体プリミティブのあてはめを行う手順に従ったＸＹＺ座標軸上のデータの変化を示す図である。
【図５】図４（ａ）のＸ部拡大図である。
【図６】図４（ｂ）のＹ部拡大図である。
【図７】（ａ）〜（ｅ）とも、立体プリミティブの形状の例を示す図である。
【図８】（ａ）〜（ｄ）とも、立体プリミティブのあてはめを行っているＸＹＺ座標上のデータを示す図である。
【符号の説明】
１…画像処理装置、２…基準画像カメラ、３…参照画像カメラ、４…モニタ、１１…前処理部、１２…ウィンドウ生成部、１３…ステレオマッチング部、Ｅ１〜Ｅ３…エリア、Ｍ…車両の画像データ、Ｍ１〜Ｍ１８…微小単位面、Ｐ…立体プリミティブ、Ｐ１…球形状、Ｐ２Ａ…円柱形状、Ｐ２Ｂ…円錐形状、Ｐ３…平行六面体形状、Ｐ４…三角錐形状、Ｐ５…四角錐形状、Ｖ１１〜Ｖ１８…法線ベクトル、Ｘ…主軸。

Claims

基準画像撮影手段および参照画像撮影手段で同一の対象物を撮影し、前記基準画像撮影手段で撮影された基準画像および前記参照画像撮影手段で撮影された参照画像を用いたステレオマッチングによって前記対象物の形状を復元する画像処理方法において、
前記基準画像および前記参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定し、
前記対応付けされた複数のウィンドウをステレオマッチングすることにより、前記対象物の形状を複数の単位面によって現し、
前記複数の単位面それぞれの法線方向を検出し、前記法線方向をクラスタリングしてクラスタ数を求め、
求められた前記クラスタ数に基づいて前記対象物の形状に立体プリミティブをあてはめて、前記対象物の形状を復元することを特徴とする画像処理方法。
基準画像撮影手段および参照画像撮影手段でそれぞれ撮影された同一対象物の基準画像および参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定するウィンドウ設定手段と、
前記対応付けされた複数のウィンドウをステレオマッチングすることにより、前記対象物の形状を複数の単位面によって現し、前記複数の単位面それぞれの法線方向を検出し、前記法線方向をクラスタリングしてクラスタ数を求め、求められた前記クラスタ数に基づいて前記対象物の形状に立体プリミティブをあてはめて、前記対象物の形状を復元するステレオマッチング手段と、
を備えることを特徴とする画像処理装置。