JP2015219212A - ステレオカメラ装置及び距離算出方法 - Google Patents

Abstract

【課題】色情報を用いることが可能でありながら形状の検出精度が高いステレオカメラ装置及び距離算出方法を提供する。
【解決手段】ステレオカメラ装置１は、少なくとも１つのカラーフィルタを用いて画像を撮像する第１の撮像部２と、モノクロ画像を撮像する第２の撮像部３と、第１の撮像部２及び第２の撮像部３で撮像した画像を用いて、撮像された被写体までの距離を算出する制御部４とを備える。
【選択図】図１

Description

本発明は、ステレオカメラ装置及び距離算出方法に関する。

従来、モノクロ画像を撮像するカメラのみ又はカラー画像を撮像するカメラのみで構成されるステレオカメラにより路面上を撮影し、このステレオカメラからの画像情報に基づいて被写体までの距離を測定して物体を認識する車両用路上物体認識装置が知られている（例えば、特許文献１）。

特開平７−２２５１２６号公報

ステレオカメラがモノクロ画像を撮像するカメラのみで構成される場合、形状の検出精度が高い。一方で、色情報を用いなければ認識することができない物体を認識することができない。

他方、ステレオカメラがカラー画像を撮像するカメラのみで構成される場合、色情報を用いなければ認識することができない物体を認識することができる。一方で、ステレオカメラがモノクロ画像を撮像するカメラのみで構成される場合に比べて形状の検出精度が落ちる。

かかる事情に鑑みてなされた本発明の目的は、色情報を用いることが可能でありながら形状の検出精度が高いステレオカメラ装置及び距離算出方法を提供することである。

上記課題を解決するため、本発明に係るステレオカメラ装置は、少なくとも１つのカラーフィルタを用いて画像を撮像する第１の撮像部と、モノクロ画像を撮像する第２の撮像部と、前記第１の撮像部及び前記第２の撮像部で撮像した画像を用いて、撮像された被写体までの距離を算出する制御部とを備える。

また、上記課題を解決するため、本発明に係るステレオカメラ装置において、前記制御部は更に、前記第１の撮像部で撮像した画像内において、少なくとも色を認識の特性として用いることが定められた物体の認識を少なくとも行う。

また、上記課題を解決するため、本発明に係るステレオカメラ装置において、前記制御部は、前記少なくとも色を認識の特性として用いることが定められた物体として、交通標識、交通信号、路面標識、路面上の区画線並びに車両の方向指示器、ストップランプ、ヘッドランプ及びテールランプの少なくともいずれか１つを認識する。

また、上記課題を解決するため、本発明に係るステレオカメラ装置において、前記制御部は更に、前記第２の撮像部で撮像した画像内において、色以外の特性を認識の特性として用いることが定められた物体の認識を少なくとも行う。

また、上記課題を解決するため、本発明に係るステレオカメラ装置において、前記制御部は更に、前記色以外の特性を認識の特性として用いることが定められた物体として、人、車両、動物、路面上の障害物の少なくともいずれか１つを認識する。

また、上記課題を解決するため、本発明に係るステレオカメラ装置において、前記制御部は更に、色により区別されるように定められた物体を前記第２の撮像部が撮像した画像内で認識したとき、該第２の撮像部が撮像した画像内における該物体の占める領域に対応する、前記第１の撮像部が撮像した画像内の対応領域における色を、前記第２の撮像部が撮像した画像内で認識した物体の区別に用いる。

また、上記課題を解決するため、本発明に係るステレオカメラ装置において、前記制御部は更に、第２の撮像部が撮像した画像内で認識された物体の占める領域であって第２の撮像部が撮像した画像内の領域に対応する、前記第１の撮像部が撮像した画像内の対応領域において物体認識を行う。

また、上記課題を解決するため、本発明に係るステレオカメラ装置において、前記第１の撮像部は前記第２の撮像部よりも明るい光学系を用いる。

更に、上記課題を解決するため、本発明に係る移動体は、上述に記載のステレオカメラ装置を設置する。

更に、上記課題を解決するため、本発明に係る距離算出方法において、第１の撮像部により、少なくとも１つのカラーフィルタを用いて画像を撮像するステップと、第２の撮像部により、モノクロ画像を撮像するステップと、制御部により、前記第１の撮像部及び前記第２の撮像部で撮像した画像を用いて、撮像された被写体までの距離を算出するステップと、を含む。

また、上記課題を解決するため、本発明に係る距離算出方法において、前記距離を算出するステップは更に、色により区別されるように定められた物体を前記第２の撮像部が撮像した画像内で認識したとき、該第２の撮像部が撮像した画像内における該物体の占める領域に対応する、前記第１の撮像部が撮像した画像内の対応領域における色を、前記第２の撮像部が撮像した画像内で認識した物体の区別に用いる。

また、上記課題を解決するため、本発明に係る距離算出方法において、前記距離を算出するステップは更に、第２の撮像部が撮像した画像内で認識された物体の占める領域であって第２の撮像部が撮像した画像内の位置に対応する、前記第１の撮像部が撮像した画像内の対応領域において物体認識を行う。

色情報を用いることが可能でありながら形状の検出精度が高いステレオカメラ装置及び距離算出方法を提供することができる。

本発明の一実施形態に係るステレオカメラ装置の機能ブロック図である。 図１の第１の撮像部及び第２の撮像部の、移動体における配置図である。 本発明の一実施形態に係る移動体の前方の撮像画像を示す図である。 本発明の一実施形態に係る移動体の前方の撮像画像を示す図である。 本発明の一実施形態に係る被写体について説明する表である。 本発明の一実施形態に係る移動体の前方の撮像画像を示す図である。 本発明の一実施形態に係る移動体の前方の撮像画像を示す図である。 本発明の一実施形態に係る制御部の動作フローを示す図である。 本発明の一実施形態に係る制御部の物体認識処理のサブルーチンを示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。

図１は、一実施形態に係るステレオカメラ装置１の機能ブロック図の例を示す図である。図１に示すように、一実施形態に係るステレオカメラ装置１は、第１の撮像部２と、第２の撮像部３と、制御部４とを含み、撮像画像内で行った物体認識の結果を制御部４から出力する。

本実施形態において、ステレオカメラ装置１は、図１に示すように第１の撮像部２、第２の撮像部３及び制御部４を単一の筐体内に含む態様で記載されているが、カメラモジュールを撮像部として機能させ、且つ、カメラモジュールの外部のＭＰＵをその制御部として機能させることによっても、ステレオカメラ装置１を構成可能である。

本発明に係るステレオカメラ装置１の各機能を説明するが、ステレオカメラ装置１が備える他の機能を排除することを意図したものではないことに留意されたい。本実施形態に係るステレオカメラ装置１は例えば自動車に設置される。しかしながら、ステレオカメラ装置１は自動車以外の移動体に設置されてもよい。また、ステレオカメラ装置１は電子機器関連の要素と通信するが、以下の説明においては、他の機能部を構成する要素の図示及び説明は省略する。

図２は、第１の撮像部２及び第２の撮像部３の移動体５における配置図である。移動体５には少なくとも第１の撮像部２及び第２の撮像部３が設置される。第１の撮像部２及び第２の撮像部３は、移動体５の前方を撮像可能な位置（例えば、移動体５の内側の、フロントガラスに接する位置）に設置され、移動体５の前方を撮像する。具体的には第１の撮像部２及び第２の撮像部３は、路面及び路面上の被写体を撮像する。

第１の撮像部２及び第２の撮像部３の取付け位置及び取付け姿勢は、第１の撮像部２及び第２の撮像部３が同一の被写体を、視差をもって撮像できるように、予め定められる。例えば、第１の撮像部２及び第２の撮像部３は、水平面上の移動体５内で厳密に定められた間隔で離間させて、水平に並ぶ位置に互いの光軸が平行となる姿勢で取付けられる。

図２においては、第１の撮像部２及び第２の撮像部３は移動体５の前方を撮像可能な位置に設置されているが、前方ではなく側方や後方といった周辺を撮像可能な位置にそれらを設置して利用することも可能である。

図１の説明に戻る。第１の撮像部２は、光学系及び撮像素子を有する。光学系は例えば、比較的広い画角を有する。撮像素子は、例えばＣＭＯＳ又はＣＣＤ撮像素子であり、受光面上に少なくとも１種のカラーフィルタを有し、光学系が結像する画像を、カラー画像として撮像する。第１の撮像部２が撮像した画像は色情報を有する。第１の撮像部２は、撮像したカラー画像を制御部4に出力する。第１の撮像部２の全領域にカラーフィルタが配置されていなくてもよいことに留意されたい。

第１の撮像部２には、後述する第２の撮像部３よりも明るい光学系が用いられる。これにより、後述するようにモノクロ画像を撮像するカメラである第２の撮像部３との受光量の差を低減化することが可能である。受光量の差を抑制する明るい光学系を第１の撮像部２に用いることで、その差がゼロになるように調節してもよい。

第２の撮像部３は、光学系及び撮像素子を有する。光学系は例えば、比較的広い画角を有する。撮像素子は、カラーフィルタを有さない、例えばＣＭＯＳ又はＣＣＤ撮像素子であり、光学系が結像する画像をモノクロ画像として撮像する。このため、第２の撮像部３が撮像する画像の感度及び解像度は高い。第２の撮像部３は、撮像したモノクロ画像を制御部4に出力する。

制御部４は、カラー画像内において物体認識を行う。制御部４は、カラー画像内における物体認識においては、カラー画像内における認識対象として予め定められた物体がカラー画像内に含まれるか否かを判別する。カラー画像内における認識対象として予め定められた物体は、少なくとも色を認識の特性として用いることが定められた物体である。色を認識の特性として用いることが定められた物体とは色に特定の意味が定められた物体であって、例えば、交通標識、交通信号、路面標識、路面上の区画線（白線又は黄線）並びに車両の方向指示器、ストップランプ、ヘッドランプ及びテールランプである。

例えば、交通標識は、赤色により速度や進入の「規制」という特性（意味）を有し、黄色により「警戒」という特性を有する。また、例えば交通信号は、赤色により「停止」という特性を有し、青色により「進行可能」という特性を有する。

また、カラー画像における認識対象として予め定められた物体には、色以外にも例えば形状、模様、輪郭等の特性を認識の特性として用いることが定められた物体も含まれる。色以外の特性を認識の特性として用いることが定められた物体とは、色に特定の意味が定められておらず多様な着色が施される物体を指し、例えば人、車両、動物、路面上の障害物である。「色以外の特性」とは、例えば形状、輪郭又は模様である。

制御部４は、モノクロ画像内において物体認識を行う。制御部４は、モノクロ画像内における物体認識においては、モノクロ画像内における認識対象として予め定められた物体がモノクロ画像内に含まれるか否かを判別する。モノクロ画像における認識対象として予め定められた物体は、色以外の特性を認識の特性として用いることが定められた物体である。

制御部４は、物体認識により認識された被写体までのステレオカメラ装置１からの距離を算出する。距離の算出は、ステレオマッチング等により行う。具体的な物体認識方法は後述する。

制御部４は、算出した距離と共に物体認識の結果（例えば、被写体が認識対象の物体であるか否か、また、物体の種類）を出力し得る。

次に、カラー画像及びモノクロ画像を用いた、撮像された被写体までの距離の算出処理を説明する。

図３は、第１の撮像部２が撮像し制御部４に出力する、移動体５の前方のカラー画像１０を示す図である。カラー画像１０は、実際の被写体の色情報を含む。例えば、図３におけるカラー画像においては、領域３１から３４は赤色を示す色情報を有し、領域３５は黄色を示す色情報を有する（図３において、色情報を有する領域３１から３５を斜線で示す）。

このように、カラー画像１０は実際の被写体の色情報を含む。このため、制御部４は、認識した物体の特性を少ない処理負荷で把握することができ、プロセッサの調達コストを抑制することができる。

図４は、第２の撮像部３が撮像し制御部４に出力する、移動体５の前方のモノクロ画像２０を示す図である。第２の撮像部３はカラーフィルタを備えないため、モノクロ画像２０の感度及び解像度は比較的高い。このため、例えば、制御部４は、人の像４１や車両の像４２の輪郭等から、それらがそれぞれ人及び車両であることを高精度に認識することができる。

また、制御部４は、モノクロ画像内において、色以外の特性により認識した物体が、後述する、色により区別されるように定められた物体であるか否かを判別する。さらに、制御部４は、色以外の特性により認識した物体が色により区別されるように定められた物体であるときには、当該物体のモノクロ画像内に占める領域に対応する、カラー画像内における領域の色を検出する。さらに、制御部４は、検出した色を、モノクロ画像内で認識した物体の区別に用いる。

前述のように、制御部４においては、認識対象として予め複数の物体が定められる。認識対象として定められた物体の中には、例えば左上から右下へ引かれた斜線により２つに分割された円形領域を有する標識である、駐車禁止及び車両交通止めの標識がある。これらの標識は、色以外の特性だけではいずれの物体であるか判別できないことがある。そこで、認識対象として定められた、色以外の特性だけでは区別できない物体毎に、色により区別されるか否かを設定可能である。図５は、制御部４が、認識対象として予め定められた物体と、当該物体毎の物体認識に使用可能な特性などとの対応関係を示す表である。図５に示すように、人及び車両、交通信号及び車両の方向指示器並びに交通標識（駐車禁止）などの中で、交通標識の一部（駐車禁止）には、色により区別可能な物体が存在する。

色により区別されるように定められた物体は、駐車禁止の交通標識と車両通行止めの交通標識に限られない。路面上の白い区画線及び黄色い区画線も、色により区別されるように定められた物体の一例である。

以下、制御部４が行う、画像内において認識した物体を色により区別する処理を詳細に説明する。

上述した通り、第１の撮像部２及び第２の撮像部３の間隔及び光軸の向きは厳密に定められており、視差をもって同一の被写体を撮像可能としている。本実施形態において、上述のように、第１の撮像部２及び第２の撮像部３は、水平面上の移動体内で厳密に定められた間隔で離間させて、水平に並ぶ位置に、互いの光軸が平行となる姿勢で取付けられる。このため、図６に示すように、カラー画像１０内の物体の領域と、それに対応するモノクロ画像２０内の物体の領域との縦方向の位置関係は同じであり、横方向の位置関係がずれている。

このことを利用し、制御部４は、モノクロ画像２０内において色以外の特性により認識した物体が占める領域と同一の縦位置でカラー画像１０内を検索し、その物体と同一の、色以外の特性（輪郭など）を有する物体の領域及びその周辺領域を、対応領域としてカラー画像１０内で検出する。制御部４は、対応領域において検出した色を、色以外の特性により認識した物体の区別に用いる。

例えば、図６に示す画像が撮像された場合、制御部４は、モノクロ画像２０内における物体の領域５１に対応するカラー画像１０内の領域５２及びその周辺領域５３を、領域５１の対応領域として検出し、領域５２及び周辺領域５３の色を検出する。周辺領域５３の決め方は任意である。検出された色は、モノクロ画像２０内で認識した物体の区別に用いる。図６の斜線部分が青色である場合、図６に示す標識は駐車禁止の標識であると区別される。一方、図６の斜線部分が白色である場合、図６に示す標識は車両通行止めの標識であると区別される。

制御部４は、領域５２における色だけでなくその周辺領域５３における色をも検出することによって、誤検出を防ぐことができる。

また、制御部４は、第２の撮像部３が撮像した画像（モノクロ画像２０）内で認識された物体の、第２の撮像部３が撮像した画像（モノクロ画像２０）内の領域６１に対応する、第１の撮像部２が撮像した画像（カラー画像１０）内の領域において物体認識を行う。以下で図７を参照して詳細に説明する。モノクロ画像２０の方がカラー画像１０よりも感度及び解像度が比較的高いことを示すため、図７においては、モノクロ画像２０内の車両の像の輪郭を太線で表現した。

制御部４は、モノクロ画像２０内で物体を認識したとき、その物体の領域６１に対応する領域６２及びその周辺領域６３を領域６１の対応領域として検出する。対応領域の検出方法は、図６で説明した対応領域の検出方法と同様である。制御部４は、対応領域において物体の認識を行うとき、検出感度を上げる（検出レベルの閾値を下げる）。制御部４を、カラー画像１０内において何ら物体として認識されるものがなかったときにのみこの処理を行うように構成してもよい。

このように、制御部４は、物体認識を行う領域を限定してその領域における検出感度を上げる。これにより、誤検出を防ぎつつ、モノクロ画像２０では認識された物体が比較的感度及び解像度が低いカラー画像１０で認識されないことを防ぐことができる。

次いで、制御部４は、物体認識の手法として、勾配算出や、例えばＳＶＭ学習データを用いたＨＯＧ等による処理を行う。制御部４は、例えばステレオマッチングを行うことで、撮像された被写体までのステレオカメラ装置１からの距離を算出し、その後、算出した距離と共に物体認識の結果を出力し得る。

図８は、一実施形態に係る制御部の動作フローを示す図である。制御部は、第１の撮像部からカラー画像を取得し（ステップＳ１）、第２の撮像部からモノクロ画像を取得する（ステップＳ２）。ステップＳ１とステップＳ２の順序は逆でもよい。

次いで、制御部は、カラー画像及びモノクロ画像を用いて物体認識を行う（ステップＳ３）。物体認識処理の詳細は、図９の説明で詳述する。制御部は、画像補間を行い（ステップＳ４）、ステレオマッチングにより、撮像された被写体までのステレオカメラ装置からの距離を算出する（ステップＳ５及びステップＳ６）。制御部は、物体認識の結果を出力する（ステップＳ７）。

図９は、一実施形態に係る制御部の物体認識処理のサブルーチンを示す図である。制御部は、モノクロ画像内で物体認識を行う（ステップＳ１１）。制御部は、色により区別されるように定められた物体を第２の撮像部で撮像した画像（モノクロ画像）内において認識すると（ステップＳ１２のＹｅｓ）、モノクロ画像内におけるその物体の占める領域に対応するカラー画像内の対応領域を検出し、対応領域から色情報を取得する（ステップＳ１３）。また、制御部は、その色情報をモノクロ画像内で認識した物体の区別に用いる（ステップＳ１４）。ステップＳ１２でＮｏのときは、ステップＳ１３及びステップＳ１４の処理は行わない。

次に、制御部は、ステップＳ１１で認識された物体のモノクロ画像内で占める領域に対応する、カラー画像内の対応領域を検出する（ステップＳ１５）。更に、制御部は、検出した対応領域において物体認識を行う（ステップＳ１６）。ステップＳ１２−ステップＳ１４と、ステップＳ１５―ステップＳ１６との順序は逆であってもよい。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能である。また、本発明を方法の発明として実施する場合にも、複数の部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

また、本発明に係るステレオカメラ装置をコンピュータで構成した場合、各機能を実現する処理内容を記述したプログラムを、そのコンピュータの内部又は外部の記憶部に格納しておき、そのコンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

１ ステレオカメラ装置
２ 第１の撮像部
３ 第２の撮像部
４ 制御部
５ 移動体
１０ 第１の撮像部が撮像するカラー画像
２０ 第２の撮像部が撮像するモノクロ画像

Claims (12)

1. 少なくとも１つのカラーフィルタを用いて画像を撮像する第１の撮像部と、
   モノクロ画像を撮像する第２の撮像部と、
   前記第１の撮像部及び前記第２の撮像部で撮像した画像を用いて、撮像された被写体までの距離を算出する制御部と
   を備えたステレオカメラ装置。
2. 前記制御部は更に、前記第１の撮像部で撮像した画像内において、少なくとも色を認識の特性として用いることが定められた物体の認識を少なくとも行う、請求項１に記載のステレオカメラ装置。
3. 前記制御部は、前記少なくとも色を認識の特性として用いることが定められた物体として、交通標識、交通信号、路面標識、路面上の区画線並びに車両の方向指示器、ストップランプ、ヘッドランプ及びテールランプの少なくともいずれか１つを認識する、請求項２に記載のステレオカメラ装置。
4. 前記制御部は更に、前記第２の撮像部で撮像した画像内において、色以外の特性を認識の特性として用いることが定められた物体の認識を少なくとも行う、請求項１から３のいずれか１項に記載のステレオカメラ装置。
5. 前記制御部は更に、前記色以外の特性を認識の特性として用いることが定められた物体として、人、車両、動物、路面上の障害物の少なくともいずれか１つを認識する、請求項４に記載のステレオカメラ装置。
6. 前記制御部は更に、色により区別されるように定められた物体を前記第２の撮像部が撮像した画像内で認識したとき、該第２の撮像部が撮像した画像内における該物体の占める領域に対応する、前記第１の撮像部が撮像した画像内の対応領域における色を、前記第２の撮像部が撮像した画像内で認識した物体の区別に用いる、請求項１から５のいずれか１項に記載のステレオカメラ装置。
7. 前記制御部は更に、第２の撮像部が撮像した画像内で認識された物体の占める領域であって第２の撮像部が撮像した画像内の領域に対応する、前記第１の撮像部が撮像した画像内の対応領域において物体認識を行う、請求項１から６のいずれか１項に記載のステレオカメラ装置。
8. 前記第１の撮像部は前記第２の撮像部よりも明るい光学系を用いた、請求項１から７のいずれか１項に記載のステレオカメラ装置。
9. 請求項１から８のいずれか１項に記載のステレオカメラ装置を設置した移動体。
10. 第１の撮像部により、少なくとも１つのカラーフィルタを用いて画像を撮像するステップと、
    第２の撮像部により、モノクロ画像を撮像するステップと、
    制御部により、前記第１の撮像部及び前記第２の撮像部で撮像した画像を用いて、撮像された被写体までの距離を算出するステップと、
    を含む距離算出方法。
11. 前記距離を算出するステップは更に、色により区別されるように定められた物体を前記第２の撮像部が撮像した画像内で認識したとき、該第２の撮像部が撮像した画像内における該物体の占める領域に対応する、前記第１の撮像部が撮像した画像内の対応領域における色を、前記第２の撮像部が撮像した画像内で認識した物体の区別に用いる、請求項１０に記載の距離算出方法。
12. 前記距離を算出するステップは更に、第２の撮像部が撮像した画像内で認識された物体の占める領域であって第２の撮像部が撮像した画像内の領域に対応する、前記第１の撮像部が撮像した画像内の対応領域において物体認識を行う、請求項１０又は１１に記載の距離算出方法。

Images