JP2010003254A - 画像処理装置 - Google Patents

Abstract

【課題】存在確率を用いて検出性能を向上できるとともに、画像処理に要する時間を短縮できる画像処理装置を提供することにある。
【解決手段】画像処理精度推定部２９は、車載カメラ４によって撮影される物体の距離の測定精度が許容値以下となる物体サイズを算出して、画像処理精度を推定する。画像後処理領域決定部３０は、画像処理精度推定部２９によって推定された画像の処理精度に応じて、物体の検出領域の内の一部の領域を、画像後処理を実施する画像後処理領域として決定し、決定した処理領域を格子状に分割する。画像処理部３１は、車載カメラ４によって撮像した画像を処理して物体候補を検出し、検出した物体候補の３次元位置を算出する。画像後処理部３２は、画像後処理領域決定部３０により決定された格子状の領域内の格子毎に、画像処理部３１により堅守された物体が存在するか否かの確率を算出し、物体の有無を判定する。
【選択図】図２

Description

本発明は、画像処理装置に係り、特に、車載カメラを用いて障害物や路面標示やカーブ等の検出対象を検出する際に用いるに好適な画像処理装置に関する。

近年、車載カメラを用いて歩行者や車両などの障害物を検出する障害物検出装置が実用化されている。また、車両の自動運転や運転補助等のために、車載カメラの撮像画像を処理して自車が走行しているレーンマーカ等の路面表示を検出し、自車がレーンから逸脱する危険がある場合に運転者に通知するか、逸脱しないように車両を制御する技術が実用化されている。また、歩行者等の障害物を検出し、衝突の危険性がある場合に、運転者に歩行者の存在を通知する、あるいは衝突を防止、軽減する技術が製品化されている。

このように、車載カメラの撮像画像を処理し物体を検出する場合、太陽光や周辺車両のヘッドライトやレンズについた水滴等の影響や、車両のピッチング、影、等々の外乱の影響や、検出対象までの距離が遠い影響でレーンマーカや障害物等の検出処理が適切に行えなくなる。このため、物体の有無のみでなく、物体の検出結果の確からしさを求め、検出性能を向上させる技術が重要になってくる。

そのために、道路平面を格子状に分割し、格子毎に物体が存在する確率を算出し、その存在確率から物体に衝突するか否かを判定し、物体を回避するためのシグナルを出力するものが知られている（例えば、特許文献１参照）。

国際公開第２００７／０２８９３２パンフレット

しかしながら、特許文献１記載のものでは、センシング範囲の広い車載センサ分野などに適用しようとすると、道路平面を格子状に分割する際に格子数が多くなり過ぎ、画像処理に時間を要するため、実用的でないという問題があった。

本発明の目的は、存在確率を用いて検出性能を向上できるとともに、画像処理に要する時間を短縮できる画像処理装置を提供することにある。

（１）上記目的を達成するために、本発明は、撮像手段と、該撮像手段によって撮影される物体の距離の測定精度が許容値以下となる物体サイズを算出して、画像処理精度を推定する画像処理精度推定部と、該画像処理精度推定部によって推定された画像の処理精度に応じて、物体の検出領域の内の一部の領域を、画像後処理を実施する画像後処理領域として決定し、決定した処理領域を格子状に分割する画像後処理領域決定部と、該撮像手段によって撮像した画像を処理して物体候補を検出し、検出した物体候補の３次元位置を算出する画像処理部と、前記画像後処理領域決定部により決定された格子状の領域内の格子毎に、前記画像処理部により堅守された物体が存在するか否かの確率を算出し、物体の有無を判定する画像後処理部とを備えるようにしたものである。
かかる構成により、存在確率を用いて検出性能を向上できるとともに、画像処理に要する時間を短縮できるものとなる。

（２）上記（１）において、好ましくは、前記画像後処理領域決定部は、前記画像処理精度推定部が推定した距離測定の誤差が許容誤差よりも大きくなる領域を、前記画像後処理領域とするものである。

（３）上記（１）において、好ましくは、前記画像後処理領域決定部は、前記画像処理精度推定部が推定した検知対象の撮像画像上でのサイズが所定の値よりも小さくなる領域を処理領域とするようにしたものである。

（４）上記（１）において、好ましくは、前記画像後処理領域決定部は、画像処理精度に基いて、遠方程小さくなるような画像後処理領域内の分解能を決定し、該分解能に基づいて、前記画像後処理領域を格子状に分割するようにしたものである。

（５）上記（１）において、好ましくは、前記画像後処理部は、確率統計処理により、前記存在確率を算出するようにしたものである。

（６）上記（５）において、好ましくは、前記画像後処理部は、認識対象の認識結果に、物体が存在する確率や分散といった確率統計値を付加して出力するようにしたものである。

（７）上記（６）において、好ましくは、さらに、前記画像後処理部が出力する認識対象の認識結果及び、物体に関する確率統計値とに基づいて、制御や警報の内容を決定するコントロールユニットを備えるようにしたものである。

本発明によれば、存在確率を用いて検出性能を向上できるとともに、画像処理に要する時間を短縮できるものとなる。

以下、図１〜図９を用いて、本発明の一実施形態による画像処理装置の構成及び動作について説明する。
最初に、図１を用いて、本実施形態による画像処理装置を用いる車載システムの構成及び動作について説明する。
図１は、本発明の一実施形態による画像処理装置を用いる車載システムの構成を示すブロック図である。

本実施形態に係る画像処理装置は、図１に示すような車載カメラユニット（画像処理装置）１に適用される。車載カメラユニット１は、車載カメラユニット１が備える車載カメラ（撮像手段）４により、車両周囲の環境を認識する機能を実現する。このとき、車載カメラは２つ以上備えていても良いものである。また、車載カメラとは別体の画像処理ユニットが、車載カメラ４から画像を取り込んで処理する構成でもよいものである。

車載カメラユニット１は、車両に搭載されて車載システムに適用される。この車載システムは、車載カメラユニット１がこの車両（以下、「自車両」と称する）の前方に存在する障害物を検出し、コントロールユニット２の制御の基で、検出結果に基づいて車両を制御、あるいは乗員に危険を報知するための装置である。

車載カメラユニット１は、ＣＰＵ６，ＲＡＭ９，ＲＯＭ７を備えている。また、コントロールユニット２は、ＣＰＵ１２，ＲＡＭ１１，ＲＯＭ１３を備えている。そして、車載カメラユニット１とコントロールユニット２からなる車載システムでは、車載カメラユニット１とコントロールユニット２が接続されている。さらに、車載システムは、車室内に設置されて各種画像および各種情報を表示するためのディスプレイ１５と、自車両が障害物に衝突する危険性がある際に警告音声を発生するスピーカー１９と、エンジンを始動する際にＯＮとなるイグニッションスイッチ２０と、障害物検知を起動する際にＯＮとなる障害物検知起動スイッチ２１とが接続されている。ディスプレイ１５の表示制御をはじめとして当該車載システム全体の動作は、コントロールユニット２によって制御される。

車載カメラユニット１は、例えば、自車両の室内のルームミラー部に取付けられて、自車両の前方の様子を所定の俯角、取付け位置で撮像するようになっている。車載カメラ４により撮像された自車両前方の画像（以下、「撮像画像」と称する）は、車載カメラユニット１の内部のＲＡＭ９に取り込まれる。車載カメラユニット１は、撮像画像に基づいて自車前方の障害物を検出し、自車両が障害物に衝突する危険性があると判断した場合には、ディスプレイ１５に表示される画像に検出結果を描画する。また、コントロールユニット２の制御の基で、ディスプレイ１５とスピーカー１９、またはディスプレイ１５あるいはスピーカー１９のいずれかにより運転者に報知する。あるいは、衝突しないように、衝突の衝撃を和らげるように、車両のブレーキやステアリングをコントロールユニット２により制御するようにすることもできる。

ディスプレイ１５は、例えばＬＣＤ（Liquid Crystal Display）等の表示機器よりなる。ディスプレイ１５は、コントロールユニット２による表示制御のもとで、例えば図示しないナビゲーションによる走行経路案内の画像や、車載カメラユニット１の画像等の各種画像を表示する。また、ディスプレイ１５は、コントロールユニット２により障害物を認識したときに、このコントロールユニット２による制御のもとで、障害物が存在する旨を報知するメッセージや画像を表示する。

コントロールユニット２は、ＣＰＵ１２，ＲＡＭ１１，ＲＯＭ１３がバスを介して接続された構成である。ＣＰＵ１２は、ＲＯＭ１３に格納された各種制御プログラムを実行することで、システム全体の動作を制御する。

車載カメラユニット１では、ＲＯＭ７に障害物を検知する障害物検知プログラムが格納されている。ＣＰＵ６がこれらのプログラムを実行することで、障害物検知機能が実現される。

次に、図２を用いて、本実施形態による画像処理装置を用いる車載システムの機能構成及び動作について説明する。
図２は、本発明の一実施形態による画像処理装置を用いる車載システムの構成を示す機能ブロック図である。

図１に示したイグニッションスイッチ２０がＯＮとなり、エンジンを始動すると、ＲＯＭ７の障害物検知プログラムが実行される。その結果、図２に示すように、車載カメラユニット１は、画像処理精度推定部２９、画像後処理領域決定部３０、画像処理部３１、画像後処理部３２として機能する。また、コントロールユニット２は、制御・警報決定処理部３３、制御警報処理部３４として機能する。

画像処理精度推定部２９は、物体の３次元位置算出精度、あるいは物体の検出精度等を推定する機能を有する。画像処理精度推定部２９の詳細機能については、後述する。

画像後処理領域決定部３０は、画像処理精度推定部２９の結果である物体の３次元位置算出精度、あるいは物体の検出精度等に応じて、画像後処理を実施する領域および分解能を決定し、決定した処理領域と分解能に応じて、処理領域を格子状に分割する機能を有する。画像後処理領域決定部３０の詳細機能については、図５及び図６を用いて後述する。

画像処理部３１は、車載カメラ４により撮像した画像を処理して、物体候補をパターンマッチング等により検出し、検出した物体候補の３次元位置を算出する機能を有する。画像処理部３１の処理は、従来から行われているものである。

画像後処理部３２は、画像後処理領域決定部３０により格子状に分割された処理領域の格子毎に物体が存在するか否かの確率と、その格子が移動している方向を離散化し、どちらに移動している可能性が高いかを表す確率とを算出して、確率マップを生成する機能を有する。そして、画像後処理部３２は、生成した確率マップの確率が閾値以上か否かに応じて物体の有無を判定するとともに、物体の位置や大きさ、確率を出力する。画像後処理部３２の詳細機能については、後述する。

制御・警報決定処理３３は、画像後処理部３２の結果に基づいて、ブレーキ、アクセル、ステアリングの制御を行うか否か、警報処理を実施するか否かを決定する機能を有する。制御・警報決定処理３３の詳細機能については、図９を用いて後述する。

制御・警報処理部３４は、制御・警報決定処理部３３の決定結果に基づいて、アクチュエータに制御信号を送信するか、ディスプレイやスピーカ等を用いて運転者に危険を知らせる処理を実行する機能を有する。制御・警報処理部３４の処理は、従来から行われているものである。

以上のように構成される車載カメラユニット１は、上述したように、ＣＰＵ６が障害物検知プログラムを実行することで、画像を処理し、物体の位置や大きさに加え確率統計値を算出することができる。そして、認識結果を入力画像に重畳した画像等をディスプレイ１５に出力するとともに、認識結果をコントロールユニット２に送信し、コントロールユニット２の制御のもとで衝突の危険があると判断した場合は、衝突を軽減、回避するための制御を行うか、あるいは警報音を発生させるか警報画像を表示させ、車両の乗員に報知するようになっている。

次に、図３を用いて、本実施形態による画像処理装置の動作について説明する。
図３は、本発明の一実施形態による画像処理装置の動作を示すフローチャートである。

図３は、車載カメラユニット１において、障害物を検出し検出結果を出力するまでの一連の処理の流れを示している。図３に示した処理は、図１のイグニッションスイッチ２０がオンとなったときにスタートし、イグニッションスイッチ２０がオフとなるまで繰り返し行われる。自車両が走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がナビゲーションシステムの走行経路案内画像かその他の映像であるかに拘わらず実施される。ただし、自車両が走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がナビゲーションシステムの走行経路案内画像かその他の映像であるかに応じて、処理の実施を決定する構成としてもよいものである。

まず、イグニッションスイッチ２０がオンとなると、ステップＳ１０において、車載カメラユニット１は障害物検知プログラムを実行し、初期化処理を実行する。この初期化処理の中で処理領域初期化フラグを、ＯＮに設定する。

次に、ステップＳ２０において、車載カメラユニット１は、障害物検知起動スイッチ２１がＯＮか否かを判定する。障害物検知起動スイッチ２１がＯＮとなったときは、ステップＳ３０において、処理領域初期化フラグがＯＮか否かを判定する。処理領域初期化フラグがＯＮの場合は、ステップＳ４０において、画像処理精度推定部２９は、画像処理精度推定処理を実行する。画像処理精度推定処理の詳細については、後述する。

さらに、ステップＳ５０において、画像後処理領域決定部３０は、画像後処理領域決定処理を実行する。そして、ステップＳ６０において、車載カメラユニット１は、初期化フラグをＯＦＦに設定する。

初期化処理が終了すると、ステップＳ３０からステップＳ７０に進み、画像処理部３１は、物体の候補を検出して、物体候補の３次元位置および大きさを算出する。

次に、ステップＳ８０において、画像後処理部３２は、物体候補の検出結果を基に物体が存在する確率を算出する。また、ステップＳ９０において、画像後処理部３２は、物体候補検出結果のうち、存在確率が閾値以上の物体候補を障害物として、位置、大きさ、存在確率を出力する。

以上により求まった障害物データに基づいて、コントロールユニット２は、制御・警報内容を決定し、車両を制御するか乗員に警報を発する、あるいは車両を制御し、かつ乗員に警報を発する処理を行う。

次に、図４を用いて、本実施形態による画像処理装置に接続されたコントロールユニット２の動作について説明する。
図４は、本発明の一実施形態による画像処理装置に接続されたコントロールユニットの動作を示すフローチャートである。

図４に示す一連の処理は、イグニッションスイッチ２０がオンとなったときにスタートし、イグニッションスイッチ２０がオフとなるまで繰り返し行われる。自車両が走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がナビゲーションシステムの走行経路案内画像かその他の映像であるかに拘わらず実施される。ただし、自車両が走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がナビゲーションシステムの走行経路案内画像かその他の映像であるかに応じて、処理の実施を決定する構成としてもよいものである。

まず、イグニッションスイッチ２０がオンとなると、ステップＳ１００において、コントロールユニット２は、運転支援プログラムを実行し、初期化処理を実行する。この初期化処理の中で、図３のステップＳ３０で説明した処理領域初期化フラグを、ＯＮに設定する。このとき、ナビゲーションプログラム等の各種プログラムが同時に実行されていてもよいものである。

次に、ステップＳ１１０において、コントロールユニット２は、障害物検知起動スイッチ２１がＯＮか否かを判定する。

そして、障害物検知起動スイッチ２１がＯＮとなったときは、ステップＳ１２０において、コントロールユニット２は、車載カメラユニット１からの障害物検知結果受信処理を実行する。

次に、ステップＳ１３０において、制御・警報決定処理部３３は、障害物の位置、大きさ、存在確率に応じて制御内容、警報内容を決定する。

車両を制御すると決定された場合は、ステップＳ１４０において、制御・警報処理部３４は、制御するための信号をブレーキやステアリングなどのアクチュエータに送信する。また、警報すると決定された場合は、ステップＳ１４０において、制御・警報処理部３４は、ディスプレイかスピーカのいずれか、あるいはディスプレイとスピーカの両方を用いて乗員に警報を発する。ここで、警報にはディスプレイ、スピーカの他にシートベルトや、アクセル、ブレーキペダル、ステアリング、シート等を振動させるなどによって警報を発してもよいものである。

以下、図３のステップＳ３０，Ｓ４０，Ｓ６０〜Ｓ８０及び図４のステップＳ１３０，Ｓ１４０の処理の詳細について説明する。

最初に、画像処理精度決定部２９で実施されるステップＳ３０の処理内容について説明する。画像処理精度決定部２９は、物体の距離の測定精度が許容値以下となる物体サイズｗｔを求める。物体の実空間上での横幅をＷ、物体の画像上での横幅をｗ、カメラの焦点距離をｆとすると、物体の距離ＺはＺ＝（ｆ×Ｗ）／ｗで求めることができる。さらに、画像上での物体幅の分解能をｒｓとすると、（ｆ×Ｗ）／（ｗ＋ｒｓ）−（ｆ×Ｗ）／ｗが所定の値を超える物体の画像上での横幅ｗのうち最小値を、例えばｗｔとすることができる。ただし、分解能ｒｓは、例えば撮像素子の１画素分のサイズである。これは、あらかじめＲＯＭに格納されているか、プログラム中に定数として定義されている。

次に、図５及び図６を用いて、本実施形態による画像処理装置の画像後処理領域決定部３０の動作について説明する。
図５及び図６は、本発明の一実施形態による画像処理装置の画像後処理領域決定部の動作説明図である。

画像後処理領域決定部は、図５に示すように、撮像画像上の物体サイズによって画像後処理を行う領域を決定する。これは、撮像画像上の物体サイズが小さい程、物体検知の信頼性が低下するためであり、画像後処理を行うことで検知性能を向上させることができる。例えば、以下のように画像後処理領域を決定することができる。

実空間上における物体の横幅が、Ｗ以上の物体を検出対象とすると撮像画像上での検出対象物体の横幅の最小値ｗは、ｗ＝（ｆ×Ｗ）／Ｚで表すことができる。ここで、物体の実空間上での横幅Ｗとカメラの焦点距離ｆが決まり、撮像画像上での検出対象物体の横幅の最小値ｗが、画像処理精度決定部２９で決定された最小値ｗｔ以下となる領域を、画像後処理の処理対象とすると、図５（Ａ）に示すように、画像後処理領域は、Ｚｔ（＝（ｆ×Ｗ）／ｗｔ）以上の領域で良いことになる。

また、図５（Ｂ）に示す画像後処理処理領域における分解能（Ｚ１，Ｚ２，…，Ｚｎ）は、例えば、次の式（１）により、決定することができる。

すなわち、式（１）で表されるように、遠方程分解能を低くする。このように遠方程分解能を低くすることで、格子数を減らし計算量が少なくできる。この処理は、予め処理領域を算出した結果をＲＯＭに保持するか、定数としプログラム中に保持する。

図６は、以上のようにして決定された格子状の画像後処理領域を示している。Ｚ方向は、自車両の前方の距離を示している。ｘ方向は、自車両の左右方向の距離を示している。

図６において、Ｚｍａｘは物体の最大検知距離であり、Ｚｔは図５にて説明した画像後処理領域の最短距離である。すなわち、Ｚ方向に対しては、距離Ｚｔから距離Ｚｍａｘが、格子状に分割される画像後処理領域である。また、自車両の左方向の検知距離をＸｍｉｎとし、右方向の検知距離をＸｍａｘとすると、ｘ方向の検知領域幅はＸｍｉｎからＸｍａｘとなる。

そして、距離Ｚｔ〜Ｚｍａｘで、幅Ｘｍｉｎ〜Ｘｍａｘの領域が、格子状に分割される。ここで、ｘ方向，Ｚ方向とも、等間隔に分割してもよいものである。しかし、本実施形態では、Ｚ方向については、図５（Ｂ）にて説明したように、距離Ｚが遠くなるほど分解能（Ｚ１，Ｚ２，…，Ｚｎ）を低くしている。これらの格子状の領域のそれぞれについて、物体の存在確率等の確率が求められ、画像処理部３１による物体候補の検知結果と、その確率から、物体の有無を判定する。

なお、Ｗ、ｆ、Ｚｍａｘ、Ｘｍｉｎ、Ｘｍａｘは予めＲＯＭに格納されているかプログラム中の定数とする。

また、距離Ｚｔよりも自車両に近い領域については、物体の誤検知の可能性が小さいため、前述の確率は用いないで、画像処理部３１による物体候補の検知結果から、物体の有無を判定する。

以上のように格子状の画像後処理領域を決定することで、特許文献１に記載の全領域を格子状に分割する従来の方法に比べて、格子の数を減らすことができる。ここで、具体的に説明する。ｘ方向については、自車両の位置におけるｘを０としたとき、左方向の検知距離Ｘｍｉｎは、例えば、−２０ｍであり、右方向の検知距離Ｘｍａｘは、＋２０ｍである。そして、左右方向の検知領域内を、例えば、０．５ｍ間隔で分割する。また、Ｚ方向については、自車両の位置を０とすると、物体の最大検知距離Ｚｍａｘは、例えば、１００ｍである。Ｚ方向の検知領域内の分割は、従来の方法では、例えば、１．０ｍ間隔とする。

その結果、従来の方法では、ｘ方向に８０分割し、Ｚ方向は距離０ｍ〜Ｚｍａｘを１００分割するため、格子の数は８０００となる。

ここで、画像上の物体幅ｗが２０画素以下で画像の認識精度が低下するとすると、焦点距離ｆを例えば４ｍｍ、物体幅Ｗを１５００ｍｍ、撮像素子のセルサイズが０．００５ｍｍであり、このセルサイズをｒｓとすると、Ｚｔは６０ｍとなり、６０ｍ以上の領域に画像後処理を実施すればよいものである。歩行者を対象とする場合は、物体幅Ｗが５００ｍｍ程度となるため、２０ｍ以上を画像後処理領域とすることになる。

本実施形態では、最短検知距離Ｚｔを６０ｍとし、しかも、Ｚ方向は等間隔で分割した場合、ｘ方向に８０分割し、Ｚ方向は距離Ｚｔ〜Ｚｍａｘを４０分割するため、格子の数は３２００となり、従来よりも、６０％格子の数を減らすことができる。さらに、本実施形態では、Ｚ方向は、距離Ｚが遠くなるほど分解能（Ｚ１，Ｚ２，…，Ｚｎ）を低くしており、これによると、ｘ方向に８０分割し、Ｚ方向は距離Ｚｔ〜Ｚｍａｘを２０分割するため、格子の数は１６００となり、従来よりも、８０％格子の数を減らすことができる。したがって、本実施形態によれば、従来よりも格子の数を減らして、画像処理に要する時間を短縮することができる。

次に、図７及び図８を用いて、本実施形態による画像処理装置の画像後処理領域決定部３０による他の後処理領域の決定方法について説明する。
図７及び図８は、本発明の一実施形態による画像処理装置の画像後処理領域決定部による他の後処理領域の決定方法の説明図である。

図７（Ａ）は、物体を正しく検知できる割り合いである物体検知率に基いて画像後処理領域を決定する例を示している。

物体検知率は、全ての物体に対して、検知できた物体の割合を示す数値である。そして、ｗｔを物体検知率がＲｔよりも下回り始める画像上の物体のサイズ、Ｗを実空間上での物体のサイズ、ｆを焦点距離とすると、Ｚｔ＝Ｗ／（ｆ×ｗｔ）で示される距離Ｚｔよりも大きい領域を、画像後処理領域とすることもできる。

また、図７（Ｂ）は、物体を誤って検知してしまう割り合いである物体誤検知率に基いて画像後処理領域を決定する例を示している。

物体誤検知率は、全ての物体に対して、物体を誤検知した割合を示す数値である。そして、ｗｔを物体誤検知率がＦｔを上回る画像上の物体のサイズ、Ｗを実空間上での物体のサイズ、ｆを焦点距離とすると、Ｚｔ＝Ｗ／（ｆ×ｗｔ）で示される距離Ｚｔよりも大きい領域を、画像後処理領域とすることもできる。

また、このとき、物体検知率、物体誤検知率は、昼や雨、雨や霧等の撮像環境の影響で異なるため、図８（Ａ）に示すように晴れの場合と、図８（Ｂ）に示すように雨・霧等に応じて画像後処理領域を切り替えてもよいものである。

次に、画像処理部３１の動作について説明する。画像処理部３１は、ステップＳ７０の処理により、テンプレートマッチング等により物体候補を検出し、検出した物体の画像上でのサイズｗからＺ＝（ｆ×Ｗ）／ｗにより距離を求め、３次元位置を得る。

そして、画像後処理部３１は、ステップＳ８０の処理により、例えば次のように、各格子毎に物体が存在する確率を算出する。

画像後処理部３１は、次のようにして、各格子に物体が存在する確率および速度の確率を推定する。ここで、それぞれの確率変数は、下記の通り定義する。

Ｃは、それぞれの格子を特定するためのインデックスである。

Ａは、２次元格子内の格子ｃに影響を及ぼす過去の格子である。

Ｚは、格子ｃにおける観測値である。

以下の式（２）で示される速度Ｖは、格子ｃの速度であり、ｎ個に離散化する。

以下の式（３）で示される存在不存在の状態Ｏ，Ｏ^−１は、格子ｃに物体が存在するか否かの状態を表す。

Ｏは現在の状態であり、Ｏ^−１は過去の状態である。状態は、物体が存在するｏｃｃと、物体が存在しないｅｍｐとから成る。

各確率変数の独立性を考慮すると、確率Ｐは、以下の式（４）で表すことができる。

ここで、各確率について以下にまとめる。最終的に推定したい事象は各セルに物体が存在するか否か（Ｏ）と、その速度（Ｖ）であるため、式（５）により、物体の存在と速度の事後確率Ｐ（Ｖ，Ｏ｜Ｚ，Ｃ）を計算する。

さらに、式（５）の右辺の分子は、式（６）に等しい。

式（６）は、存在の状態Ｏを、有ｏｃｃと、無ｅｍｐとし、速度Ｖを、ｖ１，…，ｖｋ，…，ｖｎとして、それぞれの場合について、式（７）から式（１０）で求めることができる。

式（７）は、格子Ｃに物体が存在し速度ｖｋで移動している確率であり、式（８）は、格子Ｃに物体が存在せず速度ｖｋで移動している確率である。

そして、式（５）の分母をｌ（ｖｋ）とすると、ｌ（ｖｋ）は式（１１）となる。

以上により、格子Ｃに物体が存在し、速度ｖｋで移動している確率Ｐ（ｏｃｃ，ｖｋ｜Ｚ，Ｃ）は、式（１２）により得られる。

その後、以下の式（１３），式（１４）で、ＯとＶの確率がそれぞれ得られる。これを全格子について計算することで、道路平面を格子状に分割した存在の確率マップと、速度の確率マップを得ることができる。

また、画像後処理部３２によるステップＳ９０の処理では、画像処理部３１による物体候補の検知結果と、存在と速度の確率マップとを用いて、物体の有無を判定し、結果を出力する。例えば、物体候補の３次元位置に対応する、格子の確率が所定の値Ｐｔｈｒ以上である場合に、物体が存在すると判定し、その物体の３次元位置、大きさ、存在確率等を出力する。

次に、図９を用いて、本実施形態による画像処理装置の制御・警報決定処理３３の動作について説明する。
図９は、本発明の一実施形態による画像処理装置の制御・警報決定処理の動作説明図である。

コントロールユニット２の制御警報決定処理部３３は、例えば、図９に示すように物体の存在確率に応じて、ブレーキ制御を実施するか、ブレーキ制御は行わずアクセルのＯＦＦのみを行うか、あるいは制御は行わず警報のみを実施するかを決定する。

例えば、画像処理部３１による物体候補の検知結果として、距離Ｚｔに物体候補があると検知された場合、その物体候補の存在確率に応じて、制御警報の内容を決定する。距離Ｚｔにおける物体候補の存在確率が、所定値Ｐｔ１よりも小さいときは何も行わない。距離Ｚｔにおける物体候補の存在確率が、所定値Ｐｔ１〜所定値Ｐｔ２の間のときは、警報のみを実施する。距離Ｚｔにおける物体候補の存在確率が、所定値Ｐｔ２〜所定値Ｐｔ３の間のときは、アクセルＯＦＦのみを実施する。距離Ｚｔにおける物体候補の存在確率が、所定値Ｐｔ３以上のときは、ブレーキ制御を実施する。

そして、この制御警報の内容を決定するための所定値は、図７に示すように、距離Ｚが遠くなるほど、徐々に大きくなるように設定している。

このとき、画像後処理の領域外，すなわち、距離Ｚｔよりも近い物体については、確率統計値の演算は行っていないため、予め定められた値（図示の例では、１．０）を出力する。したがって、画像処理部３１による物体候補の検知結果として、距離Ｚｔよりも近い位置に物体候補が検知された場合には、全て、ブレーキ制御を実施する。

制御警報決定処理部３３は、車両を制御すると決定した場合は、ブレーキをかける強さ等を算出し、信号をアクチュエータに送信する。ここで、制御の強さＧｏを確率等の値Ｐによって、Ｇｏ＝Ｇ×Ｐとして、決定してもよいものである。ここで、Ｇｏはブレーキによって減速する減速度、Ｇは自動制御によって減速する際の最大減速度、Ｐは画像処理装置が出力した物体の存在確率とする。

また、警報を発すると決定された場合は、ディスプレイに警報メッセージやカメラ４から得られる撮像画像と物体検知結果とを重畳した画像などを表示する。また、スピーカーにより音声で警告メッセージなどを発生させてもよいものである。

なお、本実施形態において、前述の構成に加え、カーナビゲーションシステムと地図データベースとを備え、カーナビゲーションから得られる自車位置と、地図データベースから得られる地図データとから走行中の道路形状や、高速道路か一般道かなどの道路種別を判定し、道路形状や道路種別などに基づいてこのＷ、ｗｔ、Ｚｍａｘ、Ｘｍｉｎ等の値を決定することもできる。例えば、一般道でｗｔを６０ｍとし、Ｚｍａｘを１００ｍとしたとき、高速道路では、ｗｔを８０ｍとし、Ｚｍａｘを１２０ｍとして、速度が早い分遠方の物体を存在確率を用いて判定する。また、高速道路では、Ｘｍｉｎを２０ｍから１０ｍに減少することもできる。また、直線状の道路で、Ｘｍｉｎを２０ｍとしたとき、カーブでは、Ｘｍｉｎを３０ｍとして、車両左右方向の検知範囲を広くして、カーブの先にいる車両を検知しやすくする。これにより高速道路か一般道か否かなどに応じて効率的に処理領域を決定できる。例えば、高速道路走行中は遠距離用の処理領域を、一般道を走行中は近距離用の処理領域を設定することができる。

また、本実施形態では、車載カメラユニット１における処理が、コントロールユニット２内で処理される構成でも良く、またコントロールユニット２の処理が車載カメラユニット１内で処理される構成でもよいものである。

以上説明したように、本実施形態によれば、車載カメラで撮像した画像を処理し物体を検知する際に、確率統計処理により過去の情報（Ｏ^−１）や統計情報（Ｏ）／Ｏ^−１）から物体が存在する確率を用いることで、精度の良い物体検出を実現できる。また、このとき画像後処理領域決定部により、画像後処理が必要な領域および分解能を算出することで、格子数を減少することができる。すなわち、道路平面を格子状に分割し、各格子毎に確率を算出する確率統計処理等を実施した場合でも、リアルタイムで物体認識処理が可能となる。そして、車載カメラユニットの出力として、物体の位置や大きさに加え、確率統計値を付与することで円滑な制御、警報処理を実現することができる。

次に、図１０〜１２を用いて、本発明の他の実施形態による画像処理装置の構成及び動作について説明する。
最初に、図１０を用いて、本実施形態による画像処理装置を用いる車載システムの構成及び動作について説明する。
図１０は、本発明の他の実施形態による画像処理装置を用いる車載システムの構成を示すブロック図である。なお、図１と同一符号は、同一部分を示している。

本実施形態による画像処理装置である車載カメラユニット１Ａは、２個の車載カメラ４ａ，４ｂにより、ステレオ画像として車両周囲の環境を認識する。

このとき、車載カメラは３個以上備えていてもよいものである。また、車載カメラとは別体の画像処理ユニットが、車載カメラ４ａ，４ｂから画像を取り込んで処理する構成でもよいものである。

次に、図１１を用いて、本実施形態による画像処理装置に用いるステレオカメラの検出原理について説明する。
図１１は、本発明の他の実施形態による画像処理装置に用いるステレオカメラの検出原理の説明図である。

車載カメラユニット１Ａで用いるステレオカメラは、複数の車載カメラ４ａ，４ｂで同一計測点を撮像した際に、生じる見え方の違い（視差）を用いて、三角測量の原理で距離を求めることができる構成となっている。なお、図において、Ｚは、カメラ４ａ，４ｂから計測点までの距離である。ｆは、カメラ４ａ，４ｂの焦点距離である。ｂは、カメラ４ａ，４ｂの間の離間距離である。δは、カメラ４ａ，４ｂの視野角である。

再び、図１０において、車載カメラユニット１Ａ及びコントロールユニット２は、図２にて説明したと同様の機能構成を備えている。車載カメラユニット１Ａは車両に搭載されて、コントロールユニット２とともに、車載システムを構成する。このシステムは、車載カメラユニット１Ａが自車両の前方に存在する障害物を検出し、コントロールユニット２の制御の基で、検出結果に基づいて車両を制御、あるいは乗員に危険を報知するための装置である。

車載カメラユニット１Ａは、例えば自車室内のルームミラー部に取付けられて、自車両前方の様子を所定の俯角、取付け位置で撮像するようになっている。車載カメラ４ａ，４ｂにより撮像された自車両前方の撮像画像は車載カメラユニット１Ａの内部のＲＡＭ９に取り込まれ、自車前方の障害物を検出し、自車が障害物に衝突する危険性があると判断した場合には表示画像に検出結果を描画するとともに、コントロールユニット２の制御の基でディスプレイ１５とスピーカー１９、またはディスプレイ１５あるいはスピーカー１９のいずれかにより運転者に報知する。あるいは衝突しないように、衝突の衝撃を和らげるように車両をコントロールユニット２により制御してもよいものである。

画像処理部３１は、カメラ４ａ，４ｂにより撮像した画像を処理して、各画素毎に視差を算出して視差のマップを作成し、物体候補をパターンマッチング等により検出して、検出した物体の３次元位置を算出する機能を有するものである。

以上のように構成される車載カメラユニット１Ａは、上述したように、ＣＰＵ６が障害物検知プログラムを実行することで、画像を処理し、物体の位置や大きさに加え確率統計値を算出することができる。そして、認識結果を入力画像に重畳した画像等をディスプレイ１５に出力するとともに、認識結果をコントロールユニット２に送信し、コントロールユニット２の制御のもとで衝突の危険があると判断した場合は、衝突を軽減、回避するための制御を行うか、あるいは警報音を発生させて、車両の乗員に報知するようにしている。

ここで、以上のような車載カメラユニット１Ａにおいて、障害物を検出し検出結果を出力するまでの一連の処理の流れは、図３及び図４に示したフローチャートと同様である。

以下では、図３のステップＳ３０、ステップＳ４０、ステップＳ７０、ステップＳ９０と、図４のステップＳ１３０の個々の処理について説明する。

まず、画像処理精度推定部で実施されるステップＳ３０は、例えば距離測定精度が許容値以下となる視差ｄｔを求める。例えば、次のように画像後処理の処理領域を決定することができる。視差をｄ、視差の分解能をδｄ、カメラ間の距離をＢ、焦点距離をｆとすると、該当画素の距離Ｚは、Ｚ＝Ｂ×ｆ／ｄの式で表される。ここで、距離測定精度の許容誤差δＺを定義すると、以下の式（１５）満たす視差ｄに対応する領域は、距離測定精度が許容誤差以上となる。

そこで、式（１５）を満たす視差ｄのうち最小の視差をｄｔとする。

次に、図１２を用いて、本実施形態による画像処理装置における画像後処理領域決定部の処理内容について説明する。
図１２は、本発明の他の実施形態による画像処理装置における画像後処理領域決定部の処理内容の説明図である。

画像後処理領域決定部で実施されるステップＳ４０は、前述の最小の視差ｄｔの値に基づいて、画像後処理を行う領域を決定する。これは、視差が小さい程、物体検知の信頼性、距離測定精度が低下するためであり、画像後処理を行うことで検知性能を向上させることができる。最小の視差ｄｔに対応する距離をＺｔとすると、画像後処理領域は距離Ｚｔ以上の領域とすることができる。

また、物体の最大検知距離をＺｍａｘ、検知領域幅をＸｍｉｎからＸｍａｘとすれば、道路平面上の処理領域を図６にて説明したように決定できる。ただし、Ｂ、ｆ、δＺ、Ｚｍａｘ、Ｘｍｉｎ、Ｘｍａｘ等の値は予めＲＯＭに格納されているかプログラム中の定数とする。また、処理領域の分解能（Ｚ１， Ｚ２， ・・・Ｚｎ）は、例えば、次の式（１６）のように決定する。

すなわち、式（１６）で表されるように遠方程分解能を低くする。このように遠方程分解能を低くすることで、格子数を減らし計算量が少なくできる。この処理は、予め処理領域を算出した結果をＲＯＭに保持しておくか、定数としプログラム中に保持しておく。

画像処理部で実施されるステップＳ７０は、テンプレートマッチング等により物体候補を検出し、検出した物体の画像上でのサイズｗからＺ＝Ｗ／（ｆ×ｗ）により距離を求め、３次元位置を得る。
また、画像後処理部３２によるステップＳ９０の処理では、画像処理部３１による物体の検知結果と、前記確率マップとを用いて、物体の有無を判定し、結果を出力する。例えば、物体候補の３次元位置に対応する、格子の確率が所定の値Ｐｔｈｒ以上である場合に、物体が存在すると判定し、その物体の３次元位置、大きさ、存在確率、および検知した物体に属する画素の視差データから３次元データの平均値と標準偏差等を算出して出力する。

次に、コントロールユニット２の制御警報決定処理３３によるステップ２０４について説明する。制御・警報決定処理では、例えば図９にて説明したように、物体の存在確率に応じて、ブレーキ制御を実施するか、ブレーキ制御は行わずアクセルのＯＮ・ＯＦＦのみを行うか、あるいは制御は行わず警報のみを実施するかを決定する。ただし、存在確率が高い場合であっても、前記３次元データの標準偏差が大きい場合には、物体がどこに存在するかが不明確であるため、制御処理を行わないなどの判定を行う。

なお、前述の構成に加え、カーナビゲーションシステムと地図データベースとを具備し、カーナビゲーションから得られる自車位置と、地図データベースから得られる地図データとから走行中の道路形状や、高速道路か一般道かなどの道路種別を判定し、道路形状や道路種別などに基づいてこのδＺ、Ｚｍａｘ、Ｘｍｉｎ等の値を決定することもできる。これにより高速道路か一般道か否かなどに応じて効率的に処理領域を決定できる。例えば、高速道路走行中は遠距離用の処理領域を、一般道を走行中は近距離用の処理領域を設定することができる。

また、車載カメラユニット１Ａにおける処理が、コントロールユニット２内で処理される構成でも良く、またコントロールユニット２の処理が車載カメラユニット１Ａ内で処理される構成でもよい。

以上説明したように、本実施形態によれば、車載システムでは、車載カメラ４ａ，４ｂで撮像した画像を処理し物体を検知する際に、確率統計処理により過去の情報や統計情報から物体が存在する確率を算出することで精度の良い物体検出を実現できる。また、このとき画像後処理領域決定部３０により、画像後処理が必要な領域および分解能を算出することで、格子数を最低限に抑えることができる。すなわち、道路平面を格子状に分割し、各格子毎に確率を算出する確率統計処理等を実施した場合でも、リアルタイムで物体認識処理が可能となる。そして、車載カメラユニットの出力として、物体の位置や大きさに加え、確率統計値を付与することで円滑な制御、警報処理を実現することができる。

本発明の一実施形態による画像処理装置を用いる車載システムの構成を示すブロック図である。 本発明の一実施形態による画像処理装置を用いる車載システムの構成を示す機能ブロック図である。 本発明の一実施形態による画像処理装置の動作を示すフローチャートである。 本発明の一実施形態による画像処理装置に接続されたコントロールユニットの動作を示すフローチャートである。 本発明の一実施形態による画像処理装置の画像後処理領域決定部の動作説明図である。 本発明の一実施形態による画像処理装置の画像後処理領域決定部の動作説明図である。 本発明の一実施形態による画像処理装置の画像後処理領域決定部による他の後処理領域の決定方法の説明図である。 本発明の一実施形態による画像処理装置の画像後処理領域決定部による他の後処理領域の決定方法の説明図である。 本発明の一実施形態による画像処理装置の制御・警報決定処理の動作説明図である。 本発明の他の実施形態による画像処理装置を用いる車載システムの構成を示すブロック図である。 本発明の他の実施形態による画像処理装置に用いるステレオカメラの検出原理の説明図である。 本発明の他の実施形態による画像処理装置における画像後処理領域決定部の処理内容の説明図である。

符号の説明

１…車載カメラユニット
２…コントロールユニット
３…車載システム
４，４ａ，４ｂ…車載カメラ
６…ＣＰＵ
７…ＲＯＭ
９…ＲＡＭ
１１…ＲＡＭ
１２…ＣＰＵ
１３…ＲＯＭ
１５…ディスプレイ
１９…スピーカー
２９…画像処理精度推定部
３０…画像後処理領域決定部
３１…画像処理部
３２…画像後処理部
３３…制御・警報決定処理部
３４…制御・警報処理部

Claims (7)

1. 撮像手段と、
   該撮像手段によって撮影される検出対象の距離の測定精度が許容値以下となる物体サイズを算出して、画像処理精度を推定する画像処理精度推定部と、
   該画像処理精度推定部によって推定された画像の処理精度に応じて検出対象の検出領域の内の一部の領域を、画像後処理を実施する画像後処理領域として決定し、決定した処理領域を格子状に分割する画像後処理領域決定部と、
   前記撮像手段によって撮像した画像を処理して認識対象を検出する画像処理部と、
   前記画像後処理領域決定部により決定された格子状の領域内の格子毎に、前記画像処理部により堅守された認識対象が存在するか否かの確率を算出し、検出対象の有無を判定する画像後処理部とを備えることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記画像後処理領域決定部は、前記画像処理精度推定部が推定した距離測定の誤差が許容誤差よりも大きくなる領域を、前記画像後処理領域とすることを特徴とする画像処理装置。
3. 請求項１記載の画像処理装置において、
   前記画像後処理領域決定部は、前記画像処理精度推定部が推定した検知対象の撮像画像上でのサイズが所定の値よりも小さくなる領域を処理領域とすることを特徴とする画像処理装置。
4. 請求項１記載の画像処理装置において、
   前記画像後処理領域決定部は、画像処理精度に基いて、遠方程小さくなるような画像後処理領域内の分解能を決定し、該分解能に基づいて、前記画像後処理領域を格子状に分割することを特徴とする画像処理装置。
5. 請求項１記載の画像処理装置において、
   前記画像後処理部は、確率統計処理により、前記存在確率を算出することを特徴とする画像処理装置。
6. 請求項５記載の画像処理装置において、
   前記画像後処理部は、認識対象の認識結果に、物体が存在する確率や分散といった確率統計値を付加して出力することを特徴とする画像処理装置。
7. さらに、前記画像後処理部が出力する認識対象の認識結果及び、物体に関する確率統計値とに基づいて、制御や警報の内容を決定するコントロールユニットを備えることを特徴とする画像処理装置。

Images