JP2009169776A - 検出装置 - Google Patents

Abstract

【課題】
従来技術の、単なるレーダとカメラのセンサフュージョンだけでは、エーミングなどの調整が必要であり、部品点数も増大する。又、ステレオカメラを用いても、左右のカメラの光軸調整を高精度行う必要があるため製造コストが嵩む。更に、モーションステレオを用いても、２枚の映像が撮られた位置関係が正確でないと精度が低くなったり、基線長方向の物体は距離の計算がしづらかったりといった不具合があるため、車両前方を向けて設置された車載カメラで高速に走行している場合には適用が難しい。
【解決手段】
検出装置は、車両に搭載され画像を取得する撮像部と、撮像部から所定距離だけ離れた位置に存在する対象物を検出する検出部を備える。尚、撮像部は、単眼カメラであってもよい。又、所定距離は、固定されていてもよいし、車速に応じて変化してもよい。又、対象物を検出する所定距離を複数存在するようにしてもよい。
【選択図】図１

Description

本発明は、入力画像から対象物を抽出する検出装置に関する。

従来から、車載センサを用いて、自車進路付近に侵入してくる歩行者などの障害物を検出する手法が提案されてきた。一般に、レーザレーダ，ミリ波レーダ等の走査式レーダを用いて、自車前方の車両や歩行者のような対象物を検出する。ここで、検出された対象物がたとえば歩行者か否かを判定する場合、レーダとともに単眼カメラ，ステレオカメラ等の画像センサも併用してレーダとカメラとのセンサフュージョンを行う技術がある（特許文献１参照）。又、ステレオカメラを用いて撮像した同一物体の左右画像の視差に基づき距離を算出し、歩行者判定する技術がある（特許文献２参照）。更に、単眼カメラによるモーションステレオによって立体物を検出する技術がある（特許文献３）。

特開２００６−２８４２９３号公報 特開２００５−２２８１２７号公報 特開２００４−１９８２１１号公報

特許文献１によれば、レーダとカメラのセンサフュージョンでは、エーミングなどの調整が必要であり、部品点数も増大する、という課題がある。

特許文献２によれば、レーダとのエーミング作業は不要となるが、ステレオカメラにおける、左右のカメラの光軸調整を高精度行う必要があるため製造コストが嵩む、という課題がある。

特許文献３によれば、モーションステレオは２枚の映像が撮られた位置関係が正確でないと精度が低くなったり、基線長方向の物体は距離の計算がしづらかったりといった不具合があるため、車両前方を向けて設置された車載カメラで高速に走行している場合には適用が難しい、という課題がある。

そこで、本発明の目的は、単眼カメラのみを用いて計算コストの低い対象物検知技術を提供することにある。

上記課題を解決するため、本発明の望ましい態様の一つは次の通りである。

検出装置は、車両に搭載され画像を取得する撮像部と、撮像部から所定距離だけ離れた位置に存在する対象物を検出する検出部を備える。

本発明によれば、単眼カメラのみを用いて計算コストの低い対象物検知技術を提供することができる。

本実施例では、検出装置の検出対象が歩行者である場合について詳述する。

図１は、歩行者検出領域を上から見た図である。

車両１０２に搭載されたカメラ（撮像部）１０１の撮像範囲１０３の中で、画像処理によって歩行者を検出する範囲は、線状の歩行者検出範囲１０４の部分（撮像部１０１から所定距離だけ離れた位置）のみである。従来２次元だった検出範囲を１次元の線状に絞ることで計算コストを低く抑えることが出来る。ここで、所定距離とは、例えば３０ｍのように固定にしても良いし、車両１０２の速度に応じて変化させても良い。但し、探索範囲を所定距離のみに絞ると、画像内でそれ以外の距離に存在する歩行者を検出することが出来ない。

図２は、カメラ１０１で撮像された車両１０２の前方を示す図である。

図１の歩行者検出範囲１０４は、図２では歩行者検出範囲２０２に相当する。図２の例では歩行者２０４は検出できるが、それよりも近い歩行者２０３と遠い歩行者２０５は検出できない。しかし、歩行者検知処理は、例えば１００ｍｓ毎といった単位で周期的に何度も行われるため、車両１０２が前進することで、歩行者検出範囲１０４，２０２も前方に移動して、結果的に２次元探索をすることになる。例えば、図２の例では、車両１０２が前進することで歩行者２０５が近づいてきて、１次元の線状の範囲内に含まれることになる。

歩行者２０３のように歩行者検出範囲１０４，２０２の距離よりも近くで急に飛び出してきた場合は検知しにくいが、歩行者検出範囲１０４，２０２の距離を車両１０２の速度に応じて変化させたり、歩行者検出範囲１０４，２０２のそれぞれの幅を広げたりすることで防ぐことが出来る。例えば、車両１０２の速度が所定値より小さい場合は、歩行者検出範囲１０４，２０２と車両１０２の間に歩行者が入りやすくなるとして、歩行者検出範囲１０４と２０２の間の距離を小さくする。逆に車両１０２の速度が所定値より大きい場合は、遠方で検出しなければ手遅れになる可能性が高く、かつ飛び出しによって歩行者検出範囲１０４，２０２と車両１０２の間に歩行者が入る可能性が低くなるとして、歩行者検出範囲１０４，２０２の距離を大きくする。

通常、自動車の速度に比べて歩行者の移動速度は十分に小さいため、前記のように車両１０２が移動することで、時間差はあるが歩行者を検出することが出来る。それ以外の状態、歩行者の移動速度が車両以上である場合は歩行者を検出することが難しくなるが、このような場合には、歩行者の方から車両にぶつかってこない限り衝突しないため、検出できなくても不具合が発生することは少ない。

図３は、歩行者用プリクラッシュセーフティーシステムの構成例である。

プリクラッシュセーフティーシステムの構成は大きく分けて、歩行者検出部３０３と制御部３０５，実行部３０８の３つに分けることが出来る。このうち、検出装置は、歩行者検出部３０３に相当する。又、カメラ１０１は通常、撮像部３０１にのみ相当するが、画像処理部３０２もカメラ１０１に内蔵されてもよい。

図４は、歩行者検出部３０３の詳細の構成例である。

歩行者検出部３０３は、撮像部３０１と画像処理部３０２とから構成されている。撮像部３０１には撮像素子であるＣＣＤ４０１があり、車両１０２前方の風景を感光して、その電荷量をＡＤコンバータ４０２によって画像データをデジタル情報に変換する。変換された画像データはビデオ入力部４０５を経由して画像処理部３０２に取り込まれ、ＲＡＭ（Random Access Memory）４０６に一時的に記憶される。歩行者検出用のプログラムはＦＲＯＭ（不揮発性メモリ）４０３に保存されており、画像処理部３０２の起動時にＣＰＵ４０４からＲＡＭ４０６上に展開されて動作可能になっている。ＣＰＵ４０４は歩行者検出用プログラムに基づいて、ＲＡＭ４０６に一時記憶された車両前方の画像データの中から歩行者がいるか否かを判定する。歩行者の検出結果はＣＡＮ（Control Area Network）４０７を経由して制御内容決定部３０４に転送される。

制御部３０５内の制御内容決定部３０４では、ＣＡＮ４０７経由で転送されてきた歩行者検出結果によって、警報の種類あるいはブレーキの強度を決定し、実行部３０８に信号を送る。最終的には警報３０６やブレーキ３０７によって警報や制動制御がなされる。

ここで、通常プリクラッシュセーフティーシステムでは、歩行者のような障害物が近づいてきた場合、まず警報を鳴らしてその後衝突が避けられない場合に制動制御を行う。そのため歩行者を検出したい距離が警報３０６とブレーキ３０７で異なることが多い。そこで、図５のように、警報用の歩行者検出範囲５０１とブレーキ用の歩行者検出範囲５０２という具合に２つ用意しても良い。もちろん、図１のように歩行者検出範囲１０４を一つだけ用意して警報用の位置に設定しておき、後は推測でブレーキをかけることも可能であるが、ブレーキのような制動制御を行う場合には誤検出による誤作動をできるだけ減らしたいため、図５のような２重チェックの構成をとった方がシステムの信頼性が向上する。

単眼カメラを用いた歩行者検出の手法は数多く提案されているが、歩行者用のパターンマッチングの手法としてニューラルネットワークを用いることも出来る。歩行者は、形状や服装など様々であり、単純化したテンプレートとのマッチングだけでは性能を上げることが難しい。ニューラルネットワークは、脳機能に見られるいくつかの特性を計算機上のシミュレーションによって表現することを目指した数学モデルであり、画像など多次元量のデータでかつ線形分離不可能な問題に対して、比較的小さい計算量で良好な解を得られることが多い。

まず、歩行者を例えば２０×３０のサイズに正規化し、各画素を入力層として６００ノード，中間層３００ノード，出力層１ノードの３層ニューラルネットワークを構成させる。歩行者の画像データと歩行者以外の画像データを多数準備し、誤差逆伝播学習法により歩行者であれば出力層が１、歩行者以外であれば出力層が０になるように学習させる。学習とは、各ノードの結合重み係数を誤差逆伝播学習法によって決定することで、決定された結合重み係数群は、歩行者か否かを判定するテンプレートとなる。このテンプレートである結合重み係数群は歩行者検出用プログラムの一部として予めＦＲＯＭ４０３に保存されている。

このように通常パターンマッチングを行う場合には、歩行者の大きさをテンプレートのサイズ、ここでは２０×３０のサイズに正規化するために拡大縮小処理をすることが多い。ここで、歩行者検出範囲１０４，２０２の距離を例えば３０ｍに固定しておけば、テンプレートのサイズを最初から３０ｍの大きさに合わせることができるため、正規化の処理も不要となり計算コストの削減が可能となる。又、サイズを正規化する際に拡大縮小率が異なると画質も異なってくる。例えば、近距離の歩行者は歩行者２０３のように大きく写るため縮小率が大きく、遠い歩行者は縮小率が小さい。遠い歩行者は場合によっては拡大することもある。そのため、近い距離の歩行者は正規化後に空間周波数が高いくっきりした画質になりやすく、遠い距離の歩行者は正規化後に空間周波数が低いなまった画質になりやすい。パターンマッチングではこのような画質の差も性能に影響してくるため、出来るだけ一定である方が良い。そのため、パターンマッチングの内部処理のことを考えると、歩行者検出範囲１０４，２０２の距離を３０ｍのように固定しておいた方が望ましい。従って歩行者検出範囲１０４，２０２の距離を固定にするのか、速度によって可変にするのかは実現するアプリケーションによって決定する必要がある。

本実施例ではフロントビュー単眼カメラの歩行者検出に特化して記載したが、自車よりも低い速度の対象であれば原理的に検出可能であるので、自転車や、自車よりも速度の低い車両、停止車両などの検出にも応用することが出来る。更に、自車が停止していても検出対象が動いていれば検出できるため、図６のようなノーズビューカメラで用いられる魚眼レンズのカメラ６０１を用いて応用することも出来る。その場合、検出範囲６０３は円弧状となるが、原理的にはフロントビュー単眼カメラの実施例と同様に、左右から接近してくる車両や二輪車，歩行者などを検出することができる。

尚、本稿では、歩行者を検出する装置であるとして説明したが、検出する対象物は歩行者に限定されないことはいうまでもない。

歩行者検出領域を上から見た図。 カメラで撮像された車両前方を示す図。 歩行者用プリクラッシュセーフティーシステムの構成例。 歩行者検出部の詳細の構成例。 歩行者検出領域を上から見た図。 歩行者検出領域を上から見た図。

符号の説明

１０１ カメラ
１０２ 車両
１０３ 撮像範囲
１０４ 歩行者検出範囲

Claims (5)

1. 車両に搭載され画像を取得する撮像部と、
   前記撮像部から所定距離だけ離れた位置に存在する対象物を検出する検出部を備える、検出装置。
2. 前記撮像部は、単眼カメラである、請求項１記載の検出装置。
3. 前記所定距離は、固定される、請求項１又は２記載の検出装置。
4. 前記対象物を検出する前記所定距離は、前記車両速度に応じて変化する、請求項１又は２記載の検出装置。
5. 前記対象物を検出する前記所定の距離は複数存在する、請求項１又は２記載の検出装置
   。

Images