JP2015195018A - 画像処理装置、画像処理方法、運転支援システム、プログラム - Google Patents

Abstract

【課題】撮像手段が検出対象の撮像を開始した時から、車載装置が作動するまでの時間を短縮可能な画像処理装置を提供すること。【解決手段】撮像手段１１により撮像した画像から物体領域を抽出する物体領域抽出手段４４と、前記撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得手段４７と、前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を抽出するための予測領域情報を作成する情報作成手段４６と、を有することを特徴とする。【選択図】図２

Description

本発明は、画像から物体を認識する画像処理装置等に関する。

車載されたカメラが撮像した画像の解析結果を利用した各種の運転支援が知られている。例えば、画像処理装置が画像から前方の車両や歩行者などの物体を認識し、自車両が物体に対し異常接近するおそれがあることを車載装置がドライバーに警告したり、ブレーキを制御して被害を軽減したりすることが可能である。また、例えば、車道に飛び出してくる歩行者を認識して、ドライバーに注意喚起することもできる。

このような画像解析には、高精度な物体の認識技術が必要である。そこで、カメラ以外のセンサを利用して対象物の認識を補助することが考えられる（例えば、特許文献１参照。）。特許文献１には、ステレオカメラの画像情報とレーザーやミリ波等のレーダ情報とを基に前方に存在する先行車両を認識する先行車両検出装置が開示されている。

ところで、カメラが撮像した画像（単眼カメラ、ステレオカメラ）から画像処理装置が車両や歩行者などの物体を認識するためには、物体が撮像され始めてから（カメラの画角に入り始めてから）車両又は歩行者であると判断されるまでに多くの時間がかかる。例えば、普通乗用車では、数十ミリ秒から百数十ミリ秒（フレーム数にして数フレーム）、大型トラックでは車体が長い分、数百ミリ秒（フレーム数にして十数フレーム）必要となる。これらの時間は画像処理装置の性能などで異なるが、車載装置が余裕を持って運転支援を行うには時間がかかりすぎるという問題がある。

例えば、自車両の直前に物体が割り込んできた場合、カメラが物体の撮像を開始した時刻から、車載装置が作動する（自動ブレーキ、自動ハンドル回避など）までの時間の方が、自車両と物体が異常接近するまでの時間よりも長いことは好ましくない。

しかしながら、特許文献１を含め従来の技術では、ステレオカメラで撮像された先行車両とレーザー投光ユニットで検出した先行車両の水平位置と距離が等しい場合に先行車両が同一のものであると判断するにすぎない。このため、カメラ以外のセンサを利用しても、カメラが物体の撮像を開始した時刻から、車載装置が作動するまでの時間を短縮することも困難である。

本発明は、撮像手段が物体の撮像を開始した時から、車載装置が作動するまでの時間を短縮可能な画像処理装置を提供することを目的とする。

上記課題に鑑み、本発明は、撮像手段により撮像した画像から物体領域を抽出する物体領域抽出手段と、前記撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得手段と、前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を認識するための予測領域情報を作成する情報作成手段と、を有することを特徴とする。

撮像手段が検出対象の撮像を開始した時から、車載装置が作動するまでの時間を短縮可能な画像処理装置を提供することができる。

従来の画像処理装置による物体の認識の不都合について説明する図の一例である。 本実施形態の画像処理装置による物体認識の概略を説明する図の一例である。 レーザーレーダー測距部とステレオカメラの車両への搭載例を示す図の一例である。 ステレオカメラの画角とレーザーレーダー測距部の照射範囲を模式的に説明する図の一例である。 運転支援システムの概略構成図の一例である。 レーザーレーダー測距部と画像処理装置の機能ブロック図の一例を示す。 視差演算部による視差の演算について説明する図の一例である。 認識処理部による物体の認識について説明する図の一例。 レーザーレーダー測距部による物体情報について説明する図の一例である。 時系列な物体情報を模式的に示す図の一例である。 路面領域の検出について説明する図の一例である。 物体がある場合の視差値のヒストグラムを説明する図の一例である。 視差画像のｘ座標と視差ヒストグラムの対応を模式的に説明する図の一例である。 歩行者Ａ、先行車両Ｂ、自転車Ｃが撮像されている場合に抽出される直線の一例を示す図である。 予測撮像範囲について説明する図の一例である。 距離Ｌと予測撮像範囲とが対応づけられた予測撮像範囲テーブルの一例を示す図である。 車両の移動速度と撮像時間の間隔に基づく予測撮像範囲の横幅について説明する図の一例である。 撮像が開始される時間について説明する図の一例である。 予測撮像範囲に対するクラスタリングについて説明する図の一例である。 後方から接近する物体のクラスタリングについて説明する図の一例である。 物体が右後方から接近する場合の直線ｆ（ｙ・ｄ）と直線ｇ（ｄ・ｘ）の一例である。 予測撮像範囲を利用した画像認識の一例を説明する図である。 認識処理部が物体を認識処理する手順を示すフローチャート図の一例である。 単眼カメラの場合のレーザーレーダー測距部と画像処理装置の機能ブロック図の一例である。 物体認識に必要な時間を測定した実験結果の一例を示す図である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

〔従来の画像処理装置の不都合について〕
図１は、従来の画像処理装置による物体の認識の不都合について説明する図の一例である。四角の枠内は撮像手段の撮像範囲（画角）であり、四角の枠外を他車両Ｂが前方に向かって走行している。また、図１では（ａ）＜（ｂ）＜（ｃ）＜（ｄ）の順に時間が経過している。

図１（ａ）では、画像処理装置はすでに他車両Ａを認識している。しかし、他車両Ｂは画像に映っていないので画像処理装置は認識を開始していない。

図１（ｂ）では、他車両Ｂの一部が撮像され始める。物体が画像に含まれるため画像処理装置は物体の認識を開始するが、この段階では車両であると認識することは困難である。

図１（ｃ）では、他車両Ｂの大部分が画像に撮像されているが、この段階では物体が車両であることが認識可能な状況になったにすぎず、画像処理装置はまだ車両であることを認識できない。

図１（ｄ）では、他車両Ｂが画像内に完全に撮像されてからさらに数フレーム（フレームとは１枚の画像をいう）分の時間が経過した状況である。この段階では、画像処理装置は他車両Ｂが車両であると認識できる。

しかしながら、図１（ｄ）の状態まで車両であることが認識されないのでは、車両であると認識されるまでの間に、車載装置が運転支援できない状況が生じてしまう。例えば、図１（ｂ）の状態の他車両Ｂが急に車線変更した場合に、自車両の車載装置が自動的にブレーキをかけたり、回避ハンドル操作を行うことは困難である。

そこで、本実施形態の画像処理装置は、撮像手段が他車両Ｂの撮像を開始するまでの間にレーザーレーダーにより検出された他車両Ｂの物体情報を利用して予測情報を作成し、他車両Ｂの撮像が開始されてから車両であると認識するまで時間を短縮する。

〔本実施形態の物体認識の概略〕
図２は、本実施形態の画像処理装置による物体認識の概略を説明する図の一例である。
図２（ａ）では、他車両Ｂは画像に映っていないので画像処理装置１００は他車両Ｂの認識を開始していない。しかし、レーザーレーダー測距部１２は撮像手段（後述するステレオカメラ）の画角の範囲外（撮像範囲外）を走査しており、他車両Ｂを検出している。検出することで、物体情報（距離、方位、相対速度、移動方向など）が得られる。なお、画角の範囲内にレーダ光を操作してもよい。

そこで、画像処理装置１００は、撮像手段が他車両Ｂの一部の撮像を開始した際に、物体を早期に認識するための予測情報を物体情報から作成する。予測情報は、例えば他車両Ｂが撮像される画像の範囲情報、撮像が開始されるまでの時間である。

図２（ｂ）では、他車両Ｂの一部が撮像され始める。画像処理装置１００は予測情報に基づき、他車両Ｂの一部が撮像された画像の範囲に対し認識を開始する。この範囲が予測情報に含まれ、物体が撮像されている可能性が高い範囲（後述する予測撮像範囲）として撮像開始前に作成されている。

したがって、画像処理装置１００はこの範囲に対して認識を行うことで、物体の認識が容易になる。また、他車両Ｂが一部しか撮像されないことや、他車両Ｂが画角に入ってくる方向が判明しているので、適切な方法で認識できる。また、撮像が開始される時刻も予測できるので、撮像が開始された画像から認識を開始できる。したがって、他車両Ｂの認識が完了するまでの時間を短縮することができる。

なお、本実施形態で用いる物体とは、運転支援を行うために検出される車両などの検出対象物を言うが、物体の検出過程では運転支援を行う対象物以外も物体として検出され得る。また、画像処理装置は、いわゆる全ての物体を検出するのではなく、運転支援を行うために適切な物体を検出するものである。したがって、物体とは検出対象又は検出対象物を意味している。

〔撮像手段とレーザーレーダーの配置例〕
図３は、レーザーレーダー測距部１２とステレオカメラ１１の車両への搭載例を示す図の一例である。車両の左右のバックミラー（ドアミラー）には、それぞれレーザーレーダー測距部１２が搭載されている。また、ルームミラーの車両前方側には、車両の前方を撮像するステレオカメラ１１が搭載されている。レーザーレーダー測距部１２を、車両の幅方向に離間して配置することで、前方だけでなく斜め前方や横方向の物体を検出することが容易になる。

なお、図示されるステレオカメラ１１の配置場所は一例であって、フロントグリルの内側やバンパ内に内蔵されていてもよい。また、ルーフの前方やボンネットに搭載されていてもよい。好適な配置場所を選択することで、認識対象の物体の撮像が容易になる。

同様に、レーザーレーダー測距部１２の配置場所も一例にすぎない。例えば、フロントグリルの内側やバンパ内に内蔵されていてもよい。また、ルーフの前方やボンネットに搭載されていてもよい。

レーザーレーダー測距部１２は左右に分離されている必要はなく、車両の幅方向の略中央に１つだけ配置されていてもよい。設置場所が少なくなることでコストを低減しやすくなる。また、３つ以上のレーザーレーダー測距部１２が配置されていてもよく、レーザーレーダー測距部１２の配置場所を増やすことで所望の方向の物体を検出しやすくなる。

また、ステレオカメラ１１とレーザーレーダー測距部１２の配置場所が同じ場合は、ステレオカメラ１１とレーザーレーダー測距部１２を１つの筐体に収容し、一体に車両に搭載してもよい。こうすることでステレオカメラ１１とレーザーレーダー測距部１２の間の配線長が短くなり搭載場所も一箇所でよいので設置が容易になる。

また、図では普通自動車が例になっているが、普通自動車でなく車高の高いバンやトラックなどでは、適切な搭載場所が適宜決定される。

図４は、ステレオカメラ１１の画角とレーザーレーダー測距部１２の照射範囲を模式的に説明する図の一例である。図４ではステレオカメラ１１の右カメラと左カメラのそれぞれが同じ画角で、車両の前方の所定範囲を撮像している。右カメラの画角と左カメラの画角の重複部の撮像範囲は、画像処理装置が視差を検出可能な範囲である。

また、右のバックミラーに配置されたレーザーレーダー測距部１２は、右カメラの画角よりも右側の所定範囲（例えば右斜め前方）を走査範囲とする。左のバックミラーに配置されたレーザーレーダー測距部１２は、左カメラの画角よりも左側の所定範囲（例えば左斜め前方）を走査範囲とする。なお、右のレーザーレーダー測距部１２の走査範囲は、右カメラ又は左カメラの画角と重複していてもよい。左のレーザーレーダー測距部１２の走査範囲は、右カメラ又は左カメラの画角と重複していてもよい。重複範囲では、右カメラ又は左カメラの少なくとも一方と、レーザー光とにより物体までの距離などの情報（距離情報など）を取得できる。

このように、左カメラと右カメラの画角の外側の物体を、レーザー光により検出可能とすることで、画像処理装置１００は、車や歩行者などの横切り、割り込み、追い越しなどを事前に検知することができる。

〔構成例〕
図５は、運転支援システムの概略構成図の一例である。運転支援システム２００は、画像処理装置１００、ステレオカメラ１１、レーザーレーダー測距部１２、及び、ＥＣＵ（Electronic Control Unit：電子制御ユニット）１３を有している。

ＥＣＵ１３は、画像処理装置１００が出力する物体情報を用いて各種の運転支援を行う。運転支援は車両によって様々であるが、例えば、対象物の横位置が自車両の車幅と重なる場合、距離と相対速度から算出されるＴＴＣ(Time To Collision)に応じて警報や制動などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向にステアリングを操舵する。

また、ＥＣＵ１３は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら自車両も停車させ、先行車が発進したら自車両も発進する。また、画像処理装置１００が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御を行うことができる。

また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警報することで被害を軽減する。

なお、図５の構成は一例にすぎず、ステレオカメラ１１と画像処理装置１００が一体に構成されていてもよい。また、ＥＣＵ１３が画像処理装置１００の機能を有していてもよい。

画像処理装置１００は、一般的な情報処理装置（コンピュータ）としての構成と、ステレオカメラ１１が撮像した画像を処理するための構成とを備えている。画像処理装置１００は、バスに接続されたＣＰＵ２１、ＲＯＭ Ｉ／Ｆ２２、ＲＡＭ Ｉ／Ｆ２４、コントローラ２６、メモリカードＩ／Ｆ２７、処理回路２８、撮像部制御用Ｉ／Ｆ２９、及び、ＣＡＮ Ｉ／Ｆ３０を有している。

ＲＯＭ Ｉ／Ｆ２２はＣＰＵ２１からの指示によりＲＯＭ２３からプログラム９などを読み出す。ＲＡＭ Ｉ／Ｆ２４はＣＰＵ２１からの指示によりＲＡＭ２５からプログラム９などを読み出し、ＲＡＭ２５にデータを書き込む。ＲＯＭ２３に記憶されているプログラム９は、物体の認識を行ったり予測情報を作成する処理を行うためのプログラムである。プログラム９は、メモリカード１０に記憶された状態で配布されてもよいし、不図示のサーバから携帯電話網や無線ＬＡＮ網などの通信網を経由してダウンロードされることで配布されてもよい。ＲＡＭ２５は、ＣＰＵ２１がプログラム９を実行する際のワークエリア（プログラムやデータが一時的に記憶される）として使用される。

コントローラ２６は、割り込み、タイマーなどを制御する。コントローラ２６は、例えばタイマーで定期的にステレオカメラ１１から画像を取得したり、ステレオカメラ１１から画像を取得した場合にＣＰＵ２１に割り込みしたりする。

メモリカードＩ／Ｆ２７は、ＣＰＵ２１からの指示によりメモリカード１０からデータを読み出し、また、メモリカード１０にデータを書き込む。

処理回路２８は、ステレオカメラ１１が撮像した画像を処理する。具体的には、後述するガンマ補正、歪み補正、偏光処理などを行う。

撮像部制御用Ｉ／Ｆ２９は、ステレオカメラ１１に制御信号を出力するインタフェースである。例えば、ステレオカメラ１１の露出、ホワイトバランスなどを制御する。

ＣＡＮ Ｉ／Ｆ３０は、車載ＬＡＮの規格であるＣＡＮ(Controller Area Network)プロトコルに基づく通信を行う通信装置である。ＣＡＮでなく、イーサネット（登録商標）、ＦｒｅｘＬａｙ、ＭＯＳＴ、ＬＩＮ（Local Interconnect Network）などの通信規格で通信してもよい。ＣＡＮ Ｉ／Ｆにはレーザーレーダー測距部１２とＥＣＵ１３が接続されている。

図６は、レーザーレーダー測距部１２と画像処理装置１００の機能ブロック図の一例を示す。レーザーレーダー測距部１２は、投光系として、発光制御部３５、ＬＤドライバ３４、ＬＤ３３、光スキャナ３２、及び、投射レンズ３１を有している。ＬＤ３３は、パルス状のレーザー光を出射する半導体レーザダイオード（ＬＤ：laser diode）である。ＬＤ３３からの光は、光スキャナ３２により照射方向が変更され投射レンズ３１を通過する。投射レンズ３１は、光スキャナ３２を通過したレーザー光を集光する。なお、レーザー光は、主に半導体レーザーが用いられるが、固体レーザー、ガスレーザー、色素レーザーなど発光原理はどのようなものでもよい。また、レーザー光は指向性、収束性の良好な電磁波の一種である。安全性を考慮すると、赤外線波長帯のレーザー光を使用するのが好ましい。

ＬＤ３３は、ＬＤドライバ３４を介して発光制御部３５と接続されており、発光制御部３５からのＬＤ駆動信号により定期的に又は連続してレーザー光を出射する。ＬＤドライバ３４はＬＤ３３を発光させる例えばパルス信号を作成する。ＬＤ駆動信号は時間計測部３９に入力される。

光スキャナ３２は、所定の固定周期でＬＤ３３から出射されたレーザー光を水平方向に繰り返し走査する。光スキャナ３２におけるレーザー光の走査角は不図示の走査角モニタによって検出されている。実際の走査角を監視することで、レーザーレーダー測距部１２が、光スキャナの走査角度及び走査周波数を制御することができる。
レーザーレーダー測距部１２は、受光系として、受光レンズ３６、ＰＤ（Photo Diodo）３７、ＰＤドライバ３８、及び、時間計測部３９、を有している。レーザー光が当たった物体又は物体においてレーザー光が当たった位置が特許請求の範囲の反射位置である。車両前方の物体から反射されたレーザー光は受光レンズ３６を介してＰＤ３７に入射される。ＰＤ３７は反射光における光強度に対応する電圧値の電気信号を出力する。 ＰＤ３７より出力された電気信号は、ＰＤドライバ３８に出力され電気信号が閾値以上の場合に、受光信号を時間計測部３９に出力する。
時間計測部３９は、発光制御部３５からＬＤドライバ３４へ出力されるＬＤ駆動信号が出力されてから受光信号が発生するまでの時間、即ち、レーザー光を出射した時刻と、反射光を受光した時刻の時間差を測定する。反射光は特許請求の範囲の反射波の一例である。

物体情報出力部４０は、物体情報（距離、方位、相対速度、移動方向など）を画像処理装置１００に出力する。まず、物体までの距離は、時間計測部３９が計測した時間差により算出することができる。物体の方位（方位情報）は、レーザー光の照射方向に応じて決定することができる。また、物体と自車の相対速度は、同じ物体の距離を時系列に監視することで算出できる。さらに、距離と方位から物体の三次元座標（例えば、自車両の先端部かつ車幅方向の中央を原点とする座標系の物体の座標）を算出できるので、座標を時系列に監視することで移動方向を決定できる。

なお、光スキャナ３２としては、ポリゴンミラーやガルバノミラー等を用いたものがある。また、本実施形態では路面に水平にレーザー光を走査できればよいが、垂直方向においてもレーザー光を走査することができる。上下方向の走査を可能とすることで、レーザー光による走査範囲を拡大でき、路面を検出することで物体の認識精度を向上できる。

上下方向の走査を可能とする手段としては、走査方向が９０°異なるミラー等の走査デバイスを光スキャナに直列に接続し、水平方向にレーザー光を走査した直後に垂直方向のレーザー走査を行なう構造がある。

また、垂直方向に複数のポリゴンミラーを積層し、上下方向に並んで配置された複数のレーザー光を水平に走査してもよい。より簡便に複数ライン走査を達成するために、回転ポリゴンミラーの光軸に対して反射面に倒れ角を設け、複数の反射面に対して互いに倒れ角が異なるように形成した構造のものがある。

続いて、ステレオカメラ１１について説明する。ステレオカメラ１１は、同期されたステレオ画像（同時刻に撮像された左画像と右画像）を撮像して画像処理装置１００に出力する。なお、本実施形態では、ステレオカメラにより距離を取得可能であり距離画像を撮像するが、画素の一部を距離検出に用いる単眼のTOFカメラ、カメラが動いているという前提で複数のフレームを比較して視差を算出する単眼カメラなどでもよい。単眼カメラでは基線長を合わせるキャリブレーションなどが不要になるのでコストを抑制できる。

また、ステレオカメラ１１はカラー撮像が可能であってもよい。この場合、ＲＧＢのいずれかの画像が用いられるか又は画素値が輝度値に変換されてから、路面検出や物体認識が行われる。また、ステレオカメラ１１は偏光フィルタを介して撮像してもよい。偏光フィルタを介することで、肉眼では目視が困難な映像が得られ、路面検出や物体認識の精度が向上する。

画像処理装置１００は、右画像と左画像のそれぞれに対応して前処理部４１，４２を有している。前処理部４１，４２は、ガンマ補正、歪み補正、偏光処理などを行う。この他、ＲＧＢ→ＹＣｒＣｂ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。

続いて、図７を用いて視差の演算について説明する。図７は、視差演算部４３による視差の演算について説明する図の一例である。被写体Ｓ上の点Ｏの像は、左右のレンズを通過して焦点距離ｆにある画像素子に結像する。レンズから被写体Ｓまでの距離をＺ、左右のレンズの中心間の距離（基線長）をＤとする。また、左右の画像における結像位置がレンズの中心からそれぞれΔ１とΔ２であるとする。したがって、点Ｏの視差はΔ＝Δ１＋Δ２である。

このような視差は、左右の画像の同じ部分をブロックマッチングすることで算出される。すなわち、左画像又は右画像のどちらかを基準画像とする。例えば、左画像を基準画像にした場合、着目画素を中心とするブロックに左の画像を分割し、同じ位置の右の画像のブロックとの画素毎の輝度値の差の合計を算出する。右の画像でブロックを水平方向に１画素ずつずらしながら、画素毎の輝度値の差の合計の算出を繰り返し行う。左右の画像のブロック同士の輝度値の差の合計が一番少ない時の、ブロックの移動量が視差に相当する。例えば、左画像の（ｘ、ｙ）を中心とするブロックと、右画像の（ｘ＋Δ、ｙ）を中心とするブロックの輝度値の差の合計が最小だった場合、視差はΔである。

ブロックのサイズは任意であるが、画像サイズが１２８０×９６０画素の場合、ブロックのサイズは例えば５×５サイズとする。なお、ブロックサイズの最適値は実験的に調整、設定される。

また、視差をΔとした場合、距離Ｚは以下のように表される。
Ｚ = Ｄ・ｆ／Δ
得られた視差画像は、画像処理装置１００のＲＡＭ２５などに記憶される。また、モノクロ画像、カラー画像（ＲＧＢのいずれか1つ以上）、又は、偏光画像の少なくとも１つが認識処理部４４に出力される（以下、輝度画像という）。輝度画像から物体認識処理が行われ、視差画像から物体までの距離が算出されるため、視差画像と同時刻に撮像された輝度画像とがセットにされてＲＡＭ２５などに記憶される。

認識処理部４４は物体の認識を行い、認識結果として物体情報を出力する。レーザーレーダー測距部１２のみが検出した物体について、その物体の認識結果はレーザーレーダー測距部１２による物体情報である。画像には撮像されているがレーザー光で検出されていない物体の認識結果は、認識処理部４４により認識された物体情報として出力される。また、画像に撮像され、かつ、レーザーレーダー測距部１２にも検出されているものは、信頼性の高い認識結果が採用される。このような処理をセンサフュージョンという。

認識処理部４４は予測情報作成部４５を有している。予測情報作成部４５は物体情報から予測情報を作成する。予測情報は予測領域情報の一例である。詳細は後述する。

＜物体認識について＞
図８を用いて、認識処理部４４による物体の認識について説明する。図８（ａ）は、視差画像の一例を模式的に示す図である。図８（ａ）には、歩行者Ａ，先行車両Ｂ、自転車Ｃが撮像されている。認識処理部４４は、主にクラスタリングとベリフィケーションという処理を経て物体を認識する。

クラスタリングとは、ほぼ同じ視差の画素範囲を１つの矩形領域（その他の形状でもよい）として抽出する処理である。物体が撮像されている場合、視差画像では物体が撮像されている範囲の視差値がほぼ同じになる。認識処理部４４は、後述する視差値のヒストグラムの作成によりおよその物体の位置を把握することで、クラスタリングを行う。

およその物体の位置Ｏが分かると、認識処理部４４はその位置Ｏから視差値が同じ画素を探索する。具体的には隣接した画素の視差値の差が閾値以下の場合、１つの物体が撮像されている範囲と推定する。隣接した画素同士の視差値の差が閾値以下の画素についてこの判定を繰り返すことで、１つの物体が撮像されている範囲をクラスタリングすることができる。同じ視差値の画素の上下左右の最端の画素を結ぶことで矩形領域が得られる。

図８（ｂ）はクラスタリングされた物体を示す図の一例である。歩行者Ａ、先行車両Ｂ、及び、自転車Ｃを囲む矩形がクラスタリングされた範囲である。認識処理部４４は、クラスタリングされた領域の座標を決定する。座標は、例えば、視差画像の左上頂点を原点（０，０）、水平方向をＸ軸、上下方向をＹ軸として表す。

続いて、ベリフィケーションについて説明する。ベリフィケーションとは、クラスタリングされた領域を、歩行者、車、自転車などの具体的な物体に特定することをいう。また、認識すべき物体でないと判定することもベリフィケーションである。ベリフィケーションが行われた矩形領域が特許請求の範囲の物体領域の一例である。

ベリフィケーションは、以下のように、物体の認識に好適な様々なパラメータ（項目）を用いた判断結果に基づき行われる。
・矩形領域の縦横比
・路面からの高さ（路面から矩形の底辺までの距離）
・パターン認識などの画像認識処理による認識結果
・移動速度
これらは全ての物体について共通に行われるとは限らず、車両、歩行者、自転車などによって使用されないパラメータがあってもよい。

縦横比による判断では、例えば縦＞横の場合、歩行者と判断され、縦＜横の場合、車両と判断される。また、自転車については、縦横比の時間的な変化などから判別される（歩行者に比べて変化が小さい）。

路面からの高さによる判断では、例えば、路面上に存在する矩形領域であれば、車両又は自転車であると判断される。路面上に存在しない矩形領域であれば、例えば歩行者であると判断される。

パターン認識などの画像認識処理による判断では、例えば、特徴量を用いた画像認識により特徴量が類似しているか否かを判断し、車両、歩行者、又は、自転車などが判別される。特徴量としては、Haar-like特徴量やＨＯＧ（Histograms of Oriented Gradients）特徴量が知られている。本実施形態ではどちらを使用してもよく、また、組み合わせて使用してもよい。

いずれの特徴量の場合も、認識処理部４４は、事前に物体の学習データを用いて、認識用辞書を作成する。すなわち、予め、車、歩行者、自転車等が撮像されている種々のサイズの画像データ（以下、正教師データという）を用意しておく。また、同じサイズの車や歩行者が撮像されていない画像データ（以下、負教師データという）を用意しておく。これらと識別用の特徴量（識別器）との比較結果から、各識別用の特徴量の重みづけを決定する。

式（１）においてαtは識別用の特徴量の重みづけを、ｈt(x)は識別用の特徴量を、Ｔは識別用の特徴量の数をそれぞれ意味する。αtが学習データにより学習されているので、クラスタリングされた矩形領域に車や歩行者が含まれている場合、式（１）の算出結果は大きくなる。よって、式（１）による算出結果が閾値以上の場合、車、歩行者、又は、自転車（検出対象の物体）であると判断される。

移動速度による判断では、例えば後述するＸ方向の移動速度が閾値以上であれば車両又は自転車と判断し、そうでない場合は歩行者と判断する。また、物体情報として自車両に対する相対速度が算出されることを利用して、自車両の速度を考慮して物体の路面に対する速度を推定してもよい。この場合、路面に対する速度から車両若しくは自転車か、歩行者かを判断できる。

認識処理部４４は、以上のようなパラメータの１つ以上を組み合わせてベリフィケーションを行い、クラスタリングされた物体が何かを判断する。そして、運転支援を行うべき対象である場合は、物体情報を時系列に監視する。

〔物体情報〕
図９は、レーザーレーダー測距部１２が検出する物体情報について説明する図の一例である。図９（ａ）は上面図を、図９（ｂ）は側面図をそれぞれ示している。図９の座標では、自車両の先端部かつ車幅方向の中央を原点として、車幅方向をＸ軸（右向き正）、進行方向をＺ軸、高さ方向をＹ軸（上方向が正）としている。また、レーザーレーダー測距部１２の取り付け位置を車幅方向の中央からＰ、先端からＱとしている。

物体が検出された時の水平方向の方位をθ、距離をＬとすると、物体のＸ座標、Ｚ座標は以下の用に決定できる。
（Ｘ，Ｚ）＝（−Ｐ−Ｌsinθ，Ｌcosθ-Ｑ）
また、レーザーレーダー測距部１２が上下方向に走査しない場合、物体のＹ座標はゼロ（レーザーレーダー測距部１２が取り付けられた地上からの高さ）でよい。仮に、図９（ｂ）に示すように、レーザーレーダー測距部１２が上下方向に走査する場合、物体が検出された時の仰角をα、距離をＬとすると、物体のＹ座標は以下のように決定できる。したがって、三次元座標（Ｘ，Ｙ，Ｚ）を容易に求めることができる。
Ｙ＝Ｌsinα
認識処理部４４は、時系列に座標（Ｘ，Ｙ，Ｚ）を監視し、距離の変化が閾値内で繰り返し検出される座標の物体は、同一の物体の座標であると判断する。相対速度は、現在の走査で物体が検出された場合の距離Ｌと次回の走査で物体が検出された場合の距離Ｌとの差、及び、走査の時間間隔とから算出される。また、移動方向は、ある時刻の座標と次の走査時の座標とを結ぶベクトルで表される。移動方向は、自車両と物体に衝突する関係（接近方向か否か）があるか否かを判断するために用いられるので、接近方向か否かを移動方向としてもよい。すなわち、Ｚ座標が小さくなる傾向があり、かつ、Ｘ座標の絶対値が小さくなる傾向がある場合（接触する範囲のＸ座標であれば一定でもよい）接近方向であると判断される。

続いて、画像から求められる物体情報について説明する。物体までの距離Ｌが分かっている場合、画像上の物体の撮像位置と実空間の三次元座標には、以下の関係がある。
Ｘ＝ｘＬ／ｆ
Ｙ＝ｙＬ／ｆ
ここで、ｘ、ｙは例えば画像データの中心を原点とする座標系における画素の座標である。ｆは焦点距離である。距離Ｌは視差から算出されているので、この式によりＸ、Ｙが求められる。距離ＬとＸ（又は距離ＬとＹ）からＺも算出できる。ＸとＺから方位θも算出できる。

したがって、視差画像と輝度画像から、距離Ｌ、方位θ、Ｘ，Ｙ，Ｚを求めることができる。なお、クラスタリングにより、画像で認識される物体は矩形で認識されているので、認識処理部４４は少なくとも矩形の中心の距離Ｌ、方位、三次元座標などを使用し、必要に応じて矩形の対角頂点などの三次元座標を使用する。

また、認識処理部４４は、ベリフィケーションにより車両や歩行者などであると判断された場合、時系列に矩形領域を監視し、距離Ｌが同程度で矩形が重複する物体は同一の物体の矩形領域であると判断する。

相対速度は、現在の画像で算出された物体の距離Ｌと次回、撮像された画像で算出された物体の距離Ｌとの差、及び、撮像の時間間隔とから算出される。移動方向についてはレーザーレーダー測距部１２と同様である。

図１０は、時系列な物体情報を模式的に示す図の一例である。なお、レーザーレーダー測距部１２が出力する物体情報と、認識処理部４４が出力する物体情報の項目は同じである。図１０では、ベリフィケーションされた１つの物体の物体情報を時系列に示している。認識処理部４４は、同じ物体については過去の物体情報を参照できるので、クラスタリングを省略したり、ベリフィケーションのパラメータを簡略化することができ、初めて物体を認識する場合よりも早期にベリフィケーションを完了できる。

図１０の例では、時刻と共に、距離Ｌが短くなっている。相対速度は正の値で一定である。方位はゼロ°なので真正面の物体が相対的に接近している。また、座標はＺ軸方向の値のみが短くなっている。このため移動方向は「接近」と判断される。この物体情報は予測情報を作成するために使用される。

〔クラスタリングの前処理〕
図１１は、路面領域の検出について説明する図の一例である。説明のため、物体はないものとして説明する。図１１の左図は視差画像における路面領域を模式的に示し、図１１の右図は視差ヒストグラムを示している。視差ヒストグラムは、視差ｄと視差画像のｙ座標の二次元平面に視差画像の水平方向１ラインの視差ｄを打点したものである。路面領域は平坦なので路面領域のみの水平方向１ラインの視差ｄはほぼ一定である（図１１では視差ｄ１〜ｄ３で示した）。したがって、路面領域が存在する場合、水平方向１イランの視差ｄのヒストグラムはこの一定の視差ｄに集中する。例えば、視差ヒストグラムでは同じ水平方向１ラインの視差は視差ｄ１、ｄ２又はｄ３に集中する。

視差ｄは遠方に行くほど（ｙ座標が大きくなる方向）徐々に小さくなっていく。したがって、路面領域の視差ｄを上記二次元平面に打点すると、この打点は徐々に左上方向に移動する。

平坦な道路ではｙ座標と視差ｄに比例関係があるため、視差ヒストグラムの打点は直線に近似できる。したがって、複数の打点からほぼ直線とみなしてよい直線を検出できれば、視差画像において路面領域を検知できる。直線の検出は、例えばハフ変換などを用いて行う。

図１２（ａ）は、物体がある場合の視差値のヒストグラムを説明する図の一例である。路面により直線状に視差が打点されるのは図１１と同じだが、物体の視差による打点が直線状に現れる。物体がある範囲はほぼ一定の視差ｄ０を有するので、物体が存在するｙ座標の範囲では物体の視差ｄ０に直線状に打点される。したがって、視差ｄ０の複数の打点は、ｙ座標に平行な直線に近似できる。また、物体は必ず路面領域よりも自車位置に近いので（視差が大きいので）、物体の視差ｄ０による直線は路面の直線よりも右側に生じる。

図１２（ｂ）は、歩行者Ａ、先行車両Ｂ、自転車Ｃが撮像されている場合に抽出される直線の一例を示す図である。物体が存在する視差ｄ（図ではｄＡ、ｄＢ、ｄＣ）では、ｙ方向に平行に打点が集中することが分かる。換言すると、ｙ方向に平行な直線に近似できた場合、直線があるｙ座標の範囲には物体が存在する可能性がある。以下、この直線を直線ｆ（ｙ・ｄ）と称す。

次に、図１３に基づき、ｘ座標と視差ｄの関係について説明する。図１３の上図は視差画像を、下図は視差ヒストグラムをそれぞれ示す。図１３は、視差画像のｘ座標と視差ヒストグラムの対応を模式的に説明する図の一例である。図１３の視差ヒストグラムは、視差画像の垂直方向１ライン分の視差ｄのヒストグラムである。路面領域は、視差画像の高さ方向に徐々に変化するので、路面領域だけしかない垂直方向１ラインの視差ｄは集中して現れない。

これに対し、物体が存在するｘ座標の範囲は、ほぼ一定の視差ｄを有するので、物体が存在するｘ座標の範囲では物体の視差ｄに同じ視差ｄが打点される。したがって、複数の視差ｄの打点をｘ座標に平行な直線に近似できる。

図１４は、歩行者Ａ、先行車両Ｂ、自転車Ｃが撮像されている場合に抽出される直線の一例を示す図である。物体が存在する場所では、ｘ方向に平行に視差が打点され直線への近似が可能であることが分かる。換言すると、ｘ方向に平行な直線を検出できた場合、直線があるｘ座標の範囲には物体が存在する可能性がある。以下、この直線を直線ｇ（ｄ・ｘ）と称す。

図１４に示す、ｙ座標と視差ｄの関係とｘ座標と視差ｄの関係から明らかなように、同じ物体の視差ｄはｙ座標で見てもｘ座標で見ても同じである。例えば、自転車Ｃの直線ｆ（ｙ・ｄ）と直線ｇ（ｄ・ｘ）の視差ｄｃはほぼ同じである。したがって、視差ｄｃで、直線ｆ（ｙ・ｄ）と直線ｇ（ｄ・ｘ）を対応づけることで、視差画像で１つの物体が撮像されている範囲を特定できる。そしてこの範囲には物体（例えば自転車Ｃ）が存在する可能性が高いので、クラスタリングする始点Ｏ（図８（ａ））として決定できる。すなわち、路面よりも距離が近い画素領域に対し物体が存在する候補となる範囲（候補範囲）を検出できる。

以上から、認識処理部４４は、視差画像から直線の検出処理を行い直線ｆ（ｙ・ｄ）と直線ｇ（ｄ・ｘ）を検出することで、物体が存在する可能性が高い範囲を特定でき、効率的にクラスタリングを開始できる。

〔予測情報〕
続いて、予測情報について説明する。認識処理部４４としては、物体が画像のどの位置に撮像されるか（以下、予測撮像範囲という。予測撮像範囲は推定撮像範囲の一例である。）、及び、いつ撮像が開始されるかが分かることで、ベリフィケーションまでの時間を短縮できる。

図１５は、予測撮像範囲について説明する図の一例である。ステレオカメラ１１の画角の範囲外に物体（車両Ａ，Ｂ）が検出されている。ステレオカメラ１１が撮像する画像では、路面などの撮像から明らかなように遠方の物体ほど、画像内の高い位置に撮像される。したがって、図１５の２つの車両Ａ，Ｂのうち、近い方の車両Ａは画像の下の方に撮像され、遠い方の車両Ｂは画像の上の方に撮像される。実際の物体までの距離と、画像内の高さの関係は、画像処理装置１００のメーカなどが予め実験的に定めておき、予測撮像範囲テーブルとして作成しておく。

図１６は、距離Ｌと予測撮像範囲とが対応づけられた予測撮像範囲テーブルの一例を示す図である。距離Ｌに対応づけて予測撮像範囲がピクセル数で対応づけられている。図１６のa〜hはピクセルを示しており、例えば距離Ｌが「０〜２」〔ｍ〕の場合、画像下部を基準にａ番目のピクセルからｂ番目のピクセルまでの範囲が予測画像位置であることを意味している。a〜hには、a＜b＜c＜d＜e＜f＜g＜hの関係がある。

また、同じ物体であれば近くの物体ほど、占めるピクセル数が多いので、距離Ｌが短いほど予測撮像範囲のピクセル数が多くなっている。すなわち、a〜ｂ＞ｂ〜ｃ＞ｃ〜ｄ＞ｄ〜e＞e〜ｆ＞ｆ〜ｇ＞ｇ〜ｈである。

なお、好ましくは、物体の種類毎に予測撮像範囲テーブルが用意される。例えば歩行者と車両では高さが異なるためである。ベリフィケーション前なので物体の種類は不明だが、レーザーレーダー測距部１２が算出する移動速度や相対速度から物体の種類を推定することができる。

また、予測撮像範囲の横幅は、例えば、予め設定された固定値とする。固定値としては、上下方向のピクセル数（すなわち、a〜ｂ、ｂ〜ｃ、ｃ〜ｄ、ｄ〜e、e〜ｆ、ｆ〜ｇ、ｇ〜ｈ）を用いればよい。また、固定値としては、ベリフィケーションに最小限必要な横幅としてもよい。

また、予測撮像範囲の横幅は、車両の移動速度と撮像時間の間隔を考慮して決定されてもよい。図１７は、車両の移動速度と撮像時間の間隔に基づく予測撮像範囲の横幅について説明する図の一例である。物体情報には、三次元座標が含まれているので、時系列のＸ座標からＸ方向の移動速度Ｖｘを求めることができる。また、撮像時間間隔は既知（制御値）である。例えば、
Ｖｘ＝５０〔ｋｍ／ｈ〕≒１４〔ｍ／ｓ〕
撮像時間間隔＝０．０３３〔秒〕＝３０〔ｆｐｓ〕
とする。
この場合、画像が１枚撮像される間に、物体が約５０〔ｃｍ〕移動するため、５０〔ｃｍ〕程度を予測撮像範囲の横幅に決定する。

予測撮像範囲の横幅が分かることで、画像におけるピクセル数は以下のように求められる。上記のように、画像上の物体の撮像位置と実空間の三次元座標には、Ｘ＝ｘＬ／ｆの関係がある。ｘ、ｙは例えば画像データの中心を原点とする座標系における画素の座標であり、ｆは焦点距離、距離Ｌは視差から算出されている。したがって、Ｘ＝５０〔ｃｍ〕とした場合、距離Ｌと焦点距離ｆを用いてｘを求めることができる。したがって、物体のＸ座標が撮像範囲に接近した場合、Ｘ方向の移動速度に応じて横幅を決定できる。

なお、時間の経過と共に物体は画像の中央に近い領域で接近するので、予測情報作成部４５は、時間の経過と共にｘ方向の予測撮像範囲を徐々に大きくする。大きくする程度は物体のＸ方向の移動速度Ｖｘに基づき決定する。この予測撮像範囲を増大する処理は、物体の全部が撮像されるまで行えばよい。

続いて、予測情報のうち撮像が開始される時間について説明する。
図１８は、撮像が開始される時間について説明する図の一例である。物体のＸ座標とＺ座標はレーザーレーダー測距部１２によって検出されている。また、ステレオカメラの画角２βも既知である。これらにより、車幅方向の中心から撮像されている距離は「Ｚ・tanβ」となる。したがって、物体が画角内に到達するまでには「Ｘ−Ｚ・tanβ」の距離がある。

物体のＸ方向の移動速度をＶｘとすると、撮像が開始される時間は以下のようになる。
撮像が開始される時間＝（Ｘ−Ｚ・tanβ）／Ｖｘ
認識処理部４４は、予め、撮像が開始される時間を検知することで、どの画像から予測撮像範囲の物体認識を行うべきかを管理できる。例えば、画角に入る直前に画角にはいることを検知しても、物体の撮像が開始された画像から予測撮像範囲の物体認識を行うことが間に合わない可能性がある。本実施形態のように、撮像が開始される時間を予め検知することで、物体の撮像が開始された画像から予測撮像範囲の物体認識を行うことができる。したがって、早期のベリフィケーションが可能になる。

〔予測情報を用いた物体認識〕
予測撮像範囲が分かることで、認識処理部４４は予測撮像範囲に対しクラスタリングとベリフィケーションを行うことができる。

図１９は、予測撮像範囲に対するクラスタリングについて説明する図の一例である。上述したように、予測撮像範囲のｘ範囲とｙ範囲では直線が検出される可能性が高い。このため、認識処理部４４は、視差ヒストグラムから、予測撮像範囲のｘ範囲とｙ範囲に対しそれぞれ直線検出を行う。

そして、少なくとも一方で直線が抽出された場合に、クラスタリングを開始する。このように、予測撮像範囲から直線を検出することで直線検出が容易になるだけでなく、直線検出が予想される範囲ではｘ方向又はｙ方向の１本の直線だけでクラスタリングを開始するので、クラスタリングまでの時間を短縮できる。

また、さらに、直線の抽出の閾値を緩和することも有効である。認識処理部４４は、例えば、ｙ方向の直線の傾きとしてｙ方向だけでなく垂直方向に対し一定角度のずれを許容する（視差ヒストグラムの垂直方向に対する傾きが、時計回り又は反時計回りに一定角度以内であれば直線と見なす）。同様に、ｘ方向の直線の傾きとしてｘ方向だけでなく水平方向に対し一定角度のずれを許容する（視差ヒストグラムの水平方向に対する傾きが、時計回り又は反時計回りに一定角度以内であれば直線と見なす）。

また、直線の長さに対し、進入方向であるｘ方向について直線抽出されたと判定する閾値を緩和することが有効である。例えば、予測撮像範囲ではなく通常の画像認識ではＭ以上の長さの直線が検出されていることを条件とする場合、予測撮像範囲についてはＭ未満でも直線が抽出されたと判定する。例えば、予測撮像範囲の横幅の半分程度の長さの直線が抽出された場合、閾値Ｍに関係なく直線が抽出されたと判定する。こうすることでクラスタリングを開始するための条件を成立させやすくすることができる。

さらに、図２０に示すように、後方から接近する物体を早期に認識するため、垂直、水平以外の直線を抽出することが有効である。図２０は、後方から接近する物体のクラスタリングについて説明する図の一例である。図に一例として示しているように、物体の側面は、画像処理装置１００から斜めに見えており、図では車両の先端に近い方から車両の後端に近づくにつれて、距離が近くなっている。後方から接近する物体の場合、物体の側面が背面よりも先に撮像範囲にはいるため、物体が撮像されている範囲の視差が一定にならない場合がある。すなわち、ｙ座標が大きいほど視差が小さくなるので直線ｆ（ｙ・ｄ）は左斜め上方向の直線になる。ｘ座標が大きいほど視差が小さくなるので直線ｇ（ｄ・ｘ）は右斜め下方向の直線になる。どの程度の傾きとなるかは、実験的に確認することができる。

したがって、認識処理部４４は、予測撮像範囲のｘ範囲とｙ範囲に対しそれぞれ直線検出を行った際に、直線ｆ（ｙ・ｄ）が左斜め上方向の直線となるか又は直線ｇ（ｄ・ｘ）が右斜め下方向の直線となるかを判定する。そして、少なくとも一方で直線が抽出された場合に、クラスタリングを開始する。従来では、垂直な直線ｆ（ｙ・ｄ）と水平な直線ｇ（ｄ・ｘ）が検出されないとクラスタリングされなかったが、本実施形態では、予測撮像範囲では傾いた直線を検出してクラスタリングすることができる。したがって、背面が撮像されるまでにクラスタリングでき、物体の認識を早期に行うことができる。

図２１は、物体が右後方から接近する場合の直線ｆ（ｙ・ｄ）と直線ｇ（ｄ・ｘ）の一例である。右後方から物体が接近する場合、直線ｆ（ｙ・ｄ）が左斜め上方向の直線になるのは同じである。これに対し、直線ｇ（ｄ・ｘ）は、ｘ座標が小さくなるほど視差が小さくなるので左斜め下方向の直線になる。

したがって、認識処理部４４は、物体が左後方から接近するか（画像の左端に撮像されるか）右後方から接近するか（画像の右端に撮像されるか）により、検出すべき直線ｇ（ｄ・ｘ）の傾きを変更する。接近する方向は予測撮像範囲から明らかである。換言すると、予測撮像範囲に応じてクラスタリングのための判断基準を変更することで、一部しか撮像されない物体のクラスタリングが容易になる。

なお、クラスタリングされる領域は視差値に基づき決定されるため、予測撮像範囲とは必ずしも一致しないが、以下では説明のため、予測撮像範囲に対しベリフィケーションされるものとする。

続いて、予測撮像範囲のベリフィケーションについて説明する。予測撮像範囲は、物体の一部しか撮像されていないことが多いので、ベリフィケーションのパラメータの１つである矩形領域の縦横比は、判断に用いない。また、路面からの高さで判断すると、画角の外から接近する物体を物体でないと判断するおそれがあるので判断に用いない。

これに対し、パターン認識などによる画像認識処理では、認識処理部４４は予測撮像範囲の画像（物体の一部の画像）を認識可能な識別器を使用する。具体的には、予め、車、歩行者、自転車等の物体の一部が撮像されている正教師データと負教師データを用意しておき、識別用の特徴量の重みづけを決定する。物体の一部しか撮像されていないことを想定して識別器を切り替えることで、予測撮像範囲の物体のベリフィケーションの時間を短縮できる。

また、移動速度については、予測撮像範囲でない場合と同様に扱う。すなわち、Ｘ方向の移動速度が大きい物体は、車両又は自転車であると認識する。

このように、予測撮像範囲では、ベリフィケーションのためのパラメータを切り替えることで、車両の一部しか撮像されていない場合でもベリフィケーションが終了するまでの時間を短くできる。例えば、縦横比や路面からの高さはベリフィケーションに採用されず、パターン認識などによる画像認識処理と移動速度が採用されているので、結果的にこれら２つのパラメータの重みづけが増大する。したがって、例えば、パターン認識などによる画像認識処理では車両と認識できる程度の確度が得られなくても、Ｘ方向の移動速度が大きい物体について車両や自転車であると判別できる。したがって、予測撮像範囲以外の物体よりも早期に車両又は自転車であると認識できる。

〔予測撮像範囲を利用した画像認識の一例〕
図２２は、予測撮像範囲を利用した画像認識の一例を説明する図である。図２２（ａ）では、ステレオカメラの画角の範囲外に、レーザーレーダー測距部１２により物体（車両）が検出されている。レーザーレーダー測距部１２は、物体情報を取得し、認識処理部４４に出力している。予測情報作成部４５は物体情報に基づき予測情報を作成する。認識処理部４４は、予測情報によりいつから予測撮像範囲に対し物体の認識を開始すればよいかを把握できる。

図２２（ｂ）では、予測撮像範囲に物体の一部の撮像が開始されている。認識処理部４４は、予測撮像範囲のｘ領域とｙ領域に基づき視差ヒストグラムの視差の打点から直線を抽出する。これにより、物体の一部のみをクラスタリングすることができる。また、認識処理部４４はクラスタリングされた領域に対しベリフィケーションを行う。撮像されているのは一部でも、パターン認識などによる画像認識処理とＸ方向の移動速度によりベリフィケーションすることができる。

図２２（ｃ）では、物体のほぼ全てが撮像されている。この時点ではベリフィケーションが完了しているので、ＥＣＵ１３は物体情報に基づき運転支援を行うことができる。

図２２（ｄ）では、自車両の前方に物体が存在するが、すでにＥＣＵ１３が運転支援を開始しているため余裕を持って異常接近を回避できる。

〔動作手順〕
図２３は、認識処理部４４が物体を認識処理する手順を示すフローチャート図の一例である。

認識処理部４４は視差演算部４３から周期的に輝度画像を取得している（Ｓ１０）。輝度画像は、例えばモノクロ画像、カラー画像、偏光画像、視差画像等である。

認識処理部４４は、認識処理を開始する（Ｓ２０）。すなわち、視差画像からヒストグラムを作成し、直線を検出する処理などを行う。

また、認識処理部４４は、レーザーレーダー測距部１２から周期的に物体情報を取得する（Ｓ３０）。

認識処理部４４の予測情報作成部４５は、物体情報から予測情報を作成する（Ｓ４０）。予測情報は、予測撮像範囲、及び、撮像が開始されるまでの時間である。

次いで、認識処理部４４は、予測情報を用いてクラスタリングを行う（Ｓ５０）。これにより、物体の一部が含まれる矩形領域を検出できる。

認識処理部４４は、クラスタリングされた物体をベリフィケーションする（Ｓ６０）。これにより、物体の一部しか撮像されていなくても物体を車両、自転車、歩行者などに分類できる。また、物体までの距離、三次元座標、相対速度、移動方向などの物体情報を検出できる。

認識処理部４４は運転支援すべきか否かを判定する（Ｓ７０）。運転支援する場合とは、例えば物体の横位置が自車両の車幅と重複しており、かつ、ＴＴＣが閾値以下になった場合である。

運転支援する場合（Ｓ７０のＹｅｓ）、認識処理部４４はＥＣＵ１３に運転支援を要求する（Ｓ８０）。

これにより、ＥＣＵ１３は運転支援を行う（Ｓ９０）。したがって、画角の外から進入してくる物体に対し早期に運転支援を開始できる。

〔単眼カメラの場合〕
これまではステレオカメラ１１が画像を撮像するものとして説明したが、本実施形態の画像処理は単眼カメラが画像を撮像しても行うことができる。

図２４は、単眼カメラの場合のレーザーレーダー測距部１２と画像処理装置１００の機能ブロック図の一例を示す。なお、以下では主に図６と異なる部分について説明する。図２４の画像処理装置１００は視差演算部４３を有していないため、認識処理部４４は視差値のヒストグラムに基づく直線認識を行わない。したがって、クラスタリングも行わない。しかし、例えば白線認識などにより路面領域を検出できる。

一方、認識処理部４４はパターン認識などの画像認識処理により物体を認識できるので、画像から、車両、自転車、歩行者等を認識できる（ベリフィケーションできる）。しかしながら、クラスタリングが行われないので物体が存在する範囲を推定しておらず、ステレオ画像を利用してクラスタリングする場合よりもベリフィケーションの終了までに時間がかかる。

図２４の予測情報作成部４５も予測情報を作成するが、予測情報の作成には画像の視差値を使用していないので作成方法はステレオカメラ１１の場合と同じである。また、ベリフィケーションについては、パターン認識などによる画像認識処理とＸ方向の移動速度が用いられるので、単眼カメラの場合でも、認識処理部４４は予測撮像範囲の物体の一部をベリフィケーションすることができる。このように、本実施形態の画像処理は撮像手段が単眼カメラの場合でも適用できる。

図２５は、物体認識に必要な時間を測定した実験結果の一例を示す図である。なお、カメラの撮像時間間隔は３０ｆｐｓである。認識に必要な時間は、撮像時間間隔にも依存するので（単位時間当たりのフレーム数）、図２５の数値は一例である。

まず、本実施形態の予測情報を用いた場合を説明する。ステレオカメラが用いられ場合、輝度画像を取得してから約６６ミリ秒（２フレーム）でベリフィケーションが完了する。単眼カメラでは約１００秒（３フレーム）でベリフィケーションが完了する。

これに対し、予測情報を用いない場合は、ステレオカメラが用いられた場合でもベリフィケーションに約１６５秒（５フレーム）必要である。

したがって、予測情報を用いることで認識に必要な時間を約三分の一に短縮できる。また、単眼カメラの場合でも予測情報を用いない場合より、認識に必要な時間を約三分の二以下に短縮できる。

以上説明したように、本実施形態の画像処理装置１００は、撮像手段が撮像した画像とレーザーレーダーを組み合わせることで、画角の外から急に現れる物体の認識に必要な時間を短縮できる。

また、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、上記の実施形態では画像処理装置１００が予測情報を作成していたが、レーザーレーダー測距部など他の車載装置が予測情報を作成してもよい。また、携帯電話網などで接続された車外のサーバなどが予測情報を作成してもよい。

また、例えば、ステレオカメラは車両前方を撮像可能なように搭載されるが、前方だけでなく後方、後側方などを撮像可能なように搭載されてもよい。

また、画像処理装置１００が搭載される車両としては四輪の自動車の他、三輪車や車輪数が４つより多い大型のトラックなどでもよい。また、いわゆるオートバイと呼ばれる自動二輪車に搭載されてもよい。また、海上を走行するボートやヨットなどに搭載されていてもよい。

１１ ステレオカメラ
１２ レーザーレーダー測距部
１３ ＥＣＵ
４１，４２ 前処理部
４３ 視差演算部
４４ 認識処理部
４５ 予測情報作成部
１００ 画像処理装置
２００ 運転支援システム

特開２０１３‐２１５８０４号公報

Claims (13)

1. 撮像手段により撮像した画像から物体領域を抽出する物体領域抽出手段と、
   前記撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得手段と、
   前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を抽出するための予測領域情報を作成する情報作成手段と、
   を有することを特徴とする画像処理装置。
2. 前記物体領域抽出手段は、複数の項目の判断結果に基づき物体領域を検出するものであり、
   前記予測領域情報が作成された場合、前記物体領域抽出手段は、前記予測領域情報が作成されない場合よりも前記項目を少なくして物体領域を抽出する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記物体領域抽出手段は、予め定められたパターンと前記撮像手段が撮像した画像を画像処理して得られるパターンとを比較して、パターンが類似した場合に物体領域を抽出するものであり、
   前記予測領域情報が作成された場合、前記物体領域抽出手段は、前記予測領域情報が作成されない場合と異なるパターンを用いて物体領域を抽出する、
   ことを特徴とする請求項１又は２記載の画像処理装置。
4. 前記予測領域情報には、物体の一部が前記撮像手段の前記撮像範囲内に入った際の推定撮像範囲が含まれており、
   前記物体領域抽出手段は、前記推定撮像範囲に対し物体領域を抽出する画像処理を行う、ことを特徴とする請求項２又は３記載の画像処理装置。
5. 前記物体領域抽出手段は、前記距離情報取得手段が取得した物体領域の前記距離情報が遠方であるほど、前記撮像手段が撮像した画像の上方に前記推定撮像範囲を設定する、
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記情報作成手段は、前記距離情報取得手段が取得した物体領域の前記距離情報に含まれる方位情報と該距離情報により前記撮像範囲外の物体が前記撮像範囲内に到達するまでの距離を算出して、物体が前記撮像範囲内に入るまでの時間を算出し、
   前記物体領域抽出手段は、前記距離情報取得手段が前記距離情報を取得してから前記時間が経過した場合に、前記推定撮像範囲に対する物体領域を抽出する画像処理を開始する、ことを特徴とする請求項４又は５記載の画像処理装置。
7. 前記物体領域抽出手段は、前記距離情報を取得可能な前記撮像手段が撮像した距離画像を用いて路面領域を検出し、路面よりも距離が近い画素領域に対し、距離が同程度の候補範囲を検出して、該候補範囲に対し物体領域を抽出する処理を行うものであり、
   前記予測領域情報が作成された場合、前記推定撮像範囲に対し前記路面よりも距離が近い画素領域の前記候補範囲を検出して、該候補範囲に対し物体領域を抽出する画像処理を行う、ことを特徴とする請求項４〜６いずれか１項記載の画像処理装置。
8. 前記物体領域抽出手段は、前記推定撮像範囲に対し距離が同程度の領域があることで検出される直線の検出処理を施し、検出された前記直線の位置を用いて距離が同程度の前記候補範囲を検出して、該候補範囲に対し物体領域を抽出する画像処理を行う、
   ことを特徴とする請求項７記載の画像処理装置。
9. 前記物体領域抽出手段は、前記推定撮像範囲が、前記撮像手段が撮像した画像の右端の場合と左端の場合とで、異なる傾きの前記直線が得られるか否かを判定し、
   前記推定撮像範囲の左端に直線が検出された場合、左後方から接近する物体の物体領域を抽出する処理を行い、前記推定撮像範囲の右端に直線が検出された場合、右後方から接近する物体の物体領域を抽出する処理を行う、
   ことを特徴とする請求項８記載の画像処理装置。
10. 前記物体領域抽出手段は、前記候補範囲に対して少なくとも縦横比を用い、さらに前記候補範囲の路面からの高さ、パターン認識による画像認識処理又は移動速度の１つ以上に基づき、前記候補範囲に撮像されている物体領域を抽出するものであり、
    前記予測領域情報が作成された場合、前記縦横比と前記路面からの高さを用いることなく、前記候補範囲に撮像されている物体領域を抽出する、
    ことを特徴とする請求項７又は８記載の画像処理装置。
11. 撮像手段により撮像した画像を処理して運転支援を行う運転支援システムであって、
    撮像手段により撮像した画像から物体領域を抽出する物体領域抽出手段と、
    前記撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得手段と、
    前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を抽出するための予測領域情報を作成する情報作成手段と、
    物体領域の前記距離情報を用いて運転支援を行う運転支援手段と、
    を有することを特徴とする運転支援システム。
12. 物体領域抽出手段が、撮像手段により撮像した画像から物体領域を抽出するステップと、
    距離情報取得手段が、前記撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得するステップと、
    情報作成手段が、前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を抽出するための予測領域情報を作成するステップと、
    を有することを特徴とする画像処理方法。
13. コンピュータに、
    撮像手段により撮像した画像から物体領域を抽出する物体領域抽出ステップと、
    前記撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得ステップと、
    前記距離情報取得ステップにより取得された距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出ステップにおいて該物体の物体領域を抽出するための予測領域情報を作成する情報作成ステップと、
    を実行させるプログラム。

Images