JP2021128470A

JP2021128470A - 画像処理装置

Info

Publication number: JP2021128470A
Application number: JP2020021886A
Authority: JP
Inventors: 琢馬大里; Takuma Osato; 健遠藤; Takeshi Endo; フェリペゴメズカバレロ; Gomezcaballero Felipe; 健永崎; Takeshi Nagasaki
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-02-12
Filing date: 2020-02-12
Publication date: 2021-09-02
Anticipated expiration: 2040-02-12
Also published as: WO2021161655A1; DE112020005046T5; JP7309630B2

Abstract

【課題】対象物体と車両間のＴＴＣを高精度に推定することのできる画像処理装置を提供する。
【解決手段】画像から物体を検知する物体検知部２４１と、前記物体を検知した画像領域を複数の部分領域に分離する領域分離部２４２と、前記分離した複数の部分領域から拡大率算出に用いる部分領域を選択する領域選択部２４３と、前記選択された部分領域を用いて算出した拡大率から、対象となる前記物体と衝突するまでの衝突予測時間（ＴＴＣ）を算出するＴＴＣ算出部２４４と、を備える。
【選択図】図２

Description

本発明は、画像処理装置に関する。

本技術分野の背景技術として、特許第５６８７７０２号公報（特許文献１）がある。該公報には、課題として「単一のカメラによる撮像画像に基づく、物体と車両間の距離の算出精度が低下することを抑制した車両周辺監視装置を提供すること」と記載され、解決手段として「車両に搭載された単一のカメラによる撮像画像に基づいて、該撮像画像から抽出した画像部分に対応する実空間上の物体と前記車両間の距離を算出する距離算出部と、前記画像部分に対応する実空間上の物体の種別を判定する物体種別判定部とを備えた車両周辺監視装置に関する。そして、前記距離算出部は、所定期間における前記画像部分又は前記画像部分に対応する実空間上の物体の形状変化を判定し、前記形状変化が所定レベルを超えるときは、前記物体の種別を想定して設定された実空間上の前記車両からの距離と前記撮像画像での画像部分の大きさとの相関関係に、前記撮像画像から抽出された前記物体の画像部分の大きさを適用して、前記物体と前記車両との距離を算出する第１距離算出処理を実行し、前記形状変化が前記所定レベル以下であるときには、前記カメラによる時系列の撮像画像から抽出した前記物体の画像部分の大きさの変化に基づいて、前記物体と前記車両との距離を算出する第２距離算出処理を実行する」と記載されている。

特許第５６８７７０２号公報

特許文献１に記載の車両周辺監視装置によれば、単一のカメラによる撮像画像に基づく、物体と車両間の距離の算出精度が低下することを抑制した車両周辺監視装置を提供することができる。該特許文献１においては、条件に応じて、物体の種別を想定して設定された実空間上の車両からの距離と撮像画像での画像部分の大きさとの相関関係に撮像画像から抽出された物体の画像部分の大きさを適用して物体と車両との距離を算出する第１距離算出処理と、時系列の撮像画像から抽出した前記物体の画像部分の大きさの変化に基づいて物体と車両との距離を算出する第２距離算出処理を切り替える手法が記載されている。

ここで第２距離算出処理によって示された手法は、対象となる物体の画像上での見え方の変化、すなわちセンサとの相対的な位置関係の変化を用いているため、ＴＴＣ（ＴｉｍｅＴｏＣｏｌｌｉｓｉｏｎ：衝突予測時間）の推定に優れていることが知られている。車両制御のためにはＴＴＣの精度の良い推定が不可欠であるため、できるだけ多くのシーンにおいて本手法が採用されることが望ましい。しかし、特許文献１によれば、「所定期間における画像部分又は画像部分に対応する実空間上の物体の形状変化を判定し、形状変化が所定レベルを超える」ことを条件に手法を切り替えており、第１距離算出処理が実行された場合にはＴＴＣの精度が低下する。

本発明の目的は、対象物体と車両間のＴＴＣを高精度に推定することのできる画像処理装置を提供することである。

上記目的を達成するために、本発明は、画像から物体を検知する物体検知部と、前記物体を検知した画像領域を複数の部分領域に分離する領域分離部と、前記分離した複数の部分領域から拡大率算出に用いる部分領域を選択する領域選択部と、前記選択された部分領域を用いて算出した拡大率から、対象となる前記物体と衝突するまでの衝突予測時間を算出するＴＴＣ算出部と、を備える。

本発明によれば、対象物体と車両間のＴＴＣを高精度に推定することのできる画像処理装置を提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１における車載カメラシステムの概略構成を示す説明図。実施例１における物体検知装置の構成を示す説明図。俯瞰画像を用いた物体検知の説明図。入力画像から領域選択部までの出力の例を示す説明図。２時刻における物体との相対位置と撮像画像の例を示す説明図。実施例２における物体検知装置の構成を示す説明図。実施例２における画像処理部の処理例を示すフローチャート。実施例３における物体検知装置の構成を示す説明図。実施例３における画像処理部の処理例を示すフローチャート。オプティカルフローを用いた領域選択の例（短時間オプティカルフローを用いた判定例）を示す説明図。オプティカルフローを用いた領域選択の例（長時間オプティカルフローを用いた判定例）を示す説明図。実施例４における物体検知装置の構成を示す説明図。実施例４における画像処理部の処理例を示すフローチャート。ステレオカメラにおけるステレオ領域と単眼領域の例を示す説明図。実施例５における物体検知装置の構成を示す説明図。実施例５における画像処理部の処理例を示すフローチャート。

以下、図面を用いて本発明の実施例を説明する。

［実施例１］
図１を用いて、実施例１における物体検知装置を搭載した車載カメラシステムの概要を説明する。当該車載カメラシステムにおいて、車両１００にカメラ１０１が搭載される。カメラ１０１には物体検知装置１０２が搭載されており、例えば前方の物体までの距離や相対速度を計測して車両制御部１０３に送信する。車両制御部１０３は、物体検知装置１０２から受け取った距離や相対速度からブレーキ・アクセル１０５、ステアリング１０４を制御する。

カメラ１０１は、図２に示す物体検知装置１０２を備えている。物体検知装置１０２は、撮像素子２０１、メモリ２０２、ＣＰＵ２０３、画像処理部（画像処理装置）２０４、外部出力部２０５などを備える。物体検知装置１０２を構成する各構成要素は、通信ライン２０６を介して通信可能に接続されている。画像処理部（画像処理装置）２０４は、物体検知部２４１、領域分離部２４２、領域選択部２４３、ＴＴＣ算出部２４４を有する。ＣＰＵ２０３は、メモリ２０２に格納されているプログラムの指示に従って、以下で説明する演算処理を実行する。

撮像素子２０１で撮影された画像（車両１００の周辺を撮像した画像）は画像処理部２０４に送信され、物体検知部２４１において物体を検知し、演算周期ごとに得られる物体検知結果同士を比較し、同一物体を対応付けて追跡する。前記対象物体（検知物体）の撮像されている画像上の領域は、領域分離部２４２において複数に分割される。前記複数に分割された領域のうち所定の条件を満たす領域が領域選択部２４３によって選択される。選択された領域はＴＴＣ算出部２４４に受け渡され、領域の大きさの相対変化（すなわち、拡大率）によってＴＴＣが算出される。算出されたＴＴＣは外部出力部２０５より物体検知装置１０２の外部に送信され、前述の車載カメラシステムであれば、車両制御部１０３においてアクセル・ブレーキ１０５、ステアリング１０４などの車両制御の判断に利用される。

以下、画像処理部２０４の構成要素について説明する。

（物体検知部２４１）
物体検知部２４１においては、撮像素子２０１で撮影された画像を用いて物体の検知と追跡を行う。画像を用いた物体の検知手段については、例えば俯瞰画像の差分を用いた手法が公知である。この手法では、図３に示す通り、時系列に撮像した２枚の画像３０１、３０２を用いて物体の検知を行う。２枚の画像３０１、３０２のうち過去に撮像された画像３０１を俯瞰画像に変換すると同時に、車速などの情報から車両の運動による見え方の変化を算出し、今フレームで撮像されると予測される画像３０４を生成する。予測した画像３０４と実際に今フレームで撮像された画像３０２を俯瞰画像に変換した画像３０５を比較し、差分画像３０６を作成する。差分画像３０６は各画素における差分の値を持っており、差分のない領域が黒、差分がある領域が白で表される。予測に誤差がなければ、道路面については同一の画像となり差分が発生しないが、障害物（立体物など）３０３の存在する領域には差分が発生する。この差分を検出することによって物体を検知することができる。今フレームで検知された物体は過去フレームで検知された物体と画像上での位置やテクスチャの相関によって比較され、同一物体と判断された場合に対応付けることで画像上において同一物体の追跡を行うことができる。なお、画像から物体を検知および追跡する手段についてはこれに限られないことは勿論である。

（領域分離部２４２）
領域分離部２４２においては、前記の検出した物体（画像上において追跡している物体）の撮像されている領域（画像領域）を複数の領域（部分領域）に分離する。分離手段については様々な手法が考えられるが、例えば対象が歩行者であった場合は、検知領域を単純に上下（２つ）の領域に分割することができる。

（領域選択部２４３）
領域選択部２４３においては、分離された複数の領域（部分領域）のうちＴＴＣ算出部２４４に受け渡す（すなわち、拡大率算出に用いる）領域を選択する。ここでＴＴＣ算出部２４４においては、物体の拡大率からＴＴＣを算出する（後で説明）。拡大率を精度良く算出するためには、画像上での見え方の変化が、距離の変化に起因する拡大縮小以外にはないことが望ましい。対象が歩行者であれば、歩行時の足の動きなどが含まれる領域は不適であるため、本実施例では、上下２つに分割された領域のうち、上半身に当たる上部領域を選択する。

ここまでの出力の例を図４に示した。撮像素子２０１で撮影された画像４０１を入力とし、物体検知部２４１において、画像４０１から物体４０２を検知する。領域分離部２４２において、上半身領域４０３と下半身領域４０４に物体４０２の領域（画像領域）を分離し、領域選択部２４３において、上半身領域４０３を選択してＴＴＣ算出部２４４に出力している。

（ＴＴＣ算出部２４４）
ＴＴＣ算出部２４４においては、領域選択部２４３から受け取った画像領域（部分領域）の拡大率から、対象物体と衝突するまでの衝突予測時間であるＴＴＣを算出する。時刻ｔと時刻ｔ−１に検知した物体について考える。図５に、２時刻において撮像された画像５０１、５０２とその際の自車５０４と対象物（物体）５０３の位置関係を示す俯瞰図５０５、５０６を示した。時刻ｔにおいては時刻ｔ−１より物体５０３との距離が小さくなっており、それに伴い画像上での物体５０３の大きさが拡大していることがわかる。このとき、物体５０３の実際の高さをＨ［ｍｍ］、物体５０３の画面上での高さをｈ［ｐｘ］、自車５０４と物体５０３の距離をＺ［ｍｍ］、自車５０４と物体５０３の相対速度をｒｖ［ｍｍ／ｓ］、カメラの焦点距離をｆ［ｍｍ］、処理周期をＳ［ｓｅｃ］とすると、以下の式（１）〜（４）が成り立つ。
［数１］

［数２］

［数３］

［数４］

ここで、画像上での拡大率α＝ｈ_ｔ／ｈ_ｔ−１とおくと、以下の式（５）が得られる。
［数５］

処理周期Ｓは正確な値が得られるため、ＴＴＣの算出精度は拡大率αに依存する。また、本例では物体の高さに着目したが、任意の部分の長さについて同様の式が成り立つため、高さに限らず、画像領域全体の拡大率をαとおいた場合にも同様の式が成立することは自明である。また、選択された領域を用いて算出される拡大率αは、領域の大きさの変化率を意味しており、１００％以上の場合もあるし、１００％未満（この場合、縮小率ということがある）の場合もあり得る。

正確な拡大率αを算出するためには、距離の変化による拡大縮小以外の見え方の変化のない領域をできる限り広く確保する必要があるが、本実施例においては、前述した領域分離部２４２及び領域選択部２４３によって実現される。

上記のようにＴＴＣ算出部２４４で算出されたＴＴＣは、外部出力部２０５から物体検知装置１０２の外部の車両制御部１０３に送信され、車両制御部１０３において車両制御の判断に利用される。

以上で説明したように、本実施例の画像処理部（画像処理装置）２０４は、画像から物体を検知する物体検知部２４１と、前記物体を検知した画像領域を複数の部分領域に分離する領域分離部２４２と、前記分離した複数の部分領域から拡大率算出に用いる部分領域を選択する領域選択部２４３と、前記選択された部分領域を用いて算出した拡大率から、対象となる前記物体と衝突するまでの衝突予測時間（ＴＴＣ）を算出するＴＴＣ算出部２４４と、を備える。

上記した画像処理部（画像処理装置）２０４によれば、実施例１の車載カメラシステムにおいて、対象物体と車両間のＴＴＣを高精度に推定することのできる画像処理部（画像処理装置）２０４を提供することができる。

［実施例２（特定種別の対象物体に対する領域選択の実施例）］
実施例２は実施例１の変形例であり、物体検知部２４１で検知する物体の種別が識別されているとき、領域選択部２４３が物体の種別に応じて選択条件を変更する実施例を示す。物体の種別ごとに変形が少ないと予想される領域を事前知識として与えておくことで、識別の結果に応じて適切な領域を選択することができる。

実施例２における物体検知装置１０２の構成を図６に示す。物体検知装置１０２の画像処理部２０４は、実施例１の構成に、物体検知部２４１で検知する物体の種別を識別する物体識別部２４５と、領域分離部２４２および領域選択部２４３の参照のための、変形が小さいと予想される領域の情報を保存・格納した変形小領域データベース２４６とを追加している。

本実施例における画像処理部２０４、特に、領域分離部２４２、領域選択部２４３のフローチャートの一例を図７に示した。

物体検知部２４１において、画像から物体を検知し（Ｓ７０１）、その物体検知結果に対して、物体識別部２４５において、物体の種別（歩行者、自転車、自動車など）を識別する（Ｓ７０２）。領域分離部２４２および領域選択部２４３において、Ｓ７０２の識別結果に応じて、変形が小さいと予想される領域の変形小領域データベース２４６を参照し、画像領域から変形が少ないと予想される領域を分離および選択できるよう、領域分離条件の決定（Ｓ７０３）及び領域選択条件の決定（Ｓ７０５）を実行する。例えば歩行者と識別されたときには、頭部や胴体の領域を分離および選択する、自転車と識別されたときには、サドルより上の上半身部分やタイヤ部分の領域を分離および選択する、などの例が考えられる。あるいは、変形小領域データベース２４６には特定の条件下で対象の周辺に存在する可能性の高い変形しにくい物体を登録しておき、該物体の撮像されている領域を探索し、登録された物体（変形しにくい物体）があった場合に、その領域を分離および選択する処理を実施してもよい。例えば歩行者と識別されかつ幅が閾値以上であった場合には、ベビーカーやスーツケースを探索し、それらが周辺にあれば、分離および選択する。子どもと識別されたときには、ランドセルを探索し、それが周辺にあれば、分離および選択する、などの手法が考えられる。領域分離部２４２において、Ｓ７０３で決定された領域分離条件に応じた領域を分離し（Ｓ７０４）、領域選択部２４３において、Ｓ７０５で決定された領域選択条件に応じた領域を選択する（Ｓ７０６）。ＴＴＣ算出部２４４において、領域選択部２４３から受け取った画像領域を用いて算出した拡大率から、ＴＴＣを算出する（Ｓ７０７）。

以上で説明したように、本実施例２の画像処理部（画像処理装置）２０４は、前記領域分離部２４２および前記領域選択部２４３は、前記検知した物体の種別に応じた画像上の特定領域（例えば、検知した物体の種別ごとに変形が少ないと予想される領域）を分離および選択する。

本実施例２によれば、対象物体の種別が識別されているときに、より安定なＴＴＣ算出を実現する画像処理部（画像処理装置）２０４を提供することができる。

［実施例３（任意の対象物体に対する領域選択の実施例）］
実施例３は実施例１の変形例であり、領域分離部２４２で物体の撮像領域を変形の大きさによって分離し、領域選択部２４３では変形が小さいと判断された領域を選択する実施例を示す。物体の検知された全領域に対して変形の大小を判定するため、物体の識別処理や事前知識を必要とせず、任意の対象物体に対して適切な領域を選択することができる。

実施例３における物体検知装置１０２の構成を図８に示す。物体検知装置１０２の画像処理部２０４は、実施例１の構成に、物体検知部２４１で物体の検知された全領域（画像領域）に対してオプティカルフローを算出するオプティカルフロー算出部２４７を追加している。

本実施例における画像処理部２０４、特に、領域分離部２４２、領域選択部２４３のフローチャートの一例を図９に示した。

物体検知部２４１において、画像から物体を検知する（Ｓ９０１）。物体検知結果は処理周期ごとに得られる。オプティカルフロー算出部２４７においては、処理周期ごとの物体検知領域においてオプティカルフローを算出する（Ｓ９０２）。オプティカルフローとは、十分小さな局所領域の追跡結果であり、物体を検知した全領域においてそれぞれの局所領域ごとに時系列の移動を表すことができる。領域分離部２４２においては、Ｓ９０２の算出結果（局所領域の追跡結果）に基づいて、物体を検知した全領域を分離する（Ｓ９０３）。領域選択部２４３においては、Ｓ９０３で分離した領域（換言すれば、Ｓ９０２にて算出したオプティカルフロー）を短時間のオプティカルフローあるいは長時間のオプティカルフローという観点から選択する（Ｓ９０４、Ｓ９０５）。

まず、図１０を用いて、短時間のオプティカルフローを用いた判定例について述べる。時刻ｔ−１における撮像領域８０１と時刻ｔにおける撮像領域８０２に対してオプティカルフローを算出し、２時刻において対応付いた局所領域ごとに直線を引いたとき、拡大縮小変化だけで表現できる領域における直線はある消失点８０３に収束する。このとき、歩行者の足の先端のように拡大縮小以外の変形が支配的な領域８０４においては、直線は消失点８０３を通らない。領域選択部２４３においては、この性質を用いて、消失点８０３に収束する直線に属する局所領域を選択することで、変形の小さい領域（部分領域）を選択することができる。

次に、図１１を用いて、長時間のオプティカルフローを用いた判定例について述べる。任意の時刻ｔ−ｋにおける撮像領域８０５から時刻ｔにおける撮像領域８０２までのオプティカルフローを用いると、拡大縮小変化だけで表現できる領域におけるオプティカルフロー８０７は直線となり、処理周期ごとの移動量も安定する。このとき、歩行者の手の先端のように拡大縮小以外の変形を含む領域におけるオプティカルフロー８０８は、直線以外の軌道をとり、処理周期ごとに方向や移動量が大きく変化する。領域選択部２４３においては、この性質を用いて、オプティカルフローが安定に直線軌道を描く領域を選択することで、変形の小さい領域（部分領域）を選択することができる。

そして、ＴＴＣ算出部２４４において、領域選択部２４３から受け取った画像領域を用いて算出した拡大率から、ＴＴＣを算出する（Ｓ９０６）。

なお、ここでは、領域分離部２４２とオプティカルフロー算出部２４７を別ブロックとしているが、領域分離部２４２にオプティカルフロー算出部２４７を設け、領域分離部２４２内で上述したオプティカルフロー算出を実施してもよいことは勿論である。

以上で説明したように、本実施例３の画像処理部（画像処理装置）２０４は、前記領域選択部２４３は、前記画像上において追跡している物体の撮像されている画像領域におけるオプティカルフローを用いて、前記拡大率算出に用いる部分領域を選択する。

本実施例３によれば、任意の物体に対して、時系列の変形の小さい領域を選択し、ＴＴＣを算出することのできる画像処理部（画像処理装置）２０４を提供することができる。

［実施例４（繰り返しモーションの発生する物体に対する領域選択の実施例）］
実施例４は実施例１の変形例であり、対象が歩行者などの繰り返しのモーションであるときに有効な実施例を示す。例えば歩行モーションはある一定パターンの繰り返しであるため、一定時間ごとに同一のポーズを取る時刻が発生する。本実施例においては、決まった２時刻の物体検知結果でなく、過去の物体検知結果を含む物体検知領域から同一のポーズである２時刻を抽出し、領域選択することで、領域選択部２４３によって選択される領域の面積を最大化することができる。

実施例４における物体検知装置１０２の構成を図１２に示す。物体検知装置１０２の画像処理部２０４は、実施例１の構成に、物体検知部２４１で検知された物体（画像上において追跡している物体）の２時刻間の類似度を算出する類似度算出部２４８を追加している。

本実施例における画像処理部２０４、特に、領域分離部２４２、領域選択部２４３のフローチャートを図１３に示した。

物体検知部２４１において、画像から物体を検知する（Ｓ１３０１）。物体検知結果（画像領域）はメモリ２０２などに保存されている。ここで、現在時刻をｔ、過去時刻をｋとする。類似度算出部２４８において、まず時刻ｋをｔ−１とし（Ｓ１３０２）、保存されている物体検知結果を参照して、時刻ｔと時刻ｋにおける物体の類似度を算出する（Ｓ１３０３）。類似度算出手段については公知の様々な手法が考えられる。Ｓ１３０３で算出した類似度が予め設定した閾値以上であるか否かを判定し（Ｓ１３０４）、類似度が閾値未満であった場合、ポーズが違うものとして時刻ｋをｋ−１に設定し（Ｓ１３０５）、再度、類似度を算出する（Ｓ１３０３）。ここでは同一ポーズである２時刻を決定することが目的であるから、例えばメモリの許す限り過去の物体検知結果を保存しておき、すべての物体検知結果と類似度を算出し、最も類似度の高い時刻を時刻ｋとして設定してもよい。類似度が閾値以上であった場合、つまり、同一のポーズであると判断できる時刻ｋを発見できたとき、領域分離部２４２および領域選択部２４３において、時刻ｔと時刻ｋの物体検知結果をもとに（すなわち、過去撮像された画像領域の中から）領域の分離および選択を実施する（Ｓ１３０６）。

そして、ＴＴＣ算出部２４４において、領域選択部２４３から受け取った画像領域を用いて算出した拡大率から、ＴＴＣを算出する（Ｓ１３０７）。

以上で説明したように、本実施例４の画像処理部（画像処理装置）２０４は、前記領域選択部２４３は、前記画像上において追跡している物体に対して、過去撮像された画像領域の中から、前記拡大率算出に用いる部分領域を選択する。

本実施例４によれば、直近の２フレームで撮像された対象物体において変形する領域が支配的であった場合にも、過去の物体検知結果（過去に撮像された検知・追跡物体の画像領域）を用いることで変形しない領域を広く選択することができ、ＴＴＣ精度を向上することができる。

［実施例５（センサフュージョンを用いた領域選択の実施例）］
実施例５は実施例１の変形例であり、カメラ（単眼カメラ）１０１以外の測距可能なセンサが同時に利用可能であるときに有効な実施例を示す。例えばステレオカメラと単眼カメラの例について、図１４にその監視領域を示す。２台のカメラ１００１、１００２で監視可能な領域（ステレオ領域ともいう）１００３においては三角測量の原理によって対象となる物体までの距離を計測するが、１台のカメラ（ここでは、カメラ１００１またはカメラ１００２）でのみ監視可能な領域（単眼領域ともいう）１００４、１００５においては三角測量が使えず、本実施例のような手法でＴＴＣを算出する必要がある。同様にミリ波レーダーやＬｉＤＡＲといった測距可能なセンサと単眼カメラを同時に用いた場合、複数センサで同時に観測可能な領域と、単眼カメラでのみ観測可能な領域が存在する。このように、単眼カメラ以外の測距可能なセンサ（ステレオカメラ、ミリ波レーダー、ＬｉＤＡＲなど）が同時に利用可能であるとき、単眼カメラとそれ以外の測距可能なセンサを含む複数手段で同時にＴＴＣを算出可能である。

実施例５における物体検知装置１０２の構成を図１５に示す。物体検知装置１０２の画像処理部２０４は、実施例１の構成に、物体検知部２４１で物体の検知された画像領域から、単眼カメラ以外の測距可能なセンサ（以下、他センサという）でＴＴＣを算出可能か否かを判断する他センサＴＴＣ算出可否判断部２４９と、物体検知部２４１で物体の検知された画像領域から、変形が少なく、拡大率算出に適した領域を抽出する変形小領域抽出部２５０と、変形小領域抽出部２５０で抽出した領域を変形小領域として保存・格納する変形小領域判定結果データベース２５１とを追加している。

本実施例における画像処理部２０４、特に、領域分離部２４２、領域選択部２４３のフローチャートを図１６に示した。

物体検知部２４１において、画像から物体を検知する（Ｓ１６０１）。他センサＴＴＣ算出可否判断部２４９において、物体検知部２４１で物体の検知された領域が、単眼カメラとそれ以外の他センサ、例えばステレオカメラで同時に観測可能な領域か否かを判断することにより、他センサでＴＴＣを算出可能か否かを判断する（Ｓ１６０２）。他センサＴＴＣ算出可否判断部２４９において、物体検知部２４１で物体の検知された領域が、単眼カメラとそれ以外の他センサ、例えばステレオカメラで同時に観測可能な領域であると判断されたとき（Ｓ１６０２：Ｙｅｓ）、他センサによるＴＴＣ算出を実施する（Ｓ１６０３）。例えばステレオカメラでは直接距離を測距可能であるため、距離を用いてＴＴＣが算出可能である。次に、領域分離部２４２において、単眼カメラで撮像された物体領域（画像領域）をいくつかの領域に分離し（Ｓ１６０４）、領域選択部２４３において、分離した複数の領域から拡大率算出に用いる領域を選択し（Ｓ１６０５）、ＴＴＣ算出部２４４において、選択した領域の拡大率を用いたＴＴＣ算出を実施する（Ｓ１６０６）。変形小領域抽出部２５０において、単眼カメラによって（拡大率を用いて）算出されたＴＴＣ（Ｓ１６０６）を他センサ、例えばステレオカメラによって算出されたＴＴＣ（Ｓ１６０３）と比較し、他センサ、例えばステレオカメラによって算出されたＴＴＣと近い値（予め設定した閾値より近い値）を算出できた領域（すなわち、ＴＴＣの整合のとれる領域）は変形が少なく、拡大率の算出に適した領域（変形小領域）であるとして抽出し（Ｓ１６０７）、それ以降の拡大率を用いたＴＴＣ算出で選択できるように、変形小領域判定結果データベース２５１に変形小領域として保存・格納する（Ｓ１６０８）。

他センサＴＴＣ算出可否判断部２４９において、物体検知部２４１で物体の検知された領域が、単眼カメラとそれ以外の他センサ、例えばステレオカメラで同時に観測可能な領域でないと判断されたとき（Ｓ１６０２：Ｎｏ）、他センサでＴＴＣを算出不可、且つ、拡大率によるＴＴＣの算出のみが可能であるため、他センサによるＴＴＣ算出を実施せず、前述のＳ１６０４、Ｓ１６０５、Ｓ１６０６を実施する。このとき（すなわち、拡大率によるＴＴＣの算出のみが可能になったとき）、領域分離部２４２および領域選択部２４３において、変形小領域判定結果データベース２５１に保存・格納された変形小領域を用いて領域の分離および選択を実施する（Ｓ１６０４、Ｓ１６０５）。

以上で説明したように、本実施例５の画像処理部（画像処理装置）２０４は、前記領域選択部２４３は、複数手段で同時にＴＴＣを算出可能であるとき、ＴＴＣの整合のとれる領域を抽出して変形小領域として保存しておき、前記拡大率によるＴＴＣの算出のみが可能になったときは、前記拡大率算出に用いる部分領域として前記保存された変形小領域を選択する。

本実施例５によれば、複数センサのデータが利用可能である場合に共通の監視領域を用いて拡大率を用いたＴＴＣ算出に適した領域を選択でき、対象となる物体が単眼カメラのみの監視領域に移動した場合においても、過去の領域選択結果を用いることで変形しない領域を精度よく選択することができ、ＴＴＣ精度を向上することができる。

以上、本発明の実施例を説明した。上記の実施例では、ＴＴＣの精度を従来より向上させることができる。よって、本発明は高精度なＴＴＣが要求される場面、例えば、交差点での衝突被害軽減ブレーキへの適用に特に好適である。なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されている
と考えてもよい。

１００車両、１０１カメラ、１０２物体検知装置、１０３車両制御部、２０１撮像素子、２０２メモリ、２０３ＣＰＵ、２０４画像処理部（画像処理装置）、２０５外部出力部、２０６通信ライン、２４１物体検知部、２４２領域分離部、２４３領域選択部、２４４ＴＴＣ算出部、２４５物体識別部（実施例２）、２４６変形小領域データベース（実施例２）、２４７オプティカルフロー算出部（実施例３）、２４８類似度算出部（実施例４）、２４９他センサＴＴＣ算出可否判断部（実施例５）、２５０変形小領域抽出部（実施例５）、２５１変形小領域判定結果データベース（実施例５）

Claims

画像から物体を検知する物体検知部と、
前記物体を検知した画像領域を複数の部分領域に分離する領域分離部と、
前記分離した複数の部分領域から拡大率算出に用いる部分領域を選択する領域選択部と、
前記選択された部分領域を用いて算出した拡大率から、対象となる前記物体と衝突するまでの衝突予測時間を算出するＴＴＣ算出部と、を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記領域分離部および前記領域選択部は、前記検知した物体の種別に応じた画像上の特定領域を分離および選択することを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記領域選択部は、前記画像上において追跡している物体の撮像されている画像領域におけるオプティカルフローを用いて、前記拡大率算出に用いる部分領域を選択することを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記領域選択部は、前記画像上において追跡している物体に対して、過去撮像された画像領域の中から、前記拡大率算出に用いる部分領域を選択することを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記領域選択部は、複数手段で同時に前記衝突予測時間を算出可能であるとき、前記衝突予測時間の整合のとれる領域を抽出して変形小領域として保存しておき、前記拡大率による前記衝突予測時間の算出のみが可能になったときは、前記拡大率算出に用いる部分領域として前記保存された変形小領域を選択することを特徴とする画像処理装置。