JP2018073049A - 画像認識装置、画像認識システム、及び画像認識方法 - Google Patents

Abstract

【課題】フレーム画像における有効視野範囲の位置のバラツキの影響を低減できる画像認識装置を提供することを目的とする。【解決手段】本発明は、車両に搭載された撮像手段で撮像されたフレーム画像における第１の探索領域から直線を検出する検出手段と、前記検出手段で検出された直線のうち路面に対応した直線の端点座標を求める演算手段と、前記演算手段で求められた端点座標に基づいて、前記フレーム画像における有効視野範囲と非有効視野範囲との境界に対応した基準座標を設定する設定手段と、前記設定手段で設定された基準座標を基準として前記有効視野範囲から抽出された第２の探索領域に対して画像認識を行う認識手段とを備えたことを特徴とする。【選択図】図３

Description

本発明は、画像認識装置、画像認識システム、及び画像認識方法に関する。

車載カメラにより撮像された車外の画像から信号機、交通標識、路面表示、歩行者、車両などを自動で画像認識することで、ドライバーの安全運転の支援や危険運転の検知などのアプリケーションが可能となる。この画像認識の機能は、ナビゲーション装置やドライブレコーダなどの機器に搭載されることがある。

特許文献１には、ドライブレコーダにおいて、前部に撮影レンズを有し撮影レンズの全面下部にフレネルレンズが取り付けられた前方監視カメラで車外を撮像することが記載されている。これにより、特許文献１によれば、高解像度カメラで撮像した画像を画像処理で拡大する構成をとる必要がなく、低解像度の撮像素子を用いながら撮像領域の下部を拡大して撮像できるので、低コストで前方の車両のナンバープレートを拡大して監視できるとされている。

車載カメラやドライブレコーダは、その記録画像（動画像）を人間が見て確認する目的で使われることを前提に取り付けられていることが多い。そのため、大体、車両の前方方向に向いていれば良しとされ、その画像の有効視野範囲の位置は厳密に規定されないことが多い。特許文献１に記載のドライブレコーダでは、ボンネットやダッシュボードが映し出される下部領域が、予め、撮影領域の３分の１と決められている。

しかし、取り付け時のカメラ角度や位置の違いにより、画像における有効視野範囲の位置には大きなバラツキが存在しやすい。画像（フレーム画像）における有効視野範囲の位置にバラツキが存在すると、画像認識を行うべき探索領域を有効視野範囲内に収めることが困難になり、画像認識の精度が低下する可能性がある。

本発明は、上記に鑑みてなされたものであって、フレーム画像における有効視野範囲の位置のバラツキの影響を低減できる画像認識装置、画像認識システム、及び画像認識方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、車両に搭載された撮像手段で撮像されたフレーム画像における第１の探索領域から直線を検出する検出手段と、前記検出手段で検出された直線のうち路面に対応した直線の端点座標を求める演算手段と、前記演算手段で求められた端点座標に基づいて、前記フレーム画像における有効視野範囲と非有効視野範囲との境界に対応した基準座標を設定する設定手段と、前記設定手段で設定された基準座標を基準として前記有効視野範囲から抽出された第２の探索領域に対して画像認識を行う認識手段とを備えたことを特徴とする。

本発明によれば、フレーム画像における有効視野範囲の位置のバラツキの影響を低減できるという効果を奏する。

実施形態における車載カメラの搭載場所を示す図。 実施形態における画像認識システムのハードウェア構成を示す図。 実施形態における画像認識システムの機能構成を示す図。 実施形態における画像認識システムの動作を示すフローチャート。 実施形態における車載カメラで撮像されたフレーム画像及び探索領域を示す図。 実施形態におけるフレーム画像から抽出された探索領域を示す図。 実施形態における探索領域での抽出条件を示す図。 実施形態における基準座標を設定又は更新する処理を示す図。 実施形態におけるフレーム画像から抽出された探索領域を示す図。 実施形態におけるフレーム画像の位置を補正する処理を示す図。 実施形態における画像認識処理を示す図。

以下に添付図面を参照して、実施形態にかかる画像認識システムを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

（実施形態）
実施形態にかかる画像認識システム１について説明する。画像認識システム１は、図１に示すように、車両ＣＡに搭載された車載カメラ（撮像手段）２を有し、車載カメラ２により撮像された車外の画像から信号機、交通標識、路面表示、歩行者、車両などを自動で画像認識する機能を有することで、様々なアプリケーションを実現可能である。図１は、車載カメラ２の搭載場所を示す図である。画像認識システム１は、ナビゲーション装置やドライブレコーダなどの機器に搭載された場合、画像認識の機能を用いてドライバーの安全運転の支援や危険運転の検知を行うことができる。

車両ＣＡの各部を監視及び制御するＥＣＵ（図示せず）は、走行速度、現在のエンジン回転数、エンジン負荷率、スロットル開度及び冷却水温度等の車両情報を取得可能であることに加えて、車外における物体（例えば、歩行者、自転車、オートバイ、他の車両、ガードレール、信号機、交通標識、路面上の白線、及び／又は建築物など）の認識結果を画像認識システム１から取得可能である。これにより、ＥＣＵは、車外における物体が衝突する可能性のある対象として認識された際に、車両ＣＡがその物体に衝突する前に自動的にブレーキをかけるなど、衝突を未然に防ぐ制御を行うことができる。

例えば、車載カメラ２−１は、車両ＣＡの前方を向くように、車両ＣＡ内のルーフ部ＲＦの下面の近傍に設置され得る。この車載カメラ２−１は、破線で示すように、車両ＣＡの内部からフロントガラスＦＧ（車両ＣＡのウィンドウの一例）を介して、車外の様子を動画像として撮像する。車載カメラ２−１は、時間的に連続した複数のフレーム期間に、複数のフレーム画像を撮像する。複数のフレーム画像は、複数のフレーム期間に対応している。車載カメラ２−１により撮像された各フレーム画像は画像認識装置１００（図２参照）に記録され得る。

あるいは、例えば、車載カメラ２−２は、車両ＣＡの前方を向くように、車両ＣＡ内のダッシュボードＤＢ上に設置され得る。この車載カメラ２−２は、一点鎖線で示すように、車両ＣＡの内部からフロントガラスＦＧ（車両ＣＡのウィンドウの一例）を介して、車外の様子を動画像として撮像する。車載カメラ２−２は、時間的に連続した複数のフレーム期間に、複数のフレーム画像を撮像する。複数のフレーム画像は、複数のフレーム期間に対応している。車載カメラ２−２により撮像されたフレーム画像は画像認識装置１００（図２参照）に記録され得る。

なお、画像認識システム１では、図１に示す車載カメラ２−１及び車載カメラ２−２のいずれか一方が車両ＣＡに搭載されていてもよいし、車載カメラ２−１及び車載カメラ２−２の両方が車両ＣＡに搭載されていてもよい。以下、車載カメラ２−１及び／又は車載カメラ２−２を「車載カメラ２」と呼ぶことにする。

画像認識システム１は、車外の様々な物体を認識するにあたり、フレーム画像の全体を探索範囲として画像認識を行うと、処理負荷が増え、応答性が低下したりコストアップにつながったりする。画像認識システム１において、フレーム画像の全体を探索範囲として画像認識を行うような構成は、現実的な構成として採用するのが困難である。そのため、画像認識システム１は、フレーム画像におけるその認識対象が出現する可能性のある領域を探索範囲として切り出して画像認識処理を行うことで、処理負荷を低減でき、実用的な応答性を確保できる。

このとき、車載カメラ２の視野範囲における画像認識に不要な物体（例えば、ボンネットＢＮ及び／又はダッシュボードＤＢ等）が映り込んだ領域を非有効視野範囲と呼び、車載カメラ２の視野範囲における非有効視野範囲を除いた範囲を有効視野範囲と呼ぶことにする。車載カメラ２の視野範囲における有効視野範囲の位置（すなわち、フレーム画像における有効視野範囲の位置）には、バラツキが発生することがある。画像認識システム１が画像認識を用いて車外の様々な物体を認識し運転状況を把握するためには、フレーム画像における有効視野範囲の位置にバラツキがあると、フレーム画像から正確に探索範囲を切り出すことが困難となりやすく、画像認識の精度が低下する可能性がある。

例えば、図１に破線で示されるように、車載カメラ２−１の視野範囲は、車両ＣＡにおける車載カメラ２−１の取り付け位置や取付角度によってばらつき、車両ＣＡのボンネットＢＮの少なくとも一部を含んでしまうことがある。あるいは、例えば、図１に一点鎖線で示されるように、車載カメラ２−２の視野範囲は、車両ＣＡにおける車載カメラ２−２の取り付け位置や取付角度によってばらつき、車両ＣＡ内のダッシュボードＤＢの少なくとも一部を含んでしまうことがある。

このとき、車外における物体（例えば、歩行者、自転車、オートバイ、他の車両、ガードレール、信号機、交通標識、路面上の白線、及び／又は建築物など）を認識するために、画像認識システム１は、非有効視野範囲と重なるように探索範囲を切り出した場合、不要な物体（例えば、ボンネットＢＮ及び／又はダッシュボードＤＢ等）を車外における物体と誤認識する可能性がある。

そこで、本実施形態では、画像認識システム１において、不要な物体及びその周辺を含む探索領域に対して直線検出を行いその結果に基づいて有効視野範囲と非有効視野範囲との境界位置を推定し、その推定結果に応じて有効視野範囲から抽出された新たな探索領域に対して画像認識を行うようにすることで、有効視野範囲の位置のバラツキによる影響の低減を図る。

すなわち、車載カメラ２の視野範囲にバラツキがあった場合でも、不要な物体及びその周辺を含む探索領域に対して路面上から検出した直線の端点座標をサンプリングする。これにより、不要な物体（例えば、ボンネットＢＮ及び／又はダッシュボードＤＢ等）の映り込み位置を、直線の切れる位置として検出できるので、有効視野範囲と非有効視野範囲との境界位置を推定できる。また、その推定結果に応じて、非有効視野範囲に重ならないように有効視野範囲から探索領域を抽出し、抽出された探索領域に対して画像認識処理を行うので、安定した画像認識処理が可能となる。

具体的には、画像認識システム１は、図２に示すようなハードウェア構成を有する。図２は、画像認識システム１のハードウェア構成を示す図である。

画像認識システム１は、車載カメラ（撮像手段）２及び画像認識装置１００を有する。画像認識装置１００は、ＲＯＭ３、ＲＡＭ４、表示部５、スピーカ部６、操作部７、入出力インタフェース（入出力Ｉ/Ｆ）８、通信インタフェース（通信Ｉ/Ｆ）９、記憶部１０及びＣＰＵ１１を有している。車載カメラ２、ＲＯＭ３、ＲＡＭ４、表示部５、スピーカ部６、操作部７、入出力インタフェース（入出力Ｉ/Ｆ）８、通信インタフェース（通信Ｉ/Ｆ）９、記憶部１０及びＣＰＵ１１は、バスライン１２を介して相互に接続されている。ＲＯＭは、「Read Only Memory」の略記である。ＲＡＭは、「Random Access Memory」の略記である。ＣＰＵは、「Central Processing Unit」の略記である。

ＲＯＭ３には、ＣＰＵ１１にシステム動作を実行させるためのＯＳプログラムが記憶されている。ＯＳは、「Operating System」の略記である。画像認識装置１００は、車載カメラ２の撮像画像（フレーム画像）に対して画像認識を行い、車外における物体（例えば、歩行者、自転車、オートバイ、他の車両、ガードレール、信号機、交通標識、路面上の白線、及び／又は建築物など）を認識する。このため、記憶部１０には、ＣＰＵ１１に、このような画像認識処理を実行させるための画像認識プログラム１０ａが記憶されている。画像認識プログラム１０ａの実行時となると、ＣＰＵ１１は、図３に示す各機能構成をＲＡＭ４に展開して実行する。また、記憶部１０は、例えば、ＨＤＤ等の磁気記録を利用した記憶媒体であってもよいし、ＳＳＤ等の半導体メモリを利用した記憶媒体であってもよい。記憶部１０には、画像認識処理時（テンプレートマッチング時）に用いる各物体の基準画像（テンプレート画像）が記憶されている。

表示部５には、車載カメラ２で撮像されている撮像画像（フレーム画像）がリアルタイムで表示され得る。表示部５には、画像認識処理の対象となる探索領域を示す枠が撮像画像（フレーム画像）に重ねて表示され得る。また、表示部５には、画像認識処理の結果が撮像画像（フレーム画像）に代えて又は撮像画像（フレーム画像）に重ねて表示され得る。

操作部７は、画像認識装置１００の設定入力時等に、ユーザにより操作される。入出力Ｉ/Ｆ８には、車両のＥＣＵから車両情報が入力され得る。ＣＰＵ１１は、例えば車外における物体が認識された際に、画像認識結果に応じて、警告情報（警告を示すメッセージ等の画像情報及び音声情報）を生成し、表示部５及びスピーカ部６を介して出力する。

また、画像認識システム１は、図３に示すような機能構成を有する。図３は、画像認識システム１の機能構成を示す図である。

車載カメラ２は、車両ＣＡに搭載される。車載カメラ２は、フロントガラスＦＧの内側など（図１参照）に装着され、車両ＣＡの進行方向前方の画像（動画像）を撮像する。

画像記録部１０１は、車載カメラ２で撮像された画像（フレーム画像）を車載カメラ２から受けて記録する。画像記録部１０１は、例えば、ＳＤカードなどのリムーバブルメディアでもよいし、通信可能に接続されたＳＳＤ、ＨＤＤなどの記録メディアでもよい。画像記録部１０１は、図２に示すハードウェア構成における記憶部１０に対応している。

画像入力部１０２は、画像記録部１０１に格納された画像（フレーム画像）を画像記録部１０１から読み出す。画像記録部１０１に格納された画像（フレーム画像）の信号がアナログ信号である場合、画像入力部１０２は、画像の信号をＡ／Ｄ変換するとともに所定の信号処理を施して画像処理に適した画像データを生成する。画像記録部１０１に格納された画像（フレーム画像）の信号がデジタル信号である場合、画像入力部１０２は、画像の信号に対して所定の信号処理を施して画像処理に適した画像データを生成する。画像データは、例えば、フレーム画像における画素の座標（Ｘ座標、Ｙ座標）と輝度レベルとが複数の画素のそれぞれについて対応付けられた情報を含む。画像入力部１０２は、画像データを画像処理部１０３へ供給する。画像入力部１０２は、図２に示すハードウェア構成におけるＣＰＵ１１に対応している。

なお、この画像入力部１０２以降の各部１０３〜１０８は、車載カメラ２と一体でリアルタイムに（すなわち、車載カメラ２から画像記録部１０１への画像（フレーム画像）の信号が転送されるタイミングに同期して）処理を行ってもよい。あるいは、画像入力部１０２以降の各部１０３〜１０８は、車載カメラ２とは別体のオフラインで（すなわち、車載カメラ２から画像記録部１０１への画像（フレーム画像）の信号が転送されるタイミングと非同期で）処理を行っても良い。

画像処理部１０３は、画像認識に関する処理を行う。例えば、画像処理部１０３は、画像認識の前処理として、フレーム画像から直線検出を行うための探索領域（第１の探索領域）を抽出し、抽出された探索領域の情報を直線検出部１０５へ供給する。画像処理部１０３は、図２に示すハードウェア構成におけるＣＰＵ１１に対応している。

パラメータ設定記憶部１０４には、直線検出に必要な各種パラメータと画像認識処理に必要な各種パラメータとがあらかじめ設定され、設定されたパラメータを記憶する。画像処理部１０３は、直線検出又は画像認識処理を行う際に、パラメータ設定記憶部１０４を参照してパラメータを取得する。パラメータ設定記憶部１０４は、図２に示すハードウェア構成におけるＲＯＭ３又は記憶部１０に対応している。

直線検出部１０５は、探索領域の情報を画像処理部１０３から取得するとともに、直線検出に必要な各種パラメータをパラメータ設定記憶部１０４から画像処理部１０３経由で取得する。探索領域は複数の画素を含み、探索領域の情報は、探索領域内の各画素の輝度レベル（階調値）と座標位置とが対応付けられた情報を含む。座標位置は、絶対的な座標位置（フレーム画像内における座標位置）であってもよいし、相対的な座標位置（探索領域内における参照位置からの座標位置）であってもよい。座標位置が相対的な座標位置である場合、探索領域の情報は、フレーム画像における探索領域の参照位置に関する情報をさらに含むことができる。

直線検出部（検出手段）１０５は、直線検出に必要な各種パラメータを使い、探索領域（第１の探索領域）から直線を検出する。例えば、直線検出部１０５は、ハフ変換または最小二乗法等により、探索領域から直線を検出する。直線検出部１０５は、検出された直線の情報を直線座標処理部１０６へ供給する。検出された直線の情報は、直線に含まれる各画素の座標位置の情報を含む。直線検出部１０５は、図２に示すハードウェア構成におけるＣＰＵ１１に対応している。

直線座標処理部（演算手段）１０６は、直線検出部１０５で検出された直線のうち路面に対応した直線の端点座標を求める。直線座標処理部１０６は、検出された１以上の直線の情報を直線検出部１０５から取得する。直線座標処理部１０６は、直線検出部１０５で検出された直線のうち、抽出条件を満たす直線を抽出する。抽出条件は、有効視野範囲と非有効視野範囲との境界位置の推定に適した直線を抽出するための条件である。抽出条件は、車両ＣＡの進行方向に対して所定の角度範囲に収まった傾きを有する直線であることを含んでもよい（図７（ａ）参照）。抽出条件は、基準座標比較部１０７により既に基準座標が設定されている場合（２回目以降の直線検出である場合）にその基準座標から所定の距離以内にある端点座標を有する直線であることを含んでもよい（図７（ｂ）参照）。直線座標処理部１０６は、抽出された直線のうち、複数のフレーム画像の間で略同一である直線を棄却する。複数のフレーム画像の間で略同一である直線は、不要な物体（例えば、ボンネットＢＮ及び／又はダッシュボードＤＢ等）の一部である可能性があるため、棄却され得る。直線座標処理部１０６は、残った直線（候補直線）の情報に基づいて、直線の端点座標（例えば、直線の下端の座標）を求める。直線座標処理部１０６は、求められた端点座標の情報を基準座標比較部１０７へ供給する。直線座標処理部１０６は、図２に示すハードウェア構成におけるＣＰＵ１１に対応している。

基準座標比較部（設定手段）１０７は、直線座標処理部１０６で求められた端点座標に基づいて、基準座標を設定又は更新する。例えば、基準座標比較部１０７は、１回目の直線検出で検出された直線の端点座標の情報を取得した場合、取得された端点座標を基準座標の初期値として設定する。基準座標比較部１０７は、２回目以降の直線検出で検出された直線の端点座標の情報を取得した場合、取得された端点座標を既に設定されている基準座標と比較する。基準座標比較部１０７は、例えば端点座標の方が基準座標より下方（−Ｙ方向）であれば、求められた端点座標と既に設定されている基準座標とについて平均化された平均座標を求め、設定されている基準座標に代えて平均座標を基準座標として設定し直す。すなわち、基準座標比較部１０７は、平均座標で基準座標を更新する。基準座標比較部１０７は、設定又は更新された基準座標の情報を画像処理部１０３及び消失点検出処理部１０８へ供給する。基準座標比較部１０７は、図２に示すハードウェア構成におけるＣＰＵ１１に対応している。

消失点検出処理部１０８は、基準座標比較部１０７で設定された基準座標を基準（ベース）としてフレーム画像における有効視野範囲から消失点検出のための探索領域を抽出できる。消失点検出処理部１０８は、抽出された探索領域に対して消失点検出処理を行う。消失点検出処理部１０８は、検出された消失点の座標情報を画像処理部１０３へ供給する。消失点検出処理部１０８は、図２に示すハードウェア構成におけるＣＰＵ１１に対応している。

画像処理部（認識手段）１０３は、消失点検出処理部１０８で検出された消失点の座標を考慮しながら、基準座標比較部１０７で設定された基準座標を基準としてフレーム画像における有効視野範囲から認識対象（例えば、標識などの車外の物体）を探索する探索領域（第２の探索領域）を抽出できる。

すなわち、画像処理部１０３は、消失点検出処理部１０８から受けた消失点の座標情報に基づいて、フレーム画像の位置の所定位置からのずれ量（ベクトル量）を求め、ずれ量に基づいて、フレーム画像の位置を補正する。画像処理部１０３は、ずれ量をキャンセルするように、フレーム画像の中心に対して各画素データをシフトさせる移動処理を行う。このとき、基準座標比較部１０７で設定された基準座標と消失点検出処理部１０８で検出された消失点の座標とを、同様にシフトさせる。画像処理部１０３は、シフト後の基準座標を基準として、フレーム画像における有効視野範囲と非有効視野範囲との境界の位置を推定できる。画像処理部１０３は、シフト後の消失点の座標を基準として、フレーム画像における車外における物体（例えば、歩行者、自転車、オートバイ、他の車両、ガードレール、信号機、交通標識、路面上の白線、及び／又は建築物など）の位置を推定する。画像処理部１０３は、これらの推定の結果に基づいて、フレーム画像における非有効視野範囲に重ならず且つ車外における物体を含むように探索領域（第２の探索領域）を抽出できる。画像処理部１０３は、抽出された探索領域に対して画像認識処理を行う。すなわち、画像処理部１０３が非有効視野範囲に重ならないように有効視野範囲から探索領域を抽出でき、抽出された探索領域に対して画像認識処理を行うことができるので、有効視野範囲の位置のバラツキによる影響を低減でき、安定した画像認識処理が可能となる。

なお、図３に示された画像認識システム１の各機能構成は、ハードウェア的に実現される代わりに、その一部がソフトウェア的に実現されてもよい。例えば、ソフトウェア的に実現される各機能構成は、例えば、画像認識プログラム１０ａの実行により一括して又は処理の進行に応じて順次にＲＡＭ４上に展開され得る。

また、画像認識システム１は、図４に示すような動作を行う。図４は、画像認識システム１の動作を示すフローチャートである。

画像認識システム１において、画像認識装置１００は、車載カメラ２から撮像された画像（動画像）が入力されると（Ｓ１）、動画形式の画像（動画像）を連続する複数のフレーム期間に対応した複数のフレーム画像に変換する。すなわち、画像認識装置１００は、動画像を、画像単位で処理可能な形式のフレーム画像に変換する。

画像認識装置１００は、フレーム画像から探索領域（第１の探索領域）を抽出し、探索領域の画像データを生成する（Ｓ２）。フレーム画像における縦方向をＹ方向、横方向をＸ方向とすると、画像認識装置１００は、フレーム画像ＦＩにおけるＹ方向の下側で且つＸ方向の中央側に位置した領域を探索領域ＳＲ１（図５参照）として抽出できる。すなわち、画像認識装置１００は、フレーム画像から、ボンネットＢＮ、ダッシュボードＤＢ等の少なくとも一方が映り込んだ領域（非有効視野範囲）の検出に使用する領域の部分画像を切り出して、探索領域ＳＲ１の画像データとすることができる。

画像認識装置１００は、切り出された探索領域ＳＲ１の画像データに対して、直線検出のために適した前処理として平滑化、二値化といった画像処理を施す（Ｓ３）。画像認識装置１００は、平滑化フィルタ（例えば、３画素×３画素の輝度レベルを単純平均するフィルタ）を用いて探索領域ＳＲ１の画像データを平滑化できる。画像認識装置１００は、探索領域の画像データにおける各画素ごとに、輝度レベル（階調値）を閾値レベルと比較し、閾値レベルより高いか低いかを判定することで、探索領域ＳＲ１の画像データを二値化できる。

そして、画像認識装置１００は、探索領域ＳＲ１の画像データにハフ変換（又は最小二乗法）を施すことにより、探索領域ＳＲ１から直線を検出する（Ｓ４）。

画像認識装置１００は、ここで得られた直線群から、所定の抽出条件に従い、非有効視野範囲と有効視野範囲との境界位置の推定に適した候補直線を抽出する（Ｓ５）。所定の抽出条件は、車両の進行方向（Ｙ方向）に対して所定の角度範囲に収まっている直線であることを含むことができる。また、現在の処理が２回目以降のループ処理（Ｓ１〜Ｓ８）における処理であれば、所定の抽出条件は、基準座標比較部１０７で設定された基準座標（Ｙ座標）から所定の距離以内（±Ｙ方向に所定の距離以内）にある端点座標を有する直線であることを含むことができる。画像認識装置１００は、ここで抽出された候補直線の両端（始点、終点）の端点座標を取得する。

画像認識装置１００は、候補直線の両端の端点座標のうち下方に位置する端点座標（例えば、終点のＹ座標）をサンプリングし（Ｓ６）、サンプリングされた端点座標をサンプル数と共に保持する。また、画像認識装置１００は、複数のフレーム期間について同様の位置から切り出して探索領域ＳＲ１を抽出している場合、複数のフレーム期間の間で略同一の直線を検出し棄却する。例えば、画像認識装置１００は、前のフレーム期間に検出された直線の情報を保持しており、今回のフレーム期間に検出された直線に対して前のフレーム期間に検出された直線との一致度を計算し、一致度が所定の閾値より高い直線について複数のフレーム期間の間で略同一の直線と判断し棄却することができる。これにより、Ｓ５で抽出された候補直線から有効視野範囲と非有効視野範囲との境界位置の推定に不要な直線が取り除かれるので、画像認識装置１００は、残った候補直線の端点座標により基準座標を設定又は更新する（Ｓ７）。

すなわち、画像認識装置１００は、現在の処理が１回目のループ処理（Ｓ１〜Ｓ８）における処理であり、残った候補直線の端点座標（Ｙ座標）が１個であれば、その端点座標を基準座標の初期位置として設定する。画像認識装置１００は、現在の処理が１回目のループ処理（Ｓ１〜Ｓ８）における処理であり、残った候補直線の端点座標（Ｙ座標）が複数個であれば、複数個の端点座標を平均化した平均座標を求め、その平均座標を基準座標の初期位置として設定する。画像認識装置１００は、現在の処理が２回目以降のループ処理（Ｓ１〜Ｓ８）における処理であれば、基準座標（Ｙ座標）と残った候補直線の端点座標（Ｙ座標）とを平均化した平均座標を求め、既に設定された基準座標に代えて、求められた平均座標で基準座標を更新する。

フレーム期間ごと（フレーム画像ごと）にループ処理（Ｓ１〜Ｓ８）が繰り返され基準座標が更新されていくが、画像認識装置１００は、更新量やサンプル数などに応じてあらかじめ設定された閾値を使って基準座標を確定させることができる。

例えば、画像認識装置１００は、基準座標が更新（Ｓ７）される度にその更新された基準座標の最初の基準座標に対する変化量（更新量）を求めて保持しており、その変化量が変化量閾値に達するまで（Ｓ８でＮｏ）、ループ処理（Ｓ１〜Ｓ８）を繰り返す。あるいは、画像認識装置１００は、基準座標が更新（Ｓ７）される度にその更新回数をカウントして保持しており、基準座標の更新回数が回数閾値に達するまで（Ｓ８でＮｏ）、ループ処理（Ｓ１〜Ｓ８）を繰り返す。

画像認識装置１００は、直前のＳ７で更新された基準座標の最初の基準座標に対する変化量が変化量閾値に達すると（Ｓ８でＹｅｓ）、又は、基準座標の更新回数が回数閾値に達すると（Ｓ８でＹｅｓ）、基準座標を確定させる。

基準座標が確定されると、画像認識装置１００は、基準座標に基づいて、フレーム画像における有効視野範囲と非有効視野範囲との境界位置の座標（ボンネット／ダッシュボード位置座標）を特定する（Ｓ９）。例えば、画像認識装置１００は、基準座標（Ｙ座標）を概略的に境界位置の座標として特定できる（図８（ｃ）参照）。

また、基準座標が確定されるとＳ９の処理と並行して、画像認識装置１００は、基準座標を基準として消失点検出用の探索領域ＳＲ３（図９参照）を抽出し、抽出された探索領域ＳＲ３に対して消失点検出処理を行い（Ｓ１０）、消失点の座標を特定する（Ｓ１１）。消失点とは、画像によって表現される３次元空間中の平行線群の収束点である。例えば、画像認識装置１００は、ループ処理（Ｓ１〜Ｓ８）で検出し抽出された直線を保持しておき、それらの直線を用いて（例えば、それらの直線の交点を求めることで）消失点の座標を算出することができる。

境界位置の座標が特定されること（Ｓ９）と消失点の座標を特定されること（Ｓ１１）とがともに完了したことを確認すると、画像認識装置１００は、消失点の座標を基準にしてフレーム画像の位置を補正する（Ｓ１２）。例えば、画像認識装置１００は、フレーム画像の中心点と消失点の位置との関係が予め決められた関係（例えば、両者の位置が一致される関係）からどの程度ずれているのかについてずれ量（ベクトル量）を求め、ずれ量をキャンセルするように、フレーム画像の中心に対して各画素データをシフトさせる移動処理を行う。このとき、基準座標比較部１０７で設定された基準座標と消失点検出処理部１０８で検出された消失点の座標とを、同様にシフトさせる。

画像認識装置１００は、Ｓ９で特定された境界位置の座標（ボンネット／ダッシュボード位置座標）とＳ１１で特定された消失点の座標とに基づいて、フレーム画像における有効視野範囲から認識対象（例えば、標識などの車外の物体）を探索する探索領域ＳＲ２（図１１参照）を抽出する（Ｓ１３）。例えば、画像認識装置１００は、フレーム画像における非有効視野範囲に重ならず且つ車外における物体を含むように探索領域ＳＲ２を抽出できる。

画像認識装置１００は、Ｓ１３で抽出された探索領域ＳＲ２に対して各種の画像認識処理を行う（Ｓ１４）。例えば、画像認識装置１００は、探索領域ＳＲ２から車外における物体（例えば、歩行者、自転車、オートバイ、他の車両、ガードレール、信号機、交通標識、路面上の白線、及び／又は建築物など）を認識することができる（図１１参照）。

次に、画像認識装置１００の具体的な動作例について説明する。

画像認識装置１００は、フレーム画像ＦＩから探索領域ＳＲ１の画像を切り出す処理（Ｓ２）において、フレーム画像ＦＩにおける図５に示すような位置に探索領域ＳＲ１を決定して抽出できる。図５は、車載カメラ２で撮像されたフレーム画像ＦＩから抽出される探索領域ＳＲ１を示す図である。例えば、フレーム画像ＦＩにおける縦方向（Ｙ方向）の下側で且つ横方向（Ｘ方向）の中央側の領域に車両ＣＡのボンネットＢＮ及びダッシュボードＤＢの少なくとも一方が映り込む可能性が高いので（図１参照）、画像認識装置１００は、そのような位置に探索領域ＳＲ１を決定して抽出できる。フレーム画像ＦＩの中心が（Ｘｃ，Ｙｃ）である場合、例えば、画像認識装置１００は、フレーム画像ＦＩからＹ座標がＹ０１〜Ｙ０２（Ｙｃ＞Ｙ０１＞Ｙ０２）で且つＸ座標がＸ０１〜Ｘ０２（Ｘ０１＜Ｘｃ＜Ｘ０２）である探索領域ＳＲ１を抽出できる。図５では、ボンネットＢＮが略等脚台形状に模式化されて示されているが、実際には、ボンネットＢＮが＋Ｙ側に凸に丸く映り込むことがある。このため、探索領域ＳＲ１をフレーム画像ＦＩにおけるＹ方向の下側で且つＸ方向の中央側に決定することで、ボンネットＢＮが＋Ｙ側に最も出っ張る位置Ｙｂを特定可能である。また、図５に示すように、画像認識装置１００は、フレーム画像ＦＩに重ねて探索領域ＳＲ１を示す枠を表示部５に表示することができ、探索領域ＳＲ１を示す枠の内側をハイライト表示することができる。

画像認識装置１００は、探索領域ＳＲ１から直線を検出する処理（Ｓ４）において、図６（ａ）〜図６（ｄ）に示す動作を行うことができる。図６（ａ）〜図６（ｄ）は、それぞれ、フレーム画像ＦＩから直線検出用に抽出された探索領域ＳＲ１を示す図である。

例えば、図６（ａ）、図６（ｃ）では、あるフレーム期間の探索領域ＳＲ１−１に対して直線検出処理（Ｓ４）が行われ、直線ＬＮ１，ＬＮ３が検出されたことを示している。図６（ｂ）、図６（ｄ）では、次のフレーム期間の探索領域ＳＲ１−２に対して直線検出処理（Ｓ４）が行われ、直線ＬＮ２，ＬＮ４が検出されたことを示している。図６（ａ）、図６（ｃ）に示す探索領域ＳＲ１−１が直線検出処理を施される最初の探索領域である場合、図６（ｂ）に一点鎖線で示されるように、直線ＬＮ１の端点ＥＰ１の座標（Ｙ座標Ｙ０）が基準座標の初期位置ＥＬ１として設定され得る。直線ＬＮ２は、基準座標の初期位置ＥＬ１より下方に端点ＥＰ２を有する。

直線検出処理（Ｓ４）で検出された直線のうち非有効視野範囲と有効視野範囲との境界位置（ボンネットＢＮ及び／又はダッシュボードＤＢのエッジ位置）の推定に適した候補直線を抽出する（Ｓ５）際に、図７（ａ）、図７（ｂ）に示すような抽出条件が用いられる。図７（ａ）、図７（ｂ）は、探索領域での抽出条件を示す図である。

図７（ａ）は、直線の角度に関する条件を示す。図７（ａ）に示されるように、路面上のセンターラインや路肩など進行方向に対して概略的におなじ向きとみなせる直線の角度範囲が抽出条件として直線座標処理部１０６に設定され得る。路面上には進行方向の角度範囲以外の線も存在し、前方車両から抽出される直線などと区別が困難になり得るため、直線抽出量などの状況に応じて角度範囲は可変とするのが望ましい。

図７（ｂ）は、既に基準座標が設定されている場合における基準座標からの距離に関する条件を示す。図７（ｂ）に示されるように、基準座標（Ｙ座標Ｙｋ、ｋは任意の整数）に対して（±Ｙ方向に）どれだけ離れているかで候補直線に含めるか否かを判定する。あまり離れていると誤認識の可能性があるためである。例えば、図７（ｂ）では、抽出条件が、基準座標（Ｙ座標Ｙｋ）から＋Ｙ方向にｄ１以内のＹ方向距離であり且つ基準座標（Ｙ座標Ｙｋ）から−Ｙ方向にｄ２以内のＹ方向距離であるような端点座標を有する直線を抽出することである場合が例示されている。ｄ１とｄ２とは、同じであってもよいし、異なっていてもよい。この範囲（ｄ１，ｄ２）は、角度範囲（図７（ａ）参照）と同様に状況に応じて可変とするのが望ましい。

直線の端点座標がサンプリングされる際（Ｓ６）には、抽出された候補直線のうち、図６（ｃ）、図６（ｄ）に示すような複数のフレーム期間の間で略同一の直線を検出し棄却する。例えば、図６（ｃ）、図６（ｄ）に示すように、連続するフレーム期間の探索領域ＳＲ１−１，ＳＲ１−２で同じ位置にある直線ＬＮ３，ＬＮ４は、ボンネットＢＮ及び／又はダッシュボードＤＢ（図１参照）上の直線か、あるいは車両ＣＡが停止しているか、あるいは前方車両の直線であるため、基準座標の設定には採用されず、棄却され得る。

基準座標が設定又は更新される際（Ｓ７）には、画像認識装置１００は、図８（ａ）〜図８（ｃ）に示す動作を行うことができる。図８（ａ）〜図８（ｃ）は、基準座標を設定又は更新する処理を示す図である。

図８（ａ）に示すように、探索領域ＳＲ１−３において、基準位置（Ｙ座標Ｙ１）を中心にした直線検出範囲（Ｙ座標についてＹ１＋ｄ１〜Ｙ１−ｄ２の範囲）内の端点座標を有する直線について端点座標（終点座標）をサンプリングする。例えば、検出された直線ＬＮ５，ＬＮ６のうち抽出条件を満足するのが直線ＬＮ５である場合、画像認識装置１００は、基準座標（Ｙ座標Ｙ１）とサンプルされた直線ＬＮ５の端点座標（Ｙ座標Ｙ２）との平均値Ｙ３を次の数式１により計算する。
Ｙ３＝（Ｙ１＋Ｙ２）／２・・・数式１

図８（ｂ）に示すように、画像認識装置１００は、数式１の平均値を新たな基準座標として更新する。すなわち、画像認識装置１００は、基準座標に対応した基準位置をＥＬ２からＥＬ３に更新する。

図８（ａ）及び図８（ｂ）に示されるような処理を繰り返すことで、図８（ｃ）に示すように、数式２に示す基準座標Ｙｎ（ｎは任意の正の整数）が得られる。
Ｙｎ＝（Ｙｎ−２＋Ｙｎ−１）／２・・・数式２

図８（ｃ）には、探索領域ＳＲ１−ｎにおいて、基準座標Ｙｎに対応した基準位置ＥＬｎ（≒ボンネットＢＮ及び／又はダッシュボードＤＢの位置）が得られた状態が示されている。図８（ｃ）に示すように基準位置が得られた状態として確定するには、更新量やサンプル数などに応じてあらかじめ設定された閾値を使って判定を行うことが考えられる。

画像認識装置１００は、フレーム画像ＦＩにおける消失点を検出する処理（Ｓ１０）において、フレーム画像ＦＩにおける図９に示すような位置に探索領域ＳＲ３を決定できる。図９は、車載カメラ２で撮像されたフレーム画像ＦＩ及び探索領域ＳＲ３を示す図である。例えば、画像認識装置１００は、フレーム画像ＦＩにおける基準位置ＥＬｎ（≒ボンネットＢＮ及び／又はダッシュボードＤＢの位置）以上のＹ座標に対応したＹ位置を路面有効範囲（有効視野範囲）として、消失点検出に使用する探索領域ＳＲ３を決定できる。図９では、路面上や路肩から得られる直線の延長交点から消失点を検出する処理を想定しており、Ｙ方向はボンネット／ダッシュボード位置（Ｙ座標Ｙｎ）から画像中心位置（Ｙ座標Ｙｃ）までの範囲、Ｘ方向は歩道を含まない路面として両端を含まない範囲（Ｘ座標についてＸ１〜Ｘ２の範囲）が探索領域ＳＲ３として設定された場合が例示されている。

画像認識装置１００は、フレーム画像ＦＩの位置を補正する処理（Ｓ１２）において、図１０（ａ）、図１０（ｂ）に示す動作を行うことができる。図１０（ａ）、図１０（ｂ）は、フレーム画像ＦＩの位置を補正する処理を示す図である。

例えば、図１０（ａ）において黒点が、検出された消失点ＶＰを示し、白抜きの点が、フレーム画像ＦＩの中心点ＣＰを示している。このとき、画像認識装置１００は、フレーム画像ＦＩの中心点と消失点の位置との関係が予め決められた関係（例えば、両者の位置を一致される関係）からどの程度ずれているのかについてずれ量（ベクトル量）を求める。例えば、予め決められた関係が両者の位置を一致される関係である場合、画像認識装置１００は、求めるべきずれ量として、消失点ＶＰの画像中心点ＣＰからのずれ量ＭＡを求めることができる。ずれ量ＭＡは、ベクトル量である。

このとき、画像認識装置１００は、ずれ量ＭＡに基づいて、フレーム画像ＦＩの位置を補正する。すなわち、画像認識装置１００は、ずれ量ＭＡをキャンセルするように、フレーム画像ＦＩの位置を補正すべき補正量ＣＲを求める。補正量ＣＲは、例えば、次の数式３を満たすベクトル量である。
ＣＲ＝−ＭＡ・・・数式３

画像認識装置１００は、フレーム画像ＦＩにおける各画素の位置を補正量ＣＲでシフトさせるように各画素データを調整し、フレーム画像ＦＩにおける画素データが存在しない領域の各画素位置の輝度レベルに例えば０埋めを行う。これにより、画像認識装置１００は、フレーム画像ＦＩの中心点と消失点の位置との関係が予め決められた関係に補正されたフレーム画像ＦＩを表示部５に表示することができ、画素データが存在しない領域を背景色又は黒色などで表示することができる。

例えば、図１１（ａ）に示すように、非有効視野範囲にボンネットＢＮが含まれていても、画像認識装置１００は、基準座標（Ｙ座標Ｙｎ）を基準として有効視野範囲から探索領域ＳＲ２−１，ＳＲ２−２，ＳＲ２−３を抽出できる。画像認識装置１００は、抽出された探索領域ＳＲ２−１，ＳＲ２−２，ＳＲ２−３に対して画像認識を行う。例えば、画像認識装置１００は、それぞれ、交通標識、信号機、路面上の白線のテンプレート画像を用いたテンプレートマッチングを行い、探索領域ＳＲ２−１，ＳＲ２−２，ＳＲ２−３から交通標識、信号機、路面上の白線を認識できる。

同様に、図１１（ｂ）に示すように、非有効視野範囲にダッシュボードＤＢが含まれていても、画像認識装置１００は、基準座標（Ｙ座標Ｙｎ’）を基準として有効視野範囲から探索領域ＳＲ２−１’，ＳＲ２−２’，ＳＲ２−３’を抽出できる。画像認識装置１００は、抽出された探索領域ＳＲ２−１’，ＳＲ２−２’，ＳＲ２−３’に対して画像認識を行う。例えば、画像認識装置１００は、それぞれ、交通標識、信号機、路面上の白線のテンプレート画像を用いたテンプレートマッチングを行い、探索領域ＳＲ２−１’，ＳＲ２−２’，ＳＲ２−３’から交通標識、信号機、路面上の白線を認識できる。

以上のように、実施形態では、画像認識システム１において、不要な物体及びその周辺を含む探索領域に対して直線検出を行いその結果に基づいて有効視野範囲と非有効視野範囲との境界位置（ボンネットＢＮ、ダッシュボードＤＢの映り込み位置）を推定し、その推定結果に応じて有効視野範囲から抽出された新たな探索領域に対して画像認識を行う。これにより、車載カメラ２の取り付け位置や角度のバラツキによる有効視野範囲と非有効視野範囲との境界位置の変動を自動で検出でき、有効視野範囲を正確に得ることができる。この結果、画像認識処理において、不要な物体（例えば、ボンネットＢＮ及び／又はダッシュボードＤＢ等）の映り込みによる誤認識を防ぐことができ、有効視野範囲の位置のバラツキによる影響を低減できる。すなわち、車載カメラ２の取り付け位置や角度のバラツキがあっても、車両ごとの視野調整が必要なく、車外における物体（例えば、歩行者、自転車、オートバイ、他の車両、ガードレール、信号機、交通標識、路面上の白線、及び／又は建築物など）に対する安定した画像認識性能を確保することができる。

１ 画像認識システム
２ 車載カメラ
１００ 画像認識装置
１０３ 画像処理部
１０５ 直線検出部
１０６ 直線座標処理部
１０７ 基準座標比較部

特開２０１３−２２５１７９号公報

Claims (10)

1. 車両に搭載された撮像手段で撮像されたフレーム画像における第１の探索領域から直線を検出する検出手段と、
   前記検出手段で検出された直線のうち路面に対応した直線の端点座標を求める演算手段と、
   前記演算手段で求められた端点座標に基づいて、前記フレーム画像における有効視野範囲と非有効視野範囲との境界に対応した基準座標を設定する設定手段と、
   前記設定手段で設定された基準座標を基準として前記有効視野範囲から抽出された第２の探索領域に対して画像認識を行う認識手段と、
   を備えた画像認識装置。
2. 前記非有効視野範囲は、前記車両のボンネット及びダッシュボードの少なくとも一方が映り込んだ領域を含む
   請求項１に記載の画像認識装置。
3. 前記第１の探索領域は、前記フレーム画像における縦方向の下側で且つ横方向の中央側に位置した領域を含む
   請求項１又は２に記載の画像認識装置。
4. 前記演算手段は、前記検出手段で検出された１以上の直線のうち前記車両の進行方向に対して所定の角度範囲に収まった傾きを有する直線について端点座標を求める
   請求項１から３のいずれか１項に記載の画像認識装置。
5. 前記撮像手段で撮像された複数のフレーム画像を記録する記録手段をさらに備え、
   前記演算手段は、前記検出手段で検出された１以上の直線のうち前記複数のフレーム画像の間で略同一である直線を棄却し残った直線の端点座標を求める
   請求項１から４のいずれか１項に記載の画像認識装置。
6. 前記演算手段は、前記設定手段で基準座標が設定されている場合に、前記検出手段で検出された１以上の直線のうち前記設定された基準座標から所定の距離以内にある端点座標を有する直線について端点座標を求める
   請求項５に記載の画像認識装置。
7. 前記設定手段は、前記設定手段で基準座標が設定されている場合に、前記設定された基準座標と前記求められた端点座標とについて平均化された平均座標を求め、前記平均座標で前記基準座標を更新する
   請求項５又は６に記載の画像認識装置。
8. 前記設定手段は、最初に設定された前記基準座標に対する更新後の前記基準座標の変化量が変化量閾値に達した場合、あるいは、前記基準座標が更新される回数が回数閾値に達した場合、前記基準座標を確定する
   請求項７に記載の画像認識装置。
9. 車両に搭載された撮像手段と、
   前記撮像手段で撮像されたフレーム画像が供給される画像認識装置と、
   を備え、
   前記画像認識装置は、
   前記供給されたフレーム画像における第１の探索領域から直線を検出する検出手段と、
   前記検出手段で検出された直線のうち路面に対応した直線の端点座標を求める演算手段と、
   前記演算手段で求められた端点座標に基づいて、前記フレーム画像における有効視野範囲と非有効視野範囲との境界に対応した基準座標を設定する設定手段と、
   前記設定手段で設定された基準座標を基準として前記有効視野範囲から抽出された第２の探索領域に対して画像認識を行う認識手段と、
   を有する
   画像認識システム。
10. 車両に搭載された撮像手段で撮像されたフレーム画像における第１の探索領域から直線を検出する検出工程と、
    前記検出工程で検出された直線のうち路面に対応した直線の端点座標を求める演算工程と、
    前記演算工程で求められた端点座標に基づいて、前記フレーム画像における有効視野範囲と非有効視野範囲との境界に対応した基準座標を設定する設定工程と、
    前記設定工程で設定された基準座標を基準として前記有効視野範囲から抽出された第２の探索領域に対して画像認識を行う認識工程と、
    を備えた画像認識方法。

Images