JP2009278185A - 画像認識装置 - Google Patents

Abstract

【課題】簡易な構成で、精度良く被写体の特徴を認識することができる画像認識装置を提供する。
【解決手段】画像処理装置は、撮像手段、補正手段、および画像処理手段を備える。撮像手段は、撮像範囲内の被写体を、当該撮像範囲内の第１の範囲については第１の画角で、当該撮像範囲内の第２の範囲については当該第１の画角よりも広い第２の画角で撮像する。補正手段は、撮像手段によって撮像された画像に対して、第１の範囲に対応する第１の画像領域と第２の範囲に対応する第２の画像領域とが同じ大きさとなるように当該各画像領域の画像を補正する。画像処理手段は、補正手段によって補正された画像を用いて画像認識処理を実行する。
【選択図】図４

Description

本発明は、画像認識装置に関し、より特定的には、被写体の画像に対して画像処理を行う、画像認識装置に関する。

従来、カメラにより被験者を撮像し、当該撮像された画像から被験者の特徴点を認識する画像認識装置が知られている。このような装置の一例として、例えば特許文献１に開示された装置がある。上記特許文献１に開示されている装置は、カメラにより被験者を撮影し、撮影した画像から目の特徴点を認識（アイリス認識）する装置である。具体的には、上記装置では、多画角カメラによって被験者の顔を撮像し、当該顔について広角画像と狭角画像とを得る。そして、上記装置は、撮像された広角画像に対して目を検索する処理を行い、上記多画角カメラを上下左右に可動にするパン・チルト機構部を制御して、被験者の目が撮影できる位置に多画角カメラを動かす。さらに、上記装置は、被験者の目が撮影できる位置で再び撮影し、当該撮影された画像からアイリス認識処理を行っている。このように上記装置では、被写体について２回撮影を行い、得られた広角画像および狭角画像それぞれについて、画像処理を行っている。
特開２００１−２８５６８２号公報

このように、上記装置では、被写体（被験者）について２回撮影を行い、それぞれについて処理を行っており、処理が複雑である。また、上記装置は、多画角カメラを移動させるためのパン・チルト機構部を備えているためカメラ自体の構造も複雑である。

本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、簡易な構成で、精度良く被写体の特徴を認識することができる画像認識装置を提供することにある。

上記のような目的を達成するために、本発明は、以下に示すような特徴を有している。第１の発明は、被写体の画像に対して画像認識を行う画像認識装置である。画像処理装置は、撮像手段、補正手段、および画像処理手段を備える。撮像手段は、撮像範囲内の被写体を、当該撮像範囲内の第１の範囲については第１の画角で、当該撮像範囲内の第２の範囲については当該第１の画角よりも広い第２の画角で撮像する。補正手段は、撮像手段によって撮像された画像に対して、第１の範囲に対応する第１の画像領域と第２の範囲に対応する第２の画像領域とが同じ大きさとなるように当該各画像領域の画像を補正する。画像処理手段は、補正手段によって補正された画像を用いて画像認識処理を実行する。

第２の発明は、上記第１の発明において、画像処理装置は、車両に設置され、撮像手段が撮像した画像の上方は第１の画像領域で、下方は第２の画像領域である。また、第１の画像領域に運転者の目が含まれるように車両に設置される。

第３の発明は、上記第２の発明において、画像処理手段は、補正手段によって補正された画像を用いて、運転者の上瞼と下瞼との距離を算出する。

第４の発明は、上記第２の発明において、画像認識装置は、補正手段によって補正された画像を用いて運転者の状態を判別する状態判別手段をさらに備える。

第５の発明は、上記第１の発明において、画像認識装置は、車両に設置される。撮像手段は、撮像範囲内の第１の範囲については第１の画角で車両遠方を、撮像範囲内の第２の範囲については当該第１の画角より広い第２の画角で車両近傍を撮像する。

第６の発明は、上記第５の発明において、画像処理手段は、補正手段によって補正された画像を用いて、車両前方の走行路面の区画線を検出する。

第７の発明は、上記第６の発明において、画像認識装置は、走行路面の区画線から車両の走行目標となる目標軌道を算出する目標軌道算出手段をさらに備える。

上記第１の発明によれば、簡易な構成で、精度良く被写体の特徴を認識することができる。例えば、ドライバーの目の特徴点を検出するような場合、１つの撮像画像において当該ドライバーの目付近の画素を多く得ることができ、目の特徴点を精度良く検出することができる。また、道路の特徴点を検出するような場合、車両から遠方の画素を多く得ることができ、道路の特徴点を精度良く検出することができる。

上記第２の発明によれば、車両の運転者の目に関する情報を精度良く得ることができる。

上記第３の発明によれば、当該運転者の目の開度（上瞼と下瞼との距離）を正確に算出することができる。

上記第４の発明によれば、運転者の目の開度によって、当該運転者に対して、例えば、当該車両に備わったスピーカーや表示装置を介して注意喚起を行うことができる。具体的には、運転者の目の上瞼と下瞼との開度が小さい場合、例えば運転者が眠気を感じ薄目状態の場合、運転者に対して注意喚起を行うことができる。

上記第５の発明によれば、車両前方の走行路面の遠方と近傍とを詳細に撮像することができる。

上記第６の発明によれば、車両が走行している道路の区画線を検出するので、例えば、当該車両の走行路面のカーブ半径や車線幅などを正確に算出することができる。

上記第７の発明によれば、車両が走行している道路の区画線に基づいて、当該車両の走行目標となる目標軌道を算出するので、上記車両が車線から逸脱する可能性がある場合、上記車両が上記道路の車線中央付近を走行するように、例えばパワーステアリング機構を作動さることによって事故予防が可能となる。

（第１の実施形態）
以下、図面を参照しながら、第１の実施形態に係る画像認識装置１の構成および動作について説明する。なお、第１の実施形態に係る画像認識装置１については、当該画像認識装置１が自動車（以下、車両と称す）に設置される場合を想定して、当該車両を運転するドライバーの顔の情報を生成する形態を説明する。さらに、画像認識装置１が生成した情報に基づいて、上記車両に搭載された各種装置に対して制御を行う予防安全ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１３０が、画像認識装置１と共に上記車両に設置される例について説明する。

図１は、本発明の第１の実施形態に係る画像認識装置１の構成の一例を示すブロック図である。図１に示すように、画像認識装置１は、カメラ１１０と、画像処理ＥＣＵ１２０とを備えている。

カメラ１１０は、例えばＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラ等である。カメラ１１０は、運転席に着席したドライバーの顔全体を撮像できるような画角を有し、例えば、ステアリングコラム上に設置される（図２参照）。そして、カメラ１１０は、例えば所定時間間隔でドライバーの顔を撮像し、当該撮像した画像を画像処理ＥＣＵ１２０に出力する。また、カメラ１１０は、本発明の撮像手段の一例に相当する。

図３は、カメラ１１０を横から見た断面図である。図３に示すように、カメラ１１０は、複合レンズ１１１および撮像素子１１２等を備えている。

複合レンズ１１１は、被写体の横方向（水平方向）の大きさは変化させずに、上記横方向に直交する縦方向（垂直方向）を拡大したり、上記横方向に直交する縦方向（垂直方向）を縮小したりする。そして、複合レンズ１１１によって拡大および縮小された被写体の拡大像および縮小像は、撮像素子１１２によって検出される。

このように、カメラ１１０の複合レンズ１１１によって被写体の拡大像と縮小像とが撮像素子１１２によって検出される。なお、複合レンズ１１１は、水平方向の歪みを抑えて、当該水平方向と直交する方向の大きさを変化させることができる光学系であればよく、当業者の周知技術（例えばアナモフィック光学系レンズなど）により構成することができる。

図４は、カメラ１１０内の各レンズによって撮像素子１１２に結像されたドライバーの顔である。図５は、（被写体の拡大や縮小を行わない）通常のカメラに備わったレンズによって撮像素子に結像されたドライバーの顔である。図４に示すように、撮像素子１１２の上部約５／６が拡大像４０１で、撮像素子１１２の下部約１／６に縮小像４０２が撮像素子１１２に結像されている。このように、カメラ１１０でドライバーの顔を撮像したとき、図５に示したような通常のカメラで撮像したときと比べて、ドライバーの目付近が拡大像４０１として撮像素子１１２に結像される。したがって、カメラ１１０でドライバーの顔を撮像した場合、撮像素子１１２内におけるドライバーの目付近の画素は増え、ドライバーの鼻や口付近の画素は減ることになる。これによって、限られた画素数の撮像素子１１２において、ドライバーの目付近について多くの画素を割り当てることができる。なお、上記車両のドライバーが当該車両の運転席に着席したとき、ドライバーの目付近が拡大像４０１として撮像素子１１２に結像されるように、当該カメラ１１０は上記車両に設置されればよい。また、一例として、撮像素子１１２内の上部約５／６が拡大像、下部１／６が縮小像として説明したが、この割合は上述した割合に限られるものではない。なお、撮像素子１１２内において、拡大像４０１を含む範囲は、本発明の第１の範囲の一例に、撮像素子１１２内において、縮小像４０２を含む範囲は、本発明の第２の範囲の一例にそれぞれ相当する。

画像処理ＥＣＵ１２０は、幾何学変換処理部１２１、顔向き検出部１２２、閉眼検出部１２３、画像パターン格納部１２４などを備える情報処理装置である。画像処理ＥＣＵ１２０は、典型的には中央演算装置や読み書き可能な記憶媒体等を備えるマイクロコンピューターである。画像処理ＥＣＵ１２０は、カメラ１１０が撮像した画像を処理し、ドライバーの顔向きやドライバーの目の状態など、それらドライバーの顔に関する情報を生成し、当該情報を予防安全ＥＣＵ１３０に出力する。

幾何学変換処理部１２１は、カメラ１１０が撮像した画像について、当該画像の形状を変更する幾何学変換処理（具体的には歪み補正）を行う。上述したように、カメラ１１０の各レンズによって、当該カメラ１１０の撮像素子１１２にはドライバーの顔は拡大像４０１および縮小像４０２として結像される。つまり、カメラ１１０によって撮像されたドライバーの顔は拡大像４０１と縮小像４０２とからなる画像として出力される。幾何学変換処理部１２１は、カメラ１１０によって撮像された画像について、後に顔向き検出部１２２や閉眼検出部１２３の処理が正確に行われるように、当該撮像された画像の拡大像４０１と縮小像４０２との大きさが同じになるように歪み補正を行う。なお、幾何学変換処理部１２１は、本発明の補正手段の一例に相当する。

顔向き検出部１２２は、幾何学変換処理部１２１によって幾何学変換処理された画像を用い、ドライバーの顔向き角度を算出する。そして、顔向き検出部１２２によって算出された顔向き角度の情報は予防安全ＥＣＵ１３０へ出力される。なお、顔向き検出部１２２は、本発明の画像処理手段の一例に相当する。

閉眼検出部１２３は、幾何学変換処理部１２１によって幾何学変換処理された画像を用い、ドライバーの目について、上瞼と下瞼との距離を算出する。そして、閉眼検出部１２３によって算出された上記距離の情報は予防安全ＥＣＵ１３０へ出力される。なお、閉眼検出部１２３は、本発明の画像処理手段の一例に相当する。

画像パターン格納部１２４は、読み書き可能な記憶媒体で構成され、様々な画像パターンが記憶されている。本実施形態において、画像パターン格納部１２４に格納されている画像は、具体的には、顔、目、口および鼻などの様々な人物の顔画像パターンを示す情報である。また、顔画像パターンとは、様々な人物の顔部品テンプレート画像（例えば、口、鼻、目などのテンプレート画像）も含んでいる。なお、画像パターン格納部１２４に記憶されている情報は、上記車両のメンテナンスなどのとき、書き換え作業等によって、適宜情報が更新されてもかまわない。

予防安全ＥＣＵ１３０は、画像処理ＥＣＵ１２０から出力される情報（顔向きや角度、上瞼と下瞼との距離）に基づいて、ドライバーの状態を判断する。画像処理ＥＣＵ１２０は、典型的には中央演算装置や読み書き可能な記憶媒体等を備えるマイクロコンピューターである。具体的には、予防安全ＥＣＵ１３０は、「ドライバーはわき見をしている」、「ドライバーは居眠りをしている（目を閉じている）」などのドライバーの状態を判断することができる。さらに、予防安全ＥＣＵ１３０は、判断したドライバーの状態に基づいて、上記車両に搭載されている各種装置の動作を制御して予防安全を行う。なお、予防安全ＥＣＵ１３０は、本発明の状態判別手段の一例に相当する。

ここで、上記予防安全とは、「ドライバーはわき見をしている」など、事故に繋がってしまうような運転状態であると予防安全ＥＣＵ１３０が判断した場合に、上記各種装置に対して行う制御である。具体的には、予防安全ＥＣＵ１３０は、上記車両に搭載されている警告灯を点灯させたり警報ブザーを鳴動させたりして、ドライバーに注意喚起を促す。

このように、第１の実施形態に係る画像認識装置１において、画像処理ＥＣＵ１２０は、カメラ１１０が撮像した画像からドライバーの顔に関する情報を生成する。そして、予防安全ＥＣＵ１３０は、画像処理ＥＣＵ１２０が生成したドライバーの顔に関する情報に基づいて、当該ドライバーの状態を判断する。予防安全ＥＣＵ１３０は、上記車両に設置されている各種装置に指示して警報などを行う。以下、図６〜図１０を参照して、第１の実施形態に係る画像認識装置１の画像処理ＥＣＵ１２０各部が行う処理の一例を説明する。

図６は、第１の実施形態に係る画像認識装置１の画像処理ＥＣＵ１２０において行われる処理の流れの一例を示したフローチャートである。なお、図６に示す処理は、画像処理ＥＣＵ１２０の各部がそれぞれ所定のプログラムを実行することにより行われる。また、図６に示す処理は、画像処理ＥＣＵ１２０の電源がＯＮ（例えば、画像認識装置１が搭載された車両のイグニッションスイッチがＯＮ）されることによって開始される。また、当該処理は、画像処理ＥＣＵ１２０の電源がＯＦＦ（例えば、イグニッションスイッチがＯＦＦ）されることによって終了する。なお、イグニッションスイッチは、以下ＩＧと称す。

ステップＳ６１において、幾何学変換処理部１２１は、カメラ１１０が撮像した画像を取得する。ここでカメラ１１０が撮像した画像を示す。図７は、カメラ１１０がドライバーの顔を撮像することによって得られた画像である。図７に示すように、カメラ１１０によって撮像した画像は、複合レンズ１１１によってそれぞれ拡大された領域（以下、拡大領域７０１と称す）と縮小された領域（以下、縮小領域７０２と称す）とから構成されている。このように、カメラ１１０で撮像して画像で得られる画像の拡大領域７０１は、実物（実際のドライバーの顔の形）と比較してｙ方向（画像の縦方向）に拡大され、縮小領域７０２は、実物（実際のドライバーの顔の形）と比較してｙ方向（画像の縦方向）に縮小されている。幾何学変換処理部１２１は、後述するエッジ抽出やパターンマッチング処理を正確に行うため、カメラ１１０が撮像した画像について、当該画像の形状を変更する歪み補正処理を行う。なお、拡大された領域は、本発明の第１の画像領域の一例に、縮小された領域は、本発明の第２の画像領域の一例にそれぞれ相当する。

ステップＳ６２において、幾何学変換処理部１２１は、幾何学変換処理（歪み補正）を行う。ここで、図７および図８を用いて、幾何学変換処理部１２１が行う処理の一例を説明する。図７に示すように、カメラ１１０がドライバーの顔を撮像して得た画像は、複合レンズ１１１よって拡大および縮小（より具体的には、垂直方向に拡大および縮小）されているため、拡大領域７０１と縮小領域７０２とからなる。幾何学変換処理部１２１は、図７の画像の縮小領域７０２について、拡大領域７０１の大きさと同じになるように、電子的に歪み補正を行う。

図８は、カメラ１１０で得られた画像（図７に示した画像）について歪み補正を行った画像である。図８に示すように、幾何学変換処理部１２１は、例えば図７に示した画像の縮小領域７０２に含まれる全ての画素をｙ方向にα倍に拡大する処理を行う。このようにすれば、図７に示した画像において、拡大領域７０１と縮小領域７０２とが同じ大きさの画像とすることができる（図８参照）。なお、αの具体的な値は、カメラ１１０のレンズの特性によって予め知ることができる。

このように、幾何学変換処理部１２１は、カメラ１１０から取得した画像の縮小領域７０２と拡大領域７０１とが大きさと同じになるように歪み補正を行う。換言すると、幾何学変換処理部１２１が歪み補正を行わなければ、１つの画像中に大きさ（倍率）の異なる画像が存在することになり、例えば、口や鼻の位置を推定する処理や顔の幅のエッジ点を抽出する処理の際、当該処理が複雑になる。つまり、幾何学変換処理部１２１が歪み補正を行うことにより、顔の幅のエッジ点などを抽出する処理が容易になる。

図６の説明に戻って、ステップＳ６３において、顔向き検出部１２２は、幾何学変換処理部１２１によって歪み補正が施された画像を用い、ドライバーの顔向きを算出する。図９は、ステップＳ６３におけるドライバーの顔向きを算出する動作の一例を示すフローチャートである。

図９のステップＳ６４において、顔向き検出部１２２は、上記ステップＳ６２で幾何学変換処理部１２１によって歪み処理された画像に対してソーベルフィルタ処理を行うことによってエッジ点を抽出し、歪み処理された画像に対して所定方向にソーベルフィルタ処理を施す。そして、顔向き検出部１２２は、ソーベルフィルタ処理後のソーベル処理画像内における輝度差を用いて、当該ソーベル処理画像内から所定方向のエッジ点を抽出する処理を行い、次のステップＳ６５に処理を進める。

ステップＳ６５において、顔向き検出部１２２は、上記ステップＳ６４でソーベル処理画像内から抽出した所定方向のエッジ点を用いて、当該ソーベル処理画像内におけるドライバーの顔の幅を算出する処理を行う。具体的には、顔向き検出部１２２は、抽出された所定方向のエッジ点に対するヒストグラム（エッジヒストグラム）を生成し、顔の左右両端の長い輪郭を検出することによってドライバーの顔右端および顔左端を抽出する。そして、顔向き検出部１２２は、抽出された顔右端の位置から顔左端の位置を減算した長さを、ドライバーの顔幅として算出する。そして、顔向き検出部１２２は、算出されたドライバーの顔の幅の情報を閉眼検出部１２３に出力し、次のステップＳ６６へ処理を進める。

ステップＳ６６において、顔向き検出部１２２は、上記ステップＳ６５で顔の幅が算出できたか否かを判断する。そして、顔向き検出部１２２は、ドライバーの顔の幅の情報が算出できた場合（ＹＥＳ）、次のステップＳ６７に処理を進める。一方、画像から所定方向のエッジ点が抽出できなかったり、ドライバーの顔右端および顔左端が抽出できなかったりした場合（ＮＯ）、顔向き検出部１２２は、上記ステップＳ６１に処理を戻す。なお、カメラ１１０の撮像エリア内にドライバーの顔がない場合、すなわちドライバーが横を向いていたり、わき見運転をしていたりする場合、ドライバーの顔の幅の情報が算出できないことがある。この場合、顔向き検出部１２２は、予防安全ＥＣＵ１３０に対して上記予防安全を指示してもかまわない。

ステップＳ６７において、顔向き検出部１２２は、上記ステップＳ６５で算出された顔の幅を用いて、撮像画像におけるドライバーの目、鼻、および口の位置（顔部品位置）を推定する。具体的な方法の一例として、顔向き検出部１２２は、撮像画像の所定方向にソーベルフィルタ処理を施す。そして、顔向き検出部１２２は、所定方向のソーベル処理画像を用いて顔部品を抽出した画像（白黒白エッジ画像）を作成して、上記顔幅の幅から顔部品（目、鼻、口）が存在している位置を決定する。そして、顔向き検出部１２２は、ステップＳ６８へ処理を進める。

ステップＳ６８において、顔向き検出部１２２は、決定された目、鼻、口の位置に基づいて顔画像に対する顔の中心線を求める。そして、ステップＳ６９において、顔向き検出部１２２は、顔の中心線が求めることができた否かを判断する。そして、顔向き検出部１２２は、顔の中心線が求まった場合（ＹＥＳ）、次のステップＳ６１０へ処理を進める。一方、顔向き検出部１２２は、顔の中心線が求まらなかった場合（ＮＯ）、上記ステップＳ６１に戻って処理を繰り返す。

ステップＳ６１０において、顔向き検出部１２２は、ドライバーの顔向き角度を算出する。具体的な処理の一例を示すと、顔向き検出部１２２は、これまでのステップで鼻や目の位置や顔幅を算出した。顔向き検出部１２２は、当該算出された鼻や目の位置や顔幅から顔の中心線を求め、当該顔の中心線から、顔の左右比率を算出し、当該左右比率を角度に換算して、ドライバーの顔向き角度を算出する。なお、顔向き角度をθとしたとき、カメラ１１０に対して正面を向いた状態でθ＝０である。そして、顔向き角度θの値は、顔がカメラ１１０に対して正面を向いた状態から右方向を向くほど大きくなる。一方、顔向き角度θの値は、顔がカメラ１１０に対して正面を向いた状態から左方向を向くほど小さくなる。すなわち、顔向き角度θは、ドライバーが進行方向右側を向くと正の値となり、左側を向くと負の値となる。なお、上述したような、顔向き検出部１２２が顔向き角度θを算出する方法は一例である。よって、顔向き角度θを算出する方法は上述したような例に限られず、従来の既知の手法を用いても構わない。

図６に戻り、上記ステップＳ６３における顔向き角度の算出処理の後、ステップＳ６１１において、予防安全ＥＣＵ１３０は、当該顔向き角度に基づいてドライバーの顔の向きが正面か否を判断する。そして、ドライバーの顔向きが正面である場合（ＹＥＳ）、ステップＳ６１３へ処理を進める。一方、ドライバーの顔向きが正面でない場合（ＮＯ）、ステップＳ６１２へ処理を進める。なお、ドライバーの顔向きが正面でない場合の一例として、ドライバーがわき見やよそ見をしている場合があるので、ステップＳ６１２において、予防安全ＥＣＵ１３０は、上記車両に搭載されている各種装置に対して予防安全を実行するように指示する。そして、予防安全ＥＣＵ１３０は、次のステップＳ６１３に処理を進める。

ステップＳ６１３において、閉眼検出部１２３は、ドライバーの目の開度を算出する。以下、図１０を用い、閉眼検出部１２３が行う、目の開度を算出する方法について説明する。

図１０は、ステップＳ６１３において、閉眼検出部１２３が行う、ドライバーの目の開度を算出する動作の一例を示すフローチャートである。図１０のステップＳ６１４において、閉眼検出部１２３は、上記ステップＳ６２で取得した（幾何学変換処理部１２１によって歪み補正された）画像からドライバーの鼻孔を探す。例えば、閉眼検出部１２３は、顔向き検出部１２２から取得した顔幅を示すデータと、画像パターン格納部１２４に格納されている顔画像パターンとを用いて、上記画像において鼻孔が存在していると予想される範囲、すなわち鼻孔検索範囲を設定する。そして、閉眼検出部１２３は、設定した鼻孔検索範囲内の画像から輝度が相対的に低い画素を検出し、それら低輝度画素群の円らしさを算出する。そして、閉眼検出部１２３は、円らしさが最も高い（円に近い）点群をドライバーの鼻孔とし、ステップＳ６１５へ処理を進める。

ステップＳ６１５において、閉眼検出部１２３は、鼻孔を探すことができたか否かを判断する。閉眼検出部１２３は、鼻孔を探すことができた場合（ＹＥＳ）、次のステップＳ６１８に処理を進める。一方、閉眼検出部１２３は、鼻孔を探すことができなかった場合（ＮＯ）、ステップＳ６１６へ処理を進める。

ステップＳ６１６において、閉眼検出部１２３は、上記ステップＳ６２で取得した（幾何学変換処理部１２１によって歪み補正された）画像からドライバーの口を探し、次のステップＳ６１７へ処理を進める。例えば、閉眼検出部１２３は、顔向き検出部１２２から取得した顔幅を示すデータと、画像パターン格納部１２４に格納されている顔画像パターンとを用いて、上記画像において口が存在していると予想される範囲、すなわち口検索範囲を設定する。次に、閉眼検出部１２３は、設定した口検索範囲内の撮像画像に対してエッジラインを抽出する画像処理を実施する。そして、閉眼検出部１２３は、画像パターン格納部１２４に格納されている口のテンプレート画像を用いて、エッジラインが抽出された画像に対するパターンマッチング処理を行って一致度を算出する。

ステップＳ６１７において、閉眼検出部１２３は、口を探すことができたか否かを判断する。閉眼検出部１２３は、口を探すことができた場合（ＹＥＳ）、ステップＳ６１８へ処理を進める。一方、閉眼検出部１２３は、口を探すことができなかった場合（ＮＯ）、上記ステップＳ６１に戻って処理を繰り返す。

ステップＳ６１８において、閉眼検出部１２３は、上記ステップＳ６２で取得した（幾何学変換処理部１２１によって歪み補正された）画像からドライバーの目を特定して、ステップＳ６１９へ処理を進める。例えば、上記ステップＳ６１５およびステップＳ６１６で検出したドライバーの鼻孔および口の位置を基準として、上記撮像画像における目の位置を推定する。そして、閉眼検出部１２３は、推定された目の位置における撮像画像に対して、エッジラインを抽出する画像処理を実施する。さらに、閉眼検出部１２３は、画像パターン格納部１２４に記憶されている目のテンプレート画像を用いて、エッジラインが抽出された画像に対するパターンマッチング処理を行って一致度を算出する。

ステップＳ６１９において、閉眼検出部１２３は、目を特定できたか否かを判断する。そして、閉眼検出部１２３は、目を特定できた場合（ＹＥＳ）、次のステップＳ６２０を進める。一方、閉眼検出部１２３は、目を特定できなかった場合（ＮＯ）、上記ステップＳ６１に戻って処理を繰り返す。なお、ステップＳ６１９の判断が否定される場合とは例えば、ドライバーがサングラス等を装着している等、撮像画像に対して目のエッジラインを抽出することができないため、目を特定することができない場合などである。このような場合、閉眼検出部１２３は、予防安全ＥＣＵ１３０に指示して車両に設けられたスピーカー等を介して、「サングラスを外してください」や「処理ができません」等を示す音声を発音させて、ドライバーに注意を促してもかまわない。

ステップＳ６２０において、閉眼検出部１２３は、上瞼を検出する。具体的には、閉眼検出部１２３は、推定した目の位置においてエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像からパターンマッチングなどにより上瞼を検出する。そして、閉眼検出部１２３は、次のステップＳ６２１へ処理を進める。

ステップＳ６２１において、閉眼検出部１２３は、下瞼を検出する。具体的には、閉眼検出部１２３が推定した目の位置においてエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像からパターンマッチングなどにより下瞼を検出する。そして、閉眼検出部１２３は、次のステップＳ６２２へ処理を進める。

ステップＳ６２２において、上記ステップＳ６２０で検出された上瞼と上記ステップＳ６２１で検出された下瞼との距離（以下、距離Ｌと称す）を算出する。そして、閉眼検出部１２３は、図１０に示したフローチャートの処理を終了する。

このとき、予防安全ＥＣＵ１３０は距離Ｌを閉眼検出部１２３から取得して、出当該した距離Ｌが予め定められた値より小さい場合、すなわちドライバーは「居眠りをしている可能性がある」と判断し、上述したような予防安全を実施してもよい。なお、予防安全ＥＣＵ１３０は距離Ｌに関する情報を予防安全ＥＣＵ１３０内に備わった記憶媒体に所定時間間隔で記憶し、距離Ｌが予め定められた値が一定時間継続（例えば５秒間）して続くようであれば、「居眠りをしている可能性がある」と判断してもよい。このようにすれば、ドライバーが一瞬だけ目を閉じた場合でも予防安全ＥＣＵ１３０が「居眠りをしている可能性がある」と判断してしまうようなことを防ぐことができる。

図６の説明に戻って、ステップＳ６２３において、画像処理ＥＣＵ１２０は、上記車両のＩＧがＯＦＦされたか否かを判断する。そして、画像処理ＥＣＵ１２０は、ＩＧがＯＦＦされた場合、当該フローチャートの処理を終了する。一方、画像処理ＥＣＵ１２０は、ＩＧがＯＦＦされていないと判断した場合、上記ステップＳ６１に戻って処理を繰り返す。

以上説明したように、第１の実施形態に係る画像認識装置１によれば、カメラ１１０によってドライバーの目付近が高精細な画像を撮像することができる。したがって、目の特徴点を正確に検出することができ、上瞼と下瞼との距離を精度良く算出することができる。

また、カメラが撮像した画像からドライバーの口または鼻を検出し、当該口または鼻の位置からドライバーの瞼（目の開度）を検出するような画像認識装置の場合、一般的に口や鼻の画像に関しては、目の画像と比較して高精細な画像はあまり要求されない。そのため、本実施形態に係る画像認識装置１のカメラ１１０は、ドライバーの顔を撮像するとき、限られた撮像素子において、口や鼻を含む領域に割り当てる素子の数を少なくし、目を含む領域に素子を多く割り当てる。したがって、画素数の多いカメラを使用する必要はなくなり、簡易な構成で、精度良く被写体の目に関する情報を得ることができ、閉眼検出を正確に行うことができる。

また、本実施形態では、幾何学変換処理部１２１は、カメラ１１０から取得した画像の縮小領域７０２の大きさ（倍率）を拡大領域７０１の大きさ（倍率）と同じになるように歪み補正を行う。これにより、例えば、口や鼻の位置を推定する処理や顔の幅のエッジ点を抽出する処理の際、当該処理が容易になり、正確にドライバーの顔の特徴点を検出することができる。

また、ステップＳ６２では、上述したように、幾何学変換処理部１２１は、縮小領域７０２についてのみ拡大領域７０１の大きさ（倍率）と同じになるように歪み補正を行った。なお、幾何学変換処理部１２１は、ステップＳ６２さらに幾何学変換処理をしてもよい。例えば、幾何学変換処理部１２１は、ステップＳ６２の処理の後、図８に示した画像に含まれる全ての画素をｘ方向（画像の横方向）に対して拡大する処理を行ってもよい。このような処理を行えば、得られる画像は実物と同じ形状（実際のドライバーの顔の形状）と同じになる。したがって、画像パターン格納部１２４に格納されている既存のテンプレート画像を用いてパターンマッチング処理をする際、当該処理がさらに容易になる。

（第２の実施形態）
次に、第２の実施形態について説明する。以下、図面を参照しながら、第２の実施形態に係る画像認識装置９の構成および動作について説明する。なお、第２の実施形態に係る画像認識装置９については、当該画像認識装置９が自動車（以下、車両と称す）に設置される場合を想定し、当該車両が走行する道路に関する情報を生成する形態を説明する。さらに、画像認識装置９が生成した情報に基づいて、当該車両に搭載された各種装置に対して制御を行う車両制御ＥＣＵ９３０が、画像認識装置９と共に上記車両に設置される例について説明する。

図１１は、本発明の第２の実施形態に係る画像認識装置９の構成の一例を示すブロック図である。図１１に示すように、画像認識装置９は、カメラ９１０と、画像処理ＥＣＵ９２０とを備えている。

カメラ９１０は、例えばＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラ等であり、車両の前方を撮像する。そして、カメラ９１０は、例えば、所定時間間隔で車両前方を撮像し、当該撮像した画像を画像処理ＥＣＵ９２０に出力する。

カメラ９１０が設置される位置は、車両前方を撮像するため、当該車両の進行方向に向けられており、運転の妨げにならない、例えばバックミラー裏側等に設置される。

図１２は、カメラ９１０を上部から見た断面図である。図１２に示すように、カメラ
９１０内部には、曲面ミラー９１１、撮像素子９１２等を備えている。また、カメラ９１０は、本発明の撮像手段の一例に相当する。

曲面ミラー９１１は、上方が低曲率の凸面で、上方から下方になるにしたがい高曲率の凸面になる自由曲面を有する。

図１３は、カメラ９１０で撮像して得られた車両前方の画像である。なお、比較のため（曲面ミラー９１１などを有しない）通常のカメラによって撮像した車両前方の画像を図１４に示した。図１３に示すように、曲面ミラー９１１によって、上記画像の上方は望遠レンズで撮像したような、上記画像の下方は広角レンズで撮像したような画像が得られる。つまり、曲面ミラー９１１によって、カメラ９１０が車両前方の走行路面を撮像すると、曲面ミラー９１１によって、得られる画像の上方は望遠で当該画像の下方になるに従い広角になる。従って、カメラ９１０で走行路面を撮像すると遠方は望遠で撮像されているため、より遠くまで詳細な画像を得ることができる。一方、近傍は広角で撮像されているため、上記車両前方の極近傍の白線までも得ることができる。一般的に、上記車両前方の走行路面の極近傍の白線を認識するためには、３０°〜４０°程度の画角が必要である。このような画角を例えば３０万画素程度の撮像素子で撮像すると、上記車両前方の走行路面の遠方の白線を精度良く撮像するとは困難である。本実施形態に係る画像認識装置のカメラ９１０は、限られた撮像素子において、車両前方の極近傍と遠方とを精度良く撮像することができる。なお、撮像素子９１２内において、上記車両前方の遠方を含む範囲は、本発明の第１の範囲の一例に、撮像素子９１２内において、上記車両前方の近傍を含む範囲は、本発明の第２の範囲の一例にそれぞれ相当する。

また、カメラ９１０は、曲面ミラー９１１を有するものに限られない。カメラ９１０は、水平方向、垂直方向の少なくとも一方の画角が異なり、１つの撮像画像内に望遠と広角とを有するように撮像できればよい。例えば、カメラ９１０は、曲面ミラー９１１ではなく、下方の焦点距離が短く、上方の焦点距離が長いような多焦点レンズを用いることも可能であり、このようにしても、図１３に示すような、望遠と広角を含む画像を得ることができる。また、アクチュエータ等で焦点距離の長い望遠領域を左右や上下に動かすようにしてもよい。

画像処理ＥＣＵ９２０は、幾何学変換処理部９２１、白線検出部９２２、および車両位置算出部９２３などを備える情報処理装置である。画像処理ＥＣＵ９２０は、典型的には中央演算装置や読み書き可能な記憶媒体等を備えるマイクロコンピューターである。画像処理ＥＣＵ９２０は、カメラ９１０が撮像した画像を処理し、上記車両が走行している道路と上記車両に関する情報を生成し、当該情報を車両制御ＥＣＵ９３０へ出力する。

幾何学変換処理部９２１は、カメラ９１０が撮像した画像について、当該画像の形状を変更する幾何学変換処理（具体的には射影変換処理と歪み補正）を行う。上述したように、カメラ９１０によって撮像された画像は、当該１つの画像内において上方は望遠画像に、下方は広角画像とを含んでいる。幾何学変換処理部９２１は、後に白線検出部９２２が行う処理を正確に行うため、実際の道路の形状に上記画像を変更する処理を行う。なお、幾何学変換処理部９２１は、本発明の補正手段の一例に相当する。

白線検出部９２２は、幾何学変換処理部９２１によって幾何学変換処理された画像を用い、上記車両が走行している道路の白色線、黄色線などの区画線（以下、単に白線と称す）を検出し、車両位置算出部９２３へ出力する。なお、白線検出部９２２は、本発明の画像処理手段の一例に相当する。

車両位置算出部９２３は、白線検出部９２２が検出した白線に基づいて、上記車両が走行している道路と上記車両とに関する情報を生成する。そして、車両位置算出部９２３は、当該生成された情報を車両制御ＥＣＵ９３０に出力する。なお、車両位置算出部９２３は、本発明の画像処理手段および目標軌道算出手段の一例に相当する。

車両制御ＥＣＵ９３０は、画像処理ＥＣＵ９２０から出力された情報を用い、上記車両に搭載されている各種装置の動作を制御して、上記車両が車線内を走行するように支援する。具体的には、車両制御ＥＣＵ９３０は、画像処理ＥＣＵ９２０から出力された情報に基づいて、上記車両が車線から逸脱する可能性があると判断した場合、上記車両に搭載されている各種警告装置を作動させドライバーに注意喚起を促す。また、車両制御ＥＣＵ９３０は、画像処理ＥＣＵ９２０から出力された情報に基づいて、上記車両が車線中央付近を走行するように、上記車両に搭載されたパワーステアリング装置を作動させ、ドライバーのハンドル操作を支援する（以下、車両制御と称する）。

このように、第２の実施形態に係る画像認識装置９において、画像処理ＥＣＵ９２０は、カメラ９１０が撮像した画像から上記車両が走行している道路と上記車両とに関する情報を生成する。そして、車両制御ＥＣＵ９３０は、画像処理ＥＣＵ９２０から出力される情報に基づいて、上記車両に搭載された各種装置に対して上述したような動作を行わせる。以下、図１５〜図１９を参照して、第２の実施形態に係る画像認識装置９の各部が行う処理の一例を説明する。

図１５は、第２の実施形態に係る画像認識装置９の画像処理ＥＣＵ９２０において行われる処理の流れの一例を示したフローチャートである。なお、図１５に示す処理は、画像処理ＥＣＵ９２０の各部がそれぞれ所定のプログラムを実行することにより行われる。また、図１５に示す処理は、画像処理ＥＣＵ９２０の電源がＯＮ（例えば、画像認識装置９が搭載された車両のイグニッションスイッチがＯＮ）されることによって開始される、また、当該処理は、画像処理ＥＣＵ９２０の電源がＯＦＦ（例えば、イグニッションスイッチがＯＦＦ）されることによって終了する。なお、イグニッションスイッチは、以下ＩＧと称す。

図１５のステップＳ１５０１において、幾何学変換処理部９２１は、カメラ９１０が撮像した上記車両の前方の画像を取得する。そして、幾何学変換処理部９２１は、次のステップＳ１５０２へ処理を進める。

ステップＳ１５０２において、取得した画像について、当該画像の形状を変更する幾何学変換処理（具体的には射影変換処理と歪み補正処理）を行う。ここで幾何学変換処理部９２１が行う射影変換処理と歪み補正処理との一例を説明する。

幾何学変換処理部９２１は、取得した撮像した画像（図１３参照）について、視点を変更する射影変換処理を行う。具体的には、幾何学変換処理部９２１は、既知であるカメラ９１０の設置位置（道路に対しての高さや角度）に基づいて、道路の鉛直方向に視点を移した画像になるように、射影変換処理を施す。すなわち、撮像した画像を平面近似し、上記道路を見下ろしたような画像（以下、平面Ａと称する）に変換する。図１６は、平面Ａを示した画像である。なお、視点を変更する射影変換処理は、当業者の周知技術による既知の手法を用いればよい。

さらに幾何学変換処理部９２１は、射影変換処理が施された画像について、歪み補正処理を行う。上述したように、カメラ９１０が車両前方の走行路面を撮像すると、曲面ミラー９１１が備わっていることによって、得られる画像の上方は望遠であり、当該画像の下方になるに従い広角になる。つまり、カメラ９１０で撮像した画像の画角は、当該画像上方と下方では異なっているため、実際の道路の形状と比較して、水平方向および垂直方向に歪んでいる。後に画像処理ＥＣＵ９２０は、カメラ９１０が撮像した画像を用い、白線からカーブ半径などを求める処理を行う。なお、望遠で撮像された領域は、本発明の第１の画像領域の一例に、広角で撮像された領域は、本発明の第２の画像領域の一例にそれぞれ相当する。

そのため、幾何学変換処理部９２１は、予め分かっている曲面ミラー９１１の曲率、カメラの設置などに基づいて、上記画像を実際の道路の白線の形状に戻す歪み補正処理を行う（図１７参照）。具体的な処理の一例として、例えば撮像素子９１２をｋ×ｍに分割して、それぞれの素子をＧ（ｋ、ｍ）とする。そして、幾何学変換処理部９２１は、曲面ミラー９１１の曲率、カメラの設置などに基づいて各画素Ｇ（ｋ、ｍ）それぞれについて座標の変換する処理を行う。このようにすれば、上記車両遠方については高精細な画像のまま（上記車両遠方については画素を多く得たまま）実際の道路の形状と同じ画像を得ることができる。なお、視点を変更する射影変換処理や歪み補正処理は、当業者の周知技術による既知の手法を用いればよい。この処理を行うことによって、上記車両が走行している道路の区画線の形状と同じ画像を得ることができる。

図１５の説明に戻って、ステップＳ１５０３において、白線検出部９２２は、幾何学変換処理部９２１によって歪み補正が施された画像を用い、白線を認識する。具体的には、白線検出部９２２は、幾何学変換処理部９２１によって射影変換処理および歪み補正が施された画像（図１８に示した画像）について、エッジ点を抽出する処理を施すことにより、右側白線ＬＬと左側白線ＬＲとを検出する。そして、白線検出部９２２は、次のステップＳ１５０４に処理を進める。

なお、ステップＳ１５０２およびステップＳ１５０３における、幾何学変換処理部９２１および白線検出部９２２が行う処理は、他の処理順序で行ってもよい。つまり、上述した例では、ステップＳ１５０２において幾何学変換処理をした後、ステップＳ１５０３で白線を検出したが、別の例ではステップＳ１５０３（白線を検出）の処理を先に行い、次いでステップＳ１５０２（幾何学変換処理）の処理を行ってもよい。

ステップＳ１５０４において、白線検出部９２２は、上記ステップＳ１５０３で白線が認識できたか否かを判断する。そして、白線検出部９２２は、白線が検出できた場合（ＹＥＳ）、次のステップＳ１５０５に処理を進める。一方、画像からエッジ点が抽出できなかった場合（ＮＯ）、白線検出部９２２は、上記ステップＳ１５０１に処理を戻す。

ステップＳ１５０５において、車両位置算出部９２３は、白線検出部９２２が検出した白線に基づいて車両位置情報を算出する。以下、図１８および図１９を用い、車両位置算出部９２３が行う、車両位置情報の算出の処理の方法について説明する。図１８は、ステップＳ１５０５における車両位置情報を算出する動作の一例を示すフローチャートであり、図１９は、車両の走行路面の図である。

図１８のステップＳ１５０６において、車両位置算出部９２３は、白線検出部９２２が検出した右側白線ＬＲと左側白線ＬＬとから車線幅Ｗを求め、当該車線幅Ｗから上記車両が走行するときの目標軌道となる、仮想的な中央線ＬＣを設定する。

次に、ステップＳ１５０７において、車両位置算出部９２３は、上記ステップＳ１５０６で設定した中央線ＬＣと上記車両とのズレ幅Ｄを算出する。この処理の一例として、図１９に示すように、車両位置算出部９２３は、上記車両の重心Ｇから横に線を引いたときに中央線ＬＣと交わる点Ｐを求める。さらに、車両位置算出部９２３は、上記重心Ｇから上記点Ｐまでの距離を横方向のズレ幅Ｄとして算出し、当該算出値（横方向のズレ幅Ｄ）を車両制御ＥＣＵ９３０に出力する。そして、車両位置算出部９２３は、次のステップＳ１５０８に処理を進める。

ステップＳ１５０８において、車両位置算出部９２３は、上記重心Ｇから上記車両の進行方向に引いた線と上記点Ｐでの接線とがなす角θ（以下、ヨー角θと称す）、すなわち、中央線ＬＣに対する上記車両の向きを算出する。そして、車両位置算出部９２３は、算出値（ヨー角θ）を車両制御ＥＣＵ９３０に出力し、次のステップＳ１５０９に処理を進める。

ステップＳ１５０９において、車両位置算出部９２３は、中央線ＬＣのカーブ半径Ｒを算出する。ここで、車両位置算出部９２３が行う処理の一例を示すと、車両位置算出部９２３は、上記車両が現在走行している道路の中央線ＬＣと少しだけ過去に走行していた道路の中央線ＬＣとに基づいて、当該中央線ＣＬを円弧として近似し、当該円弧の半径を求めることによってカーブ半径Ｒを算出する。そして、車両位置算出部９２３は、算出値（カーブ半径Ｒ）を車両制御ＥＣＵ９３０に出力し、図１８に示したフローチャートの処理を終了する。

このとき、車両制御ＥＣＵ９３０は、車両位置算出部９２３からズレ幅Ｄ、ヨー角θ、およびカーブ半径Ｒを取得してドライバーに対して注意喚起が必要か否か、パワーステアリング装置によるハンドル操作の支援が必要か否かを判断し、車両制御を行ってもよい。

図１５に戻って、ステップＳ１５１０において、画像処理ＥＣＵ９２０は、上記車両のＩＧがＯＦＦされたか否かを判断する。そして、画像処理ＥＣＵ９２０は、ＩＧがＯＦＦされた場合、当該フローチャートの処理を終了する。一方、画像処理ＥＣＵ９２０は、ＩＧがＯＦＦされていないと判断した場合、上記ステップＳ１５０１に戻って処理を繰り返す。

以上説明したように、第２の実施形態に係る画像認識装置９によれば、カメラ９１０によって、上記車両走行路面の遠方が望遠で、近傍が広角な画像を撮像することができる。白線を認識して車両制御を行う、いわゆるレーンキープ制御を正確に行う場合、車両前方の比較的近傍の白線から車両から比較的遠方の白線まで正確に認識することが必要である。本実施形態に係る画像認識装置９は、遠方は望遠で近傍は広角な画像を得ることができる。したがって、車両近傍の白線だけでなく車両から遠方の白線も正確に認識することができ、正確なレーンキープ制御が可能となる。

また、上述したように、カメラ９１０で撮像した上記車両前方の道路の画像は、望遠と広角を含んでいる。つまり、上記車両遠方は望遠で撮像され、近傍は広角で撮像されているため、実際の道路の形状とは異なっている。幾何学変換処理部９２１は、カメラ９１０から取得した画像を実際の道路の区画線と同じになるように、歪み補正を行う（実際の道路の形状に戻す）。したがって、正確なレーンキープ制御が可能となる。

上記の各実施形態で説明した態様は、単に具体例を示すものであり、本願発明の技術的範囲を何ら限定するものではない。よって本願の効果を奏する範囲内において、任意の構成を採用することが可能である。

本発明に係る画像認識装置は、簡易な構成で、精度良く被写体の特徴点を認識することができ、例えばドライバーの顔の特徴点を検出したり、車両が走行している道路の特徴点を精度良く認識したりすることができる画像認識装置等の用途に適用できる。

本発明の第１の実施形態に係る画像認識装置１の構成の一例を示すブロック図 カメラ１１０の設置位置の一例を示す図 カメラ１１０を横から見た断面図 各レンズによって撮像素子１１２に結像された像 撮像素子に結像された像（通常のカメラ） 第１の実施形態に係る画像認識装置１の画像処理ＥＣＵ１２０おいて行われる処理の流れの一例を示したフローチャート カメラ１１０で撮像して得られる画像 カメラ１１０で撮像して得られる画像について歪み補正を処理を行った画像 ステップＳ６３において、顔向き検出部１２２が行う、ドライバーの顔向き角度を算出する動作の一例を示すフローチャート ステップＳ６１３において、閉眼検出部１２３が行う、ドライバーの目の開度を算出する動作の一例を示すフローチャート 本発明の第２の実施形態に係る画像認識装置９の構成の一例を示すブロック図 カメラ９１０を上部から見た断面図 カメラ９１０で得られる画像 通常のカメラで得られる画像 第２の実施形態に係る画像認識装置９の画像処理ＥＣＵ９２０において行われる処理の流れの一例を示したフローチャート 平面Ａを示した道路の画像 図１６に示した画像について歪み補正を行った画像 ステップＳ１６０５における車両位置情報を算出する動作の一例を示すフローチャート 車両の走行路面の図

符号の説明

１、９ 画像認識装置
１１０、９１０ カメラ
１１１ 複合レンズ
１１２、９１２ 撮像素子
１２０、９２０ 画像処理ＥＣＵ
１２１、９２１ 幾何学変換処理部
１２２ 顔向き検出部
１２３ 閉眼検出部
１２４ 画像パターン格納部
１３０ 予防安全ＥＣＵ
４０１ 拡大像
４０２ 縮小像
７０１ 拡大領域
７０２ 縮小領域
９１１ 曲面ミラー
９２２ 白線検出部
９２３ 車両位置算出部
９３０ 車両制御ＥＣＵ

Claims (7)

1. 被写体の画像に対して画像認識を行う画像認識装置であって、
   撮像範囲内の前記被写体を、当該撮像範囲内の第１の範囲については第１の画角で、当該撮像範囲内の第２の範囲については当該第１の画角よりも広い第２の画角で撮像する撮像手段と、
   前記撮像手段によって撮像された画像に対して、前記第１の範囲に対応する第１の画像領域と前記第２の範囲に対応する第２の画像領域とが同じ大きさとなるように当該各画像領域の画像を補正する補正手段と、
   前記補正手段によって補正された画像を用いて画像認識処理を実行する画像処理手段とを備える、画像認識装置。
2. 前記画像処理装置は、車両に設置され、
   前記撮像手段が撮像した画像の上方は第１の画像領域で、下方は第２の画像領域であり、
   前記撮像手段は、前記第１の画像領域に運転者の目が含まれるように前記車両に設置されることを特徴とする、請求項１に記載の画像認識装置。
3. 前記画像処理手段は、前記補正手段によって補正された画像を用いて、前記運転者の上瞼と下瞼との距離を算出することを特徴とする、請求項２に記載の画像認識装置。
4. 前記画像認識装置は、前記補正手段によって補正された画像を用いて前記運転者の状態を判別する状態判別手段をさらに備える、請求項２に記載の画像認識装置。
5. 前記画像認識装置は、車両に設置され、
   前記撮像手段は、前記撮像範囲内の第１の範囲については第１の画角で前記車両遠方を、前記撮像範囲内の第２の範囲については当該第１の画角より広い第２の画角で前記車両近傍を撮像することを特徴とする、請求項１に記載の画像認識装置。
6. 前記画像処理手段は、前記補正手段によって補正された画像を用いて、前記車両前方の走行路面の区画線を検出することを特徴とする、請求項５に記載の画像認識装置。
7. 前記画像認識装置は、前記走行路面の区画線から前記車両の走行目標となる目標軌道を算出する目標軌道算出手段をさらに備える、請求項６に記載の画像認識装置。

Images