JP2004334784A - 確認動作検出装置及び警報システム - Google Patents

Abstract

【課題】運転者による確認動作の検出精度を向上させることが可能な確認動作検出装置を提供する。
【解決手段】画像取得部１１は、運転者の顔を撮像して撮像画像を取得する。画像処理部１２ａは、時系列的に撮像して取得された撮像画像に基づき、撮像画像間のオプティカルフローを求める。顔動作検出部１２ｂは、求められたオプティカルフローから運転者の顔の動きを検出する。確認動作判定部１２ｃは、検出された運転者の顔の動作パターンに基づいて、運転者による確認動作の可否を判定する。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、確認動作検出装置及び警報システムに関する。
【０００２】
【従来の技術】
従来、走行中に運転者の視線方向が前方に滞留しがちであること検出して、運転者の注意力が低下したか否かを判断し、低下時には運転者にその旨を報知する報知装置が知られている（例えば特許文献１参照）。
【０００３】
また、走行環境に基づいて運転者が確認すべき領域を予測し、運転者の視線領域を検出して、この領域を運転者が見たかどうかを判定する確認装置が知られている（例えば特許文献２参照）。
【０００４】
これら装置では、撮像手段にて運転者の顔を撮像し、得られた画像中から運転者の目や鼻などの特定の顔部位を検出し、この顔部位を追跡することで運転者の視線方向や顔の向き方向を検出している。
【０００５】
【特許文献１】
特開平８−１７８７１２号公報
【０００６】
【特許文献２】
特開２００２−８３４００号公報
【０００７】
【発明が解決しようとする課題】
ところで、運転者は、確認動作時に顔を速く且つ大きく動かすことがある。特に車両の運転中では、運転者は素早く確認動作を行うことから、顔を速く且つ大きく動かしやすい傾向がある。しかし、上記装置では、運転者が顔を速く且つ大きく動かした場合、追跡精度の限界を超え、顔の特定部位を追跡しきれずに、顔の向きを検出できなくなってしまう可能性がある。
【０００８】
このように、従来の装置では、確認動作の際に運転者が顔を速く且つ大きく動かした場合に、運転者の確認動作を検出することが困難な状況にある。
【０００９】
【課題を解決するための手段】
本発明によれば、撮像手段は、運転者の頭部を撮像して撮像画像を取得し、画像処理手段は、撮像手段により時系列的に撮像して取得された撮像画像に基づき、撮像画像間のオプティカルフローを求め、顔動作検出手段は、画像処理手段により求められたオプティカルフローから運転者の顔の動きを検出し、確認動作判定手段は、顔動作検出手段により検出された運転者の顔の動きのパターンに基づいて、運転者による確認動作の可否を判定する。
【００１０】
【発明の効果】
本発明によれば、撮像画像間のオプティカルフローを求めて運転者の顔の動作を検出するため、顔の動きが速く且つ大きいような場合であっても、顔の動きの検出に与える影響を小さくすることができる。従って、運転者による確認動作の検出精度を向上させることができる。
【００１１】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、以下の実施形態においては、警報システム１を車両に搭載した場合を例に説明する。また、以下の説明において、移動量とは移動速度と移動方向とを含むものとする。
【００１２】
図１は、本発明の第１実施形態に係る確認動作検出装置１０を含む警報システム１の構成を示すブロック図である。同図に示すように、警報システム１は、運転者が確認動作を行ったか否かを判定し、確認動作を行っていないと判定した場合に、報知信号Ｓａを出力する確認動作検出装置１０を備えている。また、警報システム１は、確認動作検出装置１０からの報知信号Ｓａを受信して、確認動作の不履行の旨を運転者に報知する報知装置２０を備えている。
【００１３】
上記確認動作検出装置１０は、運転者の顔を時系列的に撮像して撮像画像を取得する画像取得部（撮像手段）１１と、撮像画像に基づいて、運転者の確認動作の可否を判定する確認動作検出部１２とを備えている。
【００１４】
画像取得部１１は、可視光を撮像するためのＣＣＤカメラやＣＭＯＳカメラ、近赤外光にて撮像するカメラ、及び人等の発する熱を遠赤外にて撮像するカメラ等の少なくとも１つからなる撮像装置である。この画像取得部１１は、例えば運転者の正面下方に設置され、運転者の頭部を含む画像を時系列的に撮像し、得られた撮像画像のデータをビデオ信号Ｓｂとして確認動作検出部１２に送出する。そして、確認動作検出部１２は、画像取得部１１からのビデオ信号Ｓｂを、横幅１６０画素、縦幅１２０画素、１画素あたり２５６階調の濃淡データを示すディジタルデータに変換して記憶領域に格納する。
【００１５】
ここで、画像取得部１１は、運転者の正面下方に設置されているが、運転者の頭部を含む画像が撮像できればよく、設置位置は特に運転者の正面下方に限られない。
【００１６】
確認動作検出部１２の詳細を図２に示す。図２は、図１に示した確認動作検出部１２の詳細構成を示すブロック図である。なお、この図においては、確認動作検出部１２の他に、画像取得部１１を図示している。
【００１７】
確認動作検出部１２は、画像処理部（画像処理手段）１２ａ、顔動作検出部（顔動作検出手段）１２ｂ、確認動作判定部（確認動作判定手段）１２ｃ、及び報知信号出力部（報知信号出力手段）１２ｄとを具備している。
【００１８】
画像処理部１２ａは、画像取得部１１からの撮像画像のデータであるビデオ信号Ｓｂを入力し、撮像画像間のオプティカルフローを求めるものである。そして、画像処理部１２ａは、求めたオプティカルフローのデータを顔動作検出部１２ｂに送出する。
【００１９】
顔動作検出部１２ｂは、画像処理部１２ａにより求められたオプティカルフローから運転者の顔の動きを検出するものである。そして、顔動作検出部１２ｂは、顔動作のデータを確認動作判定部１２ｃに送出する。
【００２０】
確認動作判定部１２ｃは、顔動作検出部１２ｂに求められた顔動作から空間的、時間経過的に顔の動きのパターンを検出するものである。また、確認動作判定部１２ｃは、顔動作検出部１２ｂにより検出された運転者の顔の動きのパターンに基づいて、運転者による確認動作の可否を判定するものである。
【００２１】
具体的に確認動作判定部１２ｃは、検出した顔動作のパターンに基づいて、顔の左右の向きの出現頻度を計算して確認動作を判定する。そして、確認動作判定部１２ｃは、この判定結果を報知信号出力部１２ｄへ送出する。
【００２２】
報知信号出力部１２ｄは、確認動作判定部１２ｃにより運転者による確認動作がなかったと判定された場合に、その旨を運転者に報知するための報知信号Ｓａを出力するものである。そして、報知信号Ｓａが報知装置２０に入力されると、報知装置２０により報知動作が行われることとなる。
【００２３】
このような、警報システム１にあっては、まず、画像取得部１１が運転者の頭部を撮像して撮像画像を取得する。本実施形態においては、画像取得部１１は、運転者の前方下方に設置されているため、運転者の顔を撮像して撮像画像を取得する。その後、画像取得部１１は、時系列的に得られた撮像画像のデータをビデオ信号Ｓｂとして、確認動作検出部１２に送出する。
【００２４】
そして、確認動作検出部１２の画像処理部１２ａは、ビデオ信号Ｓｂを入力してディジタルデータとして記憶する。記憶後、画像処理部１２ａは、記憶したデータに基づいて、撮像画像間のオプティカルフローを求める。その後、画像処理部１２ａは、求めたオプティカルフローのデータを顔動作検出部１２ｂに送出する。
【００２５】
顔動作検出部１２ｂは、オプティカルフローのデータに基づいて、運転者の顔の動きを検出する。この後、確認動作判定部１２ｃは、運転者の顔の動きに基づいて、顔の動きのパターンを算出する。この際、顔動作検出部１２ｂは、例えば運転者が左右を向いた回数や左右を向いている時間等を考慮してパターンを算出する。
【００２６】
算出後、確認動作判定部１２ｃは、顔の動きのパターンを、所定の条件と比較等して、運転者が確認動作を行ったか否かを判定する。そして、確認動作判定部１２ｃは、判定結果を報知信号出力部１２ｄに出力する。
【００２７】
報知信号出力部１２ｄは、判定結果が確認動作無しを示すものである場合、報知信号Ｓａを報知装置２０に出力する。これにより、報知装置２０は、運転者に対し報知動作を行う。
【００２８】
次に、図３〜図１２を参照して、本実施形態に係る確認動作検出装置１０の動作を詳細に説明する。図３は、図２に示した画像処理部１２ａの動作を示すフローチャートである。
【００２９】
まず、画像処理部１２ａは、画像取得部１１により取得した撮像画像にスムージングフィルタを適応し、所定の式にて画素値を変換する（ＳＴ１０）。ここで、スムージングフィルタは、以下に示す５行５列からなるフィルタである。
【００３０】
【数１】

所定の式は、以下に示すものである。
【００３１】
【数２】

なお、ｄ（ｘ，ｙ）は、撮像画像内の任意位置の画素値であり、ｄ’（ｘ，ｙ）は変換後の画素値である。
【００３２】
その後、画像処理部１２ａは、顔の移動量に関する数値ｘｍ，ｙｍ，ｃを「０」に初期化する（ＳＴ１１）。
【００３３】
そして、画像処理部１２ａは、現在の撮像画像の探索領域内から、前回の撮像画像内の参照領域に最も類似する位置を求めて、移動量（ｘｄ，ｙｄ）を算出する（ＳＴ１２）。具体的に、画像処理部１２ａは、まず、探索領域内から参照領域に最も類似する領域を求め、最も類似する領域の中心点を、参照領域に最も類似する位置とする。そして、画像処理部１２ａは、求められた最も類似する領域の中心点と、探索領域の中心点とから移動量（ｘｄ，ｙｄ）を算出する。
【００３４】
ここで、上記領域について説明する。画像処理部１２ａは、撮像画像上に予め複数の参照領域を設定している。具体的に、画像処理部１２ａは、時刻ｔにおいて得られ且つフィルタをかけた後の撮像画像に対して少なくとも２つ以上の参照領域を設定する。
【００３５】
図４は、撮像画像に設定される２つ以上の参照領域の説明図である。図４（ａ）に示すように、参照領域は、撮像画像上の横方向に複数（例えば７つ）配置される。また、図４（ｂ）に示すように、参照領域は、撮像画像上に格子状に複数（例えば縦５つ、横７つの計３５）配置される。さらには、図４（ｃ）に示すように、参照領域は、横方向に且つ格子状に複数（例えば縦３つ、横５つの計１５に加え、さらに横方向に２つの計１７）配置されてもよい。
【００３６】
なお、参照領域は、カメラの位置、カメラの画角、及び撮像画像中における顔の占める割合等から、目、鼻又は口等の顔の部位の大きさ程度に固定的に設定される。
【００３７】
探索領域は、時刻ｔの撮像画像に設定した参照領域に基づいて、時刻ｔの後の時刻ｔ＋１において得られ且つフィルタをかけた撮像画像に対して、設定されるものである。この探索領域は、各参照領域を取り囲んで設定されるものであり、参照領域と同じ数だけ設定されるものである。
【００３８】
図５を参照して上記参照領域及び探索領域についてさらに詳しく説明する。図５は、参照領域及び探索領域の説明図である。なお、参照領域は時刻ｔにおける撮像画像、探索領域は時刻ｔ＋１における撮像画像といったように、それぞれ異なる撮像画像に対して設定されるものであるが、図５においては、便宜上１画像上に表して説明する。
【００３９】
同図に示すように、参照領域は、特定の点Ｏを中心として設定される幅ｔｗ画素，高さｔｈ画素の領域である。また、探索領域は、参照領域と同様に、点Ｏを中心として設定される幅ｓｗ画素，高さｓｈ画素の領域である。これら両領域は中心を等しくし、ｓｗ＞ｔｗ且つｓｈ＞ｓｗの関係となるように設定される。
【００４０】
そして、画像処理部１２ａは、上記のような探索領域内から参照領域に最も類似する位置を求めて、移動量（ｘｄ，ｙｄ）を算出する。次に、移動量の算出を具体的に説明する。
【００４１】
図６は、移動量（ｘｄ，ｙｄ）の算出方法の説明図である。画像処理部１２ａは、まず、候補領域を作成する。この候補領域は、参照領域と同じ大きさを有する領域である。
【００４２】
そして、画像処理部１２ａは、探索領域内の所定箇所に候補領域を設定し、設定した候補領域と参照領域とを比較等して類似度を求める。次に、画像処理部１２ａは、候補領域を他の位置に動かし、動かした位置の候補領域と参照領域とを比較等して類似度を求める。
【００４３】
その後、画像処理部１２ａは、候補領域に順次移動させていき、探索領域内での各箇所において参照領域との類似度を算出する。類似度は、例えば、濃淡データを基準に判断される。ここで、濃淡データを基準に類似度を算出する場合において、類似度をｃｏｓθとすると、類似度は以下の式にて表される。
【００４４】
【数３】

上式においては、参照領域の濃淡データをＴとし、候補領域の濃淡データをＳとしている。また、ｘｄは、探索領域内のＸ座標値を示し、ｙｄは、探索領域内のＹ座標値を示している。
【００４５】
以上により、画像処理部１２ａは、類似度が最大となる位置Ｐを定め、点Ｐと点Ｏとの座標値の差を移動量（ｘｄ，ｙｄ）として得ることとなる。
【００４６】
再度、図３を参照して説明する。移動量（ｘｄ，ｙｄ）の算出後、画像処理部１２ａは、類似度の範囲が閾値以上か否かを判断する（ＳＴ１３）。
【００４７】
ここでの判断を図７を参照して説明する。図７は、図３に示したステップＳＴ１３の処理の説明図である。画像処理部１２ａは、候補領域によって探索領域内を走査していき、探索領域内の各箇所の類似度を算出する。そして、画像処理部１２ａは、得られた類似度の分散を求める。
【００４８】
例えば、同図に示すように、変化量Ｃ１では分散値が小さく、分散の範囲が狭いと言える。一方、変化量Ｃ２では変化量Ｃ１よりも分散値が大きく、分散の範囲も大きいと言える。
【００４９】
ここで、分散の範囲が狭い場合とは、探索領域内の各箇所において、同じような類似度が検出される場合である。例えば、参照領域が真っ白な画像である場合など、特徴が少ない場合には探索領域内のどの箇所と比較しても似たような類似度の結果が得られることとなる。そして、このような場合、それぞれ類似度の差が小さいことから、類似度が最大となる点Ｐの検出が不正確になりやすい。このため、図３のステップＳＴ１３の処理では、所定の閾値と比較し、好適なものと不適なものとの選別するようにしている。
【００５０】
再度、図３を参照して説明する。類似度の範囲が閾値以上でないと判断した場合（ＳＴ１３：ＮＯ）、処理はステップＳＴ１５に移行する。一方、類似度の範囲が閾値以上であると判断した場合（ＳＴ１３：ＹＥＳ）、画像処理部１２ａは、移動量を積算する（ＳＴ１４）。具体的に、画像処理部１２ａは、「ｘｍ」を「ｘｍ＋ｘｄ」とし、「ｙｍ」を「ｙｍ＋ｙｄ」とし、「ｃ」を「ｃ＋１」とする。
【００５１】
その後、画像処理部１２ａは、領域の数だけ上記のステップＳＴ１２〜ＳＴ１４を行ったか否かを判断する（ＳＴ１５）。すなわち、画像処理部１２ａは、すべての参照領域について、探索領域内から類似する位置を特定したか否かを判断している。
【００５２】
いずれかの参照領域について、探索領域内から類似する位置を特定していないと判断した場合（ＳＴ１５：ＮＯ）、処理はステップＳＴ１２に戻り、類似する位置を特定していない参照領域について、上記ステップＳＴ１２〜ＳＴ１４の処理を繰り返すこととなる。
【００５３】
一方、すべての参照領域について、探索領域内から類似する位置を特定したと判断した場合（ＳＴ１５：ＹＥＳ）、画像処理部１２ａは、「ｃ」が「０」であるか否かを判断する（ＳＴ１６）。
【００５４】
「ｃ」が「０」であると判断した場合（ＳＴ１６：ＹＥＳ）、画像処理部１２ａは処理を終了する。一方、「ｃ」が「０」でないと判断した場合（ＳＴ１６：ＮＯ）、画像処理部１２ａは、積算した「ｘｍ」「ｙｍ」についての平均を求める（ＳＴ１７）。すなわち、画像処理部１２ａは、「ｘｍ＝ｘｍ／ｃ」及び「ｙｍ＝ｙｍ／ｃ」を実行し、平均の移動量を求める。
【００５５】
図８は、図３に示した画像処理部１２ａの平均の移動量を示す説明図であり。（ａ）は時刻ｔにおける撮像画像の例を示し、（ｂ）は時刻ｔ＋１における撮像画像の例を示し、（ｃ）は時刻ｔ＋２における撮像画像の例を示し、（ｄ）は時刻ｔ＋３における撮像画像の例を示している。
【００５６】
平均移動量は、各画像（（ａ）を除く）の右下に矢印で示されている。この矢印の方向は顔の移動方向を示し、大きさは顔の動きの速さを示している。なお、画像中の四角で表示されている領域は、参照領域であり、各参照領域から伸びる線分は、各部位の移動量を示している。
【００５７】
画像処理部１２ａは、上記のような平均移動量の算出後、このデータを顔動作検出部１２ｂに送出し、その後処理は終了する。
【００５８】
なお、オプティカルフロー（動きの検出）の計算方法は本実施形態の他に、八木信行監修， ”ディジタル映像処理”， 映像情報メディア学会編， ｐｐ．１２９−１３９， ２０００， オーム社 などにて動画像から動きを検出する手法が複数紹介されていおり、それらを用いることもできる。
【００５９】
図９は、図２に示した顔動作検出部１２ｂの動作を示すフローチャートである。まず、顔動作検出部１２ｂは、画像処理部１２ａにて求められた平均移動量について、移動平均値（ａｘ，ａｙ）を求める（ＳＴ２０）。移動平均を求める範囲は、任意に定められており、例えば、図８（ｂ）、（ｃ）及び（ｄ）に示した平均移動量（矢印の大きさに相当）の平均を求めるなどする。
【００６０】
その後、顔動作検出部１２ｂは、平均移動量の移動平均値（ａｘ，ａｙ）を積算する（ＳＴ２１）。具体的に、顔動作検出部１２ｂは、「ｓｘ」を「ｓｘ＋ａｘ」とし、「ｓｙ」を「ｓｙ＋ａｙ」とする。
【００６１】
その後、顔動作検出部１２ｂは、積算値（ｓｘ，ｓｙ）の移動平均値（ｃｘ，ｃｙ）を求める（ＳＴ２２）。この移動平均を求める範囲についても任意に定められている。
【００６２】
そして、顔動作検出部１２ｂは、積算値（ｓｘ，ｓｙ）と積算値の移動平均（ｃｘ，ｃｙ）の差から移動位置（ｖｘ，ｖｙ）を得る（ＳＴ２３）。具体的に、顔動作検出部１２ｂは、「ｖｘ」を「ｓｘ−ｃｘ」とし、「ｖｙ」を「ｓｙ−ｃｙ」とする。
【００６３】
その後、顔動作検出部１２ｂは、積算値（ｓｘ，ｓｙ）が閾値以上であるか否かを判断する（ＳＴ２４）。積算値（ｓｘ，ｓｙ）が閾値以上でないと判断した場合（ＳＴ２４：ＮＯ）、顔動作検出部１２ｂは、移動位置（ｖｘ，ｖｙ）のデータを確認動作判定部１２ｃに送出し、処理は終了する。
【００６４】
一方、積算値（ｓｘ，ｓｙ）が閾値以上であると判断した場合（ＳＴ２４：ＹＥＳ）、顔動作検出部１２ｂは、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であるか否かを判断する（ＳＴ２５）。積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下でないと判断した場合（ＳＴ２５：ＮＯ）、顔動作検出部１２ｂは、移動位置（ｖｘ，ｖｙ）のデータを確認動作判定部１２ｃに送出し、処理は終了する。
【００６５】
一方、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であると判断した場合（ＳＴ２５：ＹＥＳ）、顔動作検出部１２ｂは、平均移動量の移動平均値が閾値以下であるか否かを判断する（ＳＴ２６）。平均移動量の移動平均値が閾値以下でないと判断した場合（ＳＴ２６：ＮＯ）、顔動作検出部１２ｂは、移動位置（ｖｘ，ｖｙ）のデータを確認動作判定部１２ｃに送出し、処理は終了する。
【００６６】
一方、平均移動量の移動平均値が閾値以下であると判断した場合（ＳＴ２６：ＹＥＳ）、顔動作検出部１２ｂは、積算値（ｓｘ，ｓｙ）を「０」に初期化する（ＳＴ２７）。そして、顔動作検出部１２ｂは、移動位置（ｖｘ，ｖｙ）のデータを確認動作判定部１２ｃに送出し、処理は終了する。
【００６７】
なお、上記ステップＳＴ２５〜ＳＴ２７の処理は、以下の理由で行っている。
【００６８】
例えば、運転者がシートに着座した場合、運転者の顔は撮像範囲の中心に位置するとは限らない。このため、撮像範囲内において運転者の顔位置の左右の範囲が等しくならなかった場合、運転者が顔を左右に動かすことにより、左右の範囲の差に起因して誤差が発生し、これが積算値（ｓｘ，ｓｙ）として累積されてしまう。そして、徐々に誤差が積算値（ｓｘ，ｓｙ）として累積されてしまうと、顔の向きの検出に支障をきたしてしまう。
【００６９】
そこで、上記ステップＳＴ２５にて、積算値（ｓｘ，ｓｙ）が閾値以上か否かを判断し、閾値以上の場合に積算値（ｓｘ，ｓｙ）を「０」に初期化するようにしている。
【００７０】
ただし、現に運転者が顔の向きを変えている段階で積算値（ｓｘ，ｓｙ）を「０」に初期化してしまうと、初期化することによって逆に顔の向きの検出に支障をきたしてしまう。そこで、ステップＳＴ２６及びＳＴ２７において、顔が動いていない状態であることを検出している。すなわち、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であり、且つ平均移動量の移動平均値が閾値以下である場合に、積算値（ｓｘ，ｓｙ）を「０」に初期化するようにしている。
【００７１】
ここで、上記顔動作検出部１２ｂにより得られる移動位置（ｖｘ，ｖｙ）のデータ例を説明する。図１０は、図２に示した顔動作検出部１２ｂにより得られる移動位置（ｖｘ，ｖｙ）のデータ例の説明図である。
【００７２】
なお、図１０において、縦軸は移動位置を示しており、横軸は時刻を示している。また、図中実線は画像横方向（Ｘ方向）における移動位置を示しており、破線は画像縦方向（Ｙ方向）における移動位置を示している。
【００７３】
同図に示すように、まず、運転者は車両前方を注視している場合（時刻５７６０〜５９４０の期間）、移動位置は、Ｘ方向とＹ方向とが共に「０」付近となっている。
【００７４】
次に、運転者が確認動作をして顔の向きを左右に数回変えた場合（時刻５９４０〜６３５０の期間）、Ｘ方向については、移動位置が「−８０〜８０」までの間で増減を繰り返している。一方、Ｙ方向については、移動位置が「−２４〜２８」であり、Ｘ方向よりも小さい値であるが、時刻５７６０〜５９４０の期間に比べ、増減を繰り返しているといえる。
【００７５】
その後、運転者が再度車両前方を注視すると（時刻６３５０〜６５００の期間）、移動位置は、再度Ｘ方向とＹ方向とが共に「０」付近となる。
【００７６】
このように、顔動作検出部１２ｂにより得られる移動位置（ｖｘ，ｖｙ）は、運転者の顔の向きを表している。確認動作判定部１２ｃは、運転者の顔の動きを表すこととなる移動位置（ｖｘ，ｖｙ）により、運転者が確認動作をしたか否かを判断する。
【００７７】
次に、図２に示した確認動作判定部１２ｃの動作を説明する。図１１は、図２に示した確認動作判定部１２ｃの動作を示すフローチャートである。なお、図１１においては、画像横方向、すなわち左右方向の顔の動きを検出する動作について説明する。
【００７８】
同図に示すように、確認動作判定部１２ｃは、まず、左右方向確認フラグを初期化する（ＳＴ３０）。その後、確認動作判定部１２ｃは、顔の横方向の移動位置ｖｘが設定最大値以上か否かを判断する（ＳＴ３１）。
【００７９】
顔の横方向の移動位置ｖｘが設定最大値以上であると判断した場合（ＳＴ３１：ＹＥＳ）、確認動作判定部１２ｃは顔が左を向いている判定し（ＳＴ３２）、処理はＳＴ３６に移行する。
【００８０】
一方、顔の横方向の移動位置ｖｘが設定最大値以上でないと判断した場合（ＳＴ３１：ＮＯ）、確認動作判定部１２ｃは、移動位置ｖｘが設定最小値以下であるか否かを判断する（ＳＴ３３）。
【００８１】
顔の横方向の移動位置ｖｘが設定最小値以下であると判断した場合（ＳＴ３３：ＹＥＳ）、確認動作判定部１２ｃは顔が右を向いている判定し（ＳＴ３４）、処理はＳＴ３６に移行する。
【００８２】
一方、顔の横方向の移動位置ｖｘが設定最小値以下でないと判断した場合（ＳＴ３３：ＮＯ）、確認動作判定部１２ｃは顔が前方を向いている判定し（ＳＴ３５）、処理はＳＴ３６に移行する。
【００８３】
ステップＳＴ３６において、確認動作判定部１２ｃは、顔の向きの判定結果（右、 左又は前方）を一定時間記憶領域に記憶する。そして、確認動作判定部１２ｃは、現在及び以前の顔の向きの判定結果に基づいて、顔の動きのパターンを検出する。さらに、確認動作判定部１２ｃは、このパターンに基づいて、左右それぞれの顔向きの出現頻度を計算する（ＳＴ３６）。
【００８４】
例えば、今回、前回、前々回の順に、「顔が右を向いている」「顔が左を向いている」「顔が右を向いている」と記憶されている場合、確認動作判定部１２ｃは、顔の動きのパターンとして「右、左、右」と算出する。また、例えば、このときの顔の向きの出現頻度は、右「２」左「１」とされる。
【００８５】
その後、確認動作判定部１２ｃは、右向きの出現頻度が閾値以上か否かを判断する（ＳＴ３７）。右向きの出現頻度が閾値以上であると判断した場合（ＳＴ３７：ＹＥＳ）、確認動作判定部１２ｃは、右方向確認フラグを立てる（ＳＴ３８）。そして、処理はステップＳＴ３９に移行する。なお、このフラグは、運転者が右方向を確認したことを示すものである。
【００８６】
一方、右向きの出現頻度が閾値以上でないと判断した場合（ＳＴ３７：ＮＯ）、右方向確認フラグは立てられることなく、処理はステップＳＴ３９に移行する。
【００８７】
ステップＳＴ３９において、確認動作判定部１２ｃは、左向きの出現頻度が閾値以上か否かを判断する（ＳＴ３９）。左向きの出現頻度が閾値以上であると判断した場合（ＳＴ３９：ＹＥＳ）、確認動作判定部１２ｃは、左方向確認フラグを立てる（ＳＴ４０）。なお、このフラグは、運転者が左方向を確認したことを示すものである。
【００８８】
そして、確認動作判定部１２ｃは、確認動作の可否を示す確認フラグの情報を報知信号出力部１２ｄに送信し、処理は終了する。
【００８９】
一方、左向きの出現頻度が設定値以上でないと判断した場合（ＳＴ３９：ＮＯ）、左方向確認フラグは立てられることなく、確認動作判定部１２ｃは、確認フラグの情報を報知信号出力部１２ｄに送信し、処理は終了する。
【００９０】
次に、図１２を参照して確認動作判定部１２ｃの動作を再度説明する。図１２は、図２に示した確認動作判定部１２ｃの動作を説明するタイミングチャートである。なお、図１２においては、図１１と同様に画像横方向、すなわち左右方向の顔の動きを検出する動作について説明する。
【００９１】
まず、時刻Ｔ０〜Ｔ１において、移動位置はほぼ「０」である。このため、確認動作判定部１２ｃは、図１１のステップＳＴ３１及びＳＴ３３の処理にて「ＮＯ」と判断し、ステップＳＴ３５にて顔が前方を向いていると判断する。
【００９２】
そして、確認動作判定部１２ｃは、ステップＳＴ３６にて、「顔が前方を向いている」という情報を記憶領域に記憶する。その後、同様の処理が、時刻Ｔ１〜Ｔ２及びＴ２〜Ｔ３においてもなされる。
【００９３】
時刻Ｔ３の時点では、Ｔ０〜Ｔ３の期間において顔の向きが判定され、その情報が記憶されていることとなる。このため、確認動作判定部１２ｃは、パターン作成の対象が今回、前回、前々回の顔の向きであるとすると、顔の動きのパターンを「前、前、前」と算出する。そして、確認動作判定部１２ｃは、左向き及び右向きの出現頻度が閾値以上か否かを判断する（ＳＴ３７，ＳＴ３９）。時刻Ｔ０〜Ｔ３のデータが得られた時点では、右「０」、左「０」といった出現頻度が得られているため、確認動作判定部１２ｃは、ステップＳＴ３７及びＳＴ３９にて「ＮＯ」と判断する。この場合、左右の検出フラグは立てられず、確認動作無しとなる。
【００９４】
また、時刻Ｔ３〜Ｔ４において、移動位置は設定最小値を下回っている。このため、確認動作判定部１２ｃは、ステップＳＴ３１の処理にて「ＮＯ」と判断し、ステップＳＴ３３の処理にて「ＹＥＳ」と判断し、ステップＳＴ３４にて顔が右を向いていると判断する。
【００９５】
また、確認動作判定部１２ｃは、顔の動きのパターンを「前、前、右」と算出する。そして、確認動作判定部１２ｃは、左向き及び右向きの出現頻度が閾値以上か否かを判断する（ＳＴ３７，ＳＴ３９）。時刻Ｔ１〜Ｔ４のデータが得られた時点では、右「１」、左「０」といった出現頻度が得られている。このため、右向きの出現頻度の閾値が「１」に設定されている場合、確認動作判定部１２ｃは、ステップＳＴ３８にて右方向確認フラグを立てることとなる。一方、確認動作判定部１２ｃは、ＳＴ３９にて「ＮＯ」と判断する。この場合、確認フラグは右方向のみであり左方向のフラグは立っていない。このため、例えば左右の確認がなされていないことから、例えば確認動作無しとなる。
【００９６】
その後、時刻Ｔ４〜Ｔ５において判断が行われる。このとき、まず、確認動作判定部１２ｃは、ステップＳＴ３０にて左右方向確認フラグを初期化する。このため、前回立てられた右方向確認フラグが初期化されることとなる。
【００９７】
また、時刻Ｔ４〜Ｔ５では、移動位置は設定最大値を以上となっている。このため、確認動作判定部１２ｃは、ステップＳＴ３１の処理にて「ＹＥＳ」と判断し、ステップＳＴ３４にて顔が左を向いていると判断する。
【００９８】
そして、確認動作判定部１２ｃは、左向き及び右向きの出現頻度が閾値以上か否かを判断する（ＳＴ３７，ＳＴ３９）。時刻Ｔ２〜Ｔ５のデータが得られた時点では、右「１」、左「１」といった出現頻度が得られている。このため、左右方向の出現頻度の閾値が「１」に設定されている場合、確認動作判定部１２ｃは、ステップＳＴ３８，ＳＴ４０にて左右の確認フラグを立てることとなる。このように、双方のフラグが立てられると、確認動作判定部１２ｃは、左右の確認がなされたと判定する。すなわち、確認動作有りと判定する。
【００９９】
その後、報知信号出力部１２ｄは、確認動作判定部１２ｃからの情報に基づいて、報知装置２０へ報知信号Ｓａを送出するか判断し、送出した場合には、報知装置２０にて、運転者に確認動作を促すべく警報動作が行われる。
【０１００】
このようにして、本実施形態に係る確認動作検出装置１０によれば、撮像画像間のオプティカルフローを求めて運転者の顔の動作を検出するため、運転者の特定の顔部位を検出して追跡する必要がない。このため、顔の動きが速く且つ大きいような場合であっても、顔の動きの検出に与える影響を小さくすることができる。
【０１０１】
例えば、運転者が顔の方向を変えると、特定の顔部位について撮像される角度が変わってしまう。このため、特定部位の見かけ上の形状等が変わってしまってしまう。この場合、従来では、顔の特定部位の特徴量等が変化してしまうこととなり、顔の方向を検出できなくなることがある。ところが、本実施形態のようにオプティカルフローを求めることにより、顔の動きを全体的に検出することができるので、従来の装置のように、顔の特定部位の特徴量に基づいて顔の向きを検出する場合に比して、顔の動きの検出に与える影響を小さくすることができる。
【０１０２】
従って、運転者による確認動作の検出精度を向上させることができる。
【０１０３】
また、本実施形態では、コスト低減を図ることができる。すなわち、従来の装置では、顔の動きが速く且つ大きいような場合に顔の向きを検出するようにするために、高フレームレートのカメラを撮像手段として使用する必要がある。例えば、１秒間に約３０枚の顔画像を撮像できる一般的なビデオカメラを撮像手段として使用せず、これよりも高フレームレートのカメラ使用することとなる。この場合、従来の装置では、高価なカメラを使用することとなってしまう。また、カメラの撮像速度が速いことから、装置の処理速度を速くする必要がある。ところが、本実施形態では、オプティカルフローにより顔の動き全体を検出するので、上記問題が発生せず、コスト低減を図ることができる。
【０１０４】
また、一時停止が必要な交差点に進入する際や駐車場から公道に出る際などに、運転者は、確認を行うため体を前方に乗り出す動作を行う。また、左折時の左後方確認等を行う場合には、運転者は体を左後方に大きくひねる動作を行う。
【０１０５】
例えば図１３（ａ）に示すように、通常の運転状態において運転者の頭部は、撮像範囲内に納まるようになっている。ところが、図１３（ｂ）に示すように、確認を行うため運転者が前方に乗り出した場合には、頭部の一部が撮像範囲外に出てしまうこととなる。そして、運転者の顔が撮像範囲外にまで移動してしまった場合には、運転者の特定の顔部位を追跡することができなくなってしまう。
【０１０６】
これに対し、特開２０００−１１３１６４号公報記載の装置では、今回及び前回に撮像された画像の差分画像を形成し、差分から求まる運転者の動きを検出することにより、運転者の姿勢を検出するようにしている。
【０１０７】
しかし、この装置では、姿勢を検出するのみであるため、顔の特定部位が撮像範囲外に出てしまわないように追従手段等を設ける必要がある。ところが、確認動作時の顔の動きは速く且つ大きいため、追従手段等を設けたとしても、顔の特定部位を追跡しきれず、顔の向きを検出できなくなってしまう。
【０１０８】
このように、従来の装置では、確認動作時に運転者が体を動かした場合の対応が不十分である。しかし、本実施形態においては、オプティカルフローを求めることにより、顔の動きを全体的に検出している。すなわち、撮像範囲内に顔の一部でも残っていれば、顔の向きを検出することができるので、顔の向きの検出精度を一層向上させることができる。
【０１０９】
また、運転者の確認動作が検出されなかった場合に、運転者に報知するための報知信号Ｓａを送出するため、確認の不履行時に運転者に対し注意喚起を促すことができる。
【０１１０】
また、画像横方向に参照領域を複数配置している。このように参照領域を配置することで、画像横方向に、精度良くオプティカルフローを計算することができる。
【０１１１】
また、撮像画像上に格子状に参照領域を複数配置している。このように参照領域を配置することで、画像の全方向に、精度良くオプティカルフローを計算することができる。
【０１１２】
また、撮像画像中における顔の占める割合に基づいて、複数の参照領域のうち少なくとも１つの参照領域を所定の顔部位の大きさに設定する。このため、大き過ぎる参照領域を設定することにより、計算量が増大していしまうことを防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。さらに、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０１１３】
また、撮像画像から各領域（探索領域）の特徴量（類似度）の変化量（分散値）を算出し、この変化量と予め設定した閾値とを比較することにより、各領域をオプティカルフローの計算に用いるか否かを判断している。このため、特徴のない参照領域が設定されたことにより、不正確な検出してしまうことを防止することができる。
【０１１４】
また、オプティカルフローの計算結果から空間的、時間経過的に顔の動きのパターンを検出している。つまり、例えば空間的に左右方向の動きを求め、且つ時間的として今回から過去に遡った顔の動きを求めていることとなる。すなわち、現在運転者が右を向いているので、確認動作有りと判定するような単純な手法をとっておらず、現在から過去の顔の向きに基づいて、確認動作の可否を判定している。よって、確認判定の精度を向上させることができる。
【０１１５】
また、本実施形態では、パターンに基づき、顔の左右の向きの出現頻度を計算して確認動作を判定している。このため、一応左右を確認したが確認回数が少ない場合などに、確認動作有りと判定してしまうことを防止することができる。従って、確認判定の精度を向上させることができる。
【０１１６】
また、本実施形態に係る警報システム１によれば、運転者の確認動作が検出されなかった場合に、運転者に報知するため、確認の不履行時に運転者に対し注意喚起を促すことができる。
【０１１７】
次に、本発明の第２実施形態を説明する。図１４は、本発明の第２実施形態に係る確認動作検出装置１０を含む警報システム２の構成を示すブロック図である。同図に示すように、警報システム２は、車両の状態を検出する車両状態検出手段３０と、車両の周囲環境を検出する環境情報検出手段４０とを備えている。
【０１１８】
具体的に車両状態検出手段３０は、車速や、ブレーキスイッチのオン／オフ情報、アクセルスイッチのオン／オフ情報、操舵角、シフトレンジ情報等の車両に関する状態信号Ｓｃを１つ以上検出するものである。
【０１１９】
環境情報検出手段４０は、ＧＰＳやジャイロを利用したナビゲーションシステムによる位置情報を取得し、例えば、走行中の道路の種別や交差点の有無等を検出するものである。
【０１２０】
また、環境情報検出手段４０は、可視光カメラ、遠赤外線検出素子、レーザーレーダー及び超音波センサの１つ以上から構成されて、車両周辺の情報を検出するものである。この構成により、環境情報検出手段４０は、例えば、先行車や障害物の有無・接近、歩行者の横断、後続車の接近、側後方からの接近車両等を検出する。
【０１２１】
さらに、環境情報検出手段４０は、気象情報や、天候、照度計による外の明るさや昼夜の区別等の情報を得るものでもある。
【０１２２】
また、確認動作検出部１２は、車両状態検出手段３０からの信号Ｓｃと、環境情報検出手段４０からの信号Ｓｄとの少なくとも一方に基づいて、運転者が確認動作をすべき場所を特定する機能を有している。
【０１２３】
このため、確認動作検出装置１０は、例えば、ナビゲーションによる地図情報から、見通しの悪い交差点や信号のない交差点に差し掛かっているという環境信号Ｓｄに基づいて、運転者が取るべき行動を予測することができる。
【０１２４】
また、確認動作検出装置１０は、車速が設定速度以下であるという車両の状態信号Ｓｃに基づいて、大きく左右に顔を動かした後に交差点内に進入すべきであるという運転者の行動を予測することもできる。
【０１２５】
さらに、確認動作検出装置１０は、地図情報と、左のウィンカーの点灯中を示す車両の状態信号Ｓｃとに基づいて、左の巻き込み確認のため大きく顔を左に動かすという運転者の行動を予測することもできる。
【０１２６】
また、更に、確認動作検出装置１０は、レーザーレーダーやミリ波レーダーを用いて前方の車両や障害物に接近中であるという環境信号Ｓｄに基づいて、運転者の顔が前方を視認していない状態であれば、危険な行為と判断することもできる。
【０１２７】
図１５は、図１４に示した確認動作検出部１２と車両状態検出手段３０及び環境情報検出手段４０との関係を示すブロック図である。なお、この図においては、確認動作検出部１２、車両状態検出手段３０及び環境情報検出手段４０の他に、画像取得部１１を図示している。
【０１２８】
同図に示すように、車両状態検出手段３０及び環境情報検出手段４０は、確認動作判定部１２ｃに接続されており、確認動作判定部１２ｃに各信号Ｓｃ，Ｓｄを送出する。このため、確認動作判定部１２ｃが信号Ｓｃ，Ｓｄに基づいて確認動作の必要な場所を特定することとなる。
【０１２９】
そして、確認動作判定部１２ｃは、確認動作の必要な場所を特定することにより、確認動作の不必要な場所においては確認動作の可否を判定しないようにする。具体的には確認動作の不必要な場所において、確認動作判定部１２ｃは、図１１に示したステップＳＴ３６〜ＳＴ４０までの処理を省略するようにする。
【０１３０】
次に、第２実施形態に係る警報システム２及び確認動作検出装置１０の動作を説明する。第２実施形態に係る警報システム２及び確認動作検出装置１０の動作は、第１実施形態のものと同様であるが、確認動作判定部１２ｃの動作が一部異なっている。
【０１３１】
図１６は、第２実施形態に係る警報システム２及び確認動作検出装置１０の動作を説明するタイミングチャートである。なお、この図においては、一時停止が必要な交差点にて一時停止をした後の発進の際に、確認動作が検出されず報知信号Ｓａを出力する場合の例を示している。
【０１３２】
まず、第１実施形態と同様にして、確認動作判定部１２ｃは、運転者の顔の向きを検出する。具体的に同図に示すように、確認動作判定部１２ｃは、時刻Ｔ１０〜Ｔ１１において前方、時刻Ｔ１１〜Ｔ１２において前方、時刻Ｔ１２〜Ｔ１３において右方向と検出する。また、確認動作判定部１２ｃは、時刻Ｔ１３〜Ｔ１４において左方向、時刻Ｔ１４〜Ｔ１５において左方向、時刻Ｔ１５〜Ｔ１６において左方向、時刻Ｔ１６〜Ｔ１７において左方向、時刻Ｔ１７〜Ｔ１８において前方と検出する。
【０１３３】
また、これらの期間において、車両状態検出手段３０は、車速情報、ブレーキＳ／Ｗ（スイッチ）の情報、アクセルＳ／Ｗ（スイッチ）の情報を取得する。
【０１３４】
まず、時刻Ｔ１０〜Ｔ１２の期間においては、車速が所定の閾値以上となっている。通常、運転者による確認動作は、車両発進時などの低速状態において行われることから、確認動作判定部１２ｃは、確認動作の可否を判定しないようにする。
【０１３５】
また、時刻Ｔ１２〜Ｔ１３の期間においては、車速が所定の閾値を下回ることとなるが、ブレーキＳ／Ｗがオンであり、アクセルＳ／Ｗがオフとなっている。このため、車両は停止状態又は停止しつつある状態といえる。この状態においては、運転者が現在において確認動作を行っていなくとも、発進時までに確認動作をする可能性がある。このため、確認動作判定部１２ｃは、確認動作の可否を判定せず、不必要に警報してしまわないようにしている。
【０１３６】
そして、時刻Ｔ１３〜Ｔ１６の期間においても同様に、確認動作判定部１２ｃは、確認動作の可否を判定しないようにする。
【０１３７】
その後、時刻Ｔ１６〜Ｔ１７の期間において、ブレーキＳ／Ｗがオフとなり、アクセルＳ／Ｗがオンとなる。このため、確認動作判定部１２ｃは、確認動作の可否を判定することとなる。確認動作の可否を判定するタイミングは、できるだけ素早く警報するべく、ブレーキＳ／Ｗがオフとなり、アクセルＳ／Ｗがオンとなった時点である。
【０１３８】
このとき、例えば、パターン作成の対象が今回、前回、前々回の顔の向きであるとすると、時刻Ｔ１３〜Ｔ１６の期間における運転者の顔の向きから、確認動作判定部１２ｃは、パターンを「左、左、左」と算出する。
【０１３９】
この場合、運転者は、主として左を見つづけた状態で交差点を進入していると判定できる。故に、確認動作判定部１２ｃは、確認動作無しと判定し、その情報を報知信号出力部１２ｄに送出する。
【０１４０】
これを受けた報知信号出力部１２ｄは、報知信号Ｓａを報知装置２０へ出力し、報知装置２０は、報知動作を行うこととなる。
【０１４１】
このように、図１６の例の場合、運転者は、交差点で右を見た後、左に気を取られている時間が長く続いたにもかかわらず、初めに右を確認していたため、右方向の確認を忘れ、交差点を進入したといえる。本実施形態では、このような場合であっても、発進時に的確に運転者に報知を行うことができる。
【０１４２】
このようにして、本実施形態に係る確認動作検出装置１０によれば、第１実施形態と同様に、運転者による確認動作の検出精度を向上させることができ、コスト低減を図ることができ、顔の向きの検出精度を一層向上させることができる。また、確認の不履行時に運転者に対し注意喚起を促すことができる。また、画像横方向に又は全方向に、精度良くオプティカルフローを計算することができる。また、計算量の増大を防止し、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができ、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。さらに、特徴のない参照領域が設定されたことにより、不正確な移動位置を検出してしまうことを防止することができ、確認判定の精度を向上させることができる。
【０１４３】
また、本実施形態に係る警報システム２によれば、確認の不履行時に運転者に対し注意喚起を促すことができる。
【０１４４】
また、本実施形態に係る警報システム２及び確認動作検出装置１０によれば、車両状態検出手段３０からの信号Ｓｃ、及び環境情報検出手段４０からの信号Ｓｄとの少なくとも一方に基づいて、運転者が確認動作をすべき場所を特定する。このため、運転者が明らかに確認動作をする必要がない場所などに、確認動作の可否の判定を行う必要がなくなっている。よって、不要な処理を減らすことができると共に、不要な報知についても減らすことができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る確認動作検出装置を含む警報システムの構成を示すブロック図である。
【図２】図１に示した確認動作検出部の詳細構成を示すブロック図である。
【図３】図２に示した画像処理部の動作を示すフローチャートである。
【図４】撮像画像に設定される２つ以上の参照領域の説明図であり、（ａ）は参照領域を画像横方向に配置したときの例を示し、（ｂ）は参照領域を格子状に配置したときの例を示し、（ｃ）は参照領域を画像横方向且つ格子状に配置したときの例を示している。
【図５】参照領域及び探索領域の説明図である。
【図６】移動量（ｘｄ，ｙｄ）の算出方法の説明図である。
【図７】図３に示したステップＳＴ１３の処理の説明図である。
【図８】図３に示した画像処理部の平均の移動量を示す説明図であり、（ａ）は時刻ｔにおける撮像画像の例を示し、（ｂ）は時刻ｔ＋１における撮像画像の例を示し、（ｃ）は時刻ｔ＋２における撮像画像の例を示し、（ｄ）は時刻ｔ＋３における撮像画像の例を示している。
【図９】図２に示した顔動作検出部の動作を示すフローチャートである。
【図１０】図２に示した顔動作検出部により得られる移動位置（ｖｘ，ｖｙ）のデータ例の説明図である。
【図１１】図２に示した確認動作判定部の動作を示すフローチャートである。
【図１２】図２に示した確認動作判定部の動作を説明するタイミングチャートである。
【図１３】運転者が撮像される様子を示しており、（ａ）は通常の運転状態における撮像される様子を示し、（ｂ）は運転者が前方に乗り出したときに撮像される様子を示している。
【図１４】本発明の第２実施形態に係る確認動作検出装置を含む警報システムの構成を示すブロック図である。
【図１５】図１４に示した確認動作検出部と車両状態検出手段及び環境情報検出手段との関係を示すブロック図である。
【図１６】第２実施形態に係る警報システム２及び確認動作検出装置１０の動作を説明するタイミングチャートである。
【符号の説明】
１，２…警報システム
１０…確認動作検出装置
１１…画像取得部（撮像手段）
１２ａ…画像処理部（画像処理手段）
１２ｂ…顔動作検出部（顔動作検出手段）
１２ｃ…確認動作判定部（確認動作判定手段）
１２ｄ…報知信号出力部（報知信号出力手段）
２０…報知装置
３０…車両状態検出手段
４０…環境情報検出手段
Ｓａ…報知信号
Ｓｃ…状態信号
Ｓｄ…環境信号
Ｃ１，Ｃ２…変化量

Claims (11)

1. 運転者の頭部を撮像して撮像画像を取得する撮像手段と、
   前記撮像手段により時系列的に撮像して取得された撮像画像に基づき、撮像画像間のオプティカルフローを求める画像処理手段と、
   前記画像処理手段により求められたオプティカルフローから運転者の顔の動きを検出する顔動作検出手段と、
   前記顔動作検出手段により検出された運転者の顔の動きのパターンに基づいて、運転者による確認動作の可否を判定する確認動作判定手段と、
   を備えることを特徴とする確認動作検出装置。
2. 前記確認動作判定手段により運転者による確認動作がなかったと判定された場合に、その旨を運転者に報知するための報知信号を出力する報知信号出力手段をさらに備えることを特徴とする請求項１に記載の確認動作検出装置。
3. 前記画像処理手段は、撮像画像上に横方向に配置された複数の領域にてオプティカルフローを求めることを特徴とする請求項１または請求項２のいずれかに記載の確認動作検出装置。
4. 前記画像処理手段は、撮像画像上に格子状に配置された複数の領域にてオプティカルフローを求めることを特徴とする請求項１または請求項２のいずれかに記載の確認動作検出装置。
5. 前記画像処理手段は、前記撮像手段により取得された撮像画像中における顔の占める割合に基づいて、前記複数の領域のうち少なくとも１つの領域を所定の顔部位の大きさに設定することを特徴とする請求項３または請求項４のいずれかに記載の確認動作検出装置。
6. 前記画像処理手段は、撮像画像上に複数の領域を設定し、オプティカルフローを求める際には、オプティカルフローの計算の対象となる撮像画像から各領域の特徴量の変化量を算出し、この変化量と予め設定した閾値とを比較することにより、各領域をオプティカルフローの計算に用いるか否かを判断することを特徴とする請求項１〜請求項５のいずれか１項に記載の確認動作検出装置。
7. 前記確認動作判定手段は、前記顔動作確認手段が検出する顔の動きから空間的、時間経過的に顔の動きのパターンを検出することを特徴とする請求項１〜請求項６のいずれか１項に記載の確認動作検出装置。
8. 前記確認動作判定手段は、検出した前記パターンに基づき、顔の左右の向きの出現頻度を計算して確認動作を判定することを特徴とする請求項１〜請求項７のいずれか１項に記載の確認動作検出装置。
9. 車両の状態を検出する車両状態検出手段からの信号と、車両の周囲環境を検出する環境情報検出手段からの信号との少なくとも一方に基づいて、運転者が確認動作をすべき場所を特定することを特徴とする請求項１〜請求項８のいずれか１項に記載の確認動作検出装置。
10. 運転者の顔を時系列的に撮像して複数の撮像画像を取得し、取得した複数の撮像画像から撮像画像間のオプティカルフローを求めて運転者の顔の動きを検出し、検出した顔の動きに基づき確認動作を判定することを特徴とする確認動作検出装置。
11. 運転者の顔を撮像して撮像画像を取得する撮像手段と、
    前記撮像手段により時系列的に撮像して取得された撮像画像に基づき、撮像画像間のオプティカルフローを求める画像処理手段と、前記画像処理手段により求められたオプティカルフローから運転者の顔の動きを検出する顔動作検出手段と、前記顔動作検出手段により検出された運転者の顔の動きのパターンに基づいて、運転者による確認動作の可否を判定する確認動作判定手段と、を有する確認動作検出装置と、
    前記確認動作検出装置が有する確認動作判定手段により運転者による確認動作がなかったと判定された場合に、運転者に対しその旨を報知する報知装置と、
    を備えることを特徴とする警報システム。

Images