JP2022077281A - 検出システム - Google Patents

Abstract

【課題】運転手を正しく認識できる検出システムを提供する。【解決手段】本開示は、車両内を撮影するように構成された撮影部と、撮影部が撮影した撮影画像から人物の顔を検出するように構成された検出部と、検出部が検出した運転手の顔を基準顔として記憶するように構成された記憶部と、基準顔の大きさに対する検出部が検出した判定対象人物の顔の大きさの比が閾値以上であり、かつ、判定対象人物の顔の中心座標と基準顔の中心座標との距離が基準顔の幅以内のときに、判定対象人物を運転手と判定するように構成された運転手判定部と、を備える検出システムである。【選択図】図１

Description

特許法第３０条第２項適用申請有り 令和２年６月３０日に株式会社デンソーセールス（現 株式会社デンソーソリューション）に販売したことにより公開

本開示は、検出システムに関する。

車両内で撮影した運転手の顔画像に基づいて、運転手が居眠りしている危険な状態を検出するシステムが公知である（特許文献１参照）。このシステムでは、運転手の目の動きに基づいて、居眠り状態を検出する。

特開２０１７－７９０５５号公報

上述のシステムにおいて、例えば後部座席に同乗者が存在する場合、同乗者の顔を運転手の顔と誤認識する可能性がある。このような誤認識が発生すると、運転手の状態を検出できない。

本開示の一局面は、運転手を正しく認識できる検出システムを提供することを目的としている。

本開示の一態様は、車両内を撮影するように構成された撮影部と、撮影部が撮影した撮影画像から人物の顔を検出するように構成された検出部と、検出部が検出した運転手の顔を基準顔として記憶するように構成された記憶部と、基準顔の大きさに対する検出部が検出した判定対象人物の顔の大きさの比が閾値以上であり、かつ、判定対象人物の顔の中心座標と基準顔の中心座標との距離が基準顔の幅以内のときに、判定対象人物を運転手と判定するように構成された運転手判定部と、を備える検出システムである。

このような構成によれば、最初に記憶した基準顔に対する大きさの比及び中心座標のずれによって、判定対象人物の顔の前後方向（つまり奥行方向）及び左右方向における位置が判定できる。つまり、検出された顔の位置が想定範囲内である場合に判定対象人物が運転手と判定できる。そのため、運転手を正しく認識した状態で、運転手の監視を行うことができる。

本開示の一態様は、撮影画像に基づいて運転手への警報の必要を判定するように構成された警報判定部と、運転手判定部により判定対象人物が運転手と判定され、かつ、警報判定部により警報が必要と判定された場合に警報信号を出力するように構成された警報出力部と、をさらに備えてもよい。このような構成によれば、運転手を正しく認識した状態で、運転手に適切に警報を通知することができる。

本開示の一態様では、警報判定部は、撮影画像における少なくとも運転手の目の状態に基づいて警報が必要な危険状態を判定する第１処理と、撮影画像における運転手の口の変形量が閾値以上の場合に警報が不要な非危険状態であると判定し、かつ、非危険状態であると判定した場合に第１処理を一定時間キャンセルする第２処理と、を実行してもよい。このような構成によれば、目の状態に基づいて危険状態を判定する第１処理に加えて、口の変形量が大きいときに非危険状態であると判定する第２処理を行うことで、運転手が笑顔状態の場合に警報をキャンセルすることができる。また、非危険状態と判定された場合に第１処理を一定時間キャンセルすることで、笑顔状態に対して警報が発せられることが抑制される。そのため、危険状態に対する警報の精度が高められる。

本開示の一態様では、警報判定部は、第１処理において、撮影画像における運転手の目の高さが閾値以下である状態が一定時間継続し、撮影画像における運転手の顔の角度が閾値以下であり、かつ、車両の速度が閾値以上である場合に、危険状態であると判定してもよい。このような構成によれば、運転手が居眠りをしている状態に対して的確に警報を通知できる。

本開示の一態様では、警報判定部は、第１処理において、撮影画像における運転手の目の高さが閾値以下である状態が一定時間継続し、撮影画像における運転手の口の大きさが閾値以上であり、撮影画像における運転手の顔の角度が閾値以下であり、かつ、車両の速度が閾値以上であると共に警報判定部の起動から一定時間が経過している場合に、危険状態であると判定してもよい。このような構成によれば、運転手が疲労している状態に対して的確に警報を通知できる。

本開示の一態様では、警報判定部は、撮影画像における運転手の顔の角度が閾値以上である状態が一定時間継続し、かつ、車両の速度が閾値以上及び横方向の加速度が閾値以下であると共に車両のブレーキ、ウィンカー及びリバースギアのいずれもが機能していない場合に、警報が必要な危険状態であると判定してもよい。このような構成によれば、運転手が脇見をしながら運転している状態に対して的確に警報を通知できる。

本開示の一態様では、警報判定部は、撮影画像における運転手の顔及び手の位置に基づいて、警報が必要な危険状態を判定してもよい。このような構成によれば、運転手が危険な動作をしている状態に対して的確に警報を通知できる。

本開示の一態様では、警報判定部は、撮影画像において運転手が携帯端末を利用していると判定した場合、危険状態であると判定してもよい。このような構成によれば、運転手が携帯端末を利用しながら運転している状態に対して警報を通知できる。

本開示の一態様では、警報判定部は、撮影画像において運転手が喫煙していると判定した場合、危険状態であると判定してもよい。このような構成によれば、運転手が喫煙しながら運転している状態に対して警報を通知できる。

本開示の一態様では、警報出力部は、警報信号を出力した後、一定時間経過するまでは新たな警報信号を出力しなくてもよい。このような構成によれば、一度警報を通知した危険状態に対して、重ねて警報が通知されることを抑制できる。

図１Ａは、実施形態における検出システムの構成を概略的に示すブロック図であり、図１Ｂは、図１Ａの検出システムの外観の一例である。 図２は、図１Ａの検出システムによる運転手の判定に用いられる画像の一例である。 図３は、目の高さを説明するための模式図である。 図４Ａ及び図４Ｂは、顔の方向を説明するための模式図である。 図５Ａ及び図５Ｂは、口の大きさを説明するための模式図である。 図６は、図１Ａの検出システムが実行する処理を概略的に示すフロー図である。 図７は、図６のキャリブレーション処理を概略的に示すフロー図である。 図８は、図６の運転手判定処理を概略的に示すフロー図である。 図９は、図６の警報判定処理を概略的に示すフロー図である。 図１０は、図９の状態判定処理におけるイベントの一例を概略的に示すフロー図である。 図１１は、図９の状態判定処理におけるイベントの一例を概略的に示すフロー図である。 図１２は、図９の状態判定処理におけるイベントの一例を概略的に示すフロー図である。 図１３は、図９の状態判定処理におけるイベントの一例を概略的に示すフロー図である。 図１４は、図９の状態判定処理におけるイベントの一例を概略的に示すフロー図である。

以下、本開示が適用された実施形態について、図面を用いて説明する。
［１．第１実施形態］
［１－１．構成］
図１Ａ及び図１Ｂに示す検出システム１は、車両内に配置される車載器の一種である。検出システム１は、撮影部２と、処理部３とを備える。

＜撮影部＞
撮影部２は、車両内を撮影するように構成されている。撮影部２は、公知のカメラで構成される。撮影部２は、少なくとも運転中の運転手の顔を含む画像を取得可能な位置及び姿勢で車両内に配置される。

撮影部２は、撮影部２及び処理部３を収容する筐体４を介して、例えば、車両のフロントガラス、ダッシュボード等に取り付けられる。撮影部２は、撮影した撮影画像をデータとして検出部３１に出力する。

＜処理部＞
処理部３は、撮影部２が撮影した撮影画像に基づいて運転手の状態判定等の処理を行うように構成されている。

処理部３は、例えば、プロセッサと、記憶媒体と、通信インタフェースとを備えるコンピュータにより構成される。処理部３は、検出部３１と、記憶部３２と、運転手判定部３３と、警報判定部３４と、警報出力部３５とを有する。

（検出部）
検出部３１は、撮影部２が撮影した撮影画像から人物の顔を検出するように構成されている。

検出部３１は、人物の顔の検出に加えて、目、鼻、口等のパーツの位置及び大きさといった顔の特性も検出する。人物の顔及び特性の検出は、公知の画像解析用のアルゴリズム、ＡＩ（人工知能）等を用いて行われる。

（記憶部）
記憶部３２は、検出部３１が検出した運転手の顔を基準顔として記憶するように構成されている。

基準顔は、運転状態（つまり、運転席に座ってハンドルを握った状態）の運転手を撮影した撮影画像から抽出される。また、記憶部３２には、基準顔の他に、一定期間内に撮影部２が撮影した撮影画像、一定期間内に検出部３１が検出した顔の特性データ等も記憶される。

（運転手判定部）
運転手判定部３３は、基準顔に基づいて、撮影部２が撮影した撮影画像から検出部３１が検出した判定対象人物の顔が、運転手の顔であるかどうかを判定する。

具体的には、運転手判定部３３は、基準顔の大きさに対する検出部３１が検出した判定対象人物の顔の大きさの比が第１閾値以上であり、かつ、判定対象人物の顔の中心座標と基準顔の中心座標との距離が基準顔の幅以内のときに、判定対象人物を運転手と判定するように構成されている。

ここで、「顔の大きさ」とは、撮影画像における顔を内包する最小の長方形の面積、又は撮影画像における実際の顔の面積である。また、「顔の中心座標」とは、撮影画像における顔を内包する最小の長方形の重心座標、又は撮影画像における実際の顔の重心座標である。また、第１閾値は、例えば４０％である。

図２は、基準顔Ｐ０と、判定対象人物の顔Ｐ１との比較イメージである。図２では、判定対象人物の顔Ｐ１を内包する最小の長方形Ｒ１の面積（つまり顔Ｐ１の大きさ）が、基準顔Ｐ０を内包する最小の長方形Ｒ０の面積（つまり基準顔Ｐ０の大きさ）の第１閾値未満である。そのため、撮影画像Ｉにおける判定対象人物は、運転手ではなく、後部座席の同乗者と判定される。

また、図２の例では、判定対象人物の顔Ｐ１を内包する最小の長方形Ｒ１の重心Ｇ１（つまり顔Ｐ１の中心座標）と、基準顔Ｐ０を内包する最小の長方形Ｒ０の重心Ｇ０（つまり基準顔Ｐ０の中心座標）との水平距離Ｄが、基準顔Ｐ０の幅Ｗよりも大きい。そのため、この点からも撮影画像Ｉにおける判定対象人物は、後部座席の同乗者と判定される。

（警報判定部）
警報判定部３４は、撮影画像に基づいて運転手への警報の必要を判定するように構成されている。なお、警報判定部３４は、運転手判定部３３が判定対象人物を運転手と判定しなかった場合には、以下の危険状態の判定は行わない。

警報判定部３４は、撮影画像における少なくとも運転手の目の状態に基づいて警報が必要な危険状態を判定する第１処理と、撮影画像における運転手の口の変形量に基づいて警報が不要な非危険状態を判定し、かつ、非危険状態であると判定した場合に第１処理を一定時間キャンセルする第２処理と、を実行する。

さらに、警報判定部３４は、第１処理及び第２処理の前に、検出部３１によって運転手の顔が検出できているか確認する事前処理と、第１処理の判定対象外となる危険状態を判定する第３処理とを実行する。

（事前処理）
事前処理では、警報判定部３４は、顔の検出が一定時間成功し、かつ顔の検出精度が一定値以上である場合に、危険状態の判定（つまり第１処理、第２処理及び第３処理）が実行可能な状態であると判定する。

顔の検出が一定時間成功していると判定されるのは、例えば５秒連続で顔が検出できた場合である。また、顔の検出精度が一定値以上と判定されるのは、例えば顔のパーツの位置関係に基づく「顔スコア」（ＰＵＸ社の顔認識ソフトウェアで算出）がスコア最大値の８０％以上の場合である。

（第１処理）
警報判定部３４が第１処理で判定する危険状態には、閉眼状態と、疲れ状態とが含まれる。

閉眼状態は、運転手が目を閉じている状態であり、居眠り状態が含まれる。警報判定部３４は、第１処理において、閉眼条件が満たされる場合に閉眼状態であると判定する。閉眼条件は、撮影画像における運転手の目の高さが第２閾値以下である状態が一定時間（つまり第３閾値以上）継続し、撮影画像における運転手の顔の角度が第４閾値以下であり、かつ、車両の速度が第５閾値以上であることである。

「運転手の目の高さ」は、図３に示すように、基準高さに対する判定中の顔における目Ｅの最大上下幅Ｗの比を、左右の目で平均したものである。基準高さは、運転中の運転手における左右の目の最大上下幅Ｈの平均値である。第２閾値は、例えば７５％であり、第３閾値は、例えば２秒である。

また、警報判定部３４は、閉眼条件が満たされた状態で、さらに運転手の目の高さが第２閾値以下である状態が第３閾値よりも大きい追加閾値（例えば５秒）以上継続した場合に、より危険度が高く、強い警報が必要な「居眠り状態」と判定してもよい。

「運転手の顔の角度」は、図４Ａに示す基準顔Ｐ０の方向Ａ０と、図４Ｂに示す判定中の顔Ｐ１の方向Ａ１とが成す角度θの絶対値である。なお、「顔の方向」は、撮影画像中の目、鼻、口等の顔のパーツの位置及び大きさによって算出される。第４閾値は、例えば１０°である。

「車両の速度」は、検出システム１に接続された車両情報取得装置１０から信号として処理部３に送信される。車両情報取得装置１０は、ドライブレコーダ等の車載器、又は車両のＥＣＵ（エレクトリックコントロールユニット）に搭載された速度センサである。なお、検出システム１が車両情報取得装置１０を備えてもよい。第５閾値は、例えば３０ｋｍ／ｈである。

このように、警報判定部３４は、車両の速度がある程度出ており、かつ、運転手が正面を向きながら運転手の目の開き具合が低下する状態が続いた場合に、危険状態の１つである閉眼状態と判定する。

疲れ状態は、運転手が疲労を感じて集中力が低下している状態である。警報判定部３４は、第１処理において、疲れ条件が満たされる場合に疲れ状態であると判定する。疲れ条件は、撮影画像における運転手の目の高さが第６閾値以下である状態が一定時間（つまり第７閾値以上）継続し、撮影画像における運転手の口の大きさが第８閾値以上であり、撮影画像における運転手の顔の角度が第９閾値以下であり、かつ、車両の速度が第１０閾値以上であると共に警報判定部３４の起動から一定時間（つまり第１１閾値以上）が経過していることである。

「運転手の目の高さ」は、閉眼条件で使用されるパラメータと同じである。第６閾値は、閉眼条件の第２閾値よりも大きく、例えば８５％である。第７閾値は、閉眼条件の第３閾値よりも大きく、例えば４秒である。

「運転手の口の大きさ」は、図５Ａに示す基準面積Ｓ０に対する、図５Ｂに示す判定中の顔における唇Ｌの上下左右の４点で囲まれた面積Ｓ１の比である。基準面積Ｓ０は、運転中の運転手における唇Ｌの上下左右の４点で囲まれた面積である。第８閾値は、例えば１９０％である。

「運転手の顔の角度」は、閉眼条件で使用されるパラメータと同じである。第９閾値は、閉眼条件の第４閾値と同じであり、例えば１０°である。
「車両の速度」は、閉眼条件で使用されるパラメータと同じである。第１０閾値は、閉眼条件の第５閾値と同じであり、例えば３０ｋｍ／ｈである。

「警報判定部３４の起動からの時間」は、検出システム１の電源をオンにした後、自動的にカウントされる。第１１閾値は、例えば１０分である。

このように、警報判定部３４は、車両の速度がある程度出ており、かつ、運転手が正面を向きながら運転手の目の開き具合が低下した状態が続き、さらに運転手があくびをした場合に、危険状態の１つである疲れ状態と判定する。なお、運転手の目の開き具合の判定は、閉眼状態における判定よりも緩くされている。

（第２処理）
第２処理は、運転手が目を細めている（又は閉じている）笑顔状態が、閉眼状態又は疲れ状態と誤判定されることを回避するために実行される。

警報判定部３４は、笑顔条件が満たされる場合に警報が不要な非危険状態であると判定する。笑顔条件は、運転手の口の変形量が第１２閾値以上であることである。

「運転手の口の変形量」は、基準幅に対する判定中の顔の口の横幅ＬＷ（図５Ａ参照）の比である。基準幅は、運転中の運転手における口の平均横幅である。第１２閾値は、例えば１．２である。なお、口の横幅の代わりに、口角の高さを判定に用いてもよい。

また、警報判定部３４は、非危険状態であると判定した場合に第１処理を一定時間キャンセルする。つまり、笑顔状態の判定後、一定時間経過するまでは、閉眼状態及び疲れ状態の判定が行われない。キャンセル時間は、例えば笑顔条件が満たされなくなるまで（つまり警報判定部３４が非危険状態ではないと判定するまで）の時間である。

（第３処理）
警報判定部３４が第３処理で判定する危険状態には、脇見状態と、携帯端末利用状態と、喫煙状態とが含まれる。これらの危険状態の判定は、第２処理によってキャンセルされない。

脇見状態は、運転手が正面を見ずに運転している状態である。警報判定部３４は、脇見条件が満たされる場合に危険状態の１つである脇見状態と判定する。脇見条件は、撮影画像における運転手の顔の角度が第２１閾値以上である状態が一定時間（つまり第２２閾値以上）継続し、かつ、車両の速度が第２３閾値以上及び横方向の加速度が第２４閾値以下であると共に車両のブレーキ、ウィンカー及びリバースギアのいずれもが機能していないことである。

「運転手の顔の角度」は、閉眼条件で使用されるパラメータと同じである。第２１閾値は、例えば２０°である。第２２閾値は、例えば２秒又は３秒である。
「車両の速度」は、閉眼条件で使用されるパラメータと同じである。第２３閾値は、閉眼条件の第５閾値と同じであり、例えば３０ｋｍ／ｈである。

「車両の横方向の加速度」は、車両の速度と同様に、検出システム１に接続された車両情報取得装置１０から信号として送信される。第２４閾値は、例えば０．０７Ｇである。

車両のブレーキ、ウィンカー及びリバースギアが機能しているか否かは、それぞれ、検出システム１に接続された車両情報取得装置１０から信号として送信される。

このように、警報判定部３４は、車両の速度がある程度出ており、車両がカーブ走行中、右左折中、及びバック中のいずれにも該当せず、かつ、運転手が正面を向いていない場合に、危険状態の１つである脇見状態と判定する。

携帯端末利用状態は、運転手が運転中に携帯電話等の携帯端末の操作、又は携帯端末による通話をしている状態である。警報判定部３４は、携帯端末利用条件が満たされる場合に、危険状態の１つである携帯端末利用状態と判定する。

携帯端末利用条件は、撮影画像における運転手の顔及び手と携帯端末との位置に基づいて運転手が携帯端末を利用していると判定される状態が、第３１閾値以上継続していることである。第３１閾値は、例えば５秒である。

喫煙状態は、運転手が運転中にタバコ等の喫煙具を使用して喫煙している状態である。警報判定部３４は、喫煙条件が満たされる場合に、危険状態の１つである喫煙状態であると判定する。

喫煙条件は、撮影画像における運転手の顔及び手と喫煙具との位置に基づいて運転手が喫煙していると判定される状態が、第３２閾値以上継続していることである。第３２閾値は、例えば３秒である。

警報判定部３４は、車両の現在速度が第４１閾値以上であり、一定時間内の車両の速度の最大値と最小値との差が第４２閾値以下であり、一定時間内の車両の前後方向の加速度の最大値と最小値との差が第４３閾値以下であり、一定時間内の車両の左右方向の加速度の最大値と最小値との差が第４４閾値以下であり、一定時間内の車両の上下方向の加速度の最大値と最小値との差が第４５閾値以下であり、かつ、車両のエンジン始動から一定時間（つまり第４６閾値以上）経過している場合に、危険状態の１つとして単調運転状態を判定してもよい。

第４１閾値は、例えば３０ｋｍ／ｈである。第４２閾値は、例えば５ｋｍ／ｈである。第４３閾値は、例えば０．２Ｇである。第４４閾値は、例えば０．２Ｇである。第４５閾値は、例えば０．２Ｇである。第４６閾値は、例えば３０分である。

（警報出力部）
警報出力部３５は、運転手判定部３３により判定対象人物が運転手と判定され、かつ、警報判定部３４により警報が必要と判定された場合（つまり危険状態が判定された場合）に警報信号を出力するように構成されている。

警報出力部３５は、警報信号を外部の警報装置２０（例えばドライブレコーダ等の車載器）に送信する。警報装置２０は、音声、照明、ディスプレイへの表示等によって、警報を車両内の運転手に通知する。なお、検出システム１が警報装置２０を備えてもよい。また、警報出力部３５は、警報信号又は警報履歴を外部記憶装置３０に出力する。

警報出力部３５は、解除条件が満たされるまでは新たな警報信号を出力しない。解除条件は、警報信号を出力した後、一定時間経過することである。以下に危険状態ごとの解除条件の一例を示す。

閉眼状態の判定によって警報信号を出力した場合、警報出力部３５は、運転手の目の高さが第２閾値を超える状態が第５１閾値以上継続するまでは、再度警報信号を出力しない。第５１閾値は、例えば５秒である。

疲れ状態の判定によって警報信号を出力した場合、警報出力部３５は、運転手の目の高さが第６閾値を超える状態が第５２閾値以上継続するか、又は警報信号の出力から第５３閾値以上経過するまでは、再度警報信号を出力しない。第５２閾値は、例えば５秒である。第５３閾値は、例えば１５分である。

脇見状態の判定によって警報信号を出力した場合、警報出力部３５は、運転手の顔の角度が第２１閾値未満となる状態が第５４閾値以上継続するまでは、再度警報信号を出力しない。第５４閾値は、例えば５秒である。

携帯端末利用状態の判定によって警報信号を出力した場合、警報出力部３５は、携帯端末利用状態でない状態が第５５閾値以上継続するまでは、再度警報信号を出力しない。第５５閾値は、例えば１０秒である。

喫煙状態の判定によって警報信号を出力した場合、警報出力部３５は、警報が発生してから第５６閾値以上継続するまでは、再度警報信号を出力しない。第５６閾値は、例えば１５分である。

単調運転状態の判定によって警報信号を出力した場合、警報出力部３５は、警報が発生してから第５７閾値以上継続するまでは、再度警報信号を出力しない。第５７閾値は、例えば１５分である。

＜処理＞
以下、図６のフロー図を参照しつつ、検出システム１が実行する処理の一例について説明する。

検出システム１は、起動に伴って本処理を開始する。本処理では、検出システム１は、まず、キャリブレーションが済んでいるか否か判定する（ステップＳ１１０）。キャリブレーションは、基準顔を登録するための処理であり、検出システム１を新規に車両に取り付けた場合、検出システム１の取り付け位置（つまり撮影部２の画角）を変更した場合等に実施される。

キャリブレーションが済んでいない場合（Ｓ１１０：ＮＯ）、検出システム１は、キャリブレーション処理（ステップＳ１２０）を実行した後に、運転手判定処理（ステップＳ１３０）を実行する。一方、キャリブレーションが済んでいる場合（Ｓ１１０：ＹＥＳ）、検出システム１は、キャリブレーション処理Ｓ１２０を実行せずに運転手判定処理Ｓ１３０を実行する。

運転手判定処理Ｓ１３０の実行後、検出システム１は、警報判定処理（ステップＳ１４０）を実行する。検出システム１は、警報判定処理Ｓ１４０の終了に伴って、全体の処理を終了する。

（キャリブレーション処理）
図７に示すキャリブレーション処理では、検出システム１は、まず車両内の画像を撮影する（ステップＳ２１０）。

画像の撮影後、検出システム１は、撮影画像から運転手の顔を検出する（ステップＳ２２０）。続いて、検出システム１は、顔の検出が成功したか否か判定する（ステップＳ２３０）。

顔の検出が成功した場合（Ｓ２３０：ＹＥＳ）、検出システム１は、キャリブレーション処理を終了する。一方、顔の検出が失敗した場合（Ｓ２３０：ＮＯ）、検出システム１は、画像の撮影からを繰り返す。なお、検出システム１は、顔の検出が失敗した場合にアナウンスを発してもよい。

（運転手判定処理）
図８に示す運転手判定処理では、検出システム１は、まず撮影部２の撮影画像から顔を検出する（ステップＳ３１０）。

次に、検出システム１は、後述する失敗回数が予め定めた閾値以上であるか否か判定する（ステップＳ３２０）。失敗回数が閾値以上の場合（Ｓ３２０：ＹＥＳ）、検出システム１は、上述したキャリブレーション処理Ｓ１２０を実行すると共に失敗回数をゼロリセットし、顔の検出に戻る。

失敗の回数が閾値未満の場合（Ｓ３２０：ＮＯ）、検出システム１は、基準顔の大きさに対する検出した判定対象人物の顔の大きさの比が閾値以上であるか否か判定する（ステップＳ３３０）。

顔の大きさの比が閾値以上の場合（Ｓ３３０：ＹＥＳ）、検出システム１は、判定対象人物の顔の中心座標と基準顔の中心座標との距離が基準顔の幅以内であるか否か判定する（ステップＳ３４０）。

上記距離が基準顔の幅以内の場合（Ｓ３４０：ＹＥＳ）、検出システム１は、顔を検出した判定対象人物が運転手であると判定し（ステップＳ３５０）、運転手判定処理を終了する。

一方、顔の大きさの比が閾値未満の場合（Ｓ３３０：ＮＯ）、又は上記距離が基準顔の幅を超える場合（Ｓ３４０：ＮＯ）、検出システム１は、失敗回数をカウントし（ステップＳ３６０）、顔の検出からを繰り返す。

なお、検出システム１は、運転手が判定された場合、及び／又は運転手の判定ができなかった場合にアナウンスを発してもよい。

（警報判定処理）
図９に示す警報判定処理では、検出システム１は、まず撮影部２の撮影画像から顔を検出する（ステップＳ４１０）。

次に、検出システム１は、一定の第１期間（例えば５秒間）、運転手の顔の検出成功が継続したか否か判定する（ステップＳ４２０）。検出成功の継続時間が第１期間未満の場合（Ｓ４２０：ＮＯ）、検出システム１は、第１期間よりも長い第２期間（例えば３分間）、運転手の顔の検出失敗が継続したか否か判定する（ステップＳ４５０）。

検出失敗の継続時間が第２期間未満の場合（Ｓ４５０：ＮＯ）、検出システム１は、顔の検出に戻る。一方、検出失敗の継続時間が第２期間以上の場合（Ｓ４５０：ＹＥＳ）、検出システム１は、上述した運転手判定処理Ｓ１３０を実行してから、顔検出に戻る。このとき、検出システム１は、顔検出の異常アナウンスを発してもよい。

検出成功の継続時間が第１期間以上の場合（Ｓ４２０：ＹＥＳ）、検出システム１は、検出精度（例えば顔スコア）が閾値以上であるか否か判定する（ステップＳ４３０）。検出精度が閾値以上の場合（Ｓ４３０：ＹＥＳ）、検出システム１は、状態判定処理（ステップＳ４４０）を実行する。一方、検出精度が閾値未満の場合（Ｓ４３０：ＮＯ）、検出システム１は、顔の検出に戻る。

状態判定処理Ｓ４４０を実行した後、検出システム１は、終了信号が有るか否か判定する（ステップＳ４５０）。終了信号がない場合（Ｓ４５０：ＮＯ）、検出システム１は、顔の検出からを繰り返す。

一方、終了信号がある場合（Ｓ４５０：ＹＥＳ）、検出システム１は、警報判定処理を終了する。なお、終了信号とは、検出システム１の電源オフ、警報判定機能の終了操作等に基づいて発生する信号である。

（状態判定処理）
状態判定処理は、閉眼状態を判定するイベント（図１０）と、疲れ状態を判定するイベント（図１１）と、脇見状態を判定するイベント（図１２）と、携帯端末利用状態を判定するイベント（図１３）と、喫煙状態を判定するイベント（図１４）とを含む。これらのイベントは並列して行われる。

図１０に示す閉眼状態の判定イベントでは、検出システム１は、まず、解除条件が満たされているか否か判定する（ステップＳ５１０）。解除条件が満たされていない場合（Ｓ５１０：ＮＯ）、検出システム１は、本イベントを終了する。

一方、解除条件が満たされている場合（Ｓ５１０：ＹＥＳ）、検出システム１は、後述するキャンセルフラグがオンになっているか否か判定する（ステップＳ５２０）。キャンセルフラグがオンの場合（Ｓ５２０：ＹＥＳ）、検出システム１は、検出した顔が笑顔条件を満たすか否か判定する（ステップＳ５７０）。

キャンセルフラグがオンのときに笑顔条件が満たされない場合（Ｓ５７０：ＮＯ）、検出システム１は、キャンセルフラグをオフにし（ステップＳ５８０）、本イベントを終了する。キャンセルフラグがオンのときに笑顔条件が満たされる場合（Ｓ５７０：ＹＥＳ）、検出システム１は、キャンセルフラグをオンのまま、本イベントを終了する。なお、キャンセルフラグはイベントごとに設定される。

一方、キャンセルフラグがオフの場合（Ｓ５２０：ＮＯ）、検出システム１は、検出した顔が閉眼条件を満たすか否か判定する（ステップＳ５３０）。閉眼条件が満たされない場合（Ｓ５３０：ＮＯ）、検出システム１は、本イベントを終了する。

一方、閉眼条件が満たされる場合（Ｓ５３０：ＹＥＳ）、検出システム１は、検出した顔が笑顔条件を満たすか否か判定する（ステップＳ５４０）。笑顔条件が満たされる場合（Ｓ５４０：ＹＥＳ）、検出システム１は、キャンセルフラグをオンにし（ステップＳ５６０）、本イベントを終了する。

一方、笑顔条件が満たされない場合（Ｓ５４０：ＮＯ）、検出システム１は、警報信号を出力する（ステップＳ５５０）。警報信号の出力後、検出システム１は、本イベントを終了する。

図１１に示す疲れ状態の判定イベントは、図１０のイベントにおける閉眼条件（Ｓ５３０）に代えて、検出した顔が疲れ条件を満たすか否かが判定される（ステップＳ５３１）点を除いて、図１０のイベントと同じ内容である。

図１２に示す脇見状態の判定イベントは、図１０のイベントにおける閉眼条件（Ｓ５３０）に代えて、検出した顔が脇見条件を満たすか否かが判定される（ステップＳ５３２）点と、笑顔状態の判定（Ｓ５４０）及びキャンセルフラグの処理（Ｓ５２０及びＳ５６０）が実行されない点とを除いて、図１０のイベントと同じ内容である。

図１３に示す携帯端末利用状態の判定イベントは、図１２のイベントにおける脇見条件（Ｓ５３２）に代えて、撮影画像の顔及び手が携帯端末利用条件を満たすか否かが判定される（ステップＳ５３３）点を除いて、図１２のイベントと同じ内容である。

図１４に示す喫煙状態の判定イベントは、図１２のイベントにおける脇見条件（Ｓ５３２）に代えて、撮影画像の顔及び手が喫煙条件を満たすか否かが判定される（ステップＳ５３４）点を除いて、図１２のイベントと同じ内容である。

［１－２．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（１ａ）運転手判定部３３によって、最初に記憶した基準顔に対する大きさの比及び中心座標のずれによって、判定対象人物の顔の前後方向（つまり奥行方向）及び左右方向における位置が判定できる。つまり、検出された顔の位置が想定範囲内である場合に、判定対象人物が運転手と判定できる。そのため、運転手を正しく認識した状態で、運転手の監視を行うことができる。

（１ｂ）警報判定部３４によって、運転手を正しく認識した状態で、運転手に適切に警報を通知することができる。

（１ｃ）運転手の目の状態に基づいて危険状態を判定する第１処理に加えて、口の変形量が大きいときに非危険状態であると判定する第２処理を行うことで、運転手が笑顔状態の場合に警報をキャンセルすることができる。また、非危険状態と判定された場合に第１処理を一定時間キャンセルすることで、笑顔状態に対して警報が発せられることが抑制される。そのため、危険状態に対する警報の精度が高められる。

（１ｄ）閉眼状態の判定により、運転手が居眠りをしている状態に対して的確に警報を通知できる。
（１ｅ）疲労状態の判定により、運転手が疲労している状態に対して的確に警報を通知できる。

（１ｆ）脇見状態の判定により、運転手が脇見をしながら運転している状態に対して的確に警報を通知できる。
（１ｇ）携帯端末利用状態の判定により、運転手が携帯端末を利用しながら運転している状態に対して警報を通知できる。

（１ｈ）喫煙状態の判定により、運転手が喫煙しながら運転している状態に対して警報を通知できる。
（１ｉ）警報信号が出力されてから一定時間経過するまで新たな警報信号が出力されないことで、一度警報を通知した危険状態に対して、重ねて警報が通知されることを抑制できる。

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（２ａ）上記実施形態の検出システムにおいて、警報判定部は、必ずしも危険状態を判定する処理をキャンセルする第２処理を実行しなくてもよい。

（２ｂ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

１…検出システム、２…撮影部、３…処理部、４…筐体、１０…車両情報取得装置、
２０…警報装置、３０…外部記憶装置、３１…検出部、３２…記憶部、
３３…運転手判定部、３４…警報判定部、３５…警報出力部。

Claims (10)

1. 車両内を撮影するように構成された撮影部と、
   前記撮影部が撮影した撮影画像から人物の顔を検出するように構成された検出部と、
   前記検出部が検出した運転手の顔を基準顔として記憶するように構成された記憶部と、
   前記基準顔の大きさに対する前記検出部が検出した判定対象人物の顔の大きさの比が閾値以上であり、かつ、前記判定対象人物の顔の中心座標と前記基準顔の中心座標との距離が前記基準顔の幅以内のときに、前記判定対象人物を前記運転手と判定するように構成された運転手判定部と、
   を備える、検出システム。
2. 請求項１に記載の検出システムであって、
   前記撮影画像に基づいて前記運転手への警報の必要を判定するように構成された警報判定部と、
   前記運転手判定部により前記判定対象人物が前記運転手と判定され、かつ、前記警報判定部により前記警報が必要と判定された場合に警報信号を出力するように構成された警報出力部と、
   をさらに備える、検出システム。
3. 請求項２に記載の検出システムであって、
   前記警報判定部は、
   前記撮影画像における少なくとも前記運転手の目の状態に基づいて前記警報が必要な危険状態を判定する第１処理と、
   前記撮影画像における前記運転手の口の変形量が閾値以上の場合に前記警報が不要な非危険状態であると判定し、かつ、前記非危険状態であると判定した場合に前記第１処理を一定時間キャンセルする第２処理と、
   を実行する、検出システム。
4. 請求項３に記載の検出システムであって、
   前記警報判定部は、前記第１処理において、前記撮影画像における前記運転手の目の高さが閾値以下である状態が一定時間継続し、前記撮影画像における前記運転手の顔の角度が閾値以下であり、かつ、前記車両の速度が閾値以上である場合に、前記危険状態であると判定する、検出システム。
5. 請求項３又は請求項４に記載の検出システムであって、
   前記警報判定部は、前記第１処理において、前記撮影画像における前記運転手の目の高さが閾値以下である状態が一定時間継続し、前記撮影画像における前記運転手の口の大きさが閾値以上であり、前記撮影画像における前記運転手の顔の角度が閾値以下であり、かつ、前記車両の速度が閾値以上であると共に前記警報判定部の起動から一定時間が経過している場合に、前記危険状態であると判定する、検出システム。
6. 請求項２から請求項５のいずれか１項に記載の検出システムであって、
   前記警報判定部は、前記撮影画像における前記運転手の顔の角度が閾値以上である状態が一定時間継続し、かつ、前記車両の速度が閾値以上及び横方向の加速度が閾値以下であると共に前記車両のブレーキ、ウィンカー及びリバースギアのいずれもが機能していない場合に、前記警報が必要な危険状態であると判定する、検出システム。
7. 請求項２から請求項６のいずれか１項に記載の検出システムであって、
   前記警報判定部は、前記撮影画像における前記運転手の顔及び手の位置に基づいて、前記警報が必要な危険状態を判定する、検出システム。
8. 請求項７に記載の検出システムであって、
   前記警報判定部は、前記撮影画像において前記運転手が携帯端末を利用していると判定した場合、前記危険状態であると判定する、検出システム。
9. 請求項７又は請求項８に記載の検出システムであって、
   前記警報判定部は、前記撮影画像において前記運転手が喫煙していると判定した場合、前記危険状態であると判定する、検出システム。
10. 請求項２から請求項９のいずれか１項に記載の検出システムであって、
    前記警報出力部は、前記警報信号を出力した後、一定時間経過するまでは新たな前記警報信号を出力しない、検出システム。

Images