JP2022099157A - 脇見判定装置および脇見判定方法 - Google Patents

Abstract

【課題】車両の運転者の脇見に対して適切に警告を行う。
【解決手段】脇見判定装置２０は、車両の運転者および運転者以外の搭乗者の有無を検出する第１検出部２２１と、運転者および運転者以外の搭乗者の顔または視線の向きを検出する第２検出部２２２と、第１検出部２２１の検出結果および第２検出部２２２の検出結果に基づいて、運転者が車両の進行方向以外を第１期間以上向いているときに脇見を行っていると判定し、運転者以外の搭乗者による周辺確認可能性が低い状態であると判定された場合は、運転者が車両の進行方向以外を第１期間より短い第２期間以上向いているときに脇見を行っていると判定する判定部２３と、を備える。
【選択図】図１

Description

本発明は、脇見判定装置および脇見判定方法に関する。

車両の運転者を撮影し、顔や視線の向きから脇見を判定する装置が知られている（例えば、特許文献１参照）。特許文献１に記載の技術は、車両の運転者が特定の車載部品の方向を基準時間以上向いている場合に脇見運転と判定する。

特開２０２０－２４５３２号公報

車両の運転者による脇見は、進行方向以外の方向に、特に目を引く対象物などが存在する場合、進行方向の確認が疎かになりやすい。一般的に、特許文献１に記載の装置などは、運転者が脇見を行っている場合、危険な状態が発生しない程度の時間で運転者に警告を行う。

このような場合であっても、車両の同乗者が存在し、車両の運転者が脇見を行っている場合に危険な状態の発生に気付き、運転者に伝えることで、より早期に危険な状態に気付くことができる。言い換えると、車両の運転者が脇見を行っている場合に、車両の同乗者が危険な状態の発生に気付かない状態の場合は、通常よりも早期に警告を行うことで、危険な状態に早期に対応することが望まれる。

本発明は、上記に鑑みてなされたものであって、車両の運転者の脇見に対して適切に警告を行うことを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る脇見判定装置は、車両の運転者および前記運転者以外の搭乗者の有無を検出する第１検出部と、前記運転者および前記運転者以外の搭乗者の顔または視線の向きを検出する第２検出部と、前記第１検出部の検出結果および前記第２検出部の検出結果に基づいて、前記運転者が前記車両の進行方向以外を第１期間以上向いているときに脇見を行っていると判定し、前記運転者以外の搭乗者による周辺確認可能性が低い状態であると判定された場合は、前記運転者が前記車両の進行方向以外を前記第１期間より短い第２期間以上向いているときに脇見を行っていると判定する判定部と、を備える。

本発明に係る脇見判定装置が実行する脇見判定方法は、車両の運転者および前記運転者以外の搭乗者の有無を検出するステップと、前記運転者および前記運転者以外の搭乗者の顔または視線の向きおよび覚醒度を検出するステップと、前記運転者が前記車両の進行方向以外を第１期間以上向いているときに脇見を行っていると判定し、前記運転者以外の搭乗者による周辺確認可能性が低い状態であると判定された場合は、前記運転者が前記車両の進行方向以外を前記第１期間より短い第２期間以上向いているときに脇見を行っていると判定するステップとを含む。

本発明によれば、車両の運転者の脇見に対して適切に警告を行うことができるという効果を奏する。

図１は、第一実施形態に係る脇見判定装置の構成例を示すブロック図である。 図２は、検出範囲の一例を説明する概略図である。 図３は、搭乗者の顔または視線の向きを説明する概略図である。 図４は、第一実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。 図５は、第二実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。 図６は、第三実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。

以下に添付図面を参照して、本発明に係る脇見判定装置および脇見判定方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
＜警告装置＞
図１は、第一実施形態に係る脇見判定装置２０の構成例を示すブロック図である。警告装置１０は、車両の運転者および運転者以外の搭乗者の顔または視線の向きと、運転者以外の搭乗者による周辺確認の可能性に基づいて、脇見を判定して警告する。

警告装置１０は、撮像部１１と、通知部１２と、脇見判定装置２０とを有する。警告装置１０は、例えば、車両にあらかじめ設置されている安全運転支援機能を有する装置やナビゲーション装置、ドライブレコーダー等、または、インフォテインメントシステムの機能として実装されていてもよい。警告装置１０は、可搬型で車両に持ち込まれた装置の機能として実装されていてもよい。

撮像部１１は、車両の車室内の音声を含む映像を撮影する。撮像部１１は、例えば車内カメラである。撮像部１１は、撮影した車室内の車内映像データである撮像データを脇見判定装置２０の撮像データ取得部２１へ出力する。

撮像部１１の車内カメラとしての機能について説明する。撮像部１１は、車両の車室内を撮影するカメラである。撮像部１１は、車両のすべての座席に着座している運転者を含む搭乗者の少なくとも顔部を撮影可能な位置に配置されている。撮像部１１は、例えば、車両のルームミラー内部またはルームミラーの周辺に配置されている。撮像部１１は、撮影範囲と撮影向きが固定またはほぼ固定である。撮像部１１は、例えば、可視光カメラまたは近赤外線カメラで構成される。撮像部１１は、例えば、可視光カメラと近赤外線カメラとの組み合わせで構成されてもよい。撮像部１１は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。撮像データは、例えば毎秒３０フレームの画像から構成される動画像である。

通知部１２は、車両の運転者に対して警告を通知する。通知部１２は、スピーカおよび表示部の少なくともどちらかを含む。通知部１２は、脇見判定装置２０の警告制御部２４からの制御信号に基づいて通知を出力するよう制御する。本実施形態では、通知部１２は、脇見判定装置２０の警告制御部２４からの制御信号に基づいて、脇見運転を警告する通知を出力するよう制御する。

通知部１２のスピーカとしての機能について説明する。通知部１２は、一例としては、警告装置１０に固有の音声出力装置、又は、ナビゲーションシステムを含む他のシステムと共用した音声出力装置などである。通知部１２は、脇見判定装置２０の警告制御部２４から出力された音声信号に基づいて、音声を出力する。本実施形態では、通知部１２は、脇見判定装置２０の警告制御部２４からの音声信号に基づいて、脇見運転を警告する音声をスピーカから出力するよう制御する。

通知部１２の表示部としての機能について説明する。通知部１２は、一例としては、警告装置１０に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。通知部１２は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。本実施形態では、通知部１２は、車両の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。通知部１２が表示部である場合、脇見判定装置２０の警告制御部２４から出力された映像信号に基づいて、映像を表示する。本実施形態では、通知部１２は、脇見判定装置２０の警告制御部２４からの映像信号に基づいて、脇見運転を警告する映像を表示部に表示させるよう制御する。

＜脇見判定装置＞
脇見判定装置２０は、車両の運転者の脇見を判定する。脇見判定装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。脇見判定装置２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。脇見判定装置２０には図示しない内部メモリが含まれ、内部メモリは脇見判定装置２０におけるデータの一時記憶などに用いられる。脇見判定装置２０は、本発明にかかるプログラムを動作させるコンピュータである。脇見判定装置２０は、バス２０Ｘに接続された、撮像データ取得部２１と、第１検出部２２１と、第２検出部２２２と、判定部２３と、警告制御部２４とを有する。

撮像データ取得部２１は、撮像部１１が撮影した撮像データを取得する。より詳しくは、撮像データ取得部２１は、撮像部１１が出力した車内映像データであり、車両の運転者および運転者以外の搭乗者の顔が撮影された撮像データを取得する。

第１検出部２２１は、車両の運転者および運転者以外の搭乗者の有無を検出する。実施形態では、第１検出部２２１は、撮像データ取得部２１が取得した撮像データから車両の運転者および運転者以外の搭乗者の有無を検出する。撮像データから人物を認識する方法は、公知の方法を使用可能であり、限定されない。検出される人物は、車両の運転者および運転者以外の搭乗者である。

図２を用いて、車内映像データ１００から運転者および運転者以外の搭乗者を検出する方法について説明する。図２は、検出範囲の一例を説明する概略図である、乗車定員５名の車両の車内映像データ１００を一例として説明する。各座席に着座した人物の顔は、車内映像データ１００の座標で定義される範囲内にそれぞれ撮影される。これにより、各座席に対応した、車内映像データ１００の座標で定義される範囲から認識された人または顔が、当該座席の搭乗者である。本実施形態では、例えば、ステアリング位置が右側の車両の場合を示し、車内映像データ１００の範囲１０１から人または顔が認識された場合、左前部座席の搭乗者である。例えば、車内映像データ１００の範囲１０２から人または顔が認識された場合、右前部座席の搭乗者である。例えば、車内映像データ１００の範囲１０３から人または顔が認識された場合、左後部座席の搭乗者である。例えば、車内映像データ１００の範囲１０４から人または顔が認識された場合、中央後部座席の搭乗者である。例えば、車内映像データ１００の範囲１０５から人または顔が認識された場合、右後部座席の搭乗者である。このようにして、各座席においての搭乗者有無を検出可能である。

第２検出部２２２は、車両の運転者および運転者以外の搭乗者の顔または視線の向きを検出する。より詳しくは、第２検出部２２２は、撮像データ取得部２１が取得した撮像データから人物を認識する。

第２検出部２２２は、車両の運転者および運転者以外の搭乗者の顔または視線の向きを検出する。本実施形態では、第２検出部２２２は、車内映像データに画像処理を行って、運転者および運転者以外の搭乗者の顔部を認識して、顔または視線の向きを検出する。より詳しくは、第２検出部２２２は、例えば、車内映像データから運転者および運転者以外の搭乗者の眼を認識して、顔または視線の向きを示す情報を取得する。運転者および運転者以外の搭乗者の目の映像に基づく視線検出は、目の映像から検出した目頭と光彩の位置関係に基づく視線検出や、角膜反射と瞳孔の位置関係に基づく視線検出など任意の手法が適用可能である。

図３は、搭乗者の顔または視線の向きを説明する概略図である。図３を用いて、各搭乗者の顔または目の向きを検出する方法について説明する。第２検出部２２２は、撮像部１１の位置と各座席の位置とに基づいて、顔または目の向きを正面とするオフセット角が設定されている。図３は、撮像部１１が車両のインナーミラー内部やインナーミラー付近に備えられている場合の、右前部座席（例えば運転席）に着座している搭乗者Ｍ（例えば運転者）の検出を示している。図３は、搭乗者Ｍの頭部を示している。搭乗者Ｍの正面方向は車両の前方であり、ｆで示す。搭乗者Ｍの頭部中心部となることが仮定された位置を中心に、オフセット角ｂが設定されている。第２検出部２２２が検出する搭乗者Ｍの顔または視線の向きは、実際に検出された方向からオフセット角ｂの補正が行われる。角度ａは、搭乗者Ｍの顔または視線の向きが、車両の前方を向いている、言い換えると、脇見ではないと判定される範囲の例を示す。つまり、搭乗者Ｍの顔または視線の向きが、車両の直進時に角度ａ以外の向きである場合は、車両の前方以外を向いている、言い換えると、脇見をしていると判定する。角度ａは、通常の運転者が、車両の直進時、つまり車両の走行時における右左折や後退以外のときに顔または視線を向ける範囲である。

判定部２３は、第１検出部２２１の検出結果および第２検出部２２２の検出結果に基づいて、運転者が車両の進行方向以外を第１期間ｔ１以上向いているときに脇見を行っていると判定し、運転者以外の搭乗者による周辺確認可能性が低い状態であると判定された場合は、運転者が車両の進行方向以外を第１期間ｔ１より短い第２期間ｔ２（ｔ２＜ｔ１）以上向いているときに脇見を行っていると判定する。言い換えると、判定部２３は、第１検出部２２１の検出結果および第２検出部２２２の検出結果に基づいて、運転者が車両の進行方向以外を向いているときは、運転者が脇見を行っていると判定するまでの期間を第１期間ｔ１に設定する。また、運転者以外の搭乗者による周辺確認可能性が低い状態であると判定された場合は、運転者が脇見を行っていると判定するまでの期間を第１期間ｔ１より短い第２期間ｔ２（ｔ２＜ｔ１）に設定する。例えば、第１期間ｔ１は、３秒、第２期間ｔ２は、２秒が設定される。

本実施形態では、判定部２３は、第１検出部２２１の検出結果に基づいて、運転者以外の搭乗者が存在しない場合に、運転者以外の搭乗者による周辺確認可能性が低い状態であると判定する。

運転者以外の搭乗者による周辺確認可能性が低い状態であると判定された場合は、運転者以外の搭乗者が、危険な状態の発生を運転者に伝えられる可能性が低くなる。そこで、運転者以外の搭乗者による周辺確認可能性が低い状態であると判定された場合は、早いタイミングで脇見と判定する。

警告制御部２４は、運転者に対する警告の出力を制御する。より詳しくは、警告制御部２４は、判定部２３が脇見を行っていると判定した場合、通知部１２による表示または図示しない出力される音声を用いて、運転者の脇見を警告する。警告制御部２４は、映像信号を出力して、通知部１２に映像を表示するよう制御する。警告制御部２４は、音声信号を出力して、通知部１２から音声を出力するよう制御する。脇見に対する警告は、音声の出力による警告が適切であるが、音声に加えて映像の表示による警告を行ってもよい。

＜脇見判定装置における処理＞
次に、図４を用いて、脇見判定装置２０における処理の流れについて説明する。図４は、第一実施形態に係る脇見判定装置２０における処理の流れを示すフローチャートである。警告装置１０が起動されると、図４に示すフローチャートの処理が開始される。図４の処理の開始は、任意の条件で開始される。例えば、警告装置１０を搭載している車両のエンジンが始動するなど車両が利用可能になった場合や、ユーザの操作によって警告装置１０の動作が開始されたときなどである。また、ステップＳ１０１の処理は、車両が走行していることを条件として実行されてもよい。

図４の処理の開始に伴い、脇見判定装置２０は、搭乗者検出および顔または視線の向きの検出処理を開始する（ステップＳ１０１）。より詳しくは、脇見判定装置２０は、撮像部１１によって、車室内の運転者および運転者以外の搭乗者の撮影を開始させる。脇見判定装置２０は、撮像データ取得部２１によって、撮像部１１が出力した撮像データを取得する。脇見判定装置２０は、第１検出部２２１によって、撮像データ取得部２１が取得した撮像データから、車室内の運転者および運転者以外の搭乗者の有無を認識する。そして、脇見判定装置２０は、第２検出部２２２によって、運転者および運転者以外の搭乗者の顔または視線の向きを検出する。脇見判定装置２０は、ステップＳ１０２に進む。

脇見判定装置２０は、運転者が進行方向以外を向いているか否かを判定する（ステップＳ１０２）。より詳しくは、脇見判定装置２０は、判定部２３によって、第２検出部２２２の検出結果に基づいて、図２に示す車内映像データ１００の範囲１０２から検出された運転者の顔または視線の向きが、車両の直進時に角度ａ以外の向きである場合は、進行方向以外を向いていると判定する。脇見判定装置２０は、判定部２３によって、第２検出部２２２の検出結果に基づいて、運転者が進行方向以外を向いていると判定する場合（ステップＳ１０２でＹｅｓ）、ステップＳ１０３へ進む。脇見判定装置２０は、判定部２３によって、第２検出部２２２の検出結果に基づいて、運転者が進行方向以外を向いていないと判定する場合（ステップＳ１０２でＮｏ）、ステップＳ１０９へ進む。

運転者が進行方向以外を向いていると判定する場合（ステップＳ１０２でＹｅｓ）、脇見判定装置２０は、運転者以外の搭乗者が存在するか否かを判定する（ステップＳ１０３）。より詳しくは、脇見判定装置２０は、判定部２３によって、第１検出部２２１の検出結果に基づいて、図２に示す車内映像データ１００の範囲１０２以外に運転者以外の搭乗者が存在すると判定する場合（ステップＳ１０３でＹｅｓ）、ステップＳ１０４へ進む。脇見判定装置２０は、判定部２３によって、第１検出部２２１の検出結果に基づいて、運転者以外の搭乗者が存在しないと判定する場合、言い換えると、運転者が一人で乗車している場合（ステップＳ１０３でＮｏ）、ステップＳ１０５へ進む。

運転者以外の搭乗者が存在しないと判定する場合（ステップＳ１０３でＮｏ）、脇見判定装置２０は、判定部２３によって、運転者へ警告するまでの期間ｔを第１期間ｔ１に設定する（ステップＳ１０５）。より詳しくは、脇見判定装置２０は、判定部２３によって、運転者が進行方向以外を向いたことが検出されてから第１期間ｔ１が経過したときに警告が行われる期間を設定し、ステップＳ１０６へ進む。

運転者以外の搭乗者が存在すると判定する場合（ステップＳ１０３でＹｅｓ）、脇見判定装置２０は、判定部２３によって、運転者へ警告するまでの期間ｔを第２期間ｔ２に設定する（ステップＳ１０４）。より詳しくは、脇見判定装置２０は、判定部２３によって、運転者が進行方向以外を向いたことが検出されてから第２期間ｔ２が経過したときに警告が行われる期間を設定し、ステップＳ１０６へ進む。

脇見判定装置２０は、期間ｔが経過したか否かを判定する（ステップＳ１０６）。より詳しくは、脇見判定装置２０は、判定部２３によって、ステップＳ１０４またはステップＳ１０５で設定された期間ｔが経過したか否かを判定する。期間ｔが経過したと判定された場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０８へ進む。この場合は、運転者が進行方向以外を向いたことが検出されてから第２期間ｔ２または第１期間ｔ１が経過した場合である。期間ｔが経過したと判定されない場合、つまり期間ｔが経過していない場合（ステップＳ１０６でＮｏ）、ステップＳ１０７へ進む。

脇見判定装置２０は、期間ｔが経過していない場合、運転者が進行方向以外をまだ向いているか否かを判定する（ステップＳ１０７）。より詳しくは、脇見判定装置２０は、判定部２３によって、運転者が進行方向以外を向いている状態が継続されているか否かを判定する。運転者が進行方向以外をまだ向いていると判定された場合（ステップＳ１０７でＹｅｓ）、ステップＳ１０６へ進み、ステップＳ１０３の判定に基づく第２期間ｔ２または第１期間ｔ１が経過したか否かを判定する。運転者が進行方向以外を向いていないと判定された場合（ステップＳ１０７でＮｏ）、ステップＳ１０９へ進む。

脇見判定装置２０は、運転者が脇見をしたと判定し、警告を行う（ステップＳ１０８）。より詳しくは、脇見判定装置２０は、警告制御部２４によって、運転者に脇見を警告する。脇見判定装置２０は、警告制御部２４によって、通知部１２に音声信号を出力して、スピーカから警告を示す音声を出力させてもよい。脇見判定装置２０は、警告制御部２４によって、通知部１２に映像信号を出力して、表示部に警告を示す映像を表示させてもよい。脇見判定装置２０は、ステップＳ１０９へ進む。

脇見判定装置２０は、搭乗者検出および顔または視線の向きの検出処理を終了するか否かを判定する（ステップＳ１０９）。脇見判定装置２０は、例えば、処理を終了する操作を検出した場合、または、車両が停止してエンジンがＯＦＦされた場合などは、搭乗者検出および顔または視線の向きの検出処理を終了すると判定する。脇見判定装置２０は、搭乗者検出および顔または視線の向きの検出処理を終了すると判定する場合（ステップＳ１０９でＹｅｓ）、処理を終了する。脇見判定装置２０は、搭乗者検出および顔または視線の向きの検出処理を終了すると判定しない場合（ステップＳ１０９でＮｏ）、ステップＳ１０２の処理を再度実行する。

＜効果＞
上述したように、本実施形態では、運転者以外の搭乗者が存在していて、運転者が車両の進行方向以外を第１期間ｔ１以上向いているときに脇見を行っていると判定する。本実施形態は、運転者以外の搭乗者が存在せず、運転者が進行方向以外を向いている場合は、運転者が車両の進行方向以外を第１期間ｔ１より短い第２期間ｔ２以上向いているときに脇見を行っていると判定する。本実施形態によれば、運転者以外の搭乗者が存在しない場合は、存在する場合に比べて、より短い時間で脇見を判定することができる。本実施形態では、運転者以外の搭乗者が存在せず、運転者が進行方向以外を向いている場合には、より早いタイミングで警告することができる。本実施形態によれば、車両の運転者の脇見に対して適切に警告を行うことができる。

［第二実施形態］
図５を参照しながら、本実施形態に係る警告装置１０について説明する。図５は、第二実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。第二実施形態にかかる警告装置１０の構成は第一実施形態の警告装置１０と同一であり、処理が異なるため、構成の説明は省略する。

第２検出部２２２は、少なくとも運転者以外の搭乗者の覚醒度をさらに検出する。第２検出部２２２は、運転者以外の搭乗者を撮影した映像データから、顔または視線の向き、目の開度および開度の時間経過に基づく変化量等に基づいて、覚醒度を検出する。第２検出部２２２は、例えば、車両の運転者が車両の進行方向以外を向いているときに、運転者以外の搭乗者の体の一部が検出されているにもかかわらず、顔が下を向いて顔のパーツが検出されない状態が所定時間以上継続している場合、覚醒度が低いと判断する。第２検出部２２２は、例えば、目の開度の変化を記憶し、車両の運転者が車両の進行方向以外を向いているときに、運転者以外の搭乗者の目の開度が狭い、または閉じている状態が継続していた場合は、その搭乗者の覚醒度は低いと判断する。第２検出部２２２は、図２に示す車内映像データ１００の範囲１０２以外から検出された搭乗者の顔または視線の向きから、運転者以外の搭乗者の覚醒度を検出する。

判定部２３は、第２検出部２２２の検出結果に基づいて、運転者以外の搭乗者の覚醒度が低い場合に、運転者以外の搭乗者による周辺確認可能性が低い状態であると判定する。

運転者以外の搭乗者の覚醒度が低い場合は、運転者以外の搭乗者が、危険な状態の発生を運転者に伝えられる可能性が低くなる。そこで、運転者以外の搭乗者の覚醒度が低い場合は、早いタイミングで脇見と判定する。

次に、図５を用いて、脇見判定装置２０における処理の流れについて説明する。図５に示すステップＳ１１１ないしステップＳ１１３、ステップＳ１１５ないしステップＳ１２０の処理は、図４に示すステップＳ１０１ないしステップＳ１０３、ステップＳ１０４ないしステップＳ１０９と同様の処理を行う。

運転者以外の搭乗者が存在すると判定する場合（ステップＳ１１３でＹｅｓ）、脇見判定装置２０は、運転者以外の搭乗者の覚醒度が低いか否かを判定する（ステップＳ１１４）。より詳しくは、脇見判定装置２０は、判定部２３によって、第２検出部２２２の検出結果に基づいて、図２に示す車内映像データ１００の範囲１０２以外から検出された搭乗者の顔または視線の向きから、運転者以外の搭乗者の覚醒度が低いか否かを判定する。脇見判定装置２０は、判定部２３によって、第２検出部２２２の検出結果に基づいて、運転者以外の搭乗者の覚醒度が低いと判定する場合（ステップＳ１１４でＹｅｓ）、ステップＳ１１６へ進む。脇見判定装置２０は、判定部２３によって、第２検出部２２２の検出結果に基づいて、運転者以外の搭乗者の覚醒度が低くないと判定する場合（ステップＳ１１４でＮｏ）、ステップＳ１１５へ進む。

上述したように、本実施形態では、車両の運転席以外の搭乗者の覚醒度が低い場合、運転者が車両の進行方向以外を第１期間ｔ１より短い第２期間ｔ２以上向いているときに脇見を行っていると判定する。本実施形態によれば、車両の運転席以外の搭乗者の覚醒度が低い場合、車両の運転席以外の搭乗者の覚醒度が高い場合に比べて、より早いタイミングで警告することができる。

［第三実施形態］
図６を参照しながら、本実施形態に係る警告装置１０について説明する。図６は、第三実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。第三実施形態にかかる警告装置１０の構成は第一実施形態の警告装置１０と同一であり、処理が異なるため、構成の説明は省略する。

第１検出部２２１は、運転者以外の搭乗者の着座位置をさらに検出する。より詳しくは、第１検出部２２１は、運転者および運転者以外の搭乗者の着座位置を検出する。第１検出部２２１は、前部座席および後部座席に着座している運転者および運転者以外の搭乗者を区別して検出する。第１検出部２２１は、図２に示すように、撮像部１１の撮影範囲と撮影向きが固定またはほぼ固定であるので、前部座席を後部座席に着座している搭乗者を区別して検出可能である。図２に示す例では、前部座席は、範囲１０１と範囲１０２とにおいて検出され、後部座席は、範囲１０３と範囲１０４と範囲１０５とにおいて検出される。

判定部２３は、車両の運転者以外の前部座席の搭乗者が存在しない場合、車両の前部座席の搭乗者による周辺確認可能性が低い状態であると判定する。判定部２３は、車両の前部座席の搭乗者による周辺確認可能性が低い状態であると判定された場合は、運転者が車両の進行方向以外を第１期間より短い第２期間以上向いているときに、運転者が脇見を行っていると判定する。本実施形態では、判定部２３は、図２に示す車内映像データ１００の範囲１０１から検出された車両の前部座席の搭乗者による周辺確認可能性が低い状態であると判定された場合は、範囲１０２から検出された運転者が車両の進行方向以外を第１期間より短い第２期間以上向いているときに、運転者が脇見を行っていると判定する。

前部座席の搭乗者は、運転者と同様の視界があるため、運転者と同様の対象物を視認している可能性が高い。このため、前部座席の搭乗者が存在せず、前部座席の搭乗者による周辺確認可能性が低い場合は、危険な状態の発生を運転者に伝えられる可能性が低くなる。そこで、前部座席の搭乗者が存在しない場合は、早いタイミングで脇見と判定する。

次に、図６を用いて、脇見判定装置２０における処理の流れについて説明する。図６に示すステップＳ１３１、ステップＳ１３２、ステップＳ１３４ないしステップＳ１３９の処理は、図４に示すステップＳ１０１、ステップＳ１０２、ステップＳ１０４ないしステップＳ１０９と同様の処理を行う。

運転者が進行方向以外を向いていると判定する場合（ステップＳ１３２でＹｅｓ）、脇見判定装置２０は、運転者以外の搭乗者が前方座席に存在するか否かを判定する（ステップＳ１３３）。より詳しくは、脇見判定装置２０は、判定部２３によって、第１検出部２２１の検出結果に基づいて、図２に示す車内映像データ１００の範囲１０１から搭乗者が検出されるか否かを判定する。脇見判定装置２０は、判定部２３によって、第１検出部２２１の検出結果に基づいて、運転者以外の搭乗者が前部座席に存在すると判定する場合（ステップＳ１３３でＹｅｓ）、ステップＳ１３５へ進む。脇見判定装置２０は、判定部２３によって、第１検出部２２１の検出結果に基づいて、運転者以外の搭乗者が前部座席に存在しないと判定する場合（ステップＳ１３３でＮｏ）、ステップＳ１２４へ進む。

上述したように、本実施形態によれば、運転者以外の搭乗者が前部座席に存在しない場合は、運転者以外の搭乗者が前部座席に存在する場合に比べて、より短い時間で脇見を判定することができる。

これまで本発明に係る警告装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

図示した警告装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

警告装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

１０ 警告装置
１１ 撮像部
１２ 通知部
２０ 脇見判定装置
２１ 撮像データ取得部
２２１ 第１検出部
２２２ 第２検出部
２３ 判定部
２４ 警告制御部

Claims (5)

1. 車両の運転者および前記運転者以外の搭乗者の有無を検出する第１検出部と、
   前記運転者および前記運転者以外の搭乗者の顔または視線の向きを検出する第２検出部と、
   前記第１検出部の検出結果および前記第２検出部の検出結果に基づいて、前記運転者が前記車両の進行方向以外を第１期間以上向いているときに脇見を行っていると判定し、前記運転者以外の搭乗者による周辺確認可能性が低い状態であると判定された場合は、前記運転者が前記車両の進行方向以外を前記第１期間より短い第２期間以上向いているときに脇見を行っていると判定する判定部と、
   を備える、脇見判定装置。
2. 前記判定部は、前記第１検出部の検出結果に基づいて、前記運転者以外の搭乗者が存在しない場合に、前記運転者以外の搭乗者による周辺確認可能性が低い状態であると判定する、
   請求項１に記載の脇見判定装置。
3. 前記第２検出部は、少なくとも前記運転者以外の搭乗者の覚醒度をさらに検出し、
   前記判定部は、前記第２検出部の検出結果に基づいて、前記運転者以外の搭乗者の覚醒度が低い場合に、前記運転者以外の搭乗者による周辺確認可能性が低い状態であると判定する、
   請求項１に記載の脇見判定装置。
4. 前記第１検出部は、前記運転者以外の搭乗者の着座位置をさらに検出し、
   前記判定部は、前記車両の前部座席の搭乗者による周辺確認可能性が低い状態であると判定された場合は、前記運転者が前記車両の進行方向以外を前記第１期間より短い第２期間以上向いているときに、前記運転者が脇見を行っていると判定する、
   請求項１から３のいずれか１項に記載の脇見判定装置。
5. 車両の運転者および前記運転者以外の搭乗者の有無を検出するステップと、
   前記運転者および前記運転者以外の搭乗者の顔または視線の向きおよび覚醒度を検出するステップと、
   前記運転者が前記車両の進行方向以外を第１期間以上向いているときに脇見を行っていると判定し、前記運転者以外の搭乗者による周辺確認可能性が低い状態であると判定された場合は、前記運転者が前記車両の進行方向以外を前記第１期間より短い第２期間以上向いているときに脇見を行っていると判定するステップとを、
   脇見判定装置が実行する、脇見判定方法。

Images