JP2021131668A - 注意度判定装置、注意度判定方法、及び注意度判定プログラム - Google Patents

Abstract

【課題】運転者の対象物に対する関心度を反映した、高精度な脇見防止対策を実現する。【解決手段】注意度情報保存部１８は、車両１の車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する。運転者情報取得部１４は、運転者の挙動を推定するための情報を取得する。注意度情報生成部１５は、車両１の状態が実質的に停車している第１の状態であると判定された場合、運転者の挙動を推定するための情報をもとに、注意度情報保存部１８に保存される注意度情報を生成または更新する。【選択図】図１

Description

本発明は、注意度判定装置、注意度判定方法、及び注意度判定プログラムに関する。

近年、運転支援装置の一つとして、走行中に運転者の脇見を検出すると警告音を出力する脇見運転防止装置を搭載している車両が増えてきている。一般的な脇見運転防止装置では、運転者を撮影し、撮影した画像に基づいて運転者の視方向または頭方向を検出し、運転者がどこを見ているかを判定することで、運転者が脇見をしているか否か判定している。高精度な脇見判定を行うために種々の脇見判定アルゴリズムが提案されている。

例えば、運転者の注意方向（顔または視線を向けている方向）の所定期間における標準偏差等の偏差に基づいて、運転者の注意方向と注意度を判定するアルゴリズムが提案されている。そのアルゴリズムでは、偏差は運転者が注意を向けている時間（顔または視線を向けている時間）が長いほど小さくなり、その注意方向に対する注意度が高いと判定される（例えば、特許文献１参照）。

特開２０１９−９１４４１号公報

しかしながら、特許文献１に記載の技術では、例えば、車両の状態が実質的に停車している状態の場合における運転者の注意度の判定に関して改善の余地がある。

本開示はこうした状況に鑑みなされたものであり、その目的は、車両の状態が実質的に停車している状態の場合における運転者の注意度をより適切に判定することが可能な技術を提供することにある。

上記課題を解決するために、本開示のある態様の注意度判定装置は、車両の車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する注意度情報保存部と、前記運転者の挙動を推定するための情報を取得する運転者情報取得部と、前記車両の状態が実質的に停車している第１の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記注意度情報保存部に保存される前記注意度情報を生成または更新する注意度情報生成部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本開示によれば、車両の状態が実質的に停車している状態の場合における運転者の注意度をより適切に判定することができる。

実施の形態に係る、脇見防止機能に関連する車両内の構成を示す図である。 撮像装置の設置例を示す図である。 画像認識アルゴリズムにより運転者の視方向を推定する処理を説明するための図である。 実施例１に係る注意度情報を示す図である。 実施例１に係る注意度判定装置による注意度判定処理の流れを示すフローチャートである。 実施例１に係る警報装置による警報出力処理の流れを示すフローチャートである。 画像認識アルゴリズムにより車室内の画像から対象物を検出する処理を説明するための図である。 実施例２に係る注意度情報を示す図である。 実施例２に係る注意度判定装置による注意度判定処理の流れを示すフローチャートである。 実施例２に係る警報装置による警報出力処理の流れを示すフローチャートである。 車室内の画像を複数の領域する分割する具体例を示す図である。 実施例３に係る注意度情報を示す図である。 実施例３に係る注意度判定装置による注意度判定処理の流れを示すフローチャートである。 実施例３に係る警報装置による警報出力処理の流れを示すフローチャートである。

まず、本開示の実施形態を着想するに至った背景について説明する。ある研究調査によれば、脇見の要因の４７％が、オーディオ操作、タバコ、物の出し入れなど、運転に関係ない行動に起因するものとなっている。運転に関係がないにも関わらず、運転者がこれらの行動をとったのは、その欲求を抑えられなかったためと考えられる。運転に注意する必要性が低い停車中は、その欲求を抑える必要性が低いため、運転者は、その欲求を満たすための行動をとる可能性が高い。また、その欲求を満たす行動が停車中に完了しなかった場合、走行中もその欲求が継続する可能性が高く、停車中にとっていた行動に対して明確な目的があるため、走行中にその欲求を満たす行動をした場合には、その目的に対し意識が大きく割かれることになる。このため、例えば、運転操作に不要であるが、気になってしまい、どうしても見てしまったり、または、どうしても操作してしまう、というような欲求に基づき対象物を見ること（脇見）の方が、そのような欲求とは無関係に対象物を見ることよりも危険性が高いと考えられる。

しかしながら、公知の技術（例えば特許文献１に記載の方法など）では、例えば運転者の挙動の態様（または態様の変化）や対象物の種類によらずに、運転者が対象物を見続ける時間の長さのみによって注意度を一律に決定してしまう。このため、公知の技術では、特に車両の状態が実質的に停車している状態の場合において、運転者の注意度を適切に判定することができない恐れがある。例えば、公知の技術では、停車中に、運転には不要である対象物に対して、運転には不要であるにも関わらず運転者が気になってしまい見てしまうことの注意度や、触れたり、接近してしてしまうことの注意度を適切に判定することが困難である。

後述するように、本実施形態によれば、車両の状態が実質的に停車している状態の場合における運転者の注意度をより適切に判定することができる。

図１は、実施の形態に係る、脇見防止機能に関連する車両１内の構成を示す図である。車両１は、脇見防止機能に関連する構成要素として、センサ２、撮像装置３、注意度判定装置１０、及び警報装置２０を備える。

センサ２は、車両１の走行状態を検出するためのセンサである。例えば、走行状態を検出するためのセンサとして、車速センサ、ブレーキセンサ、アクセルセンサ等を使用することができる。センサ２は、検出した値を注意度判定装置１０及び警報装置２０に出力する。

撮像装置３は、運転者を含む車室内の状況を撮像するための装置である。撮像装置３は、固体撮像素子（例えばＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ）及び信号処理回路を備える。当該固体撮像素子は入射光を電気信号に変換し、当該信号処理回路に出力する。当該信号処理回路は、当該固体撮像素子により光電変換された画像データに対してＡ／Ｄ変換、ノイズ除去などの信号処理を施す。当該信号処理回路は、信号処理後の画像データを注意度判定装置１０及び警報装置２０に出力する。

なお撮像装置３には、詳細は後述するが、撮像された画像に基づいて運転者の視方向を検出するための画像認識エンジンが実装されていてもよい。その場合、撮像装置３は検出した視方向情報（例えば、ヨー角、ピッチ角で定義された視方向情報）を注意度判定装置１０及び警報装置２０の少なくとも一方に出力することができる。

注意度判定装置１０は、車室内に存在する対象物に対する運転者の注意度を判定するための装置である。注意度判定装置１０は、処理部１１及び記憶部１７を備える。処理部１１は、車両情報取得部１２、車両状態判定部１３、運転者情報取得部１４、注意度情報生成部１５、及び注意度情報出力部１６を含む。処理部１１は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

記憶部１７は、不揮発性の記録媒体（例えば、フラッシュメモリ、ＳＳＤ、ＨＤＤ）を含み、不揮発性の記録媒体内に注意度情報保存部１８を格納する。注意度情報保存部１８は、車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する。注意度情報は、車室内における運転者の視方向と、運転者の視方向に存在する対象物に対する運転者の注意度との対応を示す情報であってもよい。また、注意度情報は、車室内の空間を複数に区切ったそれぞれのサブ空間と、当該サブ空間内に存在する対象物に対する運転者の注意度との対応を示す情報であってもよい。注意度情報はテーブルで管理されてもよい。注意度情報の具体的な定義方法は後述する。

車両情報取得部１２は、センサ２から車両１の走行状態を示す情報を取得する。車両状態判定部１３は、車両情報取得部１２により取得された情報をもとに、車両１が走行状態か安全状態かを判定する。安全状態は、車両１が完全に停車している状態に限らず、所定速度（例えば、時速１０ｋｍ）以下で動いている状態（実質的な停車状態）を含んでいてもよい。その場合、走行状態は、所定速度（例えば、時速１０ｋｍ）を超える速度で動いている状態（実質的な走行状態）も含む。

運転者情報取得部１４は、撮像装置３から入力される運転者が写った画像データ等の、運転者の挙動を推定するための情報を取得する。注意度情報生成部１５は、車両１が安全状態にあるとき、運転者の挙動を推定するための情報をもとに、注意度情報保存部１８に保存される注意度情報を生成または更新する。

注意度情報出力部１６は、車両１が走行状態にあるとき、注意度情報保存部１８に保存されている注意度情報の中から、運転者の挙動を推定するための情報に基づいて取得された注意度情報を警報装置２０に出力する。

警報装置２０は、運転者の脇見を検出したとき警報を出力する装置である。警報装置２０は、処理部２１、記憶部２２及びスピーカ２３を備える。処理部２１は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。記憶部２２は、不揮発性の記録媒体（例えば、フラッシュメモリ、ＳＳＤ、ＨＤＤ）を含む。スピーカ２３は、運転者に、脇見を注意するための警告音または警告メッセージを音声出力する。

警報装置２０の処理部２１は、車両１が走行状態にあるとき、撮像装置３等から取得する運転者の挙動を推定するための情報と、注意度判定装置１０から取得する注意度情報をもとに、危険性の高い脇見が発生したか否か判定する。危険性の高い脇見が発生したと判定したとき、処理部２１は、スピーカ２３に警告音または警告メッセージを出力させる。

なお図１では注意度判定装置１０と警報装置２０が別々に構成される例を示しているが、注意度判定装置１０と警報装置２０が一つの基板上に統合的に構成されてもよい。

図２は、撮像装置３の設置例を示す図である。図２に示す例では、運転席を見下ろすようにフロントガラスの上方に撮像装置３を設置している。例えば、撮像装置３はルームミラーに固定されて設置されてもよい。なお、撮像装置３の設置位置は、運転者の顔を撮影できる位置であれば、図２に示す設置位置に限定されるものではない。例えば、ステアリング固定部の上部に設置されてもよい。

図３は、画像認識アルゴリズムにより運転者の視方向を推定する処理を説明するための図である。例えば、画像認識アルゴリズムは、顔識別器を用いることにより、画像に含まれる運転者の顔領域Ｆ１を検出する。画像内の顔領域に基づいて視方向を推定する方法としては公知の技術が利用され得る。

例えば、以下の４種類の方法（「第１の推定方法」から「第４の推定方法」）のうちのいずれか１つが用いられてもよいし、または、いずれか２以上が組み合わされて用いられてもよい。第１の推定方法は、撮像装置３から運転者に向けて近赤外光を照射し、角膜表面上の反射点の座標、瞳孔の中心座標、及び眼球モデルをもとに視方向を推定する方法である。第２の推定方法は、顔領域から眼領域を抽出し、抽出した眼領域に対してテンプレートマッチング及び楕円フィッティングを適用して虹彩位置を検出し、検出した虹彩位置の座標、頭部の姿勢位置を示す座標、及び眼球モデルをもとに視方向を推定する方法である。第３の推定方法は、まぶたを含む眼球モデルを用い、片眼の画像から虹彩のなす平面を抽出し、この平面に垂直なベクトルを求めることにより視方向を推定する方法である。第４の推定方法では、多数の視方向の学習画像が用意され得る。そして、入力画像と複数の学習画像とをパターンマッチング等を行うことにより視方向が推定される。

図３に示すように本実施の形態では、運転者の視方向は、ヨー角とピッチ角の組み合わせで定義される。本実施の形態において、ヨー角は、運転者の視線の水平方向の回転量を、車両の高さ方向を軸としたときの、車両直進方向からの角度で表したものである。ピッチ角は、運転者の視線の上下方向の回転量を、車両の車幅方向を軸にしたときの、車両直進方向からの角度で表したものである。なお、視方向の表現方法は上述の方法に限定されない。上述した視方向を推定するための画像認識アルゴリズムは、撮像装置３側に実装されてもよいし、注意度判定装置１０及び警報装置２０側に実装されてもよい。前者の場合は、撮像装置３から注意度判定装置１０及び警報装置２０に視方向情報が送信される。さらに、画像データそのものも一緒に送信されてもよい。後者の場合は、撮像装置３から注意度判定装置１０及び警報装置２０に画像データのみが出力される。

なお、運転者の視方向は画像認識以外の方法で推定することもできる。例えば、運転者の頭の動きを検出するモーションキャプチャセンサが取り付けられたウェアラブルデバイス（例えば、帽子やメガネ）の検出値を用いてもよい。この場合、検出されるのは頭の動きであるが、頭の向きと視方向には相関性があるため、頭の動きから視方向を推定することができる。

（実施例１）
以下、実施例１に係る、注意度判定装置１０による注意度判定処理と警報装置２０による警報出力処理を具体的に説明する。実施例１では、注意度情報生成部１５は、運転者情報取得部１４により取得された視方向情報に基づいて特定された、運転者の視方向の変動量が所定の閾値以内である継続時間および当該視方向に基づいて、注意度情報保存部１８に保存される注意度情報を生成または更新する。その際、注意度情報生成部１５は、当該継続時間に応じて、当該視方向に存在する対象物に対する運転者の注意度の大きさを決定し、決定した注意度を示すように注意度情報を生成または更新してもよい。当該継続時間が長いほど、運転者の注意度が大きくなる。注意度情報を生成または更新する期間は、車両１の状態が走行状態から安全状態に遷移した第１のタイミングから、車両１の状態が安全状態から走行状態に遷移した第２のタイミングまでの期間である。

運転者情報取得部１４により取得される視方向情報は上記のように、車室内の撮像装置３により撮像された運転者の画像が画像認識されることにより取得される。より具体的には、画像認識により運転者の顔向きおよび目の向きが特定されることにより視方向が決定され、決定された視方向を示す視方向情報が取得される。

実施例１では、注意度情報生成部１５は、対象物を運転者が見ることを開始したことが検出された第３のタイミングと、対象物を運転者が見ることを終了したことが検出された第４のタイミングと、第１のタイミングと、第２のタイミングとの関係に基づいて、対象物に対応する注意度が変化するように注意度情報を更新する。注意度情報生成部１５は、第４のタイミングと第３のタイミングとの差分と、第２のタイミングと第４のタイミングとの差分とに基づいて、対象物に対応する注意度が変化するように注意度情報を更新してもよい。

実施例１において、以下の３種類の例のうちのいずれかを用いて、対象物に対応する注意度が決定されてよい。第１の例では、第２のタイミングのより直前まで対象物を運転者が見ていた場合ほど、この対象物に対する注意度がより大きくなるように注意度が算出される。第２の例では、第１のタイミングから第２のタイミングまでの期間において、対象物を運転者が見ていた時間がより長いほど、この対象物に対する注意度がより大きくなるように注意度が算出される。第３の例では、第１のタイミングから第２のタイミングまでの期間において運転者が一番最後に見ていた対象物のみに対して、注意度が算出され得る。

または、第１の例、第２の例、および第３の例のうちのいずれか２以上が組み合わされても良い。

または、第４のタイミングと第３のタイミングとの差分と、前記第２のタイミングと前記第４のタイミングとの差分との重み付け和に基づいて、対象物に対応する注意度を決定してもよい。例えば、「対象物に対する注意度」は、以下の（式１）を用いて算出されてもよい。

「対象物に対する注意度」＝変数Ｘ＋変数Ｙ ・・・（式１）
ここで、
Ｘ＝（第４のタイミングと第３のタイミングとの差分）×Ｋ１×（対象物の属性に対応する注意度）である。
Ｙ＝｛（第２のタイミングと第１のタイミングとの差分）−（第２のタイミングと第４のタイミングとの差分）｝×Ｋ２×（対象物の属性に対応する注意度）である。
なお、Ｋ１、Ｋ２は所定の係数であり、予め定められた値である。

図４は、実施例１に係る注意度情報を示す図である。実施例１では注意度情報は、運転者の視方向と注意度が紐付いた情報である。注意度は、運転者の意識が運転に関係がないものに割かれる度合いを反映しており、以下、注意度の値が高いほど、運転者の意識が運転に関係がないものに大きく割かれ、危険性が高いことを意味するものとする。

図５は、実施例１に係る注意度判定装置１０による注意度判定処理の流れを示すフローチャートである。車両１が運転者によりイグニッションオンされると（Ｓ１０のＹ）、注意度判定装置１０が起動し、車両情報取得部１２はセンサ２から車両１の走行状態を示す車両情報を取得する。運転者情報取得部１４は、撮像装置３等から、運転者の挙動を推定するための運転者情報を取得する（Ｓ１１）。実施例１では撮像装置３から運転者の視方向情報を取得するものとする。車両状態判定部１３は車両１が安全状態にあるか走行状態にあるか判定する（Ｓ１２）。

車両１が安全状態にある場合（Ｓ１２のＹ）、注意度情報生成部１５は、取得された視方向が運転操作に関連する方向であるか否か判定する（Ｓ１３）。運転操作に関連する方向は、通常の運転操作時に運転者が視線を移動させる範囲に対応する方向である。例えば、フロントガラス越しの前方風景、計器盤、ルームミラー、サイドミラーを見ているときの視方向は、運転操作に関連する方向に含まれる。運転操作に関連する方向の範囲は車種に応じて設定される。視方向が運転操作に関連する方向である場合（Ｓ１３のＹ）、ステップＳ１０に遷移する。

視方向が運転操作に関連する方向でない場合（Ｓ１３のＮ）、注意度情報生成部１５は、視方向が設定時間（例えば、１秒）以上、静止したか否か判定する（Ｓ１４）。設定時間は、視方向の静止が脇見による静止であるか否かを判定するための時間であり、設計者により設定される。設計者は、各種の知見、実験またはシミュレーションから得られたデータをもとに設定時間の長さを決めることができる。設定時間を短く設定するほど安全性を重視した設計となり、設定時間を長く設定するほど煩雑性の回避を重視した設計となる。静止したか否かの判定は実質的に判定され、視方向の所定値以下の変動は静止しているとみなす。即ち、視方向が設定時間以上、静止したか否かを判定する処理は、運転者の視方向の変動量が所定の閾値以内である継続時間が、設定時間以上であるか否かを判定する処理に相当する。視方向が設定時間以上、静止した場合（Ｓ１４のＹ）、注意度情報生成部１５は、静止した視方向の注意度情報を生成する（Ｓ１５）。具体的には、静止した視方向に、１より高い値の注意度を割り当てる。その際、静止した時間が長いほど、高い値の注意度を割り当てる。既に注意度が割り当てられている視方向の位置に再度、静止した場合は、注意度情報生成部１５は、既存の注意度に対して、今回静止した時間に応じた増分を加算して既存の注意度を更新する。ステップＳ１０に遷移する。視方向が設定時間以上、静止していない場合（Ｓ１４のＮ）、ステップＳ１５をスキップしてステップＳ１０に遷移する。

ステップＳ１２において車両１が走行状態にある場合（Ｓ１２のＮ）、注意度情報出力部１６は、注意度情報保存部１８から、注意度と視方向が紐付いた注意度情報を読み出し、読み出した注意度情報を警報装置２０に出力する（Ｓ１６）。以上のステップＳ１１−ステップＳ１６の処理が、イグニッションオフされるまで（Ｓ１０のＮ）、繰り返し実行される（Ｓ１０のＹ）。なお、注意度判定装置１０は、注意度情報を警報装置２０に出力した後、車両１の状態が安全状態に遷移するまで休止していてもよい。

図５に示したフローチャートにおいて、注意度情報生成部１５は、車両１が安全状態から走行状態に遷移する所定開始時刻の設定時間前から当該走行開始時刻までの期間（例えば、走行開始直前の１秒以内）に、視方向が設定時間以上、静止した位置の視方向に割り当てる注意度を、当該期間より前の期間に割り当てる注意度より高い値に設定してもよい。走行開始直前の視方向は、運転操作に関連しない何らかの行動（例えば、オーディオの操作、スマートフォンの操作）が完了していない注意対象物が存在する方向である可能性が高く、運転中にも運転者の注意が向きやすい方向といえる。

図６は、実施例１に係る警報装置２０による警報出力処理の流れを示すフローチャートである。車両１が運転者によりイグニッションオンされると（Ｓ２０のＹ）、警報装置２０が起動し、警報装置２０の処理部２１はセンサ２から車両１の走行状態を示す車両情報を取得し、撮像装置３等から、運転者の挙動を推定するための運転者情報を取得する（Ｓ２１）。実施例１では撮像装置３から運転者の視方向情報を取得するものとする。処理部２１は車両１が走行状態にあるか安全状態にあるか判定する（Ｓ２２）。

車両１が走行状態にある場合（Ｓ２２のＹ）、処理部２１は注意度判定装置１０から、注意度と視方向が紐付いた注意度情報を取得する（Ｓ２３）。処理部２１は、撮像装置３から取得された視方向が運転操作に関連する方向であるか否か判定する（Ｓ２４）。視方向が運転操作に関連する方向である場合（Ｓ２４のＹ）、ステップＳ２０に遷移する。

視方向が運転操作に関連する方向でない場合（Ｓ２４のＮ）、処理部２１は、視方向に注意度情報が設定されているか否か判定する（Ｓ２５）。視方向に注意度情報が設定されている場合（Ｓ２５のＹ）、処理部２１は、デフォルトの設定時間（例えば、１秒）を、当該視方向に紐付いた注意度で割って当該視方向の設定時間に更新する（Ｓ２６）。この処理により当該視方向の設定時間が短くなる。注意度が高いほど、設定時間がより短くなる。設定時間が短くなると、視方向の静止が脇見と判定されるまでの時間が短くなり、視方向が静止したときに、より早いタイミングで警報が出力されるようになる。視方向に注意度情報が設定されていない場合（Ｓ２５のＮ）、ステップＳ２６の処理がスキップされる。

処理部２１は、撮像装置３から取得された視方向が当該設定時間以上、静止したか否か判定する（Ｓ２７）。上記のように注意度情報が設定されている視方向の場合、設定時間が短くなっている。視方向が当該設定時間以上、静止した場合（Ｓ２７のＹ）、処理部２１は、スピーカ２３に警報音または警報メッセージを出力させる（Ｓ２８）。ステップＳ２０に遷移する。視方向が当該設定時間以上、静止していない場合（Ｓ２７のＮ）、ステップＳ２８をスキップしてステップＳ２０に遷移する。以上のステップＳ２１−ステップＳ２８の処理が、イグニッションオフされるまで（Ｓ２０のＮ）、繰り返し実行される（Ｓ２０のＹ）。なお、警報装置２０は、車両１の状態が安全状態の場合、車両１の状態が走行状態に遷移するまで休止していてもよい。

なお、車両１の状態が走行状態の場合において、ステップＳ２１−ステップＳ２５の処理を、警報装置２０ではなく、注意度判定装置１０側で実行してもよい。この場合、警報装置２０は、運転者の視方向に注意度情報が設定されているとき、注意度判定装置１０から視方向に基づく注意度を取得し、取得した注意度をもとに設定時間を変更する（Ｓ２６）。

（実施例２）
以下、実施例２に係る、注意度判定装置１０による注意度判定処理と警報装置２０による警報出力処理を具体的に説明する。実施例２では、車室内の対象物と注意度を紐付けて注意度情報を生成する。注意度情報が生成される対象物は、車室内に存在し、かつ、運転者の運転操作に関連しない物体である。実施例２では、注意度情報生成部１５は、車室内の画像（つまり、車室内が撮像された画像）と運転者の視方向情報に基づいて、運転者の視方向に存在する対象物を特定し、特定した対象物に関して注意度情報を生成または更新する。

注意度情報生成部１５は、取得された車室内の画像に基づいて運転者の動き（例えば、運転者の手の動き）を検出し、運転者が接触中または接近している対象物に対応する注意度が変化するように注意度情報を更新する。運転者（例えば、運転者の手）と対象物の距離が短いほど、大きな値の注意度が加算され、運転者（例えば、運転者の手）と対象物の距離が長いほど、小さな値の注意度が加算される。また、運転者（例えば、運転者の手）と対象物との接触時間が長いほど、大きな値の注意度が加算され、運転者（例えば、運転者の手）と対象物との接触時間が短いほど、小さな値の注意度が加算される。注意度情報を生成または更新する期間は、車両１の状態が走行状態から安全状態に遷移した第１のタイミングから、車両１の状態が安全状態から走行状態に遷移した第２のタイミングまでの期間である。

実施例２では、注意度情報生成部１５は、対象物に対して運転者が接触または接近を開始したことが検出された第５のタイミングと、対象物に対して運転者が接触または接近を終了したことが検出された第６のタイミングと、第１のタイミングと、第２のタイミングとの関係に基づいて、対象物に対応する注意度が変化するように注意度情報を更新する。注意度情報生成部１５は、第６のタイミングと第５のタイミングとの差分と、第２のタイミングと第６のタイミングとの差分とに基づいて、対象物に対応する注意度が変化するように注意度情報を更新してもよい。

実施例２において、以下の３種類の例のうちのいずれかを用いて、対象物に対応する注意度が決定されてよい。第１の例では、第２のタイミングのより直前まで対象物に対して運転者が接触または接近していた場合ほど、この対象物に対する注意度がより大きくなるように注意度が算出される。第２の例では、第１のタイミングから第２のタイミングまでの期間において、対象物に対して運転者が接触または接近していた時間がより長いほど、この対象物に対する注意度がより大きくなるように注意度が算出される。第３の例では、第１のタイミングから第２のタイミングまでの期間において運転者が一番最後に接触または接近していた対象物のみに対して、注意度が算出され得る。

または、第１の例、第２の例、および第３の例のうちのいずれか２以上が組み合わされても良い。

または、第６のタイミングと第５のタイミングとの差分と、第２のタイミングと第６のタイミングとの差分との重み付け和に基づいて、対象物に対応する注意度を決定してもよい。例えば、「対象物に対する注意度」は、以下の（式２）を用いて算出されてもよい。

「対象物に対する注意度」＝変数Ｘ＋変数Ｙ ・・・（式２）
ここで、
Ｘ＝（第６のタイミングと第５のタイミングとの差分）×Ｋ１×（対象物の属性に対応する注意度）である。
Ｙ＝｛（第２のタイミングと第１のタイミングとの差分）−（第２のタイミングと第６のタイミングとの差分）｝×Ｋ２×（対象物の属性に対応する注意度）である。
なお、Ｋ１、Ｋ２は所定の係数であり、予め定められた値である。

図７は、画像認識アルゴリズムにより車室内の画像から対象物を検出する処理を説明するための図である。画像認識アルゴリズムは、画像に基づいて種々の対象物を検出するための識別器を辞書データとして予め保持している。具体的には、子供、成人、犬、猫、かばん、ポーチ、買い物袋、財布、ハンカチ、ティッシュペーパー、腕時計、スマートフォン、タバコ、ライター、キーホルダ、本、など車室内に存在することが多い種々の対象物の識別器を予め保持している。また、画像認識アルゴリズムは、運転者の行動を推定するための識別器を保持していてもよい。例えば、左手、右手、胴体のそれぞれの複数の状態の識別器を保持していてもよい。

画像認識アルゴリズムは、各種の識別器を用いたパターンマッチングにより画像から対象物を検出する。図７に示す例では、センターコンソール上にスマートフォンＯＢ１が検出され、助手席にかばんＯＢ２が検出されている。

当該画像認識アルゴリズムは、注意度判定装置１０の注意度情報生成部１５及び警報装置２０の処理部２１に実装される。当該画像認識アルゴリズムは、上述した運転者の視方向を推定するための画像認識アルゴリズムと統合されていてもよい。

図８は、実施例２に係る注意度情報を示す図である。実施例２では注意度情報は、車室内の対象物と注意度が紐付いた情報である。対象物に設定される注意度は、対象物の属性に応じて異なる値が設定されてもよい。例えば、子供、スマートフォン、ディスプレイオーディオなど、音を発生させる属性の注意度が高く設定されてもよい。また、子供、犬、猫など、自ら動くことができる属性の注意度が高く設定されてもよい。また、統計的データに基づき運転者の注意が向きやすい対象物の注意度が高く設定されてもよい。対象物の属性に応じて注意度を設定する場合、対象物−注意度変換テーブルが注意度判定装置１０の記憶部１７内に予め保持される。なお、実施例１においても、画像認識アルゴリズムにより車室内の画像から対象物を検出し、検出した対象物の属性に応じて、注意度の値を異なる値に設定してもよい。

図９は、実施例２に係る注意度判定装置１０による注意度判定処理の流れを示すフローチャートである。車両１が運転者によりイグニッションオンされると（Ｓ３０のＹ）、注意度判定装置１０が起動し、車両情報取得部１２はセンサ２から車両１の走行状態を示す車両情報を取得する。運転者情報取得部１４は、撮像装置３から車室内の画像を取得する（Ｓ３１）。車両状態判定部１３は車両１が安全状態にあるか走行状態にあるか判定する（Ｓ３２）。

車両１が安全状態にある場合（Ｓ３２のＹ）、注意度情報生成部１５は、画像認識により、取得された車室内の画像に基づいて（車室内に存在する）対象物を検出する（Ｓ３３）。注意度情報生成部１５は、検出した対象物が運転操作に関連する対象物であるか否か判定する（Ｓ３４）。運転操作に関連する対象物として、シフトレバー、シートベルトなどが該当する。対象物が運転操作に関連する対象物である場合（Ｓ３４のＹ）、ステップＳ３０に遷移する。

対象物が運転操作に関連する対象物でない場合（Ｓ３４のＮ）、注意度情報生成部１５は、対象物の注意度情報を生成する（Ｓ３５）。具体的には、対象物に１より高い値の注意度を割り当てる。上記対象物−注意度変換テーブルを参照して注意度の値を決定してもよい。

また注意度情報生成部１５は、画像認識により、車室内の画像に基づいて運転者の視方向を検出し、検出した運転者の視方向が対象物のある方向に設定時間以上、静止した場合、当該対象物の注意度情報の注意度を高く設定してもよい。その際、注意度情報生成部１５は運転者の視方向が対象物のある方向に静止した時間が長いほど、高い値の注意度を割り当てる。運転者の視方向が、既に注意度が割り当てられている対象物のある方向に再度、静止した場合は、注意度情報生成部１５は既存の注意度に対して、今回静止した時間に応じた増分を加算して既存の注意度を更新する。なお、画像認識により、車室内の画像に基づいて運転者の視方向を検出する処理は、撮像装置３側で実行されてもよい。その場合、注意度判定装置１０は、撮像装置３から運転者の視方向情報を取得する。

また注意度情報生成部１５は、画像認識により、車室内の画像に基づいて運転者の手の動きを検出し、運転者の手が伸びた方向上にある対象物の注意度情報の注意度を高く設定してもよい。その際、運転者の手が対象物に接触した場合、注意度情報生成部１５は、当該対象物により高い値の注意度を割り当てる。運転者の手が、既に注意度が割り当てられている対象物に再度、接触した場合は、注意度情報生成部１５は既存の注意度に対して、今回の接触に応じた増分を加算して既存の注意度を更新する。

ステップＳ３２において車両１が走行状態にある場合（Ｓ３２のＮ）、注意度情報出力部１６は、注意度情報保存部１８から、注意度と対象物が紐付いた注意度情報を読み出し、読み出した注意度情報を警報装置２０に出力する（Ｓ３６）。以上のステップＳ３１−ステップＳ３６の処理が、イグニッションオフされるまで（Ｓ３０のＮ）、繰り返し実行される（Ｓ３０のＹ）。なお、注意度判定装置１０は、注意度情報を警報装置２０に出力した後、車両１の状態が安全状態に遷移するまで休止していてもよい。

図９に示したフローチャートにおいて、注意度情報生成部１５は、車両１が安全状態から走行状態に遷移する走行開始時刻の所定時間前から当該走行開始時刻までの期間に、運転者の視方向が対象物のある方向に設定時間以上、静止した場合、当該期間より前の期間に注意度に加算する値より高い値を注意度に加算してもよい。また注意度情報生成部１５は当該期間に、運転者の手が対象物に接触している場合、当該期間より前の期間に注意度に加算する値より高い値を注意度に加算してもよい。

図１０は、実施例２に係る警報装置２０による警報出力処理の流れを示すフローチャートである。車両１が運転者によりイグニッションオンされると（Ｓ４０のＹ）、警報装置２０が起動し、警報装置２０の処理部２１はセンサ２から車両１の走行状態を示す車両情報を取得し、撮像装置３から車室内の画像を取得する（Ｓ４１）。処理部２１は車両１が走行状態にあるか安全状態にあるか判定する（Ｓ４２）。

車両１が走行状態にある場合（Ｓ４２のＹ）、処理部２１は画像認識により、車室内の画像に基づいて運転者の視方向と対象物を検出する（Ｓ４３、Ｓ４４）。処理部２１は注意度判定装置１０から、注意度と対象物が紐付いた注意度情報を取得する（Ｓ４５）。処理部２１は、検出された対象物が運転操作に関連する対象物であるか否か判定する（Ｓ４６）。対象物が運転操作に関連する対象物である場合（Ｓ４６のＹ）、ステップＳ４０に遷移する。

対象物が運転操作に関連する対象物でない場合（Ｓ４６のＮ）、処理部２１は、検出した運転者の視方向が対象物のある方向であるか否か判定する（Ｓ４７）。視方向が対象物のある方向である場合（Ｓ４７のＹ）、処理部２１は、デフォルトの設定時間（例えば、１秒）を、当該対象物に紐付いた注意度で割って当該対象物の設定時間に更新する（Ｓ４８）。視方向が対象物の方向でない場合（Ｓ４７のＮ）、ステップＳ４８の処理がスキップされる。

処理部２１は、検出した運転者の視方向が当該設定時間以上、静止したか否か判定する（Ｓ４９）。上記のように視方向が対象物のある方向である場合、設定時間が短くなっている。視方向が当該設定時間以上、静止した場合（Ｓ４９のＹ）、処理部２１は、スピーカ２３に警報音または警報メッセージを出力させる（Ｓ４１０）。ステップＳ４０に遷移する。視方向が当該設定時間以上、静止していない場合（Ｓ４９のＮ）、ステップＳ４１０をスキップしてステップＳ４０に遷移する。以上のステップＳ４１−ステップＳ４１０の処理が、イグニッションオフされるまで（Ｓ４０のＮ）、繰り返し実行される（Ｓ４０のＹ）。なお、警報装置２０は、車両１の状態が安全状態の場合、車両１の状態が走行状態に遷移するまで休止していてもよい。

なお、車両１の状態が走行状態の場合において、ステップＳ４１−ステップＳ４７の処理を、警報装置２０ではなく、注意度判定装置１０側で実行してもよい。この場合、警報装置２０は、運転者の視方向が対象物のある方向であるとき、注意度判定装置１０から対象物に基づく注意度を取得し、取得した注意度をもとに設定時間を変更する（Ｓ４８）。

（実施例３）
以下、実施例３に係る、注意度判定装置１０による注意度判定処理と警報装置２０による警報出力処理を具体的に説明する。実施例３では、注意度情報生成部１５は、車室内の空間を複数に区切ったそれぞれのサブ空間および当該サブ空間内に存在する対象物を、車室内の画像に基づいて特定することにより注意度情報を生成する。

図１１は、車室内の画像を複数の領域に分割する具体例を示す図である。図１１は、一枚の画像が３６（＝６×６）の領域に分割されている例を示している。また実施例３でも実施例２と同様に、画像認識アルゴリズムにより車室内の画像から対象物が検出される。図１１に示す例では、センターコンソール上にスマートフォンＯＢ１が検出されている。

図１２は、実施例３に係る注意度情報を示す図である。実施例３では注意度情報は、車室内の画像の各領域と注意度が紐付いた情報である。対象物の位置に近い領域ほど注意度が高く設定される。図１２に示す例では、対象物を含む領域４Ｅ、４Ｆの注意度が最も高く、その周辺の領域３Ｄ、４Ｄ、５Ｄ、３Ｅ、５Ｅ、３Ｆ、５Ｆの注意度が次に高く、その他の領域の注意度がデフォルト値に設定されている。

図１３は、実施例３に係る注意度判定装置１０による注意度判定処理の流れを示すフローチャートである。車両１が運転者によりイグニッションオンされると（Ｓ５０のＹ）、注意度判定装置１０が起動し、車両情報取得部１２はセンサ２から車両１の走行状態を示す車両情報を取得する。運転者情報取得部１４は、撮像装置３から車室内の画像を取得する（Ｓ５１）。車両状態判定部１３は車両１が安全状態にあるか走行状態にあるか判定する（Ｓ５２）。

車両１が安全状態にある場合（Ｓ５２のＹ）、注意度情報生成部１５は、画像認識により、取得された車室内の画像に基づいて対象物を検出する（Ｓ５３）。注意度情報生成部１５は、検出した対象物が運転操作に関連する対象物であるか否か判定する（Ｓ５４）。対象物が運転操作に関連する対象物である場合（Ｓ５４のＹ）、ステップＳ５０に遷移する。

対象物が運転操作に関連する対象物でない場合（Ｓ５４のＮ）、注意度情報生成部１５は、対象物の位置を考慮して、車室内の画像の各領域の注意度情報を生成する（Ｓ５５）。その際、対象物自体の注意度を実施例２で説明した方法により設定してもよい。即ち、対象物の属性、運転者の視方向が対象物のある方向を向いているか、及び運転者の手が対象物に接触しているか、の少なくとも一つを考慮して、対象物自体の注意度を設定してもよい。対象物自体の注意度が高い値に設定されると、対象物を含む領域の注意度も高い値に設定される。

ステップＳ５２において車両１が走行状態にある場合（Ｓ５２のＮ）、注意度情報出力部１６は、注意度情報保存部１８から、注意度と領域が紐付いた注意度情報を読み出し、読み出した注意度情報を警報装置２０に出力する（Ｓ５６）。以上のステップＳ５１−ステップＳ５６の処理が、イグニッションオフされるまで（Ｓ５０のＮ）、繰り返し実行される（Ｓ５０のＹ）。なお、注意度判定装置１０は、注意度情報を警報装置２０に出力した後、車両１の状態が安全状態に遷移するまで休止していてもよい。

図１４は、実施例３に係る警報装置２０による警報出力処理の流れを示すフローチャートである。車両１が運転者によりイグニッションオンされると（Ｓ６０のＹ）、警報装置２０が起動し、警報装置２０の処理部２１はセンサ２から車両１の走行状態を示す車両情報を取得し、撮像装置３から車室内の画像を取得する（Ｓ６１）。処理部２１は車両１が走行状態にあるか安全状態にあるか判定する（Ｓ６２）。

車両１が走行状態にある場合（Ｓ６２のＹ）、処理部２１は画像認識により、車室内の画像に基づいて運転者の視方向と対象物を検出する（Ｓ６３、Ｓ６４）。処理部２１は注意度判定装置１０から、注意度と領域が紐付いた注意度情報を取得する（Ｓ６５）。処理部２１は、検出された対象物が運転操作に関連する対象物であるか否か判定する（Ｓ６６）。対象物が運転操作に関連する対象物である場合（Ｓ６６のＹ）、ステップＳ６０に遷移する。

対象物が運転操作に関連する対象物でない場合（Ｓ６６のＮ）、処理部２１は、検出した運転者の視方向上にある領域の注意度を取得する（Ｓ６７）。処理部２１は、デフォルトの設定時間（例えば、１秒）を、当該領域に紐付いた注意度で割って当該領域の設定時間に更新する（Ｓ６８）。

処理部２１は、検出した運転者の視方向が当該設定時間以上、静止したか否か判定する（Ｓ６９）。上記のように、対象物が存在する位置に近い領域の設定時間ほど短くなる。視方向が当該設定時間以上、静止した場合（Ｓ６９のＹ）、処理部２１は、スピーカ２３に警報音または警報メッセージを出力させる（Ｓ６１０）。ステップＳ６０に遷移する。視方向が当該設定時間以上、静止していない場合（Ｓ６９のＮ）、ステップＳ６１０をスキップしてステップＳ６０に遷移する。以上のステップＳ６１−ステップＳ６１０の処理が、イグニッションオフされるまで（Ｓ６０のＮ）、繰り返し実行される（Ｓ６０のＹ）。なお、警報装置２０は、車両１の状態が安全状態の場合、車両１の状態が走行状態に遷移するまで休止していてもよい。

なお、車両１の状態が走行状態の場合において、ステップＳ６１−ステップＳ６６の処理を、警報装置２０ではなく、注意度判定装置１０側で実行してもよい。この場合、警報装置２０は、注意度判定装置１０から、運転者の視方向上にある領域の注意度を取得し（Ｓ６７）、取得した注意度をもとに設定時間を変更する（Ｓ６８）。

以上説明したように本実施の形態によれば、運転者の車室内の対象物に対する関心度を反映した、高精度な脇見防止対策を実現することができる。車両の停車中、一般に運転者は、意識の８割以上を運転に関連しない対象に向けており、残りの２割未満を、信号機などの運転に関連する対象に向けている。停車中は、運転者は本来の欲求を反映した方向を見たり、本来の欲求を反映した行動を起こす可能性が高い状況といえる。反対に走行中は、意識の８割以上を運転に関連する対象に向けており、残りの２割未満を運転に関連しない対象に向けている。走行中に、運転者が本来の欲求に駆られ、運転に関連しない対象に向けて何らかの行動を起こすと非常に危険である。

本実施の形態では、車両の停車中に、車室内に存在する対象物に対する運転者の注意度に関する注意度情報を生成しておくことにより、走行中、運転者が関心が高い対象物に注意が向いているか否かを早期に検出することができる。例えば、生成しておいた注意度情報を、運転者の視方向の静止が検出されてから脇見と判定されるまでの時間の長さに反映させることにより、運転者の本来の欲求に駆られた行動が発現したとき、より早いタイミングで警報を出力させることができる。これにより、運転者の意識を運転に関連する対象に戻させることができる。

実施例２では対象物に注意度を紐付けることにより、実施例３では領域と注意度を紐付ける（対象物の位置が領域の注意度に反映される）ことにより、運転者が視線や頭を動かしていない場合でも、車室内に運転者の潜在的な注意対象物が存在することを反映した注意度情報を生成することができる。また実施例２では、対象物に注意度を紐付けることにより、走行中に対象物が移動しても、運転者が当該対象物に注意を向けているか否かを的確に検出することができる。

以上、本開示を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

上述の実施の形態では、車両がイグニッションオフされると、注意度情報保存部１８に保持される注意度情報がリセットされる例を想定した。この点、運転者を顔認識により特定し、運転者ごとに注意度情報保存部１８に保持される注意度情報をカスタマイズしてもよい。例えば、警報装置２０から実際に警報が出力されたときの視方向、または視方向上の対象物が、次回以降の停車中に検出された場合、他の視方向または他の対象物が検出された場合と比較して、高い値が割り当てられる、または大きな増分が加算されるようにしてもよい。また、警報装置２０から実際に警報が出力されたとき、上記対象物−注意度変換テーブル内において、警報が出力されたときの視方向上の対象物に紐付いている注意度を高い値に更新してもよい。

なお、ルームミラーを撮影可能な位置に別の撮像装置３が設置されている場合、運転者が対象物を直接見ている場合の視方向だけでなく、ルームミラーごしに対象物を見ている場合の視方向も検出することができる。ルームミラーと運転者の目の位置、視方向から例えば後席のどこを見ているのかを特定することができる。

なお、実施の形態は、以下の項目によって特定されてもよい。

［項目１］
車両（１）の車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する注意度情報保存部（１８）と、
前記運転者の挙動を推定するための情報を取得する運転者情報取得部（１４）と、
前記車両（１）の状態が実質的に停車している第１の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記注意度情報保存部（１８）に保存される前記注意度情報を生成または更新する注意度情報生成部（１５）と、
を備える、注意度判定装置（１０）。
これによれば、車室内における運転者の関心度を反映した、高精度な脇見防止対策に寄与する注意度情報を生成することができる。
［項目２］
前記注意度情報は、前記車室内における前記運転者の視方向と前記運転者の視方向に存在する対象物に対する前記運転者の注意度との対応を示す、
項目１に記載の注意度判定装置（１０）。
これによれば、視方向を基準とした注意度情報を生成することができる。
［項目３］
前記注意度情報は、前記車室内の空間を複数に区切ったそれぞれのサブ空間と当該サブ空間内に存在する対象物に対する前記運転者の注意度との対応を示す、
項目１に記載の注意度判定装置（１０）。
これによれば、車室内のサブ空間を基準とした注意度情報を生成することができる。
［項目４］
前記運転者情報取得部（１４）は、前記運転者の視方向を示す視方向情報を取得し、
前記注意度情報生成部（１５）は、前記車室内の画像と前記視方向情報に基づいて、前記運転者の視方向に存在する対象物を特定し、特定した対象物に関して前記注意度情報を生成または更新する、
項目１から３のいずれか１項に記載の注意度判定装置（１０）。
これによれば、対象物を基準とした注意度情報を生成することができる。
［項目５］
前記注意度情報生成部（１５）は、前記車両（１）の状態が前記車両（１）が実質的に走行している第２の状態から前記第１の状態に遷移した第１のタイミングから、前記車両（１）の状態が前記第１の状態から前記第２の状態に遷移した第２のタイミングまでの期間における、前記運転者の視方向の変動量が前記所定の閾値以内である継続時間に応じて、当該視方向に存在する対象物に対する前記運転者の注意度の大きさを決定し、決定した注意度を示すように前記注意度情報を生成または更新する、
項目１から３のいずれか１項に記載の注意度判定装置（１０）。
これによれば、車両（１）が実質的に停車している期間における運転者の関心をもとに、視方向を基準とした注意度情報を生成することができる。
［項目６］
前記注意度情報生成部（１５）は、取得された前記車室内の画像に基づいて前記運転者の動きを検出し、前記運転者が接触中または接近している対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目１から３のいずれか１項に記載の注意度判定装置（１０）。
これによれば、対象物に対する運転者の関心度を、対象物を基準とした注意度情報に反映させることができる。
［項目７］
前記注意度情報生成部（１５）は、取得された前記車室内の画像に基づいて前記運転者の手の動きを検出し、前記運転者の手が接触中または接近している対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目６に記載の注意度判定装置（１０）。
これによれば、対象物に対する運転者の関心度を運転者の手の動きから推定し、推定した運転者の関心度を、対象物を基準とした注意度情報に反映させることができる。
［項目８］
前記注意度情報生成部（１５）は、前記車両の状態が前記車両が実質的に走行している第２の状態から前記第１の状態に遷移した第１のタイミングと、前記車両の状態が前記第１の状態から前記第２の状態に遷移した第２のタイミングと、前記対象物を前記運転者が見ることを開始したことが検出された第３のタイミングと、前記対象物を前記運転者が見ることを終了したことが検出された第４のタイミングとの関係に基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目１から３のいずれか１項に記載の注意度判定装置（１０）。
これによれば、対象物に対する運転者の関心度を、よりきめ細かく注意度情報に反映させることができる。
［項目９］
前記注意度情報生成部（１５）は、前記第４のタイミングと前記第３のタイミングとの差分と、前記第２のタイミングと前記第４のタイミングとの差分とに基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目８に記載の注意度判定装置（１０）。
これによれば、対象物に対する運転者の関心度を、よりきめ細かく注意度情報に反映させることができる。
［項目１０］
前記注意度情報生成部（１５）は、前記車両の状態が前記車両が実質的に走行している第２の状態から前記第１の状態に遷移した第１のタイミングと、前記車両の状態が前記第１の状態から前記第２の状態に遷移した第２のタイミングと、前記対象物に対して前記運転者が接触または接近を開始したことが検出された第５のタイミングと、前記対象物に対して前記運転者が接触または接近を終了したことが検出された第６のタイミングとの関係に基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、 項目１から３のいずれか１項に記載の注意度判定装置（１０）。
これによれば、走行開始直前に示した対象物に対する運転者の関心度を考慮して、注意度情報を更新させることができる。
［項目１１］
前記注意度情報生成部（１５）は、前記第６のタイミングと前記第５のタイミングとの差分と、前記第２のタイミングと前記第６のタイミングとの差分とに基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目１０に記載の注意度判定装置（１０）。
これによれば、走行開始直前に示した対象物に対する運転者の関心度を考慮して、注意度情報を更新させることができる。
［項目１２］
前記注意度の値は、前記対象物の属性に応じて設定される、
項目１から３のいずれか１項に記載の注意度判定装置（１０）。
これによれば、対象物の属性に応じて、注意度をきめ細かく設定することができる。
［項目１３］
前記対象物は、前記車室内に存在し、かつ、前記運転者の運転操作に関連しない物体である、
項目１から３のいずれか１項に記載の注意度判定装置（１０）。
これによれば、走行中に運転者が関心を示すと危険な対象物に絞り込んだ注意度情報を生成することができる。
［項目１４］
前記車両（１）の状態が、実質的に走行している第２の状態であると判定された場合、前記注意度情報保存部に保存されている注意度情報の中から、前記運転者の挙動を推定するための情報に基づいて取得された情報を警報装置（２０）に出力する注意度情報出力部（１６）をさらに備える、
項目１から１３のいずれか１項に記載の注意度判定装置（１０）。
これによれば、車室内における運転者の関心度を反映した注意度情報を、高精度な脇見防止対策に活用することができる。
［項目１５］
車室内における運転者の挙動を推定するための情報を取得するステップと、
車両（１）の状態が実質的に停車している第１の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記車室内に存在する対象物に対する前記運転者の注意度に関する注意度情報を生成または更新するステップと、
を有する、注意度判定方法。
これによれば、車室内における運転者の関心度を反映した、高精度な脇見防止対策に寄与する注意度情報を生成することができる。
［項目１６］
車室内における運転者の挙動を推定するための情報を取得する処理と、
車両（１）の状態が実質的に停車している第１の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記車室内に存在する対象物に対する前記運転者の注意度に関する注意度情報を生成または更新する処理と、
をコンピュータに実行させる注意度判定プログラム。
これによれば、車室内における運転者の関心度を反映した、高精度な脇見防止対策に寄与する注意度情報を生成することができる。

１ 車両、 ２ センサ、 ３ 撮像装置、 １０ 注意度判定装置、 １１ 処理部、 １２ 車両情報取得部、 １３ 車両状態判定部、 １４ 運転者情報取得部、 １５ 注意度情報生成部、 １６ 注意度情報出力部、 １７ 記憶部、 １８ 注意度情報保存部、 ２０ 警報装置、 ２１ 処理部、 ２２ 記憶部、 ２３ スピーカ。

Claims (16)

1. 車両の車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する注意度情報保存部と、
   前記運転者の挙動を推定するための情報を取得する運転者情報取得部と、
   前記車両の状態が実質的に停車している第１の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記注意度情報保存部に保存される前記注意度情報を生成または更新する注意度情報生成部と、
   を備える、注意度判定装置。
2. 前記注意度情報は、前記車室内における前記運転者の視方向と前記運転者の視方向に存在する対象物に対する前記運転者の注意度との対応を示す、
   請求項１に記載の注意度判定装置。
3. 前記注意度情報は、前記車室内の空間を複数に区切ったそれぞれのサブ空間と当該サブ空間内に存在する対象物に対する前記運転者の注意度との対応を示す、
   請求項１に記載の注意度判定装置。
4. 前記運転者情報取得部は、前記運転者の視方向を示す視方向情報を取得し、
   前記注意度情報生成部は、前記車室内の画像と前記視方向情報に基づいて、前記運転者の視方向に存在する対象物を特定し、特定した対象物に関して前記注意度情報を生成または更新する、
   請求項１から３のいずれか１項に記載の注意度判定装置。
5. 前記注意度情報生成部は、前記車両の状態が前記車両が実質的に走行している第２の状態から前記第１の状態に遷移した第１のタイミングから、前記車両の状態が前記第１の状態から前記第２の状態に遷移した第２のタイミングまでの期間における、前記運転者の視方向の変動量が所定の閾値以内である継続時間に応じて、当該視方向に存在する対象物に対する前記運転者の注意度の大きさを決定し、決定した注意度を示すように前記注意度情報を生成または更新する、
   請求項１から３のいずれか１項に記載の注意度判定装置。
6. 前記注意度情報生成部は、取得された前記車室内の画像に基づいて前記運転者の動きを検出し、前記運転者が接触中または接近している対象物に対応する注意度が変化するように前記注意度情報を更新する、
   請求項１から３のいずれか１項に記載の注意度判定装置。
7. 前記注意度情報生成部は、取得された前記車室内の画像に基づいて前記運転者の手の動きを検出し、前記運転者の手が接触中または接近している対象物に対応する注意度が変化するように前記注意度情報を更新する、
   請求項６に記載の注意度判定装置。
8. 前記注意度情報生成部は、 前記車両の状態が前記車両が実質的に走行している第２の状態から前記第１の状態に遷移した第１のタイミングと、前記車両の状態が前記第１の状態から前記第２の状態に遷移した第２のタイミングと、前記対象物を前記運転者が見ることを開始したことが検出された第３のタイミングと、前記対象物を前記運転者が見ることを終了したことが検出された第４のタイミングとの関係に基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
   請求項１から３のいずれか１項に記載の注意度判定装置。
9. 前記注意度情報生成部は、前記第４のタイミングと前記第３のタイミングとの差分と、前記第２のタイミングと前記第４のタイミングとの差分とに基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
   請求項８に記載の注意度判定装置。
10. 前記注意度情報生成部は、前記車両の状態が前記車両が実質的に走行している第２の状態から前記第１の状態に遷移した第１のタイミングと、前記車両の状態が前記第１の状態から前記第２の状態に遷移した第２のタイミングと、前記対象物に対して前記運転者が接触または接近を開始したことが検出された第５のタイミングと、前記対象物に対して前記運転者が接触または接近を終了したことが検出された第６のタイミングとの関係に基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
    請求項１から３のいずれか１項に記載の注意度判定装置。
11. 前記注意度情報生成部は、前記第６のタイミングと前記第５のタイミングとの差分と、前記第２のタイミングと前記第６のタイミングとの差分とに基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
    請求項１０に記載の注意度判定装置。
12. 前記注意度の値は、前記対象物の属性に応じて設定される、
    請求項１から３のいずれか１項に記載の注意度判定装置。
13. 前記対象物は、前記車室内に存在し、かつ、前記運転者の運転操作に関連しない物体である、
    請求項１から３のいずれか１項に記載の注意度判定装置。
14. 前記車両の状態が、実質的に走行している第２の状態であると判定された場合、前記注意度情報保存部に保存されている注意度情報の中から、前記運転者の挙動を推定するための情報に基づいて取得された情報を警報装置に出力する注意度情報出力部をさらに備える、
    請求項１から１３のいずれか１項に記載の注意度判定装置。
15. 車室内における運転者の挙動を推定するための情報を取得するステップと、
    車両の状態が実質的に停車している第１の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記車室内に存在する対象物に対する前記運転者の注意度に関する注意度情報を生成または更新するステップと、
    を有する、注意度判定方法。
16. 車室内における運転者の挙動を推定するための情報を取得する処理と、
    車両の状態が実質的に停車している第１の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記車室内に存在する対象物に対する前記運転者の注意度に関する注意度情報を生成または更新する処理と、
    をコンピュータに実行させる注意度判定プログラム。

Images