JP2021131668A - 注意度判定装置、注意度判定方法、及び注意度判定プログラム - Google Patents
注意度判定装置、注意度判定方法、及び注意度判定プログラム Download PDFInfo
- Publication number
- JP2021131668A JP2021131668A JP2020026048A JP2020026048A JP2021131668A JP 2021131668 A JP2021131668 A JP 2021131668A JP 2020026048 A JP2020026048 A JP 2020026048A JP 2020026048 A JP2020026048 A JP 2020026048A JP 2021131668 A JP2021131668 A JP 2021131668A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- information
- caution
- vehicle
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】運転者の対象物に対する関心度を反映した、高精度な脇見防止対策を実現する。【解決手段】注意度情報保存部18は、車両1の車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する。運転者情報取得部14は、運転者の挙動を推定するための情報を取得する。注意度情報生成部15は、車両1の状態が実質的に停車している第1の状態であると判定された場合、運転者の挙動を推定するための情報をもとに、注意度情報保存部18に保存される注意度情報を生成または更新する。【選択図】図1
Description
本発明は、注意度判定装置、注意度判定方法、及び注意度判定プログラムに関する。
近年、運転支援装置の一つとして、走行中に運転者の脇見を検出すると警告音を出力する脇見運転防止装置を搭載している車両が増えてきている。一般的な脇見運転防止装置では、運転者を撮影し、撮影した画像に基づいて運転者の視方向または頭方向を検出し、運転者がどこを見ているかを判定することで、運転者が脇見をしているか否か判定している。高精度な脇見判定を行うために種々の脇見判定アルゴリズムが提案されている。
例えば、運転者の注意方向(顔または視線を向けている方向)の所定期間における標準偏差等の偏差に基づいて、運転者の注意方向と注意度を判定するアルゴリズムが提案されている。そのアルゴリズムでは、偏差は運転者が注意を向けている時間(顔または視線を向けている時間)が長いほど小さくなり、その注意方向に対する注意度が高いと判定される(例えば、特許文献1参照)。
しかしながら、特許文献1に記載の技術では、例えば、車両の状態が実質的に停車している状態の場合における運転者の注意度の判定に関して改善の余地がある。
本開示はこうした状況に鑑みなされたものであり、その目的は、車両の状態が実質的に停車している状態の場合における運転者の注意度をより適切に判定することが可能な技術を提供することにある。
上記課題を解決するために、本開示のある態様の注意度判定装置は、車両の車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する注意度情報保存部と、前記運転者の挙動を推定するための情報を取得する運転者情報取得部と、前記車両の状態が実質的に停車している第1の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記注意度情報保存部に保存される前記注意度情報を生成または更新する注意度情報生成部と、を備える。
なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本開示によれば、車両の状態が実質的に停車している状態の場合における運転者の注意度をより適切に判定することができる。
まず、本開示の実施形態を着想するに至った背景について説明する。ある研究調査によれば、脇見の要因の47%が、オーディオ操作、タバコ、物の出し入れなど、運転に関係ない行動に起因するものとなっている。運転に関係がないにも関わらず、運転者がこれらの行動をとったのは、その欲求を抑えられなかったためと考えられる。運転に注意する必要性が低い停車中は、その欲求を抑える必要性が低いため、運転者は、その欲求を満たすための行動をとる可能性が高い。また、その欲求を満たす行動が停車中に完了しなかった場合、走行中もその欲求が継続する可能性が高く、停車中にとっていた行動に対して明確な目的があるため、走行中にその欲求を満たす行動をした場合には、その目的に対し意識が大きく割かれることになる。このため、例えば、運転操作に不要であるが、気になってしまい、どうしても見てしまったり、または、どうしても操作してしまう、というような欲求に基づき対象物を見ること(脇見)の方が、そのような欲求とは無関係に対象物を見ることよりも危険性が高いと考えられる。
しかしながら、公知の技術(例えば特許文献1に記載の方法など)では、例えば運転者の挙動の態様(または態様の変化)や対象物の種類によらずに、運転者が対象物を見続ける時間の長さのみによって注意度を一律に決定してしまう。このため、公知の技術では、特に車両の状態が実質的に停車している状態の場合において、運転者の注意度を適切に判定することができない恐れがある。例えば、公知の技術では、停車中に、運転には不要である対象物に対して、運転には不要であるにも関わらず運転者が気になってしまい見てしまうことの注意度や、触れたり、接近してしてしまうことの注意度を適切に判定することが困難である。
後述するように、本実施形態によれば、車両の状態が実質的に停車している状態の場合における運転者の注意度をより適切に判定することができる。
図1は、実施の形態に係る、脇見防止機能に関連する車両1内の構成を示す図である。車両1は、脇見防止機能に関連する構成要素として、センサ2、撮像装置3、注意度判定装置10、及び警報装置20を備える。
センサ2は、車両1の走行状態を検出するためのセンサである。例えば、走行状態を検出するためのセンサとして、車速センサ、ブレーキセンサ、アクセルセンサ等を使用することができる。センサ2は、検出した値を注意度判定装置10及び警報装置20に出力する。
撮像装置3は、運転者を含む車室内の状況を撮像するための装置である。撮像装置3は、固体撮像素子(例えばCMOSイメージセンサ、CCDイメージセンサ)及び信号処理回路を備える。当該固体撮像素子は入射光を電気信号に変換し、当該信号処理回路に出力する。当該信号処理回路は、当該固体撮像素子により光電変換された画像データに対してA/D変換、ノイズ除去などの信号処理を施す。当該信号処理回路は、信号処理後の画像データを注意度判定装置10及び警報装置20に出力する。
なお撮像装置3には、詳細は後述するが、撮像された画像に基づいて運転者の視方向を検出するための画像認識エンジンが実装されていてもよい。その場合、撮像装置3は検出した視方向情報(例えば、ヨー角、ピッチ角で定義された視方向情報)を注意度判定装置10及び警報装置20の少なくとも一方に出力することができる。
注意度判定装置10は、車室内に存在する対象物に対する運転者の注意度を判定するための装置である。注意度判定装置10は、処理部11及び記憶部17を備える。処理部11は、車両情報取得部12、車両状態判定部13、運転者情報取得部14、注意度情報生成部15、及び注意度情報出力部16を含む。処理部11は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、CPU、ROM、RAM、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、その他のLSIを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。
記憶部17は、不揮発性の記録媒体(例えば、フラッシュメモリ、SSD、HDD)を含み、不揮発性の記録媒体内に注意度情報保存部18を格納する。注意度情報保存部18は、車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する。注意度情報は、車室内における運転者の視方向と、運転者の視方向に存在する対象物に対する運転者の注意度との対応を示す情報であってもよい。また、注意度情報は、車室内の空間を複数に区切ったそれぞれのサブ空間と、当該サブ空間内に存在する対象物に対する運転者の注意度との対応を示す情報であってもよい。注意度情報はテーブルで管理されてもよい。注意度情報の具体的な定義方法は後述する。
車両情報取得部12は、センサ2から車両1の走行状態を示す情報を取得する。車両状態判定部13は、車両情報取得部12により取得された情報をもとに、車両1が走行状態か安全状態かを判定する。安全状態は、車両1が完全に停車している状態に限らず、所定速度(例えば、時速10km)以下で動いている状態(実質的な停車状態)を含んでいてもよい。その場合、走行状態は、所定速度(例えば、時速10km)を超える速度で動いている状態(実質的な走行状態)も含む。
運転者情報取得部14は、撮像装置3から入力される運転者が写った画像データ等の、運転者の挙動を推定するための情報を取得する。注意度情報生成部15は、車両1が安全状態にあるとき、運転者の挙動を推定するための情報をもとに、注意度情報保存部18に保存される注意度情報を生成または更新する。
注意度情報出力部16は、車両1が走行状態にあるとき、注意度情報保存部18に保存されている注意度情報の中から、運転者の挙動を推定するための情報に基づいて取得された注意度情報を警報装置20に出力する。
警報装置20は、運転者の脇見を検出したとき警報を出力する装置である。警報装置20は、処理部21、記憶部22及びスピーカ23を備える。処理部21は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、CPU、ROM、RAM、GPU、DSP、ASIC、FPGA、その他のLSIを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。記憶部22は、不揮発性の記録媒体(例えば、フラッシュメモリ、SSD、HDD)を含む。スピーカ23は、運転者に、脇見を注意するための警告音または警告メッセージを音声出力する。
警報装置20の処理部21は、車両1が走行状態にあるとき、撮像装置3等から取得する運転者の挙動を推定するための情報と、注意度判定装置10から取得する注意度情報をもとに、危険性の高い脇見が発生したか否か判定する。危険性の高い脇見が発生したと判定したとき、処理部21は、スピーカ23に警告音または警告メッセージを出力させる。
なお図1では注意度判定装置10と警報装置20が別々に構成される例を示しているが、注意度判定装置10と警報装置20が一つの基板上に統合的に構成されてもよい。
図2は、撮像装置3の設置例を示す図である。図2に示す例では、運転席を見下ろすようにフロントガラスの上方に撮像装置3を設置している。例えば、撮像装置3はルームミラーに固定されて設置されてもよい。なお、撮像装置3の設置位置は、運転者の顔を撮影できる位置であれば、図2に示す設置位置に限定されるものではない。例えば、ステアリング固定部の上部に設置されてもよい。
図3は、画像認識アルゴリズムにより運転者の視方向を推定する処理を説明するための図である。例えば、画像認識アルゴリズムは、顔識別器を用いることにより、画像に含まれる運転者の顔領域F1を検出する。画像内の顔領域に基づいて視方向を推定する方法としては公知の技術が利用され得る。
例えば、以下の4種類の方法(「第1の推定方法」から「第4の推定方法」)のうちのいずれか1つが用いられてもよいし、または、いずれか2以上が組み合わされて用いられてもよい。第1の推定方法は、撮像装置3から運転者に向けて近赤外光を照射し、角膜表面上の反射点の座標、瞳孔の中心座標、及び眼球モデルをもとに視方向を推定する方法である。第2の推定方法は、顔領域から眼領域を抽出し、抽出した眼領域に対してテンプレートマッチング及び楕円フィッティングを適用して虹彩位置を検出し、検出した虹彩位置の座標、頭部の姿勢位置を示す座標、及び眼球モデルをもとに視方向を推定する方法である。第3の推定方法は、まぶたを含む眼球モデルを用い、片眼の画像から虹彩のなす平面を抽出し、この平面に垂直なベクトルを求めることにより視方向を推定する方法である。第4の推定方法では、多数の視方向の学習画像が用意され得る。そして、入力画像と複数の学習画像とをパターンマッチング等を行うことにより視方向が推定される。
図3に示すように本実施の形態では、運転者の視方向は、ヨー角とピッチ角の組み合わせで定義される。本実施の形態において、ヨー角は、運転者の視線の水平方向の回転量を、車両の高さ方向を軸としたときの、車両直進方向からの角度で表したものである。ピッチ角は、運転者の視線の上下方向の回転量を、車両の車幅方向を軸にしたときの、車両直進方向からの角度で表したものである。なお、視方向の表現方法は上述の方法に限定されない。上述した視方向を推定するための画像認識アルゴリズムは、撮像装置3側に実装されてもよいし、注意度判定装置10及び警報装置20側に実装されてもよい。前者の場合は、撮像装置3から注意度判定装置10及び警報装置20に視方向情報が送信される。さらに、画像データそのものも一緒に送信されてもよい。後者の場合は、撮像装置3から注意度判定装置10及び警報装置20に画像データのみが出力される。
なお、運転者の視方向は画像認識以外の方法で推定することもできる。例えば、運転者の頭の動きを検出するモーションキャプチャセンサが取り付けられたウェアラブルデバイス(例えば、帽子やメガネ)の検出値を用いてもよい。この場合、検出されるのは頭の動きであるが、頭の向きと視方向には相関性があるため、頭の動きから視方向を推定することができる。
(実施例1)
以下、実施例1に係る、注意度判定装置10による注意度判定処理と警報装置20による警報出力処理を具体的に説明する。実施例1では、注意度情報生成部15は、運転者情報取得部14により取得された視方向情報に基づいて特定された、運転者の視方向の変動量が所定の閾値以内である継続時間および当該視方向に基づいて、注意度情報保存部18に保存される注意度情報を生成または更新する。その際、注意度情報生成部15は、当該継続時間に応じて、当該視方向に存在する対象物に対する運転者の注意度の大きさを決定し、決定した注意度を示すように注意度情報を生成または更新してもよい。当該継続時間が長いほど、運転者の注意度が大きくなる。注意度情報を生成または更新する期間は、車両1の状態が走行状態から安全状態に遷移した第1のタイミングから、車両1の状態が安全状態から走行状態に遷移した第2のタイミングまでの期間である。
以下、実施例1に係る、注意度判定装置10による注意度判定処理と警報装置20による警報出力処理を具体的に説明する。実施例1では、注意度情報生成部15は、運転者情報取得部14により取得された視方向情報に基づいて特定された、運転者の視方向の変動量が所定の閾値以内である継続時間および当該視方向に基づいて、注意度情報保存部18に保存される注意度情報を生成または更新する。その際、注意度情報生成部15は、当該継続時間に応じて、当該視方向に存在する対象物に対する運転者の注意度の大きさを決定し、決定した注意度を示すように注意度情報を生成または更新してもよい。当該継続時間が長いほど、運転者の注意度が大きくなる。注意度情報を生成または更新する期間は、車両1の状態が走行状態から安全状態に遷移した第1のタイミングから、車両1の状態が安全状態から走行状態に遷移した第2のタイミングまでの期間である。
運転者情報取得部14により取得される視方向情報は上記のように、車室内の撮像装置3により撮像された運転者の画像が画像認識されることにより取得される。より具体的には、画像認識により運転者の顔向きおよび目の向きが特定されることにより視方向が決定され、決定された視方向を示す視方向情報が取得される。
実施例1では、注意度情報生成部15は、対象物を運転者が見ることを開始したことが検出された第3のタイミングと、対象物を運転者が見ることを終了したことが検出された第4のタイミングと、第1のタイミングと、第2のタイミングとの関係に基づいて、対象物に対応する注意度が変化するように注意度情報を更新する。注意度情報生成部15は、第4のタイミングと第3のタイミングとの差分と、第2のタイミングと第4のタイミングとの差分とに基づいて、対象物に対応する注意度が変化するように注意度情報を更新してもよい。
実施例1において、以下の3種類の例のうちのいずれかを用いて、対象物に対応する注意度が決定されてよい。第1の例では、第2のタイミングのより直前まで対象物を運転者が見ていた場合ほど、この対象物に対する注意度がより大きくなるように注意度が算出される。第2の例では、第1のタイミングから第2のタイミングまでの期間において、対象物を運転者が見ていた時間がより長いほど、この対象物に対する注意度がより大きくなるように注意度が算出される。第3の例では、第1のタイミングから第2のタイミングまでの期間において運転者が一番最後に見ていた対象物のみに対して、注意度が算出され得る。
または、第1の例、第2の例、および第3の例のうちのいずれか2以上が組み合わされても良い。
または、第4のタイミングと第3のタイミングとの差分と、前記第2のタイミングと前記第4のタイミングとの差分との重み付け和に基づいて、対象物に対応する注意度を決定してもよい。例えば、「対象物に対する注意度」は、以下の(式1)を用いて算出されてもよい。
「対象物に対する注意度」=変数X+変数Y ・・・(式1)
ここで、
X=(第4のタイミングと第3のタイミングとの差分)×K1×(対象物の属性に対応する注意度)である。
Y={(第2のタイミングと第1のタイミングとの差分)−(第2のタイミングと第4のタイミングとの差分)}×K2×(対象物の属性に対応する注意度)である。
なお、K1、K2は所定の係数であり、予め定められた値である。
ここで、
X=(第4のタイミングと第3のタイミングとの差分)×K1×(対象物の属性に対応する注意度)である。
Y={(第2のタイミングと第1のタイミングとの差分)−(第2のタイミングと第4のタイミングとの差分)}×K2×(対象物の属性に対応する注意度)である。
なお、K1、K2は所定の係数であり、予め定められた値である。
図4は、実施例1に係る注意度情報を示す図である。実施例1では注意度情報は、運転者の視方向と注意度が紐付いた情報である。注意度は、運転者の意識が運転に関係がないものに割かれる度合いを反映しており、以下、注意度の値が高いほど、運転者の意識が運転に関係がないものに大きく割かれ、危険性が高いことを意味するものとする。
図5は、実施例1に係る注意度判定装置10による注意度判定処理の流れを示すフローチャートである。車両1が運転者によりイグニッションオンされると(S10のY)、注意度判定装置10が起動し、車両情報取得部12はセンサ2から車両1の走行状態を示す車両情報を取得する。運転者情報取得部14は、撮像装置3等から、運転者の挙動を推定するための運転者情報を取得する(S11)。実施例1では撮像装置3から運転者の視方向情報を取得するものとする。車両状態判定部13は車両1が安全状態にあるか走行状態にあるか判定する(S12)。
車両1が安全状態にある場合(S12のY)、注意度情報生成部15は、取得された視方向が運転操作に関連する方向であるか否か判定する(S13)。運転操作に関連する方向は、通常の運転操作時に運転者が視線を移動させる範囲に対応する方向である。例えば、フロントガラス越しの前方風景、計器盤、ルームミラー、サイドミラーを見ているときの視方向は、運転操作に関連する方向に含まれる。運転操作に関連する方向の範囲は車種に応じて設定される。視方向が運転操作に関連する方向である場合(S13のY)、ステップS10に遷移する。
視方向が運転操作に関連する方向でない場合(S13のN)、注意度情報生成部15は、視方向が設定時間(例えば、1秒)以上、静止したか否か判定する(S14)。設定時間は、視方向の静止が脇見による静止であるか否かを判定するための時間であり、設計者により設定される。設計者は、各種の知見、実験またはシミュレーションから得られたデータをもとに設定時間の長さを決めることができる。設定時間を短く設定するほど安全性を重視した設計となり、設定時間を長く設定するほど煩雑性の回避を重視した設計となる。静止したか否かの判定は実質的に判定され、視方向の所定値以下の変動は静止しているとみなす。即ち、視方向が設定時間以上、静止したか否かを判定する処理は、運転者の視方向の変動量が所定の閾値以内である継続時間が、設定時間以上であるか否かを判定する処理に相当する。視方向が設定時間以上、静止した場合(S14のY)、注意度情報生成部15は、静止した視方向の注意度情報を生成する(S15)。具体的には、静止した視方向に、1より高い値の注意度を割り当てる。その際、静止した時間が長いほど、高い値の注意度を割り当てる。既に注意度が割り当てられている視方向の位置に再度、静止した場合は、注意度情報生成部15は、既存の注意度に対して、今回静止した時間に応じた増分を加算して既存の注意度を更新する。ステップS10に遷移する。視方向が設定時間以上、静止していない場合(S14のN)、ステップS15をスキップしてステップS10に遷移する。
ステップS12において車両1が走行状態にある場合(S12のN)、注意度情報出力部16は、注意度情報保存部18から、注意度と視方向が紐付いた注意度情報を読み出し、読み出した注意度情報を警報装置20に出力する(S16)。以上のステップS11−ステップS16の処理が、イグニッションオフされるまで(S10のN)、繰り返し実行される(S10のY)。なお、注意度判定装置10は、注意度情報を警報装置20に出力した後、車両1の状態が安全状態に遷移するまで休止していてもよい。
図5に示したフローチャートにおいて、注意度情報生成部15は、車両1が安全状態から走行状態に遷移する所定開始時刻の設定時間前から当該走行開始時刻までの期間(例えば、走行開始直前の1秒以内)に、視方向が設定時間以上、静止した位置の視方向に割り当てる注意度を、当該期間より前の期間に割り当てる注意度より高い値に設定してもよい。走行開始直前の視方向は、運転操作に関連しない何らかの行動(例えば、オーディオの操作、スマートフォンの操作)が完了していない注意対象物が存在する方向である可能性が高く、運転中にも運転者の注意が向きやすい方向といえる。
図6は、実施例1に係る警報装置20による警報出力処理の流れを示すフローチャートである。車両1が運転者によりイグニッションオンされると(S20のY)、警報装置20が起動し、警報装置20の処理部21はセンサ2から車両1の走行状態を示す車両情報を取得し、撮像装置3等から、運転者の挙動を推定するための運転者情報を取得する(S21)。実施例1では撮像装置3から運転者の視方向情報を取得するものとする。処理部21は車両1が走行状態にあるか安全状態にあるか判定する(S22)。
車両1が走行状態にある場合(S22のY)、処理部21は注意度判定装置10から、注意度と視方向が紐付いた注意度情報を取得する(S23)。処理部21は、撮像装置3から取得された視方向が運転操作に関連する方向であるか否か判定する(S24)。視方向が運転操作に関連する方向である場合(S24のY)、ステップS20に遷移する。
視方向が運転操作に関連する方向でない場合(S24のN)、処理部21は、視方向に注意度情報が設定されているか否か判定する(S25)。視方向に注意度情報が設定されている場合(S25のY)、処理部21は、デフォルトの設定時間(例えば、1秒)を、当該視方向に紐付いた注意度で割って当該視方向の設定時間に更新する(S26)。この処理により当該視方向の設定時間が短くなる。注意度が高いほど、設定時間がより短くなる。設定時間が短くなると、視方向の静止が脇見と判定されるまでの時間が短くなり、視方向が静止したときに、より早いタイミングで警報が出力されるようになる。視方向に注意度情報が設定されていない場合(S25のN)、ステップS26の処理がスキップされる。
処理部21は、撮像装置3から取得された視方向が当該設定時間以上、静止したか否か判定する(S27)。上記のように注意度情報が設定されている視方向の場合、設定時間が短くなっている。視方向が当該設定時間以上、静止した場合(S27のY)、処理部21は、スピーカ23に警報音または警報メッセージを出力させる(S28)。ステップS20に遷移する。視方向が当該設定時間以上、静止していない場合(S27のN)、ステップS28をスキップしてステップS20に遷移する。以上のステップS21−ステップS28の処理が、イグニッションオフされるまで(S20のN)、繰り返し実行される(S20のY)。なお、警報装置20は、車両1の状態が安全状態の場合、車両1の状態が走行状態に遷移するまで休止していてもよい。
なお、車両1の状態が走行状態の場合において、ステップS21−ステップS25の処理を、警報装置20ではなく、注意度判定装置10側で実行してもよい。この場合、警報装置20は、運転者の視方向に注意度情報が設定されているとき、注意度判定装置10から視方向に基づく注意度を取得し、取得した注意度をもとに設定時間を変更する(S26)。
(実施例2)
以下、実施例2に係る、注意度判定装置10による注意度判定処理と警報装置20による警報出力処理を具体的に説明する。実施例2では、車室内の対象物と注意度を紐付けて注意度情報を生成する。注意度情報が生成される対象物は、車室内に存在し、かつ、運転者の運転操作に関連しない物体である。実施例2では、注意度情報生成部15は、車室内の画像(つまり、車室内が撮像された画像)と運転者の視方向情報に基づいて、運転者の視方向に存在する対象物を特定し、特定した対象物に関して注意度情報を生成または更新する。
以下、実施例2に係る、注意度判定装置10による注意度判定処理と警報装置20による警報出力処理を具体的に説明する。実施例2では、車室内の対象物と注意度を紐付けて注意度情報を生成する。注意度情報が生成される対象物は、車室内に存在し、かつ、運転者の運転操作に関連しない物体である。実施例2では、注意度情報生成部15は、車室内の画像(つまり、車室内が撮像された画像)と運転者の視方向情報に基づいて、運転者の視方向に存在する対象物を特定し、特定した対象物に関して注意度情報を生成または更新する。
注意度情報生成部15は、取得された車室内の画像に基づいて運転者の動き(例えば、運転者の手の動き)を検出し、運転者が接触中または接近している対象物に対応する注意度が変化するように注意度情報を更新する。運転者(例えば、運転者の手)と対象物の距離が短いほど、大きな値の注意度が加算され、運転者(例えば、運転者の手)と対象物の距離が長いほど、小さな値の注意度が加算される。また、運転者(例えば、運転者の手)と対象物との接触時間が長いほど、大きな値の注意度が加算され、運転者(例えば、運転者の手)と対象物との接触時間が短いほど、小さな値の注意度が加算される。注意度情報を生成または更新する期間は、車両1の状態が走行状態から安全状態に遷移した第1のタイミングから、車両1の状態が安全状態から走行状態に遷移した第2のタイミングまでの期間である。
実施例2では、注意度情報生成部15は、対象物に対して運転者が接触または接近を開始したことが検出された第5のタイミングと、対象物に対して運転者が接触または接近を終了したことが検出された第6のタイミングと、第1のタイミングと、第2のタイミングとの関係に基づいて、対象物に対応する注意度が変化するように注意度情報を更新する。注意度情報生成部15は、第6のタイミングと第5のタイミングとの差分と、第2のタイミングと第6のタイミングとの差分とに基づいて、対象物に対応する注意度が変化するように注意度情報を更新してもよい。
実施例2において、以下の3種類の例のうちのいずれかを用いて、対象物に対応する注意度が決定されてよい。第1の例では、第2のタイミングのより直前まで対象物に対して運転者が接触または接近していた場合ほど、この対象物に対する注意度がより大きくなるように注意度が算出される。第2の例では、第1のタイミングから第2のタイミングまでの期間において、対象物に対して運転者が接触または接近していた時間がより長いほど、この対象物に対する注意度がより大きくなるように注意度が算出される。第3の例では、第1のタイミングから第2のタイミングまでの期間において運転者が一番最後に接触または接近していた対象物のみに対して、注意度が算出され得る。
または、第1の例、第2の例、および第3の例のうちのいずれか2以上が組み合わされても良い。
または、第6のタイミングと第5のタイミングとの差分と、第2のタイミングと第6のタイミングとの差分との重み付け和に基づいて、対象物に対応する注意度を決定してもよい。例えば、「対象物に対する注意度」は、以下の(式2)を用いて算出されてもよい。
「対象物に対する注意度」=変数X+変数Y ・・・(式2)
ここで、
X=(第6のタイミングと第5のタイミングとの差分)×K1×(対象物の属性に対応する注意度)である。
Y={(第2のタイミングと第1のタイミングとの差分)−(第2のタイミングと第6のタイミングとの差分)}×K2×(対象物の属性に対応する注意度)である。
なお、K1、K2は所定の係数であり、予め定められた値である。
ここで、
X=(第6のタイミングと第5のタイミングとの差分)×K1×(対象物の属性に対応する注意度)である。
Y={(第2のタイミングと第1のタイミングとの差分)−(第2のタイミングと第6のタイミングとの差分)}×K2×(対象物の属性に対応する注意度)である。
なお、K1、K2は所定の係数であり、予め定められた値である。
図7は、画像認識アルゴリズムにより車室内の画像から対象物を検出する処理を説明するための図である。画像認識アルゴリズムは、画像に基づいて種々の対象物を検出するための識別器を辞書データとして予め保持している。具体的には、子供、成人、犬、猫、かばん、ポーチ、買い物袋、財布、ハンカチ、ティッシュペーパー、腕時計、スマートフォン、タバコ、ライター、キーホルダ、本、など車室内に存在することが多い種々の対象物の識別器を予め保持している。また、画像認識アルゴリズムは、運転者の行動を推定するための識別器を保持していてもよい。例えば、左手、右手、胴体のそれぞれの複数の状態の識別器を保持していてもよい。
画像認識アルゴリズムは、各種の識別器を用いたパターンマッチングにより画像から対象物を検出する。図7に示す例では、センターコンソール上にスマートフォンOB1が検出され、助手席にかばんOB2が検出されている。
当該画像認識アルゴリズムは、注意度判定装置10の注意度情報生成部15及び警報装置20の処理部21に実装される。当該画像認識アルゴリズムは、上述した運転者の視方向を推定するための画像認識アルゴリズムと統合されていてもよい。
図8は、実施例2に係る注意度情報を示す図である。実施例2では注意度情報は、車室内の対象物と注意度が紐付いた情報である。対象物に設定される注意度は、対象物の属性に応じて異なる値が設定されてもよい。例えば、子供、スマートフォン、ディスプレイオーディオなど、音を発生させる属性の注意度が高く設定されてもよい。また、子供、犬、猫など、自ら動くことができる属性の注意度が高く設定されてもよい。また、統計的データに基づき運転者の注意が向きやすい対象物の注意度が高く設定されてもよい。対象物の属性に応じて注意度を設定する場合、対象物−注意度変換テーブルが注意度判定装置10の記憶部17内に予め保持される。なお、実施例1においても、画像認識アルゴリズムにより車室内の画像から対象物を検出し、検出した対象物の属性に応じて、注意度の値を異なる値に設定してもよい。
図9は、実施例2に係る注意度判定装置10による注意度判定処理の流れを示すフローチャートである。車両1が運転者によりイグニッションオンされると(S30のY)、注意度判定装置10が起動し、車両情報取得部12はセンサ2から車両1の走行状態を示す車両情報を取得する。運転者情報取得部14は、撮像装置3から車室内の画像を取得する(S31)。車両状態判定部13は車両1が安全状態にあるか走行状態にあるか判定する(S32)。
車両1が安全状態にある場合(S32のY)、注意度情報生成部15は、画像認識により、取得された車室内の画像に基づいて(車室内に存在する)対象物を検出する(S33)。注意度情報生成部15は、検出した対象物が運転操作に関連する対象物であるか否か判定する(S34)。運転操作に関連する対象物として、シフトレバー、シートベルトなどが該当する。対象物が運転操作に関連する対象物である場合(S34のY)、ステップS30に遷移する。
対象物が運転操作に関連する対象物でない場合(S34のN)、注意度情報生成部15は、対象物の注意度情報を生成する(S35)。具体的には、対象物に1より高い値の注意度を割り当てる。上記対象物−注意度変換テーブルを参照して注意度の値を決定してもよい。
また注意度情報生成部15は、画像認識により、車室内の画像に基づいて運転者の視方向を検出し、検出した運転者の視方向が対象物のある方向に設定時間以上、静止した場合、当該対象物の注意度情報の注意度を高く設定してもよい。その際、注意度情報生成部15は運転者の視方向が対象物のある方向に静止した時間が長いほど、高い値の注意度を割り当てる。運転者の視方向が、既に注意度が割り当てられている対象物のある方向に再度、静止した場合は、注意度情報生成部15は既存の注意度に対して、今回静止した時間に応じた増分を加算して既存の注意度を更新する。なお、画像認識により、車室内の画像に基づいて運転者の視方向を検出する処理は、撮像装置3側で実行されてもよい。その場合、注意度判定装置10は、撮像装置3から運転者の視方向情報を取得する。
また注意度情報生成部15は、画像認識により、車室内の画像に基づいて運転者の手の動きを検出し、運転者の手が伸びた方向上にある対象物の注意度情報の注意度を高く設定してもよい。その際、運転者の手が対象物に接触した場合、注意度情報生成部15は、当該対象物により高い値の注意度を割り当てる。運転者の手が、既に注意度が割り当てられている対象物に再度、接触した場合は、注意度情報生成部15は既存の注意度に対して、今回の接触に応じた増分を加算して既存の注意度を更新する。
ステップS32において車両1が走行状態にある場合(S32のN)、注意度情報出力部16は、注意度情報保存部18から、注意度と対象物が紐付いた注意度情報を読み出し、読み出した注意度情報を警報装置20に出力する(S36)。以上のステップS31−ステップS36の処理が、イグニッションオフされるまで(S30のN)、繰り返し実行される(S30のY)。なお、注意度判定装置10は、注意度情報を警報装置20に出力した後、車両1の状態が安全状態に遷移するまで休止していてもよい。
図9に示したフローチャートにおいて、注意度情報生成部15は、車両1が安全状態から走行状態に遷移する走行開始時刻の所定時間前から当該走行開始時刻までの期間に、運転者の視方向が対象物のある方向に設定時間以上、静止した場合、当該期間より前の期間に注意度に加算する値より高い値を注意度に加算してもよい。また注意度情報生成部15は当該期間に、運転者の手が対象物に接触している場合、当該期間より前の期間に注意度に加算する値より高い値を注意度に加算してもよい。
図10は、実施例2に係る警報装置20による警報出力処理の流れを示すフローチャートである。車両1が運転者によりイグニッションオンされると(S40のY)、警報装置20が起動し、警報装置20の処理部21はセンサ2から車両1の走行状態を示す車両情報を取得し、撮像装置3から車室内の画像を取得する(S41)。処理部21は車両1が走行状態にあるか安全状態にあるか判定する(S42)。
車両1が走行状態にある場合(S42のY)、処理部21は画像認識により、車室内の画像に基づいて運転者の視方向と対象物を検出する(S43、S44)。処理部21は注意度判定装置10から、注意度と対象物が紐付いた注意度情報を取得する(S45)。処理部21は、検出された対象物が運転操作に関連する対象物であるか否か判定する(S46)。対象物が運転操作に関連する対象物である場合(S46のY)、ステップS40に遷移する。
対象物が運転操作に関連する対象物でない場合(S46のN)、処理部21は、検出した運転者の視方向が対象物のある方向であるか否か判定する(S47)。視方向が対象物のある方向である場合(S47のY)、処理部21は、デフォルトの設定時間(例えば、1秒)を、当該対象物に紐付いた注意度で割って当該対象物の設定時間に更新する(S48)。視方向が対象物の方向でない場合(S47のN)、ステップS48の処理がスキップされる。
処理部21は、検出した運転者の視方向が当該設定時間以上、静止したか否か判定する(S49)。上記のように視方向が対象物のある方向である場合、設定時間が短くなっている。視方向が当該設定時間以上、静止した場合(S49のY)、処理部21は、スピーカ23に警報音または警報メッセージを出力させる(S410)。ステップS40に遷移する。視方向が当該設定時間以上、静止していない場合(S49のN)、ステップS410をスキップしてステップS40に遷移する。以上のステップS41−ステップS410の処理が、イグニッションオフされるまで(S40のN)、繰り返し実行される(S40のY)。なお、警報装置20は、車両1の状態が安全状態の場合、車両1の状態が走行状態に遷移するまで休止していてもよい。
なお、車両1の状態が走行状態の場合において、ステップS41−ステップS47の処理を、警報装置20ではなく、注意度判定装置10側で実行してもよい。この場合、警報装置20は、運転者の視方向が対象物のある方向であるとき、注意度判定装置10から対象物に基づく注意度を取得し、取得した注意度をもとに設定時間を変更する(S48)。
(実施例3)
以下、実施例3に係る、注意度判定装置10による注意度判定処理と警報装置20による警報出力処理を具体的に説明する。実施例3では、注意度情報生成部15は、車室内の空間を複数に区切ったそれぞれのサブ空間および当該サブ空間内に存在する対象物を、車室内の画像に基づいて特定することにより注意度情報を生成する。
以下、実施例3に係る、注意度判定装置10による注意度判定処理と警報装置20による警報出力処理を具体的に説明する。実施例3では、注意度情報生成部15は、車室内の空間を複数に区切ったそれぞれのサブ空間および当該サブ空間内に存在する対象物を、車室内の画像に基づいて特定することにより注意度情報を生成する。
図11は、車室内の画像を複数の領域に分割する具体例を示す図である。図11は、一枚の画像が36(=6×6)の領域に分割されている例を示している。また実施例3でも実施例2と同様に、画像認識アルゴリズムにより車室内の画像から対象物が検出される。図11に示す例では、センターコンソール上にスマートフォンOB1が検出されている。
図12は、実施例3に係る注意度情報を示す図である。実施例3では注意度情報は、車室内の画像の各領域と注意度が紐付いた情報である。対象物の位置に近い領域ほど注意度が高く設定される。図12に示す例では、対象物を含む領域4E、4Fの注意度が最も高く、その周辺の領域3D、4D、5D、3E、5E、3F、5Fの注意度が次に高く、その他の領域の注意度がデフォルト値に設定されている。
図13は、実施例3に係る注意度判定装置10による注意度判定処理の流れを示すフローチャートである。車両1が運転者によりイグニッションオンされると(S50のY)、注意度判定装置10が起動し、車両情報取得部12はセンサ2から車両1の走行状態を示す車両情報を取得する。運転者情報取得部14は、撮像装置3から車室内の画像を取得する(S51)。車両状態判定部13は車両1が安全状態にあるか走行状態にあるか判定する(S52)。
車両1が安全状態にある場合(S52のY)、注意度情報生成部15は、画像認識により、取得された車室内の画像に基づいて対象物を検出する(S53)。注意度情報生成部15は、検出した対象物が運転操作に関連する対象物であるか否か判定する(S54)。対象物が運転操作に関連する対象物である場合(S54のY)、ステップS50に遷移する。
対象物が運転操作に関連する対象物でない場合(S54のN)、注意度情報生成部15は、対象物の位置を考慮して、車室内の画像の各領域の注意度情報を生成する(S55)。その際、対象物自体の注意度を実施例2で説明した方法により設定してもよい。即ち、対象物の属性、運転者の視方向が対象物のある方向を向いているか、及び運転者の手が対象物に接触しているか、の少なくとも一つを考慮して、対象物自体の注意度を設定してもよい。対象物自体の注意度が高い値に設定されると、対象物を含む領域の注意度も高い値に設定される。
ステップS52において車両1が走行状態にある場合(S52のN)、注意度情報出力部16は、注意度情報保存部18から、注意度と領域が紐付いた注意度情報を読み出し、読み出した注意度情報を警報装置20に出力する(S56)。以上のステップS51−ステップS56の処理が、イグニッションオフされるまで(S50のN)、繰り返し実行される(S50のY)。なお、注意度判定装置10は、注意度情報を警報装置20に出力した後、車両1の状態が安全状態に遷移するまで休止していてもよい。
図14は、実施例3に係る警報装置20による警報出力処理の流れを示すフローチャートである。車両1が運転者によりイグニッションオンされると(S60のY)、警報装置20が起動し、警報装置20の処理部21はセンサ2から車両1の走行状態を示す車両情報を取得し、撮像装置3から車室内の画像を取得する(S61)。処理部21は車両1が走行状態にあるか安全状態にあるか判定する(S62)。
車両1が走行状態にある場合(S62のY)、処理部21は画像認識により、車室内の画像に基づいて運転者の視方向と対象物を検出する(S63、S64)。処理部21は注意度判定装置10から、注意度と領域が紐付いた注意度情報を取得する(S65)。処理部21は、検出された対象物が運転操作に関連する対象物であるか否か判定する(S66)。対象物が運転操作に関連する対象物である場合(S66のY)、ステップS60に遷移する。
対象物が運転操作に関連する対象物でない場合(S66のN)、処理部21は、検出した運転者の視方向上にある領域の注意度を取得する(S67)。処理部21は、デフォルトの設定時間(例えば、1秒)を、当該領域に紐付いた注意度で割って当該領域の設定時間に更新する(S68)。
処理部21は、検出した運転者の視方向が当該設定時間以上、静止したか否か判定する(S69)。上記のように、対象物が存在する位置に近い領域の設定時間ほど短くなる。視方向が当該設定時間以上、静止した場合(S69のY)、処理部21は、スピーカ23に警報音または警報メッセージを出力させる(S610)。ステップS60に遷移する。視方向が当該設定時間以上、静止していない場合(S69のN)、ステップS610をスキップしてステップS60に遷移する。以上のステップS61−ステップS610の処理が、イグニッションオフされるまで(S60のN)、繰り返し実行される(S60のY)。なお、警報装置20は、車両1の状態が安全状態の場合、車両1の状態が走行状態に遷移するまで休止していてもよい。
なお、車両1の状態が走行状態の場合において、ステップS61−ステップS66の処理を、警報装置20ではなく、注意度判定装置10側で実行してもよい。この場合、警報装置20は、注意度判定装置10から、運転者の視方向上にある領域の注意度を取得し(S67)、取得した注意度をもとに設定時間を変更する(S68)。
以上説明したように本実施の形態によれば、運転者の車室内の対象物に対する関心度を反映した、高精度な脇見防止対策を実現することができる。車両の停車中、一般に運転者は、意識の8割以上を運転に関連しない対象に向けており、残りの2割未満を、信号機などの運転に関連する対象に向けている。停車中は、運転者は本来の欲求を反映した方向を見たり、本来の欲求を反映した行動を起こす可能性が高い状況といえる。反対に走行中は、意識の8割以上を運転に関連する対象に向けており、残りの2割未満を運転に関連しない対象に向けている。走行中に、運転者が本来の欲求に駆られ、運転に関連しない対象に向けて何らかの行動を起こすと非常に危険である。
本実施の形態では、車両の停車中に、車室内に存在する対象物に対する運転者の注意度に関する注意度情報を生成しておくことにより、走行中、運転者が関心が高い対象物に注意が向いているか否かを早期に検出することができる。例えば、生成しておいた注意度情報を、運転者の視方向の静止が検出されてから脇見と判定されるまでの時間の長さに反映させることにより、運転者の本来の欲求に駆られた行動が発現したとき、より早いタイミングで警報を出力させることができる。これにより、運転者の意識を運転に関連する対象に戻させることができる。
実施例2では対象物に注意度を紐付けることにより、実施例3では領域と注意度を紐付ける(対象物の位置が領域の注意度に反映される)ことにより、運転者が視線や頭を動かしていない場合でも、車室内に運転者の潜在的な注意対象物が存在することを反映した注意度情報を生成することができる。また実施例2では、対象物に注意度を紐付けることにより、走行中に対象物が移動しても、運転者が当該対象物に注意を向けているか否かを的確に検出することができる。
以上、本開示を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
上述の実施の形態では、車両がイグニッションオフされると、注意度情報保存部18に保持される注意度情報がリセットされる例を想定した。この点、運転者を顔認識により特定し、運転者ごとに注意度情報保存部18に保持される注意度情報をカスタマイズしてもよい。例えば、警報装置20から実際に警報が出力されたときの視方向、または視方向上の対象物が、次回以降の停車中に検出された場合、他の視方向または他の対象物が検出された場合と比較して、高い値が割り当てられる、または大きな増分が加算されるようにしてもよい。また、警報装置20から実際に警報が出力されたとき、上記対象物−注意度変換テーブル内において、警報が出力されたときの視方向上の対象物に紐付いている注意度を高い値に更新してもよい。
なお、ルームミラーを撮影可能な位置に別の撮像装置3が設置されている場合、運転者が対象物を直接見ている場合の視方向だけでなく、ルームミラーごしに対象物を見ている場合の視方向も検出することができる。ルームミラーと運転者の目の位置、視方向から例えば後席のどこを見ているのかを特定することができる。
なお、実施の形態は、以下の項目によって特定されてもよい。
[項目1]
車両(1)の車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する注意度情報保存部(18)と、
前記運転者の挙動を推定するための情報を取得する運転者情報取得部(14)と、
前記車両(1)の状態が実質的に停車している第1の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記注意度情報保存部(18)に保存される前記注意度情報を生成または更新する注意度情報生成部(15)と、
を備える、注意度判定装置(10)。
これによれば、車室内における運転者の関心度を反映した、高精度な脇見防止対策に寄与する注意度情報を生成することができる。
[項目2]
前記注意度情報は、前記車室内における前記運転者の視方向と前記運転者の視方向に存在する対象物に対する前記運転者の注意度との対応を示す、
項目1に記載の注意度判定装置(10)。
これによれば、視方向を基準とした注意度情報を生成することができる。
[項目3]
前記注意度情報は、前記車室内の空間を複数に区切ったそれぞれのサブ空間と当該サブ空間内に存在する対象物に対する前記運転者の注意度との対応を示す、
項目1に記載の注意度判定装置(10)。
これによれば、車室内のサブ空間を基準とした注意度情報を生成することができる。
[項目4]
前記運転者情報取得部(14)は、前記運転者の視方向を示す視方向情報を取得し、
前記注意度情報生成部(15)は、前記車室内の画像と前記視方向情報に基づいて、前記運転者の視方向に存在する対象物を特定し、特定した対象物に関して前記注意度情報を生成または更新する、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、対象物を基準とした注意度情報を生成することができる。
[項目5]
前記注意度情報生成部(15)は、前記車両(1)の状態が前記車両(1)が実質的に走行している第2の状態から前記第1の状態に遷移した第1のタイミングから、前記車両(1)の状態が前記第1の状態から前記第2の状態に遷移した第2のタイミングまでの期間における、前記運転者の視方向の変動量が前記所定の閾値以内である継続時間に応じて、当該視方向に存在する対象物に対する前記運転者の注意度の大きさを決定し、決定した注意度を示すように前記注意度情報を生成または更新する、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、車両(1)が実質的に停車している期間における運転者の関心をもとに、視方向を基準とした注意度情報を生成することができる。
[項目6]
前記注意度情報生成部(15)は、取得された前記車室内の画像に基づいて前記運転者の動きを検出し、前記運転者が接触中または接近している対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、対象物に対する運転者の関心度を、対象物を基準とした注意度情報に反映させることができる。
[項目7]
前記注意度情報生成部(15)は、取得された前記車室内の画像に基づいて前記運転者の手の動きを検出し、前記運転者の手が接触中または接近している対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目6に記載の注意度判定装置(10)。
これによれば、対象物に対する運転者の関心度を運転者の手の動きから推定し、推定した運転者の関心度を、対象物を基準とした注意度情報に反映させることができる。
[項目8]
前記注意度情報生成部(15)は、前記車両の状態が前記車両が実質的に走行している第2の状態から前記第1の状態に遷移した第1のタイミングと、前記車両の状態が前記第1の状態から前記第2の状態に遷移した第2のタイミングと、前記対象物を前記運転者が見ることを開始したことが検出された第3のタイミングと、前記対象物を前記運転者が見ることを終了したことが検出された第4のタイミングとの関係に基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、対象物に対する運転者の関心度を、よりきめ細かく注意度情報に反映させることができる。
[項目9]
前記注意度情報生成部(15)は、前記第4のタイミングと前記第3のタイミングとの差分と、前記第2のタイミングと前記第4のタイミングとの差分とに基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目8に記載の注意度判定装置(10)。
これによれば、対象物に対する運転者の関心度を、よりきめ細かく注意度情報に反映させることができる。
[項目10]
前記注意度情報生成部(15)は、前記車両の状態が前記車両が実質的に走行している第2の状態から前記第1の状態に遷移した第1のタイミングと、前記車両の状態が前記第1の状態から前記第2の状態に遷移した第2のタイミングと、前記対象物に対して前記運転者が接触または接近を開始したことが検出された第5のタイミングと、前記対象物に対して前記運転者が接触または接近を終了したことが検出された第6のタイミングとの関係に基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、 項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、走行開始直前に示した対象物に対する運転者の関心度を考慮して、注意度情報を更新させることができる。
[項目11]
前記注意度情報生成部(15)は、前記第6のタイミングと前記第5のタイミングとの差分と、前記第2のタイミングと前記第6のタイミングとの差分とに基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目10に記載の注意度判定装置(10)。
これによれば、走行開始直前に示した対象物に対する運転者の関心度を考慮して、注意度情報を更新させることができる。
[項目12]
前記注意度の値は、前記対象物の属性に応じて設定される、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、対象物の属性に応じて、注意度をきめ細かく設定することができる。
[項目13]
前記対象物は、前記車室内に存在し、かつ、前記運転者の運転操作に関連しない物体である、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、走行中に運転者が関心を示すと危険な対象物に絞り込んだ注意度情報を生成することができる。
[項目14]
前記車両(1)の状態が、実質的に走行している第2の状態であると判定された場合、前記注意度情報保存部に保存されている注意度情報の中から、前記運転者の挙動を推定するための情報に基づいて取得された情報を警報装置(20)に出力する注意度情報出力部(16)をさらに備える、
項目1から13のいずれか1項に記載の注意度判定装置(10)。
これによれば、車室内における運転者の関心度を反映した注意度情報を、高精度な脇見防止対策に活用することができる。
[項目15]
車室内における運転者の挙動を推定するための情報を取得するステップと、
車両(1)の状態が実質的に停車している第1の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記車室内に存在する対象物に対する前記運転者の注意度に関する注意度情報を生成または更新するステップと、
を有する、注意度判定方法。
これによれば、車室内における運転者の関心度を反映した、高精度な脇見防止対策に寄与する注意度情報を生成することができる。
[項目16]
車室内における運転者の挙動を推定するための情報を取得する処理と、
車両(1)の状態が実質的に停車している第1の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記車室内に存在する対象物に対する前記運転者の注意度に関する注意度情報を生成または更新する処理と、
をコンピュータに実行させる注意度判定プログラム。
これによれば、車室内における運転者の関心度を反映した、高精度な脇見防止対策に寄与する注意度情報を生成することができる。
車両(1)の車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する注意度情報保存部(18)と、
前記運転者の挙動を推定するための情報を取得する運転者情報取得部(14)と、
前記車両(1)の状態が実質的に停車している第1の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記注意度情報保存部(18)に保存される前記注意度情報を生成または更新する注意度情報生成部(15)と、
を備える、注意度判定装置(10)。
これによれば、車室内における運転者の関心度を反映した、高精度な脇見防止対策に寄与する注意度情報を生成することができる。
[項目2]
前記注意度情報は、前記車室内における前記運転者の視方向と前記運転者の視方向に存在する対象物に対する前記運転者の注意度との対応を示す、
項目1に記載の注意度判定装置(10)。
これによれば、視方向を基準とした注意度情報を生成することができる。
[項目3]
前記注意度情報は、前記車室内の空間を複数に区切ったそれぞれのサブ空間と当該サブ空間内に存在する対象物に対する前記運転者の注意度との対応を示す、
項目1に記載の注意度判定装置(10)。
これによれば、車室内のサブ空間を基準とした注意度情報を生成することができる。
[項目4]
前記運転者情報取得部(14)は、前記運転者の視方向を示す視方向情報を取得し、
前記注意度情報生成部(15)は、前記車室内の画像と前記視方向情報に基づいて、前記運転者の視方向に存在する対象物を特定し、特定した対象物に関して前記注意度情報を生成または更新する、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、対象物を基準とした注意度情報を生成することができる。
[項目5]
前記注意度情報生成部(15)は、前記車両(1)の状態が前記車両(1)が実質的に走行している第2の状態から前記第1の状態に遷移した第1のタイミングから、前記車両(1)の状態が前記第1の状態から前記第2の状態に遷移した第2のタイミングまでの期間における、前記運転者の視方向の変動量が前記所定の閾値以内である継続時間に応じて、当該視方向に存在する対象物に対する前記運転者の注意度の大きさを決定し、決定した注意度を示すように前記注意度情報を生成または更新する、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、車両(1)が実質的に停車している期間における運転者の関心をもとに、視方向を基準とした注意度情報を生成することができる。
[項目6]
前記注意度情報生成部(15)は、取得された前記車室内の画像に基づいて前記運転者の動きを検出し、前記運転者が接触中または接近している対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、対象物に対する運転者の関心度を、対象物を基準とした注意度情報に反映させることができる。
[項目7]
前記注意度情報生成部(15)は、取得された前記車室内の画像に基づいて前記運転者の手の動きを検出し、前記運転者の手が接触中または接近している対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目6に記載の注意度判定装置(10)。
これによれば、対象物に対する運転者の関心度を運転者の手の動きから推定し、推定した運転者の関心度を、対象物を基準とした注意度情報に反映させることができる。
[項目8]
前記注意度情報生成部(15)は、前記車両の状態が前記車両が実質的に走行している第2の状態から前記第1の状態に遷移した第1のタイミングと、前記車両の状態が前記第1の状態から前記第2の状態に遷移した第2のタイミングと、前記対象物を前記運転者が見ることを開始したことが検出された第3のタイミングと、前記対象物を前記運転者が見ることを終了したことが検出された第4のタイミングとの関係に基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、対象物に対する運転者の関心度を、よりきめ細かく注意度情報に反映させることができる。
[項目9]
前記注意度情報生成部(15)は、前記第4のタイミングと前記第3のタイミングとの差分と、前記第2のタイミングと前記第4のタイミングとの差分とに基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目8に記載の注意度判定装置(10)。
これによれば、対象物に対する運転者の関心度を、よりきめ細かく注意度情報に反映させることができる。
[項目10]
前記注意度情報生成部(15)は、前記車両の状態が前記車両が実質的に走行している第2の状態から前記第1の状態に遷移した第1のタイミングと、前記車両の状態が前記第1の状態から前記第2の状態に遷移した第2のタイミングと、前記対象物に対して前記運転者が接触または接近を開始したことが検出された第5のタイミングと、前記対象物に対して前記運転者が接触または接近を終了したことが検出された第6のタイミングとの関係に基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、 項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、走行開始直前に示した対象物に対する運転者の関心度を考慮して、注意度情報を更新させることができる。
[項目11]
前記注意度情報生成部(15)は、前記第6のタイミングと前記第5のタイミングとの差分と、前記第2のタイミングと前記第6のタイミングとの差分とに基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
項目10に記載の注意度判定装置(10)。
これによれば、走行開始直前に示した対象物に対する運転者の関心度を考慮して、注意度情報を更新させることができる。
[項目12]
前記注意度の値は、前記対象物の属性に応じて設定される、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、対象物の属性に応じて、注意度をきめ細かく設定することができる。
[項目13]
前記対象物は、前記車室内に存在し、かつ、前記運転者の運転操作に関連しない物体である、
項目1から3のいずれか1項に記載の注意度判定装置(10)。
これによれば、走行中に運転者が関心を示すと危険な対象物に絞り込んだ注意度情報を生成することができる。
[項目14]
前記車両(1)の状態が、実質的に走行している第2の状態であると判定された場合、前記注意度情報保存部に保存されている注意度情報の中から、前記運転者の挙動を推定するための情報に基づいて取得された情報を警報装置(20)に出力する注意度情報出力部(16)をさらに備える、
項目1から13のいずれか1項に記載の注意度判定装置(10)。
これによれば、車室内における運転者の関心度を反映した注意度情報を、高精度な脇見防止対策に活用することができる。
[項目15]
車室内における運転者の挙動を推定するための情報を取得するステップと、
車両(1)の状態が実質的に停車している第1の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記車室内に存在する対象物に対する前記運転者の注意度に関する注意度情報を生成または更新するステップと、
を有する、注意度判定方法。
これによれば、車室内における運転者の関心度を反映した、高精度な脇見防止対策に寄与する注意度情報を生成することができる。
[項目16]
車室内における運転者の挙動を推定するための情報を取得する処理と、
車両(1)の状態が実質的に停車している第1の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記車室内に存在する対象物に対する前記運転者の注意度に関する注意度情報を生成または更新する処理と、
をコンピュータに実行させる注意度判定プログラム。
これによれば、車室内における運転者の関心度を反映した、高精度な脇見防止対策に寄与する注意度情報を生成することができる。
1 車両、 2 センサ、 3 撮像装置、 10 注意度判定装置、 11 処理部、 12 車両情報取得部、 13 車両状態判定部、 14 運転者情報取得部、 15 注意度情報生成部、 16 注意度情報出力部、 17 記憶部、 18 注意度情報保存部、 20 警報装置、 21 処理部、 22 記憶部、 23 スピーカ。
Claims (16)
- 車両の車室内に存在する対象物に対する運転者の注意度に関する注意度情報を保存する注意度情報保存部と、
前記運転者の挙動を推定するための情報を取得する運転者情報取得部と、
前記車両の状態が実質的に停車している第1の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記注意度情報保存部に保存される前記注意度情報を生成または更新する注意度情報生成部と、
を備える、注意度判定装置。 - 前記注意度情報は、前記車室内における前記運転者の視方向と前記運転者の視方向に存在する対象物に対する前記運転者の注意度との対応を示す、
請求項1に記載の注意度判定装置。 - 前記注意度情報は、前記車室内の空間を複数に区切ったそれぞれのサブ空間と当該サブ空間内に存在する対象物に対する前記運転者の注意度との対応を示す、
請求項1に記載の注意度判定装置。 - 前記運転者情報取得部は、前記運転者の視方向を示す視方向情報を取得し、
前記注意度情報生成部は、前記車室内の画像と前記視方向情報に基づいて、前記運転者の視方向に存在する対象物を特定し、特定した対象物に関して前記注意度情報を生成または更新する、
請求項1から3のいずれか1項に記載の注意度判定装置。 - 前記注意度情報生成部は、前記車両の状態が前記車両が実質的に走行している第2の状態から前記第1の状態に遷移した第1のタイミングから、前記車両の状態が前記第1の状態から前記第2の状態に遷移した第2のタイミングまでの期間における、前記運転者の視方向の変動量が所定の閾値以内である継続時間に応じて、当該視方向に存在する対象物に対する前記運転者の注意度の大きさを決定し、決定した注意度を示すように前記注意度情報を生成または更新する、
請求項1から3のいずれか1項に記載の注意度判定装置。 - 前記注意度情報生成部は、取得された前記車室内の画像に基づいて前記運転者の動きを検出し、前記運転者が接触中または接近している対象物に対応する注意度が変化するように前記注意度情報を更新する、
請求項1から3のいずれか1項に記載の注意度判定装置。 - 前記注意度情報生成部は、取得された前記車室内の画像に基づいて前記運転者の手の動きを検出し、前記運転者の手が接触中または接近している対象物に対応する注意度が変化するように前記注意度情報を更新する、
請求項6に記載の注意度判定装置。 - 前記注意度情報生成部は、 前記車両の状態が前記車両が実質的に走行している第2の状態から前記第1の状態に遷移した第1のタイミングと、前記車両の状態が前記第1の状態から前記第2の状態に遷移した第2のタイミングと、前記対象物を前記運転者が見ることを開始したことが検出された第3のタイミングと、前記対象物を前記運転者が見ることを終了したことが検出された第4のタイミングとの関係に基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
請求項1から3のいずれか1項に記載の注意度判定装置。 - 前記注意度情報生成部は、前記第4のタイミングと前記第3のタイミングとの差分と、前記第2のタイミングと前記第4のタイミングとの差分とに基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
請求項8に記載の注意度判定装置。 - 前記注意度情報生成部は、前記車両の状態が前記車両が実質的に走行している第2の状態から前記第1の状態に遷移した第1のタイミングと、前記車両の状態が前記第1の状態から前記第2の状態に遷移した第2のタイミングと、前記対象物に対して前記運転者が接触または接近を開始したことが検出された第5のタイミングと、前記対象物に対して前記運転者が接触または接近を終了したことが検出された第6のタイミングとの関係に基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
請求項1から3のいずれか1項に記載の注意度判定装置。 - 前記注意度情報生成部は、前記第6のタイミングと前記第5のタイミングとの差分と、前記第2のタイミングと前記第6のタイミングとの差分とに基づいて、前記対象物に対応する注意度が変化するように前記注意度情報を更新する、
請求項10に記載の注意度判定装置。 - 前記注意度の値は、前記対象物の属性に応じて設定される、
請求項1から3のいずれか1項に記載の注意度判定装置。 - 前記対象物は、前記車室内に存在し、かつ、前記運転者の運転操作に関連しない物体である、
請求項1から3のいずれか1項に記載の注意度判定装置。 - 前記車両の状態が、実質的に走行している第2の状態であると判定された場合、前記注意度情報保存部に保存されている注意度情報の中から、前記運転者の挙動を推定するための情報に基づいて取得された情報を警報装置に出力する注意度情報出力部をさらに備える、
請求項1から13のいずれか1項に記載の注意度判定装置。 - 車室内における運転者の挙動を推定するための情報を取得するステップと、
車両の状態が実質的に停車している第1の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記車室内に存在する対象物に対する前記運転者の注意度に関する注意度情報を生成または更新するステップと、
を有する、注意度判定方法。 - 車室内における運転者の挙動を推定するための情報を取得する処理と、
車両の状態が実質的に停車している第1の状態であると判定された場合、前記運転者の挙動を推定するための情報をもとに、前記車室内に存在する対象物に対する前記運転者の注意度に関する注意度情報を生成または更新する処理と、
をコンピュータに実行させる注意度判定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020026048A JP2021131668A (ja) | 2020-02-19 | 2020-02-19 | 注意度判定装置、注意度判定方法、及び注意度判定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020026048A JP2021131668A (ja) | 2020-02-19 | 2020-02-19 | 注意度判定装置、注意度判定方法、及び注意度判定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021131668A true JP2021131668A (ja) | 2021-09-09 |
Family
ID=77551021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020026048A Pending JP2021131668A (ja) | 2020-02-19 | 2020-02-19 | 注意度判定装置、注意度判定方法、及び注意度判定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021131668A (ja) |
-
2020
- 2020-02-19 JP JP2020026048A patent/JP2021131668A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109791739B (zh) | 晕车估计装置、晕车防止装置和晕车估计方法 | |
JP7099037B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP6343808B2 (ja) | 視野算出装置および視野算出方法 | |
EP3220368A1 (en) | System and method for providing context-specific vehicular driver interactions | |
US20210124962A1 (en) | Artificial intelligence apparatus and method for determining inattention of driver | |
US11084424B2 (en) | Video image output apparatus, video image output method, and medium | |
JP7328089B2 (ja) | 閉眼判定装置 | |
JP6805716B2 (ja) | 表示装置、表示方法、プログラム | |
JPWO2019198179A1 (ja) | 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 | |
JP6432702B1 (ja) | 算出システム、指標算出方法、およびコンピュータプログラム | |
JP2018183532A (ja) | 状態推定装置 | |
JP6365423B2 (ja) | 運転者状態判定方法及びその判定装置 | |
US20180022357A1 (en) | Driving recorder system | |
JP2019195376A (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP2020086907A (ja) | 漫然運転判定装置 | |
JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
US10945651B2 (en) | Arousal level determination device | |
JP2021131668A (ja) | 注意度判定装置、注意度判定方法、及び注意度判定プログラム | |
JP7375691B2 (ja) | 眠気兆候通知システム | |
JP7019394B2 (ja) | 視認対象検知装置、視認対象検知方法、およびプログラム | |
JP7149749B2 (ja) | 運転支援装置、及び運転支援方法 | |
JP2020013554A (ja) | 覚醒度判定装置 | |
JP2017076180A (ja) | 状態判定装置 | |
JP2021071917A (ja) | 運転支援装置、運転支援方法、及び運転支援プログラム | |
JP7543082B2 (ja) | 情報提示装置、情報提示方法及び情報提示プログラム |