JP2021047675A - 情報処理装置、情報処理方法、及び、コンピュータプログラム - Google Patents

Abstract

【課題】ドライバに脇見運転等を行っていたという自覚を促すこと。【解決手段】情報処理装置１０は、運転者の運転に対する注意が不十分な状態を検知する監視部１０１と、運転者が運転する車両の周辺状況および当該車両の走行状況の少なくともいずれかに関する状況情報を記録する周辺画像記録部１０３や走行ログ記録部１０４と、監視部１０１によって注意が不十分な状態が検知された際の状況情報を用いて、注意が不十分な状態に起因して発生した危険な状態を報知するための危険報知画像を生成する危険報知画像生成部１０５と、を備えている。【選択図】図１

Description

本開示は、脇見運転に対する自覚を促すことができる情報処理装置、情報処理方法、及び、コンピュータプログラムに関する。

従来、脇見運転の検知に関し、例えば、特許文献１には、脇見累積時間や脇見走行距離をドライバに通知することで、ドライバに脇見運転の自覚を促す技術が開示されている。

特開２０１７−２１１８１８号公報

しかしながら、特許文献１に記載の構成では、脇見累積時間や脇見走行距離をドライバに通知するだけであり、ドライバにとっては脇見運転による危険性について直感的に理解しづらく、ドライバに危険な運転を行っていたという自覚を促すことができない。このため、ドライバは再び脇見運転を行ってしまう可能性が高く、脇見運転の再発を防止するのが困難である。

本開示の非限定的な実施例は、脇見運転の再発が抑制されるようにドライバに脇見運転の自覚を強く促すことができる情報処理装置、情報処理方法、及び、コンピュータプログラムに資する。

本開示の一態様に係る情報処理装置は、運転者の運転に対する注意が不十分な状態を検知する監視部と、前記運転者が運転する車両の周辺状況および当該車両の走行状況の少なくともいずれかに関する状況情報を記録する状況記録部と、前記監視部によって前記注意が不十分な状態が検知された際の前記状況情報を用いて、前記注意が不十分な状態に起因して発生した危険な状態を報知するための危険報知画像を生成する生成部と、を備える。
本開示の一態様に係る情報処理方法は、運転者の運転に対する注意が不十分な状態を検知する監視ステップと、前記運転者が運転する車両の周辺状況および当該車両の走行状況の少なくともいずれかに関する状況情報を記録する状況記録ステップと、前記監視ステップによって前記注意が不十分な状態が検知された際の前記状況情報を用いて、前記注意が不十分な状態に起因して発生した危険な状態を示す危険報知画像を生成する生成ステップと、を含む。
本開示の一態様に係るコンピュータプログラムは、運転者の運転に対する注意が不十分な状態を検知する監視ステップと、前記運転者が運転する車両の周辺状況および当該車両の走行状況の少なくともいずれかに関する状況情報を記録する状況記録ステップと、前記監視ステップによって前記注意が不十分な状態が検知された際の前記状況情報を用いて、前記注意が不十分な状態に起因して発生した危険な状態を示す危険報知画像を生成する生成ステップと、をコンピュータに実行させる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の非限定的な実施例によれば、ドライバに脇見運転の自覚を強く促すことができ、脇見運転の再発を抑制できるようになる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

本実施の形態に係る車載情報処理システムの構成例を示す図である。 本実施の形態に係る危険報知画像の一例を示す図である。 本実施の形態に係る危険報知画像の一例を示す図である。 本実施の形態に係る危険報知画像の一例を示す図である。 本実施の形態に係る危険報知画像の一例を示す図である。 本実施の形態に係る危険報知画像を生成する処理の一例を示す図である。 本実施の形態に係る危険報知画像を生成する処理の一例を示す図である。 本実施の形態に係る危険報知画像を生成する処理の一例を示す図である。

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、本実施の形態に係る車載情報処理システム１の構成例を示す図である。車載情報処理システム１は、車両に搭載される情報処理システムである。車載情報処理システム１は、外付けの情報処理システムであってもよいし、予め車両に組み込まれたシステムであってもよい。

車載情報処理システム１は、例えば、情報処理装置１０、ドライバ撮像カメラ２０、周辺撮像カメラ３０、レーダ４０、ＧＰＳ（Global Positioning System）５０、表示部６０を備える。情報処理装置１０は、例えば、監視部１０１、ドライバ画像記録部１０２、周辺画像記録部１０３、走行ログ記録部１０４、危険報知画像生成部１０５、表示制御部１０６を備える。

ドライバ撮像カメラ２０は、例えば車両内の運転席の前方等に設置され、ドライバを撮像する。また周辺撮像カメラ３０は、例えば車両の前方のほか、後方やあるいは左右に設置され、車両の周辺を撮像することができる。ドライバ撮像カメラ２０や周辺撮像カメラ３０は、１台に限定されず、複数台で構成されてもよい。また、周辺撮像カメラ３０は、例えば、３６０°撮影が可能な立体カメラであってもよい。

レーダ４０は、例えば車両の前方、後方、左方及び右方に設置され、電磁波（例えばミリ波）を送信し、その反射波に基づいて、例えば先行車両までの距離や方位を測定することができる。また、ＧＰＳ５０は、車両に設置され、車両の位置情報を取得することができる。

情報処理装置１０は、例えば、図示しない通信Ｉ／Ｆ、メモリ、及びプロセッサを備える。通信Ｉ／Ｆ、メモリ及びプロセッサは、双方向通信可能な内部バスによって接続される。情報処理装置１０は、通信Ｉ／Ｆを介して、ドライバ撮像カメラ２０、周辺撮像カメラ３０、レーダ４０、ＧＰＳ５０からデータを取得する。

また、情報処理装置１０は、通信Ｉ／Ｆを介して車内ネットワークと接続されてもよい。社内ネットワークは、有線又は無線の何れか、或いはそれらの組み合わせによって構成されてよい。また、車内ネットワークは、少なくとも一部がＣＡＮ（Controller Area Network）によって構成されてもよい。情報処理装置１０は、車内ネットワークに接続された各ＥＣＵから操舵情報、ブレーキ情報、加速度情報、エンジン情報等を取得してもよい。

メモリは、プロセッサに実行されるコンピュータプログラム及びデータ等を保持する。メモリは、揮発性メモリ又は不揮発性メモリ、或いはそれらの組み合わせによって構成されてよい。

プロセッサは、メモリからコンピュータプログラムを読み出して実行することにより、情報処理装置１０が備える様々な機能を実現する。プロセッサは、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）又はコントローラなどと表現されてもよい。

例えば、プロセッサは、メモリから読み出したコンピュータプログラムを実行することにより、監視部１０１、ドライバ画像記録部１０２、周辺画像記録部１０３、走行ログ記録部１０４、危険報知画像生成部１０５、表示制御部１０６に関する機能を実現する。

監視部１０１は、ドライバ（運転者、乗員ともいう）の状態を監視し、ドライバの運転に対する注意が不十分な状態を検知することができる。監視部１０１は、例えば、注意が不十分な状態として、脇見、居眠り、動静不注視、安全不確認などの状態を検知することができる。

監視部１０１は、例えば、ドライバ撮像カメラ２０によって撮像されたドライバの画像を取得し、そのドライバの画像に基づいて、ドライバの運転に対する注意が不十分な状態を検知することができる。監視部１０１は、ドライバの顔の向きや視線を検出し、その検出結果に基づいて脇見状態か否かを判定することができる。

脇見状態は、例えば、ドライバの顔向き角度が正面を中心とする所定角度範囲内に含まれるか否かによって判断することができる。しかしながら、監視部１０１は、例えば、ドライバの視線を検出し、その検出結果に基づいて脇見状態か否かを判定する構成であってもよく、ドライバの脇見状態を検出する手法は特に限定はされない。

また、監視部１０１は、周辺撮像カメラ３０によって撮像された周辺の画像を取得し、割り込み車両、歩行者、障害物、標識等を検知することができる。さらに、監視部１０１は、検知した割り込み車両、歩行者、障害物、標識、信号変化等が、ドライバの視線範囲外にあるか否かを判定できる。すなわち、監視部１０１は、ドライバによる見逃しを検知できる。

また、監視部１０１は、周辺撮像カメラ３０によって撮像された周辺の画像を取得し、道路上の白線位置および自車両の位置を検知することができる。さらに、監視部１０１は、白線および自車両の位置に基づいて、不安定挙動の発生を判定することができる。すなわち、監視部１０１は、車両の不安定挙動を検知できる。

また、監視部１０１は、レーダ４０によって計測された先行車両と自車両との距離を取得し、その距離に基づいて、衝突の危険性が高いか否かを判定できる。すなわち、監視部１０１は、車両の衝突危険性を検知できる。

なお、本実施の形態では、一例として、監視部１０１が運転者による見逃し、車両の不安定挙動、および車両の衝突危険性を検知する構成として説明したが、情報処理装置１０として、運転者による見逃し、車両の不安定挙動、および車両の衝突危険性を検知する機能を備えていればよく、監視部１０１とは独立した検知部を備えた構成であってもよいことは言うまでもない。

脇見状態にある可能性がある運転者の顔の主要な要素が認識できるか否かを判定することにより、運転者の顔向き角度が正面を中心とする所定角度範囲（検知範囲）内に含まれるか否かを判定する技術が提案されている（特許文献１）。特許文献１においては、検知範囲外であると判定された場合、直前の顔領域の動きを示す角速度と運転者の顔向き角度が所定角度範囲を超えてからの経過時間とから、顔向き角度が推定される脇見状態にある可能性がある運転者の顔の主要な要素が認識できるか否かを判定することにより、運転者の顔向き角度が正面を中心とする所定角度範囲（検知範囲）内に含まれるか否かを判定する技術が提案されている（特許文献１）。特許文献１においては、検知範囲外であると判定された場合、直前の顔領域の動きを示す角速度と運転者の顔向き角度が所定角度範囲を超えてからの経過時間とから、顔向き角度が推定される。

ドライバ画像記録部１０２は、ドライバ撮像カメラ２０から取得したドライバの画像を記録する。画像の記録は運転期間中を通して連続的に行われてもよいし、例えば監視部１０１による監視結果に応じて、特定の事象（例えば、見逃しや不安定挙動や衝突の危険性等）が発生した前後の所定期間のみ録画する構成であってもよい。

走行ログ記録部１０４は、レーダ４０から取得した所定間隔（例えば毎秒等）で測定された先行車両や後続車両との車間距離の履歴などの走行に関する各種ログ情報（走行ログ）を、車両の走行状況に関する状況情報として記録する。また、走行ログ記録部１０４は、ＧＰＳ５０から取得した所定間隔（例えば毎秒等）で測定された自車両の位置情報の履歴（走行ログの一種）を状況情報の一態様として記録する。

走行ログ記録部１０４は、例えば、ＧＰＳ５０から取得した自車両の位置情報の履歴情報に基づいて、自車両が蛇行運転などの不安定挙動を起こしていた場合の走行ログ情報を記録することができる。また、走行ログ記録部１０４は、レーダ４０から取得した先行車両との距離の履歴情報に基づいて、自車両と先行車両との距離の変動の走行ログ情報を記録することができる。

さらに、走行ログ記録部１０４は、図示しない各種ＥＣＵから所定のタイミングで取得した操舵情報、ブレーキ情報、加速度情報、エンジン情報等（走行ログの一種）を状況情報の一態様として記録してもよい。

周辺画像記録部１０３は、周辺撮像カメラ３０から取得した車両の周辺の画像を状況情報の一態様として記録する。画像の記録は運転期間中を通して連続的に行われてもよいし、例えば監視部１０１による監視結果に応じて、特定の事象（例えば、見逃しや不安定挙動や衝突の危険性等）が発生した前後の所定期間のみ録画する構成であってもよい。

例えば、周辺画像記録部１０３は、全ての運転期間中にわたって、車両の周辺画像を記録した場合、ドライバが運転中に脇見運転などにより目視確認できていないタイミングがあったときに、ドライバが目視確認できていない対象を含む画像情報を記録することができる。

あるいは、例えば、周辺画像記録部１０３は、ドライバが脇見運転をしていると監視部１０１が判定したタイミングの前後の車両の周辺画像を記録する構成の場合にも、ドライバが目視確認できていない対象を含む画像情報を記録することができる。さらには、周辺画像記録部１０３は、ドライバが脇見運転をしている場合に、例えば、見逃しや不安定挙動や衝突の危険性等が発生した前後の所定期間のみ録画する構成であってもよい。

脇見運転等に起因してドライバが目視確認できていない対象としては、例えば、歩行者、他の車両、障害物、標識、信号機の変化などが想定されるが、これに限定されない。

危険報知画像生成部１０５は、監視部１０１、ドライバ画像記録部１０２、走行ログ記録部１０４、周辺画像記録部１０３からの情報に基づいて、ドライバの運転に対する注意が不十分な状態に起因して発生した危険な状態を示す危険報知画像を生成する。

例えば、危険報知画像生成部１０５は、監視部１０１からドライバによる脇見等の不注意状態を検知したタイミングや見落とし、不安定挙動、衝突危険性などが発生したタイミングにおいて、そのことを示す通知を受信してもよい。あるいは、監視部１０１からドライバによる脇見等の不注意状態が検知された時刻情報を受信してもよい。

危険報知画像生成部１０５は、周辺画像記録部１０３から車両の周辺画像のデータを受信する。また、危険報知画像生成部１０５は、走行ログ記録部１０４から、白線と自車両との距離のログデータや先行車両と自車両との車間距離のログデータなどを受信する。そして、危険報知画像生成部１０５は、受信した画像データやログデータに基づいて、監視部１０１からドライバの脇見等の不注意状態が検知されたタイミング（より詳細には見落としや不安定挙動や衝突危険性が発生したタイミング）の周辺画像データから危険報知画像を生成することができる。

危険報知画像生成部１０５における画像の生成は、監視部１０１からドライバの脇見等の不注意状態が一旦検知されてから、当該不注意状態が終了したタイミング（例えば、情報処理装置１０において脇見運転フラグが一旦立った後、脇見運転していない状態が判定された後）でリアルタイムに危険報知画像の生成を開始してもよい。

あるいは、危険報知画像生成部１０５は、バッチ処理のような形で危険報知画像を生成してもよい。例えば、危険報知画像生成部１０５は、監視部１０１からドライバの脇見等の不注意状態が検知された時刻の情報を受信し、運転が終わった後に、ドライバにより危険報知画像の生成開始の指示の入力が行われたタイミングで、受信していた時刻の情報に基づいて周辺画像記録部１０３や走行ログ記録部１０４からその時刻の前後の画像データやログデータを抽出し、その画像データやログデータを用いて危険報知画像の生成を行ってもよい。

危険報知画像生成部１０５によってリアルタイムあるいはバッチ処理によって生成された危険報知画像は、ＳＤカードやハードディスクなど各種のメモリ装置に記憶され、後から何度でも確認することができる。

表示制御部１０６は、危険報知画像生成部１０５によって生成された危険報知画像を表示部６０に表示する制御を行う。例えば、表示制御部１０６は、ドライバによる脇見が治まった直後に、危険報知画像を表示する構成であってもよい。あるいは、表示制御部１０６は、情報処理装置１０がユーザから危険報知画像の再生制御の指示を受け付けた場合に、ユーザによって指定された危険報知画像を表示する構成であってもよく、特に限定はされない。

図２は、情報処理装置１０により生成される危険報知画像の一例を示す図である。図２は、ドライバによる脇見が発生した所定期間において、周辺画像としての前方撮像画像の中に他の車両が含まれていた場合の危険報知画像の例である。図２に示す例では、ドライバが見逃していた割り込み車両が破線で囲まれて強調表示され、見逃しに対する注意を促す情報として表示されている。

つまり、図２に示す例は、ドライバの脇見運転中に他車両が突如として自車両の目の前に割り込んできたことを見逃していた場合の危険報知画像である。この危険報知画像を目の当たりにしたドライバは、衝突事故を起こしかけていたことを自覚し、不注意運転をしてはならないという意識を高めることができる。

図３は、情報処理装置１０により生成される危険報知画像の他の一例を示す図である。図３は、ドライバによる脇見が発生した所定期間において、周辺画像としての前方撮像画像の中に交通標識が含まれていた場合の危険報知画像の例である。図３に示す例では、ドライバが見逃していた交通標識が破線で囲まれて強調表示され、見逃しに対する注意を促す情報として表示されている。

つまり、図３に示す例は、ドライバの脇見運転中に「止まれ」の交通標識の存在を見逃していた場合の危険報知画像である。この危険報知画像を目の当たりにしたドライバは、本来止まらなければならなかった場所で止まることなく走行して通過したため、万一歩行者や他車両が進入してきた場合には、重大事故が発生しかけていたことを自覚し、不注意運転をしてはならないという意識を高めることができる。

図４は、情報処理装置１０により生成される危険報知画像の他の一例を示す図である。図４は、ドライバによる脇見が発生した所定期間において、車両の不安定挙動（蛇行走行や白線飛び出し等）が発生していた場合の危険報知画像の例である。図４に示す例では、車両と道路上の白線との距離の履歴情報に基づいて、蛇行運転による走行経路のラインが生成され、不安定挙動に対する注意を促す情報として表示されている。

つまり、ドライバは、脇見運転中に蛇行運転や白線飛び出し等の不安定挙動を示すような操作を行ってしまっていたのである。この危険報知画像を目の当たりにしたドライバは、蛇行運転や白線飛び出し等を行ってしまっていたため、万一、対向車などが走行していた場合には、重大事故が発生してしまっていたかもしれないことを自覚し、不注意運転をしてはならないという意識を高めることができる。

図５は、情報処理装置１０により生成される危険報知画像の一例を示す図である。図５は、ドライバによる脇見が発生した所定期間において、例えば先行車両との距離が著しく狭まってしまうような事態が発生していた場合の危険報知画像の例である。図５に示す例では、他の車両と自車両との車間距離の履歴情報に基づいて、車間距離の変化を示すグラフが生成され、衝突危険性について注意を促す情報として表示されている。

つまり、ドライバは、脇見運転中に先行車両との距離が著しく狭まってしまうような運転操作を行ってしまっていたのである。この危険報知画像を目の当たりにしたドライバは、先行車両へ急接近するような運転操作をおこなってしまっていたため、万一、先行車両が急ブレーキをかけた場合には、追突事故が発生してしまっていたかもしれないことを自覚し、不注意運転をしてはならないという意識を高めることができる。

表示制御部１０６は、危険報知画像生成部１０５が生成した危険報知画像の再生を制御する。なお、危険報知画像生成部１０５が画像を生成すると同時に再生制御を行う構成であってもよいし、あるいは、一旦、図示しない各種メモリ装置（ＳＤカードやハードディスクなど）に記憶させたうえで、そこから画像データを読み出して再生制御を行う構成であってもよく、特に限定はされない。また、再生制御は、動画像としての再生に限らず、スライドショーのような形で複数の静止画を順次切り替えるものであってもよい。さらに、表示制御部１０６は、危険報知画像の再生と同時に、当該危険報知画像に対応する時刻のドライバの画像をドライバ画像記録部１０２から読み出して、同時に再生する構成であってもよい。

表示部６０は、表示制御部１０６によって再生される危険報知画像を表示する。表示部６０としては、例えば、車両に搭載されたカーナビゲーション装置などのディスプレイに接続して表示せしめる構成であってもよいし、ドライバその他の乗員が携帯するスマートデバイス等のディスプレイに接続して表示せしめる構成であってもよい。さらには、ＨＵＤ（Head Up Display）としてのフロントガラスを表示部６０として危険報知画像を表示せしめる構成としてもよい。なお、車両内で表示するだけでなく、例えば車両を降りて家や事務所に情報処理装置１０を持ち運んで、表示部６０としてテレビジョン装置に接続して表示せしめる構成であってもよく、特に限定はされない。

例えば、車両の中で再生し表示する場合には、脇見運転が発生した直後にドライバに対して危険報知画像を見せることができるため、ドライバは危険な状態で運転していたことを強く自覚することができる。また、家や事務所などで再生し表示する場合には、何度でも振り返ることができるため、やはり危険な状態で運転していたことを強く自覚できるようになる。

（危険報知画像の生成処理の第１例）
次に、図６のフローチャートを参照して、情報処理装置１０により危険報知画像を生成する処理の一例を示す。図６に示す例では、脇見等が発生した場合に、図２や図３に示すような画像（例えば運転者が見落としてしまった対象を含む画像等）を危険報知画像として生成する。

車両の走行中、監視部１０１は、ドライバ（運転者）の状態を監視する（Ｓ１０１）。例えば、監視部１０１は、ドライバの視線方向を検知する。次に、監視部１０１は、ドライバの視線範囲を算出する（Ｓ１０２）。次に、監視部１０１は、ドライバが脇見運転をしているか否かを判定する（Ｓ１０３）。

監視部１０１は、例えば、ドライバの視線範囲が正面を中心とする所定範囲内に含まれていない場合には脇見運転をしていると判定することができる。なお、これはあくまで脇見運転の判定の仕方の一例であって、脇見運転をしているか否かの判定の仕方はこれに限定されない。また、脇見運転を検知する構成もあくまで一例であって、脇見運転以外にも、居眠り運転などの不注意運転の状態を検知し処理を行う構成であってもよい。

監視部１０１によってドライバが脇見運転をしていると判定された場合（Ｓ１０３でＹＥＳ）、監視部１０１は、脇見運転フラグに「１」をセットする（Ｓ１０４）。情報処理装置１０においては、脇見運転フラグを参照することにより、脇見運転が発生しているか否かが判別可能となる。

続いて、監視部１０１は、周辺撮像カメラ３０から取得した車両の周辺画像を表す映像信号に基づいて、映像を構成する周辺画像の中に、割り込み車両、歩行者、障害物、標識、信号変化等を検知する（Ｓ１０５）。

次に、監視部１０１は、Ｓ１０５にて検知した割り込み車両、歩行者、障害物、標識、信号変化等が、ドライバの視線範囲外にあるか否かを判定する（Ｓ１０６）。例えば、周辺撮像カメラ３０でとらえた周辺画像の中に、割り込み車両や歩行者、その他、標識、信号変化等が検知されたタイミング（時刻）において、ドライバの視線が正面を向いておらず、ドライバの視界にフロントガラス越しの景色が含まれていない場合には、割り込み車両や歩行者、その他、標識、信号変化等はドライバの視線範囲外にあることがわかる。

そして、ドライバの視線範囲外にあると判定された場合（Ｓ１０６でＹＥＳ）、監視部１０１は、見逃しフラグに「１」をセットする（Ｓ１０７）。情報処理装置１０においては、見逃しフラグを参照することにより、脇見運転中に見逃しが発生したか否かが判別可能となる。

次に、例えば、監視部１０１は、見逃しフラグに「１」がセットされているか否かを判定する（Ｓ１０８）。そして、見逃しフラグに「１」がセットされている場合（ステップＳ１０８でＹＥＳ）、周辺画像記録部１０３は、ドライバが見逃した物体を強調表示したキャプチャ画像をバッファメモリに保存する（Ｓ１０９）。その後、処理は最初のＳ１０１に戻る。

一方、Ｓ１０５にて検知した割り込み車両、歩行者、障害物、標識、信号変化等が、ドライバの視線範囲内にあると判定された場合（Ｓ１０６でＮＯ）、処理はＳ１０８に進み、監視部１０１は、見逃しフラグに「１」がセットされているか否かを判定する。そして、見逃しフラグに「１」がセットされていない場合（Ｓ１０８でＮＯ）、処理は最初のステップＳ１０１に戻る。

監視部１０１によってドライバが脇見運転をしていないと判定された場合（Ｓ１０３でＮＯ）、脇見運転フラグに「１」がセットされているか否かが判定される（Ｓ１１０）。Ｓ１０３において脇見運転をしていると一度も判定されていない場合、すなわち脇見運転フラグに「１」がセットされていない場合には（Ｓ１１０でＮＯ）、処理は最初のＳ１０１に戻る。

Ｓ１０３において脇見運転をしていると一度でも判定されている場合、すなわち脇見運転フラグに「１」がセットされている場合には（Ｓ１１０でＹＥＳ）、脇見運転フラグがリセット、すなわち「０」がセットされる（Ｓ１１１）。そして、危険報知画像生成部１０５は、バッファ（周辺画像記録部１０３）に記憶されている画像を読み出して動画を生成する（Ｓ１１２）。

さらに、表示制御部１０６は表示部５を介してドライバに対して危険報知画像生成部１０５によって生成された動画を通知する（Ｓ１１３）。そして、バッファ（周辺画像記録部１０３）は、保存されていた画像をクリアする（Ｓ１１４）。最後に、見逃しフラグがリセット、すなわち「０」がセットされ（Ｓ１１５）、処理は最初のＳ１０１に戻る。

（危険報知画像の生成処理の第２例）
次に、図７のフローチャートを参照して、情報処理装置１０により危険報知画像を生成する処理の一例を示す。図７に示す例では、脇見等が発生した場合に、図４に示すような画像（例えば蛇行運転等の車両の不安定挙動を示す画像等）を危険報知画像として生成する。

車両の走行中、監視部１０１は、ドライバ（運転者）の状態を監視する（Ｓ２０１）。例えば、監視部１０１は、ドライバの視線方向を検知する。次に、監視部１０１は、ドライバの視線範囲を算出する（Ｓ２０２）。次に、監視部１０１は、ドライバが脇見運転をしているか否かを判定する（Ｓ２０３）。

監視部１０１による脇見の検知については図６について説明した処理と同様であり、詳細は省略する。

監視部１０１によってドライバが脇見運転をしていると判定された場合（Ｓ２０３でＹＥＳ）、監視部１０１は、脇見運転フラグに「１」をセットする（Ｓ２０４）。情報処理装置１０においては、脇見運転フラグを参照することにより、脇見運転が発生しているか否かが判別可能となる。

続いて、監視部１０１は、周辺撮像カメラ３０から取得した車両の周辺画像を表す映像信号に基づいて、映像を構成する周辺画像の白線位置および自車両の位置を検知する（Ｓ２０５）。なお、自車両の位置については、例えばＧＰＳ５０から取得した位置情報を用いることもできる。また、白線位置については、高精度の地図情報を事前に取得しておいてもよい。

次に、監視部１０１は、Ｓ２０５にて検知した周辺画像の白線位置および自車両の位置に基づいて、車両が不安定挙動を示しているか否かを判定する（Ｓ２０６）。例えば、監視部１０１は、周辺画像に基づいて、あるいはＧＰＳの位置情報および地図情報に基づいて、白線位置の情報と自車両の位置の情報との距離を算出し、その距離が所定の閾値を超える場合には、不安定挙動が発生していることがわかる。あるいは、白線位置を基準にして、所定期間内に所定回数以上、自車両が相対的な位置の変更（左に位置したり右に位置したりを繰り返すこと）が検出された場合にも蛇行運転のような不安定挙動が発生していることがわかる。

そして、不安定挙動が発生していると判定された場合（Ｓ２０６でＹＥＳ）、監視部１０１は、不安定挙動フラグに「１」をセットする（Ｓ２０７）。情報処理装置１０においては、不安定挙動フラグを参照することにより、脇見運転中に不安定挙動が発生したか否かが判別可能となる。

次に、例えば、監視部１０１は、不安定挙動フラグに「１」がセットされているか否かを判定する（Ｓ２０８）。そして、見逃しフラグに「１」がセットされている場合（ステップＳ２０８でＹＥＳ）、走行ログ記録部１０４は、白線と自車両との相対距離をバッファメモリに保存する（Ｓ２０９）。その後、処理は最初のＳ２０１に戻る。

一方、Ｓ２０５にて検知した白線位置と自車両位置とに基づいて不安定挙動が発生していないと判定された場合（Ｓ２０６でＮＯ）、処理はＳ２０８に進み、監視部１０１は、見逃しフラグに「１」がセットされているか否かを判定する。そして、見逃しフラグに「１」がセットされていない場合（Ｓ２０８でＮＯ）、処理は最初のステップＳ２０１に戻る。

監視部１０１によってドライバが脇見運転をしていないと判定された場合（Ｓ２０３でＮＯ）、脇見運転フラグに「１」がセットされているか否かが判定される（Ｓ２１０）。Ｓ２０３において脇見運転をしていると一度も判定されていない場合、すなわち脇見運転フラグに「１」がセットされていない場合には（Ｓ２１０でＮＯ）、処理は最初のＳ２０１に戻る。

Ｓ２０３において脇見運転をしていると一度でも判定されている場合、すなわち脇見運転フラグに「１」がセットされている場合には（Ｓ２１０でＹＥＳ）、脇見運転フラグがリセット、すなわち「０」がセットされる（Ｓ２１１）。そして、危険報知画像生成部１０５は、バッファ（走行ログ記録部１０４）に記憶されている白線と自車両との相対距離データのログを読み出して、例えば図４に示すような走行イメージを表す動画を生成する（Ｓ２１２）。この動画はアニメーションであってもよいし、リアルな画像を合成して生成されてもよい。

さらに、表示制御部１０６は表示部５を介してドライバに対して危険報知画像生成部１０５によって生成された動画を通知する（Ｓ２１３）。そして、バッファ（走行ログ記録部１０４）は、保存されていたデータをクリアする（Ｓ２１４）。最後に、不安定挙動フラグがリセット、すなわち「０」がセットされ（Ｓ２１５）、処理は最初のＳ２０１に戻る。

（危険報知画像の生成処理の第３例）
次に、図８のフローチャートを参照して、情報処理装置１０により危険報知画像を生成する処理の一例を示す。図８に示す例では、脇見等が発生した場合に、図５に示すような画像（自車両と他車両の相対距離の時間に対する変化を示す画像等）を危険報知画像として生成する。

車両の走行中、監視部１０１は、ドライバ（運転者）の状態を監視する（Ｓ３０１）。例えば、監視部１０１は、ドライバの視線方向を検知する。次に、監視部１０１は、ドライバの視線範囲を算出する（Ｓ３０２）。次に、監視部１０１は、ドライバが脇見運転をしているか否かを判定する（Ｓ３０３）。

監視部１０１による脇見の検知については図６について説明した処理と同様であり、詳細は省略する。

監視部１０１によってドライバが脇見運転をしていると判定された場合（Ｓ３０３でＹＥＳ）、監視部１０１は、脇見運転フラグに「１」をセットする（Ｓ３０４）。情報処理装置１０においては、脇見運転フラグを参照することにより、脇見運転が発生しているか否かが判別可能となる。

続いて、監視部１０１は、レーダ４０によって計測された先行車両と自車両との距離を取得する（Ｓ３０５）。

次に、監視部１０１は、Ｓ３０５にて取得した先行車両と自車両との距離に基づいて、衝突の危険性が高いか否かを判定する（Ｓ３０６）。例えば、先行車両と自車両との車間距離が所定の閾値よりも短い距離になった場合には、衝突危険性が高いと判断される。あるいは、レーダ４０が先行車両の自車両に対する相対速度を計測し、その相対速度が所定の基準値よりも遅い場合には、衝突危険性が高いと判断してもよい。

そして、衝突危険性が高いと判定された場合（Ｓ３０６でＹＥＳ）、監視部１０１は、衝突危険フラグに「１」をセットする（Ｓ３０７）。情報処理装置１０においては、衝突危険フラグを参照することにより、脇見運転中に衝突危険性が高い状況が発生したか否かが判別可能となる。

次に、例えば、監視部１０１は、衝突危険フラグに「１」がセットされているか否かを判定する（Ｓ３０８）。そして、見逃しフラグに「１」がセットされている場合（ステップＳ３０８でＹＥＳ）、走行ログ記録部１０４は、先行車両と自車両との距離をバッファメモリに保存する（Ｓ３０９）。その後、処理は最初のＳ３０１に戻る。

一方、Ｓ３０５にて取得した先行車両と自車両との距離に基づいて衝突危険性が高くないと判定された場合（Ｓ３０６でＮＯ）、処理はＳ３０８に進み、監視部１０１は、見逃しフラグに「１」がセットされているか否かを判定する。そして、見逃しフラグに「１」がセットされていない場合（Ｓ３０８でＮＯ）、処理は最初のステップＳ３０１に戻る。

監視部１０１によってドライバが脇見運転をしていないと判定された場合（Ｓ３０３でＮＯ）、脇見運転フラグに「１」がセットされているか否かが判定される（Ｓ３１０）。Ｓ２０３において脇見運転をしていると一度も判定されていない場合、すなわち脇見運転フラグに「１」がセットされていない場合には（Ｓ３１０でＮＯ）、処理は最初のＳ３０１に戻る。

Ｓ３０３において脇見運転をしていると一度でも判定されている場合、すなわち脇見運転フラグに「１」がセットされている場合には（Ｓ３１０でＹＥＳ）、脇見運転フラグがリセット、すなわち「０」がセットされる（Ｓ３１１）。そして、危険報知画像生成部１０５は、バッファ（走行ログ記録部１０４）に記憶されている先行車両と自車両との距離データのログを読み出して、例えば図５に示すような先行車両との車間距離の時間変化を示すグラフを表す画像を生成する（Ｓ３１２）。この画像は静止画であってもよいし、アニメーション動画であってもよい。

さらに、表示制御部１０６は表示部５を介してドライバに対して危険報知画像生成部１０５によって生成された画像を通知する（Ｓ３１３）。そして、バッファ（走行ログ記録部１０４）は、保存されていたデータをクリアする（Ｓ３１４）。最後に、衝突危険フラグがリセット、すなわち「０」がセットされ（Ｓ３１５）、処理は最初のＳ３０１に戻る。

＜本開示のまとめ＞
本開示の内容は、以下のように表現できる。

本開示に係る情報処理装置は、運転者の運転に対する注意が不十分な状態を検知する監視部と、前記運転者が運転する車両の周辺状況および当該車両の走行状況の少なくともいずれかに関する状況情報を記録する状況記録部と、前記監視部によって前記注意が不十分な状態が検知された際の前記状況情報を用いて、前記注意が不十分な状態に起因して発生した危険な状態を報知するための危険報知画像を生成する生成部と、を備えている。

また、本開示に係る情報処理方法は、運転者の運転に対する注意が不十分な状態を検知する監視ステップと、前記運転者が運転する車両の周辺状況および当該車両の走行状況の少なくともいずれかに関する状況情報を記録する状況記録ステップと、前記監視ステップによって前記注意が不十分な状態が検知された際の前記状況情報を用いて、前記注意が不十分な状態に起因して発生した危険な状態を示す危険報知画像を生成する生成ステップと、を含む。

また、本開示に係るコンピュータプログラムは、運転者の運転に対する注意が不十分な状態を検知する監視ステップと、前記運転者が運転する車両の周辺状況および当該車両の走行状況の少なくともいずれかに関する状況情報を記録する状況記録ステップと、前記監視ステップによって前記注意が不十分な状態が検知された際の前記状況情報を用いて、前記注意が不十分な状態に起因して発生した危険な状態を示す危険報知画像を生成する生成ステップと、をコンピュータに実行させる。

上記の構成によれば、本開示に係る情報処理装置、情報処理方法、またはコンピュータプログラムによれば、例えば、運転者が脇見運転をしている等、運転に対する注意が不十分な状態が検知される。また、車両の周辺状況や走行状況を表す状況情報が記録されており、その状況情報を用いて、運転に対する注意が不十分な状態を検知された際の状況に起因して発生した危険な状態を示す危険報知画像を生成することができる。

これにより、例えば、運転者が脇見運転等をすることにより発生していた見落としや車両の不安定挙動あるいは衝突危険性など、危険な状況を示す危険報知画像をドライバに対して表示することができるようになるため、ドライバに脇見運転の自覚を強く促すことができ、交通事故の予防につながる。

また、本開示に係る情報処理装置は、前記生成部が生成した前記危険報知画像を表示装置に表示する制御を行う表示制御部をさらに備えていてもよい。

また、本開示に係る情報処理装置では、前記監視部は、前記注意が不十分な状態として、脇見、居眠り、動静不注視、および安全不確認の少なくともいずれか１以上の状態を検知してもよい。

また、本開示に係る情報処理装置では、前記監視部は、前記運転者を撮像するカメラから取得した画像に基づいて、前記注意が不十分な状態を検知してもよい。

本開示に係る情報処理装置は、前記運転者による見逃し、前記車両の不安定挙動、および前記車両の衝突危険性の少なくともいずれか１以上を検知する検知部をさらに備えてもよい。

本開示に係る情報処理装置では、前記生成部は、前記検知部が前記運転者による見逃しを検知した場合、前記運転者が見逃した対象を含む画像情報を前記状況情報として用いて前記危険報知画像を生成してもよい。

本開示に係る情報処理装置では、前記生成部は、前記運転者が見逃した対象として、歩行者、他の車両、障害物、標識、および信号機の変化の少なくともいずれか１以上を含む画像情報を用いて前記危険報知画像を生成してもよい。

本開示に係る情報処理装置では、前記検知部は、前記運転者を撮像するカメラから取得した画像と、前記車両の周辺画像を撮像するカメラから取得した画像とに基づいて、前記運転者による見逃しを検知してもよい。

本開示に係る情報処理装置では、前記生成部は、前記検知部が前記不安定挙動を検知した場合、前記車両の不安定挙動に関する走行ログを前記状況情報として用いて前記危険報知画像を生成してもよい。

本開示に係る情報処理装置では、前記生成部は、前記走行ログとして、前記車両と道路上の白線との距離の履歴情報を用いて前記危険報知画像を生成してもよい。

本開示に係る情報処理装置では、前記検知部は、前記車両の周辺画像を撮像するカメラから取得した画像、又は、ＧＰＳから取得した位置情報および地図情報に基づいて、前記車両の不安定挙動を検知してもよい。

本開示に係る情報処理装置では、前記生成部は、前記検知部が前記衝突危険性を検知した場合、前記車両と他車両との衝突危険性に関する走行ログを前記状況情報として用いて前記危険報知画像を生成してもよい。

本開示に係る情報処理装置では、前記生成部は、前記走行ログとして、他の車両との車間距離の履歴情報を用いて前記危険報知画像を生成してもよい。

本開示に係る情報処理装置では、前記検知部は、レーダから取得した他車両との車間距離情報に基づいて、前記車両と他車両との衝突危険性を検知してもよい。

本開示に係る情報処理装置は、前記運転者を撮像するカメラから取得した画像を記録する運転者画像記録部をさらに備えてもよい。

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。

上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示は、あらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

本開示の一態様は、車載システムに有用である。

１ 車載情報処理システム
１０ 情報処理装置
２０ ドライバ撮像カメラ
３０ 周辺撮像カメラ
４０ レーダ
５０ ＧＰＳ
６０ 表示部
１０１ 監視部
１０２ ドライバ画像記録部
１０３ 周辺画像記録部
１０４ 走行ログ記録部
１０５ 危険報知画像生成部
１０６ 表示制御部

Claims (17)

1. 運転者の運転に対する注意が不十分な状態を検知する監視部と、
   前記運転者が運転する車両の周辺状況および当該車両の走行状況の少なくともいずれかに関する状況情報を記録する状況記録部と、
   前記監視部によって前記注意が不十分な状態が検知された際の前記状況情報を用いて、前記注意が不十分な状態に起因して発生した危険な状態を報知するための危険報知画像を生成する生成部と、を備えた情報処理装置。
2. 前記生成部が生成した前記危険報知画像を表示装置に表示する制御を行う表示制御部をさらに備えた、請求項１に記載の情報処理装置。
3. 前記監視部は、前記注意が不十分な状態として、脇見、居眠り、動静不注視、および安全不確認の少なくともいずれか１以上の状態を検知する、請求項１又は２に記載の情報処理装置。
4. 前記監視部は、前記運転者を撮像するカメラから取得した画像に基づいて、前記注意が不十分な状態を検知する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記運転者による見逃し、前記車両の不安定挙動、および前記車両の衝突危険性の少なくともいずれか１以上を検知する検知部をさらに備える、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記生成部は、前記検知部が前記運転者による見逃しを検知した場合、前記運転者が見逃した対象を含む画像情報を前記状況情報として用いて前記危険報知画像を生成する、請求項５に記載の情報処理装置。
7. 前記生成部は、前記運転者が見逃した対象として、歩行者、他の車両、障害物、標識、および信号機の変化の少なくともいずれか１以上を含む画像情報を用いて前記危険報知画像を生成する、請求項６に記載の情報処理装置。
8. 前記検知部は、前記運転者を撮像するカメラから取得した画像と、前記車両の周辺画像を撮像するカメラから取得した画像とに基づいて、前記運転者による見逃しを検知する、請求項６又は７に記載の情報処理装置。
9. 前記生成部は、前記検知部が前記不安定挙動を検知した場合、前記車両の不安定挙動に関する走行ログを前記状況情報として用いて前記危険報知画像を生成する、請求項５に記載の情報処理装置。
10. 前記生成部は、前記走行ログとして、前記車両と道路上の白線との距離の履歴情報を用いて前記危険報知画像を生成する、請求項９に記載の情報処理装置。
11. 前記検知部は、前記車両の周辺画像を撮像するカメラから取得した画像、又は、ＧＰＳから取得した位置情報および地図情報に基づいて、前記車両の不安定挙動を検知する、請求項９又は１０に記載の情報処理装置。
12. 前記生成部は、前記検知部が前記衝突危険性を検知した場合、前記車両と他車両との衝突危険性に関する走行ログを前記状況情報として用いて前記危険報知画像を生成する、請求項５に記載の情報処理装置。
13. 前記生成部は、前記走行ログとして、他の車両との車間距離の履歴情報を用いて前記危険報知画像を生成する、請求項１２に記載の情報処理装置。
14. 前記検知部は、レーダから取得した他車両との車間距離情報に基づいて、前記車両と他車両との衝突危険性を検知する、請求項１２又は１３に記載の情報処理装置。
15. 前記運転者を撮像するカメラから取得した画像を記録する運転者画像記録部をさらに備える、請求項１〜１４のいずれか１項に記載の情報処理装置。
16. 運転者の運転に対する注意が不十分な状態を検知する監視ステップと、
    前記運転者が運転する車両の周辺状況および当該車両の走行状況の少なくともいずれかに関する状況情報を記録する状況記録ステップと、
    前記監視ステップによって前記注意が不十分な状態が検知された際の前記状況情報を用いて、前記注意が不十分な状態に起因して発生した危険な状態を示す危険報知画像を生成する生成ステップと、を含む情報処理方法。
17. 運転者の運転に対する注意が不十分な状態を検知する監視ステップと、
    前記運転者が運転する車両の周辺状況および当該車両の走行状況の少なくともいずれかに関する状況情報を記録する状況記録ステップと、
    前記監視ステップによって前記注意が不十分な状態が検知された際の前記状況情報を用いて、前記注意が不十分な状態に起因して発生した危険な状態を示す危険報知画像を生成する生成ステップと、をコンピュータに実行させるコンピュータプログラム。
    

Images