JP2013003594A - 携帯端末装置およびこれを備えた運転評価システム - Google Patents

Abstract

【課題】カメラ等の周辺状況認識機能と車両ドライバの視線検知機能を有する携帯端末装置を利用することにより、車両側のコストを抑えつつ、車両ドライバの認知負担の軽減を図る。
【解決手段】車両とその周辺の障害物との関係を示す周辺状況を認識する携帯端末装置１の前方カメラ３と、その周辺状況下における当該車両のドライバの視線を検知する後方カメラ５と、前方カメラ３により認識された周辺状況と類似する状況下において模範とすべき模範ドライバの視線に関する模範視線情報を保持する記憶部７とを備え、後方カメラ５により検知された視線に関する実視線情報と記憶部７に保持された模範視線情報とに基づいて自車両のドライバの視線と模範ドライバの視線とのずれを視線情報照合部９により評価する機能を有する携帯端末装置１を利用することにより、車両側のコストを抑えつつ、車両ドライバの認知負担の軽減を図ることができる。
【選択図】 図１

Description

この発明は、カメラ機能を有する携帯端末装置およびこれを備えた運転評価システムに関する。

近年、携帯電話などの携帯端末装置の分野において、携帯端末装置の高機能化が進み、例えば、音楽の視聴や動画の撮影を携帯端末上で行うことができるのは勿論のこと、各種ソフトをインターネットからダウンロードし実行するなど、それまで困難であった種々のアプリケーションを実行することができるようになった。

この種の携帯端末装置を、車両ドライバの運転操作の補助に利用することが提案されている。例えば、携帯端末装置と車載装置とを容易に連携できるようにするために、車両内に持ち込まれた近距離無線通信機能を有する携帯端末装置を車載装置が検知し、車載装置がこれに対してペアリング処理を自動的に実施し、携帯端末装置が所有するアプリケーションを車両システム上で実行できるようにしたものがある（特許文献１、２）。一方、カーナビゲーションシステムで使用される地図情報などに基づいて、各地点での模範的運転操作と自車両の運転操作とを比較・評価する技術も提案されている（特許文献３）。

特開２０１０−１３０６６９（段落００１８〜００２０、図１参照） 特開２０１０−１９９７１８（段落００１７〜００２０等、図１参照） 特開２００９−２９４２５０（段落００３５〜００３７、図１参照）

車両ドライバは、常日頃より車両周辺の状況に十分注意しながら運転し、あらゆる状況下で柔軟に対応しつつ危険を回避している。しかし、時にドライバは、楽観的な予測をもとに運転（いわゆる「だろう運転」）してしまい、その結果認知すべき障害物の認知が遅れ、「ひやり」とすることがある。このような「だろう運転」は、運転熟練者に多い傾向があり、それ故、車両ドライバの認知負担を車両側で軽減できるようにしてほしいという要請がある。

しかしながら、上記した特許文献３の運転評価システムは、カーナビゲーションシステムなどに保存されている地図情報で道路状況を特定し、模範的運転操作と運転者の運転操作を比較評価することにより、運転の振り返りおよび運転者に対する教示するものであり、そもそも「だろう運転」には対応できない。

そこで、車両側にカメラなどを設置することにより、車両前方の障害物等を認識できるようにして車両ドライバの認知負担を軽減させることが考えられるが、カメラ等の搭載により車両コストの上昇を招くという新たな問題が生じる。

本発明は、上記課題に鑑みなされたものであり、カメラ等の周辺状況認識機能を有する携帯端末装置を利用することにより、車両側のコストを抑えつつ、楽観的な予測のもとに運転する「だろう運転」を運転評価システムにより回避し、車両ドライバの安全性をより一層高めることを目的とする。

上記した目的を達成するために、本発明の携帯端末装置では、車両とその周辺の障害物との関係を示す周辺状況を認識する周辺状況認識手段と、前記周辺状況認識手段により認識された周辺状況下における当該車両のドライバの視線に関する実視線情報を検出する視線検出手段と、前記周辺状況認識手段により認識された周辺状況と類似する状況下において模範とすべき模範ドライバの視線に関する模範視線情報を保持する保持手段と、前記視線検出手段により検出された実視線情報と、前記保持手段により保持された模範視線情報とに基づいて、前記周辺認識手段により認識された周辺状況下における当該車両のドライバの視線と前記模範ドライバの視線とのずれを評価する評価手段とを備えたことを特徴とする（請求項１）。

また、本発明の運転評価システムは、上記の携帯端末装置を備えた運転評価システムにおいて、種々の周辺状況ごとの前記模範視線情報を記憶する記憶手段を有するサーバ装置を備え、前記保持手段は、前記模範視線情報を前記サーバ装置から通信により受信して保持することを特徴とする（請求項２）。

請求項１にかかる発明によれば、例えばＣＣＤカメラなどの周辺状況認識手段により、車両周辺の障害物と自車両との位置関係や相対速度と交差点などの道路状況を含めた周辺状況が認識され、ＣＣＤカメラなどの視線検出手段により、認識された周辺状況下におけ当該車両ドライバの実視線情報が検出され、保持手段により、その周辺状況と類似する状況下における模範視線情報が保持され、これらの検出された実視線情報と保持された模範視線情報とにもとづいて当該車両ドライバと模範ドライバとの視線のずれが評価されるため、車両側には周辺状況認識手段や視線検出手段ならびに保持手段を設ける必要がない。

したがって、楽観的予測のもとに運転する「だろう運転」を回避するに当たり、車両側に周辺状況認識手段や視線検出手段に加えて、保持手段を設ける必要がなく、車両の低コスト化を図ることができる。

また、運転評価により実視線情報と模範視線情報との間にずれが生じた場合は、予めドライバにその行動の補正を促すべく注意喚起を行うため、車両ドライバの認知負担を軽減できるとともに安全性をより一層高めることができる。

また、請求項２にかかる発明によれば、運転評価システムとして、種々の状況下における模範視線情報を記憶する記憶手段を有するサーバ装置をさらに備えるため、携帯端末装置とサーバ装置との間で通信により模範視線情報のやりとりを行えばよく、車両にサーバ装置を設ける必要がなく、車両のコストをより一層抑えることができる。

本発明の一実施形態の運転評価システムのブロック図である。 図１の動作説明図である。 図１動作の説明図である。 図１のシステムの動作説明用フローチャートである。 図１のシステムの動作説明用フローチャートである。

本発明の一実施形態について、図１〜３を参照して説明する。なお、図１は本発明における運転評価システムにおける端末装置のブロック図、図２は模範運転者の着目ポイントの一例の説明図、図３は前方状況判定方法の一例の説明図、図４、５は動作説明用のフローチャートである。

（構成）
図１に示すように、本発明にかかる一実施形態における運転評価システムは、携帯端末装置１、サーバ装置２から構成される。

携帯端末装置１は、前後方の両側にカメラ機能を有した携帯端末装置であり、例えば、携帯電話やスマートフォンなどが挙げられる。なお、携帯端末装置１は、前方カメラ３で車両の前方方向の周辺状況を認識できるとともに後方カメラ５で自車両のドライバの視線を検知できるように車両側に設置される。

サーバ装置２は、種々の状況下における模範とすべき模範ドライバの視線に関する情報（模範視線情報）をデータベースに記憶し、それらの情報を携帯端末装置１に送信する。このとき、サーバ装置２のデータベースには、種々の周辺状況情報とそれらの状況下において模範とすべき模範ドライバが注意を払う視線方向に関する情報が登録されている。

また、サーバ装置２は、前方カメラ３により認識された周辺状況に関する情報とその状況下におけるドライバの視線に関する情報（実視線情報）を通信により受信し、受信した実視線情報を模範視線情報とすることが妥当かどうかを判断し、妥当であれば模範視線情報としてその周辺状況の情報とともにデータベースに登録する。これについては、後に詳述する。

ここで、上記模範ドライバとは、例えば、経験にもとづく「だろう運転」を行わず、周囲の状況に応じて危険性の認知を適切に行えるドライバをいう。つまり、図２（ａ）に示すように、自車両の走行車線と同一車線に前方車両１３と、隣接する車線に対向車両１４と、左右の曲がり角に二輪車１５がある場合に、前方車両１３、対向車両１４、両側の二輪車１５の全ての視認ポイント（着目点：ポイントＰ１〜Ｐ４）に視線を向けることができ、図２（ｂ）に示すように、急カーブかつ左折道路が前方に認識できるときは、左側の曲がり角（ポイントＰ５）とカーブ先（ポイントＰ６）に視線を向けることができるドライバである。そして、これらのドライバの視認ポイント（着目点：ポイントＰ１〜６）に関する情報が模範視線情報である。

前方カメラ３は、車両前方の周辺状況を認識するためのカメラであり、本発明の周辺状況認識手段に相当する。これにより、自車両の走行道路の状況と前方の他車両１３、１４およびそれらと自車両との距離、位置関係等を認識する。

前方状況判定部４は、視線情報照合部９で実視線情報と模範視線情報との比較が行えるように前方カメラ３により認識された周辺状況を画像処理によりモデル化する。例えば、図３に示すように、前方カメラ３により撮影された映像を画像処理することで、自車両の走行道路が一車線であること、自車両と同一車線に前方車両１３、自車両の走行車線と隣接する車線に対向車両１４、前方左側に曲がり角１６、前方右側に曲がり角１７が存在することならびに自車両と他車両１３、１４との車間距離が分かるとともに、自車両と他車両１３、１４との相対速度、曲がり角１６、１７までの所要時間が分かる。そして、それらの情報をもとに周辺状況をモデル化する。また、モデル化された情報を視線情報照合部９に送る。

後方カメラ５は、自車両のドライバの視線を検知するためのもので、本発明における視線検知手段に相当する。これにより、自車両のドライバの上半身を撮影し、顔と目の位置を認識する。

視線検知部６は、後方カメラ５で撮影された映像により自車両のドライバの顔および目の位置を認識し、それらの情報にもとづきドライバの視線方向を検知し、それを前方カメラ３により認識された周辺状況下における自車両のドライバの実視線情報として視線情報照合部９に送る。

記憶部７（本発明における保持手段）は、ハードディスク、ＩＣメモリなどから構成され、運転評価に必要なデータベース化された種々の周辺状況下における模範運転操作情報を記憶する。この場合、サーバ装置２に保存された模範視線情報を通信部１１を介して受信して記憶する。

管理部８は、視線情報照合に必要な前方カメラ３により認識された周辺状況と類似する状況下における模範視線情報がすでに記憶部７に存在するか否かを判断し、存在する場合はその情報を記憶部７から読み出して、視線情報照合部９に送る。また、視線情報照合に必要な模範視線情報が記憶部７にない場合は、サーバ装置２に保存された模範視線情報を通信部１０を介して受信し、その情報を記憶部７に格納する。例えば、一車線道路を走行する自車両の前方に前方車両１３とその車線と隣接する車線に対向車両１４があり、かつ前方に交差点が存在するという周辺状況下における模範視線情報が記憶部７に記憶されている場合、図２（ａ）に示すように、一車線道路に前方車両１３、対向車両１４および左側と右側の両方に曲がり角が存在する周辺状況が前方カメラ３により認識されれば、その周辺状況は類似状況であると判断し、記憶された上記模範視線情報を視線情報照合部に送る。

視線情報照合部９は、上記した前方カメラ３により認識された周辺状況下において、後方カメラ５により認識された顔と目の位置にもとづいて視線検知部６により検知された視線に関する情報とその周辺状況と類似する状況下における模範視線情報とを比較する。例えば、図２（ａ）に示すように、前方カメラ３により認識された周辺状況を前方判定部４の画像処理から、前方車両１３と対向車両１４と自車両との車間距離と相対速度ならびに左右の曲がり角と自車両との距離と自車両の車速を算出し、それらの情報をもとに周囲の確認時間を算出する。そして、その確認時間内に車両ドライバの実視線が模範ドライバの視線（ポイントＰ１〜Ｐ４）の全てを確認できているかどうかを判断する。

通信部１０は、携帯端末装置１とサーバ装置２との間で情報のやり取りを行う送受信機能を有し、サーバ装置２に保存された模範視線情報を受信するとともに、前方カメラ３により認識された周辺状況下での実視線情報をサーバ装置３に送信する。

表示画面１１は、通常、静止画や動画等の種々の映像を表示し、視線情報照合部９による実視線情報と模範視線情報との比較結果にずれがある場合、すなわち視線漏れがある場合は、自車両のドライバに対してその漏れた視線方向を注視するよう注意メッセージを表示する。このとき、表示画面１１には注意メッセージとともに周辺状況を併せて表示するようにしてもよい。

スピーカー６は、通常、音声や音楽等を出力し、視線情報照合部９による実視線情報と模範視線情報との比較結果にずれがある場合は、警告音や視線漏れのある方向を指摘するメッセージを発するなどして自車両ドライバに注意喚起を行う。

次に、ドライバに対する注意喚起をどのように行うかの具体例を図２を参照して説明する。例えば、図２（ａ）に示すように、前方カメラ３で撮影した映像にもとづき、前方状況判定部４にてその周辺状況が見通しの悪い交差点であると判断する。そして、その状況に応じた周囲確認時間までの間に後方カメラ５で撮影された映像にもとづき視線検知部６で検知された視線が、模範視線であるポイントＰ１〜４の全てのポイントに対応しているか否かを視線情報照合部９で判断する。その結果、視線漏れがある場合はその漏れのあるポイントを確認するよう注意喚起を行う。上記周囲確認時間を決定する方法として、例えば、前方状況判定部４において自車両から交差点進入ラインまでの距離と車速を算出するとともに、その車速から通常ブレーキによる制動距離を算出する。そして、交差点進入ラインまでの距離が制動距離より短くなるまでの時間を周囲確認時間とする。このとき、車速に関する情報を車両側から取得してもよい。例えば、車両に自車両の車速を検出する車速センサを備えた車載装置を設置し、そこから車速情報を取得する。

また、図２（ｂ）に示すように、前方カメラ３により撮影した映像にもとづき、前方状況判定部４にてその周辺状況が見通しの悪いカーブであると判断し、周囲確認時間までの間に後方カメラ５で撮影された映像にもとづき視線検知部６で検知された視線が、模範視線であるポイントＰ５、６の全てのポイントに対応しているか否かを視線情報照合部９で判断する。その結果、視線漏れがある場合はその漏れのあるポイントを確認するよう注意喚起を行う。

（システム動作）
次に、本発明における一実施形態の運転評価システムの制御動作について、図４のフローチャートを参照して説明する。

まず、ステップＳ１において、前方カメラ３により周辺映像を取得し、前方状況判定部４により自車両とその周辺の障害物（前方車両１３等を含む）との関係や交差点などの道路状況を認識し、その周辺状況をモデル化する（ステップＳ２）。これにより、後述するように模範視線情報との比較が可能になる。

次に、上記モデル化された周辺状況と類似する状況下における模範視線情報が携帯端末装置１内の記憶部７に記憶されているか否かを判定し（ステップＳ３）、この判定結果がＮＯであれば、サーバ装置２に上記モデル化された周辺状況と類似する類似状況下における模範視線情報が存在しているか否かを判定する（ステップＳ１０）。この判定結果がＹＥＳであれば、管理部８はサーバ装置２から類似状況下における模範視線情報を通信部１０を介して取得（ダウンロード）して記憶部７に記憶保持する（ステップＳ１１）。こうすることで、記憶部７に類似状況の模範視線情報がない場合であっても、サーバ装置２内に保存された蓄積あるいは更新された多くの情報に基づいて運転評価が可能になる。

一方、ステップＳ１０の判定結果がＮＯであれば、携帯端末装置１の前方カメラ３から認識された自車両の周辺状況と、後方カメラ５により検知された実視線情報を通信部１０を介してサーバ装置２に送信してアップロードし（ステップＳ１２）、運転評価を終了する。このとき、サーバ装置２において、これらの情報が優良ドライバの行動である模範視線情報に当たるか否かを判定し、当たる場合にはこれらの情報を模範視線情報としてサーバ装置２に保存するが、この処理手順については後に詳述する。

次に、ステップＳ３をＹＥＳで通過するか、ステップＳ１０をＹＥＳで通過しステップＳ１１によりダウンロードが完了すれば、ステップＳ４にて、自車両の周辺状況に応じた周囲確認時間が経過しているか否かを判定する。この結果がＮＯであれば、後方カメラ５により自車両のドライバの顔と目の映像を取得し（ステップＳ７）、その映像にもとづいて視線検知部６でドライバの視線を検知し、その視線情報と模範視線情報とを比較する。そして、ステップ７〜９は前方カメラ３により認識された周辺状況に応じて決められる個々の周囲確認時間を経過するまで繰り返される。こうすることで、車両前方の周辺状況に応じた必要な確認時間が確保され、適切な視線漏れの評価が可能になる。

Ｓ４をＹＥＳで通過すれば、前方カメラ３により認識された周辺状況下における実視線情報とその周辺状況に類似する記録部７に保持された模範視線情報との間にずれがあるかどうか、つまり、記録部７のデータベースに登録された模範視線ポイント（着目点）に対して、自車両のドライバの視線に漏れがあるか否かを判定する（ステップＳ５）。その結果がＹＥＳであれば、ドライバに注意喚起を行い（ステップＳ６）、ＮＯの場合は、そのまま運転評価を終了する。

次に、ステップＳ１０へのアップロード処理の手順について、図５のフローチャートを参照して説明する。

上記のように、前方カメラ３により認識された周辺状況と類似する状況の模範視線情報が携帯端末装置１とサーバ装置２のどちらにも存在しない場合があるため、図５に示すように、前方カメラ３により認識された周辺状況の情報とそのときの実視線情報が携帯端末装置１からサーバ装置２に送信され、サーバ装置２がこれを受信し（ステップＳ１３）、その情報発信元のドライバの実視線に関する情報が模範視線情報に該当するか否かを判定する（ステップＳ１４）。この判定結果がＹＥＳであれば、ステップＳ１５にて、その周辺状況情報と実視線情報をサーバ装置２に保存し、ＮＯであれば、保存は行わず判定処理を終了する。

模範視線情報に該当するか否かの判定は、例えば、情報発信元のドライバの事故率（＝事故件数／走行距離×１００（％））が所定の閾値以下であるか否かで判定する。また、模範ドライバ（優良ドライバ）は、周辺状況を丁寧に把握しつつ運転するため、急なブレーキを踏む回数が少ないと考えられる。したがって、走行距離に対する急ブレーキの回数が所定回数より少ないか否かで判定してもよい。なお、これらの事故率に関する閾値情報と所定回数を示す回数情報は予めサーバ装置２に保存されている。

このように、前方カメラ３により認識された周辺状況と類似する類似情報の模範視線情報が携帯端末装置１およびサーバ装置２のいずれにも存在しない場合であっても、新たな模範視線情報をサーバ装置２に随時保存することにより、運転評価ができないという事態が回避される。

したがって、上記実施形態によれば、携帯端末装置１は、前方カメラ３の撮影映像をもとに前方状況判定部４における画像処理により自車両の周辺状況を認識し、認識した周辺状況下における実視線情報を後方カメラ５の映像から視線検知部６にてドライバの視線を検知し、その周辺状況と類似する状況下における模範視線情報を記憶部７により保持し、検知した実視線情報と保持した模範視線情報に基づき、自車両のドライバの視線と模範ドライバの視線とのずれを評価するため、車両側にはカメラや記憶部を設ける必要がなく、車両側のコストを抑えることができる。

また、前方カメラ３により自車両とその周辺に存在する他車両１３，１４などの障害物との関係を示す周辺状況を認識し、後方カメラ５によりドライバの視線を検知した上で視線漏れの評価を行い、漏れのある場合はドライバに注意喚起を行うため、自車両のドライバの認知負担を軽減できるとともに安全性をより一層高めることができる。

さらに、模範視線情報を記憶する手段を有するサーバ装置２を運転評価システムとして車両外部に備えるため、携帯端末装置１とサーバ装置２との間で通信により模範運転操作情報のやりとりを行えばよく、自車両にはサーバ装置２を設ける必要がなく、車両側のコストをよりいっそう抑えることができる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。

なお、上記した実施形態では、模範視線情報が携帯端末装置１にもサーバ装置２にも存在しない場合に、認識された周辺状況の情報とその周辺状況下での実視線情報をサーバ装置２が通信により受信し、サーバ装置２によりそれらの情報が優良ドライバのものであるか否かを判定したが、この判定を携帯端末装置１で行うようにしてもよい。

また、上記した実施形態において、携帯端末装置１の周辺状況認識手段と視線検知手段はカメラで構成されているが、周辺状況および視線検知ができるものであればいずれのものを選択してもかまわない。

１… 携帯端末装置
２… サーバ装置
３… 前方カメラ（周辺情報認識手段）
５… 後方カメラ（視線検知手段）
７… 記憶部（保持手段）
９… 視線情報照合部（評価手段）
１０… 通信部

Claims (2)

1. 車両とその周辺の障害物との関係を示す周辺状況を認識する周辺状況認識手段と、
   前記周辺状況認識手段により認識された周辺状況下における当該車両のドライバの視線に関する実視線情報を検出する視線検出手段と、
   前記周辺状況認識手段により認識された周辺状況と類似する状況下において模範とすべき模範ドライバの視線に関する模範視線情報を保持する保持手段と、
   前記視線検出手段により検出された実視線情報と、前記保持手段により保持された模範視線情報とに基づいて、前記周辺認識手段により認識された周辺状況下における当該車両のドライバの視線と前記模範ドライバの視線とのずれを評価する評価手段と、
   を備えた携帯端末装置。
2. 請求項１に記載の携帯端末装置を備えた運転評価システムにおいて、
   種々の周辺状況ごとの前記模範視線情報を記憶する記憶手段を有するサーバ装置を備え、
   前記保持手段は、前記模範視線情報を前記サーバ装置から通信により受信して保持することを特徴とする運転評価システム。
   
   

Images