JP2018072922A - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JP2018072922A
JP2018072922A JP2016208590A JP2016208590A JP2018072922A JP 2018072922 A JP2018072922 A JP 2018072922A JP 2016208590 A JP2016208590 A JP 2016208590A JP 2016208590 A JP2016208590 A JP 2016208590A JP 2018072922 A JP2018072922 A JP 2018072922A
Authority
JP
Japan
Prior art keywords
information
vehicle
driver
data
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016208590A
Other languages
English (en)
Other versions
JP6749210B2 (ja
Inventor
中村 成志
Seiji Nakamura
成志 中村
建太 手銭
Kenta Tezeni
建太 手銭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sompo Japan Nipponkoa Insurance Inc
Original Assignee
Sompo Japan Nipponkoa Insurance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sompo Japan Nipponkoa Insurance Inc filed Critical Sompo Japan Nipponkoa Insurance Inc
Priority to JP2016208590A priority Critical patent/JP6749210B2/ja
Priority to PCT/JP2016/082876 priority patent/WO2018078889A1/ja
Publication of JP2018072922A publication Critical patent/JP2018072922A/ja
Application granted granted Critical
Publication of JP6749210B2 publication Critical patent/JP6749210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】運転者の取るべき行動についての行動データを出力して、安全運転を十分に支援すること。
【解決手段】情報処理装置は、車両の運転者の生体情報を取得する生体情報取得部と、車両の車両情報を取得する車両情報取得部と、車両に取り付けられた撮像部から、車両を含む車両の周囲画像を取得する周囲画像取得部と、生体情報、車両情報および周囲画像の複数の組を記憶する記憶部と、複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析部と、関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力部と、を備えた。
【選択図】 図1

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
上記技術分野において、特許文献1には、運転者の操作量などを時系列パターンとして統計処理した統計情報と車両の位置情報とを関連付けて生成した地図情報に基づいて運転支援を行う技術が開示されている。
国際公開第2014/013985号
しかしながら、上記文献に記載の技術では、運転者の取るべき行動についての行動データを出力しないので、安全運転を十分に支援することができなかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る情報処理装置は、
車両の運転者の生体情報を取得する生体情報取得手段と、
前記車両の車両情報を取得する車両情報取得手段と、
前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得手段と、
前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶手段と、
前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析手段と、
前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力手段と、
を備えた。
上記目的を達成するため、本発明に係る情報処理方法は、
車両の運転者の生体情報を取得する生体情報取得ステップと、
前記車両の車両情報を取得する車両情報取得ステップと、
前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得ステップと、
前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶ステップと、
前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析ステップと、
前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力ステップと、
を含む。
上記目的を達成するため、本発明に係る情報処理プログラムは、
車両の運転者の生体情報を取得する生体情報取得ステップと、
前記車両の車両情報を取得する車両情報取得ステップと、
前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得ステップと、
前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶ステップと、
前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析ステップと、
前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力ステップと、
をコンピュータに実行させる。
本発明によれば、運転者の取るべき行動についての行動データを出力するので、安全運転を十分に支援することができる。
本発明の第1実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第2実施形態に係る情報処理装置による処理の概要の一例を説明する図である。 本発明の第2実施形態に係る情報処理装置による処理の概要の他の例を説明する図である。 本発明の第2実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第2実施形態に係る情報処理装置の備える画像テーブルの構成の一例を示す図である。 本発明の第2実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第2実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第3実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第3実施形態に係る情報処理装置の備える画像テーブルの一例を示す図である。 本発明の第3実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第3実施形態に係る情報処理装置の処理手順を説明するフローチャートである。
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
[第1実施形態]
本発明の第1実施形態としての情報処理装置100について、図1を用いて説明する。情報処理装置100は、運転者の取るべき行動についての行動データを出力する装置である。
図1に示すように、情報処理装置100は、生体情報取得部101と、車両情報取得部102と、周囲画像取得部103と、記憶部104と、解析部105と、行動データ出力部106と、を含む。
生体情報取得部101は、車両の運転者の生体情報を取得する。車両情報取得部102は、車両の車両情報を取得する。周囲画像取得部103は、車両に取付けられた撮像部から、車両を含む車両の周囲画像を取得する。記憶部104は、生体情報、車両情報および周囲画像の複数の組を記憶する。解析部105は、複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する。行動データ出力部106は、関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する。
本実施形態によれば、運転者の取るべき行動についての行動データを出力するので、安全運転を十分に支援することができる。
[第2実施形態]
次に本発明の第2実施形態に係る情報処理装置について、図2A乃至図6を用いて説明する。図2Aは、本実施形態に係る情報処理装置200による処理の概要の一例を説明する図である。また、図2Bは、本実施形態に係る情報処理装置200による処理の概要の他の例を説明する図である。
図2Aには、2台の車両が、互いに異なる方角から交差点に接近している状況が示されている。また、図2Bには、車両が交差点に接近しており、歩行者が横断歩道上を歩行している状況が示されている。例えば、これらの状況は、車両に取り付けられたドライブレコーダにより画像や映像などが撮像される。撮像された画像や映像は、生体情報や車両情報と対応付けて記憶される。なお、ドライブレコーダによる画像や映像の撮像は、常時撮像をしていてもよいし、撮像のための所定のトリガーを検知した場合に撮像を開始するようにしてもよい。
情報処理装置200は、例えば、運転者が、相手車両の存在を認識して、危険を察知することにより、心拍数や血圧が上がったり、発汗量が増えたりするなどの生体情報の変化に応じて、記憶された画像を解析する。そして、このような生体情報の変化が生じたときの車両情報と、撮像された画像との関連を示す関連情報を生成する。情報処理装置200は、生成された関連情報を用いて、車両情報および周囲画像のいずれかと運転者が取るべき行動とを対応付けて、行動データとして出力する。
そして、行動データを用いて、自動運転可能な車両に用いられる運転用データを生成する。情報処理装置200は、生成した運転用データを自動運転可能な車両に提供してもよい。
また、情報処理装置200は、行動データを用いて、運転者に対して指示するための指示用データも生成する。この指示用データは、車両の車両情報および車両の撮像部が撮像した周囲画像のいずれかに基づいて生成される。情報処理装置200は、生成した指示用データを車両に対して提供してもよい。なお、情報処理装置200が、運転用データや指示用データを提供するタイミングは特に限定されないが、例えば、道路状況などを踏まえて接近する事象への対処が可能なタイミングで提供してもよい。また、例えば、車両のエンジンを掛けたタイミングで提供してもよい。
運転者が取るべき行動としては、相手車両が右にハンドルを切ったら、左にハンドルを切る、歩行者がいる場合にはブレーキを踏む、などであるが、これらには限定されない。運転者が取るべき行動は、例えば、相手車両との位置関係や、自車両および相手車両のスピードや車重、車体形状、車体カラーなどにより様々に変化する。なお、ここでは、情報処理装置200が記憶された周囲画像を解析する例で説明をしたが、情報処理装置200は、上述の処理をリアルタイムで行ってもよい。
図3は、本実施形態に係る情報処理装置200の構成を示すブロック図である。情報処理装置200は、生体情報取得部301と、車両情報取得部302と、周囲画像取得部303と、記憶部304と、解析部305と、行動データ出力部306と、運転用データ生成部307と、指示用データ生成部308と、を備える。
生体情報取得部301は、ウェアラブルデバイスから車両の運転者の生体情報を取得する。取得する生体情報は、例えば、心拍や血圧、発汗量、呼吸数、脳波などであるがこれらには限定されない。なお、生体情報は、例えば、タクシーやバスの運転手などから取得されるが、生体情報の取得対象はこれらには限定されない。
車両情報取得部302は、運転者が運転する車両の車両情報を取得する。車両情報は、例えば、車両の位置情報や、速度、加速度、ハンドル舵角、残燃料、ブレーキ踏力などを含むが、これらには限定されない。車両の位置情報は、例えば、車両に取り付けられたGPS(Global Positioning System)機器などから取得されるが、位置情報の取得先はこれには限定されない。また、車両の速度や、加速度、ハンドル舵角などは、例えば、OBD(On-board Diagnostics)やCAN(Controller Area Network)などから取得されるが、これらには限定されない。なお、車両情報は、タクシーやバスなどの営業車両や一般車両などから取得される。
周囲画像取得部303は、運転者の運転する車両(自車両)を含む車両の周囲の画像(周囲画像)を取得する。すなわち、周囲画像取得部303は、車両に取り付けられたドライブレコーダなどのカメラで撮像した画像を取得する。また、周囲画像取得部303は、車両の運転者や同乗者の所有するスマートフォンなどの携帯端末などのカメラで撮像した画像を取得してもよく、スマートフォンなどは所定の取付器具で車両に取り付けられる。なお、周囲画像取得部303は、周囲画像を常時取得するものであっても、所定のトリガーを検知したら取得を開始するものであってもよい。また、周囲画像には、自動車に関連する事故の画像などが含まれてもよい。なお、周囲画像は、タクシーやバスなどの営業車両や一般車両などから取得される。
記憶部304は、生体情報取得部301で取得した生体情報、車両情報取得部302で取得した車両情報および周囲画像取得部303で取得した周囲画像を対応付けて記憶する。また、記憶部304は、生体情報取得部301で取得した生体情報、車両情報取得部302で取得した車両情報および周囲画像取得部303で取得した周囲画像に、さらに、天候などの気象情報を含む外部情報を対応付けて記憶してもよい。外部情報は、例えば、渋滞情報、混雑予測情報、故障車両情報などのプローブデータであるが、これらには限定されない。なお、記憶部304は、周囲画像の撮影日時や撮影時間帯(例えば、朝昼夜など)、地域、自車および相手車の車体形状や車高などを合わせて記憶してもよい。
解析部305は、生体情報の変化に応じて、記憶部304に記憶された生体情報、車両情報および周囲画像を解析する。そして、解析部305は、生体情報の変化に至った車両情報と周囲画像との関連情報を生成する。すなわち、生体情報の変化が生じるまでの過程やその後の過程について、周囲画像に映っている自車両の挙動や相手車両の挙動、相手車両の大きさ、相手車両の形状、歩行者の挙動などと車両情報との関連を示す関連情報を生成する。
周囲画像などの解析は、例えば、画像などを所定の時間間隔に区切って行う。つまり、画像や映像を細かく区切ることにより、連続する行動を確率的にパターン化する。例えば、運転者が、ある行動を取った場合の次の行動は、確率的にパターン化することができ、画像を区切る時間間隔を短くすることにより、画像を細かく解析することができるので、さらに精度を上げることができる。
行動データ出力部306は、解析部305が生成した関連情報を用いて、例えば、周囲画像や車両情報、周囲画像および車両情報に基づいて決定された運転者の取るべき行動についての行動データを出力する。運転者の取るべき行動は、例えば、ハンドルを切る、ブレーキを踏む、車線を変更する、などの危険回避のための操作や行動などである。
運転用データ生成部307は、行動データ出力部306が出力した行動データを用いて、自動運転可能な車両に用いられる運転用データを生成する。
また、運転用データは、車両情報および周囲画像に基づいて、自動運転が危険であると判断した場合に、自動運転から、運転手による手動運転に切り替える切替データを含む。例えば、複数の事象が同時に発生し、どの事象から対処していくべきかの判断が難しい場合に、運転者に判断を委ねるために、自動運転から手動運転に切り替えてもよい。
さらに、運転用データは、車両の運転者に装着されたウェアラブルデバイスなどから取得した生体情報が運転者の異常、例えば、発作や眠気などを表す場合、手動運転から自動運転に切り替える切替データを含む。例えば、手動運転を継続していると、事故が発生する確率が高くなる場合に、危険回避のために、手動運転から自動運転に切り替えてもよい。
指示用データ生成部308は、行動データを用いて、運転者に対して指示するための指示用データ生成する。そして、指示用データ生成部308は、車両の車両情報および車両の撮像部が撮像した周囲画像の少なくともいずれかに基づいて、指示用データを生成する。この指示用データは、例えば、車両の運転者に対して、運転操作を指示する音声などのアラートであってもよいが、これには限定されない。
図4は、本実施形態に係る情報処理装置200の備える画像テーブル401の構成の一例を示す図である。画像テーブル401は、運転ID(identifier)411に対応付けて、画像ID412、生体情報413、車両情報414および気象情報415を記憶する。運転ID411は、運転を識別するための情報であり、これには、例えば、運転者の属性などの運転者に関する情報や、車両に関する情報、運転日時に関する情報などが含まれる。画像ID412は、画像を識別するための情報であり、画像に対して一意に割り当てられた番号などである。生体情報413は、運転者が装着しているウェアラブル端末などから取得した生体情報のデータである。車両情報414は、車両から取得された、車両の状態を示すデータであり、車速や加速度、ハンドル舵角などのデータである。気象情報415は、画像が撮像されたときの天候に関する情報である。そして、解析部305は、画像テーブル401を参照して、周囲画像を解析し、関連情報を生成する。
図5は、本実施形態に係る情報処理装置200のハードウェア構成を示すブロック図である。CPU(Central Processing Unit)510は演算制御用のプロセッサであり、プログラムを実行することで図3の情報処理装置200の機能構成部を実現する。ROM(Read Only Memory)520は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース530は、ネットワークを介して他の装置などと通信する。なお、CPU510は1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース530は、CPU510とは独立したCPUを有して、RAM(Random Access Memory)540の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAM540とストレージ550との間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい(図示なし)。さらに、入出力インタフェース560は、CPU510とは独立したCPUを有して、RAM540の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、CPU510は、RAM540にデータが受信あるいは転送されたことを認識してデータを処理する。また、CPU510は、処理結果をRAM540に準備し、後の送信あるいは転送はネットワークインタフェース530やDMAC、あるいは入出力インタフェース560に任せる。
RAM540は、CPU510が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM540には、本実施形態の実現に必要なデータを記憶する領域が確保されている。生体情報データ541は、運転者の生体情報に関するデータである。車両情報データ542は、車両の速度や加速度などに関するデータである。周囲画像データ543は、ドライブレコーダなどで撮像された画像に関するデータである。関連情報データ544は、生体情報の変化に至った車両情報と周囲画像との関連性に関する情報である。これらのデータは、画像テーブル401から展開されたデータである。行動データ545は、運転者が取るべき行動についてのデータである。運転用データ/指示用データ546は、自動運転可能な車両に用いられる自動運転のためのデータおよび運転者に対して指示するためのデータである。
入出力データ547は、入出力インタフェース560を介して入出力されるデータである。送受信データ548は、ネットワークインタフェース530を介して送受信されるデータである。また、RAM540は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域549を有する。
ストレージ550には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ550は、画像テーブル401を格納する。画像テーブル401は、図4に示した、運転ID411と画像ID412などとの関係を管理するテーブルである。ストレージ550は、さらに、生体情報取得モジュール551と、車両情報取得モジュール552と、撮像モジュール553と、解析モジュール554と、行動データ出力モジュール555と、運転用データ生成モジュール556と、指示用データ生成モジュール557と、を格納する。これらのモジュールは、CPU510により実行される。
生体情報取得モジュール551は、車両の運転者の生体情報を取得するモジュールである。車両情報取得モジュール552は、車両の車両情報を取得するモジュールである。撮像モジュール553は、車両を含む車両の周囲画像を撮像するモジュールである。解析モジュール554は、生体情報の変化に応じて、生体情報、車両情報および周囲画像を解析し、生体情報の変化に至った車両情報と周囲画像との関連情報を生成するモジュールである。行動データ出力モジュール555は、車両情報および周囲画像の少なくともいずれかに基づいて決定された運転者の取るべき行動についての行動データを出力するモジュールである。運転用データ生成モジュール556は、行動データを用いて、自動運転可能な車両に用いられる運転用データを生成するモジュールである。指示用データ生成モジュール557は、行動データを用いて、運転者に対して指示するための指示用データを生成するモジュールである。これらのモジュール551〜557は、CPU510によりRAM540のアプリケーション実行領域549に読み出され、実行される。制御プログラム557は、情報処理装置200の全体を制御するためのプログラムである。
入出力インタフェース560は、入出力機器との入出力データをインタフェースする。入出力インタフェース560には、表示部561、操作部562、が接続される。また、入出力インタフェース560には、さらに、記憶媒体564が接続されてもよい。さらに、音声出力部であるスピーカ563や、音声入力部であるマイク、あるいは、GPS位置判定部が接続されてもよい。なお、図5に示したRAM540やストレージ550には、情報処理装置200が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
図6は、本実施形態に係る情報処理装置200の処理手順を説明するフローチャートである。このフローチャートは、CPU510がRAM540を使用して実行し、図3の情報処理装置200の機能構成部を実現する。
ステップS601において、情報処理装置200は、車両の運転者の生体情報を、例えば、運転者の装着しているウェアラブル端末などから取得する。ステップS603において、情報処理装置200は、車両の車両情報を取得する。ステップS605において、情報処理装置200は、自車両を含む自車両の周囲画像を取得する。なお、ステップS601〜S605の順序は図6に示した順序には限定されず、順序を適宜入れ替えて実行してもよいし、これらのステップを同時に実行してもよい。
ステップS607において、情報処理装置200は、生体情報、車両情報および周囲画像を対応付けて記憶する。ステップS609において、情報処理装置200は、取得した生体情報に変化があるか否かを判定する。生体情報に変化がない場合(ステップS609のNO)、情報処理装置200は、ステップS601に戻る。生体情報に変化がある場合(ステップS609のYES)、情報処理装置200は、ステップS611へ進む。
ステップS611において、情報処理装置200は、生体情報の変化に応じて、記憶された生体情報、車両情報および周囲画像を解析し、生体情報の変化に至った車両情報と周囲画像との関連情報を生成する。ステップS613において、情報処理装置200は、生成した関連情報を用いて、車両情報および周囲画像の少なくともいずれかに基づいて決定された運転者の取るべき行動についての行動データを生成する。ステップS615において、情報処理装置200は、出力された行動データを用いて、自動運転可能な車両に用いられる運転用データを生成する。また、情報処理装置200は、出力された行動データを用いて、運転者に指示するための指示用データを生成する。
本実施形態によれば、運転者の取るべき行動についての行動データを出力するので、安全運転を十分に支援することができる。また、出力した行動データを用いて、運転用データを生成するので、自動運転技術を高度化することができる。さらに、出力した行動データを用いて、指示用データを生成するので、安全運転を十分に支援することができる。
[第3実施形態]
次に本発明の第3実施形態に係る情報処理装置について、図7乃至図10を用いて説明する。図7は、本実施形態に係る情報処理装置700の構成を示すブロック図である。本実施形態に係る情報処理装置700は、上記第2実施形態と比べると、タイミング推定部を有する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
情報処理装置700は、さらに、タイミング推定部701を備える。タイミング推定部701は、生体情報の変化に応じて、運転者が事故の発生を察知したタイミングを推定する。タイミング推定部701は、例えば、生体情報の変化が発生してから所定時間前を察知のタイミングと推定するが、タイミングの推定方法は、これには限定されない。そして、解析部305は、推定したタイミングに基づいて、関連情報を生成する。
図8は、本実施形態に係る情報処理装置700の備える画像テーブル801の一例を示す図である。画像テーブル801は、運転ID411に対応付けて所定時間811を記憶する。タイミング推定部701は、画像テーブル801を参照して、運転者が事故発生を察知したタイミングを推定する。
図9は、本実施形態に係る情報処理装置700のハードウェア構成を示すブロック図である。RAM940は、CPU910が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM940には、本実施形態の実現に必要なデータを記憶する領域が確保されている。所定時間データ941は、察知タイミングの推定に用いる時間データであり、画像テーブル801から展開されたデータである。ストレージ950は、画像テーブル801を格納する。画像テーブル801は、図8に示した、運転ID411と所定時間811などとの関係を管理するテーブルである。ストレージ550は、さらに、タイミング推定モジュール951を格納する。タイミング推定モジュール951は、運転者が事故の発生を察知したタイミングを推定するモジュールである。タイミング推定モジュール951は、CPU510によりRAM940のアプリケーション実行領域549に読み出され、実行される。
図10は、本実施形態に係る情報処理装置700の処理手順を説明するフローチャートである。このフローチャートは、CPU510がRAM940を使用して実行し、図7の情報処理装置700の機能構成部を実現する。なお、図6と同様のステップには同じステップ番号を付して重複する説明を省略する。
ステップS1001において、情報処理装置700は、運転者が事故の発生を察知したタイミングを推定する。ステップS1003において、情報処理装置700は、推定したタイミングに基づいて、生体情報の変化に至った車両情報と周囲画像との関連情報を生成する。
本実施形態によれば、事故察知のタイミングを推定するので、運転者の取るべき行動についての行動データの精度が上がり、自動運転技術をさらに高度化することができる。
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。

Claims (12)

  1. 車両の運転者の生体情報を取得する生体情報取得手段と、
    前記車両の車両情報を取得する車両情報取得手段と、
    前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得手段と、
    前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶手段と、
    前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析手段と、
    前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力手段と、
    を備えた情報処理装置。
  2. 前記行動データを用いて、自動運転可能な車両に用いられる運転用データを生成する運転用データ生成手段をさらに備えた請求項1に記載の情報処理装置。
  3. 前記運転用データ生成手段は、自動運転可能な車両の車両情報および前記自動運転可能な車両の撮像手段が撮像した周囲画像の少なくともいずれかに基づいて、前記運転用データを生成する請求項2に記載の情報処理装置。
  4. 前記運転用データは、車両情報および周囲画像に基づいて、自動運転が危険であると判断した場合、手動運転に切り替える第1切替データを含む請求項3に記載の情報処理装置。
  5. 前記運転用データは、生体情報が運転者の異常を表す場合、自動運転に切り替える第2切替データを含む請求項3または4に記載の情報処理装置。
  6. 前記行動データを用いて、運転者に対して指示するための指示用データを生成する指示用データ生成手段をさらに備えた請求項1または2に記載の情報処理装置。
  7. 前記指示用データ生成手段は、車両の車両情報および前記車両の撮像手段が撮像した周囲画像の少なくともいずれかに基づいて、前記指示用データを生成する請求項6に記載の情報処理装置。
  8. 前記記憶手段は、前記生体情報、前記車両情報および前記周囲画像に、さらに、気象情報を含む外部情報を対応付けて記憶し、
    前記解析手段は、前記記憶手段に記憶された前記生体情報、前記車両情報、前記周囲画像および前記気象情報を解析し、前記生体情報の変化に至った前記車両情報と前記周囲画像と前記気象情報の関連情報を生成する、請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 前記周囲画像は、事故に関連する画像を含み、
    前記生体情報の変化に応じて、前記運転者が前記事故の発生を察知したタイミングを推定するタイミング推定手段をさらに備え、
    前記解析手段は、前記タイミングに基づいて、前記生体情報の変化に至った前記車両情報と前記周囲画像との関連情報を生成する、請求項1乃至8のいずれか1項に記載の情報処理装置。
  10. 前記タイミング推定手段は、前記生体情報の変化から所定時間前を前記タイミングと推定する請求項9に記載の情報処理装置。
  11. 車両の運転者の生体情報を取得する生体情報取得ステップと、
    前記車両の車両情報を取得する車両情報取得ステップと、
    前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得ステップと、
    前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶ステップと、
    前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析ステップと、
    前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力ステップと、
    を含む情報処理方法。
  12. 車両の運転者の生体情報を取得する生体情報取得ステップと、
    前記車両の車両情報を取得する車両情報取得ステップと、
    前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得ステップと、
    前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶ステップと、
    前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析ステップと、
    前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力ステップと、
    をコンピュータに実行させる情報処理プログラム。
JP2016208590A 2016-10-25 2016-10-25 情報処理装置、情報処理方法および情報処理プログラム Active JP6749210B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016208590A JP6749210B2 (ja) 2016-10-25 2016-10-25 情報処理装置、情報処理方法および情報処理プログラム
PCT/JP2016/082876 WO2018078889A1 (ja) 2016-10-25 2016-11-04 情報処理装置、情報処理方法および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016208590A JP6749210B2 (ja) 2016-10-25 2016-10-25 情報処理装置、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2018072922A true JP2018072922A (ja) 2018-05-10
JP6749210B2 JP6749210B2 (ja) 2020-09-02

Family

ID=62024642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016208590A Active JP6749210B2 (ja) 2016-10-25 2016-10-25 情報処理装置、情報処理方法および情報処理プログラム

Country Status (2)

Country Link
JP (1) JP6749210B2 (ja)
WO (1) WO2018078889A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7183864B2 (ja) * 2019-02-26 2022-12-06 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012164237A (ja) * 2011-02-08 2012-08-30 Honda Motor Co Ltd 車両用運転支援装置
JP2014081947A (ja) * 2013-12-04 2014-05-08 Denso Corp 情報配信装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012164237A (ja) * 2011-02-08 2012-08-30 Honda Motor Co Ltd 車両用運転支援装置
JP2014081947A (ja) * 2013-12-04 2014-05-08 Denso Corp 情報配信装置

Also Published As

Publication number Publication date
JP6749210B2 (ja) 2020-09-02
WO2018078889A1 (ja) 2018-05-03

Similar Documents

Publication Publication Date Title
US10640123B2 (en) Driver monitoring system
DE102021100065A1 (de) Verwendung neuronaler netze zur fehlererkennung bei anwendungen für autonomes fahren
JP7191752B2 (ja) 車両制御システム及び車両
US20200216080A1 (en) Detecting and diagnosing anomalous driving behavior using driving behavior models
EP2781979B1 (en) Real-time monitoring of vehicle
US20180281784A1 (en) Using a driver profile to enhance vehicle-to-everything applications
US20200294329A1 (en) Data collecting device, data collecting system, data collecting method, and on-vehicle device
JP6973375B2 (ja) 制御装置、制御方法、及び、制御プログラム
KR20170041466A (ko) 자동차용 통합데이터 처리 제어 시스템 및 방법
CN111459121A (zh) 车辆辅助驾驶测试系统和方法
US10589741B2 (en) Enhanced collision avoidance
WO2019131388A1 (ja) 運転支援装置、運転支援システム、運転支援方法、及び、運転支援プログラムが格納された記録媒体
CN114841336A (zh) 修补用于自主机器应用的部署的深度神经网络
WO2018078889A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN116071949A (zh) 一种用于辅助驾驶的增强现实的方法及装置
KR102006080B1 (ko) 블랙박스 영상 제공 방법 및 이를 수행하는 장치들
JPWO2020085223A1 (ja) 情報処理方法、情報処理装置、情報処理プログラム及び情報処理システム
JP6915982B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN115951599A (zh) 基于无人机的驾驶能力测试系统、方法、装置及存储介质
CN117725150A (zh) 使用用于汽车系统和应用的知识库和语言模型的对话系统
JP6960220B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN109144070A (zh) 移动设备辅助自动驾驶方法、汽车和存储介质
EP3088270B1 (en) System, method, and computer program for detecting one or more activities of a driver of a vehicle
CN210781107U (zh) 一种车载数据处理终端及系统
JP7459794B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200811

R150 Certificate of patent or registration of utility model

Ref document number: 6749210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250