JP2020135564A - 危険性判定装置、危険性判定方法、及びプログラム - Google Patents
危険性判定装置、危険性判定方法、及びプログラム Download PDFInfo
- Publication number
- JP2020135564A JP2020135564A JP2019029859A JP2019029859A JP2020135564A JP 2020135564 A JP2020135564 A JP 2020135564A JP 2019029859 A JP2019029859 A JP 2019029859A JP 2019029859 A JP2019029859 A JP 2019029859A JP 2020135564 A JP2020135564 A JP 2020135564A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- sensor data
- information indicating
- terminal device
- abnormal behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
ヒヤリハットのデータを収集し、分析する技術に関して、歩行者および車両それぞれの加速度データを個々に収集し、個別の異常行動として急な方向転換や急停止を捉える技術が知られている(例えば、非特許文献1参照)。
本発明は、上記問題を解決すべくなされたもので、危険性を判定できる危険性判定装置、危険性判定方法、及びプログラムを提供することにある。
(2)本発明の一態様は、上記(1)に記載の危険性判定装置において、前記分析部は、センサの検出値と、異常行動を示す情報とを関連付けた異常行動関連情報と、前記外れ値であると判定した前記センサの前記検出値とに基づいて、前記端末装置のユーザの異常行動を導出する。
(3)本発明の一態様は、上記(1)又は上記(2)に記載の危険性判定装置において、前記分析部は、前記記憶部に記憶している複数の前記センサデータ通知のうち、前記受付部が受け付けたセンサデータ通知に含まれる前記端末装置の識別情報と同じ識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、受け付けた前記センサの前記検出値が外れ値であるかを判定し、前記処理部は、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方に基づいて、モデルベース判定と、機械学習とのいずれか一方又は両方によって、前記端末装置を携帯しているユーザの危険性を判定する。
(4)本発明の一態様は、上記(1)から上記(3)のいずれか一項に記載の危険性判定装置において、第1軸と、第2軸とを有する座標系で表される二次元で表したデータである二次元データにおいて、前記第1軸と前記第2軸との各々が複数に分割され、分割された前記第1軸及び前記第2軸によってセルが形成され、前記分析部は、前記位置に該当するセルに、前記異常行動を示す情報を表す。
(5)本発明の一態様は、上記(4)に記載の危険性判定装置において、複数の前記端末装置が送信するセンサデータ通知の各々には、前記ユーザが乗車する自動車に搭載されたセンサが検出したセンサの検出値と、前記端末装置に搭載されたセンサが検出したセンサの検出値とのいずれか一方又は両方が含まれ、前記危険性判定装置は、前記ユーザの異常行動を示す情報を表した二次元データの時系列データと、前記自動車の異常行動を表した二次元データの時系列データとに基づいて、ユーザの異常行動を示す情報を表した二次元データと、自動車の異常行動を表した二次元データとを入力とし、前記入力と、ユーザの危険性との関係を表す学習モデルを学習によって生成する学習部を備え、前記処理部は、前記学習部が生成した前記学習モデルに基づいて、前記ユーザの危険性を判定する。
(6)本発明の一態様は、上記(4)に記載の危険性判定装置において、前記処理部は、前記異常行動を示す情報を表したセルと、前記セルの周辺のセルである周辺セルとの各々に関連付けて記憶されている異常行動に基づいて、前記端末装置を携帯しているユーザの危険性を判定する。
(7)本発明の一態様は、上記(1)から上記(6)のいずれか一項に記載の危険性判定装置において、前記処理部が判定した前記ユーザの危険性を、前記ユーザへ通知する通信部を備える。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「XXに基づいて」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づいて」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
(危険性判定システム)
図1は、本発明の実施形態の危険性判定システムの一例を示す図である。本実施形態の危険性判定システム1は、危険性判定装置100と、自動車200−1から自動車200−m(mは、m>0の整数)と、端末装置300−1から端末装置300−n(nは、n>mの整数)とを備える。
自動車200−1から自動車200−mは、それぞれ端末装置300−1から端末装置300−mと、無線によって接続される。端末装置300−1から端末装置300−nの各々と、危険性判定装置100とは、通信網50を介して互いに、接続される。通信網50は、例えば、無線基地局、Wi−Fiアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、通信網50は、一部にローカルなネットワークを含んでもよい。
本実施形態では、端末装置300−1を携帯するユーザから端末装置300−mを携帯するユーザは、それぞれ自動車200−1から自動車200−mに乗車している場合について説明を続ける。また、端末装置300−m+1を携帯するユーザから端末装置300−nを携帯するユーザは、自動車に乗車していない場合について説明を続ける。
端末装置300−1から端末装置300−mは、それぞれ自動車200−1から自動車200−mが送信したセンサの検出値を示す情報を受信した場合に、センサの検出値を示す情報を受信した時刻と位置とを取得する。端末装置300−1から端末装置300−mの各々は、受信したセンサの検出値を示す情報を、そのセンサの検出値を受信した時刻を示す情報及び位置を示す情報と関連付けて記憶する。
端末装置300−1から端末装置300−mの各々は、センサの検出値を示す情報と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100をあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100へ送信する。ここで、端末IDは、端末装置の識別情報である。
また、端末装置300−1から端末装置300−nの各々は、センサを搭載し、搭載したセンサが検出したセンサの検出値を示す情報を、そのセンサの検出値を受信した時刻を示す情報と関連付けて記憶する。ここで、センサの検出値には、端末装置の位置を示す情報が含まれる。端末装置300−1から端末装置300−nの各々は、センサの検出値と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100をあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100へ送信する。
危険性判定装置100は、記憶している複数のセンサデータ通知のうち、受け付けたセンサデータに含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出する。危険性判定装置100は、抽出したセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。危険性判定装置100は、外れ値でないと判定した場合には、処理を終了する。危険性判定装置100は、外れ値であると判定した場合にはその外れ値に基づいて、端末装置のユーザの異常行動と自動車の異常行動とのいずれか一方又は両方を導出する。
危険性判定装置100は、異常行動を導出した場合に、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とに基づいて、端末装置を携帯しているユーザの危険性を判定する。危険性判定装置100は、判定したユーザの危険性を示す情報を含み、外れ値を含むセンサデータ通知を送信した端末装置をあて先とする危険性通知を作成し、作成した危険性通知を、その端末装置へ送信する。端末装置300−1から端末装置300−nの各々は、危険性判定装置100が送信した危険性通知を受信した場合に、受信した危険栓通知に含まれるユーザの危険性を示す情報を表示する。
以下、自動車200−1から自動車200−nのうち任意の自動車を、自動車200と記載する。端末装置300−1から端末装置300−nのうち任意の自動車を、端末装置300と記載する。
(自動車)
図2は、本発明の実施形態の危険性判定システムを構成する自動車と、端末装置と、危険性判定装置の一例を示す図である。
自動車200について説明する。自動車200は、センサ202と、情報処理部204と、通信部206とを備える。これらの構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
情報処理部204は、センサ202と接続される。情報処理部204は、時計部を備え、センサ202が出力したセンサの検出値を示す情報を取得した場合に、時計部から、そのセンサの検出値を示す情報を取得した時刻を取得する。情報処理部204は、センサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを含み、端末装置300をあて先とするセンサ検出値通知を作成し、作成したセンサ検出値通知を、通信部206へ出力する。
通信部206は、情報処理部204と接続される。通信部206は、通信モジュールによって実現される。具体的には、通信部206は、ブルートゥース(登録商標)、WiFi(登録商標)などの無線通信技術で無線通信を行う無線デバイスによって構成される。通信部206は、情報処理部204が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を、端末装置300へ送信する。
端末装置300は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、眼鏡型端末装置、あるいはその他の情報処理機器として実現される。例えば、端末装置300が自動車200と接続する場合には、端末装置300は、車載あるいはドライバーが保持する。端末装置300が自動車200と接続しない場合には、端末装置300は、主に歩行者が保持する。端末装置300は、センサ302と、情報処理部304と、通信部306と、DB308と、表示部310と、通信部316とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
センサ302は、一又は複数のセンサによって構成される。具体的には、センサ302は、時計部、加速度センサ、角速度センサ、地磁気センサ、傾きセンサ、GPS(Global Positioning System)、気圧センサ、照度センサ、ステップセンサ、スクリーンロックオンオフセンサ、バッテリ温度残量センサなどによって構成される。ここで、GPSによって取得される情報には、GPS時刻を示す情報、緯度を示す情報、経度を示す情報、高度を示す情報、精度を示す情報、GPS速度を示す情報、衛星の数を示す情報、位置計測手段を示す情報などが含まれる。
センサ302は、時刻、加速度、角速度、地磁気、傾き、位置、気圧、照度、ステップセンサの値、スクリーンロックオンオフセンサの値、バッテリ温度残量センサの値などを検出し、検出した時刻を示す情報と、加速度、角速度、地磁気、傾き、気圧、照度、ステップセンサの値、スクリーンロックオンオフセンサの値、バッテリ温度残量センサの値などのセンサの検出値を示す情報と、位置を示す情報とを、情報処理部304へ出力する。
通信部316は、通信モジュールによって実現される。通信部316は、通信網50を経由して、LTE(Long Term Evolution)などの携帯電話の通信規格、無線LAN(登録商標)などの通信規格にしたがって、危険性判定装置100などの他の装置と通信を行う。具体的には、通信部316は、情報処理部304が出力したセンサデータ通知を取得し、取得したセンサデータ通知を、危険性判定装置100へ送信する。通信部316は、危険性判定装置100が送信した危険性通知を受信し、受信した危険性通知を、情報処理部304へ出力する。
受付部312は、通信部306が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を受け付ける。受付部312は、センサ検出値通知を受け付けた場合に、センサ302に含まれるGPSから、端末装置300の位置を示す情報を取得する。情報処理部304は、取得した端末装置300の位置を示す情報と、センサ検出値通知に含まれるセンサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。
また、受付部312は、センサ302が出力したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを受け付ける。受付部312は、取得したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。
処理部314は、DB308に記憶されたセンサデータを取得し、取得したセンサデータと、端末IDとを含み、危険性判定装置100を宛先とするセンサデータ通知を作成する。処理部314は、作成したセンサデータ通知を、通信部316へ出力する。
処理部314は、通信部316が出力した危険性通知を取得し、取得した危険性通知に含まれるユーザの危険性を示す情報に基づいて、表示部310に文字と画像とのいずれか一方又は両方を表示することによって、端末装置300のユーザに、危険性を通知する。また、処理部314は、ユーザの危険性を示す情報に基づいて、音声を出力することによって、端末装置300のユーザに、危険性を通知する。
図3は、端末装置のDBに記憶される情報の一例を示す図である。図3に示される例では、DB308には、センサの検出値を示す情報1と位置を示す情報1と時刻を示す情報1とを関連付けた情報であるセンサデータ1と、センサの検出値を示す情報2と位置を示す情報2と時刻を示す情報2とを関連付けた情報であるセンサデータ2と、センサの検出値を示す情報3と位置を示す情報3と時刻を示す情報3とを関連付けた情報であるセンサデータ3とが記憶されている。図2に戻り説明を続ける。
表示部310は、情報処理部304と接続される。表示部310は、画像を表示したり、GUI(Graphical User Interface)などを介して画像、テキスト情報、アニメーションなどを表示する。具体的には、表示部310は、情報処理部304が出力したユーザの危険性を示す情報を取得し、取得したユーザの危険性を示す情報を処理することによって、文字と画像とのいずれか一方又は両方を表示する。図2に戻り説明を続ける。
危険性判定装置100は、情報処理部104と、通信部106と、DB108とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
情報処理部104は、通信部106と接続される。情報処理部104は、受付部112と、分析部113と、学習部115と、処理部114として機能する。
受付部112は、通信部106が出力したセンサデータ通知を取得し、取得したセンサデータ通知を受け付ける。受付部112は、受け付けたセンサデータ通知を、分析部113へ出力する。
ここで、センサデータの整形の一例について説明する。
図4は、整形前のセンサデータの一例を示す模式図である。センサデータは、ユーザを示す軸と、時刻を示す軸と、センサによって測定される項目を示す軸との三軸によって表されている。項目を示す軸に、センサの検出値が表される。図4には、user1が携帯する端末装置300が送信したセンサデータと、user2が携帯する端末装置300が送信したセンサデータと、user3が携帯する端末装置300が送信したセンサデータとが示されている。さらに、図4には、一例として、センサデータに、3軸加速度センサによって計測されたセンサの検出値と、3軸角速度センサによって計測されたセンサの検出値と、2次元GPSによって計測された位置を示す情報とが含まれることが示されている。
センサの検出値は、端末装置300の状態と、センサとに応じて、異なるタイミングで取得されている。つまり、センサの検出値が取得されるタイミングは、端末装置300によっても、センサによっても異なる。
分析部113は、user1が携帯する端末装置300が送信したセンサデータと、user2が携帯する端末装置300が送信したセンサデータと、user3が携帯する端末装置300が送信したセンサデータとのフォーマットを揃えるために、時刻を示す軸を複数の時間間隔(タイムスロット)に分割する。分析部113は、タイムスロットに含まれるセンサの検出値をセンサ毎に平均化するなどの統計処理を行い、統計処理を行うことによって得られる統計処理の結果を、そのタイムスロットのセンサの検出値とすることによって、センサデータを整形する。
図5は、整形後のセンサデータの一例を示す模式図である。図5は、センサ毎に、タイムスロットに含まれるセンサの検出値を統計処理することによって導出される統計処理の結果を、そのタイムスロットのセンサの検出値とした結果を示す。図5に示すように、各センサにおいて、タイムスロットに含まれるセンサの検出値は一個となり、user1が携帯する端末装置300が送信したセンサデータと、user2が携帯する端末装置300が送信したセンサデータとのフォーマットが揃っていることが分かる。
分析部113は、センサデータ通知に含まれる端末IDと、整形後のセンサデータとを関連付けた情報であるセンサデータ通知を、DB108へ出力する。図2に戻り説明を続ける。
具体的には、分析部113は、取得したセンサデータ通知に含まれるセンサの検出値と、DB108から抽出したセンサの検出値とに基づいて、教師なし学習を行うことによって、取得したセンサデータ通知に含まれるセンサの検出値が外れ値であるか否かを判定する。教師なし学習のアルゴリズムには、one−class SVM(support vector machine)、anomaly factorなどが含まれるが、いずれでもよい。
図6は、異常行動の一例を示す図である。図6には、歩行者P1の時間軸と、自動車V1の時間軸とが示されている。
図6に示される例では、分析部113は、時刻T1で得られたセンサの検出値が外れ値であると判断する。分析部113は、その外れ値をクラスター分析することによって、そのセンサの検出値をクラスター分析した結果に該当する異常行動を示す情報として、歩行者P1が歩きスマホを行っていることを導出する。
また、分析部113は、時刻T2で得られたセンサの検出値が外れ値であると判断する。分析部113は、その外れ値をクラスター分析することによって、そのセンサの検出値をクラスター分析した結果に該当する異常行動を示す情報として、自動車V1が生活道路を高速で走行していることを導出する。
また、分析部113は、時刻T3で得られたセンサの検出値が外れ値であると判断する。分析部113は、その外れ値をクラスター分析することによって、そのセンサの検出値をクラスター分析した結果に該当する異常行動を示す情報として、歩行者P1が生活道路の中心付近にはみ出していることを導出する。分析部113は、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知とを、学習部115と、処理部114とへ出力する。図2に戻り説明を続ける。
処理部114は、取得した異常行動の意味を示す情報と、時刻を示す情報と、位置を示す情報とに基づいて、センサデータ通知に含まれる端末IDに該当する端末装置を携帯しているユーザの危険性を判定する。
具体的には、処理部114は、取得した時刻を示す情報と、位置を示す情報とに基づいて、異常行動を時空間に表現する。異常行動を時空間に表現する方法については後述する。処理部114は、異常行動を起点として、その異常行動の位置を示す情報に基づいて、その位置から、空間的に半径Xメートルの範囲に存在するセル(周辺セル)から、起点に該当する異常行動以外の異常行動のデータを抽出する。さらに、処理部114は、抽出した異常行動のデータから、起点に該当する時刻から過去Y秒以内の異常行動を抽出する。
処理部114は、異常行動を抽出できなかった場合には、ユーザの危険性は低いと判定する。処理部114は、異常行動を抽出できた場合には、異常行動を抽出できなかった場合よりも、ユーザの危険性は高いと判定する。
ここで、異常行動を時空間に表現する方法の一例について説明する。具体的には、異常行動の位置を時空間に表現する。
図7は、異常行動の表現方法の一例を示す図である。
図7に示される例では、ある時刻における異常行動の位置が二次元で表現される。具体的には、学習部115は、ある時刻における異常行動が発生した位置を、第1軸を経度とし、第2軸を緯度とする座標系に表す。例えば、学習部115は、ある時刻における異常行動が発生した位置を、横軸を経度とし、縦軸を緯度とする二次元データに表す。さらに、学習部115は、格子状に横軸と縦軸との各々を複数に分割する。学習部115は、分割した横軸と分割した縦軸とによって、セルを形成する。学習部115は、形成した各セルの各々に、検出された異常行動(アクション)を多次元配列で表現する。
図7に示される例では、横軸が五区間に分割され、縦軸が五区間に分割され、5×5の25個のセルが形成される。図7に示される5×5のセルの各々を、「j」を、横軸を分割することによって得られる区間とし、「k」を、縦軸を分割することによって得られる区間として、「セル(j,k)(jは1〜5の整数、kは1〜5の整数)」で示す。
また、歩行者の異常行動が検出されたことを示す情報を、「歩行者l[o,p,q](lは歩行者を識別する情報、o,p,qは異常行動を識別する情報)」で表す。ここでは、「o」をアクション1と呼び、「p」をアクション2と呼び、「q」をアクション3と呼ぶ。
また、自動車の異常行動が検出されたことを示す情報を、「自動車r[s,t,u](rは自動車を識別する情報、s,t,uは異常行動を識別する情報)」で表す。ここでは、「s」をアクション1と呼び、「t」をアクション2と呼び、「u」をアクション3と呼ぶ。
さらに、図7の左図は、ある時刻に、セル(3,3)の北西方向のセル(1,5)において、歩行者1のアクション2(歩行者1[0,1,0])が検出されたことを示している。この場合には、セル(1,5)に、アクション2が検出されたことを示す情報である[0,1,0]が示される。
図7の右図は、ある時刻に、セル(3,3)において、自動車2のアクション1(自動車2[1,0,0])が、検出されたことを示している。この場合には、セル(3,3)に、アクション1が検出されたことを示す情報である[1,0,0]が示される。さらに、図7の右図は、ある時刻に、セル(3,2)において、自動車3のアクション3(自動車3[0,0,1])が、検出されたことを示している。この場合には、セル(3,2)に、アクション3が検出されたことを示す情報である[0,0,1]が示される。さらに、図7の右図は、ある時刻に、セル(1,4)において、自動車1のアクション2(自動車1[0,1,0])が、検出されたことを示している。この場合には、セル(1,4)に、アクション2が検出されたことを示す情報である[0,1,0]が示される。
図7の左図と右図とに示すように、横軸を経度とし、縦軸を緯度とする二次元データに、異常行動を表現することによって、どこで、どのような異常行動(アクション)が発生したのか表現できることが分かる。
学習部115は、自動車の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列する。自動車の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列することによって得られる時系列データを、「自動車環境特徴量行列」という。
図8は、歩行者環境特徴量行列と、自動車環境特徴量行列との一例を示す図である。図8の左図は、歩行者環境特徴量行列の一例を示す。図8の左図によれば、歩行者環境特徴量行列の一例は、歩行者の異常行動の位置を二次元データに表したデータを、時間方向に4個配列することによって得られる。図8の右図は、自動車環境特徴量行列の一例を示す。図8の右図によれば、自動車環境特徴量行列の一例は、自動車の異常行動の位置を二次元データに表したデータを、時間方向に4個配列することによって得られる。
学習部115は、歩行者環境特徴量行列と、自動車環境特徴量行列とに基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを学習する。
学習部115は、歩行者環境特徴量行列と、自動車環境特徴量行列とを、ディープニューラルネットワークに入力することによって、異常行動を起こした歩行者の危険性を学習させる。
図9は、本実施形態の危険性判定装置の動作の一例を示す図である。
図9に示される例では、危険性判定装置100の学習部115が、異常行動を起こした歩行者の危険性を学習する処理を示す。
学習部115は、3次元畳み込み層A1と、3次元畳み込み層A2と、3次元畳み込み層B1と、3次元畳み込み層B2と、全結合層C1と、全結合層C2と、全結合層C3とを有する。ここでは、歩行者環境特徴量行列の一例として、歩行者の異常行動の位置を二次元データに表したデータを、時間方向に四個配列することによって得られるデータ(以下「歩行者環境特徴量4次元行列」という)と、自動車環境特徴量行列の一例として、自動車の異常行動の位置を二次元データに表したデータを、時間方向に四個配列することによって得られるデータ(以下「自動車環境特徴量4次元行列」という)とを使用した場合について説明する。
歩行者環境特徴量4次元行列は、3次元畳み込み層A1に入力される。3次元畳み込み層A1は、歩行者環境特徴量4次元行列から特徴を抽出し、抽出した特徴を示す情報を、3次元畳み込み層A2へ出力する。3次元畳み込み層A2は、3次元畳み込み層A1が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴からさらに特徴を抽出し、抽出した特徴を示す情報を、全結合層C1へ出力する。全結合層C1は、3次元畳み込み層A2が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴を抽象化し、抽象化した特徴を示す情報を、全結合層C3へ出力する。
自動車環境特徴量4次元行列は、3次元畳み込み層B1に入力される。3次元畳み込み層B1は、自動車環境特徴量4次元行列から特徴を抽出し、抽出した特徴を示す情報を、3次元畳み込み層C2へ出力する。3次元畳み込み層C2は、3次元畳み込み層C1が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴からさらに特徴を抽出し、抽出した特徴を示す情報を、全結合層C2へ出力する。全結合層C2は、3次元畳み込み層B2が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴を抽象化し、抽象化した特徴を示す情報を、全結合層C3へ出力する。
全結合層C3は、3次元畳み込み層C1が出力した抽象化された特徴を示す情報と、3次元畳み込み層C2が出力した抽象化された特徴を示す情報とを取得し、取得した二つの抽象化された特徴を示す情報に基づいて、二つの抽象化された特徴を更に系列データとして抽象化する。学習部115は、抽象化した系列データに基づいて、歩行者の危険性を学習することによって、歩行者環境特徴量4次元行列と、自動車環境特徴量4次元行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを生成する。
図10は、危険性の判定処理の一例を示す図である。
図10(1)に示される例では、分析部113によって、時刻T1で外れ値が得られ、得られた外れ値に該当する異常行動として、歩きスマホが導出された場合について示す。この場合、時刻T1で導出された歩きスマホが起点となる。その起点を中心として、半径Xメートルで、且つ時刻T1から過去Y秒以内には、異常行動が存在しないため、処理部114は、学習部115に、歩きスマホが検出された位置を二次元データに表したデータを含む時系列データを対象として機械学習を行わせることによって、危険性を判定する。この場合、例えば、処理部114は、危険性は低いと判定する。
図10(2)に示される例では、分析部113によって、時刻T2で外れ値が得られ、得られた外れ値に該当する異常行動として、生活道路を高速で走行することが導出された場合について示す。この場合、時刻T2で導出された生活道路を高速で走行することが起点となる。起点を中心として、半径Xメートルで、且つ時刻T2から過去Y秒以内には、T2−T1<Yの場合には、時刻T1で導出された歩きスマホが存在するため、処理部114は、学習部115に、歩きスマホが検出された位置を二次元データに表したデータと、生活道路を高速で走行することが検出された位置を二次元データに表したデータとの両方を含む時系列データを対象として機械学習を行わせることによって、危険性を判定する。この場合、例えば、処理部114は、歩きスマホが検出された位置を二次元データに表したデータを含む時系列データを対象として危険性を判定する場合よりも、危険性は高いと判定する。
図10(3)に示される例では、分析部113によって、時刻T3で外れ値が得られ、得られた外れ値に該当する異常行動として、生活道路の中心付近にはみ出すことが導出された場合について示す。この場合、時刻T3で導出された生活道路の中心付近にはみ出すことが起点となる。起点を中心として、半径Xメートルで、且つ時刻T3から過去Y秒以内には、T3−T1<Yの場合には、時刻T1で導出された歩きスマホと、時刻T1で導出された生活道路を高速で走行することとが存在するため、処理部114は、学習部115に、歩きスマホが検出された位置を二次元データに表したデータと、生活道路を高速で走行することが検出された位置を二次元データに表したデータと、生活道路の中心付近にはみ出すことが検出された位置を二次元データに表したデータとを含む時系列データを対象として機械学習を行わせることによって、危険性を判定する。この場合、例えば、処理部114は、歩きスマホが検出された位置を二次元データに表したデータを含む時系列データを対象として危険性を判定する場合と、歩きスマホが検出された位置を二次元データに表したデータと生活道路を高速で走行することが検出された位置を二次元データに表したデータとの両方を含む時系列データ対象として危険性を判定する場合よりも、危険性は高いと判定する。
処理部114は、危険性が高いと判定した場合に、危険性が高いことを示す情報を含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力する。ここで、処理部114は、危険性が高いと判定した場合に、危険性が高いことを示す情報と、詳細情報を端末装置300に取得させるための情報である詳細情報取得情報とを含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力するようにしてもよい。ここで、詳細情報には、コンテンツが含まれる。この危険性通知を受信した端末装置300は、詳細情報取得情報に基づいて、危険性判定装置100へアクセスする。処理部114は、端末装置300によるアクセスに基づいて、通信部106から端末装置300へ、コンテンツを送信する。処理部114は、危険性が低いと判定した場合、処理を終了する。
学習部115は、判定結果に基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを更新する。
図11は、DB108に記憶される情報の一例を示す図である。図11に示される例では、DB108には、端末ID「0001」と、センサの検出値を示す情報1と位置を示す情報1と時刻を示す情報1とを関連付けた情報であるセンサデータ1とが関連付けて記憶されている。また、DB108には、端末ID「0002」と、センサの検出値を示す情報2と位置を示す情報2と時刻を示す情報2とを関連付けた情報であるセンサデータ2とが関連付けて記憶されている。また、DB108には、端末ID「0003」と、センサの検出値を示す情報3と位置を示す情報3と時刻を示す情報3とを関連付けた情報であるセンサデータ3とが関連付けて記憶されている。
図12は、本実施形態の危険性判定システムの動作の一例を示すシーケンスチャートである。
(ステップS1)
センサ202は、センサの検出値を示す情報を、情報処理部204へ出力する。情報処理部204は、センサ202が出力したセンサの検出値を示す情報を取得した場合に、時計部から、そのセンサの検出値を示す情報を取得した時刻を取得する。情報処理部204は、センサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを含み、端末装置300をあて先とするセンサ検出値通知を作成し、作成したセンサ検出値通知を、通信部206へ出力する。
(ステップS2)
通信部206は、情報処理部204が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を、端末装置300へ送信する。
(ステップS3)
端末装置300の通信部306は、自動車200が送信したセンサ検出値通知を受信し、受信したセンサ検出値通知を、情報処理部304へ出力する。情報処理部304の受付部312は、通信部306が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を受け付ける。受付部312は、センサ検出値通知を受け付けた場合に、センサ302に含まれるGPSから、端末装置300の位置を示す情報を取得する。受付部312は、取得した端末装置300の位置を示す情報と、センサ検出値通知に含まれるセンサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。DB308は、受付部312が出力したセンサデータを、記憶する。
また、受付部312は、センサ302が出力したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを受け付ける。受付部312は、取得したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。DB308は、受付部312が出力したセンサデータを、記憶する。
端末装置300の処理部314は、DB308に記憶されたセンサデータを取得し、取得したセンサデータと、端末IDとを含み、危険性判定装置100を宛先とするセンサデータ通知を作成する。処理部314は、作成したセンサデータ通知を、通信部316へ出力する。
(ステップS5)
通信部316は、情報処理部304が出力したセンサデータ通知を取得し、取得したセンサデータ通知を、危険性判定装置100へ送信する。
(ステップS6)
危険性判定装置100の通信部106は、端末装置300が送信したセンサデータ通知を受信し、受信したセンサデータ通知を、情報処理部104へ出力する。情報処理部104の受付部112は、通信部106が出力したセンサデータ通知を取得し、取得したセンサデータ通知を受け付ける。受付部112は、受け付けたセンサデータ通知を、分析部113へ出力する。分析部113は、受付部112が出力したセンサデータ通知を取得し、取得したセンサデータ通知に含まれるセンサデータを取得する。分析部113は、取得したセンサデータを整形する。分析部113は、受け付けたセンサデータ通知に含まれる端末IDと、整形後のセンサデータとを関連付けた情報であるセンサデータ通知を、DB108へ出力する。DB108は、分析部113が出力した端末IDと、整形後のセンサデータとを関連付けた情報であるセンサデータ通知を取得し、取得したセンサデータ通知を記憶する。
(ステップS7)
分析部113は、センサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出する。分析部113は、抽出したセンサデータ通知に含まれるセンサの検出値を示す情報を取得する。分析部113は、取得したセンサの検出値を示す情報に基づいて、取得したセンサデータ通知に含まれるセンサの検出値が、外れ値であるか否かを判定する。ここでは、分析部113が、センサの検出値を、外れ値であると判定した場合について、説明を続ける。分析部113が、センサの検出値を、外れ値でないと判定した場合には、処理を終了する。
分析部113は、取得したセンサデータ通知に含まれるセンサの検出値が外れ値であると判定した場合に、その外れ値に基づいて、その外れ値を含むセンサデータ通知に含まれる端末IDに該当する端末装置のユーザの異常行動を示す情報を導出する。分析部113は、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知とを、学習部115と、処理部114とへ出力する。
(ステップS9)
処理部114は、分析部113が出力した異常行動を示す情報と、外れ値を含むセンサデータ通知とを取得する。処理部114は、取得した外れ値を含むセンサデータ通知から時刻を示す情報と、位置を示す情報とを取得する。処理部114は、取得した異常行動を示す情報と、時刻を示す情報と、位置を示す情報とに基づいて、学習部115に機械学習を行わせることによって、センサデータに含まれる端末IDに該当する端末装置を携帯しているユーザの危険性を判定する。ここでは、処理部114が、ユーザの危険性が高いと判定した場合について説明を続ける。処理部114は、危険性が低いと判定した場合、処理を終了する。
処理部114は、危険性が高いと判定した場合、危険性が高いことを示す情報を含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力する。
(ステップS10)
通信部106は、情報処理部104が出力した危険性通知を取得し、取得した危険性通知を、端末装置300へ送信する。
(ステップS11)
端末装置300の通信部316は、危険性判定装置100が送信した危険性通知を受信し、受信した危険性通知を、情報処理部304へ出力する。情報処理部304の処理部314は、通信部316が出力した危険性通知を取得し、取得した危険性通知に含まれるユーザの危険性を示す情報に基づいて、表示部310に文字と画像とのいずれか一方又は両方を表示することによって、端末装置300のユーザに、危険性を通知する。また、処理部314は、ユーザの危険性を示す情報に基づいて、音声を出力することによって、端末装置300のユーザに、危険性を通知する。
(ステップS12)
危険性判定装置100の学習部115は、判定結果に基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを更新する。
前述した実施形態では、危険性判定装置100の分析部113が、センサデータを整形する場合について説明したが、この限りでない。例えば、端末装置300の処理部314が、センサデータを整形してもよい。このように構成することによって、危険性判定装置100は、センサデータを整形する処理を省略できるため、処理負荷を低減できる。
前述した実施形態では、危険性判定装置100の分析部113が、教師なし学習を用いて、センサデータ通知に含まれるセンサの検出値が外れ値であるか否かを判定する場合について説明したが、この例に限られない。例えば、分析部113は、モデルベース判定によって、センサデータ通知に含まれるセンサの検出値が外れ値であるか否かを判定してもよい。また、分析部113は、教師なし学習と、モデルベース判定とを併用してもよい。モデルベース判定によって、センサの検出値が外れ値であるか否かを判定することによって、教師なし学習によってセンサの検出値が外れ値であるか否かを判定する場合よりも処理時間を短縮できる。
前述した実施形態では、異常行動を示す情報の例として、歩行者P1が歩きスマホを行っている場合、自動車V1が生活道路を高速で走行している場合と、歩行者P1が生活道路の中心付近にはみ出している場合とについて説明したが、この限りでない。例えば、異常行動を示す情報の例として、自動車が停車した場合、歩行者が飛び出した場合等が含まれてもよい。
前述した実施形態では、異常行動の表現方法の一例として、第1軸を経度とし、第2軸を緯度とする座標系において、横軸が五区間に分割され、縦軸が五区間に分割され、5×5の25個のセルが形成される場合について説明したがこの限りでない。例えば、横軸が二区間から四区間に分割されてもよいし、六区間以上に分割されてもよい。縦軸が二区間から四区間に分割されてもよいし、六区間以上に分割されてもよい。また、横軸と縦軸との区間の数は、同じであってもよいし、異なっていてもよい。
前述した実施形態では、危険性判定装置100の学習部115が、歩行者環境特徴量4次元行列を処理する3次畳み込み層が二段である場合について説明したが、この限りでない。例えば、3次畳み込み層が一段であってもよいし、三段以上であってもよい。
前述した実施形態では、危険性判定装置100の学習部115が、自動車環境特徴量4次元行列を処理する3次畳み込み層が二段である場合について説明したが、この限りでない。例えば、3次畳み込み層が一段であってもよいし、三段以上であってもよい。
前述した実施形態では、端末装置300は、通信網50を経由して、センサデータ通知を、危険性判定装置100へ送信する場合について説明したが、この例に限られない。例えば、端末装置300は、通信網50を経由して、センサデータ通知を、クラウド、エッジクラウド、専用サーバへ送信してもよい。この場合、危険性判定装置100は、クラウド、エッジクラウド、専用サーバから、センサデータ通知を取得する。
前述した実施形態では、危険性判定装置100が、センサの検出値が外れ値であると判定した場合に、その外れ値に基づいて、その外れ値を含むセンサデータ通知に含まれる端末IDに該当する端末装置のユーザの異常行動を導出する場合について説明したがこの限りでない。例えば、危険性判定装置100は、外れ値に加えて、端末装置300のユーザのプロファイルと、環境情報とのいずれか一方又は両方に基づいて、その外れ値を含むセンサデータ通知に含まれる端末IDに該当する端末装置のユーザの異常行動を導出してもよい。ここで、プロファイルには、ユーザの年齢と性別とが含まれる。また、環境情報には、天候(天気・気温)と、時刻と、ユーザが乗車している自動車200が走行している道路のレーンの数と、ユーザの近傍の建物の有無と、ユーザの周辺のPoI(point of interest)とが含まれる。
また、危険性判定装置100は、自動車200が取得したセンサの検出値と、端末装置300が取得したセンサの検出値とに基づいて、端末装置300のユーザの危険性を判定する。このように構成することによって、危険性判定装置100は、自動車200が取得したセンサの検出値と、端末装置300が取得したセンサの検出値とのいずれかに基づいて、端末装置300のユーザの危険性を判定する場合よりも、擬陽性を低減できる。
また、危険性判定装置100は、センサデータ通知に含まれるセンサの検出値と、DB108から抽出したセンサの検出値とに基づいて、教師なし学習とモデルベース判定とのいずれかを用いて、取得したセンサデータ通知に含まれるセンサの検出値が外れ値であるか否かを判定する。このように構成することによって、事前に策定したルールに依存せず、個人や状況に対する汎化性を向上できる。
また、危険性判定装置100は、歩行者環境特徴量行列と、自動車環境特徴量行列とに基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、その入力と、歩行者の危険性との関係を表す学習モデルを用いて、異常行動を起こした歩行者の危険性を判定する。このように構成することによって、事前に策定したルールに依存せず、個人や状況に対する汎化性を向上できる。
さらに、機械学習を多段とし、センサの検出値が外れ値であるか否かと、端末装置300のユーザの危険性の判定とを行うことで、前段処理を何度も実行するような無駄を省くことができるため、処理負荷を低減できる。また、判定するには処理遅延が大きすぎるため実用化できない処理について、精度を維持しつつ、処理を高速化できる。
また、危険性判定装置100は、判定結果に基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、その入力と、歩行者の危険性との関係を表す学習モデルを更新する。このように構成することによって、適宜ルールを更新(アップデート)できるため、個人や状況に応じたルールを適用できる。このため、方式としての汎化性を高めることができる。
また、危険性判定装置100は、自動車200が取得したセンサの検出値と、端末装置300が取得したセンサの検出値とを、端末装置300から取得する。このように、端末装置300から取得することによって、専用デバイスを必要とせず、一定以上普及率を見込めるアプローチを適用できるため、現実世界での実行可能性を向上できる。また、一般的なデバイスのみでシステムを構成できる。
本発明の実施形態の変形例の危険性判定システムについて説明する。本発明の実施形態の変形例の危険性判定システムは、図1を参照して説明した危険性判定システムにおいて、危険性判定装置100の代わりに、危険性判定装置100aと、学習装置100bとを備えるようにしたものである。
本実施形態の変形例の危険性判定システム1aは、危険性判定装置100aと、学習装置100bと、自動車200−1から自動車200−mと、端末装置300−1から端末装置300−nとを備える。
端末装置300−1から端末装置300−nの各々と、危険性判定装置100aと、学習装置100bとは、通信網50を介して互いに、接続される。
端末装置300−1から端末装置300−mの各々は、自動車200−1から自動車200−mが送信したセンサの検出値を示す情報と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100aと、学習装置100bとをあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100aと、学習装置100bとへ送信する。
端末装置300−1から端末装置300−nの各々は、搭載したセンサが検出したセンサの検出値と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100aと、学習装置100bとをあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100aと、学習装置100bとへ送信する。
危険性判定装置100aは、記憶している複数のセンサデータ通知のうち、受け付けたセンサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出する。危険性判定装置100aは、抽出したセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。危険性判定装置100aは、外れ値でないと判定した場合には、処理を終了する。危険性判定装置100aは、外れ値であると判定した場合にはその外れ値に基づいて、端末装置のユーザの異常行動を導出する。
危険性判定装置100aは、異常行動を導出した場合に、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とを含み、学習装置100bを宛先とする危険性判定要求を作成し、作成した危険性判定要求を、学習装置100bへ送信する。
学習装置100bは、危険性判定装置100aが送信した危険性判定要求を受信し、受信した危険性判定要求に含まれる異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とを取得し、取得した異常行動を示す情報と、外れ値を含むセンサデータに含まれる時刻を示す情報及び位置を示す情報とに基づいて、センサデータ通知を送信した端末装置を携帯しているユーザの危険性を判定する。学習装置100bは、端末装置を携帯しているユーザの危険性を示す情報を含み、危険性判定装置100aを宛先とする危険性判定応答を作成し、作成した危険性判定応答を、危険性判定装置100aへ送信する。
危険性判定装置100aは、学習装置100bが送信した危険性判定応答を受信し、受信した危険性判定応答に含まれる端末装置を携帯しているユーザの危険性を示す情報を取得し、取得したユーザの危険性を示す情報を含み、外れ値を含むセンサデータ通知を送信した端末装置をあて先とする危険性通知を作成し、作成した危険性通知を、その端末装置へ送信する。
図13は、本発明の実施形態の変形例の危険性判定システムを構成する自動車と、端末装置と、危険性判定装置と、学習装置との一例を示す図である。
(危険性判定装置)
危険性判定装置100aは、情報処理部104aと、通信部106と、DB108とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
情報処理部104aは、通信部106と接続される。情報処理部104aは、受付部112と、分析部113と、処理部114aとして機能する。
通信部106は、端末装置300が送信したセンサデータ通知を受信し、受信したセンサデータを、情報処理部104aへ出力する。通信部106は、情報処理部104aが出力した危険性判定要求を取得し、取得した危険性判定要求を、学習装置100bへ送信する。通信部106は、学習装置100bが送信した危険性判定応答を取得し、取得した危険性判定応答を、情報処理部104bへ出力する。
処理部114aは、分析部113が出力した異常行動を示す情報と、外れ値を含むセンサデータ通知とを取得する。処理部114aは、取得した外れ値を含むセンサデータ通知から時刻を示す情報と、位置を示す情報とを取得する。
処理部114aは、取得した異常行動の意味を示す情報と、時刻を示す情報と、位置を示す情報とに基づいて、センサデータに含まれる端末IDに該当する端末装置を携帯しているユーザの危険性を判定する。具体的には、処理部114aは、異常行動を示す情報と、時刻を示す情報と、位置を示す情報とを含み、学習装置100bを宛先とする危険性判定要求を作成し、作成した危険性判定要求を、通信部106から、学習装置100bへ送信する。
処理部114aは、危険性判定要求に対して、学習装置100bが送信した危険性判定応答を取得し、取得した危険性判定応答に含まれる危険性の判定結果に基づいて、危険性が高いと判定した場合に、危険性が高いことを示す情報を含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力する。ここで、処理部114aは、危険性が高いと判定した場合に、危険性が高いことを示す情報と、詳細情報を端末装置300に取得させるための情報である詳細情報取得情報とを含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力するようにしてもよい。ここで、詳細情報には、コンテンツが含まれる。この危険性通知を受信した端末装置300は、詳細情報取得情報に基づいて、危険性判定装置100へアクセスする。処理部114aは、端末装置300によるアクセスに基づいて、通信部106から端末装置300へ、コンテンツを送信する。処理部114aは、危険性が低いと判定した場合、処理を終了する。
学習装置100bは、情報処理部104bと、通信部106と、DB108とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
通信部106は、端末装置300が送信したセンサデータ通知を受信し、受信したセンサデータ通知を、情報処理部104bへ出力する。通信部106は、危険性判定装置100aが送信した危険性判定要求を受信し、受信した危険性判定要求を情報処理部104bへ出力する。通信部106は、情報処理部104bが出力した危険性判定応答を取得し、取得した危険性判定応答を、危険性判定装置100aへ送信する。
情報処理部104bは、通信部106と接続される。情報処理部104bは、受付部112と、学習部115bとして機能する。
受付部112は、通信部106が出力したセンサデータ通知を取得し、取得したセンサデータ通知を受け付ける。受付部112は、受け付けたセンサデータ通知を、学習部115bへ出力する。受付部112は、通信部106が出力した危険性判定要求を取得し、取得した危険性判定要求を受け付ける。受付部112は、受け付けた危険性判定要求を、学習部115bへ出力する。 学習部115bは、受付部112が出力した危険性判定要求を取得し、取得した危険性判定要求に含まれる外れ値を含むセンサデータ通知から時刻を示す情報と、位置を示す情報とを取得する。
学習部115bは、歩行者の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列することによって、歩行者環境特徴量行列を作成する。
学習部115bは、自動車の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列することによって自動車環境特徴量行列を作成する。
学習部115bは、歩行者環境特徴量行列と、自動車環境特徴量行列とに基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを学習する。
学習部115bは、歩行者環境特徴量行列と、自動車環境特徴量行列とを、ディープニューラルネットワークに入力することによって、異常行動を起こした歩行者の危険性を学習させる。
学習部115bは、異常行動を起こした歩行者の危険性を学習させることによって得られた危険性の判定結果を含み、危険性判定装置100aを宛先とする危険性判定応答を作成し、作成した危険性判定応答を、通信部106へ出力する。
通信部106は、学習部115bが出力した危険性判定応答を取得し、取得した危険性判定応答を、危険性判定装置100aへ送信する。
危険性判定システム1aの動作は、図12を適用できる。ただし、ステップS9の処理が、学習装置100bによって行われる。
なお、上述した危険性判定システム1に含まれる自動車200と、端末装置300と、危険性判定装置100と、危険性判定システム1aに含まれる自動車200と、端末装置300と、危険性判定装置100aと、学習装置100bとは、コンピュータで実現するようにしてもよい。その場合、各機能ブロックの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録する。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、CPUが実行することで実現してもよい。ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器などのハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROMなどの可搬媒体のことをいう。また、「コンピュータ読み取り可能な記録媒体」は、コンピュータシステムに内蔵されるハードディスクなどの記憶装置を含む。
さらに「コンピュータ読み取り可能な記録媒体」とは、短時間の間、動的にプログラムを保持するものを含んでいてもよい。短時間の間、動的にプログラムを保持するものは、例えば、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線である。
また、「コンピュータ読み取り可能な記録媒体」には、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよい。また、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記プログラムは、プログラマブルロジックデバイスを用いて実現されるものであってもよい。プログラマブルロジックデバイスは、例えば、FPGA(Field Programmable Gate Array)である。
Claims (9)
- 複数の端末装置の各々が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付ける受付部と、
複数のセンサデータ通知を記憶する記憶部と、
前記記憶部に記憶している複数の前記センサデータ通知のうち、前記受付部が受け付けたセンサデータ通知に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定した場合に前記外れ値に基づいて、前記端末装置のユーザの異常行動を導出する分析部と、
前記分析部が異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、前記端末装置を携帯しているユーザの危険性を判定する処理部と
を備える、危険性判定装置。 - 前記分析部は、センサの検出値と、異常行動を示す情報とを関連付けた異常行動関連情報と、前記外れ値であると判定した前記センサの前記検出値とに基づいて、前記端末装置のユーザの異常行動を導出する、請求項1に記載の危険性判定装置。
- 前記分析部は、前記記憶部に記憶している複数の前記センサデータ通知のうち、前記受付部が受け付けたセンサデータ通知に含まれる前記端末装置の識別情報と同じ識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、受け付けた前記センサの前記検出値が外れ値であるかを判定し、
前記処理部は、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、前記端末装置を携帯しているユーザの危険性を判定する、請求項1又は請求項2に記載の危険性判定装置。 - 第1軸と、第2軸とを有する座標系で表される二次元で表したデータである二次元データにおいて、前記第1軸と前記第2軸との各々が複数に分割され、分割された前記第1軸及び前記第2軸によってセルが形成され、
前記分析部は、前記位置に該当するセルに、前記異常行動を示す情報を表す、請求項1から請求項3のいずれか一項に記載の危険性判定装置。 - 複数の前記端末装置が送信するセンサデータ通知の各々には、前記ユーザが乗車する自動車に搭載されたセンサが検出したセンサの検出値と、前記端末装置に搭載されたセンサが検出したセンサの検出値とのいずれか一方又は両方が含まれ、
前記危険性判定装置は、
前記ユーザの異常行動を示す情報を表した二次元データの時系列データと、前記自動車の異常行動を表した二次元データの時系列データとに基づいて、ユーザの異常行動を示す情報を表した二次元データと、自動車の異常行動を表した二次元データとを入力とし、前記入力と、ユーザの危険性との関係を表す学習モデルを学習によって生成する学習部を備え、
前記処理部は、前記学習部が生成した前記学習モデルに基づいて、前記ユーザの危険性を判定する、請求項4に記載の危険性判定装置。 - 前記処理部は、前記異常行動を示す情報を表したセルと、前記セルの周辺のセルである周辺セルとの各々に関連付けて記憶されている異常行動に基づいて、前記端末装置を携帯しているユーザの危険性を判定する、請求項4に記載の危険性判定装置。
- 前記処理部が判定した前記ユーザの危険性を、前記ユーザへ通知する通信部
を備える、請求項1から請求項6のいずれか一項に危険性判定装置。 - 危険性判定装置が実行する危険性判定方法であって、
複数の端末装置の各々が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付けるステップと、
複数のセンサデータ通知を記憶する記憶部に記憶している複数の前記センサデータ通知のうち、受け付けたセンサデータ通知に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定した場合に前記外れ値に基づいて、前記端末装置のユーザの異常行動を導出するステップと、
前記異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、前記端末装置を携帯しているユーザの危険性を判定するステップと
を有する、危険性判定方法。 - 危険性判定装置のコンピュータに、
複数の端末装置の各々が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付けるステップと、
複数のセンサデータ通知を記憶する記憶部に記憶している複数の前記センサデータ通知のうち、受け付けたセンサデータ通知に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定した場合に前記外れ値に基づいて、前記端末装置のユーザの異常行動を導出するステップと、
前記異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、前記端末装置を携帯しているユーザの危険性を判定するステップと
を実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019029859A JP7182167B2 (ja) | 2019-02-21 | 2019-02-21 | 危険性判定装置、危険性判定方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019029859A JP7182167B2 (ja) | 2019-02-21 | 2019-02-21 | 危険性判定装置、危険性判定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020135564A true JP2020135564A (ja) | 2020-08-31 |
JP7182167B2 JP7182167B2 (ja) | 2022-12-02 |
Family
ID=72278733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019029859A Active JP7182167B2 (ja) | 2019-02-21 | 2019-02-21 | 危険性判定装置、危険性判定方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7182167B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116612641A (zh) * | 2023-07-19 | 2023-08-18 | 天津中德应用技术大学 | 基于智能网联的车辆队列控制数据处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012014280A1 (ja) * | 2010-07-27 | 2012-02-02 | トヨタ自動車株式会社 | 運転支援装置 |
JP2016157178A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社エヌ・ティ・ティ・データ | 判定装置、携帯端末及び判定方法 |
JP2016218873A (ja) * | 2015-05-25 | 2016-12-22 | マツダ株式会社 | 車両用歩行者画像取得装置 |
JP2018073326A (ja) * | 2016-11-04 | 2018-05-10 | アイシン・エィ・ダブリュ株式会社 | 出力システム、及び出力プログラム |
-
2019
- 2019-02-21 JP JP2019029859A patent/JP7182167B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012014280A1 (ja) * | 2010-07-27 | 2012-02-02 | トヨタ自動車株式会社 | 運転支援装置 |
JP2016157178A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社エヌ・ティ・ティ・データ | 判定装置、携帯端末及び判定方法 |
JP2016218873A (ja) * | 2015-05-25 | 2016-12-22 | マツダ株式会社 | 車両用歩行者画像取得装置 |
JP2018073326A (ja) * | 2016-11-04 | 2018-05-10 | アイシン・エィ・ダブリュ株式会社 | 出力システム、及び出力プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116612641A (zh) * | 2023-07-19 | 2023-08-18 | 天津中德应用技术大学 | 基于智能网联的车辆队列控制数据处理方法 |
CN116612641B (zh) * | 2023-07-19 | 2023-09-22 | 天津中德应用技术大学 | 基于智能网联的车辆队列控制数据处理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7182167B2 (ja) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11787413B2 (en) | Baseline event detection system | |
US11611621B2 (en) | Event detection system | |
US11494921B2 (en) | Machine-learned model based event detection | |
US11080568B2 (en) | Object-model based event detection system | |
US12056922B2 (en) | Event notification system | |
US11060882B2 (en) | Travel data collection and publication | |
US20180066959A1 (en) | Wearable sensor data to improve map and navigation data | |
CA2848995C (en) | A computing platform for development and deployment of sensor-driven vehicle telemetry applications and services | |
US9925940B1 (en) | Method and system for identifying vehicle collisions using sensor data | |
US20220014895A1 (en) | Spatiotemporal analysis for emergency response | |
US9247408B2 (en) | Interactive emergency information and identification | |
CA3162430A1 (en) | Systems and methods for delivering and supporting digital requests for emergency service | |
US20220027417A1 (en) | Modular application programming interface system | |
US20150213555A1 (en) | Predicting driver behavior based on user data and vehicle data | |
US20210095986A1 (en) | Travel based notifications | |
CN116472562A (zh) | 用于自动行程熟悉度识别的移动设备和系统及其对应方法 | |
US11217044B1 (en) | Map-based notification system | |
JP7182167B2 (ja) | 危険性判定装置、危険性判定方法、及びプログラム | |
JP7340176B2 (ja) | 危険性判定装置、危険性判定方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190322 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7182167 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |