JP2023092989A - Program, information processing method, drive recorder, and information processing system - Google Patents
Program, information processing method, drive recorder, and information processing system Download PDFInfo
- Publication number
- JP2023092989A JP2023092989A JP2021208342A JP2021208342A JP2023092989A JP 2023092989 A JP2023092989 A JP 2023092989A JP 2021208342 A JP2021208342 A JP 2021208342A JP 2021208342 A JP2021208342 A JP 2021208342A JP 2023092989 A JP2023092989 A JP 2023092989A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- information
- input
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 24
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims description 90
- 230000008569 process Effects 0.000 claims description 78
- 238000001514 detection method Methods 0.000 claims description 21
- 238000003860 storage Methods 0.000 description 67
- 238000012545 processing Methods 0.000 description 63
- 238000004891 communication Methods 0.000 description 40
- 230000006399 behavior Effects 0.000 description 24
- 238000012790 confirmation Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 15
- 238000012549 training Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 102100040160 Rabankyrin-5 Human genes 0.000 description 2
- 101710086049 Rabankyrin-5 Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
Images
Landscapes
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本開示は、プログラム、情報処理方法、ドライブレコーダー、及び情報処理システムに関する。 The present disclosure relates to a program, an information processing method, a drive recorder, and an information processing system.
特許文献1では、車両の走行中に前方車両との車間距離を計測し、車間距離が車間閾値以下となった場合に警報の鳴動を行うシステムが開示されている。特許文献1に開示されたシステムでは、車間警報イベントが発生したことが記録され、記録内容から運転者の運転評価が行われる。
特許文献1には、前方車両との車間距離のほかに、速度オーバー、急発進、急加速、急ブレーキ等の運行データに基づいて、運転者の運転評価を行うことが開示されている。一方、事故につながる状況としては、車両が後方に進行するバック走行時が挙げられる。しかし、特許文献1では、バック走行時の運行データを検知して運転者の運転評価を行うことについては開示されていない。
本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、車両のバック走行時の運転状態を判定することが可能なプログラム等を提供することにある。 The present disclosure has been made in view of such circumstances, and an object of the present disclosure is to provide a program or the like capable of determining the driving state of a vehicle during reverse running.
本開示の一態様に係るプログラムは、車両のバックギアの入力を検出し、バックギアの入力を検出した後の所定期間内に前記車両の後進を検出した場合に、バック走行に関する危険運転の発生を検知する処理をコンピュータに実行させる。 A program according to an aspect of the present disclosure detects an input of a reverse gear of a vehicle, and when the reverse movement of the vehicle is detected within a predetermined period after detecting the input of the reverse gear, dangerous driving related to reverse running occurs. causes the computer to execute the process of detecting
本開示の一態様にあっては、車両のバック走行時の運転状態を判定することができる。 According to one aspect of the present disclosure, it is possible to determine the driving state of the vehicle while the vehicle is backing up.
以下に、本開示のプログラム、情報処理方法、ドライブレコーダー、及び情報処理システムについて、その実施形態を示す図面に基づいて詳述する。 A program, an information processing method, a drive recorder, and an information processing system of the present disclosure will be described in detail below based on drawings showing embodiments thereof.
(実施形態1)
図1は、情報処理システムの構成例を示す説明図である。本実施形態では、車両に搭載されたドライブレコーダー10によって危険な運転が行われたか否かを監視し、危険な運転が行われたことを検知した場合に、運転者に対してアラートを出力すると共に、車両を管理する事業者に通知する情報処理システムについて説明する。本実施形態の情報処理システムは、運送事業者、タクシー事業者、バス事業者等の車両を使用する事業者によって利用され、各事業者が管理する車両にドライブレコーダー10が搭載される。なお、本実施形態の情報処理システムを利用する事業者は、上述した事業者に限定されず、例えば、各種の事業者が使用する社用車にドライブレコーダー10が搭載されて利用されてもよい。
(Embodiment 1)
FIG. 1 is an explanatory diagram showing a configuration example of an information processing system. In this embodiment, the
本実施形態の情報処理システムは、車両に搭載されたドライブレコーダー10、サーバ30、及び事業者が使用する事業者端末40等を含み、各機器は、インターネット等のネットワークNを介して通信接続されている。なお、ドライブレコーダー10は、4G(Generation)回線、5G回線、LTE(Long Term Evolution)回線、LPWA(Low Power Wide Area)回線等の携帯電話回線を介してインターネットに接続される構成でもよい。ドライブレコーダー10は、車両の走行状態を検出し、危険な運転が行われたか否かを判定し、危険な運転が行われたことを検知した場合に運転状態を示す情報をサーバ30へ送信する。本実施形態において危険な運転とは、車両が後方に走行するバック走行において事故の発生につながるような運転状態を意味し、以下の説明では、危険な運転の発生をイベントの発生と呼ぶ。
The information processing system of this embodiment includes a
サーバ30は、本実施形態の情報処理システムを提供する事業者が管理するサーバである。サーバ30は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。サーバ30は、ドライブレコーダー10が検知したイベント(危険な運転状態)に関する情報(以下ではイベント情報と呼ぶ)を受信して蓄積する処理を行う。またサーバ30は、イベントが発生した車両を管理する事業者の事業者端末40に対して、イベントの発生を通知する処理を行う。更にサーバ30は、ウェブサーバの機能を有しており、事業者端末40からのアクセスに応じて、蓄積する各イベント情報を事業者端末40に提供する処理を行う。事業者端末40は、本実施形態の情報処理システムを利用する事業者の担当者が使用する情報端末であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等である。事業者端末40は、メッセージを送受信する機能、及びウェブサイトを閲覧する機能を有する情報端末であれば、上述した機器に限定されない。
The
図2は、ドライブレコーダー10の構成例を示すブロック図である。ドライブレコーダー10は、制御部11、記憶部12、通信部13、入力部14、表示部15、記憶読出部16、測位部17、車外カメラ18、車内カメラ19、スピーカ20、車内通信部21等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してあるプログラム12Pを適宜実行することにより、ドライブレコーダー10が行うべき種々の情報処理及び制御処理を実行する。制御部11には、日時(年/月/日/時/分/秒)を示す時計11aが接続してあり、制御部11は、時計11aから現在日時を取得する。
FIG. 2 is a block diagram showing a configuration example of the
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行するプログラム12P(プログラム製品)及び各種のデータを記憶している。また記憶部12は、制御部11がプログラム12Pを実行する際に発生するデータ等を一時的に記憶する。プログラム12P及び各種のデータは、ドライブレコーダー10の製造段階において記憶部12に書き込まれてもよく、制御部11が通信部13を介して他の装置からダウンロードして記憶部12に記憶してもよい。
The
通信部13は、無線通信に関する処理を行うための通信モジュールであり、ネットワークNを介して他の装置との間で情報の送受信を行う。入力部14は、ユーザ(例えば車両の運転者)による操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。表示部15は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。入力部14の一部及び表示部15は一体として構成されたタッチパネルであってもよい。
The
記憶読出部16は、例えば記憶媒体16aの着脱が可能に構成してあり、装着された記憶媒体16aに対してデータの記憶処理(書き込み処理)及び読み出し処理を行う。記憶媒体16aは例えば、SD(Secure Digital)メモリカード、USB(Universal Serial Bus)メモリ等の可搬型記憶媒体である。記憶媒体16aはドライブレコーダー10に着脱可能である必要はないが、着脱可能に構成した場合、ドライブレコーダー10から取り外した記憶媒体16aを他の装置に装着することにより、記憶媒体16aに記憶したデータを他の装置で処理することができる。本実施形態のドライブレコーダー10では、カメラ18,19を用いて撮影した映像データが逐次記憶媒体16aに記憶される。
The storage/
測位部17は、ドライブレコーダー10の現在位置を示す測位データ(例えば緯度、経度、高度等のデータ)を生成して制御部11へ送出する。測位部17は、例えばGPS(Global Positioning System)受信機を有し、GPS衛星から送信されるGPS信号をGPS受信機にて受信し、受信したGPS信号に基づいて測位データを生成する。なお、ドライブレコーダー10が、例えば車両に搭載されているナビゲーション装置と通信できる場合、測位部17を設ける代わりに、ナビゲーション装置と通信する通信部を備える構成でもよい。この場合、ドライブレコーダー10は、ナビゲーション装置と有線通信又は無線通信を行うナビ通信部を備え、ナビゲーション装置が例えばGPS信号に基づいて生成した測位データをナビ通信部を介して取得するように構成される。例えば車内通信部21を、通信線を介してナビゲーション装置に接続するように構成することができる。
The
車外カメラ18は、車両の周囲を撮影するカメラであり、例えば車両の前方を撮影できる位置に設けられている。なお、車外カメラ18は、車両の前方に加えて、車両の後方、左側、右側、又は周囲の全方向を撮影するように構成されていてもよく、各方向を撮影する複数のカメラを有する構成でもよい。車内カメラ19は、車両の内部を撮影するカメラであり、運転席に着座した運転者を撮影できる位置に設けられている。車外カメラ18及び車内カメラ19はそれぞれ、制御部11からの指示に従って撮影を行い、1枚(1フレーム)の画像データ(撮影画像)を順次取得する。カメラ18,19は、例えば1秒間に60フレーム、30フレーム又は15フレームの映像データを取得するように構成されており、取得された映像データは順次記憶読出部16へ送出され、記憶読出部16によって記憶媒体16aに記憶される。カメラ18,19は、ドライブレコーダー10に内蔵された構成のほかに、ドライブレコーダー10に外付けされる構成でもよい。この場合、ドライブレコーダー10は、外部カメラと有線通信又は無線通信を行うカメラ通信部を備え、外部カメラが撮影した映像データをカメラ通信部を介して取得するように構成される。スピーカ20は、制御部11からの指示に従って音声出力する音声出力部であり、制御部11からの指示に従ったメッセージ又は警告音を音声出力する。
The
車内通信部21は、通信線を介して車載機器に接続されており、例えばCAN(Controller Area Network)、LIN(Local Interconnect Network)等のプロトコルに従って車載機器との間で通信を行う。本実施形態では、車内通信部21は、車速センサ21a及び変速装置21bと通信できるように構成されており、車速センサ21aによって計測された車速、及び、運転者によるシフトレバーの操作に応じて変速装置21bが切り替えたギアの情報を取得する。車速センサ21aは、例えば車軸(車輪)の回転数を検知する回転センサから出力される電気信号(車速パルス)に基づいて定期的に車速を算出し、算出した車速の情報(車速情報)を通信線を介して送信する。また変速装置21bは、シフトレバーの操作内容に応じてギアを切り替え、切り替えたギアの情報(変速情報)を通信線を介して送信する。本実施形態の車内通信部21は、ギアの情報として、バックギアに入力されたことを示す情報を取得できればよい。なお、車両に搭載されたECU(Electronic Control Unit)が車速パルスから車速を算出するように構成されている場合、車内通信部21は、このECUから車速情報を取得する。また、ECUが、変速装置21bが切り替えたギアの情報を取得するように構成されている場合、車内通信部21は、ECUからギアの情報を取得する。
The in-
ドライブレコーダー10は上述した構成のほかに、記憶媒体16aに記憶する映像データに対して所定の圧縮規格に従った圧縮処理及び伸張処理を行う圧縮伸張部を備えていてもよい。またドライブレコーダー10は、車速センサ21aから車速情報を取得する構成に加えて、例えばGPS衛星から送信されるGPS信号に基づいて車速を計測する計測部を備えていてもよい。またドライブレコーダー10は、マイクを備え、マイクを介して車両内の音声を収集するように構成されていてもよい。更にドライブレコーダー10は、加速度センサが内蔵された構成でもよい。また、ドライブレコーダー10の入力部14は、例えばドライブレコーダー10の動作開始及び終了を指示するための電源ボタン、又は、ドライブレコーダー10の動作リセットを指示するためのリセットボタンのみを備える構成であってもよい。また、ドライブレコーダー10の表示部15は、ドライブレコーダー10の動作にエラーが発生した場合に点灯するランプ、又は、ドライブレコーダー10が動作中であることを示すランプのみを備える構成であってもよい。
In addition to the configuration described above, the
上述した構成を有するドライブレコーダー10は、例えば車両のエンジンがオンされた場合に、カメラ18,19による撮影、撮影画像の表示部15での表示、車内通信部21による車速情報及びギア情報の取得等の処理を開始する。なお、ドライブレコーダー10は、車両が走行を開始した場合、又は、運転者からの撮影の開始指示を受け付けた場合等に、上述した各処理を開始するように構成されていてもよく、上述した各処理を常時行うように構成されていてもよい。また、ドライブレコーダー10は、例えば車両のエンジンがオフされた場合に、上述した各処理を終了する。また、ドライブレコーダー10は、車両が走行を終了した場合、又は、運転者からの撮影の終了指示を受け付けた場合等に、上述した各処理を終了するように構成されていてもよい。
For example, when the engine of the vehicle is turned on, the
図3は、サーバ30及び事業者端末40の構成例を示すブロック図である。サーバ30は、制御部31、記憶部32、通信部33、入力部34、表示部35等を含み、これらの各部はバスを介して相互に接続されている。サーバ30の制御部31、記憶部32、通信部33、入力部34、表示部35は、ドライブレコーダー10の制御部11、記憶部12、通信部13、入力部14、表示部15と同様の構成を有するので、詳細な説明は省略する。なお、サーバ30の記憶部32は、制御部31が実行するプログラム32P(プログラム製品)に加えて、各車両に発生したイベントに関する情報を提供するためのウェブサイト32S(危険通報サイト)、事業者DB32a及びドライバDB32bを記憶している。事業者DB32aは、本システムを利用する事業者に関する情報を格納するデータベースであり、ドライバDB32bは、事業者毎に設けられ、各事業者に所属するドライバ(運転者)に関する情報を格納するデータベースである。事業者DB32a及びドライバDB32bは、サーバ30に接続された他の記憶装置に記憶されてもよく、サーバ30が通信可能な他の記憶装置に記憶されてもよい。またサーバ30の通信部33は、有線通信でネットワークNに接続する構成でもよい。
FIG. 3 is a block diagram showing a configuration example of the
上述した構成において入力部34及び表示部35は必須ではなく、サーバ30は、接続されたコンピュータを通じて操作を受け付け、表示すべき情報を外部の表示装置へ出力する構成でもよい。また、本実施形態において、サーバ30は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよく、クラウドサーバであってもよい。また、サーバ30は、非一時的なコンピュータ読取可能な可搬型記憶媒体30aを読み取る読取部を備え、読取部を用いて可搬型記憶媒体30aからプログラム32Pを読み取って記憶部32に記憶してもよい。また、プログラム32Pは単一のコンピュータ上で実行されてもよく、ネットワークNを介して相互接続された複数のコンピュータ上で実行されてもよい。
In the configuration described above, the
事業者端末40は、制御部41、記憶部42、通信部43、入力部44、表示部45等を含み、これらの各部はバスを介して相互に接続されている。事業者端末40の制御部41、記憶部42、通信部43、入力部44、表示部45は、ドライブレコーダー10の制御部11、記憶部12、通信部13、入力部14、表示部15と同様の構成を有するので、詳細な説明は省略する。なお、事業者端末40の記憶部42は、制御部41が実行するプログラム42P(プログラム製品)に加えて、ウェブサイトを閲覧するためのウェブブラウザ42AP(以下ではブラウザ42APという)を記憶している。記憶部42の一部は、事業者端末40に接続された他の記憶装置であってもよい。また、事業者端末40の通信部43は、有線通信でネットワークNに接続する構成でもよい。
The
本実施形態のサーバ30及び事業者端末40は、上述した構成に加えて、メッセージを送受信する機能を有する。具体的には、記憶部32,42に、メッセージを送受信する処理を実現するためのアプリケーションプログラム(メッセージ送受信アプリ)が記憶してある。メッセージ送受信アプリには、例えば、電子メールの送受信を行うためのメーラ、LINE株式会社が提供するLINE(登録商標)を用いることができるが、これらに限定されない。
The
図4は、事業者DB32a及びドライバDB32bのレコードレイアウトの一例を示す説明図である。図4Aは事業者DB32aを、図4BはドライバDB32bをそれぞれ示す。事業者DB32aは、事業者ID列、事業者名列、事業者情報列、連絡先情報列を含む。事業者ID列は、本システムを利用する事業者に固有に割り当てられたIDを記憶する。事業者名列、事業者情報列、及び連絡先情報列は、事業者IDに対応付けて、事業者の名称、事業者に関する情報、電子メール又はLINEの宛先情報を記憶する。事業者に関する情報は、事業者の会社及び営業所等の所在地及び電話番号、本システムを利用するための契約の内容に関する情報等を含む。
FIG. 4 is an explanatory diagram showing an example of the record layout of the
ドライバDB32bは、事業者の事業者IDに対応付けて設けられ、ドライバID列、氏名列、ドライバ情報列、車両ナンバ列、車両情報列、イベント情報列を含む。ドライバID列は、当該事業者に所属するドライバに固有に割り当てられたIDを記憶する。氏名列及びドライバ情報列は、ドライバIDに対応付けて、ドライバの氏名、ドライバに関する情報を記憶する。ドライバに関する情報は、ドライバが所属する部署名、勤続年数(ドライバ年数)を含む。車両ナンバ列は、ドライバIDに対応付けて、ドライバが使用(運転)した車両の自動車登録番号(ナンバープレートの番号)を記憶する。車両情報列は、車両ナンバに対応付けて、車両の製造年月、メーカ、車種、年式等の車両に関する情報を記憶する。イベント情報列は、ドライバID及び車両ナンバに対応付けて、ドライバが車両を運転中に検知されたイベントに関する情報を記憶する。イベントは、事故の発生につながるような事象(危険な運転状態)であり、本実施形態では、バック走行時に車両の周囲を十分に確認しなかった場合(バック時確認不足)、及びバック走行時の車速が所定速度以上であった場合(バック時速度超過)をイベントとする。
The
イベントに関する情報は、イベントの内容を示す情報であり、イベント情報列は、日時列、場所列、車速列、危険の種類列、危険ランク列、映像ファイル列を含む。日時列、場所列、車速列は、イベントの発生日時、発生場所を示す情報(例えば緯度及び経度)、イベント発生時の車速をそれぞれ記憶する。危険の種類列は、バック走行時における危険運転(イベント)の種類を記憶する。危険ランク列は、イベントの内容に応じて判定されるランク(例えば5が最高危険度を示し、1が最低危険度を示す5段階のランク)を記憶する。危険ランクは、例えばバック時確認不足のイベントの場合、ドライバが車両の周囲を確認していない程度が高いほど高いランクが判定される。例えばドライバが車両後方を目視確認した時間に応じたランクを用いることができる。また、バック時速度超過のイベントの場合、超過速度が大きいほど高いランクが判定される。映像ファイル列は、イベント発生前後にドライブレコーダー10のカメラ18,19で撮影された映像データのファイル名を記憶する。なお、映像データは、例えば記憶部32の所定領域(映像フォルダ)に記憶されており、ファイル名は、所定領域から映像データを読み出すためのフォルダ名及びファイル名を含む。映像データは静止画であってもよく動画であってもよいが、本実施形態では動画とする。本実施形態では説明の簡略化のため、各ドライバは同じ車両を使用するものとするが、例えば勤務日毎又は所定期間毎に異なる車両を使用する構成でもよい。1人のドライバが異なる車両を使用する構成の場合、1つのドライバIDに対応付けて、当該ドライバが各車両を使用した日時と、各日時に使用した車両に関する車両ナンバ、車両情報、及びイベント情報とが対応付けてドライバDB32bに記憶される。
The information about the event is information indicating the content of the event, and the event information column includes a date/time column, a place column, a vehicle speed column, a danger type column, a danger rank column, and a video file column. The date/time column, location column, and vehicle speed column store the date and time of event occurrence, information indicating the location of occurrence (for example, latitude and longitude), and vehicle speed at the time of event occurrence, respectively. The type of danger column stores the type of dangerous driving (event) during reverse running. The danger rank column stores ranks determined according to the content of the event (for example, ranks in five stages, in which 5 indicates the highest degree of danger and 1 indicates the lowest degree of danger). For example, in the case of an event of inadequate confirmation when backing up, the risk rank is determined to be higher as the extent to which the driver does not confirm the surroundings of the vehicle is higher. For example, it is possible to use the rank according to the time when the driver visually confirms the rear of the vehicle. Also, in the case of an event of overspeeding when backing up, the higher the overspeeding, the higher the rank determined. The video file column stores file names of video data captured by the
以下に、本実施形態の情報処理システムにおいて、各装置が行う処理について説明する。まず、ドライブレコーダー10によってイベントの発生を検知する処理について説明する。図5及び図6は、イベント発生の検知処理手順の一例を示すフローチャートである。図5及び図6では左側にドライブレコーダー10が行う処理を、右側にサーバ30が行う処理をそれぞれ示す。以下の処理は、ドライブレコーダー10の記憶部12に記憶してあるプログラム12Pに従って制御部11によって実行されると共に、サーバ30の記憶部32に記憶してあるプログラム32Pに従って制御部31によって実行される。以下の処理において一部を専用のハードウェア回路で実現してもよい。
Processing performed by each device in the information processing system of this embodiment will be described below. First, the process of detecting the occurrence of an event by the
本実施形態のドライブレコーダー10は、例えば車両のエンジンがオンされた場合、又は撮影開始の指示を受け付けた場合等に起動し、カメラ18,19による撮影等の処理を開始する。よって、ドライブレコーダー10が起動した後、制御部11は以下の処理を実行する。具体的には、制御部11は、カメラ18,19による撮影処理を開始し、撮影した映像データを記憶読出部16によって記憶媒体16aに記憶する処理を開始する(S11)。これにより、カメラ18,19による撮影処理によって得られた映像データが順次記憶媒体16aに記憶される。なお、カメラ18,19は、ドライブレコーダー10が動作を終了するまで、例えば1秒間に60フレーム、30フレーム又は15フレームの映像データの取得を継続する。制御部11は、各フレームの映像データに対して撮影日時を対応付けて記憶媒体16aに記憶する。
The
制御部11は、車速センサ21aから出力される車速情報を車内通信部21にて取得する処理を開始し(S12)、変速装置21bから出力される変速情報(ギアの情報)を車内通信部21にて取得する処理を開始する(S13)。なお、制御部11は、取得した車速情報及び変速情報を順次記憶媒体16aに記憶してもよい。車内通信部21は、ドライブレコーダー10が動作を終了するまで、車速センサ21aから定期的に送信されてくる車速情報及び変速装置21bから適宜送信されてくる変速情報の取得を継続する。
The
制御部11(検出部)は、ステップS13で開始した取得処理によって順次取得する変速情報に基づいて、車両のギアがバックギアに入力されたか否かを判断する(S14)。ここでは制御部11は、変速装置21bから送信されてくる変速情報がバックギアの情報であるか否かを判断する。バックギアに入力されていないと判断した場合(S14:NO)、制御部11は、他の処理を行いつつ待機する。例えば制御部11は、車外カメラ18で撮影した車両前方の映像を表示部15に表示する処理を行う。バックギアに入力されたと判断した場合(S14:YES)、制御部11は、バックギアに入力されてからの経過時間の計時処理を開始する(S15)。制御部11は、ステップS12で開始した取得処理によって順次取得する車速情報に基づいて、車両がバック走行を開始したか否かを判断する(S16)。ここでは制御部11は、車速センサ21aから送信されてくる車速情報が0以上の車速であるか否かを判断する。バック走行を開始していないと判断した場合(S16:NO)、制御部11は、バック走行の開始を検知するまで計時処理を継続する。なお、車速情報が前進の車速であるか後進(バック走行時)の車速であるかを示す情報を含む場合、ステップS16で制御部11は、前進の車速に関する車速情報を判断対象とせず、後進の車速に関する車速情報に基づいてバック走行を開始したか否かを判断する。これにより、前進走行中に車両が停止する前にバックギアに入力された場合に、前進の車速に基づいて、誤ってバック走行が開始したと判断されることを防止できる。
The control unit 11 (detection unit) determines whether or not the gear of the vehicle is in the reverse gear based on the shift information sequentially acquired by the acquisition process started in step S13 (S14). Here, the
バック走行を開始したと判断した場合(S16:YES)、制御部11は、ステップS15で開始した計時処理による計時結果から、バックギアに入力されてからの経過時間が所定時間(例えば3秒)以上となったか否かを判断する(S17)。即ち、制御部11は、バックギアに入力されてからバック走行が開始されるまでに所定時間以上が経過したか否かを判断する。ここでの所定時間(所定期間)は、任意に設定変更可能であり、例えば1秒から10秒までの時間(期間)で1秒単位で設定できるように構成されている。例えば事業者端末40を介して設定変更の指示が入力された場合に、サーバ30が、事業者端末40から変更内容を受信し、受信した変更内容での設定をドライブレコーダー10に対して行う。これにより、制御部11は、予め設定された時間(期間)内の任意の時間(期間)の指定をサーバ30から取得し、取得した時間(期間)を、ステップS17の判断処理に用いる所定時間(所定期間)に設定することができる。この場合、事業者毎に所定時間の設定が可能であり、事業者の担当者が事業者端末40を用いて所定時間の設定変更を指示することにより、当該事業者の車両に搭載されているドライブレコーダー10に対する設定変更を一括して行うことができる。なお、ここでの所定時間は、例えば入力部14を介した操作によって変更可能であってもよい。この場合、ドライブレコーダー10毎の設定が可能である。
If it is determined that reverse running has started (S16: YES), the
バックギアに入力されてからバック走行が開始されるまでに所定時間が経過していないと判断した場合(S17:NO)、制御部11はアラートを出力する(S18)。なお、本実施形態では、バックギアに入力されてから所定時間が経過する前にバック走行が開始された場合、ドライバが車両の周囲を十分に確認せずにバック走行を行ったとして、制御部11(検知部)は、バック走行時の確認不足というイベント(危険な運転状態)の発生を検知する。よって、制御部11は、例えば「後方確認してください」又は「周囲を確認してください」のようなアラートメッセージをスピーカ20から音声出力し、ドライバに対してアラートを出力する。なお、バックギアに入力された場合に、車外カメラ18が車両後方を撮影する後方画像が表示部15に表示される構成の場合、制御部11は、「モニタで後方確認してください」のようなメッセージを音声出力してもよい。音声出力するアラートの内容はプログラム12Pに予め設定されている。
If it is determined that the predetermined time has not elapsed from the input to the reverse gear to the start of reverse running (S17: NO), the
次に制御部11は、出力したアラートに関するイベントのイベント情報(運転情報)を生成する。ここでは制御部11はまず、アラートを出力したイベントの危険ランクを判定する(S19)。例えばバック走行時確認不足のイベントの場合、制御部11は、バックギアに入力されてからバック走行が開始されるまでの経過時間に応じて危険ランクを特定する。例えば制御部11は、この経過時間が1秒未満であった場合、危険ランクをランク3に特定し、1秒以上2秒未満であった場合、ランク2に特定し、2秒以上3秒未満であった場合、ランク1に特定する。また制御部11は、車内カメラ19で撮影したドライバの撮影画像(映像データ)に基づいて危険ランクを特定してもよい。例えば制御部11は、ドライバの撮影画像に基づいて当該ドライバの視線方向又は顔の向きを検出し、視線方向又は顔の向きを追跡することにより、ドライバが車両の後方を確認しているか、車両の周囲を確認しているか等を判定し、判定結果に応じて危険ランクを特定してもよい。
Next, the
なお、ドライバの撮影画像に基づいてドライバの挙動を判定し、判定結果に応じた危険ランクを特定する処理は、機械学習によって学習させた学習モデルを用いて行うこともできる。学習モデルは、人工知能ソフトウェアの一部として機能するプログラムモジュールとしての利用が想定される。例えば、CNN(Convolution Neural Network)等のアルゴリズムを用いて、撮影画像が入力された場合に、撮影画像中のドライバに対する危険ランクを出力するように学習した学習モデルを用いることができる。この場合、制御部11は、イベントの発生時点で車内カメラ19で撮影した撮影画像を学習モデルに入力し、学習モデルからの出力情報に基づいて、撮影画像中のドライバに対する危険ランクを特定することができる。なお、学習モデルに入力される撮影画像は静止画であってもよく、動画であってもよい。また、ここでの学習モデルは、CNNのほかに、R-CNN(Regions with CNN)、Fast R-CNN、Faster R-CNN、Mask R-CNN,SSD(Single Shot Multibook Detector)、YOLO(You Only Look Once)等の任意の物体検出アルゴリズムで構成されてもよく、これらのモデルのいくつかを組み合わせて構成されてもよい。
Note that the process of determining the behavior of the driver based on the captured image of the driver and identifying the risk rank according to the determination result can also be performed using a learning model learned by machine learning. The learning model is assumed to be used as a program module that functions as part of artificial intelligence software. For example, it is possible to use a learning model learned by using an algorithm such as CNN (Convolution Neural Network) so as to output a risk rank for the driver in the captured image when the captured image is input. In this case, the
図7は、学習モデルの構成例を示す説明図である。図7に示す学習モデルは、ドライバの撮影画像を入力とし、入力された撮影画像に基づいて、当該撮影画像中のドライバに対する危険ランクを判別する演算を行い、演算した結果を出力するように学習してある。図7に示す学習モデルは複数の出力ノードを有しており、出力ノード0は危険ランク1と判別すべき確率を出力し、出力ノード1は危険ランク2と判別すべき確率を出力し、出力ノード2は危険ランク3と判別すべき確率を出力し、出力ノード3は危険ランク4と判別すべき確率を出力し、出力ノード4は危険ランク5と判別すべき確率を出力し、出力ノード5はその他と判別すべき確率を出力する。各出力ノードの出力値は例えば0~1.0の値であり、各出力ノードから出力された判別確率の合計が1.0となる。
FIG. 7 is an explanatory diagram showing a configuration example of a learning model. The learning model shown in FIG. 7 receives a photographed image of the driver as an input, performs a calculation for determining the risk rank of the driver in the photographed image based on the input photographed image, and learns to output the result of the calculation. I have The learning model shown in FIG. 7 has a plurality of output nodes. The
図7に示す学習モデルは、訓練用の撮影画像と、撮影画像中のドライバに対して判定された危険ランクを示す情報(正解ラベル)とを含む訓練データを用いて、未学習の学習モデルを機械学習させることにより生成される。学習モデルは、訓練用の撮影画像が入力された場合に、正解ラベルが示す危険ランクに対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0.0に近づくように学習する。学習処理において学習モデルは、入力された撮影画像に基づく演算を行い、各出力ノードからの出力値を算出する。そして学習モデルは、算出した各出力ノードの出力値と正解ラベルに応じた値(0又は1)とを比較し、各出力値がそれぞれの正解ラベルに応じた値に近似するように、演算処理に用いるパラメータを最適化する。当該パラメータは、学習モデルにおけるニューロン間の重み等である。パラメータの最適化の方法は特に限定されないが、誤差逆伝播法、最急降下法等を用いることができる。これにより、撮影画像が入力された場合に、当該撮影画像中のドライバに対する危険ランクを判別するように学習された学習モデルが得られる。このような学習モデルを用いて危険ランクを判定する場合、制御部11は、学習モデルから出力された出力値のうちで最大の出力値(判別確率)を出力した出力ノードに対応する危険ランクを、撮影画像中のドライバに対する危険ランクに特定する。
The learning model shown in FIG. 7 uses training data that includes captured images for training and information (correct label) indicating the risk rank determined for the driver in the captured images, to generate an unlearned learning model. Generated by machine learning. In the learning model, when a captured image for training is input, the output value from the output node corresponding to the danger rank indicated by the correct label approaches 1.0, and the output value from the other output nodes approaches 0.0. learn to approach In the learning process, the learning model performs calculations based on the input captured image and calculates the output value from each output node. Then, the learning model compares the calculated output value of each output node with the value (0 or 1) corresponding to the correct label, and performs arithmetic processing so that each output value approximates the value corresponding to the respective correct label. Optimize the parameters used for The parameters are weights between neurons in the learning model, and the like. The parameter optimization method is not particularly limited, but error backpropagation, steepest descent method, or the like can be used. As a result, when a photographed image is input, a learning model that has learned to determine the risk rank of the driver in the photographed image is obtained. When determining the risk rank using such a learning model, the
学習モデルの学習は他の学習装置で行われる。他の学習装置で学習が行われて生成された学習済みの学習モデルは、例えばネットワークN経由又は記憶媒体16a経由で学習装置からドライブレコーダー10にダウンロードされて記憶部12に記憶される。なお、ドライブレコーダー10の製造段階において、学習済みの学習モデルがプログラム12Pに組み込まれて記憶部12に書き込まれてもよい。学習モデルは図7の構成に限定されず、出力ノードの数は判別すべき危険ランクの数とすることができる。また、学習モデルは、ドライバの危険ランクを判別する構成に限定されず、例えばドライバの挙動の種類を判定するように構成されていてもよい。この場合、撮影画像が入力された場合に、当該撮影画像中のドライバが車両の後方を目視確認しているか、車両の後方を撮影した画像が表示されている表示部15を確認しているか、車両の周囲を目視確認しているか等の挙動を判別するように学習された学習モデルを用いることができる。このような学習モデルを用いる場合、ドライバの撮影画像からドライバの挙動を判別し、判別した挙動に応じてイベントの発生を検知することができる。
Training of the learning model is performed by another learning device. A learned learning model generated by learning in another learning device is downloaded from the learning device to the
危険ランクを判定した後、制御部11は、カメラ18,19で撮影して記憶媒体16aに記憶してある映像データから、イベント発生前後の所定時間(例えば7秒間)の映像データを読み出す(S20)。ここでは制御部11は、車外カメラ18で撮影した車外の映像データと、車内カメラ19で撮影したドライバの映像データとをそれぞれ読み出す。なお、制御部11は、車外カメラ18が車両の後方を撮影する構成の場合、車両後方の映像データ(後方画像データ)を読み出す。また、制御部11は、車外カメラ18が車両の前方及び後方を撮影する構成の場合、車両前方及び車両後方の映像データを読み出し、車外カメラ18が車両の周囲を撮影する構成の場合、車両周囲の映像データを読み出す。なお、制御部11は、イベント発生を検知した時点(イベントの発生タイミング)に対して、例えば4秒前から3秒後までの7秒間の映像データを読み出すが、このような時間に限定されない。制御部11が読み出す映像データのデータ量(撮影時間)は、任意に設定変更可能であり、例えば事業者端末40を介して設定変更可能である。この場合、サーバ30が、事業者端末40から変更内容を受信し、受信した変更内容での設定をドライブレコーダー10に対して行う。よって、事業者の担当者が事業者端末40を用いて所定時間(撮影時間)の設定変更を指示することにより、当該事業者が使用するドライブレコーダー10に対する設定変更を一括して行うことができる。なお、ここでの所定時間も、例えば入力部14を介した操作によって変更可能であってもよく、この場合、ドライブレコーダー10毎の設定が可能である。
After judging the danger rank, the
そして制御部11は、アラートを出力したイベントに関するイベント情報(運転情報)を生成する(S21)。例えば制御部11は、この時点の日時(イベントの発生日時)、この時点で測位部17が計測した場所(イベントの発生場所)、この時点で車速センサ21aから取得した車速(イベント発生時の車速)、イベント(危険)の種類(ここでは、バック走行時確認不足)、ステップS19で判定した危険ランク、ステップS20で読み出した映像データを含むイベント情報を生成する。なお、ドライブレコーダー10が車両内の音声を収集する構成を有する場合、制御部11は、映像データに対応する音声データも含むイベント情報を生成する。制御部11(出力部)は、生成したイベント情報を、車両ナンバ又はドライバのドライバIDに対応付けてサーバ30へ送信する(S22)。車両ナンバ又はドライバIDは、例えばドライブレコーダー10に割り当てられたシリアル番号に対応付けてサーバ30に登録されており、ドライブレコーダー10を車両に設置した際に、又はドライブレコーダー10の使用を開始する際に、当該ドライブレコーダー10のシリアル番号に対応する車両ナンバ又はドライバIDがサーバ30から取得されてドライブレコーダー10に設定され、例えば記憶部12に記憶される。なお、車両ナンバ又はドライバIDが記憶された記憶媒体16a(例えばSDメモリカード)をドライブレコーダー10に装着することにより、記憶媒体16a経由で車両ナンバ又はドライバIDを取得する構成でもよい。
Then, the
サーバ30の制御部31は、ドライブレコーダー10から送信されたイベント情報を受信し、受信したイベント情報をドライバDB32bに記憶する(S23)。具体的には、制御部31は、ドライブレコーダー10から受信した車両ナンバ又はドライバIDに対応付けて、受信したイベント情報に含まれるイベントの発生日時、発生場所、車速、イベント(危険)の種類、危険ランクをドライバDB32bに記憶する。また制御部31は、ドライブレコーダー10から受信したイベント情報に含まれる映像データにファイル名を付けて記憶部32の所定領域(映像フォルダ)に記憶し、映像データに付けたファイル名を、車両ナンバ又はドライバIDに対応付けてドライバDB32bに記憶する。これにより、ドライブレコーダー10にて検知されたイベントの情報がサーバ30に蓄積される。
The
次に制御部31は、ドライバDB32bに記憶したイベントに関する情報を事業者に通知するための通知情報を生成する(S24)。図8は通知情報例を示す説明図である。図8Aに示すように、通知情報は、車両ナンバと、当該車両ナンバの車両においてイベント(危険運転)が発生したこととを通知するメッセージを含む。また通知情報は、イベントの発生時刻、発生場所、種類及び危険ランク、イベント発生時の車速、ドライバの氏名及び所属名等を含む。これらの情報は、制御部31が、ドライバDB32bから読み出すことができる。また通知情報は、イベントの発生場所の地図を表示するためのURL(Uniform Resource Locator)と、イベント発生時にドライブレコーダー10のカメラ18,19で撮影した映像(動画)を表示するためのURLとを含む。地図を表示するためのURLは、イベントの発生場所を中心とした所定範囲の地図データが記憶部32に記憶してある場合に、この地図データにアクセスするためのURLであってもよく、Googleマップ等の地図アプリケーション上でイベントの発生場所を表示させるためのURLであってもよく、制御部31は、ドライバDB32bから読み出した場所情報に基づいて生成する。なお、通知情報は、イベント発生場所を示した地図に加えて、イベント発生時にドライブレコーダー10のカメラ18,19で撮影した静止画、又は記憶部32に記憶してある映像データから1秒毎に抽出した複数枚の静止画(例えば7秒分の静止画)を表示するように構成されていてもよい。また、映像を表示するためのURLは、記憶部32に記憶してある映像データにアクセスするためのURLであり、制御部31は、ドライバDB32bから読み出した映像ファイルのファイル名に基づいて生成する。制御部31は、上述したようにドライバDB32bから読み出した情報、及び、読み出した情報から生成した情報を用いて通知情報を生成する。
Next, the
制御部31(出力部)は、生成した通知情報を、電子メール又はLINE等のメッセージ送受信アプリを用いて事業者端末40へ送信する(S25)。事業者端末40の宛先情報は、事業者DB32aの連絡先情報列に記憶してあり、制御部31は、ここでのドライバが所属する事業者の宛先情報を事業者DB32aから読み出し、読み出した宛先情報を用いて通知情報を事業者端末40へ送信する。図5では事業者端末40が行う処理については図示を省略するが、事業者端末40の制御部41は、メッセージ送受信アプリによって、サーバ30から送信された通知情報を受信する。また制御部41は、入力部44を介した操作に従ってメッセージ送受信アプリを起動し、サーバ30から受信した通知情報を表示部45に表示して事業者端末40のユーザに通知する。事業者端末40の制御部41は、図8Aに示すような通知情報を表示した場合、入力部44を介して表示中のURLに対する選択操作を受け付ける。制御部41は、表示中のURLに対する選択操作を受け付けた場合、選択されたURLにアクセスし、イベント発生場所の地図又はイベント発生時の映像データを受信して表示部45に表示する。
The control unit 31 (output unit) transmits the generated notification information to the
ステップS17で所定時間が経過したと判断した場合(S17:YES)、制御部11は、ステップS18~S22の処理をスキップする。即ち、バックギアに入力されてから所定時間の経過後にバック走行が開始された場合、制御部11は、バック走行時の確認不足のイベントは発生していないと判断し、ステップS26の処理に移行する。制御部11は、ステップS12で開始した取得処理によって順次取得する車速情報に基づいて、車速が所定速度以上であるか否かを判断する(S26)。即ち、制御部11は、バック走行時の車速(後進速度)が所定速度(例えば時速5km)以上であるか否かを判断する。ここでの所定速度は、任意に設定変更可能であり、例えば時速5km以上で1km単位で任意の速度が設定できるように構成されている。例えば事業者端末40を介して設定変更の指示が入力された場合に、サーバ30が、事業者端末40から変更内容を受信し、受信した変更内容での設定をドライブレコーダー10に対して行うことにより、任意の速度を設定することができる。また、所定速度は、ドライブレコーダー10の入力部14を介した操作によって変更可能であってもよい。
If it is determined in step S17 that the predetermined time has passed (S17: YES), the
バック走行時の車速が所定速度以上であると判断した場合(S26:YES)、制御部11は、ステップS18~S22と同様の処理を行い(S27~S31)、サーバ30の制御部31は、ステップS23~S25と同様の処理を行う(S32~S34)。具体的には、ドライブレコーダー10の制御部11はアラートを出力する(S27)。本実施形態では、バック走行時の車速が所定速度(例えば時速5km)を超過した場合、事故の発生につながる危険な運転を行ったとして、制御部11は、バック走行時の速度超過というイベントの発生を検知する。よって、ここでは制御部11は、例えば「速度を落としましょう」のようなアラートメッセージをスピーカ20から音声出力し、ドライバに対してアラートを出力する。
When it is determined that the vehicle speed during reverse running is equal to or higher than the predetermined speed (S26: YES), the
次に制御部11は、アラートを出力したイベントの危険ランクを判定する(S28)。バック走行時速度超過のイベントの場合、制御部11は、バック走行時の車速に応じて危険ランクを特定する。例えば制御部11は、所定速度よりも時速2km以上4km未満超過していた場合、危険ランクをランク1に特定し、時速4km以上6km未満超過していた場合、ランク2に特定し、時速6km以上8km未満超過していた場合、ランク3に特定し、時速8km以上10km未満超過していた場合、ランク4に特定し、時速10km以上超過していた場合、ランク5に特定する。ここでも制御部11は、車内カメラ19で撮影したドライバの撮影画像に基づいて当該ドライバの視線方向又は顔の向きを追跡し、ドライバが車両の後方を確認しているか、車両の周囲を確認しているか等を判定し、判定結果に応じて危険ランクを特定してもよい。
Next, the
次に制御部11は、カメラ18,19で撮影して記憶媒体16aに記憶してある映像データから、イベント発生前後の所定時間(例えば7秒間)の映像データを読み出す(S29)。そして制御部11は、ステップS27でアラートを出力したイベントに関するイベント情報を生成する(S30)。ここでは制御部11は、この時点の日時(イベントの発生日時)、この時点で測位部17が計測した場所(イベントの発生場所)、この時点で車速センサ21aから取得した車速(イベント発生時の車速)、イベント(危険)の種類(ここでは、バック走行時速度超過)、ステップS28で判定した危険ランク、ステップS29で読み出した映像データを含むイベント情報を生成する。制御部11は、生成したイベント情報を、車両ナンバ又はドライバのドライバIDに対応付けてサーバ30へ送信する(S31)。
Next, the
サーバ30の制御部31は、ドライブレコーダー10から送信されたイベント情報を受信し、受信したイベント情報をドライバDB32bに記憶する(S32)。次に制御部31は、ドライバDB32bに記憶したイベントに関する情報を事業者に通知するための通知情報を生成する(S33)。ここでは、制御部31は、図8Bに示すような通知情報を生成する。図8Bに示す通知情報は、図8Aに示す通知情報と同様の内容を有する。なお、図8Bに示す通知情報は、イベントの種類として「バック走行時速度超過」を含む。制御部31は、生成した通知情報を、メッセージ送受信アプリを用いて事業者端末40へ送信する(S34)。ここでも事業者端末40の制御部41は、メッセージ送受信アプリによって、サーバ30から送信された通知情報を受信し、メッセージ送受信アプリを起動した場合に、サーバ30から受信した通知情報を表示部45に表示して事業者端末40のユーザに通知する。
The
バック走行時の車速が所定速度以上でないと判断した場合(S26:NO)、制御部11は、ステップS27~S31の処理をスキップする。本実施形態のドライブレコーダー10は、例えば車両のエンジンがオフされた場合、又は撮影終了の指示を受け付けた場合等に、カメラ18,19による撮影等の処理を終了して動作を終了する。よって、制御部11は、上述した処理を終了すべきか否かを判断する(S35)。処理を終了すべきでないと判断した場合(S35:NO)、制御部11は、ステップS14の処理に戻り、ステップS11~S13で開始した各処理によって取得する映像データ、車速情報及び変速情報に基づいて、ステップS14~S22,S26~S31の処理を繰り返す。処理を終了すべきであると判断した場合(S35:YES)、制御部11は一連の処理を終了する。
If it is determined that the vehicle speed during reverse running is not equal to or higher than the predetermined speed (S26: NO), the
上述した処理により、ドライブレコーダー10は、車両がバック走行を行う際に、ドライバが車両の周囲を十分に確認しているか否か、及び、車速(後進速度)が所定速度を超過しているか否かを監視し、ドライバの確認不足及び速度超過といった危険運転に関するイベントの発生を検知する。また、ドライブレコーダー10は、イベントの発生を検知した場合に、アラートを出力してドライバに注意を促すと共に、イベント内容をサーバ30に通知する。これにより、各ドライブレコーダー10で検知されたイベントの情報がサーバ30に蓄積される。なお、図5及び図6に示す処理において、ドライブレコーダー10の制御部11は、ステップS16~S22の処理と、ステップS26~S31の処理とを並列に実行してもよい。この場合、ステップS16~S22でバック走行時におけるドライバの確認不足の発生の有無を判定してアラートを出力する処理と、ステップS26~S31でバック走行時の速度超過の発生の有無を判定してアラートを出力する処理とを並行して実行することができる。
Through the above-described processing, the
次に、上述した処理によってサーバ30に蓄積されたイベント情報を事業者端末40を用いて閲覧する処理について説明する。図9は、イベント情報の閲覧処理手順の一例を示すフローチャート、図10~図12は画面例を示す説明図である。図9では左側に事業者端末40が行う処理を、右側にサーバ30が行う処理をそれぞれ示す。以下の処理において、事業者は、サーバ30が提供するウェブサイト32S(危険通報サイト)を利用するために予めユーザ登録しており、ID及びパスワードを用いてサーバ30(危険通報サイト32S)に対してログイン処理を行っているものとする。以下の処理の一部を専用のハードウェア回路で実現してもよい。
Next, the process of viewing the event information accumulated in the
本実施形態の情報処理システムにおいて、サーバ30に蓄積されたイベント情報の閲覧を行いたい事業者の担当者は、事業者端末40を用いて危険通報サイト32S(サーバ30)にアクセスする。そして、担当者は、危険通報サイト32Sを介して、当該事業者に所属しているドライバのイベント情報を閲覧する。事業者端末40の制御部41は、入力部44を介した担当者からの指示に従って、サーバ30が提供する危険通報サイト32Sにアクセスする(S41)。ここでは、制御部31は、ブラウザ42APを起動して指定されたURLにアクセスすることによって危険通報サイト32Sにアクセスしてもよく、事業者端末40にインストールしてあるアプリケーションを起動することによって危険通報サイト32Sにアクセスしてもよい。
In the information processing system of this embodiment, a person in charge of a business operator who wants to view event information stored in the
サーバ30の制御部31は、事業者端末40からのアクセスに応じたウェブページ、ここではイベント情報を検索する際の検索条件を入力するための入力画面を事業者端末40へ送信する(S42)。図10は入力画面例を示しており、図10に示す入力画面は、事業者端末40の事業者の名称を表示している。また、入力画面は、検索条件として、当該事業者の事業所又は営業所等(グループ)を指定するための入力欄と、期間を指定するための入力欄と、イベントの種類を指定するための入力欄と、検索処理の実行を指示するための検索ボタンとを有する。各入力欄は、任意の情報又は日付を入力できる構成でもよく、複数の選択肢の中から任意の1つを選択するためのプルダウンメニューが設けられていてもよい。なお、期間の入力欄に設けられるプルダウンメニューは、カレンダーを表示し、カレンダー内から任意の日付を選択できる構成でもよい。図10に示す例では、種類の入力欄に設けられるプルダウンメニューは、バック走行時に検知された全てのイベント情報を指定するための「バック時」、バック走行時確認不足のイベント情報を指定するための「バック時確認不足」、バック走行時速度超過のイベント情報を指定するための「バック時速度超過」、危険ランク1又は2と判定されたイベント情報を指定するための「危険ランク1・2のみ」、危険ランク3~5と判定されたイベント情報を指定するための「危険ランク3~5」等のメニュー項目を有する。
The
事業者端末40の制御部41は、サーバ30が送信した入力画面を受信して表示部45に表示する(S43)。事業者の担当者は、検索したいイベント情報に関する検索条件を入力画面の各入力欄に入力する。事業者端末40の制御部41は、各入力欄に入力された検索条件を受け付け、受け付けた検索条件をそれぞれの入力欄に表示する(S44)。また制御部41は、入力画面中の検索ボタンが操作されたか否かを判断しており(S45)、検索ボタンが操作されていないと判断した場合(S45:NO)、ステップS44の処理に戻り、入力欄に対する検索条件の入力受付を継続する。
The
制御部41は、検索ボタンが操作されたと判断した場合(S45:YES)、各入力欄に入力された検索条件をサーバ30へ送信する(S46)。サーバ30の制御部31は、事業者端末40が送信した検索条件を受信し、受信した検索条件に合致するイベント情報を、当該事業者のドライバDB32bから読み出す(S47)。ここでは制御部31は、ドライバDB32bに記憶してある各ドライバのドライバ情報に基づいて、検索条件に含まれるグループ(事業所又は営業所等)に所属するドライバを特定する。そして制御部31は、特定したドライバのイベント情報から、検索条件に含まれる期間及びイベントの種類に合致するイベント情報を抽出し、ドライバDB32bから読み出す。制御部31は、読み出したイベント情報に基づいて、検知したイベントを報告するための通報一覧画面を生成する(S48)。
If the
図11は通報一覧画面例を示しており、図11に示す画面は、図10に示す構成に加えて、各入力欄に入力された検索条件に基づいて検索されたイベント情報の一覧を表示する。図11に示す例では、検索対象のグループとして「関東地区神奈川営業所」が選択され、検索対象の期間として「2021/11/1~2021/11/30」が選択され、検索対象の種類として「バック時速度超過」が選択された状態を示している。通報一覧画面に表示されるイベント情報は、イベントの発生日時、ドライバのドライバID及び氏名、車両ナンバ、イベントの種類(危険の種類)、危険ランクを含む。これらの情報は、ドライバDB32bから読み出すことができる。また、通報一覧画面には、各イベント情報に対応付けて、4つの操作ボタンB1~B4が表示されている。操作ボタンB1は、対応するイベントの発生前後の映像データをダウンロードする指示を行うためのダウンロードボタンであり、サーバ30に記憶してある映像データをダウンロードするためのリンクが設定してある。操作ボタンB2は、対応するイベントの発生場所の地図を表示する指示を行うための地図ボタンであり、サーバ30に記憶してあるイベントの発生場所の地図を表示するためのリンクが設定してある。操作ボタンB3は、対応するイベントの発生前後の映像データを再生する指示を行うための再生ボタンであり、サーバ30に記憶してある映像データを再生させるためのリンクが設定してある。操作ボタンB4は、対応するイベント情報を削除する指示を行うための削除ボタンである。
FIG. 11 shows an example of a notification list screen, and in addition to the configuration shown in FIG. 10, the screen shown in FIG. 11 displays a list of event information searched based on the search conditions entered in each input field. . In the example shown in FIG. 11, "Kanto District Kanagawa Sales Office" is selected as the search target group, "2021/11/1 to 2021/11/30" is selected as the search target period, and the search target type is This shows a state in which "excessive speed during reverse" is selected. The event information displayed on the report list screen includes the date and time of occurrence of the event, the driver ID and name of the driver, the vehicle number, the type of event (type of danger), and the danger rank. These information can be read from the
制御部31は、生成した通報一覧画面を事業者端末40へ送信し(S49)、事業者端末40の制御部41は、サーバ30が送信した通報一覧画面を受信して表示部45に表示する(S50)。通報一覧画面を表示した事業者端末40において、制御部41は、いずれかのイベント情報に対応する操作ボタンB1~B4が操作されたか否かを判断しており、いずれかの操作ボタンB1~B4が操作されたと判断した場合、選択されたイベント情報に対して、操作された操作ボタンB1~B4に対応する処理を実行する。なお、図9では、再生ボタンB3が操作された場合に事業者端末40及びサーバ30が行う処理についてのみ図示する。
The
図9では図示を省略するが、通報一覧画面においていずれかのダウンロードボタンB1が操作された場合、事業者端末40の制御部41は、操作されたダウンロードボタンB1に設定してあるリンクに従って、サーバ30に対して記憶部32に記憶してある映像データのダウンロードを要求する。サーバ30の制御部31は、事業者端末40から要求された映像データを記憶部32の所定領域(映像フォルダ)から読み出して事業者端末40へ送信し、事業者端末40は、サーバ30が送信した映像データを受信して記憶部42に記憶する。なお、制御部41は、ダウンロードボタンB1が操作された際に、サーバ30からダウンロードした映像データの記憶先の情報(例えばフォルダ名及びファイル名)の指定を入力部44にて受け付けておき、受け付けた記憶先に、受信した映像データを記憶する。
Although not shown in FIG. 9, when one of the download buttons B1 is operated on the report list screen, the
また、通報一覧画面においていずれかの地図ボタンB2が操作された場合、事業者端末40の制御部41は、操作された地図ボタンB2に設定してあるリンクに従って、選択されたイベントの発生場所の地図データを、例えばサーバ30から受信して表示部45に表示する。なお、制御部41は、イベントの発生場所の地図データを、地図アプリケーションを提供するサーバから受信してもよい。また、通報一覧画面においていずれかの削除ボタンB4が操作された場合、制御部41は、操作された削除ボタンB4に対応するイベント情報の削除をサーバ30に要求する。サーバ30の制御部31は、事業者端末40からいずれかのイベント情報の削除を要求された場合、要求に応じたイベント情報をドライバDB32bから削除する。なお、制御部31は、イベント情報をドライバDB32bから削除する代わりに、イベント情報に対応付けて削除されたことを示す情報をドライバDB32bに記憶する構成でもよい。ドライバDB32bから削除されたイベント情報は、通報一覧画面からも削除されるので、事業者端末40に表示中の通報一覧画面は、選択されたイベント情報が削除された状態に更新される。
Further, when one of the map buttons B2 is operated on the report list screen, the
図9の説明に戻り、通報一覧画面を表示した事業者端末40において、制御部41は、いずれかの再生ボタンB3が操作されたか否かを判断しており(S51)、いずれの再生ボタンB3も操作されていないと判断した場合(S51:NO)、待機する。なお、このとき制御部41は、いずれかのダウンロードボタンB1、地図ボタンB2、又は削除ボタンB4が操作された場合、操作されたボタンB1,B2,B4に対応して上述した処理を行う。いずれかの再生ボタンB3が操作されたと判断した場合(S51:YES)、制御部41は、操作された再生ボタンB3に設定してあるリンクに従って、サーバ30に対して記憶部32に記憶してある映像データの再生を要求する(S52)。
Returning to the description of FIG. 9, in the
サーバ30の制御部31は、事業者端末40から映像データの再生要求を受信した場合、要求された映像データを記憶部32の所定領域(映像フォルダ)から読み出す(S53)。そして制御部31は、読み出した映像データに基づいて、映像データを事業者に提供するための映像画面を生成する(S54)。図12は映像画面例を示しており、図12に示す画面は、選択されたイベントについてドライバの氏名、発生時刻、イベントの種類、イベント発生時の速度と、イベント発生前後に車外カメラ18及び車内カメラ19で撮影した映像データとを表示している。これらの情報はドライバDB32bから読み出すことができる。図12に示す例では、車外カメラ18で撮影した映像データ(例えば後方画像データ)が、表示領域が大きいメイン画面に表示されており、車内カメラ19で撮影した映像データが、表示領域が小さいサブ画面に表示されている。また図12に示す画面では、各映像に対応付けて、録画時間(図12では7秒)、再生位置を示す時間(図12では0秒)、録画時間に対して再生位置を示すインジケータが表示されており、再生及び停止を指示するための再生停止ボタンB5、音声の出力及び停止を指示するための音声ボタンB6、全画面表示及び停止を指示するための全画面ボタンB7が設けられている。また図12に示す画面では、2つの映像に対して最初(0秒の再生位置)に戻る指示を行うためのボタンB8、再生及び停止を指示するための再生停止ボタンB9、メイン画面及びサブ画面に表示される映像の切替指示を行うための画面切替ボタンB10、サブ画面の表示及び非表示の切替指示を行うためのサブ画面ボタンB11が設けられている。なお、サーバ30は、各イベントに対して図12に示すような映像画面を予め生成して記憶部32に記憶しておいてもよい。この場合、サーバ30は、事業者端末40から映像データ(映像画面)の再生を要求された場合に、記憶部32から映像画面を読み出して事業者端末40に提供することができる。
When the
制御部31(出力部)は、生成した映像画面を事業者端末40へ送信し(S55)、事業者端末40の制御部41は、サーバ30が送信した映像画面を受信して表示部45に表示する(S56)。これにより、図12に示すような映像画面が事業者端末40に表示される。事業者の担当者は、映像画面に表示される各映像を再生させることにより、イベントが検知される前後の映像を確認することができ、検知されたイベントが適切であるか否かを判断する。
The control unit 31 (output unit) transmits the generated image screen to the operator terminal 40 (S55), and the
制御部41は、上述した危険通報サイト32Sの閲覧処理を終了するか否かを判断する(S57)。例えば制御部41は、図11に示す画面に設けられたログアウトボタンが操作された場合、閲覧処理の終了指示を受け付け、上述した処理を終了すると判断する。制御部41は、上述した処理を終了しないと判断した場合(S57:NO)、ステップS44の処理に戻り、ステップS44~S56の処理を繰り返す。具体的には、制御部41は、図11に示す画面中の各入力欄に検索条件が入力された場合に、入力された検索条件を受け付け、受け付けた検索条件に合致する通報一覧画面をサーバ30から取得する処理を行う。
The
上述した処理を終了すると判断した場合(S57:YES)、制御部41は、サーバ30に対してログアウト処理の実行を指示した後に、一連の処理を終了する。なお、サーバ30の制御部31は、事業者端末40からログアウト処理の実行を指示された場合、ログアウト処理を実行した後に、一連の処理を終了する。
When determining to end the above-described process (S57: YES), the
上述した処理により、本実施形態では、車両のバック走行時に事故の発生につながるような危険運転が検知された場合に、運転者にアラートを出力して注意を促すと共に、事業者に対してアラートの発生を通知する。事業者の担当者は、図8に示すような通知情報を介してイベントの発生前後の映像を確認することができると共に、サーバ30が提供する危険通報サイト32Sに事業者端末40からアクセスすることによって図11及び図12に示すような画面を介してイベントの発生前後の映像を確認することができる。事業者は、映像によって危険な運転状態であることを確認した場合、ドライバに対して指導を行うことによって運転状態を改善し、その結果、事故の発生を未然に防止できる。なお、通知情報を介して映像を確認する場合には確認作業を短時間で行うことができる。また、通知情報はイベント発生直後に事業者に送信されるので、通知情報に応じた対応を迅速に行うことができる。また、危険通報サイト32Sを介して映像を確認する場合には、所属先毎に複数のドライバに対して検知されたイベントをまとめて確認することができ、また、イベントの種類毎、イベント発生時期毎にまとめて確認することができ、効率よく確認作業を行うことができる。
By the above-described processing, in this embodiment, when dangerous driving that may lead to an accident is detected while the vehicle is backing up, an alert is output to the driver to call attention, and an alert is sent to the operator. Notify the occurrence of The person in charge of the operator can check the images before and after the occurrence of the event through the notification information shown in FIG. 11 and 12, images before and after the occurrence of the event can be checked. When the operator confirms that the driver is in a dangerous driving condition from the video, the operator can improve the driving condition by instructing the driver, and as a result, can prevent the occurrence of the accident. In addition, when confirming the video through the notification information, the confirmation work can be performed in a short time. In addition, since the notification information is transmitted to the business immediately after the event occurs, it is possible to promptly respond to the notification information. Also, when confirming the video via the
本実施形態では、ドライブレコーダー10がイベント(危険運転状態)の発生を検知してドライバにアラートを出力し、危険ランクを判定してイベント情報をサーバ30へ送信する処理を行う。このような構成において、ドライブレコーダー10が行う処理の一部をサーバ30が行うように構成することもできる。例えば車両の走行状態から危険ランクを判定する処理をサーバ30が行うように構成してもよい。この場合、ドライブレコーダー10は、イベントの発生日時、発生場所、及びイベントの種類に加えて、イベント発生前後の車速情報、変速情報、及び映像データを含むイベント情報を生成し、車両ナンバ又はドライバのドライバIDに対応付けてサーバ30へ送信する。そしてサーバ30は、ドライブレコーダー10から受信した車速情報、変速情報、又は映像データに基づいて、危険ランクを判定し、車両ナンバ又はドライバIDに対応付けて、ドライブレコーダー10から受信したイベントの発生日時、発生場所、イベントの種別、イベント発生時の車速、及び映像データと、判定した危険ランクとをドライバDB32bに記憶する。また、ドライバの撮影画像から危険ランクを特定する処理、ドライバの撮影画像からドライバの挙動を判定し、判定結果に応じた危険ランクを特定する処理をサーバ30が行ってもよい。このような構成とした場合であっても、上述した本実施形態と同様の処理が可能であり、同様の効果が得られる。
In this embodiment, the
(実施形態2)
事業者の担当者が、通知情報又は危険通報サイト32Sを介して、イベント発生時にドライブレコーダー10のカメラ18,19で撮影した映像を確認する際に、学習モデルを用いてドライバの挙動を判定する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態では、サーバ30は、図3に示す構成に加えて、記憶部32に、車内カメラ19で撮影されたドライバの撮影画像が入力された場合に、撮影画像中のドライバの挙動を出力するように学習した学習モデルが記憶されている。
(Embodiment 2)
When the person in charge of the business confirms the images taken by the
図13は、実施形態2の学習モデルの構成例を示す説明図である。図13に示す学習モデルは、ドライバの撮影画像を入力とし、入力された撮影画像に基づいて、当該撮影画像中のドライバの挙動を判別する演算を行い、演算した結果を出力するように学習してある。図13に示す学習モデルは複数の出力ノードを有しており、出力ノード0はドライバの挙動として車両後方を目視確認していると判別すべき確率を出力し、出力ノード1はモニタ(ドライブレコーダー10の表示部15)を確認していると判別すべき確率を出力し、出力ノード2は車両前方を目視確認していると判別すべき確率を出力し、出力ノード3は車両の左右を目視確認していると判別すべき確率を出力し、出力ノード4はその他の挙動を行っていると判別すべき確率を出力する。各出力ノードの出力値は例えば0~1.0の値であり、各出力ノードから出力された判別確率の合計が1.0となる。
FIG. 13 is an explanatory diagram showing a configuration example of a learning model according to the second embodiment. The learning model shown in FIG. 13 receives a photographed image of the driver as an input, performs a calculation for determining the behavior of the driver in the photographed image based on the input photographed image, and learns to output the result of the calculation. There is. The learning model shown in FIG. 13 has a plurality of output nodes.
図13に示す学習モデルは、訓練用の撮影画像と、撮影画像中のドライバに対して判定された挙動を示す情報(正解ラベル)とを含む訓練データを用いて、未学習の学習モデルを機械学習させることにより生成される。学習モデルは、訓練用の撮影画像が入力された場合に、正解ラベルが示す挙動に対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0.0に近づくように学習する。学習処理において学習モデルは、入力された撮影画像に基づく演算を行い、各出力ノードからの出力値を算出する。そして学習モデルは、算出した各出力ノードの出力値と正解ラベルに応じた値(0又は1)とを比較し、各出力値がそれぞれの正解ラベルに応じた値に近似するように、演算処理に用いるパラメータを最適化する。ここでも、最適化されるパラメータは、学習モデルにおけるニューロン間の重み等であり、パラメータの最適化の方法は特に限定されない。これにより、撮影画像が入力された場合に、当該撮影画像中のドライバの挙動を判別するように学習された学習モデルが得られる。図13に示す学習モデルも、入力される撮影画像は静止画であっても動画であってもよい。 The learning model shown in FIG. 13 uses training data including captured images for training and information (correct label) indicating the determined behavior of the driver in the captured images, and the unlearned learning model is processed by a machine. Generated by learning. In the learning model, when a captured image for training is input, the output value from the output node corresponding to the behavior indicated by the correct label approaches 1.0, and the output value from the other output nodes approaches 0.0. Learn to get closer. In the learning process, the learning model performs calculations based on the input captured image and calculates the output value from each output node. Then, the learning model compares the calculated output value of each output node with the value (0 or 1) corresponding to the correct label, and performs arithmetic processing so that each output value approximates the value corresponding to the respective correct label. Optimize the parameters used for Again, the parameters to be optimized are the weights between neurons in the learning model, and the method of optimizing the parameters is not particularly limited. As a result, when a captured image is input, a learning model that has learned to determine the behavior of the driver in the captured image is obtained. In the learning model shown in FIG. 13, the captured image to be input may be a still image or a moving image.
学習モデルの学習は他の学習装置で行われる。他の学習装置で学習が行われて生成された学習済みの学習モデルは、例えばネットワークN経由又は可搬型記憶媒体30a経由で学習装置からサーバ30にダウンロードされて記憶部32に記憶される。なお、学習モデルは図13の構成に限定されず、出力ノードの数は判別すべき挙動の数とすることができる。
Training of the learning model is performed by another learning device. A learned learning model generated by learning in another learning device is downloaded from the learning device to the
本実施形態の情報処理システムにおいて、ドライブレコーダー10及びサーバ30は、図5及び図6と同様の処理を実行する。よって、本実施形態においても、ドライブレコーダー10は、車両の走行状態、具体的には車速センサ21aから出力される車速情報及び変速装置21bから出力される変速情報に基づいて、イベント発生の有無を判定し、イベント発生を検知した場合、ドライバにアラートを出力すると共に、イベントに関する情報をサーバ30に記憶することができる。
In the information processing system of this embodiment, the
図14は、実施形態2のイベント情報の閲覧処理手順の一例を示すフローチャート、図15は画面例を示す説明図である。図14に示す処理は、図9に示す処理において、ステップS56,S57の間にステップS61~S65を追加したものである。図9と同じステップについては説明を省略する。また図14では、図9中のステップS41~S55の図示を省略している。 FIG. 14 is a flowchart showing an example of an event information viewing processing procedure according to the second embodiment, and FIG. 15 is an explanatory diagram showing a screen example. The process shown in FIG. 14 is obtained by adding steps S61 to S65 between steps S56 and S57 in the process shown in FIG. Description of the same steps as in FIG. 9 will be omitted. Further, in FIG. 14, illustration of steps S41 to S55 in FIG. 9 is omitted.
本実施形態の事業者端末40の制御部41及びサーバ30の制御部31は、図9中のステップS41~S56と同様の処理を行う。これにより、事業者の担当者は、事業者端末40を用いて危険通報サイト32Sにアクセスし、当該事業者に所属しているドライバに発生したイベントの情報を閲覧することができる。なお、本実施形態では、ステップS56で制御部41は、図15Aに示すような映像画面を表示部45に表示する。図15Aに示す画面は、図12に示す映像画面と同様の構成に加えて、表示されているドライバの映像からドライバの挙動を自動判別する指示を行うためのAI判定ボタンB12を有する。
The
映像画面を表示した事業者端末40において、制御部41は、AI判定ボタンB12が操作されたか否かを判断しており(S61)、AI判定ボタンB12が操作されていないと判断した場合(S61:NO)、待機する。このとき制御部41は、映像画面中の各ボタンに対する操作を受け付ける都度、操作されたボタンに対応する処理を実行する。AI判定ボタンB12が操作されたと判断した場合(S61:YES)、制御部41は、映像画面を表示中のイベントについてAI判定の実行をサーバ30に要求する(S62)。
In the
サーバ30の制御部31は、事業者端末40からAI判定の実行を要求された場合、要求に応じたイベントの映像データを、図13に示す学習モデルに入力し、学習モデルからの出力情報に基づいて、映像データに写っているドライバの挙動を判定する(S63)。ここでは、制御部31は、要求に応じたイベントの映像データのうちで車内カメラ19で撮影したドライバの映像データ(顔画像データ)をドライバDB32bから読み出して学習モデルに入力してもよく、ステップS53でドライバDB32bから読み出した映像データのうちのドライバの映像データを学習モデルに入力してもよい。また制御部31は、学習モデルから出力された出力値のうちで最大の出力値(判別確率)を出力した出力ノードに対応する挙動を、撮影画像中のドライバの挙動に特定する。
When the
制御部31は、判定結果(特定した挙動)を事業者端末40へ送信する(S64)。例えば制御部31は、ドライバが車両後方を目視確認していることを特定した場合、車両後方の目視確認を示す情報(例えば「後方目視確認」)を事業者端末40へ送信する。また制御部31は、ドライバがモニタを確認していることを特定した場合、モニタの確認を示す情報を事業者端末40へ送信し、車両前方を目視確認していることを特定した場合、車両前方の目視確認を示す情報を送信する。また制御部31は、ドライバが車両の左側又は右側を目視確認していることを特定した場合、車両左右の目視確認を示す情報を事業者端末40へ送信し、その他の挙動を特定した場合、その他の挙動を示す情報を送信する。
The
事業者端末40の制御部41は、サーバ30が送信した判定結果を受信し、表示部45に表示中の映像画面中に、受信した判定結果を表示する(S65)。図15Bは、判定結果の表示例を示しており、図15Bに示す例では、AI判定ボタンB12の右側に判定結果(図15Bでは後方目視確認)が表示されている。これにより、事業者の担当者は、例えば映像画面に表示される映像を確認する前にAI判定ボタンB12を操作してサーバ30による判定結果を確認することができる。この場合、担当者は、サーバ30の判定結果を考慮して、自身が確認すべき映像を選択することができる。よって、担当者は全てのイベントの映像を確認する必要がなくなり、作業負担を軽減することができる。
The
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、事業者端末40を介したユーザ(事業者の担当者)からの要求に応じて、サーバ30が学習モデルを用いて、イベント発生前後のドライバの映像データからドライバの挙動を判定してユーザに提示できる。よって、ユーザは、サーバ30による判定結果を考慮してドライバが危険運転を行ったか否かを判断でき、ユーザの判断作業を支援することができる。本実施形態においても、上述した実施形態1で適宜説明した変形例の適用が可能である。
In this embodiment, the same effects as those of the first embodiment described above can be obtained. Further, in this embodiment, in response to a request from a user (person in charge of the business operator) via the
本実施形態において、映像画面中のAI判定ボタンB12が操作された場合にサーバ30が学習モデルを用いてドライバの挙動を判定する構成に限定されない。例えば図9中のステップS54でサーバ30の制御部31が、映像画面を生成する際に、学習モデルを用いてドライバの映像データから挙動を判定してもよい。この場合、サーバ30が判定したドライバの挙動を含む映像画面を事業者端末40に提供することができる。
This embodiment is not limited to the configuration in which the
(実施形態3)
バック走行時のイベント(危険運転)を検出する処理の変形例について説明する。図16及び図17はイベント発生の検知処理手順の他の例を示すフローチャートである。図16及び図17に示す処理は、図5及び図6に示す処理において、ステップS13,S14の間にステップS81~S82を追加し、ステップS26のYESとステップS27との間にステップS83を追加したものである。図5及び図6と同じステップについては説明を省略する。また図16では、図5中のステップS11~S13の図示を省略している。
(Embodiment 3)
A modified example of the processing for detecting an event (dangerous driving) during reverse running will be described. 16 and 17 are flowcharts showing another example of the event occurrence detection processing procedure. The processes shown in FIGS. 16 and 17 are the processes shown in FIGS. 5 and 6, with steps S81 and S82 added between steps S13 and S14, and step S83 added between YES in step S26 and step S27. It is what I did. Description of the same steps as in FIGS. 5 and 6 will be omitted. Also, in FIG. 16, illustration of steps S11 to S13 in FIG. 5 is omitted.
本実施形態では、ドライブレコーダー10の制御部11は、ステップS11~S13の処理後、ステップS12で開始した取得処理によって順次取得する車速情報に基づいて、車両が停止したか否かを判断する(S81)。ここでは制御部11は、車速センサ21aから送信されてくる車速情報が車速0となったか否かを判断する。車両が停止したと判断した場合(S81:YES)、制御部11は、車両の停止時間の計時処理を開始する(S82)。車両が停止していないと判断した場合(S81:NO)、制御部11はステップS82の処理をスキップする。その後、制御部11は、ステップS14以降の処理を実行する。
In this embodiment, the
なお、本実施形態では、ステップS14でバックギアに入力されていないと判断した場合(S14:NO)、制御部11は、ステップS81の処理に戻り、車両の停止の判断と、バックギアの入力の判断とを繰り返す。また本実施形態では、ステップS17において、制御部11は、バックギアに入力される前に車両が停止していた場合、車両の停止時間を計時し、バックギアが入力されてから所定時間(例えば3秒)が経過したか否かを判断する際に、停止時間も含めて判断する。具体的には、制御部11は、バックギアに入力される前に車両が停止していた場合、車両が停止してからバックギアに入力されてバック走行が開始されるまでの経過時間が所定時間(例えば3秒)以上となったか否かを判断する。即ち、本実施形態では、バックギアに入力される前に車両が停止していた場合、車両の停止時間と、バックギア入力後からバック走行開始までの経過時間とを合算した合計時間が、所定時間以上となったか否かを判断する。そして、制御部11は、合計時間が所定時間未満(所定期間未満)であった場合、イベント発生と判断し、ステップS18以降の処理を実行する。これは、ドライバによっては車両の後方等の確認を行った後にバックギアに入力してバック走行を開始する場合があるからである。よって、車両の停止からバック走行が開始されるまでに所定時間が経過したか否かに基づいて、バック走行時の確認不足を判断することにより、バックギアに入力される前の車両停止時間を考慮して適切に判断することが可能となる。なお、このとき、制御部11は、図13に示すような学習モデルを用いて、車内カメラ19で撮影したドライバの映像からドライバの挙動を判定し、ドライバが車両の周囲を確認しているか否かを判定し、確認している時間を計時するように構成されていてもよい。
In this embodiment, when it is determined in step S14 that the reverse gear is not input (S14: NO), the
また本実施形態では、ステップS26でバック走行時の車速が所定速度以上であると判断した場合(S26:YES)、制御部11は、所定速度未満の車速(後進速度)を所定時間(例えば2秒間)以上継続して検知したか否かを判断する(S83)。所定速度未満の車速を所定時間以上継続して検知したと判断した場合(S83:YES)、制御部11は、ステップS27~S31の処理をスキップしてステップS35の処理に移行する。即ち、バック走行時に速度超過を検知した場合であっても、その後に所定速度未満の状態が所定時間継続した場合は、速度超過の判定対象としない。これは、速度超過の状態となった場合であっても、その後に所定速度未満の状態が所定時間継続した場合には、ドライバの体感としては所定速度未満でバック走行していると考えられるためである。従って、一時的に速度超過した場合であっても、その後に所定速度未満の状態が所定時間継続した場合は、バック走行時速度超過の判定対象としないことにより、事故の発生につながる可能性の低い運転状態をアラート対象から除外する。
Further, in the present embodiment, when it is determined in step S26 that the vehicle speed during reverse running is equal to or higher than the predetermined speed (S26: YES), the
所定速度未満の車速を所定時間継続して検知していないと判断した場合(S83:NO)、即ち、バック走行時に速度超過している場合は、制御部11は、ステップS27以降の処理を実行する。これにより、制御部11は、バック走行時の速度超過に関するアラートをドライバに出力すると共に、バック走行時の速度超過に関するイベント情報をサーバ30へ送信することができる。
If it is determined that the vehicle speed below the predetermined speed has not been continuously detected for a predetermined period of time (S83: NO), that is, if the vehicle is overspeeding while backing up, the
上述した処理において、バック走行時のイベント(危険運転)発生の判定処理は、例えばバックギアに入力されてから所定時間(例えば2秒間)の経過後に、もしくは、バックギアに入力されてから車両の停止(車速が0)を検出した後に開始するようにしてもよい。具体的には、ドライブレコーダー10の制御部11は、図16中のステップS15の後に、バックギアに入力されてから所定時間(例えば2秒間)が経過したか否かを判断する処理を行い、所定時間が経過していないと判断した場合は待機し、所定時間が経過したと判断した場合にステップS16以降の処理を実行する構成でもよい。もしくは、制御部11は、図16中のステップS15の後に、車両が停止したか否かを判断する処理を行い、停止していないと判断した場合は待機し、停止したと判断した場合にステップS16以降の処理を実行する構成でもよい。このような処理を行う場合、バックギアに入力されてから一定の時間(所定時間又は車両が停止するまでの時間)に対しては、バック走行時確認不足のイベント発生の判定処理を行わないように制御できる。例えば前進走行の状態から車両が停止する前にバックギアに入力された場合に、前進走行時の車速に基づいてバック走行時確認不足のイベントの発生が検知される可能性があるが、上述した構成とした場合には、前進走行時の車速に基づいてバック走行時確認不足の発生が検知されることを抑制できる。
In the above-described processing, the determination processing of occurrence of an event (dangerous driving) during reverse running is performed, for example, after a predetermined time (for example, 2 seconds) has passed since the reverse gear is input, or after the reverse gear is input and the vehicle is turned on. It may be started after detecting a stop (vehicle speed is 0). Specifically, the
また、駐車スペース等に駐車する際にハンドルを切り返しながら前進及び後進(バック走行)を繰り返すことが行われる。その際に、バックギアに入力される都度、バック走行時確認不足のイベントの判定処理が行われ、その結果、バック走行時確認不足のアラートが連続して出力されることが考えられる。このような状況を回避するために、例えばバックギアの入力が解除された後は、所定時間(例えば10秒間)が経過するまでは、バックギアの入力を検知しないようにしてもよい。具体的には、ドライブレコーダー10の制御部11は、図16中のステップS14でバックギアの入力を検知した後、ステップS15~S22の処理を行いつつ、バックギアの入力が解除されたか否かを判断し、入力解除されていないと判断した場合はステップS15~S22の処理を継続し、入力解除されたと判断した場合は、その後の所定時間(例えば10秒間)内は、ステップS15~S22の処理を行わないように構成されてもよい。この場合、バックギアの入力が解除されてから所定時間内にバックギアの入力が検知されても、このバックギアの入力に基づいてイベント(危険運転)の発生検知が行われない。このような処理を行う場合、ハンドルを切り返しながら前進及び後進を繰り返すような切り返し運転において、バックギアに入力される都度、バック走行時確認不足の判定処理が行われることを回避し、不要なアラートが連続して出力されることを抑制できる。 Further, when the vehicle is parked in a parking space or the like, the vehicle is repeatedly moved forward and backward (reverse running) while turning the steering wheel. At that time, it is conceivable that an event of insufficient confirmation during reverse running is determined each time the reverse gear is input, and as a result, an alert for insufficient confirmation during reverse running is continuously output. In order to avoid such a situation, for example, after the reverse gear input is released, the reverse gear input may not be detected until a predetermined time (for example, 10 seconds) elapses. Specifically, after detecting the input of the reverse gear in step S14 in FIG. If it is determined that the input has not been canceled, the processing of steps S15 to S22 is continued, and if it is determined that the input has been canceled, steps S15 to S22 are performed within a predetermined time (for example, 10 seconds) after that. It may be configured not to process. In this case, even if the input of the reverse gear is detected within a predetermined time after the input of the reverse gear is canceled, the occurrence of an event (dangerous driving) is not detected based on the input of the reverse gear. When such processing is performed, it is possible to avoid the judgment processing of lack of confirmation during reverse driving every time the reverse driving is input in the reverse driving that repeats forward and backward while turning the steering wheel, and unnecessary alerts are generated. can be suppressed from being output continuously.
上述した各実施形態において、ドライブレコーダー10が、車両の前進時と後進時(バック走行時)とにおいて、車両の前方を撮影した前方画像と、後方を撮影した後方画像とを切り替えて表示部15に表示するように構成されていてもよい。この場合、ドライブレコーダー10の車外カメラ18は、車両の前方及び後方を撮影するように構成されており、それぞれ撮影した映像データ(前方映像データ及び後方映像データ)を逐次記憶媒体16aに記憶する。また、ドライブレコーダー10は、バックギア以外のギアに入力されている場合は、車両前方を撮影した前方映像データ、又はナビゲーション装置で案内中の地図データを表示部15に表示し、バックギアに入力された場合は、車両後方を撮影した後方映像データを表示部15に表示する。このようにバックギアに入力された場合に、車両後方の映像が表示部15に表示されるので、ドライブレコーダー10をバックモニタとして使用することができ、ドライバは表示された映像によって車両の後方を確認することができる。また、ドライブレコーダー10は、後方映像データの表示に切り替えた後、バック走行を開始できることを通知するメッセージをスピーカ20から音声出力するように構成されていてもよい。この場合、例えば「後方に注意してバックしてください」のようなメッセージを音声出力することにより、車両の周囲を確認してバック走行を開始することを促すメッセージをドライバに対して出力できる。よって、バック走行を行うドライバに注意喚起することができ、バック走行時の事故の発生を未然に防止できることが期待される。
In each of the above-described embodiments, the
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the meaning described above, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.
10 ドライブレコーダー
11 制御部
12 記憶部
13 通信部
15 表示部
16 記憶読出部
18 車外カメラ
19 車内カメラ
20 スピーカ
21 車内通信部
30 サーバ
31 制御部
32 記憶部
33 通信部
40 事業者端末
41 制御部
45 表示部
16a 記憶媒体
32b ドライバDB
10
Claims (13)
バックギアの入力を検出した後の所定期間内に前記車両の後進を検出した場合に、バック走行に関する危険運転の発生を検知する
処理をコンピュータに実行させるプログラム。 Detects the input of the vehicle's reverse gear,
A program for causing a computer to execute a process of detecting the occurrence of dangerous driving related to reverse running when reverse movement of the vehicle is detected within a predetermined period after detection of reverse gear input.
指定された期間を前記所定期間に設定する
処理を前記コンピュータに実行させる請求項1に記載のプログラム。 Get the designation of any period within a preset period,
2. The program according to claim 1, which causes the computer to execute a process of setting a specified period to the predetermined period.
前記バックギアの入力を検出するまでに計時した停止時間と、前記バックギアの入力を検出してから前記車両の後進を検出するまでの時間との合計時間が、前記所定期間未満である場合に、前記危険運転の発生を検知する
処理を前記コンピュータに実行させる請求項1又は2に記載のプログラム。 when the stop of the vehicle is detected before the reverse gear input is detected, measuring the stop time of the vehicle;
When the total time of the stop time measured until the input of the reverse gear is detected and the time from the detection of the input of the reverse gear to the detection of the reverse movement of the vehicle is less than the predetermined period. , detecting occurrence of said dangerous driving.
処理を前記コンピュータに実行させる請求項1から3までのいずれかひとつに記載のプログラム。 The computer executes a process of starting detection of the occurrence of dangerous driving after a predetermined time has passed since the reverse gear input was detected, or when the stop of the vehicle is detected after the reverse gear input is detected. 4. The program according to any one of claims 1 to 3, which causes
請求項1から4までのいずれかひとつに記載のプログラム。 Claims 1 to 4, wherein when the cancellation of the reverse gear input is detected after the reverse gear input is detected, the occurrence of dangerous driving is not detected based on the reverse gear input detected within a predetermined time thereafter. The program described in any one.
前記バックギアの入力を検出した後に取得した後進速度が所定速度以上であるか否かを判定し、
所定速度以上であると判定した場合に前記危険運転の発生を検知する
処理を前記コンピュータに実行させる請求項1から5までのいずれかひとつに記載のプログラム。 obtaining a reverse speed of the vehicle;
determining whether or not the reverse speed acquired after detecting the input of the reverse gear is equal to or higher than a predetermined speed;
6. The program according to any one of claims 1 to 5, which causes the computer to execute a process of detecting occurrence of the dangerous driving when it is determined that the speed is equal to or higher than a predetermined speed.
処理を前記コンピュータに実行させる請求項6に記載のプログラム。 After determining that the reverse speed is equal to or higher than the predetermined speed, if the reverse speed less than the predetermined speed is continuously determined for a predetermined time or longer, the computer is caused to execute a process of not executing the detection of occurrence of the dangerous driving. 7. A program according to claim 6.
処理を前記コンピュータに実行させる請求項1から7までのいずれかひとつに記載のプログラム。 The program according to any one of claims 1 to 7, which causes the computer to execute a process of outputting an alert to the driver of the vehicle when the occurrence of the dangerous driving is detected.
取得した画像データから、前記危険運転の発生タイミングを含む所定時間の画像データを抽出し、
抽出した画像データと、検知した前記危険運転の内容を示す情報とを対応付けて、所定の端末へ出力する
処理を前記コンピュータに実行させる請求項1から8までのいずれかひとつに記載のプログラム。 Acquiring image data of a driver of the vehicle,
extracting image data for a predetermined time including the timing of occurrence of the dangerous driving from the acquired image data;
9. The program according to any one of claims 1 to 8, causing the computer to execute a process of associating the extracted image data with information indicating the content of the detected dangerous driving and outputting the information to a predetermined terminal.
取得した顔画像データに基づいて、前記運転者がモニタを確認しているか否か、又は、前記運転者が前記車両の後方を目視確認しているか否かを判定する
処理を前記コンピュータに実行させる請求項1から9までのいずれかひとつに記載のプログラム。 Acquiring face image data obtained by photographing the face of the driver of the vehicle;
causing the computer to execute a process of determining whether or not the driver is checking a monitor or whether or not the driver is visually checking the rear of the vehicle based on the obtained face image data; A program according to any one of claims 1-9.
バックギアの入力を検出した後の所定期間内に前記車両の後進を検出した場合に、バック走行に関する危険運転の発生を検知する
処理をコンピュータが実行する情報処理方法。 Detects the input of the vehicle's reverse gear,
An information processing method in which a computer executes a process of detecting occurrence of dangerous driving related to reverse running when reverse movement of the vehicle is detected within a predetermined period after detection of reverse gear input.
バックギアの入力を検出した後の所定期間内に前記車両の後進を検出した場合に、バック走行に関する危険運転の発生を検知する検知部と
を備えるドライブレコーダー。 a detection unit that detects an input of the reverse gear of the vehicle;
A drive recorder, comprising: a detection unit that detects occurrence of dangerous driving related to reverse running when backward movement of the vehicle is detected within a predetermined period after detection of reverse gear input.
バックギアの入力を検出した後の所定期間内に前記車両の後進を検出した場合に、又は、前記バックギアの入力を検出した後に前記車両の後進速度が所定速度以上であることを検出した場合に、バック走行に関する危険運転の発生を検知する検知部、及び
前記危険運転の発生タイミングを含む所定時間に前記車両の運転者を撮影した画像データ及び前記車両の後方を撮影した後方画像データ、並びに、前記危険運転に関する情報を含む運転情報を出力する出力部を有するドライブレコーダーと、
前記ドライブレコーダーが出力した画像データ、後方画像データ、及び前記危険運転に関する情報を、前記車両に対応付けられた端末へ出力する出力部を有するサーバと
を含む情報処理システム。 a detection unit that detects the input of the reverse gear of the vehicle;
When reverse movement of the vehicle is detected within a predetermined period after detection of reverse gear input, or when reverse speed of the vehicle is detected to be greater than or equal to a predetermined speed after detection of reverse gear input. a detection unit for detecting the occurrence of dangerous driving related to backing; image data of the driver of the vehicle and rear image data of the rear of the vehicle at a predetermined time including the timing of occurrence of the dangerous driving; , a drive recorder having an output unit that outputs driving information including information on dangerous driving;
and a server having an output unit for outputting the image data output by the drive recorder, the rear image data, and the information on the dangerous driving to a terminal associated with the vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021208342A JP2023092989A (en) | 2021-12-22 | 2021-12-22 | Program, information processing method, drive recorder, and information processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021208342A JP2023092989A (en) | 2021-12-22 | 2021-12-22 | Program, information processing method, drive recorder, and information processing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023092989A true JP2023092989A (en) | 2023-07-04 |
Family
ID=87000815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021208342A Pending JP2023092989A (en) | 2021-12-22 | 2021-12-22 | Program, information processing method, drive recorder, and information processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023092989A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117151961A (en) * | 2023-10-31 | 2023-12-01 | 深圳智本科技有限公司 | 5G communication-based law enforcement record digital analysis management system and method |
-
2021
- 2021-12-22 JP JP2021208342A patent/JP2023092989A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117151961A (en) * | 2023-10-31 | 2023-12-01 | 深圳智本科技有限公司 | 5G communication-based law enforcement record digital analysis management system and method |
CN117151961B (en) * | 2023-10-31 | 2024-01-26 | 深圳智本科技有限公司 | 5G communication-based law enforcement record digital analysis management system and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3232343A1 (en) | Method and apparatus for managing video data, terminal, and server | |
JP4971625B2 (en) | Driving support device and driving information calculation system | |
US20240098685A1 (en) | Customizing user experiences based on transportation irregularities | |
JP6669240B1 (en) | Recording control device, recording control system, recording control method, and recording control program | |
US20190266424A1 (en) | Information processing apparatus, image delivery system, information processing method, and computer-readable recording medium | |
CN110740901A (en) | Multimedia information pushing method and device, storage medium and electronic equipment | |
JP2017116998A (en) | Information processing device, information processing system, information processing method, and information processing program | |
US20190122052A1 (en) | Investigation assist system and investigation assist method | |
US12079275B2 (en) | Contextual indexing and accessing of vehicle camera data | |
JP7340678B2 (en) | Data collection method and data collection device | |
CN111275848A (en) | Vehicle accident alarm method and device, storage medium and automobile data recorder | |
JP2023092989A (en) | Program, information processing method, drive recorder, and information processing system | |
JP2020038405A (en) | Data collector, data collecting system, method for collecting data, and on-vehicle device | |
JP5180450B2 (en) | Driving support method and driving support device | |
WO2020215976A1 (en) | Traffic accident handling method and device | |
US11609558B2 (en) | Processing system for dynamic event verification and sensor selection | |
US20210125423A1 (en) | Processing System for Dynamic Collison Verification & Sensor Selection | |
JP2014171013A (en) | Abnormal behavior on road monitoring system, program, and monitoring method | |
TWI616851B (en) | Vehicle condition notification system, vehicle condition notification method and cloud server | |
JP2023040789A (en) | Risk detection device and risk detection method | |
CN111556348A (en) | Video pushing method and device and computer system | |
US20220383256A1 (en) | Post-vehicular incident reconstruction report | |
JP2021164008A (en) | Information processing method, information processing device, program, and information processing system | |
JP2023093386A (en) | Program, information processing method, drive recorder, and information processing system | |
US11887386B1 (en) | Utilizing an intelligent in-cabin media capture device in conjunction with a transportation matching system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20241002 |