JP2022101447A - システム等 - Google Patents

システム等 Download PDF

Info

Publication number
JP2022101447A
JP2022101447A JP2021134987A JP2021134987A JP2022101447A JP 2022101447 A JP2022101447 A JP 2022101447A JP 2021134987 A JP2021134987 A JP 2021134987A JP 2021134987 A JP2021134987 A JP 2021134987A JP 2022101447 A JP2022101447 A JP 2022101447A
Authority
JP
Japan
Prior art keywords
vehicle
camera
control unit
image
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021134987A
Other languages
English (en)
Inventor
圭三 高橋
Keizo Takahashi
康晴 片桐
Yasuharu Katagiri
哲也 服部
Tetsuya Hattori
勇喜 清水
Yuki Shimizu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yupiteru Corp
Original Assignee
Yupiteru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yupiteru Corp filed Critical Yupiteru Corp
Publication of JP2022101447A publication Critical patent/JP2022101447A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

【課題】撮影された対象車両が危険運転を行っている可能性が高い状態かどうかを判定する仕組みといった、従来とは異なる仕組みを提供する。【解決手段】1つ又は複数のカメラにより取得された画像情報に基づいて特定された対象車両が、所定の近接領域に入った回数に基づいて、前記対象車両の危険運転の可能性を判定する制御部を有する。【選択図】図13

Description

本発明は、システム等に関する。
特開2013-134590号公報(特許文献1)には、車両にリアカメラとフロントカメラを搭載することが開示されている。
特開2013-134590号公報
しかしながら、特許文献1では撮影された対象車両が危険運転を行っている可能性が高い状態かどうかを判定する仕組みについては検討がなされていない。
そこで、本発明は、例えば撮影された対象車両が危険運転を行っている可能性が高い状態かどうかを判定する仕組みといった、従来とは異なる仕組みを提供する。
なお、本明細書及び図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」「~可能である」などと記載した箇所を「~が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正又は分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、システムであって、1つ又は複数のカメラにより取得された画像情報に基づいて特定された対象車両が、所定の近接領域に入った回数に基づいて、前記対象車両の危険運転の可能性を判定する制御部を有することを特徴とする。
本発明によれば、例えば撮影された対象車両が危険運転を行っている可能性が高い状態かどうかを判定する仕組みといった、従来とは異なる仕組みを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
なお、本願の発明の効果はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」「~可能である」などと記載した箇所などは奏する効果を明示する記載であり、また「~できる」「~可能である」などといった記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。
本実施の形態の車両内のドライブレコーダ101の設置位置を説明する説明図の例である。 ドライブレコーダ101内のカメラの構成図の例である。 ドライブレコーダ101内のカメラの別の構成図の例である。 ドライブレコーダ101を含むシステムの接続図の例である。 ドライブレコーダ101(F、R)のハードウェア構成概略構成図の例である。 管理サーバ106の概略構成図の例である。 ユーザ端末107のハードウェア構成図の例である。 制御部303のブロック図の例である。 煽り運転判定処理フローの例である。 車両判定処理フローの例である。 検出する後方車両の説明図の例である。 煽り指数判定テーブルの説明図の例である。 煽り指数判定グラフの説明図の例である。 煽りレベル別処理フローの例である。 ドライブレコーダ101内のカメラの構成図の例である。 ドライブレコーダ101の第1の動作例の説明図の例である。 ドライブレコーダ101の第1の動作例の説明図の例である。 遠近法(透視図)から求める車間距離を測定する構成の説明図の例である。 遠近法(透視図)から求める車間距離を測定する構成の説明図の例である。 車両10の外の人の検知に関する構成の説明図の例である。 車両10の外の人の検知に関する構成の説明図の例である。
以下、図面を参照して本発明を実施するための形態について説明する。なお、以下に示す実施形態は、本発明を提供した一つの実施形態であり、以下の記載に基づいて本願発明の内容が限定して解釈されるものではない。
[第1実施形態]
本実施例では、他の車両等に道路における交通の危険を生じさせるおそれのある危険運転行為の可能性を判定するシステムである危険運転判定システムについて説明する。危険運転の一例として煽り運転の可能性判定について説明するが、これに限定されるものではない。
なお、本願出願時において煽り運転である妨害運転には以下の10類型が規定されている。
1.通行区分違反
2.急ブレーキ禁止違反
3.車間距離不保持
4.進路変更禁止違反
5.追越し違反
6.減光等義務違反
7.警音器使用制限違反
8.安全運転義務違反
9.最低速度違反(高速自動車国道)
10.高速自動車国道等駐停車違反
図1は本実施の形態の車両内のドライブレコーダ101の設置位置を説明する説明図の例である。
図1(a)は車両の側面図であり、図1(b)は車両の上面図である。
図1(a)及び図1(b)に示すように、ドライブレコーダ(DVR)101は車両10の車室の前方と、後方とに設けられている。車両の前方用は前方用ドライブレコーダ101Fと称し、車両の後方用は後方用ドライブレコーダ101Rと称する。なお、車両の前方用ドライブレコーダ101F又は後方用ドライブレコーダ101Rだけを備える構成でも構わない。
図1(b)に示すように、車両の前方用ドライブレコーダ101Fは例えば天井左側の助手席側に設けられ、後方用ドライブレコーダ101Rは後方天井の中央に設けられている。なお、そのほかの設置場所であっても構わない。
図1の車両内のドライブレコーダ101の設置位置は、管理端末105、管理サーバ106、ユーザ端末107等の画面に表示され、ドライブレコーダ101(F、R)が設置されている位置を示すとともに、その画面からそれぞれのドライブレコーダ101(F、R)の設定を変更することが可能である。
次にドライブレコーダ101内のカメラを説明する。本実施の形態では図2及び図3を用いて2種類を例として説明する。
図2(a)は、ドライブレコーダ101内のカメラの構成図の例である。ドライブレコーダ101を上から見た図であり、2つのカメラが車両10の前方又は後方に対して左右に配置されている。
図2(a)に示すドライブレコーダ101(F、R)は、車両撮影用カメラ102と、車番検出用カメラ103とを地面に対し同じ高さに略平行に設けている。
本実施例では、ドライブレコーダ101(F、R)は、車両撮影用カメラ102と、車番検出用カメラ103とを同一の筐体に備えている。よって、車両撮影用カメラ102と、車番検出用カメラ103との位置関係は固定されており、ユーザにとってはこれらのカメラの配置が容易である。
ドライブレコーダ101の筐体は、直方体状、円筒状又はその他の形状とするとよい。ドライブレコーダ101の車両への取り付けについては、本願出願時において公知の方法又はその他の方法を用いることができる。
ドライブレコーダ101(F、R)は、車両撮影用カメラ102と、車番検出用カメラ103とを分離可能(例えば着脱可能)に構成されてもよいし、別体で構成されてもよい。この場合、車両撮影用カメラ102と、車番検出用カメラ103との配置位置や撮影方向の自由度が向上する。ドライブレコーダ101は、360度カメラ等の天球画像(半天球又は全天球)を得るものでもよい。
車両撮影用カメラ102は、車両10の前方又は後方を広く撮影する必要があるため、広角の130度の画角を持つ。車両10の前方、後方または側方を広範囲にわたって撮影した画像を記録できるようにするために、車両撮影用カメラ102はこのような構成とするとよい。
一方、車番検出用カメラ103は、車両10の前方又は後方の車両の車番を解析してその番号を取得するため、狭角の30度以上40度以下(例えば30度)の比較的望遠のカメラにしている。車番検出用カメラ103は、車両の同一性を特定するための情報として車番を取得するためのカメラであり、対象車両の検出とその車番の検出に適した画角が採用される。
車番検出用カメラ103は、本実施例では、前方車両追突警報システム(FCWS:Forward vehicle collision warning systems)又は後方車両追突警報システム(RCWS:Rearvehicle collision warning systems)のための車両検知に使用される。このように、前方車両追突警報システム又は後方車両追突警報システムのカメラが、危険運転の判定に用いるカメラとしての用途にも用いられる。
もちろん、前方車両追突警報システム又は後方車両追突警報システムのカメラが、危険運転の判定に用いるカメラとは別でもよい。 なお、角度については、上述の数値以外の画角であっても構わないが、車両撮影用カメラ102が広角のカメラであり、車番検出用カメラ103はそれよりも狭い画角のカメラとなる。
このように画角の異なる複数のカメラを用いる構成とすることで、広角の車両撮影カメラのみを用いる場合と比べ、対象車両の車番等の特定の精度が上がり、より精度の高い煽り運転の可能性判定をすることができる。
なお、図2(a)の例では車両撮影用カメラ102と車番検出用カメラ103のレンズの向きを並行にしているが、車番検出用カメラ103のレンズの向きは、車両の下方のバンパー付近に設置されているナンバープレートを撮影しやすいように、車両撮影用カメラ102のレンズの向きよりも下方に向くように構成されていてもよい。
また、ドライブレコーダ101(F、R)の設置場所に応じて車番検出用カメラ103のレンズの方向(光軸の方向)を変更できる構成としてもよい。例えば、車両撮影用カメラ102は広角であり車両10の前方又は後方を広く撮影することができるために、レンズの方向を動かす必要がなく、ドライブレコーダ101(F、R)の筐体に固定しておく。一方、車番検出用カメラ103は画角が狭いために確実に前方又は後方の車両のナンバープレートを狙えるように、レンズの向きを変えられる構成とすることができる。
例えば、図1(b)のようにドライブレコーダ101(F、R)が車両10の前方に向かって左側の助手席に設置されている場合には、車番検出用カメラ103のレンズの光軸が車両10の中央方向に向かうように変更する。
このような、車番検出用カメラ103のレンズの向きを車両10の中央方向に向くようにする変更は、ドライブレコーダ101(F、R)を設置する際に手動で行うこともできるし、図1の車両内のドライブレコーダ101の設置位置と連動して、ドライブレコーダ101(F、R)が備えるアクチュエータがレンズの向きを変更することもできる。
また、カメラ方向制御部を設け、例えば、以下のように車番検出用カメラ103の向きを制御することもできる。
1.車両10の中央の前方又は後方の30m程度先の位置を常に追随する。
2.車両10の前方又は後方のレーンの中央の方向を常に追随する。
3.車両10の前方又は後方にいる他の車両や、その車両のナンバーを常に追随する。
レンズの向きはユーザ端末107や管理端末105、管理サーバ106に表示された図1の車両内のドライブレコーダ101の設置位置を示す画面で確認することができ、また、その向きをユーザ端末107や管理端末105、管理サーバ106から変更することもできる。
車番検出用カメラ103は、車両撮影用カメラ102の画角と抵触しない位置に配置されている。すなわち、車両撮影用カメラ102の撮影範囲に車番検出用カメラ103の端部104Eが入らないように十分にそれぞれのカメラの間の距離を離してある。
このように車番撮影カメラを車両撮影カメラの画角と抵触しない位置に配置する構成とすることで、画角の広い車両撮影用カメラ102の画像の一部が欠損してしまうという不都合を防止することができる。
図2(b)は、2つのカメラを上下に配置したドライブレコーダ101の構成図の例である。
図2(a)の例では車両10の前方又は後方に向かって2つのカメラが左右に配置される構成であったが、図2(b)では、これら2つのカメラが上下に配置される。この場合、上側に車番検出用カメラ103を、下側に車両撮影用カメラ102を設けるとよい。
図2(b)の例では、車両撮影用カメラ102と車番検出用カメラ103の間の距離を、図2(a)よりも狭くすることができる。車両撮影用カメラ102の画角の中に車番検出用カメラ103のレンズが写り込んでいるが、通常撮影動画像の情報の空に向かう部分は情報量が少なく、車番検出用カメラ103のレンズが移り込んで映像が遮られてしまっても、問題が少ない。
このように、2つのカメラを上下に配置する構成では、図2(a)の場合と比べて2つのレンズ間の距離を短くして、ドライブレコーダ101(F、R)を小型にすることができる。
なお、2つのレンズを上下に配置する構成であっても、図2(a)で説明したように、ナンバープレートの撮影がしやすいよう車番検出用カメラ103の方向を前方又は後方の車両の下部に向ける構成とするとよい。
図2(a)及び図2(b)に示す構成は、ドライブレコーダ101Rのみに採用されてもよいし、ドライブレコーダ101Fに採用されてもよいし、両方に採用されてもよい。
図3は、ドライブレコーダ101内のカメラの別の構成図の例である。
図3の例では、2つのカメラのレンズの先端部分104A、104Bの位置をほぼ同一面上に配置する代わりに、それぞれのカメラの撮像部の位置104C、104Dを筐体の奥に配置する構成である。
このような構成にすることで、車番検出用カメラ103のレンズによる抵触の問題は解消し、2つのカメラ間の距離を図2(a)の場合と比べてさらに近くに配置することが可能となる。
この構成であっても、図2と同様に、車番検出用カメラ103のカメラのレンズの向きを変更することが可能である。
例えば、レンズの先端部分104Aの周りを弾性体で覆い、レンズの方向が上下左右に可動する構成にしてもよい。
また逆に、レンズの先端部分104Aの位置を固定し、車番検出用カメラ103の撮像部の位置104Cが上下左右に可動することで光軸の向き(レンズの向き)が変わる構成にしてもよい。
図3の構成とした場合、ドライブレコーダ101のレンズの光軸方向における寸法が、図2の構成とした場合に比べて小さくなる。さらにその結果、ドライブレコーダ101の設置位置や設置方向の選択の自由度が向上する効果が期待できる。
図4は、例えばドライブレコーダ101を含む危険運転判定システムの接続図の例である。
危険運転判定システム1は、ドライブレコーダ101と、管理端末105と、管理サーバ106と、ユーザ端末107と、を備え、それぞれがネットワーク110を介して接続されている。なお、ネットワーク110は有線、無線を問わず、それぞれの端末はネットワーク110を介して情報を送受信することができる。ネットワーク110はインターネットに限られず、また異なるプロトコルのネットワークの組み合わせであってもよい。
ドライブレコーダ101は、例えば車両に搭載され、運転中の映像を記録する機器である。ドライブレコーダ101は、車載機器の一例である。
但し、搭載対象の車両は本実施例では四輪の自動車であるが、四輪自動車に限定されるものではなく、ドライブレコーダ101を設置することが可能な車両であればよい。例えば、バス、トラック等の四輪以上の大型輸送車、自動二輪車や自転車等の二輪車、その他の車両が対象となり得る。例えば、上述した6、9、10の違反を除く7類型の違反については、自転車による行為でも妨害運転に該当する。また例えば、電車、モノレール、リニアモーターカー等の交通機関の乗り物も搭載の対象となり得る。
ドライブレコーダ101は、取得した各種情報や煽り判定の結果に関する情報等をネットワーク110経由で管理サーバ106に送信することができる。
管理端末105は、管理サーバ106を操作し、管理する端末である。
管理サーバ106は、ドライブレコーダ101で取得された画像情報に対応する録画情報やイベント情報、や煽り判定の結果に関する情報等の各種情報を記憶し、管理するサーバである。ドライブレコーダ101で取得された各種情報は、ドライブレコーダ101から直接管理サーバ106に送信される構成でもよいし、データセンター経由で管理サーバ106に送信される構成であってもよい。
ユーザ端末107は、例えば自動車を運転するユーザが使用する端末である。ユーザ端末107は、モバイルデータ通信網や自動車のWi-Fi(登録商標)等の車載ネットワークによりドライブレコーダ101と接続され、ドライブレコーダ101を操作することができる。
また、ユーザ端末107は、これらのネットワーク110経由で管理サーバ106と接続され、管理サーバ106に記憶される各種情報を表示することができる。
危険運転判定システム1のそれぞれの端末や管理サーバ106は、例えば、スマートフォン、タブレット、携帯電話機、携帯情報端末(PDA)などの携帯端末(モバイル端末)でもよいし、メガネ型や腕時計型、着衣型などのウェアラブル端末でもよい。また、据置型又は携帯型のコンピュータや、クラウドやネットワーク上に配置されるサーバでもよい。また、機能としてはVR(仮想現実:Virtual Reality)端末、AR(拡張現実:Augmented Reality)端末、MR(複合現実:Mixed Reality)端末でもよい。あるいは、これらの複数の端末の組合せであってもよい。例えば、1台のスマートフォンと1台のウェアラブル端末との組合せが論理的に一つの端末として機能し得る。またこれら以外の情報処理端末であってもよい。
危険運転判定システム1のそれぞれの端末や管理サーバ106は、それぞれオペレーティングシステムやアプリケーション、プログラムなどを実行するプロセッサと、RAM(Random Access Memory)等の主記憶装置と、ICカードやハードディスクドライブ、SSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置と、ネットワークカードや無線通信モジュール、モバイル通信モジュール等の通信制御部と、タッチパネルやキーボード、マウス、音声入力、カメラ部の撮像による動き検知による入力などの入力装置と、モニタやディスプレイ等の出力装置とを備える。なお、出力装置は、外部のモニタやディスプレイ、プリンタ、機器などに、出力するための情報を送信する装置や端子であってもよい。
主記憶装置には、各種プログラムやアプリケーション等(モジュールと呼ぶ)が記憶されており、これらのプログラムやアプリケーションをプロセッサが実行することで全体システムの各機能要素が実現される。なお、これらの各モジュールは集積化する等によりハードウェアで実装してもよい。また、各モジュールはそれぞれ独立したプログラムやアプリケーションでもよいが、1つの統合プログラムやアプリケーションの中の一部のサブプログラムや関数などの形で実装されていてもよい。
本明細書では、各モジュールが、処理を行う主体(主語)として記載をしているが、実際には各種プログラムやアプリケーションなど(モジュール)を処理するプロセッサが処理を実行する。
補助記憶装置には、各種データベース(DB)が記憶されている。「データベース」とは、プロセッサ又は外部のコンピュータからの任意のデータ操作(例えば、抽出、追加、削除、上書きなど)に対応できるようにデータ集合を記憶する機能要素(記憶部)である。データベースの実装方法は限定されず、例えばデータベース管理システムでもよいし、表計算ソフトウェアでもよいし、XML、JSONなどのテキストファイルでもよい。
図5は、ドライブレコーダ101(F、R)のハードウェア構成概略構成図の例である。
DVRコントローラ304は、車両撮影用カメラ102、車番検出用カメラ103、加速度センサ305、SDカード306、GNSSセンサ307、図示しないその他センサ等と接続されており、これらを制御する。また、これらの要素から受信した情報に基づいて、DVRコントローラ304が、DVRコントローラ304の状態を示すステータス情報を生成する。また、DVRコントローラ304は生成したステータス情報をマイコン301に送信する。
マイコン301は、通信処理部302を制御する。また、マイコン301は、DVRコントローラ304から取得したステータス情報を、通信処理部302を制御して管理サーバ106に送信する。
マイコン301はプログラム可能であり、マイコン301には上記のような各種処理を実行するためのプログラムが記憶されており、このプログラムをマイコン301の処理部が実行することで、上記の各種処理を実現する。
なお、DVRコントローラ304、マイコン301、通信処理部302は、それぞれSoC(System on a chip)等の集積回路(チップ)で実装することが可能であり、またこれらの複数をまとめて一つのチップに実装する構成であってもよい。特に、本実施例ではDVRコントローラ304及びマイコン301が連携して動作するため、これらを合わせて1つのチップで実装してもよい。
また、DVRコントローラ304の一部の機能をマイコン301が実行する構成としてもよいし、マイコン301の一部の機能をDVRコントローラ304が実行する構成としてもよい。本実施例においては、DVRコントローラ304とマイコン301をあわせて制御部303と呼ぶ。制御部303は1つのチップであってもよいし、DVRコントローラ304とマイコン301の機能を分けた複数のチップからなる構成であってもよい。
なお、車両撮影用カメラ102及び車番検出用カメラ103のイメージセンサに前処理を行うAI処理機能を搭載することで、通常の撮影画像の生成と共に、又はそれに変えて、以下の出力を行うことができる。AI処理機能は、これらのカメラで撮影した映像に基づいて画像認識を行う機能を有する。
・画像の中から対象物をメタデータで出力する。
・ISP(Image SignalProcessor)出力形式の例えばYUVやRGBの画像を出力する。
・特定領域のみ切り出した画像を出力する。
このようにイメージセンサ側で前処理を行うことで、データ量の削減や、高速AI処理による対象物のリアルタイムトラッキングが可能となる。特に、ドライブレコーダ101からを管理サーバ106へのデータ量(つまり通信量)を削減できることにメリットがある。
加速度センサ305は、加速度を検出し加速度情報を生成する。例えば衝撃、急ハンドル、急停車等に応じて加速度の急激な変化が生じた場合に、制御部303がイベント発生を検知する。この加速度情報の変化を解析することで自動車等に起きた事故等の状況を推測することができる。
SDカード306は、画像情報や、その画像情報に対応する録画情報等、各種情報を記録する記憶装置である。なお、SDカードに限られず、データを記憶できる構成であればよいが、車載のために耐振動性の高いフラッシュメモリが好ましい。
通信処理部302は、無線通信アンテナ308を介して、直接又はデータセンター104経由で、ドライブレコーダ101の情報を管理サーバ106に送信する。
GNSSセンサ307は集積回路等で実装された位置情報取得部を有し、GPS(Global Positioning System)等のGNSS(Global Navigation Satellite System、全球測位衛星システム)に対応したGNSSアンテナから受信した信号に基づいて、位置情報を取得する。また、位置情報取得部は、時刻情報や移動速度情報や移動方位情報を取得することもできる。
ドライブレコーダ101は、車両電源310に接続される電源311を有する。
電源311は、車両電源310から受信(又は受電と呼ぶこともある)した電力をDVRコントローラ304に供給し、また二次電池312を充電する。
二次電池312は、例えばリチウムイオン電池、ニッケルカドミウム電池、ニッケル水素電池、鉛蓄電池等の充電可能な電池である。但し、充電式ではない一次電池であっても構わない。アクセサリ電源(ACC電源)がOFFになった場合や、事故による断線や配線が外れるなどの障害により、車両電源310からドライブレコーダ101の電源311への電力の供給が途切れた場合、又は電源311が故障等して電源供給できなくなった場合に、二次電池がマイコン301や通信処理部302等へ電力を送信(又は送電や給電と呼ぶこともある)し、ドライブレコーダ101の少なくとも一部の機能を維持する。
制御部303は、ドライブレコーダ101(F、R)の車両撮影用カメラ102と車番検出用カメラ103からの画像情報を取得し、これらの画像情報に基づいて、車両が所定の近接領域に入ったカウント値と、所定の近接領域に入っている時間である近接時間とに基づき煽り運転を判定する。近接領域に入ったかどうかは前方車両追突警報システム(FCWS)又は後方車両追突警報システム(RCWS)の機能を用いることも可能である。
近接領域は、ドライブレコーダ101(F、R)又はドライブレコーダ101(F、R)を搭載した車両10に近接した領域であるが、詳しくは後述する。
制御部303は、判定した煽り運転のレベルに応じて、記憶手段であるSDカード306が有する煽り運転の可能性に対応して複数レベルに分けられたフォルダに録画した録画情報等を記憶する。録画情報は、カメラで撮影され、SDカード306等の記憶手段に記憶された画像情報である。
例えば、制御部303は、煽り運転のレベルが高い場合は、近接時間を含むすべての録画情報をSDカード306の煽りレベル高フォルダに記憶し、煽りのレベルが低い場合は、近接時間と、近接時間の前後所定時間(例えば20秒)の録画情報をSDカード306の煽りレベル低フォルダに記憶する。煽りレベルの判定は後述する閾値を用いている。
また、前方用ドライブレコーダ101Fの制御部303は、前方の車両が後方の車両と同じかどうかを判定するために、通信処理部302を用いて後方用ドライブレコーダ101Rから後方車両画像、車両番号等を受け取る機能を有している。
図6は、管理サーバ106の概略構成図の例である。
管理サーバ106は、例えばクラウド上に配置されたサーバで構成される。
主記憶装置601には、DVR管理モジュール610や録画情報管理モジュール611等のプログラムやアプリケーションが記憶されており、これらのプログラムやアプリケーションをプロセッサ603が実行することで管理サーバ106の各機能要素が実現される。
DVR管理モジュール610は、ドライブレコーダ101(F、R)からドライブレコーダ101(F、R)のイベント情報等を取得し、補助記憶装置602のイベント情報620に記憶し、管理する。
またDVR管理モジュール610は、イベント情報620をデコードすることにより得られた情報の一部またはすべてを、プッシュ配信で、若しくはユーザ端末107や管理端末105からの要求に応じて、ユーザ端末107や管理端末105に送信する。
録画情報管理モジュール611は、ドライブレコーダ101(F、R)からドライブレコーダ101(F、R)に記憶された録画情報を取得し、補助記憶装置602の録画情報630に記憶し、管理する。
また録画情報管理モジュール611は、プッシュ配信で、若しくはユーザ端末107や管理端末105からの要求に応じて、録画情報630(例えば後方の車両を撮影した画像)をこれらの端末に送信する。
補助記憶装置602は、イベント情報620や録画情報630等を記憶する。
図7は、ユーザ端末107のハードウェア構成図の例である。
ユーザ端末107は、例えばスマートフォン、タブレット、ノートPC、デスクトップPC等の端末で構成される。
主記憶装置701には、管理サーバ連携モジュール710やDVR連携モジュール711等のプログラムやアプリケーションが記憶されており、これらのプログラムやアプリケーションをプロセッサ703が実行することでユーザ端末107の各機能要素が実現される。
管理サーバ連携モジュール710は、管理サーバ106と連携し、管理サーバ106に記憶されているイベント情報620や録画情報630を取得して、ディスプレイ等の出力装置705にこれらの情報を表示する。
また管理サーバ連携モジュール710は、管理サーバ106と連携し、管理サーバ106の各種設定を行うことができる。
DVR連携モジュール711は、ドライブレコーダ101(F、R)とユーザ端末107が、例えばWi-Fi(登録商標)等の車載ネットワーク等で接続されている場合に、ドライブレコーダ101を操作するとともに、ドライブレコーダ101(F、R)の設定を行う。
なお、管理端末105もユーザ端末107と同様の構成とすることができ、主記憶装置に記憶されたDVR連携モジュールや管理サーバ連携モジュールにより、ドライブレコーダ101(F、R)や管理サーバ106を操作し、また、それらの設定を行うことができる。
図8は、制御部303のブロック図の例である。図8に示すように、制御部303は、画像処理部321と、カウント部322と、計時部324と、判定部326と、情報入出力部328と、出力部330等を備えている。また、SDカード306は、煽りレベル低フォルダ342と、煽りレベル中フォルダ344と、煽りレベル高フォルダ346等を記憶する。
画像処理部321は、車番検出用カメラ103(R、F)により取得された画像情報を解析し、処理することによって車両10の前方又は後方に位置する車両の車両画像を抽出する。
なお、車番検出用カメラ103は常に車両10の前方又は後方の動画像を取得しており、この画像情報から車両画像の抽出を行う。
なお、車両10の前方又は後方の近接領域に他の車両が侵入した場合に、車両画像の抽出を行う構成としてもよい。
近接領域は、ドライブレコーダ101(F、R)、又はこれを搭載した車両10に近接した領域のことである。近接領域は、より具体的には、ドライブレコーダ101(F、R)、又はこれを搭載した車両10から所定距離範囲内の領域として特定される。車番検出用カメラ103は、対象車両までの距離が約30m以下、又は20m以上25m以下といった検出可能距離に入った場合に、その車番を検出することができる。
又は、近接領域は、車番の検出可能距離以下の距離の領域としてもよい。近接領域は、例えば、車両10との間の距離が30m以下、好ましくは25m以下に入った場合である。近接領域は、これ以外の距離でもよいし。車両10の前方と後方とで距離が異なっていてもよい。近接領域を規定する距離は、ユーザが設定できるようにしてもよい。制御部303は、撮影された画像の解析処理、又はその他の距離計測用センサによる計測により、他の車両が近接領域の距離以下に入ったことを判断する。
画像処理部321は、近接領域に他車両が存在する場合は、車番検出用カメラ103により撮影された画像情報からナンバープレートの部分の画像を切り出し、当該画像の文字認識を行うことで、近接車両の車番(自動車登録番号又は車両番号)を抽出する。
カウント部322は、他車両が所定の近接領域に入った回数(近接回数)をカウンタ(図示せず)により計測する。より具体的には、画像処理部321により処理された画像情報に基づいて対象車両が近接領域に入ったことを検知することにより、回数の計測を行う。
このように構成することで、特殊なセンサを必要とせず、カメラによる画像処理のみで近接領域への侵入を検知することができる。但し、その他のセンサを用いて画像処理と並行して、又は連携して近接領域への侵入を検知しても構わない。
計時部324は、他車両が近接領域に入っているとカウントされるごとに、近接領域内に滞在する時間である近接時間をタイマ(図示せず)により計測する。
判定部326は、他車両が、近接領域に入った近接回数と近接領域に入っている平均時間(近接平均時間)等に基づき煽り指数(煽りポイント)Pを求め、この煽り指数Pの度合いに基づいて煽りレベルを判断(判定ともいう)する。この煽り指数P及び煽りレベルについてはフローチャートを用いて後述する。
情報入出力部328は、煽りレベル(煽り指数Pの度合)が高い場合は、近接領域に入った他車両のその近接時間を含むすべての撮影画像をSDカード306の煽りレベル高フォルダ346に記憶する。煽りレベル高フォルダに記憶された情報は上書きしない。
一方、煽りのレベルが低い場合は、近接時間と、近接時間の前後所定時間(例えば、20秒)の画像情報を煽りレベル低フォルダ342に記憶する。また、一定のサイクル、一定の期間、等に基づき煽りレベル低フォルダ342は上書きされる。
情報入出力部328は、煽りレベルが中の場合は、近接時間と、近接時間の前後所定時間(例えば、20秒)の画像情報を煽りレベル中フォルダ344に記憶する。この記憶データも上書きして構わない。
制御部303は、情報入出力部328を介して、煽りレベル高フォルダ346、煽りレベル中フォルダ344、煽りレベル低フォルダ342に記憶されている録画情報を取り出し、表示又は外部に出力する。出力部330は、煽りレベルが高い場合は、スピーカ309から警告音や音声を発生させることもできる。
警報の出力は音や音声の出力に限られず、出力部330は、音や音声に代えて又はこれに加えて、発光ダイオードその他の発光体の光を発生させてもよいし、車両10内のユーザが知覚可能な方法により警報を出力するとよい。警報の出力は、車両10外の人物に対して行われてもよい。
次に図9、図10のフローチャートを用いて煽り運転判定の詳細を説明する。
図9は、煽り運転判定処理フローの例である。
制御部303は上記の各部の構成を備えることによって以下の処理を行う。本処理は、例えば高速道路に入ったときに起動させることができるが、20km以上50km以下程度の速度で走行しているときに起動してもよい。すなわち、一般道路でも煽り運転を判定することができる。
制御部303は、車両撮影用カメラ102(R、F)の画像情報(年月日、時刻、カメラ識別番号、等を有する)の取得を開始する(S10)。
次に、制御部303は、加速度センサ305によって自車両10の速度及び加速度等の走行情報を計測し(S12)、この速度及び加速度情報を記憶する(S14)。
なお、加速度情報は、加速度センサ305から取得した車両10の進行方向の前後方向の成分であるが、重力加速度以外の3軸合成の値を用いることもできる。
より具体的には、制御部303は、取得した速度及び加速度と、ドライブレコーダ101(F、R)の各種センサからの取得情報をまとめて録画情報を生成する。
制御部303は、録画情報とカメラから取得された画像情報とを対応付けてSDカード306(記憶部)に記憶する。
例えば、制御部303は、年月日、時刻、カメラ識別番号、前方又は後方の種別、走行情報(速度、加速度、位置座標等)を関連付けて記憶手段に記憶する。
制御部303は、取得した画像情報を解析し、車両10の前方又は後方に車両が存在しているかどうかを判定する車両判定処理を実行する(S16)。この車両判定処理については後述する。
制御部303は、取得した画像情報に基づいて、車両10の前方又は後方に近接している車両(近接車両)が存在しているかどうかを判定する(S18)。
近接車両であるかどうかの判定は、前方車両追突警報システム(FCWS)又は後方車両追突警報システム(RCWS)の検出に従うが、これに限定されるものではない。
例えば、車番検出用カメラ103または車両撮影用カメラ102が撮影した画像の中の、車両のサイズが所定のサイズ以上になった場合に、例えば30m以内に接近したとして、近接判定することができる。
他には、例えば、画像処理以外の方法で、電波や音波等による距離計測用センサにより測距して、近接判定をすることもできる。
なお、煽り判定を行うための近接範囲は可変にすることもできる。例えば自車両10の速度に応じて近接範囲の設定を変更する。
例えば、自車両10の走行速度が速い場合には、車間が開くため、近接範囲は広く設定し、走行速度が遅い場合には、車間が狭まるため、近接範囲を狭く設定することができる。
ステップS18において、判定部326が、近接領域に入った前方又は後方車両が無いと判定した場合には、画像取得及び走行情報の取得処理に戻る(S18がNo)。
ステップS18において、判定部326が、近接領域に入った前方又は後方車両が有ると判定した場合には、カウント部が近接の検出回数(近接回数)を計測し(S20)、計時部が近接している時間(近接時間)を計測する(S22)。
制御部303は、計測された情報を、カウント情報として記憶する。カウント情報は、年月日、時刻、近接回数、近接時間、画像情報抽出された近接車両の車番情報、を有する。
記憶容量の削減のため、車番検出用カメラ103で撮影された動画像情報は記憶されず、抽出された近接車両の車番情報のみが記憶されるが、記憶容量に余裕がある場合には、車番検出用カメラ103で撮影された動画像情報も記憶しても構わない。
判定部326は、近接回数、近接時間、加速度(及び/又は速度)等に基づき煽り指数Pを求める煽り運転判定処理を行う(S24)。この煽り運転判定処理については後述する。
制御部303は、判定された煽りレベルに応じて、煽りレベル別処理を実行し、取得された動画像情報の記憶方法を変更する(S26)。
制御部303は、録画終了指示があるかどうかを判定し、録画終了でない場合は、処理をステップS12に戻し、録画終了の場合は処理を終了する(S28)。
例えば、車が停車し、エンジンが停止された場合には、制御部303は、録画終了であると判断し、処理を終了する。
図10は、車両判定処理フローの例である。
後方の車番検出用カメラ103Rを例として説明する。
画像処理部321は、車番検出用カメラ103Rにより撮影された画像情報から、煽り判定を行う対象である対象車両を特定する(S31)。この際、画像情報に複数の車両が映し出されている場合には、画像処理部321が、自車両10に対して最も近接している同一車線上の一台の他車両を対象車両として特定することが好ましい。
このように画像の中に複数の車両が写っている場合であっても、抽出した対象車両についてのみ煽り運転の可能性を判定する構成とすることで、煽り運転判定の精度を高めることができる。
また、煽り運転が起こる自車両と同一車線上の対象車両についてのみ煽り運転の可能性を判定する構成とすることで、煽り運転判定の精度を高めることができる。
車番検出用カメラ103の画角30度で近接判定をする30m程度の距離を撮影すると、図11のように3台程度の車両が写りこむことになる。画像処理部321は、この3台の車両の中から煽り判定を行う対象車両を特定する。
対象車両の特定の方法としては、様々な方法が考えられるが、例えば、画像処理部321が、画面の中に写っている複数の車両の内、最もサイズの大きいものを対象車両とし特定する。図11の例では、車両12、13、15が同じ画像のフレーム内に写っているが、そのうちで最も大きいサイズで写っている車両15を対象車両として特定する。
他の方法としては、現在の自車両10と同一の車線を走っている後方の車両を対象車両として特定してもよい。この場合には、撮影されている映像を解析し自車両10の左右にあるレーン(白線、点線、中央分離線等)、を抽出し、このレーンの中にある後方の車両を対象車両とする。
図11の例において車両15が存在しなかったと仮定すると、車両11、12、13が同じ画像のフレームの中に写っている。画像処理部321は、画像解析により自車両10の左右のレーン20、21を後方にたどり、同一レーン内に存在する車両11を対象車両として特定する。
例えば自車両が走行する車線(道路)がカーブしている曲線の場合には、自車両10の真後ろの車は隣の車線の車の可能性があるため、自車両10の左右のレーンをたどり、自車両10と同一の車線に存在する対象車両を特定することが有効である。
他の方法としては、ドライブレコーダ101に搭載された図示しないジャイロセンサを用いて、車両10の角速度情報又は姿勢情報を取得し、取得した角速度情報又は姿勢情報を用いて画像処理部321が、画像情報内で対象車両を特定する位置の補正を行う。例えば、左に旋回している場合には、その角速度により補正を行い、画像のフレームの右側に位置する車両を、対象車両として特定する。
このように、車線が曲線の場合に、自車両の真後ろ又は真ん前ではなく、車線に沿った後方又は前方に位置する車両についてのみ、煽り運転の可能性を判定する構成にすることで、煽り運転判定の精度を高めることができる。
なお、上述の例の複数を組み合わせて、画像のフレーム内に写る複数の車両画像から、対象車両を特定することとしてもよい。
また、上述の例では車両10の後方に位置する車番検出用カメラ103Rが対象車両を特定する処理として記載したが、車両撮影用カメラ102Rが対象車両の特定を行う構成であってもよい。
また、車両10の前方に位置する他の車両についても、ドライブレコーダ101Fの車両撮影用カメラ102F又は車番検出用カメラ103Fが、上述と同様の処理を行い、対象車両を特定することができる。
また、上述の例では、車番検出用カメラ103はドライブレコーダ101Rに固定されているものとして説明を行ったが、ドライブレコーダ101Rの車番検出用カメラ103のレンズの向きが変更できるものについては、制御部303が、対象車両の方に向けて車番検出用カメラ103のレンズの向きを変更し、対象車両をレンズが追随する構成としてもよい。
次に、画像処理部321は、カメラの画像情報から対象車両の部分を切り出す(S33)。
また、画像処理部321は、車両車番検出用カメラ103の撮影画像に対して、ナンバープレートの領域を抽出し、制御部303が、当該画像の文字認識を行うことで、近接車両の車番(自動車登録番号又は車両番号)を抽出する(S35)。
制御部303は、抽出された車番を画像情報と対応付けてSDカード306に記憶する(S37)。
次に、図9の煽り運転判定処理(S24)の詳細を説明する。
煽り運転判定処理は、加速度センサ305からの加速度情報と、GNSSセンサ307により取得された位置情報の変化等から算出され、若しくは車両から取得された速度情報と、近接車両の検知回数及び平均検知時間に基づいて、煽りの可能性度合いを示す煽り指数Pを算出する。
前方のドライブレコーダ101Fにより算出される、自車両10の前方車両の前方からの近接による煽りに対する煽りの可能性度合いを指数Pで示し、後方のドライブレコーダ101Rにより算出される、自車両10の後方車両の後方からの近接による煽りに対する煽りの可能性度合いを指数Pで示す。
判定部326は、後方車両による煽り指数P、前方車両による煽り指数P、後方車両と前方車両が同一の場合の総合的な煽り指数Pを、例えば以下の式により算出する。
=avn (式1)
=avn (式2)
P=P+P (式3)
aは自車加速度係数、
vは自車速度係数、
は後方車両が近接領域に入った検知回数、
は前方車両が近接領域に入った検知回数、
は後方車両が近接領域に存在した平均検知時間、
は前方車両が近接領域に存在した平均検知時間
pはべき指数(例えば、1.5)
qはべき指数(例えば、1.3)
判定部326は、加速度センサ305からの加速度情報に基づいて係数を設定し(以下、加速度係数aという)、また、速度情報に基づいて係数を設定する(以下、速度係数vという)。
加速度係数aは例えば以下の通りに設定する。
後方からの煽り指数Pに対して:
-0.05G<自車加速度の場合はa=1
自車加速度≦-0.05Gの場合はa=0
とする。
前方からの煽り指数Pに対して:
自車加速度<0.05Gの場合はa=1
0.05G≦自車加速度の場合はa=0
とする。
後方からの煽り指数Pに対して自車加速度が-0.05G以下の場合とは、自車両10が急減速している場合であり、このような場合には後方車両との距離が狭まり近接する可能性がある。このような自車両10の急減速の場合を煽りと判定しないために、自車加速度が-0.05G以下の場合には係数をゼロとする。この場合、係数としてゼロを掛けるため、式1の計算結果である煽り係数がゼロとなり、煽りとして検知されない。
なお、通常走行時でも±0.03G程度のノイズが発生する。-0.05Gという数値は軽くブレーキを踏むくらいの加速度であり、ノイズの影響を超えてブレーキの影響を検知できる程度の数値である。急ブレーキを踏んだ場合には-0.2G程度の加速度となる。
例えば閾値を-0.1G程度の数値として、よりしっかりとブレーキを踏んだときの急減速のみ煽り判定を行わない構成としてもよい。
前方からの煽り指数Pに対して自車加速度が0.05G以上の場合とは、自車両10が急加速している場合であり、このような場合には前方車両との距離が狭まり近接する可能性がある。このような自車両10の急加速の場合を煽り運転と判定しない(煽り運転の可能性が無いと判定する)ために、自車加速度が0.05G以上の場合には係数をゼロとする。この場合、係数としてゼロを掛けるため、式2の計算結果である煽り係数がゼロとなり、煽りとして検知されない。
例えば閾値を0.1G程度の数値として、よりしっかりとアクセルを踏んだときの急加速のみ煽り判定を行わない構成としてもよい。
上述のように自車両の加速度が所定の条件を満たす場合に、煽り運転の可能性が無いと判定する構成することで、例えば急ブレーキを踏んだ場合や急発進をした場合に加速度が変化し、前方又は後方の車両が近接したことを誤って煽り運転であると判定することを防止することができる。
なお、上り坂や下り坂に車両10がいる場合には、アクセルやブレーキを踏んだ時に発生する加速度が、傾斜の無い道路を走行している場合とは異なる。この様に坂道を走行している場合には、判定部326は、ジャイロセンサから取得される情報に基づいて、加速度センサから取得される加速度情報を補正してから煽り運転の判定を行い、坂道の影響を打ち消す。
このように構成することで、例えば坂道を走行中などで加速度が通常走行時と異なっている場合に、その値を補正してから、煽り運転の判定を行うことができ、判定の精度が上がる。
速度係数vは、例えば以下の通りに設定する。
20km/h<自車速度の場合はv=1
自車速度≦20km/hの場合はv=0
とする。
例えば渋滞などの低速走行中には、前方又は後方の車両との車間が狭まることになる。この様な場合を煽りと判定しないために、自車速度が時速20km以下の場合には係数をゼロとする。つまり時速20km以下で走行している場合には、係数としてゼロを掛けるため、式1又は式2の計算結果である煽り係数はゼロとなり、煽りとして検知されない。
時速20kmの閾値は、変更しても構わない。例えば閾値を時速60km以上とし、高速道路での走行の場合のみ煽り判定をするような構成にしても構わない。
このように自車両の速度が所定の速度以下の場合に、煽り運転と判定しない(煽り運転の可能性が無いと判定する)構成することで、例えば渋滞等の低速走行時に前方又は後方の車両が近接したことを誤って煽り運転であると判定することを防止することができる。
なお、自車速度については、GNSSセンサ307による位置情報の変化により算出する方法、自車両10の速度情報から取得する方法、画像解析により自車両10の周りの風景の流れを解析することで算出する方法、画像解析により自車両10に対して写っている他車両の動きを解析して算出する方法、等から取得することができる。
また、自車両10が走行しているということは、同様に上記の複数の算出や取得方法で判定することが可能であり、またその他には、加速度センサとジャイロセンサの値を解析することで判定することが可能である。
p、qは、近接領域に入った検知回数(近接回数)及び、近接領域に存在した平均検知時間(近接平均時間)、に対する、べき指数である。
近接回数及び近接平均時間から求められる煽り指数の変化を線形的変化ではなく、指数関数的変化とすることで、近接回数が多ければ多いほど煽りと判定される可能性を高くし、また近接平均時間が長ければ長いほど煽りと判定される可能性を高くしている。
また、近接回数に係るべき指数は例えば1.5とし、近接平均時間に係るべき指数は例えば1.3としており、煽り判定において、近接回数の影響の方が近接平均時間の影響よりも高く評価されるようにしている。但し、逆に近接平均時間の影響を高く評価するようにべき指数を調整してもよい。
また、自車両10の速度に応じて近接回数や近接平均時間の閾値を変更することもできる。例えば、自車両10の走行速度が速い場合には、他車両との相対速度の変化が起こりにくくなり、近接範囲への出入りが起こりにくくなるため、近接平均時間の閾値を長く設定する。走行速度が遅い場合には、逆に近接平均時間の閾値を短く設定することができる。
また、近接回数の閾値を変更させることもできる。例えば、自車両10の走行速度が速い場合には、他車両との相対速度の変化が起こりにくくなり、近接範囲への出入りが起こりにくくなるため、近接回数の閾値を少なく設定する。走行速度が遅い場合には、逆に近接回数の閾値を多く設定することができる。
なお、上記の係数や閾値の数値は、ドライブレコーダ101や、管理端末105、管理サーバ106、ユーザ端末107などから変更が可能である。
自車両10が煽りを受けている場合には、同一の車両により後方から煽られた後に、前方に回られ前方から煽られるというようなことも起こり得る。判定部326が、後方車両と前方車両が同一の車両であると判断した場合には、前述の式3のように、後方車両による煽り指数Pと前方車両による煽り指数Pとを合計し、総合的な煽り指数Pを算出する。
同一の車両から前方及び後方から煽られていない場合には、後方車両による煽り指数P又は、前方車両による煽り指数Pを最終的な煽り指数Pとする。
このように同一の車両が前方又は後方で繰り返し行う煽り行為を通算する構成とすることで、より精度の高い煽り判定を行うことができる。
本実施例では、同一の車両による近接行為かどうかを、車番検出用カメラ103により撮影された画像を解析することで抽出した車番情報が一致するかどうかで確認している。
しかしながらこれに限定されず、同一の車両であること、もしくは同一の車両である可能性が高いこと、が確認できればその他の確認方法でも構わない。
例えば、画像を解析した結果、車両の形、車両の大きさ、車両の高さ、車両の幅、車両の色、車種、等のいずれか、もしくはいずれかの組み合わせが一致することにより、同一の可能性が高いことを確認してもよい。
前方用ドライブレコーダ101Fと後方用ドライブレコーダ101Rは、有線又は無線の車載ネットワークにより直接、もしくは通信ネットワークにより管理サーバ106経由で接続されており、いずれかのドライブレコーダ101の制御部303がマスターとなり、他方のドライブレコーダ101から煽り指数情報を取得して、合計して、総合的な煽り指数Pを算出する。
煽り判定対象である車両毎の例えば車番の4桁の数字と、カウント部322でカウントされた近接回数と、各近接検知のカウント毎に対象車両が近接している近接時間と、近接検知したときの自車加速度情報と自車速度情報と、をSDカード306または、制御部の一時記憶領域に例えば30分程度の時間記憶しておき、判定部326はこれらの情報を読み出して、近接平均時間を算出し、煽り指数Pを算出する。
なお、車両の近接を検知してから認識アルゴリズムを動かすと処理が遅延するため、車両の近接を検知した時には車番の数字を認識している方がよい。
処理の順番は車番認識に続いて車両検知を行うという順番であるが、車両を検知したタイミングで車番を記憶すればよい。
本実施例では、前記制御部が、前記画像情報に基づき特定された対象車両が所定の近接領域に入った回数に基づき、前記対象車両の危険運転の可能性を判定する危険運転判定システムついて説明した。
このように構成することで、撮影された対象車両が危険運転を行っている可能性が高い状態かどうかを判定する仕組みを提供することができる。
さらに本実施例では、前記制御部が、前記画像情報に基づき特定された対象車両が所定の近接領域に入った回数と対象車両が前記所定の近接領域に入っている時間である近接時間とに基づき、前記対象車両の危険運転の可能性を判定する危険運転判定システムについて説明した。
このように構成することで、撮影された対象車両が危険運転を行っている可能性が高い状態かどうかを近接行為の回数と時間という2つの情報に基づいてより精度良く判定する仕組みを提供することができる。
このように、車両10の外にある対象車両が所定の近接領域に入った回数及び近接領域に入っている時間である近接時間は、対象車両が危険運転を行っている可能性の指標となるいう知見を発明者は得た。本実施例では、このような知見のもとで、上記のように危険運転の可能性を判定する構成を採用している。
なお、本実施例の煽り判定では、近接回数と近接時間の両方を用いて煽り判定を行っているが、どちらか1つのみを用いて煽り判定を行う構成であってもよい。
また、近接時間については、近接平均時間を用いたが、例えば合計近接時間を用いる構成であっても構わない。
図12は、煽り指数判定テーブルの説明図の例である。
図12は後方車両の近接検知回数(n)と、複数回の近接検知時間の平均(近接平均時間t(秒))により算出された煽り指数Pが記載されている。
判定閾値は、煽り指数Pが、30未満は煽りレベル無し、30以上から50未満は煽りレベル低、50以上100未満は煽りレベル中、100以上は煽りレベル高とする。
一番薄い灰色で示した数値は、煽り指数Pが煽りレベル小を超えた部分である。二番目に薄い灰色で示した数値は、煽り指数Pが煽りレベル中を超えた部分である。一番濃い灰色で示した数値は、煽り指数Pが煽りレベル高を超えた部分である。
図13は、煽り指数判定グラフの説明図の例である。
図13においては縦軸に煽り指数Pを示し、横軸に検知回数nを示している。近接範囲に入っている時間は、グラフからそれぞれ1秒、4秒、6秒、11秒、17秒及び20秒である。判定部326は、閾値(煽りレベル高が100以上、煽りレベル中が50以上、煽りレベル低が30以上)に基づいて、それぞれの煽りレベルを判定する。
例えば、判定部326は、合計3回近接領域に侵入してきた車両があった場合、その近接平均時間が11秒を超えると、煽り指数Pが閾値100を超え、「煽り運転レベル高」と判定する。
なお、図13のグラフの通り、近接平均時間が長かったとしても、近接回数が1回の場合には、「煽り運転レベル高」にはならないように設定している。つまり、近接回数が2回以上の場合にのみ「煽り運転レベル高」になるように設定している。
このように構成することで、煽り運転の可能性の高くないただ1度の近接行為を、誤って煽り運転レベル高と判定することを防止することができる。
また、近接平均時間は20秒を上限としている。これは、通常煽り運転は、近接範囲内への接近と離脱を繰り返すものであるが、20秒を超えるような近接は渋滞等で車間が詰まっている状態が想定され、煽り運転ではない可能性が高いからである。
制御部303は、判定部326により判定された煽りレベルに基づいて、煽りレベル別処理を実行し、取得された動画像情報を分類して記憶手段であるSDフォルダに記憶する。
図14は、煽りレベル別処理フローの例である。
本フローでは、制御部303が、煽り運転のレベルに応じて、判定後の処理を変更する。具体的には、判定された煽りレベルに応じて、煽りレベル高、中、低の異なるイベントフォルダを作成し、異なるイベント記録を実行する。
このように構成することで、煽り運転のレベルに応じて、適切な処理を振り分けることができる。
制御部303は、判定部326の煽りレベルに基づき、煽り運転と判断されたどうかを確認する(S50)。
制御部303は、「煽りレベル無し」で煽り運転と判断されなかった場合には、処理を終了する(S50がNo)。制御部303は、煽り運転と判定された場合は、煽り運転のレベルに応じて、フォルダ合振り分け処理を実行する(S50がYes)。
制御部303は、「煽りレベル高」の場合には(S52がYes)、車両撮影用カメラ102により撮影された画像情報を、煽りレベル高フォルダに記憶する。既にSDカード306の別領域や制御部303の記憶部に画像情報を一時記憶している場合には、それを煽りレベル高フォルダに移動又はコピーすることにより記憶する。また、煽りを受けている可能性を示す警告音をスピーカ309から出力する(S54)。
制御部303は、「煽りレベル中」の場合には(S56がYes)、車両撮影用カメラ102により撮影された画像情報を、煽りレベル中フォルダに記憶する。既にSDカード306の別領域や制御部303の記憶部に画像情報を一時記憶している場合には、それを煽りレベル中フォルダに移動又はコピーすることにより記憶する(S58)。
制御部303は、「煽りレベル低」の場合には(S60がYes)、車両撮影用カメラ102により撮影された画像情報を、煽りレベル低フォルダに記憶する。既にSDカード306の別領域や制御部303の記憶部に画像情報を一時記憶している場合には、それを煽りレベル低フォルダに移動又はコピーすることにより記憶する(S62)。
煽りレベル高、中、低のフォルダは、それぞれ記憶するデータの保存ポリシーが異なっており、煽りレベル高の方がより重要なデータをより長期間保存するポリシーになっている。
例えば、煽りレベル高の場合には、対象車両が近接検出開始をしてから複数回近接と離脱を繰り返し、最終的に近接が終了するまでの画像情報のすべてを、煽りレベル高フォルダに記憶し、煽りレベル高フォルダに記憶された画像情報は上書きせず、長期に保存する。
煽りレベル中の場合には、最後に近接検知をした近接時間の例えば前後20秒を煽りレベル中フォルダに記憶し、煽りレベル中フォルダに記憶された画像情報は、上書きせず、長期に保存する。
煽りレベル低の場合には、最後に近接検知をした近接時間の例えば前後20秒を煽りレベル低フォルダに記憶し、煽りレベル低フォルダに記憶された画像情報は、例えば3カ月の間保存され、それ以降は上書きされる。
このように構成することで、煽り運転の可能性の高い車両に対する録画画像の記憶期間を長くし、より長期間解析や表示に役立てることができるとともに、煽り運転の可能性の低い車両に対する録画画像は、解析が終了して一定の期間が経った後に上書きして削除し、記憶容量を削減することができる。
制御部303の処理としては、判定により煽り運転のレベルが高いと判定された場合には、煽りレベル高フォルダに、既に記憶されている録画情報とは別に、新たに録画情報を記憶し、判定により煽り運転のレベルが低いと判定された場合には、煽りレベル低フォルダに、既に記憶されている録画情報を削除して、録画情報を上書き記憶することができる。
上述の例の他、例えば煽りフォルダ低、中、高の順に、記憶期間を長くすることも可能である。例えば煽りフォルダ低、中、高の順に、保存期間3ヶ月、保存期間6カ月、保存期間永久、とする。
このように構成することで、煽り運転の可能性の高い車両に対する録画画像の記憶期間を長くし、より長期間解析や表示に役立てることができるとともに、煽り運転の可能性の低い車両に対する録画画像は、解析が終了して一定の期間が経った後に削除して、記憶容量を削減することができる。
このように構成することで、煽り運転の可能性の高い車両に対する録画画像は順次新規に保存し、より長期間解析や表示に役立てることができるとともに、煽り運転の可能性の低い車両に対する録画画像は、解析が終了して一定の期間が経った後に削除して、記憶容量を削減することができる。
また、例えば、煽りフォルダ低、中、高の順に、保存動画像情報の録画期間を長くすることも可能である。例えば、煽りフォルダ低、中、高の順に、最終近接検知1回分の煽り検出期間の動画像情報を記憶、最終近接検知から過去3回分の煽り検出期間の動画像情報を記憶、複数の煽り検出期間の全動画像情報を記憶、とすることができる。
また、上記の例では、煽りレベル高の場合にのみ警告音を出力する構成としたが、制御部303は、判定された煽りレベルに応じて、出力部330を制御し、スピーカ309から出力される警告音や音声を変更することもできる。
例えば、煽りレベル高の場合には、煽りレベル低の場合と比べ、緊急度の高い警告音や音声を鳴らすことで、運転手に注意を促すことができる。
制御部303は、煽りが発生した位置や日時の情報と、煽り判定レベルを対応付けてSDカード206に記憶し、またそれらの情報を管理端末105、管理サーバ106、ユーザ端末107等に送信する。
さらに、本実施のドライブレコーダ101はGNSSセンサ307を備えており、煽り判定により、煽りレベルが高、中、低となったものについては管理端末105、管理サーバ106、ユーザ端末107に表示される地図上に、煽り運転だと判定された位置を表示することができる。
また、それぞれの位置の煽りのレベルが分かるように、例えば煽りレベル高の位置は赤色で表示、煽りレベル中は黄色で表示、煽りレベル低は青で表示、等を行うことができる。
さらに、当該位置の表示の選択を受け付けた場合に、煽り運転の可能性があるものとして対応付けて記憶されている録画情報を再生することができる。
本実施例では、煽り運転のレベルに応じて、異なる記憶領域に録画情報を記憶する。このように構成することで、煽り運転のレベルに応じて、録画情報の記憶領域を振り分けることができ、管理や表示が容易になる。
なお、カメラのイメージセンサに前処理を行うAI処理機能を有するような場合に、画像処理部321が、そのカメラで撮影した映像に基づいて画像認識した結果を示すデータを、併せて管理サーバ106へ送信することとしてもよい。
なお、前方のドライブレコーダ101Fは、運転手が本当に煽り運転を受けているかどうかを判断し、煽り運転判定が正しいかどうかを確認するボタンを備えることができる。
煽り運転であると判定された場合には、上述のように警告音等を鳴らすことができるが、警告音が鳴った場合に、制御部303は、運転手から煽り運転判定が正しかったかどうかのボタンによる入力を受け付ける。
このように、煽り判定のたびに、運転手から煽り運転判定が正しかったかどうかの確認を受け付けることで、正しく判定された煽り運転判定の教師データが蓄積し、AIによる学習を行って、煽り運転判定の精度を向上させることができる。
近接回数、近接平均時間、正しいと判定された煽り判定結果、を教師データとして用い、入力を近接回数及び近接平均時間とし、出力を煽り判定結果とする煽り判定モデルを機械学習により生成し、この判定モデルに、近接回数及び近接平均時間を入力し学習させることで、煽り判定結果を出力することが可能となる。
また、正しく判定された煽り運転に使われた近接回数や近接平均時間の閾値に基づいて、統計的手法又はAIにより、近接回数や近接平均時間の閾値を調整することで、より精度の高い煽り運転判定を行うことが可能となる。
また、前方と後方のドライブレコーダ101の連携により煽り判定を行うこともできる。例えば、ドライブレコーダ101Fが検知した前方の車両が存在しないにもかかわらず、ドライブレコーダ101Rが、後方の車両の近接を検知した場合には、煽り運転と判定する、煽り運転の可能性を高くする、又は、式1又は式2に掛ける重みづけ係数の値を大きくする、等を行うことができる。
同様に、ドライブレコーダ101Rが検知した後方の車両が存在しないにもかかわらず、ドライブレコーダ101Fが、前方の車両の近接を検知した場合には、煽り運転と判定する、煽り運転の可能性を高くする、又は、式1又は式2に掛ける重みづけ係数の値を大きくする、等を行うことができる。
なお、図2及び図3の例では、録画記録用の車両撮影用カメラ102と煽り検出用の車番検出用カメラ103とを同一のドライブレコーダ101の筐体内に備える構成を説明したが、これらのカメラをそれぞれ分離し取り外せる構成にすることもできる。もしくは、最初から別々の筐体として実装することともできる。
この場合、それぞれのカメラの間は、有線又は無線のネットワークで接続する。
また、片方の筐体にのみSDカード306等の録画記録用の大容量の記憶装置を備える構成として、他方はカメラのみの筐体とし、カメラのみの筐体で撮影された動画像情報をネットワーク経由で記憶装置備える筐体側に送信し、そこに記憶する構成としてもよい。
この様な2つのカメラを分離することができる構成では、録画のための車両撮影用カメラ102と、煽り検出用の車番検出用カメラ103をそれぞれ最適な取り付け箇所に取り付けることが可能となり、煽り検出の精度が向上し、また、記録の範囲の調整が容易となる。
なお、録画記録用の車両撮影用カメラ102と煽り検出用の車番検出用カメラ103を一体とし、また分離できる構成とした場合、一体にした場合には、ドライブレコーダ101の設置個所が一か所になり前方又は後方の視界を遮る箇所が一箇所にできるという効果がある。この場合、特に両者間の配線を隠す構成とするとよい。
[第2実施形態]
上述した実施形態では、ドライブレコーダ101は、車両撮影用カメラ102と車番検出用カメラ103とを備えていた。本実施形態では、ドライブレコーダ101は、対象車両との距離に応じて、距離測定、車両検知、及び車番認識の各処理に用いるカメラを切り替える。対象車両との距離は、車両10から対象車両までの距離とするとよく、この点は上述した第1実施形態と同じである。本実施形態では、ドライブレコーダ101が、図15に示すように、第1カメラ102Cと第2カメラ103Cとの2つのカメラを同一の筐体に備える構成を前提として説明する。第1カメラ102Cの画角は、車両撮影用カメラ102と同じで、130度である。第2カメラ103Cの画角は、車番検出用カメラ103と同じで、30度である。第1カメラ102Cと第2カメラ103Cの外観の構成や位置関係は、図2(A)で説明した、車両撮影用カメラ102と車番検出用カメラ103との位置関係と同じとするとよく、また、第1カメラ102Cと第2カメラ103Cとは地面に対し同じ高さに略平行に設けているとよい。ただし、第1カメラ102Cと第2カメラ103Cとは、分離可能(例えば、着脱可能)に構成されたり、別体で構成されたりしてもよく、この点は上述した第1実施形態と同様である。
<2-1>第1の動作例
第1の動作例について、図16を参照して説明する。ドライブレコーダ101の制御部303は、対象車両としての前方車両(例えば、真ん前の車両)又は後方車両(例えば、真後ろの車両)との距離に応じて、当該対象車両との距離の測定及び車番の認識の少なくとも一方に用いるカメラを切り替える。本実施形態では、対象車両との距離Lは、第1カメラ102Cと第2カメラ103Cとの一方又は両方により取得された画像情報に基づいて測定した距離とするとよい。
カメラを切り替える条件となる距離Lの値を、切替距離L1=5mに設定したとする。切替距離L1は、第1距離の一例である。車両10に対象車両が接近中であり、車両10と他車両との距離Lが、L1よりも大きくかつL2よりも小さい場合(本実施形態では、L1=5m<L<L2=100mである場合)、制御部303は、第2カメラ103Cにより取得された画像情報に基づいて距離Lを測定する。距離LがL1以下にまで接近した場合(本実施形態では、L≦L1=5m以下に接近した場合)、制御部303は、距離の測定に用いるカメラを、第2カメラ103Cから第1カメラ102Cに切り替える。距離Lが、一度L1=5m以内に接近したが、その後、L1=5m以上に離反した場合、制御部303は、第1カメラ102Cで距離を測定した状態で、距離LがL1=5m以上と判定して、距離の測定に用いるカメラを、第1カメラ102Cから第2カメラ103Cに切り替えることになる。車両10に対象車両がL1=5m前後で接近、及び離反を繰り返した場合、制御部303は、第1カメラ102Cと、第2カメラ103Cとの切り替えを頻繁に行うことになるが、問題ない。距離LがL1=5m前後の場合は、第1カメラ102Cも、第2カメラ103Cも、距離測定、及び車両検知(例えば、RCW)に余裕があるからである。車番の認識についても、各カメラによる車番認識の認識限界に問題がないように構成されていればよい。
このような第1の動作例によると、車両10と対象車両との距離Lが遠い場合は、第2カメラ103Cで、距離測定、車両検知、及び車番認識の各処理を行い、車両10に対象車両が接近中であり、車両10と他車両との距離Lが近い場合は、画角の広いカメラで、距離測定、車両検知、及び車番認識の各処理を行うので、各処理の精度が上がり、より精度の高い危険運転の可能性判定をすることができる。
<2-2>第2の動作例
次に、第2の動作例を、図17を参照して説明する。
上述した第1の動作例においては、ドライブレコーダ101の構成によっては、第1カメラ102C及び第2カメラ103Cを用いた距離測定、及び車両検知の各処理に余裕があっても、距離LがL1=5m前後となる距離で、第1カメラ102Cにとっても第2カメラ103Cにとっても、車番認識について認識限界になる可能性がある。この場合、制御部303が、カメラを切り替えたときに車番を認識できない可能性もありうる。
そこで、制御部303は、第1カメラ102Cと第2カメラ103Cとのどちらか一方に切り替えるのではなく、所定時間ごと(例えば50msごと)にカメラを交互に切り替えるようにするとよい。この第2の動作例では、制御部303は、カメラで測定した距離に応じて、第2カメラ103Cの1カメラとするか、又は第2カメラ103C及び第1カメラ102Cの2カメラを交互に切り替えるかを選択するとよい。
例えば、切替距離L3=10mで設定したとする。切替距離L3は、第2距離の一例である。上述したL1=5mという距離は第1カメラ102Cにとっても、第2カメラ103Cにとっても車番を認識できる認識限界の距離であるが、L3=10mという距離は、第1カメラ102Cにとっては車番を認識不可能、又は困難な距離であるが、第2カメラ103Cにとっては、車番を認識するのに十分可能な距離である。また、切替距離L3という距離は、両方のカメラにとって、距離測定、及び車両検知が十分可能な距離である。ここで、L1以上L3以下の距離(本実施形態では、距離Lが5m~10m)の範囲では、第2カメラ103Cで測定した値の方が信頼性が高く、0m以上L1未満(本実施形態では、0m~5m)の範囲では、第1カメラ102Cで測定した値の方が信頼性が高いと予想される。そこで、制御部303は、信頼性の高い値が得られると予想される一方のカメラの値を用いるとよい。
距離LがL1前後(本実施形態では、5m前後)の範囲である場合は、両方のカメラで距離測定、車両検知、及び車番の認識が可能であり、両方のカメラから値が取得できるので、制御部303は、どちらか一方の値を選択するとよい。両方のカメラで認識した車番が互いに異なる場合もあり得るので、例えば、制御部303は、L1=5m以上で認識していた車番と比較して、どちらの値を採用するかを決めるようにするとよく、例えば、同じ車番を認識しているほうのカメラの値を採用するとよい。
もう一つの問題として、距離測定、車両検知、及び車番の認識の処理に要する時間がある。カメラを交互に50msで切り替えたとすると、一つのカメラでは実質100ms以内で処理する必要がある。このような場合でも、車両10と他車両との距離Lが10m以内なので、相対速度が20km/h以上である可能性は低く、仮に相対速度20km/hだとすると、100msで約0.56mの変化となり、判定時間(処理時間)として100msは問題ないと考えられる。
このように、距離Lが切替距離L3=10m以上の場合、制御部303は、車両検知、及び車番の認識を、第2カメラ103Cを用いて50msで行うとよい。第2カメラ103CでL3=10m以下の距離判定をした時点で、制御部303は、第1カメラ102Cと第2カメラ103Cとを交互に50msで切り替える。この切り替えによって、第1カメラ102C、第2カメラ103Cはそれぞれ、実質100ms毎に車両検知と車番の認識の各処理を行うようになる。なお、本実施形態では、車両検知、及び車番の認識を、第1カメラ102Cと第2カメラ103Cとを交互に切り替えて行う場合を説明したが、少なくとも車番の認識をこのような処理で行うと、車番を認識できない可能性を低くすることができる。
[第3実施形態]
本実施形態では、遠近法(透視図)から求める車間距離である距離Lの測定に関する構成として、以下の構成を採用する。本実施形態の構成を、図18及び図19を参照して説明する。本実施形態の構成は例えば、上述した第2実施形態の第2の動作例の構成に適用できる。
制御部303は、カメラにより取得された画像情報を用いて行う対象車両との距離の測定を、その画像情報の透視図により計算されたメジャー(measure)を使って行う。地面からのカメラの高さ、カメラの向き、及びレンズの焦点距離によって、基準となるメジャーは違ってくる。そこで、制御部303は、カメラの向きが地面に対して水平であることを前提として、地平線を合わせることで、基準となるメジャー設定ライン(measure line)を決定する。
本実施形態の動作を、図18及び図19を参照して説明する。メジャー設定ラインは、例えば図18及び図19に示すような地平線に平行な線である。メジャー設定ラインは、距離測定のために画像情報に対して設定した基準位置の一例である。第1カメラ102Cと第2カメラ103Cとでは、メジャー設定ラインが異なるが、制御部303は、第1カメラ102Cと第2カメラ103Cとの各カメラで取得された画像情報のそれぞれに対して、メジャー設定ラインを設定する。第1カメラ102Cと第2カメラ103Cとの両カメラの地面からの高さが同じで、且つカメラの向きが地面に対して水平だと仮定した場合、2つのカメラのそれぞれの地平線を合わせる必要がある。そこで、制御部303は、まず、地面からのカメラの高さを特定する。例えば、カメラの高さはユーザに入力されるとよいが、それ以外の方法でもよい。ユーザにより入力されるカメラ高さは、例えば、100cm/110cm/120cm・・・・250cmという複数の選択肢の中からユーザにより選択されるとよい。制御部303は、選択された高さから、第1カメラ102Cと第2カメラ103Cとの両カメラの映りの違いを特定し、地平線を合わせる補正をした上で、各カメラの画像を用いて距離を測定する。
以上の方法は、例えば2つカメラが、地面から同じ高さにあり、かつカメラの向きが地面と水平方向に取り付けられているという前提である。ただし、実際には、カメラが地面に対して水平に(つまり、重力方向と垂直方向に)合わせることはできるが、これがユーザにとって面倒である場合もあるから、制御部303は自動で補正するとよい。制御部303は、カメラの向きが多少上を向いていたり、下を向いていたりした場合でも、カメラの角度を検出して、メジャー設定ラインの設定に反映させるとよい。
さらに、以下のように変形してもよい。
<3-1>制御部303は、対象車両が後方車両の場合、真後ろの車かそうでないかの判定を、後方の車線を特定せずに、仮想ラインを引いておいて、その内側か外側かで判定するようにして行ってもよい。同様に、制御部303は、対象車両が前方車両の場合、真ん前の車かそうでないかの判定を、前方の車線を特定せずに、仮想ラインを引いておいて、その内側か外側かで判定するようにして行ってもよい。
<3-2>制御部303は、撮影された画像における水平線の位置または道路の消失点の位置等の基準位置の設定を行う機能を備えるとよい。さらに、制御部303は、一方のカメラの画像に対してはユーザ操作によってその画像内の基準位置を設定し、他方のカメラの画像に対しては両者の設置位置関係(配置)に基づきユーザ操作なしに(つまり、自動的に)その画像内の基準位置を設定する機能を備えてもよい。
<3―3>制御部303は、撮影された画像における水平線の位置または道路の消失点の位置等の基準位置の設定を行う機能を備えるとよい。さらに、制御部303は、2つのカメラの画像を同時に表示するとともに、それぞれの画像内にそれぞれの基準位置を表示させる機能を備え、一方のカメラの画像に対してユーザ操作によって設定した基準位置に対応する他方のカメラ画像内の基準位置を自動的に同時に表示させるとよい。制御部303は、例えば、望遠側の基準位置を設定したときその位置を望遠側画像内にマークやラインで表示するとよい。制御部303は、その位置に対応する広角側の基準位置を計算で求め。その位置を広角画像内にマークやラインで自動的に表示するとよい。このようにすると、両者のずれを見て、装置の設置が水平になるよう調整したり、望遠側の手動設定を調整したりして、2つのカメラの基準位置を容易に合わせることができる。
<3-4>本実施形態の各変形例の構成は、第1カメラ102Cと第2カメラ103Cに例示される、画角が異なり撮影範囲に重なりがある複数のカメラを備える装置に適用されてもよい。
[第4実施形態]
本実施形態では、車番の認識に関する構成として、以下の構成を採用するとよい。
<4-1>制御部303は、対象車両との距離または車両検知をトリガーにして車番の認識を開始するのではなく、車番を認識する処理を継続して(例えば、常時)行ってもよい。継続して車番を認識する処理を行うことは、車両10の走行中に、制御部303が例えば所定期間ごとに繰り返し車番を認識する処理を行うことをいうとよい。継続して車番を認識する処理を行うことは、車間距離の測定や、車両を検知しているか、又はしていないにかかわらず、所定期間毎(例えば50ms毎)に、車番の認識結果(認識できないという信号か、または認識した車番(例えば4桁数字))を出力することをいうとよい。このようにすると、対象車両の車番が何であるだけでなく、認識できたか否かを把握するためのデータとともに、その認識をする処理をしたときの状況を示すデータを記録することができ、状況の解析に役立てることができる。
<4-2>制御部303は、車番の認識結果を、カメラにより取得された動画像情報(画像情報の一例)とは別にSDカード306に記録してもよい。さらに、制御部303は、動画像情報を記録する方法と同様に、SDカード306に連続記録フォルダとイベントフォルダを作り、連続記録フォルダについては動画像情報を上書きしながら逐次記録していき、車両検知(例えば、RCW、FCW)、加速度センサ、及びマニュアル操作に例示される所定のイベントが発生した場合は、連続記録フォルダからイベントフォルダに移す、又は連続記録フォルダに記録した動画像情報や車番の認識結果の上書きを抑制するようにしてもよい。上書きの抑制は、上書きを禁止することとするとよいが、他の原因等によって上書きが許容されるような場合に、その上書きが許容されにくくして、動画像情報や車番の情報が消去されにくくする処理とすることも考えられる。
<4-3>制御部303は、車番を認識できる、又はできないにかかわらず、継続して車番を認識する処理を行い、車番情報をSDカード306に連続記録するとよい。車番情報は、例えば、車番を認識できた場合はその車番を含み、さらに、車番を認識する処理を行ったときの状況を示すデータとしての時刻、緯度経度、自車速度、加速度等の情報を含むとよい。連続記録は、車両10の走行中に、所定期間ごとに繰り返し記録することをいうとよい。また、制御部303は、カメラで撮影された画像情報に基づき静止画(例えば、jpeg静止画。画像情報の一例)を所定の周期(例えば1fps)で連続記録するとよい。静止画は、例えば第1カメラ102Cで撮影された画像であるが、制御部303は、第1カメラ102Cで連続記録しながら、第2カメラ103Cで撮影された画像(例えば、jpeg静止画)をSDカード306に記録してもよい。
<4-4>制御部303は、距離測定、車両検知、判定、加速度によるイベント(Gイベント)、及びマニュアルイベントにより、SDカード306に連続記録している車番情報、及び静止画を、所定のフォルダ(例えば、イベントフォルダ)にコピーするか、ファイルロックを掛ける等の方法で、上書きを抑制するとよい。上書きの抑制は、上書きを禁止することとするとよいが、他の原因等によって上書きが許容されるような場合に、その上書きが許容されにくくして、動画像情報や車番の情報が消去されにくくする処理とすることも考えられる。
<4-5>制御部303は、ドライブレコーダ101Rに例示される後方カメラで後方車両(例えばRCW/BSD)の接近等を繰り返し検知して、車番を認識し、同じ車番の車両がドライブレコーダ101Fに例示される前方カメラ(例えばFCWS)にて接近を繰り返した場合には、悪質な危険運転として判定して、その判定結果に応じた処理を行ってもよい。または、制御部303は、ドライブレコーダ101Fに例示される前方カメラで前方車両(例えばFCWS)の接近等を繰り返し検知して、車番を認識し、同じ車番の車両がドライブレコーダ101Rに例示される後方カメラ(例えばRCW/BSD)にて接近を繰り返した場合には、悪質として判定して、その判定結果に応じた処理を行ってもよい。悪質と判定することは、危険運転と判定することとするとよい。判定結果に応じた処理は、上述した危険運転と判定した場合の処理とするとよいが、異なる処理としてもよい。
[第5実施形態]
本実施形態では、車両10の外の人の検知に関して、以下の構成を採用するとよい。
<5-1>ドライブレコーダ101は、車両10の外の人を検知して、その検知した結果に応じた処理を行う機能を有してもよい。ドライブレコーダ101は、平面画像の画像情報を取得するカメラでもよいが、天球画像の画像情報を取得するカメラとすると、より広範囲を撮影して人を検知できるので、尚良い。天球画像の画像情報を取得するカメラは、半天球の領域、又は半天球の領域よりも広い範囲を撮影して画像情報を取得するカメラである。天球画像の画像領域は、円形または楕円形である。天球画像は、中心付近ほど撮像レンズに起因する歪み(画像歪み)が小さく、径方向において周縁(周方向)に近づくにつれて、その歪みの度合いが大きくなっている。天球画像の中心付近ほど、被写体が相対的に大きなサイズで撮影されており、径方向において周縁に近づくにつれて、被写体が相対的に小さなサイズで撮影されている。天球画像は、例えば半天球画像、又は全天球画像とするとよい。図20に示すように、ドライブレコーダ101は、例えば、このように車両10の外の人を検知するためのドライブレコーダ101Fとするとよい。ドライブレコーダ101F(第3カメラの一例)は、車両10の運転席又は助手席の外(例えば、窓の外、フロントガラス越しなど)を撮影して、危険な行為をされた場合(例えば、煽られた場合)、その危険な行為をした人(例えば、煽った人)を検知するとよい。図20においては、煽った人は、「人P1」として示されている。
ドライブレコーダ101Fにおいては、運転席、又は助手席の窓の位置を、煽った人を検知する対象の領域(以下「検知対象領域」という。)とするとよい。検知対象領域の形状や、位置及び大きさについては、ユーザが設定できるようにするとよい。このようにするのは、車によって、車内と車外が映るエリアが違うからである。例えば、制御部303は、ドライブレコーダ101Fで撮影された画像を、自身の表示部(LCD付きであればLCD上)に表示して、その画像の画像領域のうち、車外に相当する領域を検知対象領域としてユーザの操作で設定できるようにする。また、制御部303は、ユーザ端末107にドライブレコーダ101Fで撮影された画像を送信してもよい。この場合、ユーザ端末107は、その画像を表示して、その画像の画像領域のうち、検知対象領域をユーザの操作で設定できるようにし、その設定をドライブレコーダ101Fに通知するとよい。一例として、図21(a)に示す画像(この例では、半天球画像)がドライブレコーダ101Fで撮影されている場合には、例えば、図21(b)に示すような検知対象領域Ar1,Ar2が設定される。検知対象領域Ar1は、窓の位置に対応し、検知対象領域Ar2はフロントガラスの位置に対応する。検知対象領域の形状は、どのような形状でもよいが、ユーザが自由に決められると車両10の外の位置を正確に特定できるが、正方形や長方形等の四角形であるとユーザにとっては設定が簡単であるし、多角形、楕円形等にしてもよい。
さらに、制御部303は、検知対象領域から人を検知した場合は、所定の処理として、イベント記録を開始するとともに、イベント記録中であることを光、音、音声等の人間が知覚可能な方法で、その人に報知(例えば、警告)する機能を有してもよい。そのために、例えば、ドライブレコーダ101Fのうち車両10の外から視認できる部位に発光部が設けられていたり、ドライブレコーダ101Fが車両10の外にも聞こえるような音を出力する機能を有していたりするとよい。又は、ドライブレコーダ101Fは、車両10と通信可能に接続され、車両10のハザードランプの点灯やブザーを鳴らす等の、車両10と連係した方法で報知を行うようにするとよい。このようにすると、自車両の外の人を検知した場合にドライブレコーダ101Fにより取得された画像情報を記録して、自車両の人が検知したときの状況を画像情報を用いて確認するとともに、記録中であること自車両の外の人に報知するので車両の盗難といった防犯上の優れた効果を奏することができる。
制御部303は、後方車両40の危険運転を判定した後(例えば、煽り運転を検出した後)、検知対象領域から人を検知した場合に、上記所定の処理を行ってもよい。制御部303は、例えば、後方車両40の危険運転を判定した後(例えば、煽り運転を検出した後)、検知対象領域から、その後方車両40の乗員(例えば運転者)と同じ人を検知した場合は、上記所定の処理を行ってもよい。ドライブレコーダ101Rについても同様にすることができ、制御部303は、前方車両の危険運転を判定してもよい。
車両10の外の人の検知については、物体検出技術を適用することができる。物体検出技術は、例えば、HoG特徴量およびSVMによる検出、画像の明暗差によるHaar-like特徴量を用いた検出とするとよいが、特に、R-CNN、YOLO、SSD等のディープラーニングによる検出とするとよい。ディープラーニングを用いる場合、事前準備として、検出したい物体が映った画像を多数集めて、バウンディングボックスと物体名を正解値としてタグ付けした画像を用意しておくとよい。このタグ付けした画像を用いて、学習済みモデルの層の重みを調整することで特定の物体を認識できるようにする。
<5-2>ドライブレコーダ101の制御部303は、車両10の車室の人の顔を認識して、SDカード306に撮影した画像を記録する場合に、その人の顔を視認しにくくする処理を行うようにするとよい。顔を視認しにくくする処理は、例えばモザイクを掛ける処理、別の画像を被せる(マスクする)等の顔を秘匿化する処理とするとよく、人間の目で見てどのような顔であるかを理解しにくくする処理であるとよい。制御部303は、例えば、画像を記録するときに、ユーザの指示がなくとも(つまり自動で)、車室の人の顔にモザイクを掛ける処理を行うとよい。制御部303は、車両10の外の顔については、その顔を視認しにくくする処理を行わないようにするか、又はその処理を行う場合でも、その顔を別の画像として記録する等して、画像を記録するとよい。このような記録は、車外の人の顔については当該顔を特定可能な方法で記録することの一例である。車両10の外の顔にそれを視認しにくくする処理を行わない理由は、防犯上の目的である。このように構成することで、自車両の持ち主に例示される自車両の正当な利用者にプライバシーを保護しつつ、悪意のある可能性のある自車両の外の人の顔についてはその顔を特定可能な方法で記録しておくことができる。
制御部303は、ユーザ端末107に撮影した画像の画像データを送信する場合、例えばストリーム画像を送信する場合も、上述した方法で、車両10の車室の人の顔を視認しにくくする処理を行うとよい。
<5-3>制御部303は、所定の処理として、ドライブレコーダ101Fにより取得された画像情報が示す画像領域のうち、車両10の車内の人の顔についてはその顔を視認しにくくする第1処理を行うとともに、第1処理を解除してドライブレコーダ101Fにより取得された画像情報を再生可能にする第2処理を行った後の画像情報を記録するようにしてもよい。PCビューワ等の所定のソフトウェア(ビューワ)でドライブレコーダ101の撮影画像を閲覧する場合にも、車両10の車室の人の顔を視認しにくくする処理が施されたままとしてもよいが、これを解除できるようにする。第1の処理は、上述した顔を視認しにくくする処理と同じとするとよい。第2処理は、例えば、モザイクを外す、被せた画像を取り除く(マスクを解除する)等の、第1処理を無効にする処理とするとよく、人間の目で見てどのような顔であるかを理解しやすくする処理とするとよい。第2処理による解除を可能にするために、制御部303は、その解除を可能にする所定の画像処理を第1処理として施してもよいが、車両10の車室の人の顔を視認しにくくする処理が行われていない画像情報を、通常の方法では閲覧できない方法等(例えば、隠しファイルとする、暗号化する等)により、SDカード306に記録する処理を、第1処理として行ってもよい。このようにすることで、自車両の持ち主に例示される自車両の正当な利用者と思われる人にプライバシーを保護しつつ、必要な場合はその人の顔が分かるように画像情報を再生可能にすることができる。
<5-4>制御部303は、撮影画像から人の顔を認識した結果に基づいて、以下の処理を行ってもよい。撮影画像から人の顔を認識する顔認識機能は、制御部303が有するとよいが、ドライブレコーダ101Fと通信可能な外部の装置(例えば、サーバ装置、ユーザのスマートフォンなどの携帯端末)が有してもよい。図21を用いて説明すると、例えば、運転者Dが前のめりになった場合、運転者Dの顔が、画像における上方に移動して、検知対象領域Ar1内に移動する場合がある。この場合、制御部303は、検知対象領域Ar1内で人の顔を認識した場合は、人の顔を視認しにくくする処理を行わないようにし、顔を認識しない場合は、人の顔を視認しにくくする処理を行うようにするとよい。検知対象領域Ar1内で人の顔を認識した場合とは、予め登録した運転者Dの顔と一致したとき(つまり、顔認証に成功したとき)としてもよいし、何らかの顔を認識したことをいってもよい。本実施形態のように、検知対象領域を設定するのではなく、常に撮影領域全体を顔認証してもよいが、検知対象領域を設定して顔認証をすることで、処理負荷を低減できる。このようにすることで、例えば自車両の持ち主に等の自車両の正当な利用者と思われる人の顔が、その人の姿勢の変化等により、車外に相当する領域とした検知対象領域内に入った場合でも、その人のプライバシーを保護することができる。
<5-5>制御部303が、駐車監視機能によりカメラで撮影された画像を記録する場合は、人の顔を視認しにくくする処理を行わないようにする(つまり、人の顔を視認しにくくする処理を停止させる)とよい。駐車監視機能は、車両10の駐車中に撮影された画像を記録する機能である。駐車監視機能は、駐車中の車両10の内部又は車両10の周辺の外部を監視するための機能である。制御部303は、車両10のエンジンオフ状態では、外付けバッテリからの電力の供給を受けて、SDカード306に画像を記録する。車両10の駐車中であるか否かについて、制御部303は、例えば、アクセサリ電源がオフされたこと、エンジンがオフされたこと、外付けバッテリからの電源供給が開始されたこと、車速が0km/h又は所定速度以下であること、及び位置情報取得部が取得した位置情報が所定の位置情報(例えば、自宅や勤務先、駐車場の位置情報)であること、の1つ又は複数に基づいて判定するとよい。このようにすると、運転席に泥棒等の人が座っている等して、窓やフロントガラスに当たらない領域に人の顔があるときであっても、その人の顔が視認できるようにすることができる。
<5-6>発明者は、ソフトウェアで天球画像をAIで認識しやすい矩形等の画像へ展開するように、所定の座標変換を行った画像を生成させる(以下「デワープ」という。)と、例えば3fps程度といった低いフレームでしか処理できないことを発見した。後段にさらに人を認識する処理を加えると、処理速度はますます厳しくなることが考えられる。また、物体検出技術を用いて車両10の外の人を検知する場合に、天球画像に対して物体検出技術を適用するよりも、デワープした後の画像に対して物体検出技術を適用した方が、検知精度が向上することがある。そこで、制御部303は、検知対象領域(例えば車両10の窓部分のみ)を、デワープの対象領域として所定の座標変換を行った画像を生成する。そして、制御部303は、その座標変換後の画像に対して物体検出技術を適用して、車両10の外の人を検知する。このようにすると、車両10の外の人を検知の精度を向上させるとともに、処理速度を向上させることができる。また、天球画像のうち、デワープの対象とするデワープ領域と、露出計算用領域と、SDカード306に画像を記録する領域である画像記録領域のうち少なくとも2つをほぼ同一の範囲としてもよい。例えば、制御部303は、設定された検知対象領域に基づいて、デワープ領域と、露出計算用領域と、画像記録領域との少なくとも2つを決定するとよい。
<5-7>本実施形態の構成は、室内カメラ等、車両に搭載されるカメラ以外の撮影装置にも適用することができる。撮影装置は、例えば防犯カメラでもよい。撮影装置は、例えば住居やオフィス等の室空間を撮影し、窓やドアの位置に設定された検知対象領域内で人の顔を認識した場合は、人の顔を視認しにくくする処理を行わないようにするとよい。
[第6実施形態]
ドライブレコーダ101で撮影された画像に含まれるナンバープレート(車番が映っている部分のみとしてもよい)を鮮明化する鮮明化処理に関し、以下の処理が採用されてもよい。
<6-1>制御部303は、画像中のナンバープレートを、例えばディープラーニング等により鮮明化してもよい。例えば、ナンバープレートを撮影した画像を予め学習した学習済みモデルを用意しておき、制御部303は、この学習済みモデルに画像情報を与えて補正するとよい。ドライブレコーダ101が天球画像を撮影する場合は天球画像に含まれるナンバープレートの画像を学習した学習済みモデルを用いる等、画像の種類(例えば、幾何学的な変形の度合い、撮影に用いられたレンズの種類)が同じ又は類似の画像を学習した学習済みモデルを用いると、より鮮明化の効果が高めることができる。
<6-2><6-1>の鮮明化を行う機能は、ドライブレコーダ101に搭載されてもよいが、ビューワ側に搭載され、ドライブレコーダ101にこの機能が備えられないようにするとよい。このようにすると、ドライブレコーダ101の記録した画像は変更(加工)されないので、オリジナルの画像のまま維持した状態で記録しておくことができる。
<6-3>制御部303は、ドライブレコーダ101の撮影した画像情報は変更せずに、この画像情報が示す画像を鮮明化した新たな画像情報を生成して、これら両方の画像情報を記録するとよい。このようにするのは、元の画像はオリジナルのまま大事にしておく、又は元の画像をいじると改ざんになるので、元の画像はそのままにしておきつつ、ナンバープレートを鮮明化した画像を得られる。
<6-4>制御部303は、動画の再生時に、ユーザの操作なしに(つまり、自動的に)ナンバープレート部分を鮮明化するようにしてもよいが、ナンバープレートが表示されている状態で一時停止した画像に対してナンバープレート部分の鮮明化を行うとよい。これはドライブレコーダ101の画像を実際に再生するときに鮮明化し、それまでは元のままの画像にしておくという考えに基づく。
<6-5>制御部303は、ナンバープレート部分は画像内でユーザの指定なし(つまり、自動的に)その範囲を特定するようにしてもよいが、ユーザの手動で囲むなどして指定するようにするとよい。このようにすると、ナンバープレート部分の特定に係る処理を不要としたり、ナンバープレート部分を正確に特定したりすることができる。また、ユーザは、できる限りオリジナルに近い状態の画像を閲覧することができる。
<6-6>制御部303は、鮮明化を行った画像には「ナンバープレート鮮明化処理済み」のように、鮮明化処理済みであることを明示する加工を加えた画像であることがわかる情報を付与して、表示または記録の少なくともいずれか一方を行うとよい。このようにすると、オリジナルの画像ではなく、ナンバープレート鮮明化の後の画像であることを、ユーザが分かるようにすることができる。
[第7実施形態]
ドライブレコーダ101Fの撮影した画像から交通信号機を認識して、以下の処理を行ってもよい。
<7-1>制御部303は、撮影した画像から交通信号機の表示が赤信号であることを検知し、かつ同一進行方向、または対向方向(反対車線)の車がその交差点に侵入しようとしたことをトリガーとして、危険運転と判定するとよい。判定結果に応じた処理は、上述した危険運転と判定した場合の処理とするとよいが、異なる処理としてもよい。
<7-2>制御部303は、撮影した画像から交通信号機の表示が青信号であることを検知した場合に、撮影した画像から交通信号機の表示が赤信号である側(例えば、交差方向)の車両が侵入してきた(例えば、突っ込んできた)ことをトリガーとして、危険運転と判定するとよい。判定結果に応じた処理は、上述した危険運転と判定した場合の処理とするとよいが、異なる処理としてもよい。
<7-3>制御部303は、撮影した画像から歩行者用の交通信号機の信号点滅を検知し、もうすぐ信号が変わる可能性があることを検知して、報知するとよい。このような信号点滅は、目の前の信号の切り替わり情報である。例えば、歩行者用の交通信号機で青や赤に切り替わる時間をカウントダウンする信号があるが、それを表示させるイメージである。
<7-4>制御部303は、地図上に、検知した速度標識のデータを地図上に記憶しておき、画像認識ができないなどの理由で、速度標識が認識できない場合でも報知するとよい。速度標識のデータは、例えば、制限速度や速度標識の設置地点の位置情報(例えば、緯度経度情報)を含むとよい。報知は、例えば、車両10が速度標識の設置地点又はその付近を走行するとき(例えば、所定距離範囲内、同じ道路の走行時)に行われるとよい。報知は、光、音、音声等の人間が知覚可能な方法で行われるとよい。報知は、例えば、速度標識の表示する制限速度が何km/hであるかや、車両の現在の速度が制限速度を超えているかどうかを含むとよい。このようにすると、例えば、反対車線を走行中にこの記憶した速度を活用して報知することができる。また、制御部303は、検知した速度標識のデータを通信によりサーバ装置や他のドライブレコーダ等の他装置に送信し(伝送し)、共有の情報として活用、マップ化して他の車両へ制限速度を伝送できるようにしてもよい。制御部303は、サーバ装置や他のドライブレコーダ等の他装置から受信した速度標識のデータを地図上に記憶しておき、このデータに基づいて、速度標識が認識できない場合でも報知するとよい。
<7-5>制御部303は、ドライブレコーダ101の記録内容に、走行中付近の信号情報を更に記憶させるとよい。このようにすると、信号が動画内に記録されていなかったとしても何色かが分かる。
[第8実施形態]
車両10が後退するときの後方を確認する機能として、ドライブレコーダ101は、以下の機能を備えてもよい。ドライブレコーダ101(例えば、ドライブレコーダ101F)は、バックギアを検出すると(言い換えると、ギアがリバースであると判定した場合)、ドライブレコーダ101Rに撮影されている対象物を検知し、報知する(例えばアラートする)機能を有してもよい。対象物は、例えば人や障害物であり、車両10に衝突する可能性のある物であるとよい。制御部303は、車両10から図示せぬ接続端子を介して入力された信号(具体的には、ギアのポジションを特定する信号)に基づいて、バックギアの検出(ギアがリバースであるかどうかの判定)をするとよい。報知は、音、光、表示その他の人間の知覚可能な方法で行われるとよい。
さらに、制御部303は、車両10から対象物までの距離に応じて報知(アラートの仕方)を可変にさせるとよい。例えば、制御部303は、対象物との距離が近い第1距離以下の場合、車両10をバックさせないようにユーザに警報するとよい(例えば“バックダメ!!”といった音声メッセージの出力)、制御部303は、車両10から対象物までの距離が少し離れている場合、例えば第1距離より大きいが第2距離以下の場合、ユーザに対して注意喚起をするとよい(例えば、音声メッセージの出力)。制御部303は、車両10から対象物までの距離が遠い場合、例えば第2距離よりも大きい場合、表示部(例えばドライブレコーダ101の表示部)に、ドライブレコーダ101Rの撮影画像を表示し、さらに、その撮影画像に含まれる対象物を四角等の図形で囲む表示をし、報知に関する音については無しとするとよい。
また、制御部303は、対象物との距離が近い場合、例えば第1距離以下となった場合に、これをイベントトリガ(危険イベント)として、イベント録画をするとよい。このイベント録画は、対象物との距離が近くなった前後の所定の期間のドライブレコーダ101Rの画像を録画するとよいが、対象物との距離が近くなった時点以降の画像だけを録画してもよい。
ドライブレコーダ101(例えば、ドライブレコーダ101F)が、ネットワークを通して外部のサーバ装置等と通信可能な通信型である場合、制御部303は、そのイベントの発生を、ネットワークを介して通知してもよい。この通知は、サーバ装置等に登録されたファザードマップのような地図データに、イベントが発生した地点を登録する旨の通知をするものであってもよい。車両10から対象物までの距離が少し離れている場合、制御部303は、同じ場所で、どの程度の時間この距離であるかの積算をカウントして、ある閾値の上限になった場合に、ファザードマップのような地図データに、イベントが発生した地点を登録する旨を通知してもよい。この地図データは、ドライブレコーダ101が記憶している地図データでもよいし、サーバ装置等の外部装置から取得できる地図データでもよい。取得した地図データに基づいて表示がなされると、どの地点に衝突の危険がある対象物があるかをユーザが視覚的に把握でき、安全運転に資することができる。なお、本実施形態において、ドライブレコーダ101Rは、2つ以上のカメラを備えた装置でなくてもよい。
[第9実施形態]
以下その他様々なバリエーションが考えられる。
例えば、煽り検出用リアカメラは、フロントの標識認識用カメラとしても使用することができる。この煽り検出用リアカメラは、上述した実施例における、ドライブレコーダ101Rの車番検出用カメラ103に対応する。煽り検出用のリアカメラとフロントの標識認識用カメラの画角は録画用カメラに比べ画角が狭いほうが良い点で共通性がある。従って、煽り検出用のリアカメラとフロントの標識認識用カメラに求められる性能には共通性があり、両者を共通化することにより、在庫点数等を削減できるとともに、部品の購入数も増やすことができるため、製造や保管コストを削減できる。このように、ドライブレコーダ101Rを、ドライブレコーダ101Fと同様、車両10の前方に取り付けることで、ドライブレコーダ101Rを他の用途に用いることができる。
煽り検出用リアカメラは、フロントのADAS(Advanced driver-assistance systems:先進運転支援システム)用カメラとしても使用することができる。さらにフロント録画用のカメラ映像についてもADAS機能を設け、煽り検出用リアカメラと協調して動作するようにしてもよい。
また、煽り検出用リアカメラは、運転者の監視用カメラとしても使用することができる。
さらに赤外線投光機を煽り検出用リアカメラに取り付けることができる。
煽り検出用リアカメラは、フロントカメラにも取り付けて一体化することができる。
煽り検出用リアカメラは、録画用リアカメラと一体化する場合には両カメラ間を角度調整不能に一体化させる一方、フロントの標識認識用カメラ又は運転者の監視用カメラとしてフロントカメラと一体化されるときは、両カメラ間は角度調整可能に一体化することができる。
なお、ドライブレコーダ101は車両10の前方にも後方にも設置可能であるが、車両10の前方に設置可能な取り付け部と、後方に設置可能な取り付け部と、を両方有する構成とすることができる。又は、車両10の前方に設置可能な取り付け部と、後方に設置可能な取り付け部と、を切り替えて使用する構成とすることができる。
また、車両10の前方に設置されるドライブレコーダ101Fは、車両10の前方のADASカメラとしても使用可能な取り付け部を備えてもよい。
また、車両10の前方に設置されるドライブレコーダ101Fは、車両10の前方から、車両10の後方を撮影するカメラとしても使用可能な取り付け部を備えてもよい。
ドライブレコーダ101は、さらに赤外線投光器を内蔵することができる。特に、車両10の前方から、車両10の後方を撮影するカメラとしても使用する際に有用である。
また、赤外線投光器を物理的に隠す蓋又はシールを備えることもできる。特に可視光カットフィルタを挿入する機構に、フィルタの代わりに蓋を設けるとよい。
また、可視光カットフィルタを挿入する機構を車両撮影用カメラ102と車番検出用カメラ103の両方、又はいずれか一方にのみ設けることができる。
また、筒状の筐体の軸方向が上下方向になるように設置可能な取付具を備える構成としてもよい。
この場合、例えば車番検出用カメラ103が下方向を向くように設置することができる。この場合、前方又は後方の車両の底部に位置するナンバープレートが認識しやすくなる。
また、逆に、車番検出用カメラ103が上方向を向くように設置することができる。この場合、標識や信号が認識しやすくなる。
なお、車両10の前方のドライブレコーダ101Fと、後方のドライブレコーダ101Rを両方備える構成では、映像を前方又は後方のそれぞれで記憶することもできるし、いずれかに伝送して片方で記録することもできる。
ドライブレコーダ101Fとドライブレコーダ101Rの片方の装置で記録される場合、他方の装置は当該片方の装置に映像を伝送する機能を有していればよいから、当該他方の装置はドライブレコーダとして把握される装置でなくてもよく、撮影機能を有する装置であればよい。
両方で記憶する場合でも、それぞれ他方のドライブレコーダ101に映像を伝送して、記録を二重化することもできる。
また、この場合、車載ネットワークによりそれぞれのドライブレコーダ101の時刻を同期させて記録をすることもできる。
また、煽り判定処理等のプロセッサパワーを消費する処理を、前方と後方のドライブレコーダ101で負荷分散して実行することも可能である。
また、本実施例のドライブレコーダ101は、車番検出用カメラ103と車両撮影用カメラ102の2つのカメラを有する構成として説明したが、例えば前方のドライブレコーダ101Fは車両撮影用カメラ102のみを有し、後方のドライブレコーダ101Rは、2つのカメラを有する構成としてもよい。
前方のドライブレコーダ101Fを単体のカメラのみとすることで、運転視野の妨げになりやすい前方に設置するカメラを小型化して運転視界をすっきりさせることができるとともに、後方ではナンバープレート認識等のAI処理を狭角カメラの映像を用いて行うことができる。
このような構成とすることで、前方がドライブレコーダ101Fで、後方が単体カメラの構成と比べ、前後機器間のケーブルの太さを細くすることが可能であり、また狭角・広角の2カメラの映像を記録することも容易となる。
また、前方の単体カメラから後方のドライブレコーダ101Rへ電源を伝送する場合、前方の単体カメラに、電源の入力端子と、後方のドライブレコーダ101R向けの映像の
出力端子と、電源の出力端子とを設けることができる。
電源の取り回しの別の方法としては、シガーソケット等から電源を前方の単体カメラと後方のドライブレコーダ101Rとに分岐して供給することができる。映像信号は、前方の単体カメラからシガー等を経由して後方のドライブレコーダ101Rに伝送される。このような構成とすることで、前方の単体カメラへのケーブルが1本ですむのですっきりとした配線にすることができる。特に、Aピラーにはエアバック等が存在するなど、複数のケーブルを通すことが素人には難しい場合もあるが、DIYでユーザ自身が配線することも容易になる。
また、前方を単体カメラとし後方をドライブレコーダ101Rとした構成では、ドライブレコーダ101Rに付属する手動トリガーのボタンが運転者の近くになくなってしまう。従って手動トリガーのボタンを、前方の単体カメラにも設けるとよい。
また、マイクについても、フロント単体カメラにも設けるとよい。この様にすることで、フロント側の音声を鮮明に録音することができる。
なお、前方をドライブレコーダ101Fとし、後方を単体カメラという配置にすることもでき、このような配置をすることができる取付具及びケーブルを備えることもできる。
管理端末105、管理サーバ106、ユーザ端末107等では、図1で示したようなドライブレコーダ101や、単体カメラをどこの部分に設置したかを設定し、表示することも可能であり、その設定に応じて処理の内容を変えることができる。なお、図1のように車両のデザイン上に配置位置を表示することが好ましいが、設置位置を、例えば、前方右、前方左、前方中央、後方右、後方左、後方中央、等のテキストで設定する構成であっても構わない。
以上の様なドライブレコーダ101や単体カメラの設置場所に応じて、単体カメラの手動トリガーのボタンの無効・有効や、ドラレコ本体の手動トリガーのボタンの有効・無効を設定に応じて切り替え、後方に設置された機器のボタンが無効になるように切り替え、または、前方に設置された機器のボタンが有効になるように切り替えることができる。
例えば、上記のマイクについても、この設置場所の設定に応じて、再生時に優先するマイクを決定するようにしてもよい。
また例えば、この設置場所の設定に応じて、PCビューアで前方の映像がきちんと前方側として再生されるように撮影した前後の映像信号と記録する前後の映像データとの対応関係を切り替えるようにしてもよい。
煽り運転の判定については、上述した近接回数と近接時間を用いる方法の他、画像解析やその他各種センサやFCWS、RCWSを組み合わせて以下の方法で煽り判定を行うことも可能である。
前方車両を煽る運転者はできるだけ前方車両に接近したいが前方車両にぶつかりたくはない。そのため、加速して接近、追突しそうになると急ブレーキをかける。急ブレーキをかけると前方車両が動いていれば前方車両との距離が広がるため、またできるだけ近づきたくなって加速して接近する。そうすると追突しそうになるのでまた急ブレーキをかける。という運転が繰り返されることになる。
そこで、後方車両が加速して追突可能性がある距離まで接近したことを検知したのち、急減速して自車両10から離れ、再度加速して追突可能性がある距離まで接近した場合に
後方車両が煽り運転をしている可能性が高いとする方向に制御する。
この場合に、自車両10が加速しているときに後方車両が自車両以上に加速して追突可能性がある距離まで接近して来た場合は、後方車両が煽り運転をしている可能性が高いとする方向に制御する。
又は、自車両10が減速しているときに後方車両が追突可能性がある距離まで接近したときは、後方車両が煽り運転をしている可能性が低いとする方向に制御する。
さらに、自車両10のブレーキを踏んでいるか否か検出し、ブレーキを踏んでいるときに後方車両が加速して接近してきたときは、後方車両が煽り運転をしている可能性が高いとする方向に制御する。
この場合に、ブレーキを離したのち、後方車両が加速して接近してきたときは、後方車両が煽り運転をしている可能性が高いとする方向に制御する。
なお、本実施例では、車両撮影用カメラ102と車番検出用カメラ103を有するドライブレコーダ101(F、R)について説明を行ったが、車両撮影用カメラ102と車番検出用カメラ103を分ける構成ではなく、1つのカメラでそれぞれの機能を実施する構成であってもよい。
また、本実施例では、ドライブレコーダ101が煽り判定を行う構成を説明したが、SDカード306等の動画像を記憶する比較的容量の大きい記憶部を有さず、撮影された動画像をネットワーク経由で管理サーバ106に送信し、管理サーバ106側で記憶を行うネットワークカメラに対しても適用することができる。
また、煽り運転の可能性の判定を実行する煽り運転判定システムの実装は、ドライブレコーダ101だけでなく、例えば、車両10自体や、車両10に搭載されるマイコン301、コンピュータ、サーバ機器等や、管理サーバ106等で実装することもできる。
管理サーバ106で実装する場合、管理サーバ106のプロセッサ603は、ネットワーク経由で受信した画像情報を解析し、煽り運転の可能性を判定する。
近接回数の測定と、近接時間の測定の両方又はいずれかをドライブレコーダ101ではなく、管理サーバ106のプロセッサ603が実行する構成でもよい。
ネットワーク経由で受信する画像情報は、特定の車両からのものだけでなく、複数のユーザが管理サーバ106にアップロードした画像情報等でもよい。
煽り運転の可能性を管理サーバ106で判定する場合には、その煽り判定レベルに応じる処理も管理サーバ106上で実施してもよい。
例えば、ネットワーク経由でカメラから送信された画像情報等を、管理サーバ106上の煽りレベル高フォルダ、煽りレベル中フォルダ、煽りレベル低フォルダ等に振り分けることが可能である。
また、車両10自体に設けられた制御部が、上述の様な煽り運転の可能性の判定や、その判定結果である煽り運転レベルに応じた処理を実行する構成でもよい。
また、車両10に搭載されるマイコン、コンピュータ、サーバ機器等で、上述の様な煽り運転の可能性の判定や、その判定結果である煽り運転レベルに応じた処理を実行する構成でもよく、各処理の実行主体については種々の変形が可能である。
上述した実施形態では、車両10の前方又は後方の対象車両の挙動に基づき危険運転の可能性を判定していたが、対象車両が側方に位置するときの挙動(例えば、幅寄せ)に基づき危険運転の可能性を判定してもよい。この場合、近接領域は、車両10の側方にも設定される。この場合、ドライブレコーダ10F,10Rのいずれかで車両10の側方を撮影できるのであれば、その撮影した画像に基づいて危険運転の可能性を判定してもよいし、側方を撮影するためのカメラを別途設けてもよい。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
なお、本発明の範囲は、明細書に明示的に説明された構成や限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求の範囲とする意思を有する。
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素又は発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正又は分割出願等において権利取得する意思を有する。「~の場合」「~のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。
また、意匠登録出願への変更により、全体意匠又は部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としても良いし、その部材の部分としても良い。全体意匠はもちろんのこと、図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。また、装置の筐体の内部のモジュール・部材・部品等についても、図面に表示されているものは、いずれも独立して取引の対象となるものであって、同様に、意匠登録出願への変更を行って権利化を行う意思を有するものである。
なお、上述の実施例は少なくとも以下の構成を開示している。
(1)
システムであって、
1つ又は複数のカメラにより取得された画像情報に基づいて特定された対象車両が、所定の近接領域に入った回数に基づいて、前記対象車両の危険運転の可能性を判定する制御部を有する
ことを特徴とするシステム。
対象車両が所定の近接領域に入った回数は、危険運転を行っている可能性の指標という知見を発明者は得た。このように構成することで、撮影された対象車両が危険運転を行っている可能性が高い状態かどうかを判定する仕組みを提供することができる。
(2)
前記制御部は、前記回数と前記対象車両が前記所定の近接領域に入っている時間である近接時間に基づいて、前記対象車両の危険運転の可能性を判定するとよい。
さらに、対象車両が所定の近接領域に入った回数とともに、近接領域に入っている時間である近接時間を参照することで、危険運転を行っている可能性をより精度良く把握できるという知見を発明者は得た。このように構成することで、撮影された対象車両が危険運転を行っている可能性が高い状態かどうかを近接行為の回数と時間に基づいてより精度良く判定する仕組みを提供することができる。
(3)
前記制御部は、前記画像情報に基づいて、前記対象車両が前記所定の近接領域に入ったことを検知することにより、前記回数の計測を行うとよい。
このように構成することで、特殊なセンサを必要とせず、カメラによる画像処理のみで近接領域への侵入を検知することができる。但し、その他のセンサを用いて画像処理と並行して、又は連携して近接領域への侵入を検知しても構わない。
(4)
前記危険運転の可能性は、複数の危険運転のレベルで表され、前記制御部は、前記危険運転のレベルに応じて、判定後の処理を変更するとよい。
このように構成することで、危険運転のレベルに応じて、適切な処理を振り分けることができる。
(5)
前記制御部は、前記危険運転のレベルに応じて、記憶部の異なる記憶領域に前記画像情報に対応する録画情報を記憶することを特徴とするとよい。
このように構成することで、危険運転のレベルに応じて、録画情報の記憶領域を振り分けることができ、管理や表示が容易になる。
(6)
前記制御部は、前記危険運転のレベルが高い場合は、第1の記憶領域に前記録画情報を記憶し、危険運転のレベルが低い場合は、前記第1の記憶領域に比べ記憶期間の短い第2の記憶領域に前記録画情報を記憶するとよい。
このように構成することで、危険運転の可能性の高い車両に対する録画画像の記憶期間を長くし、より長期間解析や表示に役立てることができるとともに、危険運転の可能性の低い車両に対する録画画像は、解析が終了して一定の期間が経った後に削除して、記憶容量を削減することができる。
(7)
前記制御部は、前記危険運転のレベルが高い場合は、記憶する前記録画情報の上書きを行わない第1の記憶領域に前記録画情報を記憶し、危険運転のレベルが低い場合は、記憶する前記録画情報の上書きを行う第2の記憶領域に前記録画情報を記憶するとよい。
このように構成することで、危険運転の可能性の高い車両に対する録画画像の記憶期間を長くし、より長期間解析や表示に役立てることができるとともに、危険運転の可能性の低い車両に対する録画画像は、解析が終了して一定の期間が経った後に上書きして削除し、記憶容量を削減することができる。
(8)
前記制御部は、
前記判定により前記危険運転のレベルが高いと判定された場合には、既に記憶されている前記録画情報とは別に、新たに前記録画情報を記憶し、
前記判定により前記危険運転のレベルが低いと判定された場合には、既に記憶されている前記録画情報を削除して、前記録画情報を記憶するとよい。
このように構成することで、危険運転の可能性の高い車両に対する録画画像は順次新規に保存し、より長期間解析や表示に役立てることができるとともに、危険運転の可能性の低い車両に対する録画画像は、解析が終了して一定の期間が経った後に削除して、記憶容量を削減することができる。
(9)
前記制御部は、自車両の加速度が所定の条件を満たす場合は、危険運転とは判定しないようにするとよい。
このように構成することで、例えば急ブレーキを踏んだ場合や急発進をした場合に加速度が変化し、前方又は後方の車両が近接したことを誤って危険運転であると判定することを防止することができる。
(10)
前記所定の条件とは、前記加速度の絶対値が、閾値以上の場合であるとよい。
このように構成することで、例えば急ブレーキを踏んだ場合や急発進をした場合に、加速度の絶対値が閾値以上で前方又は後方の車両が近接したことを誤って危険運転であると判定することを防止することができる。
(11)
前記加速度は、ジャイロセンサから取得した情報に基づき補正されるとよい。
このように構成することで、例えば坂道を走行中などで加速度が通常走行時と異なっている場合に、その値を補正してから、危険運転の判定を行うことができ、判定の精度が上がる。
(12)
前記制御部は、自車両の速度が所定の速度以下の場合は、危険運転とは判定しないようにするとよい。
このように構成することで、例えば渋滞等の低速走行時に前方又は後方の車両が近接したことを誤って危険運転であると判定することを防止することができる。
(13)
前記制御部は、所定の時間内に前記対象車両が前記所定の近接領域に入った前記回数が、2回より小さい場合には、危険運転のレベルが高いとは判定しないようにするとよい。
このように構成することで、危険運転の可能性の高くないただ1度の近接行為を、誤って危険運転レベル高と判定することを防止することができる。
(14)
前記制御部は、危険運転の可能性が高いと判定した場合に警告を出力する出力部を有するとよい。
このように構成することで、危険運転の可能性の高い車両の近接時に、警告を発して運転手に注意を促すことができる。
(15)
前記制御部は、前記画像情報に写った複数の車両から、前記対象車両を抽出し、抽出された前記対象車両に対して、危険運転の可能性を判定するとよい。
このように構成することで、画像の中に複数の車両が写っている場合であっても、抽出した対象車両についてのみ危険運転の可能性を判定して、判定の精度を高めることができる。
(16)
前記対象車両は、自車両と同一車線上に存在する車両であるとよいム。
このように構成することで、危険運転が起こる自車両と同一車線上の車両についてのみ危険運転の可能性を判定して、判定の精度を高めることができる。
(17)
自車両が走行する車線が曲線である場合には、ジャイロセンサから取得した情報に基づいて補正した前記画像情報内の位置に存在する前記車両を前記同一車線上に存在する前記車両であると判定するとよい。
このように構成することで、車線が曲線の場合に、自車両の真後ろ又は真ん前ではなく、車線に沿った後方又は前方に位置する車両についてのみ、危険運転の可能性を判定して、判定の精度を高めることができる。
(18)
前記複数のカメラは、前記対象車両を含む広域を撮影するための画角の広い車両撮影カメラである第1カメラと、前記対象車両の車番を撮影するための画角の狭い車番撮影カメラである第2カメラと、を有するとよい。
このように画角の異なる複数のカメラを用いる構成とすることで、広角の車両撮影カメラである第1カメラのみを用いる場合と比べ、対象車両の車番等の特定の精度が上がり、より精度の高い危険運転の可能性判定をすることができる。
(19)
前記複数のカメラは、前記対象車両を撮影するためのカメラとして第1カメラと第2カメラとを有し、前記第1カメラは、前記第2カメラよりも画角が大きく、前記制御部は、前記対象車両との距離の測定、前記対象車両の検知、及び前記対象車両の車番の認識の少なくともいずれかを、前記対象車両との距離が第1距離よりも大きい場合は前記第2カメラを用いて行い、前記対象車両との距離が前記第1距離以下である場合は前記第1カメラを用いて行うとよい。
このように構成することで、対象車両との距離に応じて対象車両との距離の測定、前記対象車両の検知、及び前記対象車両の車番の認識の少なくともいずれかの処理に用いるカメラを切り替えるので、各処理の精度が上がり、より精度の高い危険運転の可能性判定をすることができる。
(20)
前記複数のカメラは、前記対象車両を撮影するためのカメラとして第1カメラと第2カメラとを有し、前記第1カメラは、前記第2カメラよりも画角が大きく、前記制御部は、前記第1カメラ及び前記第2カメラを用いて前記対象車両の車番を認識するとよい。
このように構成することで、カメラを切り替えたときに車番を認識できない可能性を低くすることができる。
(21)
前記制御部は、前記対象車両との距離が第2距離よりも大きい場合、前記第2カメラを用いて前記対象車両の車番を認識し、前記対象車両との距離が前記第2距離以下に接近した場合、前記第1カメラ及び前記第2カメラを用いて前記対象車両の車番を認識するとよい。
このように構成することで、カメラを切り替えたときに車番を認識できない可能性を低くすることができる。
(22)
前記制御部は、前記第1カメラ及び前記第2カメラの設置の高さを特定し、特定した高さと、前記第1カメラにより取得された画像情報に対して設定した基準位置と、前記第2カメラにより取得された画像情報に対して設定した基準位置とに基づいて、前記対象車両との距離を測定するとよい。
このように構成することで、第1カメラと第2カメラとの両カメラの映りの違いによる地平線のずれによる影響を補正するので、第1カメラと第2カメラとを用いた対象車両との距離の測定精度を向上させることができる。
(23)
前記制御部は、自車両の走行中に車番を認識する処理を継続して行い、前記車番を認識したか否かに関わらず、その認識の結果と、その認識をする処理をしたときの状況を示すデータとを記録するとよい。
このように構成することで、対象車両の車番が何であるだけでなく、認識できたか否かを把握するためのデータとともに、その認識をする処理をしたときの状況を示すデータを記録することができ、状況の解析に役立てることができる。
(24)
前記制御部は、自車両の車内を撮影する第3カメラを用いて自車両の外の人を検知して、その検知した結果に応じた処理を行うとよい。
このように構成することで、自車両の車内を撮影するカメラを用いて自車両の外の人の検知結果に応じた処理を行うことができる。
(25)
前記制御部は、前記第3カメラにより取得された画像情報が示す画像領域のうち、自車両の外に相当する領域を検知対象領域として設定する機能を有し、設定した検知対象領域内に映っている人を前記自車両の外の人として検知するとよい。
このように構成することで、第3カメラにより取得された画像情報が示す画像領域において、カメラが設置される車によって、車内と車外が映るエリアが違うことがあるが、自車両の外の人をより正確に検知することができる。
(26)
前記制御部は、前記自車両の外の人を検知した場合は、前記所定の処理として、前記第3カメラにより取得された画像情報を記録するとともに、記録中であること前記自車両の外の人に報知する処理を行うとよい。
このように構成することで、自車両の外の人を検知した場合に第3カメラにより取得された画像情報を記録して、自車両の人が検知したときの状況を画像情報を用いて確認するとともに、記録中であること自車両の外の人に報知するので車両の盗難といった防犯上の優れた効果を奏することができる。
(27)
前記制御部は、前記所定の処理として、前記第3カメラにより取得された画像情報が示す画像領域のうち、前記自車両の車内の人の顔についてはその顔を視認しにくくする処理を行って記録し、前記自車両の外の人の顔についてはその顔を特定可能な方法で記録する処理を行うとよい。
このように構成することで、自車両の持ち主に例示される自車両の正当な利用者と思われる人のプライバシーを保護しつつ、悪意のある可能性のある自車両の外の人の顔についてはその顔を特定可能な方法で記録しておくことができる。
(28)
前記制御部は、前記所定の処理として、前記第3カメラにより取得された画像情報が示す画像領域のうち、前記自車両の車内の人の顔についてはその顔を視認しにくくする第1処理と、前記第1処理を解除して前記第3カメラにより取得された画像情報を再生可能にする第2処理と、を行った後の画像情報を記録するとよい。
このようにすることで、自車両の持ち主に例示される自車両の正当な利用者と思われる人にプライバシーを保護しつつ、必要な場合はその人の顔が分かるように画像情報を再生可能にすることができる。
(29)
前記制御部は、自車両の外に相当する領域である検知対象領域内に映っている人の顔を特定可能な方法で前記第3カメラにより取得された画像情報を記録し、前記検知対象領域に顔を認識した場合でも、その顔が特定の顔であることが認識された場合は、当該顔を視認しにくくする処理を行うとよい。
このようにすることで、自車両の持ち主に例示される自車両の正当な利用者と思われる人の顔が、その人の姿勢の変化等により、車外に相当する領域とした検知対象領域内に入った場合でも、その人のプライバシーを保護することができる。検知対象領域を設定して顔認証をすることで、処理負荷を低減することもできる。
(30)
前記制御部は、前記所定の処理として、前記第3カメラにより取得された画像情報が示す画像領域のうち、前記自車両の車内の人の顔についてはその顔を視認しにくくする処理を行って記録する一方、前記自車両の駐車中の記録においては、前記視認しにくくする処理を行わないようにするとよい。
このようにすることで、自車両の持ち主に例示される自車両の正当な利用者と思われる人のプライバシーを保護しつつ、盗難等の可能性がある駐車中においては車内の人の顔も視認しやすくするので防犯上の優れた効果を奏することができる。
(31)
前記第3カメラにより取得された画像情報は、天球画像の画像情報であり、前記制御部は、前記天球画像のうちの前記検知対象領域の画像に所定の座標変換を行い、変換後の画像に基づいて、前記自車両の外の人を検知するとよい。
このようにすることで、車両10の外の人を検知の精度を向上させるとともに、処理速度を向上させることができる。
(32)
前記第2カメラは、前記第1カメラの前記画角と抵触しない位置に配置されているとよい。
このように構成することで、画角の広い車両撮影用カメラである第1カメラの画像の一部が欠損してしまうという不都合を防止することができる。
(33)
前記第2カメラのレンズの向きは、前記第1カメラのレンズの向きよりも下向きであるとよい。
このように車番検出用カメラである第1カメラのレンズの向きを下方にすることで、車両の下方についているナンバープレートの撮影および解析をしやすくすることができる。
(34)
前記複数のカメラは、自車両の後方を撮影する後方カメラと、自車両の前方を撮影する前方カメラであり、
前記制御部は、前記前方カメラにより取得された第1の画像情報に基づき特定された前記対象車両が、前記後方カメラにより取得された第2の画像情報に基づき特定された前記対象車両と同一である場合に、前記前方カメラにより取得された前記第1の画像情報に基づき判定された前記対象車両の危険運転の可能性の判定結果と、前記後方カメラにより取得された前記第2の画像情報に基づき判定された前記対象車両の危険運転の可能性の判定結果と、を総合して危険運転の可能性の判定結果を算出するとよい。
このように構成することで、同一の車両が前方又は後方で繰り返し行う危険運転を通算し、より精度の高い危険運転の判定を行うことができる。
(35)
1つ又は複数のカメラを有し、上記いずれかのシステムとして機能するドライブレコーダ。このように構成することで、撮影された対象車両が危険運転を行っている可能性が高い状態かどうかを判定する仕組みを備えたドライブレコーダを提供することができる。
(36)
前記複数のカメラは、同一の筐体に備えられた、少なくとも前記対象車両を含む広域を撮影するための画角の広い第1カメラと、少なくとも前記対象車両の車番を撮影するための画角の狭い第2カメラとを、少なくとも含むむとよい。このように構成することで、対象車両の車番を精度良く検出しつつ、その対象車両を含む広域を撮影することが可能なドライブレコーダを提供することができる。
(37)
上記いずれかのシステムの制御部の機能をコンピュータに実現させるためのプログラムを提供する。
上述した(1)から(37)に示した発明は、任意に組み合わせることができる。例えば、(1)に示した発明の全て又は一部の構成に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加える構成としてもよい。特に、(1)に示した発明に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加えた発明とするとよい。また、(1)から(37)に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「~の場合」「~のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。
101F…前方用ドライブレコーダ、101R…後方用ドライブレコーダ、102…車両撮影用カメラ、103…車番検出用カメラ、105…管理端末、106…管理サーバ、107…ユーザ端末、301…マイコン、302…通信処理部、303…制御部、304…DVRコントローラ、305…加速度センサ、306…SDカード、307…GNSSアンテナ、308…無線通信アンテナ、309…スピーカ、321…画像処理部、322…カウント部、324…計時部、326…判定部

Claims (37)

  1. 1つ又は複数のカメラにより取得された画像情報に基づいて特定された対象車両が、所定の近接領域に入った回数に基づいて、前記対象車両の危険運転の可能性を判定する制御部を有する
    ことを特徴とするシステム。
  2. 前記制御部は、前記回数と前記対象車両が前記所定の近接領域に入っている時間である近接時間とに基づいて、前記対象車両の危険運転の可能性を判定する
    ことを特徴とする請求項1に記載のシステム。
  3. 前記制御部は、前記画像情報に基づいて、前記対象車両が前記所定の近接領域に入ったことを検知することにより、前記回数の計測を行う
    ことを特徴とする請求項1又は2に記載のシステム。
  4. 前記危険運転の可能性は、複数の危険運転のレベルで表され、前記制御部は、前記危険運転のレベルに応じて、判定後の処理を変更することを特徴とする請求項1~3のいずれか1項に記載のシステム。
  5. 前記制御部は、前記危険運転のレベルに応じて、記憶部の異なる記憶領域に前記画像情報に対応する録画情報を記憶することを特徴とする請求項4に記載のシステム。
  6. 前記制御部は、前記危険運転のレベルが高い場合は、第1の記憶領域に前記録画情報を記憶し、危険運転のレベルが低い場合は、前記第1の記憶領域に比べ記憶期間の短い第2の記憶領域に前記録画情報を記憶することを特徴とする請求項5に記載のシステム。
  7. 前記制御部は、前記危険運転のレベルが高い場合は、記憶する前記録画情報の上書きを行わない第1の記憶領域に前記録画情報を記憶し、危険運転のレベルが低い場合は、記憶する前記録画情報の上書きを行う第2の記憶領域に前記録画情報を記憶することを特徴とする請求項5又は6に記載のシステム。
  8. 前記制御部は、
    前記判定により前記危険運転のレベルが高いと判定された場合には、既に記憶されている前記録画情報とは別に、新たに前記録画情報を記憶し、
    前記判定により前記危険運転のレベルが低いと判定された場合には、既に記憶されている前記録画情報を削除して、前記録画情報を記憶する
    ことを特徴とする請求項5~7のいずれか1項に記載のシステム。
  9. 前記制御部は、自車両の加速度が所定の条件を満たす場合は、危険運転とは判定しないことを特徴とする請求項1~8のいずれか1項に記載のシステム。
  10. 前記所定の条件とは、前記加速度の絶対値が、閾値以上の場合であることを特徴とする請求項9に記載のシステム。
  11. 前記加速度は、ジャイロセンサから取得した情報に基づき補正されることを特徴とする請求項10に記載のシステム。
  12. 前記制御部は、自車両の速度が所定の速度以下の場合は、危険運転とは判定しないことを特徴とする請求項1~11のいずれか1項に記載のシステム。
  13. 前記制御部は、所定の時間内に前記対象車両が前記所定の近接領域に入った前記回数が、2回より小さい場合には、危険運転のレベルが高いとは判定しないことを特徴とする請求項1~12のいずれか1項に記載のシステム。
  14. 前記制御部は、危険運転の可能性が高いと判定した場合に警告を出力する出力部を有する
    ことを特徴とする請求項1~13のいずれか1項に記載のシステム。
  15. 前記制御部は、前記画像情報に写った複数の車両から、前記対象車両を抽出し、抽出された前記対象車両に対して、危険運転の可能性を判定する
    ことを特徴とする請求項1~14のいずれか1項に記載のシステム。
  16. 前記対象車両は、自車両と同一車線上に存在する車両であることを特徴とする請求項1~15のいずれか1項に記載のシステム。
  17. 自車両が走行する車線が曲線である場合には、ジャイロセンサから取得した情報に基づいて補正した前記画像情報内の位置に存在する前記車両を前記同一車線上に存在する前記車両であると判定することを特徴とする請求項16に記載のシステム。
  18. 前記複数のカメラは、前記対象車両を含む広域を撮影するための画角の広い車両撮影カメラである第1カメラと、前記対象車両の車番を撮影するための画角の狭い車番撮影カメラである第2カメラと、を有することを特徴とする請求項1~17のいずれか1項に記載のシステム。
  19. 前記複数のカメラは、前記対象車両を撮影するためのカメラとして第1カメラと第2カメラとを有し、
    前記第1カメラは、前記第2カメラよりも画角が大きく、
    前記制御部は、前記対象車両との距離の測定、前記対象車両の検知、及び前記対象車両の車番の認識の少なくともいずれかを、前記対象車両との距離が第1距離よりも大きい場合は前記第2カメラを用いて行い、前記対象車両との距離が前記第1距離以下である場合は前記第1カメラを用いて行う
    ことを特徴とする請求項1~17のいずれか1項に記載のシステム。
  20. 前記複数のカメラは、前記対象車両を撮影するためのカメラとして第1カメラと第2カメラとを有し、
    前記第1カメラは、前記第2カメラよりも画角が大きく、
    前記制御部は、前記第1カメラ及び前記第2カメラを用いて前記対象車両の車番を認識する
    ことを特徴とする請求項1~17のいずれか1項に記載のシステム。
  21. 前記制御部は、前記対象車両との距離が第2距離よりも大きい場合、前記第2カメラを用いて前記対象車両の車番を認識し、前記対象車両との距離が前記第2距離以下に接近した場合、前記第1カメラ及び前記第2カメラを用いて前記対象車両の車番を認識する
    請求項20のいずれか1項に記載のシステム。
  22. 前記制御部は、前記第1カメラ及び前記第2カメラの設置の高さを特定し、特定した高さと、前記第1カメラにより取得された画像情報に対して設定した基準位置と、前記第2カメラにより取得された画像情報に対して設定した基準位置とに基づいて、前記対象車両との距離を測定する
    請求項19~21のいずれか1項に記載のシステム。
  23. 前記制御部は、自車両の走行中に車番を認識する処理を継続して行い、前記車番を認識したか否かに関わらず、その認識の結果と、その認識をする処理をしたときの状況を示すデータとを記録する
    請求項19~22のいずれか1項に記載のシステム。
  24. 前記制御部は、自車両の車内を撮影する第3カメラを用いて自車両の外の人を検知して、その検知した結果に応じた処理を行う
    請求項19~23のいずれか1項に記載のシステム。
  25. 前記制御部は、前記第3カメラにより取得された画像情報が示す画像領域のうち、自車両の外に相当する領域を検知対象領域として設定する機能を有し、設定した検知対象領域内に映っている人を前記自車両の外の人として検知する
    請求項24に記載のシステム。
  26. 前記制御部は、前記自車両の外の人を検知した場合は、前記所定の処理として、前記第3カメラにより取得された画像情報を記録するとともに、記録中であること前記自車両の外の人に報知する処理を行う
    請求項24又は25に記載のシステム。
  27. 前記制御部は、前記所定の処理として、前記第3カメラにより取得された画像情報が示す画像領域のうち、前記自車両の車内の人の顔についてはその顔を視認しにくくする処理を行って記録し、前記自車両の外の人の顔についてはその顔を特定可能な方法で記録する処理を行う
    請求項24~26のいずれか1項に記載のシステム。
  28. 前記制御部は、前記所定の処理として、前記第3カメラにより取得された画像情報が示す画像領域のうち、前記自車両の車内の人の顔についてはその顔を視認しにくくする第1処理と、前記第1処理を解除して前記第3カメラにより取得された画像情報を再生可能にする第2処理と、を行った後の画像情報を記録する
    請求項24~27のいずれか1項に記載のシステム。
  29. 前記制御部は、自車両の外に相当する領域である検知対象領域内に映っている人の顔を特定可能な方法で前記第3カメラにより取得された画像情報を記録し、前記検知対象領域に顔を認識した場合でも、その顔が特定の顔であることが認識された場合は、当該顔を視認しにくくする処理を行う
    請求項25~28のいずれか1項に記載のシステム。
  30. 前記制御部は、前記所定の処理として、前記第3カメラにより取得された画像情報が示す画像領域のうち、前記自車両の車内の人の顔についてはその顔を視認しにくくする処理を行って記録する一方、前記自車両の駐車中の記録においては、前記視認しにくくする処理を行わない
    請求項25~28のいずれか1項に記載のシステム。
  31. 前記第3カメラにより取得された画像情報は、天球画像の画像情報であり、
    前記制御部は、前記天球画像のうちの前記検知対象領域の画像に所定の座標変換を行い、変換後の画像に基づいて、前記自車両の外の人を検知する
    請求項25~29のいずれか1項に記載のシステム。
  32. 前記第2カメラは、前記第1カメラの前記画角と抵触しない位置に配置されていることを特徴とする請求項18~31のいずれか1項に記載のシステム。
  33. 前記第2カメラのレンズの向きは、前記第1カメラのレンズの向きよりも下向きであることを特徴とする請求項18~32のいずれか1項に記載のシステム。
  34. 前記複数のカメラは、自車両の後方を撮影する後方カメラと、自車両の前方を撮影する前方カメラを有し、
    前記制御部は、前記前方カメラにより取得された第1の画像情報に基づき特定された前記対象車両が、前記後方カメラにより取得された第2の画像情報に基づき特定された前記対象車両と同一である場合に、前記前方カメラにより取得された前記第1の画像情報に基づき判定された前記対象車両の危険運転の可能性の判定結果と、前記後方カメラにより取得された前記第2の画像情報に基づき判定された前記対象車両の危険運転の可能性の判定結果と、を総合して危険運転の可能性の判定結果を算出する
    ことを特徴とする請求項1~33のいずれか1項に記載のシステム。
  35. 1つ又は複数のカメラを有し、請求項1~34のいずれか1項に記載のシステムとして機能するドライブレコーダ。
  36. 前記複数のカメラは、同一の筐体に備えられた、少なくとも前記対象車両を含む広域を撮影するための画角の広い第1カメラと、少なくとも前記対象車両の車番を撮影するための画角の狭い第2カメラとを、少なくとも含む請求項35に記載のドライブレコーダ。
  37. 請求項1~34のいずれか1項に記載のシステムの制御部の機能をコンピュータに実現させるためのプログラム。

JP2021134987A 2020-12-24 2021-08-20 システム等 Pending JP2022101447A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020215859 2020-12-24
JP2020215859 2020-12-24

Publications (1)

Publication Number Publication Date
JP2022101447A true JP2022101447A (ja) 2022-07-06

Family

ID=82271407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021134987A Pending JP2022101447A (ja) 2020-12-24 2021-08-20 システム等

Country Status (1)

Country Link
JP (1) JP2022101447A (ja)

Similar Documents

Publication Publication Date Title
CN107608388B (zh) 自主警车
US10741082B2 (en) Driving assistance device
US10839694B2 (en) Blind spot alert
JP6881444B2 (ja) 車両に情報を送信するシステムおよび方法、車両、並びに非一過性のコンピュータ可読記憶媒体
US8379924B2 (en) Real time environment model generation system
WO2017134897A1 (ja) 映像処理装置及び映像処理方法
CN108860166A (zh) 无人驾驶汽车事故发生处理系统及处理方法
CN109643497A (zh) 通过增强现实和共享数据增强的安全性
US20230245462A1 (en) Systems and methods of legibly capturing vehicle markings
CN104620259A (zh) 使用音频/视觉线索的车辆安全系统
JP2010067262A (ja) インテリジェント走行支援システム
JP2022169621A (ja) 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等
JP2006190198A (ja) ポータブル型車両番号認識装置およびポータブル型車両番号認識装置による車両番号認識方法
CN107113400B (zh) 显示装置和具备该显示装置的交通违章管理系统
JP7544502B2 (ja) 運転支援装置及びデータ収集システム
KR101309670B1 (ko) 차량 정보 서비스를 위한 차량 시스템 및 방법
KR101394201B1 (ko) 버스장착 무선cctv 촬영단속시스템
JP2002342883A (ja) 危険運転抑制装置
JP7068606B2 (ja) 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム
WO2017022268A1 (ja) 車両特定装置およびこれを備えた車両特定システム
JP2017126213A (ja) 交差点状況確認システム、撮像装置、車載装置、交差点状況確認プログラムおよび交差点状況確認方法
JP2021099720A (ja) 危険運転判定装置、危険運転判定方法、および危険運転判定プログラム
JP2022101447A (ja) システム等
KR102239221B1 (ko) 고화질 영상전송이 가능한 360도 블랙박스 시스템
KR20050005256A (ko) 전용차로 위반차량 신고시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240618