JP2020013320A - 運転支援装置及び方法 - Google Patents

Abstract

【課題】前方車両の発進報知を適切に行う。【解決手段】自車両の前方を撮影するカメラの画像データから前方車両発進の画像特徴が検出されたとき前方車両発進報知を行うことが可能である。但し、当該画像特徴が検出さされたときであっても、自車両の後退音を示す音声データが取得されているときには前方車両発進報知を実行しない。【選択図】図５

Description

本発明は、運転支援装置及び方法に関する。

ドライブレコーダ等において、自車両の前方車両の発進有無を監視し、自車両の前方車両が発進したと判定したときに、その旨を運転者に報知する技術が実用化されている（下記特許文献１参照）。

当該技術では、一般的に、自車両の前方を撮影するカメラからの画像データが参照され、画像データに基づいて前方車両の発進有無を判定している。

特開２０１４−１１９２５６号公報

しかしながら、従来の画像データに基づく前方車両の発進有無判定では、前方車両が実際には発進していないのに発進したと判定されることがあり、結果、前方車両の発進に関わる誤報知が行われることがある。適切な状況で報知を行うべきであることは言うまでも無い。

本発明は、前方車両の発進に関わる報知の実行を適正化する運転支援装置及び方法を提供することを目的とする。

本発明に係る運転支援装置は、対象車両の前方を撮影領域に収めるカメラから画像データを取得する画像データ取得部と、前記対象車両に取り付けられたマイクから音声データを取得する音声データ取得部と、前記画像データ及び前記音声データに基づき前記対象車両の前方車両が発進したか否かを判定し、前記前方車両が発進したと判定したときに前記対象車両の搭乗者に対し所定の報知を行う報知処理部と、を備える構成（第１の構成）である。

上記第１の構成に係る運転支援装置において、前記報知処理部は、前記前方車両が発進したことを示す画像特徴を前記画像データから検出したとき前記報知を行うことが可能であるが、前記画像特徴を検出したときであっても前記音声データに基づき前記対象車両が所定の運転状態にあることを検出したときには前記報知を行わない構成（第２の構成）であっても良い。

上記第２の構成に係る運転支援装置において、前記所定の運転状態は、前記対象車両を後退させる運転状態であるとする構成（第３の構成）でも良い。

上記第２又は第３の構成に係る運転支援装置において、前記報知処理部は、前記対象車両が前記所定の運転状態にあるか否かの区別に利用される参照情報を登録するための登録モードにて動作可能であり、前記参照情報の登録後、前記参照情報を用いて前記音声データに基づき前記対象車両が前記所定の運転状態にあるか否かを検出する構成（第４の構成）であっても良い。

上記第４の構成に係る運転支援装置において、前記参照情報は、前記登録モードにおいて前記マイクから取得した前記音声データに応じた情報を含む構成（第５の構成）であっても良い。

上記第４の構成に係る運転支援装置において、前記参照情報は、予め用意された複数の選択肢の中の何れかを指定する情報を含む構成（第６の構成）であっても良い。

本発明に係る運転支援方法は、対象車両の前方を撮影領域に収めるカメラから画像データを取得する画像データ取得工程と、前記対象車両に取り付けられたマイクから音声データを取得する音声データ取得工程と、前記画像データ及び前記音声データに基づき前記対象車両の前方車両が発進したか否かを判定し、前記前方車両が発進したと判定したときに前記対象車両の搭乗者に対し所定の報知を行う報知処理工程と、を備えた構成（第７の構成）である。

本発明によれば、前方車両の発進に関わる報知の実行を適正化する運転支援装置及び方法を提供することが可能となる。

本発明の実施形態に係るドライブレコーダの構成ブロック図である。 本発明の実施形態に係るドライブレコーダが設置された自車両の外観斜視図である。 ドライブレコーダにおける車両状況データの構造を示す図である。 自車両と前方車両の上面図である。 図１の報知処理部の動作に注目した制御部の動作フローチャートである。 前方車両を収めたフレーム画像の例を示す図である。 複数のフレーム画像間のオプティカルフローの例を示す図である。 フレーム画像内に２つの検出領域が設定される様子を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。

図１は本発明の実施形態に係るドライブレコーダ１の構成ブロック図である。ドライブレコーダ１は車両に搭載される。本実施形態では車両として路面上を走行可能な自動車が想定される。ドライブレコーダ１が搭載される車両を自車両と称する。自車両に注目して前後を以下のように定義する。即ち、自車両の運転席からステアリングホイールに向かう向きを「前方」と定義し、自車両のステアリングホイールから運転席に向かう向きを「後方」と定義する。前方及び後方間を結ぶ方向は自車両の直進進行方向に平行である。

図２にドライブレコーダ１が搭載された自車両ＣＡの外観斜視図を示す。ドライブレコーダ１は自車両ＣＡの適所に配置される。

ドライブレコーダ１は、制御部１１、記録媒体装着部１２、計時回路１３、加速度センサ１４及びＧＰＳ受信部１５を備える。

ドライブレコーダ１に対し接続機器が接続される。接続機器は、カメラ２、マイク３、操作部４及び報知部５を含み、カメラ２、マイク３、操作部４及び報知部５は夫々に自車両ＣＡの適所に配置される。カメラ２、マイク３、操作部４及び報知部５から成る４つの接続機器の内、任意の１つ、任意の２つ又は任意の３つの接続機器はドライブレコーダ１に内蔵されていても良いし、それらの全ての接続機器がドライブレコーダ１に内蔵されていても良い。

カメラ２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサなどの撮像素子や光学系を備え、自身の撮影領域（換言すれば視野）内の撮影を行って、撮影領域内の像を示す画像データ（換言すれば画像信号）を生成及び出力する。カメラ２にて得られた画像データは制御部１１に出力される。カメラ２の数及び配置位置は適宜変更されて良い。例えば、自車両ＣＡの前方を撮影するフロントカメラと、自車両ＣＡの後方を撮影するリアカメラとが、カメラ２として設けられていても良い。但し、以下では、特に記述無き限り、カメラ２は、その光軸が自車両ＣＡの前方に向けられた状態で自車両ＣＡのフロントガラスの上部付近に配置された、自車両ＣＡの前方を撮影するフロントカメラであるとする。

マイク３は、自車両ＣＡ付近の音を集音し、当該音を音声データ（換言すれば音声信号）に変換して出力するマイクロホンである。マイク３にて得られた音声データは制御部１１に出力される。マイク３により集音される音は、自車両ＣＡの車外で発生する音、及び、自車両ＣＡの車内で発生する音を含んでいて良い。マイク３の数及び配置位置は適宜変更されて良い。例えば、自車両ＣＡの車外で発生する音を主として集音する車外用マイクと、自車両ＣＡの車内で発生する音を主として集音する車内用マイクとが、マイク３として設けられていても良い。

操作部４は、操作者が操作可能な操作部であり、操作者から（即ちドライブレコーダ１の外部から）様々な操作の入力を受け付ける。操作部４に対する操作内容を表す信号は制御部１１に出力される。操作部４の操作者はドライブレコーダ１のユーザであり、ドライブレコーダ１のユーザは主として自車両ＣＡの運転者（以下単に運転者と称する）であるが、それ以外の人間であっても良い。操作部４の形態は任意である。例えば、１以上の押しボタンスイッチにて操作部４が構成されて良い。操作部４は、運転者等が操作しやすいようにステアリングホイール（不図示）の近傍等、自車両ＣＡの適所に配置される。ドライブレコーダ１が表示画面を備えていて又はドライブレコーダ１に表示画面が接続されていて、その表示画面がタッチパネル機能を備える場合には、その表示画面に操作部４の機能を担わせても良い。

報知部５は、制御部１１の制御の下で所定の報知を行うものであり、所定音を出力可能な音出力部５ａを含む。音出力部５ａの出力音が十分に運転者に聞こえるような位置に音出力部５ａが配置される。例えば、カメラ２及び音出力部５ａが共通の筐体内に収められて、自車両ＣＡのフロントガラスの上部付近に配置されていて良い。或いは例えば、ドライブレコーダ１に音出力部５ａが内蔵されていても良い。

制御部１１は、演算処理を行うことで各種の制御機能を実現するＣＰＵ（Central Processing Unit）、演算処理の作業領域として利用されるＲＡＭ（Random Access Memory）、及び、プログラムや設定パラメータ等を不揮発的に記憶するＲＯＭ（Read Only Memory）を備える。制御部１１は、ＲＯＭに記憶されたプログラムに従って演算処理を行うことで、ドライブレコーダ１の各部を制御する。

記録媒体装着部１２は、記録媒体６を装着可能に構成される。記録媒体６は例えばメモリカードであり、この際、記録媒体装着部１２はカードスロットとして構成される。但し、記録媒体６は、磁気ディスク、光ディスク、光磁気ディスクなどであっても良い。以下では、記録媒体装着部１２に記録媒体６が装着されていて、制御部１１が記録媒体６に対しデータの書き込み及び読み出しを自由に行うことができるものとする。尚、記録媒体６はドライブレコーダ１に対し着脱不能に内蔵された記録媒体であっても良い。

計時回路１３は、現在の日付及び時刻を示す時刻データを取得する。取得された時刻データは制御部１１に与えられる。計時回路１３は内蔵電池を有し、外部から電力供給を受けなくとも作動可能である。

加速度センサ１４は、自車両ＣＡに加わる衝撃の大きさを示す加速度を検出する。加速度センサ１４は、互いに直交する３軸又は２軸の夫々の方向において自車両ＣＡの加速度を検出し、その検出結果を示す加速度データを制御部１１に出力する。

ＧＰＳ受信部１５は、ＧＰＳ（Global Positioning System）を形成する複数のＧＰＳ衛星からの信号を受信することで自車両ＣＡの位置である自車位置を取得する。地球上における経度及び緯度で表現された位置情報として自車位置が取得され、自車位置を示す自車位置データが制御部１１に送られる。尚、ＧＰＳ受信部１５は、ＧＰＳ衛星からの信号に基づき正確な現在時刻を検出できる。このため、計時回路１３の代わりにＧＰＳ受信部１５にて時刻データが取得されるようにしても良い。或いは、ＧＰＳ受信部１５は計時回路１３の計測時刻を修正するために用いられても良い。

制御部１１は、上記プログラムの実行により実現される機能ブロックとして、データ取得部２１、記録制御部２２、イベント検出部２３、保護管理部２４及び報知制御部２５を備える。

データ取得部２１は、カメラ２からの画像データ及びマイク３からの音声データを取得する。ここで取得される画像データは、カメラ２の撮像素子の出力信号に対して必要な信号処理（Ａ／Ｄ変換、輝度補正等）が施された後のデジタルの画像データであるとする。音声データについても同様であり、マイク３により集音された音に応じたデジタルの音声データがデータ取得部２１にて取得される。この他、付加データもデータ取得部２１にて取得される。付加データは、上述の加速度データ及び自車位置データを含み、他の様々なデータ（例えば運転者の発汗量、脈拍数のデータ）を含み得る。時刻データに基づき、データ取得部２１にて取得される各データに対し各データの取得時刻を表すタイムスタンプが付与される。同一時刻で取得された画像データ、音声データ及び付加データは互いに関連付けられる。

また、ドライブレコーダ１が、不図示のＣＡＮ（Controller Area Network）を介し車両側検出情報を得ることができる場合にあっては、車両側検出情報も上記付加データに含められうる。車両側検出情報は、自車両ＣＡに搭載された装置であって且つドライブレコーダ１以外の装置（不図示）にて検出及び取得される情報であって、例えば、自車両ＣＡについての車速情報（車速パルス）、操舵情報、アクセル情報、ブレーキ情報を含む。但し、ここでは、自車両ＣＡに対してドライブレコーダ１が後付け設置されることを想定し、車両側検出情報がドライブレコーダ１に供給されていないものとする。ドライブレコーダ１が後付け設置される場合、車両側検出情報をドライブレコーダ１に与えることが難しいことも多い。

記録制御部２２は、データ取得部２１により順次取得される車両状況データを記録媒体６に記録させるための記録制御を行う。図３に示す如く、車両状況データは画像データを少なくとも含み、通常は音声データも含んでいて良い。更に、車両状況データに上記付加データの全部又は一部を更に含めても良い。以下では、車両状況データは、画像データ、音声データ及び付加データを含んでいると考える。或る時刻にて取得された車両状況データの記録媒体６への記録は、当該時刻にて取得された画像データを当該時刻にて取得された音声データ及び付加データと共に記録媒体６に記録することに相当し、この際、同一時刻で取得された画像データ、音声データ及び付加データは互いに関連付けられる。記録制御部２２は、順次取得される車両状況データを時系列に沿って記録媒体６に記録することができる。例えばドライブレコーダ１は自車両ＣＡの起動スイッチ（アクセサリスイッチ等）に連動して起動し、記録制御部２２はドライブレコーダ１の起動後において順次得られる車両状況データを時系列に沿って記録媒体６に記録する。尚、実際には例えば、制御部１１に設けられたＲＡＭにて一定時間分の車両状況データを一時的に記憶するリングバッファが形成されて、当該リングバッファを経由して車両状況データが記録媒体６に記録される。このため、常に最新の一定時間分の車両状況データはリングバッファにて保持される。記録媒体６において、全ての記録領域に車両状況データが記録されると、最も古く記録された車両状況データに対し、最新の車両状況データが上書きして記録される。

但し、保護区間に設定された車両状況データは上書きされることなく記録媒体６にて記録が保持される。保護区間の設定は後述の保護管理部２４により行われる。

イベント検出部２３は、所定のイベント条件の成否を継続監視してイベント条件が成立したとき、イベントが発生したと判断する。イベント条件の成立とイベントの発生は同義であると考えて良い。例えば、加速度データに基づき自車両ＣＡに発生した加速度の絶対値がＧ値として算出され、所定閾値以上のＧ値が観測されたとき、イベントが発生したと判断される（即ちイベント条件が成立する）。この他、自車両ＣＡの速度の急低下、自車両ＣＡに搭載されたエアバックの展開、自車両ＣＡへの物体の接近等、自車両ＣＡに対して発生する各種事象がイベントであっても良い。また、操作部４に対する所定操作の入力によりイベント条件が成立しても良い。

保護管理部２４は、イベントが発生したとき（即ちイベント条件が成立したとき）、イベントの発生時刻より所定の前方保護時間（例えば１２秒）だけ前の時刻から始まって、イベントの発生時刻より所定の後方保護時間（例えば８秒）だけ後の時刻にて終わる保護区間を設定する。保護区間の設定内容は保護管理リストとして記録媒体６に記録される。記録制御部２２は、保護管理リストに基づき、記録媒体６に既に記録されている車両状況データに対し他の車両状況データを上書きして良いか否かを判断する。

報知制御部２５は報知部５を用いた各種報知の実行制御を行う。報知制御部２５は、データ取得部２１により取得されたデータに基づいて前方車両が発進したか否かを判定し、前方車両が発進したと判定したときに、報知部５を用いて自車両ＣＡの搭乗者に対し所定の前方車両発進報知を行う。自車両ＣＡの搭乗者は少なくとも自車両ＣＡの運転者を含み、基本的に前方車両発進報知は運転者に対して行われる。前方車両の発進とは、詳細には、停止していた前方車両が前方に向けて発進することを意味する。前方車両発進報知は、前方車両が発進した旨を自車両ＣＡの搭乗者に知覚させるためのものであって、その旨の知覚が可能である限り、人間の五感の何れに訴える報知であっても良いが、ここでは、前方車両発進報知は音出力部５ａを用いた所定の発進通知音の出力により実現されるものとする。

図４は自車両ＣＡ及び前方車両ＣＢを上方から見た平面図である。前方車両ＣＢは自車両ＣＡの前方に位置する、自車両ＣＡとは異なる車両（自動車）であり、自車両ＣＡ及び前方車両ＣＢ間に他の物体（他の車両を含む）は存在しないものとする。

前方車両ＣＢが発進したか否かを判定する方法を説明する。この判定は、報知制御部２５に内包された前進車両発進判定部２５ａ（以下、判定部２５ａと略記され得る）により実現される。但し、判定部２５ａが報知制御部２５とは別に制御部１１に設けられていると考えても良い。

判定部２５ａは、基本的に、カメラ２から取得された画像データに基づいて前方車両ＣＢが発進したか否かを判定できる。即ち、前方車両ＣＢが発進したことを示す画像特徴の有無を画像データを解析することで判断し、その画像特徴が画像データから検出されたときに前方車両ＣＢが発進したと判定することが可能である。但し、自車両ＣＡが停止している状態で前方車両ＣＢが発進したときと、前方車両ＣＢが停止している状態で自車両ＣＡが後退（即ち後方へ移動）したときとで、画像データからは同様の画像特徴が観測されるため、自車両ＣＡが後退したときに前方車両ＣＢが発進したと誤判定されることもあり得る。

これを考慮し、判定部２５ａは、音声データも参照し、自車両ＣＡが発しうる後退音の有無を検出することで、前方車両ＣＢの発進と自車両ＣＡの後退とを区別する。後退音とは、自車両ＣＡが後退している時において、自車両ＣＡの搭乗者又は自車両ＣＡの周囲に対して、その旨を警告するために発せられる音であり、例えば「ピーッ、ピーッ」と聞こえる音である。自車両ＣＡの後退時において所定の後退音を出力する後退音出力部（不図示）が自車両ＣＡに設けられているものとする。この後退音出力部は図１の音出力部５ａとは異なるものである。

図５を参照し、判定部２５ａの判定動作を含む報知制御部２５の動作を説明する。図５は、報知制御部２５の動作に注目した制御部１１の動作フローチャートである。フロントカメラとしてのカメラ２の撮影領域（換言すれば視野）は自車両ＣＡの前方に位置する領域を内包しており、カメラ２の撮影領域内に前方車両ＣＢが位置していることを想定する。

ドライブレコーダ１が起動すると、ステップＳ１１において、データ取得部２１はカメラ２からの画像データ及びマイク３からの音声データの取得を開始する。以後、画像データ及び音声データの取得は継続実行される。付加データについても同様である。

続くステップＳ１２において、判定部２５ａは、自車両ＣＡの速度に基づいて所定の速度条件が満たされるか否かを判定する。具体的には、自車両ＣＡの速度が所定の判定速度（例えば２ｋｍ／ｈ）以下である状態が所定の判定時間（例えば３秒）以上継続しているときに、所定の速度条件が満たされると判断してステップＳ１３に進み、そうでない場合にはステップＳ１２の処理を繰り返す。ステップＳ１３以降の処理は、自車両ＣＡが停止していることを主として想定して前方車両ＣＢの発進有無を判断する処理を含むので、自車両ＣＡの速度が判定速度を超えるような状況などではステップＳ１３に進めないようにしている。判定部２５ａは、ＧＰＳ受信部１５から順次取得される自車位置データに基づいて（より具体的には、時系列上に並ぶ複数の自車位置データにて示される複数の自車位置間の位置変化に基づいて）自車両ＣＡの速度を求めることができる。ＧＰＳによる位置計測の精度の関係上、自車位置データだけでは、自車両ＣＡが停車しているのか、低速で移動しているのかを正確に判別し難い。

ステップＳ１３において、判定部２５ａは、画像データに基づく前方車両発進判定処理を実行する。

図６等を参照して画像データに基づく前方車両発進判定処理を説明する。カメラ２は、所定のフレーム周期で順次撮影を行うことにより、撮影領域内の様子（被写体）を示す静止画像を順次取得する。各フレーム周期で取得される静止画像をフレーム画像と称する。複数のフレーム画像により動画像が形成される。図６は、前方車両ＣＢが撮影領域に収まっているときのフレーム画像の例を示す。前方車両ＣＢの後部がフレーム画像内に現れている。

前方車両ＣＢを含む自動車としての車両は、車両の後部において水平方向に平行な輪郭線を有する部品（例えばリアバンパーやリアガラス）を多く備えている。判定部２５ａは、フレーム画像の中央付近に位置する、フレーム画像の一部領域を検出領域ＤＲに設定し、検出領域ＤＲ内の画像データに対し所定の画像処理（エッジ抽出やハフ変換）を施すことで、検出領域ＤＲ内における水平方向に平行な線分を検知対象線分として抽出する。抽出された検知対象線分は、前方車両ＣＢの後部に備えられたリアバンパーやリアガラスの外観おける水平方向に平行な線分に相当する。尚、図６において検出領域ＤＲは台形形状を有しているが、検出領域ＤＲの形状はこれに限定されない。

判定部２５ａは、複数のフレーム画像の画像データに基づいて複数のフレーム画像間における検知対象線分のオプティカルフローを導出し、導出したオプティカルフローに基づいて前方車両ＣＢが発進したことを示す画像特徴の有無を判断する。前方車両ＣＢが発進したことを示す画像特徴を、以下では、記述の簡略化上、画像特徴ＩＦと称する。

図７に、時刻ｔ１の撮影で得られるフレーム画像と、その後の時刻ｔ２の撮影で得られるフレーム画像と、それらのフレーム画像間における検知対象線分のオプティカルフローの例を示す。判定部２５ａは、検知対象線分のオプティカルフローが所定数のフレーム画像間に亘って継続して所定条件を満たすとき、画像特徴ＩＦが有ると判定し、そうでないとき、画像特徴ＩＦが無いと判定する。より具体的には例えば、検知対象線分のオプティカルフローを形成する各動きベクトルの向きが前方車両ＣＢの前進に対応する向きを有していて且つ各動きベクトルの大きさが所定値以上である状態が所定数のフレーム画像間に亘って継続しているとき、画像特徴ＩＦが有ると判定し、そうでないとき、画像特徴ＩＦが無いと判定する。

ステップＳ１３に続くステップＳ１４では、上記画像特徴ＩＦの有無がチェックされ、画像特徴ＩＦが有ると判定されたときにはステップＳ１５に進む一方で、画像特徴ＩＦが無いと判定されたときにはステップＳ１２に戻る。

ステップＳ１５において、判定部２５ａは、音声データに基づく自車両後退判定処理を実行する。自車両ＣＡの後退時に発せられる後退音に応じた後退音特徴データ（後退音の周波数スペクトル等）が、報知制御部２５内の不揮発性メモリである後退音特徴データ格納部２５ｂに予め格納されており、判定部２５ａは、マイク３から取得された音声データを後退音特徴データと比較することで、現在、後退音が発せられているか否かを判断する。当該判断は周知の音声認識処理を用いることで容易に実現される。例えば、ステップＳ１５の処理時点で取得された音声データから、後退音であるか否かの判断に有益な特徴量を抽出し、抽出した特徴量のデータと後退音特徴データとの類似度が所定値以上であるとき、現在、後退音が発せられていると判断し、そうでないとき、現在、後退音が発せられていないと判断する。

ステップＳ１５に続くステップＳ１６では、ステップＳ１５での判断結果がチェックされる。判定部２５ａにおいて、現在、後退音が発せられていないと判断された場合には、自車両ＣＡは現在後退していないと判断されてステップＳ１６からステップＳ１７に進む。判定部２５ａにおいて、現在、後退音が発せられていると判断された場合には、自車両ＣＡは現在後退していると判断されてステップＳ１６からステップＳ１２に戻る。

ステップＳ１７において、報知制御部２５は前方車両発進報知を行う。報知制御部２５は、後退音が発せられていると判断されるケース、即ち、ステップＳ１６からステップＳ１２に戻るケースにおいては前方車両発進報知を行わない。

このように、ドライブレコーダ１では、画像データだけではなく音声データをも利用して前方車両ＣＢの発進有無を判定するため、前方車両ＣＢの発進有無をより正確に判断することが可能となり、不適切な状況で前方車両発進報知を行うといったことが抑制される。特に、ドライブレコーダ１が自車両ＣＡに後付け設置されることが想定される場合など、自車両ＣＡに搭載された装置であって且つドライブレコーダ１以外の装置から車両側検出情報（車速情報や、シフトレバーの位置を示すシフト情報等）をドライブレコーダ１が取得できない場合においても、ドライブレコーダ１単体で前方車両発進報知の報知／非報知を適切に制御できる。

つまり具体的には、報知制御部２５は、前方車両ＣＢが発進したことを示す画像特徴ＩＦを画像データから検出したときには前方車両発進報知を行うことが可能に構成されているものの（ステップＳ１３からステップＳ１４〜Ｓ１６を経由してステップＳ１７へ進むパターンに対応）、画像特徴ＩＦを検出したときであっても音声データに基づき自車両ＣＡが所定の運転状態にあることを検出したときには、前方車両発進報知を行わないようにしている。これにより、自車両ＣＡが特定の運転状態にあるような不適切な状況で前方車両発進報知を行うといったことが抑制される。

ここでは、所定の運転状態は自車両ＣＡを後退させる運転状態に相当する。このため、前方車両ＣＢが発進したのではなく自車両ＣＡが後退したときに誤って前方車両発進報知が行われるといったことが抑制される。

以下の複数の実施例の中で、ドライブレコーダ１に関わる応用技術や変形技術などを説明する。特に記述無き限り且つ矛盾無き限り、上述した事項が後述の各実施例に適用される。後述の各実施例において、上述の内容と矛盾する事項については、各実施例での記載が優先されて良い。また矛盾無き限り、以下に述べる複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。

＜＜第１実施例＞＞
第１実施例を説明する。車両の後退音は車両（自動車）の種類に依存して異なり得る。例えば、第１の種類の車両における後退音は「ピーッ、ピーッ」と聞こえるような音である一方で、第２の種類の車両における後退音は「ポーン、ポーン」と聞こえるような音である、といった事情がある。ドライブレコーダ１が取り付けられる自車両ＣＡの実際の後退音が、ドライブレコーダ１の開発又は製造段階にて分かっている場合には、その後退音に対応した後退音特徴データを後退音特徴データ格納部２５ｂ（以下格納部２５ｂと略記され得る）に予め格納しておけば良いが、第１実施例では、互いに異なる後退音を発し得る複数の種類の車両の何れかにドライブレコーダ１が取り付けられることを考える。

第１実施例に係る制御部１１は、登録モード及び通常モードを含む複数の動作モードの何れかにて動作する。制御部１１は操作部４に入力される操作に応じて動作モードを切り替えることができる。例えば、原則として制御部１１は通常モードにて動作し、操作部４に対し所定の登録モード起動操作が入力されたときに限り、制御部１１は登録モードで動作する。操作部４が押しボタンスイッチを含む場合、押しボタンスイッチを押下しながらドライブレコーダ１を起動させたときに限り、制御部１１が登録モードで動作するようにしても良い。この他、登録モードの起動方法は任意である。

登録モードは、自車両ＣＡが所定の運転状態（ここでは自車両ＣＡを後退させる運転状態）にあるか否かの区別に利用される参照情報を登録する動作モードである。通常モードでは、図５に示した上述の流れによる動作が実行される。参照情報が登録モードで登録された後にあっては、参照情報を用いてステップＳ１５の処理が実行されることになる（詳細は後述）。

互いに異なる後退音を発し得る複数の種類の車両の何れかにドライブレコーダ１が取り付けられ得るが、参照情報を利用することにより、自車両ＣＡの種類に応じた適切な自車両後退判定処理を実行することが可能となる。適切な自車両後退判定処理により、前方車両ＣＢの発進時には正しく前方車両発進報知を行うことができると共に、自車両ＣＡの後退時に前方車両発進報知を誤って行うことが抑制される。

登録モード及び参照情報について詳説する。第１実施例における参照情報を、以下、参照情報ＰＰと称する。登録モードにおいて、制御部１１は、所定の時間長を有するサンプリング区間を設定する。ドライブレコーダ１のユーザ（主として自車両ＣＡの運転者）は、ドライブレコーダ１の登録モードで動作させた上で上記サンプリング区間中に自車両ＣＡを実際に後退させるなどして自車両ＣＡが実際に発生する後退音をマイク３に集音させる。制御部１１（例えば報知制御部２５）は、サンプリング区間中におけるマイク３からの音声データに基づく参照情報ＰＰを格納部２５ｂに保存する。参照情報ＰＰの格納部２５ｂへの保存が参照情報ＰＰの登録に相当する。参照情報ＰＰは、サンプリング区間中におけるマイク３からの音声データより抽出される、自車両ＣＡの後退音の特徴に応じた後退音特徴データ（後退音の周波数スペクトル等）を含む。但し、サンプリング区間中におけるマイク３からの音声データそのものを後退音特徴データとしても良い。何れにせよ、参照情報ＰＰは、登録モードにおいてマイク３から取得した音声データに応じた情報を含み、上記の登録作業を正しく踏めば、自車両ＣＡの実際の後退音の特徴を含むことになる。

後退音特徴データとしての参照情報ＰＰが登録された後、通常モードにおける図５のステップ１５の処理では、参照情報ＰＰとして登録された後退音特徴データが、その時点で取得される音声データと比較されることで、現在、後退音が発せられているか否かが判断される。

これにより、自車両ＣＡの実際の後退音を予めドライブレコーダ１に認識させた上で、通常モードで後退音の有無判断を行うことができるため、音声データに基づく自車両後退判定処理の精度向上が図られる。

尚、登録モードでの動作を経ずとも、格納部２５ｂには代表的な車両の後退音に応じた初期データが予め格納されており、登録モードでの動作を経る前の通常モードでは、初期データを後退音特徴データとして用いてステップ１５の処理が実行されて良い（後述の第２実施例でも同様）。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例でも、互いに異なる後退音を発し得る複数の種類の車両の何れかにドライブレコーダ１が取り付けられることを考える。第２実施例に係る制御部１１も、第１実施例と同様に、登録モード及び通常モードを含む複数の動作モードの何れかにて動作し、動作モードの設定及び切り替え方法は第１実施例で述べた通りであって良い。

但し、第２実施例に係る制御部１１は、登録モードにおいて、予め用意された複数の選択肢の内の何れかを指定する情報を参照情報として取得及び登録する。第２実施例に係る参照情報を、以下、参照情報ＱＱと称する。

参照情報ＱＱについて説明する。説明の具体化のため、今、ドライブレコーダ１が設置され得る複数種類の車両として、第１の種類の車両〜第ｎの種類の車両があるものとし（ｎは２以上の整数）、車両が発する後退音は、第１の種類の車両〜第ｎの種類の車両間で互いに異なるものとする。この場合、登録モードにおいて、制御部１１は、自車両ＣＡの種類が第１〜第ｎの種類（複数の選択肢）の何れであるのかを指定する選択指定情報をドライブレコーダ１のユーザから受け付け、選択指定情報の入力を受けると、入力された選択指定情報を参考情報ＱＱとして格納部２５ｂに保存する。参照情報ＱＱの格納部２５ｂへの保存が参照情報ＱＱの登録に相当する。選択指定情報の入力は操作部４にて受け付けられても良い。或いは、ドライブレコーダ１が情報端末（パーソナルコンピュータ、タブレット、スマートホン等）と通信可能に構成されている場合には、情報端末を通じて選択指定情報がドライブレコーダ１に入力されても良い。

一方、第２実施例に係る格納部２５には、第１〜第ｎの種類の車両の実際の後退音に応じた後退音特徴データ（後退音の周波数スペクトル等）が予め車両の種類ごとに格納されている。即ち、格納部２５には、第１〜第ｎの後退音特徴データが予め格納されており、任意の整数ｉに関して、第ｉの後退音特徴データは、第ｉの種類の車両の実際の後退音に応じた後退音特徴データである。

参照情報ＱＱが登録された後、通常モードにおける図５のステップ１５の処理では、参照情報ＱＱに対応する後退音特徴データが、その時点で取得される音声データと比較されることで、現在、後退音が発せられているか否かが判断される。即ち、参照情報ＱＱにより自車両ＣＡの種類が第ｉの種類であることが指定されている場合には、第ｉの後退音特徴データが、その時点で取得される音声データと比較されることで、現在、後退音が発せられているか否かが判断される。

これによっても、第１実施例と同様に、自車両ＣＡの実際の後退音を予めドライブレコーダ１に認識させた上で、通常モードでの後退音の有無判断を行うことができるため、音声データに基づく自車両後退判定処理の精度向上が図られる。

尚、ここでは、登録モードにおいて、自車両ＣＡの種類が複数の選択肢（第１〜第ｎの種類）の中から選択及び指定されることで参考情報ＱＱが生成されることになるが、第１〜第ｎの種類の車両の後退音である第１〜第ｎの後退音を複数の選択肢として用意しておいても良い。この場合、制御部１１は、第１〜第ｎの後退音の何れかを選択及び指定する情報を選択指定情報としてドライブレコーダ１のユーザより受け付けて、当該選択指定情報を参考情報ＱＱとして格納部２５ｂに保存すれば良い。制御部１１は、操作部４への所定操作の入力に応答して第１〜第ｎの後退音を音出力部５ａから出力できても良く、ユーザは、その出力音を参考に選択指定情報を入力するようにしても良い。即ち例えば、ユーザは、第１〜第ｎの後退音と、自車両ＣＡの実際の後退音とを聞き比べた上で、第１〜第ｎの後退音の中から、自車両ＣＡの実際の後退音と最も似ていると思われる後退音を選択し、選択した後退音を指定する選択指定情報をドライブレコーダ１に入力するようにしても良い。そして、通常モードにおける図５のステップ１５の処理では、参照情報ＱＱに対応する後退音についての後退音特徴データが、その時点で取得される音声データと比較されることで、現在、後退音が発せられているか否かが判断されると良い。即ち、参照情報ＱＱにより第ｉの後退音が指定されている場合には、第ｉの後退音の特徴に応じた第ｉの後退音特徴データが、その時点で取得される音声データと比較されることで、現在、後退音が発せられているか否かが判断されると良い。

＜＜第３実施例＞＞
第３実施例を説明する。第３実施例でも、互いに異なる後退音を発し得る複数の種類の車両の何れかにドライブレコーダ１が取り付けられることを考える。説明の具体化のため、今、ドライブレコーダ１が設置され得る複数種類の車両として、第１の種類の車両〜第ｎの種類の車両があるものとし（ｎは２以上の整数）、車両が発する後退音は、第１の種類の車両〜第ｎの種類の車両間で互いに異なるものとする。

この場合、第３実施例に係る格納部２５には、第１〜第ｎの種類の車両の実際の後退音に応じた後退音特徴データ（後退音の周波数スペクトル等）が予め車両の種類ごとに格納されている。即ち、格納部２５には、第１〜第ｎの後退音特徴データが予め可能されており、任意の整数ｉに関して、第ｉの後退音特徴データは、第ｉの種類の車両の実際の後退音に応じた後退音特徴データである。

そして、図５のステップ１５の処理では、第１〜第ｎの後退音特徴データの夫々が、その時点で取得される音声データと比較されることで、現在、後退音が発せられているか否かが判断される。即ち例えば、ステップＳ１５の処理時点で取得された音声データから、後退音であるか否かの判断に有益な特徴量を抽出して、抽出した特徴量のデータと第１〜第ｎの後退音特徴データとの類似度を後退音特徴データごとに導出する。そして、導出したｎ個の類似度の内、１以上の類似度が所定値以上であるとき、後退音が発せられていると判断する（そうでないとき、後退音が発せられていないと判断する）。

第３実施例によれば、第１又は第２実施例に示すような登録モードを経ずとも、複数の後退音に対応した自車両後退判定処理を実現できる。但し、自車両後退判定処理の精度の点では、第１又は第２実施例の採用が好ましい。

尚、第１又は第２実施例と第３実施例とを組み合わせることも可能である。即ち、登録モードでの参照情報の登録前には、第３実施例の方法にて自車両後退判定処理（ステップ１５の処理）を行い、登録モードでの参照情報の登録後には、第１又は第２実施例の方法にて自車両後退判定処理（ステップ１５の処理）を行うようにしても良い。

＜＜第４実施例＞＞
第４実施例を説明する。第４実施例では、音声データを利用せずに画像データのみで、前方車両ＣＢの発進と自車両ＣＡの後退とを区別する方法を説明する。

図８を参照する。図５のステップＳ１３において第４実施例に係る判定部２５ａは、フレーム画像の中央付近に位置する、フレーム画像の一部領域を検出領域ＤＲに設定して検出領域ＤＲ内の検知対象線分を抽出し、複数のフレーム画像の画像データに基づき複数のフレーム画像間における検知対象線分のオプティカルフローを導出して、導出したオプティカルフローに基づき上記画像特徴ＩＦの有無を判断する。この方法については上述した通りである。画像特徴ＩＦが有ると判断された場合には、ステップＳ１３からステップＳ１４を経由してステップＳ１５に進む。

但し、第４実施例に係るステップＳ１５において、判定部２５ａは、音声データに基づく自車両後退判定処理の代わりに、以下の変形処理を実行する。当該変形処理において、判定部２５ａは、図８に示す如くフレーム画像内に検出領域ＤＲとは別に検出領域ＤＲ２を設定し、検出領域ＤＲ２内の画像データを用いて、前方車両ＣＢの発進と自車両ＣＡの後退とを区別する。カメラ２の撮影領域には、前方車両ＣＢ以外の物体（以下、他物体と称する）も存在する。他物体としては路面に対して静止している路肩設置物などが想定され、路面も含まれ得る。検出領域ＤＲ２には他物体の像の画像データが含まれる。これを実現すべく、検出領域ＤＲ２は、例えば、検出領域ＤＲより大きな外形を有する領域であって、検出領域ＤＲの外形は検出領域ＤＲ２の外形に包含される。検出領域ＤＲ２はフレーム画像の全画像領域であっても構わない。

第４実施例に係る判定部２５ａは、検出領域ＤＲ２内の画像データを複数のフレーム画像間で比較することで他物体のオプティカルフローを導出する。そして、他物体のオプティカルフローを形成する各動きベクトルの向きが自車両ＣＡの後退に対応する向きを有していて且つ各動きベクトルの大きさが所定値以上である状態が所定数のフレーム画像間に亘って継続しているとき、自車両ＣＡが後退していると判断し、そうでないとき、自車両ＣＡが後退していないと判断する。

そして、ステップＳ１５の上記変形処理において、自車両ＣＡが後退していないと判断された場合にはステップＳ１６を介しステップＳ１７に進んで前方車両発進報知を行い、自車両ＣＡが後退していると判断された場合に前方車両発進報知を行うことなくステップＳ１２に戻る。

第４実施例の方法によれば、音声データに頼らずとも良好に前方車両ＣＢの発進と自車両ＣＡの後退とを区別することができ、適切な前方車両発進報知を行うことができる。

＜＜第５実施例＞＞
第５実施例を説明する。上述のカメラ２は自車両ＣＡの前方を撮影するフロントカメラであることが想定されているが、自車両ＣＡの前方を撮影するフロントカメラが第１のカメラ２として、且つ、自車両ＣＡの後方を撮影するリアカメラが第２のカメラ２として設けられている場合にあっては、以下のようにしても良い。

即ち、判定部２５ａは、第１のカメラ２からの画像データに基づき、上述の方法により、前方車両ＣＢが発進したことを示す画像特徴ＩＦの有無を判断する。そして、報知制御部２５は、所定の速度条件（図５のステップＳ１２参照）が満たされていることを前提として画像特徴ＩＦが有ると判断された場合には、原則として前方車両発進報知を行うが、第２のカメラ２からの画像データから、自車両ＣＡが後退していることを示す後退画像特徴を検出したときには前方車両発進報知を非実行とする。

報知制御部２５又は判定部２５ａは、第２のカメラ２における周期的な撮影により取得された複数のフレーム画像間のオプティカルフローに基づき、後退画像特徴の有無を判定及び検出すれば良い。より具体的には例えば、第２のカメラ２からの画像データに基づくオプティカルフローについて、当該オプティカルフローを形成する各動きベクトルの向きが自車両ＣＡの後退に対応する向きを有していて且つ各動きベクトルの大きさが所定値以上である状態が所定数のフレーム画像間に亘って継続しているとき、後退画像特徴が有ると判定し、そうでないとき、後退画像特徴が無いと判定すれば良い。

＜＜第６実施例＞＞
第６実施例を説明する。

マイク３を通じて取得された音声データに基づいてイベントを発生させることが有り得て良い。即ち、イベント検出部２３は、マイク３を通じて取得された音声データが特定の音の特徴を含むか否かを音声認識処理で判断し、特定の音の特徴を含むと判断した場合にイベントが発生したと判断するようにしても良い。特定の音は、例えば、車両の急ブレーキの音（自車両ＣＡ又は他の車両のタイヤと路面との急ブレーキによる摩擦音）、物体間の衝突音である。これにより、Ｇ値による画像保護が働かないようなケースにおいても、音声をトリガにして画像保護を行うことが可能となる。画像保護とは保護区間の設定に相当する。尚、ここでは、イベントの発生有無に依らず車両状況データを記録媒体６に定期的に記録する常時記録方式をドライブレコーダ１に採用することを想定しているが、イベントが発生したときにのみ、その発生時点前後の車両状況データを記録媒体６に記録するイベント記録方式をドライブレコーダ１に採用することも可能である。

判定部２５ａで行われる処理の一部は、ドライブレコーダ１以外の装置にて実行されても良い。即ち例えば、ドライブレコーダ１に加えて図示されないカーナビゲーション装置が自車両ＣＡに設置されていて、ドライブレコーダ１及びカーナビゲーション装置間で任意の情報の送受信が可能とされている場合、マイク３からの音声データに基づく自車両後退判定処理をカーナビゲーション装置に行わせ、その処理の結果をカーナビゲーション装置から判定部２５ａに与えるようにしても良い。この場合、マイク３は、カーナビゲーション装置に接続されたものであっても良いし、カーナビゲーション装置に内蔵されたものであっても良い。

本発明の一側面に係る運転支援装置は、対象車両（ＣＡ）の前方を撮影領域に収めるカメラ（２）から画像データを取得する画像データ取得部（２１）と、前記対象車両に取り付けられたマイク（３）から音声データを取得する音声データ取得部（２１）と、前記画像データ及び前記音声データに基づき前記対象車両の前方車両が発進したか否かを判定し、前記前方車両が発進したと判定したときに前記対象車両の搭乗者に対し所定の報知を行う報知処理部（２５）と、を備えている。ここにおける報知処理部は、図１の例では、報知制御部２５に相当すると考えても良いし、報知制御部２５と報知部５を併せたものであると考えても良い。

ドライブレコーダ１は、前方車両発進通知の実行を通じて自車両ＣＡの運転を支援する運転支援装置を内包していると言える。運転支援装置は、データ取得部２１及び報知制御部２５を含んで構成され、カメラ２、マイク３、操作部４及び報知部５の全部又は一部も運転支援装置の構成要素に含まれると考えて良い。運転支援装置はドライブレコーダ１以外の装置にて実現されても良い。例えば、運転支援装置はカーナビゲーション装置内に設けられるものであっても良い。

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

１ ドライブレコーダ
２ カメラ
３ マイク
４ 操作部
５ 報知部
１１ 制御部
２１ データ取得部
２２ 記録制御部
２３ イベント検出部
２４ 保護管理部
２５ 報知制御部

Claims (7)

1. 対象車両の前方を撮影領域に収めるカメラから画像データを取得する画像データ取得部と、
   前記対象車両に取り付けられたマイクから音声データを取得する音声データ取得部と、
   前記画像データ及び前記音声データに基づき前記対象車両の前方車両が発進したか否かを判定し、前記前方車両が発進したと判定したときに前記対象車両の搭乗者に対し所定の報知を行う報知処理部と、を備えた
   、運転支援装置。
2. 前記報知処理部は、前記前方車両が発進したことを示す画像特徴を前記画像データから検出したとき前記報知を行うことが可能であるが、前記画像特徴を検出したときであっても前記音声データに基づき前記対象車両が所定の運転状態にあることを検出したときには前記報知を行わない
   、請求項１に記載の運転支援装置。
3. 前記所定の運転状態は、前記対象車両を後退させる運転状態である
   、請求項２に記載の運転支援装置。
4. 前記報知処理部は、前記対象車両が前記所定の運転状態にあるか否かの区別に利用される参照情報を登録するための登録モードにて動作可能であり、前記参照情報の登録後、前記参照情報を用いて前記音声データに基づき前記対象車両が前記所定の運転状態にあるか否かを検出する
   、請求項２又は３に記載の運転支援装置。
5. 前記参照情報は、前記登録モードにおいて前記マイクから取得した前記音声データに応じた情報を含む
   、請求項４に記載の運転支援装置。
6. 前記参照情報は、予め用意された複数の選択肢の中の何れかを指定する情報を含む
   、請求項４に記載の運転支援装置。
7. 対象車両の前方を撮影領域に収めるカメラから画像データを取得する画像データ取得工程と、
   前記対象車両に取り付けられたマイクから音声データを取得する音声データ取得工程と、
   前記画像データ及び前記音声データに基づき前記対象車両の前方車両が発進したか否かを判定し、前記前方車両が発進したと判定したときに前記対象車両の搭乗者に対し所定の報知を行う報知処理工程と、を備えた
   、運転支援方法。

Images