JP2019028762A - 画像記録装置、画像記録方法および画像記録プログラム - Google Patents

Abstract

【課題】事故等のイベント発生後の関係者の様子を的確に記録する。【解決手段】画像記録装置は、自車両の周辺を撮像した画像データを逐次取得する画像データ取得部と、自車両に対する予め定められたイベントの発生を検出するイベント信号を取得するイベント信号取得部と、イベント信号取得部がイベント信号を取得した場合に、画像データ取得部が取得した画像データの画像から人物の顔を検出する顔検出部と、イベント信号取得部がイベント信号を取得しない場合は、画像データをリングバッファ形式によりメモリに書き込み、イベント信号取得部がイベント信号を取得した場合は、イベント信号を取得した時点から顔検出部が人物の顔を検出した時点までの期間を含む画像データを、上書きがされないようにメモリに書き込む書込制御部とを備える。【選択図】図５

Description

本発明は、画像記録装置、画像記録方法および画像記録プログラムに関する。

一般的なドライブレコーダは、衝撃等のイベントを検出した場合に、当該イベントの検出時点を含む所定時間の画像データを、上書きされないメモリ領域に移動させている（例えば、特許文献１参照）。

特開２０００−６８５４号公報

上書が禁止される動画像がイベントの検出時点を含む所定時間に限られる従来のドライブレコーダは、イベント発生後の関係者の様子を記録する観点からは不十分であった。例えば正面方向からの衝突事故が発生した場合に、その発生時点で対象車両の運転手は衝撃等により正面を向いていないことがある。このような様子が撮像されても、対象車両の運転者を特定する観点からは不十分である。自車両が歩行者と衝突するような事例においても、歩行者が俯いて歩いていたような場合には、被害状況を記録する観点からは不十分である。

本発明は、このような問題を解決するためになされたものであり、イベント発生後の関係者の様子を的確に記録できる画像記録装置等を提供することを目的とする。

本発明の第１の態様における画像記録装置は、自車両の周辺を撮像した画像データを逐次取得する画像データ取得部と、自車両に対する予め定められたイベントの発生を検出するイベント信号を取得するイベント信号取得部と、イベント信号取得部がイベント信号を取得した場合に、画像データ取得部が取得した画像データの画像から人物の顔を検出する顔検出部と、イベント信号取得部がイベント信号を取得しない場合は、画像データをリングバッファ形式によりメモリに書き込み、イベント信号取得部がイベント信号を取得した場合は、イベント信号を取得した時点から顔検出部が人物の顔を検出した時点までの期間を含む画像データを、上書きがされないようにメモリに書き込む書込制御部とを備える。

本発明の第２の態様における画像記録方法は、自車両の周辺を撮像した画像データを逐次取得する画像データ取得ステップと、自車両に対する予め定められたイベントの発生を検出するイベント信号を取得するイベント信号取得ステップと、イベント信号取得ステップでイベント信号を取得した場合に、画像データ取得ステップで取得した画像データの画像から人物の顔を検出する顔検出ステップと、イベント信号取得ステップでイベント信号を取得しない場合は、画像データをリングバッファ形式によりメモリに書き込み、イベント信号取得ステップでイベント信号を取得した場合は、イベント信号を取得した時点から顔検出ステップで人物の顔を検出した時点までの期間を含む画像データを、上書きがされないようにメモリに書き込む書込制御ステップとを有する。

本発明の第３の態様における画像記録プログラムは、自車両の周辺を撮像した画像データを逐次取得する画像データ取得ステップと、自車両に対する予め定められたイベントの発生を検出するイベント信号を取得するイベント信号取得ステップと、イベント信号取得ステップでイベント信号を取得した場合に、画像データ取得ステップで取得した画像データの画像から人物の顔を検出する顔検出ステップと、イベント信号取得ステップでイベント信号を取得しない場合は、画像データをリングバッファ形式によりメモリに書き込み、イベント信号取得ステップでイベント信号を取得した場合は、イベント信号を取得した時点から顔検出ステップで人物の顔を検出した時点までの期間を含む画像データを、上書きがされないようにメモリに書き込む書込制御ステップとをコンピュータに実行させる。

本発明によれば、イベント発生時点から、継続して撮像される画像中に人物の顔を検出する時点までの期間を含む画像データを残すので、当該画像データには、イベントに関係する人物の様子が記録されていることが期待できる。すなわち、イベント発生後の関係者の様子をより的確に記録することができる。

ドライブレコーダが自車両に設置されている様子を示す概略図である。 ドライブレコーダの構成を示すブロック図である。 メモリカードに設定されるリングバッファについて説明する概念図である。 イベント発生直後の様子と顔が検出された様子とを示す概略図である。 時間経過に対する上書禁止の対象ファイルを説明する説明図である。 ドライブレコーダの制御フローを示すフロー図である。 他のドライブレコーダが自車両に設置されている様子を示す概略図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態に係る画像記録装置の一例であるドライブレコーダ１００が自車両９００に設置されている様子を示す概略図である。ドライブレコーダ１００は、カメラユニット１１０を含む。カメラユニット１１０は、前方の周辺環境を撮像できるように、自車両９００の進行方向に向かってウィンドシールド上部に設置されている。なお、その視野は、例えば一点鎖線で示すように対角１３０°程度の拡がりを有する。

自車両９００は、前方の複数箇所に、他車両や歩行者等の対象物までの距離を検出する距離センサ１７０を備える。距離センサ１７０は、例えばミリ波レーダや超音波センサであり、検出結果である距離信号をドライブレコーダ１００へ出力する。距離センサ１７０は、ドライブレコーダ１００に内蔵されていてもよい。また、自車両９００は、自車両９００が受ける衝撃等の加速度を検出する加速度センサ１６０を備える。加速度センサ１６０は、検出結果である加速度信号をドライブレコーダ１００へ出力する。加速度センサ１６０は、ドライブレコーダ１００に内蔵されていてもよい。

図２は、ドライブレコーダ１００の構成を示すブロック図である。ドライブレコーダ１００は、主にカメラユニット１１０および本体ユニット１３０によって構成される。

カメラユニット１１０は、主にレンズ１１２、撮像素子１１４およびＡＦＥ（アナログフロントエンド）１１６を備える。レンズ１１２は、入射する被写体光束を撮像素子１１４へ導く。レンズ１１２は、複数の光学レンズ群から構成されていても良い。

撮像素子１１４は、例えばＣＭＯＳイメージセンサである。撮像素子１１４は、システム制御部１３１から指定される１フレームあたりの露光時間に従って電子シャッタにより電荷蓄積時間を調整し、光電変換を行って画素信号を出力する。撮像素子１１４は、画素信号をＡＦＥ１１６へ引き渡す。ＡＦＥ１１６は、画素信号をシステム制御部１３１から指示される増幅ゲインに応じてレベル調整してデジタルデータへＡ／Ｄ変換し、画素データとして本体ユニット１３０へ送信する。なお、カメラユニット１１０は、メカニカルシャッタや虹彩絞りを備えても良い。メカニカルシャッタや虹彩絞りを備える場合には、システム制御部１３１は、これらも利用して、撮像素子１１４へ入射する光量を調整することができる。

本体ユニット１３０は、システム制御部１３１、画像入力ＩＦ１３２、ワークメモリ１３３、システムメモリ１３４、画像処理部１３５、表示出力部１３６、メモリ制御部１３７、メモリＩＦ１３８、入出力ＩＦ１３９、顔検出部１４０、バスライン１４１を主に備える。画像入力ＩＦ１３２は、カメラユニット１１０が撮像した画像データを逐次取得する画像データ取得部としての機能を担い、本体ユニット１３０と接続されているカメラユニット１１０から画素データ受信して、バスライン１４１へ引き渡す。

ワークメモリ１３３は、例えば揮発性の高速メモリによって構成される。ワークメモリ１３３は、ＡＦＥ１１６から画像入力ＩＦ１３２を介して画素データを受け取り、１フレームの画像データに纏めて記憶する。ワークメモリ１３３は、フレーム単位で画像処理部１３５へ画像データを引き渡す。また、ワークメモリ１３３は、画像処理部１３５が画像処理する途中段階においても一時的な記憶領域として適宜利用される。

画像処理部１３５は、受け取った画像データに対して各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。例えば、ＭＰＥＧファイル形式の動画像データを生成する場合は、各フレームの画像データに対するホワイトバランス処理、ガンマ処理等を施した後に、各フレームの画像データ内および隣接フレームの画像データ間の圧縮処理を実行する。画像処理部１３５は、生成された画像データから表示用画像データを逐次生成して、表示出力部１３６へ引き渡す。以下、動画像データを構成する各フレームの画像データをフレーム画像データとし、フレーム画像データで表される画像をフレーム画像とする。

表示出力部１３６は、画像処理部１３５から受け取った表示用画像データを、表示ユニット１８０で表示可能な画像信号に変換して出力する。表示ユニット１８０は、例えばカーナビゲーションシステムの表示パネルであっても良いし、ドライブレコーダ１００と一体的に設けられた専用の表示パネルであっても良い。表示ユニット１８０は、表示出力部１３６から受け取った画像信号を逐次表示することができる。

システムメモリ１３４は、例えばＳＳＤなどの不揮発性記録媒体により構成される。システムメモリ１３４は、ドライブレコーダ１００の動作時に必要な定数、変数、設定値、制御プログラム等を記録、保持する。

メモリＩＦ１３８は、着脱可能なメモリカード１５０を装着する接続インタフェースである。メモリカード１５０としては、不揮発性メモリであり、例えばフラッシュメモリが利用される。メモリ制御部１３７は、メモリＩＦ１３８に装着されたメモリカード１５０に、画像データを書き込むためのメモリ制御を実行する。すなわち、メモリ制御部１３７は、メモリカード１５０に画像データを書き込む書込制御部としての機能を担う。具体的なメモリ制御については後述する。

入出力ＩＦ１３９は、外部機器からの信号を受信してシステム制御部１３１へ引き渡したり、外部機器へ信号要求などの制御信号をシステム制御部１３１から受け取って外部機器へ送信したりする、外部機器との接続インタフェースである。上述した加速度センサ１６０からの加速度信号、距離センサ１７０からの距離信号は、入出力ＩＦ１３９を介してシステム制御部１３１へ入力される。したがって、入出力ＩＦ１３９は、加速度信号を受信する場合は、システム制御部１３１と協働して加速度信号取得部としての機能を担い、距離信号を受信する場合は、システム制御部１３１と協働して距離信号取得部としての機能を担う。

システム制御部１３１は、入出力ＩＦ１３９を介して加速度センサ１６０から入力された加速度信号が予め設定された閾値以上の大きさである場合は、衝突等のイベントが発生したと判断する。したがって、システム制御部１３１はイベント信号取得部としての機能も担う。

システム制御部１３１は、入出力ＩＦ１３９を介して距離センサ１７０から入力された距離信号に基づき自車両９００から所定の閾値未満の距離に近づいてきた他車両または人物等の対象物を検出する。したがって、システム制御部１３１は対象物検出部としての機能も担う。

顔検出部１４０は、画像処理部１３５で所定の前処理を施されたフレーム画像データを受け取って、そのフレーム画像に人物の顔が存在するかを検出する。受け取るフレーム画像データは、そのフレーム画像が撮像された時刻情報を包含する。なお、フレーム画像の全体領域に対して特定の検出対象領域が指定された場合には、その領域内に人物の顔が存在するかを検出する。顔検出部１４０は、人物の顔を検出した場合には、そのフレーム画像が撮像された時刻情報と、検出した顔領域を取り囲む矩形領域の座標値とをシステム制御部１３１へ出力する。

システム制御部１３１は、例えばＣＰＵであり、ドライブレコーダ１００を構成する各要素を直接的または間接的に制御する。システム制御部１３１による制御は、システムメモリ１３４から読みだされた制御プログラム等によって実現される。

図３は、メモリカード１５０に設定されるリングバッファについて説明する概念図である。ドライブレコーダ１００は、カメラユニット１１０で逐次撮像する画像を画像処理部１３５で処理して１分間ごとの動画像ファイルを生成する。そして、メモリ制御部１３７が、画像処理部１３５で生成された動画像ファイルを、メモリＩＦ１３８を介して順次メモリカード１５０に記録する。

メモリカード１５０は、記憶容量に上限があるので、記録できる動画像ファイルの数にも上限がある。ドライブレコーダ１００は、自車両９００が走行を続ける間は動画像ファイルの生成を継続するので、一定時間が経過すると生成した最新の動画像ファイルをメモリカード１５０に記録できなくなってしまう。そこで、メモリ制御部１３７は、メモリカード１５０が記憶容量の上限に到達したら、最も古い動画像ファイルが記憶された記憶領域に最新の動画像ファイルを上書きするリングバッファ形式により、記録処理を継続する。

図３（ａ）は、メモリカード１５０のメモリ領域１５１の全体を、リングバッファ１５２として利用する場合の概念図である。１つの動画像ファイルを記憶できるメモリ領域をそれぞれＸ_１，Ｘ_２，…，Ｘ_ｎと表すと、メモリ制御部１３７は、最初の動画像ファイルをＸ_１、次の動画像ファイルをＸ_２というように順に記録する。そして、ｎ個目の動画像ファイルをＸ_ｎに記録したら、ｎ＋１個目の動画像ファイルを、最初の動画像ファイルが記録されているＸ_１に上書きする。同様にｎ＋２個目の動画像ファイルはＸ_２に上書きする。このようなリングバッファ形式によって動画像ファイルを記録すれば、リングバッファ１５２の容量分の最新の動画像ファイルを保持しておくことができる。

図３（ｂ）は、従来のドライブレコーダにおける書き込み制御の概念を説明する概念図である。従来のドライブレコーダは、例えば他車両に衝突されて大きな加速度信号を受信したときにイベント発生を認識し、その時点を記録している動画像ファイルを上書き禁止の領域にコピーする。例えば図示するように、リングバッファ１５２に属するメモリ領域Ｘ_４に記録された動画像ファイルが、その撮像期間中にイベント発生時点を含むのであれば、メモリ領域Ｘ_ｎを不揮発バッファ１５３に変更して、当該動画像ファイルをイベント記録ファイルとしてここへコピーする。不揮発バッファ１５３は、リングバッファ形式で記録される記憶領域から除外される領域であり、換言すれば、上書きが禁止される領域である。イベントが複数回発生すれば、その都度Ｘ_ｎ-１，Ｘ_ｎ-２，…が順に不揮発バッファ１５３に変更される。すなわち、リングバッファ１５２は、不揮発バッファ１５３が増設されるたびに減少する。不揮発バッファ１５３のメモリ領域は、メモリカード１５０がフォーマットされたり、ユーザの指示によって対象動画像ファイルが消去されたりすると、再びリングバッファ１５２として利用される。なお、不揮発バッファ１５３として用いられる容量は予め設定されていてもよい。

従来のドライブレコーダは、イベント発生後の関係者の様子を記録する観点からは不十分であった。図３（ｂ）に示すように、イベント発生時点を含む、例えば１分間の動画像データが上書き禁止となるだけである。例えば正面方向からの衝突事故が発生した場合に、その発生時点で対象車両の運転手は衝撃等により正面を向いていないことがある。このような様子が撮像されても、対象車両の運転者を特定する観点からは不十分である。自車両が歩行者と衝突するような事例においても、衝突時に歩行者が俯いて歩いていたような場合には、被害状況を記録する観点からは不十分である。

そこで、本実施形態においては、イベント発生の時点から、継続して撮像される画像中に人物の顔を検出する時点までの期間を含む動画像データを、不揮発バッファ１５３へコピーする。図３（ｃ）は、本実施形態に係るドライブレコーダ１００における書き込み制御の概念を説明する概念図である。不揮発バッファ１５３の増設方法や、対象動画像データの移動方法、リングバッファ１５２に対する記録方法などは図３（ｂ）の例と同じであるが、本実施形態においては、不揮発バッファ１５３へコピーする対象となる動画像ファイルが異なる。

図３（ｂ）の例と同様に、リングバッファ１５２に属するメモリ領域Ｘ_４に記録された動画像ファイルが、その撮像期間中にイベント発生時点を含むものとする。カメラユニット１１０はその後も撮像を続け、生成された動画像ファイルは順次Ｘ_５，Ｘ_６…に書き込まれる。顔検出部１４０は、これらの動画像ファイルを構成するフレーム画像データを継続的に取得し、そのフレーム画像に人物の顔が含まれることを検出する（顔検出）。ここでは、メモリ領域Ｘ_６に記録された動画像ファイル中に、イベント発生後に初めて顔検出されたフレーム画像を含むものとする。なお、イベント発生後に初めて顔検出されたフレーム画像の時刻情報が示す時刻を顔検出時点とする。

この場合において、メモリ制御部１３７は、イベント発生時点を含むＸ_４の動画像ファイルから、Ｘ_５の動画像ファイル、および顔検出時点を含むＸ_６の動画像ファイルまでの３つの動画像ファイルをイベント記録ファイルとして、不揮発バッファ１５３へコピーする。すなわち、Ｘ_ｎ-２からＸ_ｎまでのメモリ領域を不揮発バッファ１５３に変更して、ここへ対象となる動画像ファイルをコピーする。すでに別の動画像ファイルが不揮発バッファ１５３に存在する場合は、その動画像ファイルが記録されたメモリ領域を回避して不揮発バッファ１５３を増設する。

このように継続して撮像される画像中に人物の顔が検出されるまでの期間も上書禁止として残されていれば、イベントに関係する可能性が高い人物の様子が記録されていることが期待できる。その一例について説明する。図４（ａ）は、他車両９１０が自車両９００に衝突した直後（イベント発生直後）の様子を示し、図４（ｂ）は、その後に他車両９１０の運転者９１１の顔が検出された様子を示す。

図４（ａ）に示すような衝突が発生した場合に、システム制御部１３１は、その衝突に伴って発生する閾値以上の加速度信号を受信することによりイベントが発生したことを認識する。この時点において撮影された画像は、図４（ａ）の外枠で囲われた範囲である。図示するように、衝突の衝撃に伴って運転者９１１が運転席で突っ伏してしまった場合、運転者の顔は写っていない。このような画像のみでは、事故の当事者として他車両９１０を運転していた運転者９１１を特定するといった目的を達成することができない。

しかし、図４（ｂ）の外枠で囲われた範囲のような、運転者９１１が事故後に意識を回復した場合や、衝撃により伏せた状態から立ち直った場合などで顔を持ち上げた様子を示す画像を取得できれば、運転者９１１の顔を事後的に確認することができ、上記のような目的にも適う。すなわち、画像の利用価値が大きく膨らむ。例えば、その後にたとえ他車両９１０に逃走されても、相手を特定することは容易である。なお、検出枠８１１で囲まれた矩形領域は、顔検出部１４０が人物の顔を検出した顔領域である。画像処理部１３５は、フレーム画像に検出枠８１１を埋め込んで動画像ファイルを生成しても良いし、動画像ファイルのヘッダ部分に検出枠８１１の座標情報を付加しても良い。

上述のように、イベント発生時点から顔検出時点までの期間を含む動画像ファイルが上書不可能に記録されていれば、当該動画像ファイルの事後利用の価値は飛躍的に向上するが、本実施形態においては、保存する期間をさらに付加する。図５は、本実施形態における、時間経過に対する上書禁止の対象ファイルを説明する説明図である。図は、左から右に向かって時間経過を表している。

図において、時刻ｔ_ｓでイベントが発生し、時刻ｔ_ｆで画像中に人物の顔が検出されたとする。この時刻ｔ_ｓから時刻ｔ_ｆまでの期間を主期間とする。そして、時刻ｔ_ｓから予め定められた一定時間Ｔ_１だけ遡った時刻ｔ_ｐを開始時点とし、時刻ｔ_ｓを終了時点とする事前期間を、主期間の前に設定する。また、時刻ｔ_ｆを開始時点とし、時刻ｔ_ｆから予め定められた一定時間Ｔ_２だけ経過した時刻ｔ_ｅを終了時点とする事後期間を、主期間の後に設定する。

そして、この三期間を含む動画像ファイルをイベント記録ファイルとして上書禁止対象ファイルとする。すなわち、これらの動画像ファイルを、不揮発バッファ１５３にコピーする。このように、前後の期間も含めれば、さらに画像の利用範囲が広がることが期待できる。例えば、事前期間の動画像ファイルには、他車両９１０が接近する様子が写っている場合があり、事故の発生原因の特定や、主期間で写る車両が事故原因であることの確認などに資する。また、事後期間の動画像ファイルには、救援者が接近する様子や、他車両９１０が逃走する様子が写っている場合があり、関係者の特定や、刑事責任の追及などに資する。

次に、ドライブレコーダ１００の制御フローについて説明する。図６は、ドライブレコーダ１００の制御フローを示すフロー図である。フローは、自車両９００の走行開始準備が完了する時点から開始する。自車両９００の走行開始準備の完了とは、例えば自車両９００のエンジン始動または電源オンなどである。また、ドライブレコーダ１００は、自車両の状態によらず常時動作するようにしてもよい。また、フローの開始と共にカメラユニット１１０による撮像を開始し、画像処理部１３５で逐次生成される動画像ファイルは、メモリ制御部１３７により、リングバッファ形式で順にメモリカード１５０に記録される。また、システム制御部１３１は、加速度センサ１６０から受ける加速度信号を監視している。以下の処理は、このような通常走行時の記録制御中に実行される処理である。

システム制御部１３１は、ステップＳ１０１で、加速度センサ１６０から閾値以上の加速度信号を受信したか、つまりイベントが発生したか否かを判断する。閾値以上の加速度信号を受信したと判断したら、イベントが発生したものとして、ステップＳ１０２へ進む。受信していないと判断したらステップＳ１０８へ進む。

システム制御部１３１は、ステップＳ１０２へ進むと、距離センサ１７０から受信した距離信号の履歴を確認する。上述のように、距離センサ１７０は、自車両９００の前方の複数箇所に設けられているので、いずれかの距離センサ１７０が対象物の接近を捉えている可能性がある。そこで、システム制御部１３１は、いずれかの距離センサ１７０が対象物の接近を捉えていると判断したら、ステップＳ１０４へ進み、そうでなければステップＳ１０３へ進む。

システム制御部１３１は、ステップＳ１０３へ進んだ場合には、顔検出部１４０に、イベント発生後に生成される動画像データの各フレーム画像の全領域を対象として、人物の顔が存在するか否かを探索させる。一方で、ステップＳ１０４へ進んだ場合には、顔検出部１４０に、イベント発生後に生成される動画像データの各フレーム画像のうち距離センサ１７０がイベント発生前に捉えた接近物の方向の領域を重点的に探索させる。例えば、接近物を検出した距離センサ１７０が、フレーム画像の右側１／４の被写界に対して距離を検出するように設置されているのであれば、顔検出部１４０は、フレーム画像の右側１／４を探索領域と定める。顔検出を行う対象領域をこのように限定すれば、顔検出処理を高速に行えると共に、検出される顔の人物が発生したイベントに関係が深いことも期待できる。

システム制御部１３１は、ステップＳ１０５へ進み、フレーム画像から人物の顔が検出できたか否かを判断する。検出できたと判断したらステップＳ１０６へ進み、検出できないと判断したらステップＳ１０７へ進む。

システム制御部１３１は、ステップＳ１０６へ進むと、図５で説明したように主期間とこれに付随する事前期間または事前期間に加え事後期間を決定し、これに応じてメモリ制御部１３７は、これらの期間に対応する動画像ファイルを上書禁止領域である不揮発バッファ１５３へコピーする。つまり、システム制御部１３１は、ステップＳ１０６の処理として、事前期間および主期間からなる動画像ファイルを上書禁止領域である不揮発バッファ１５３へコピーする。または、システム制御部１３１は、ステップＳ１０６の処理として、事前期間に加えて主期間および事後期間からなる動画像ファイルを上書禁止領域である不揮発バッファ１５３へコピーする。

システム制御部１３１は、ステップＳ１０８へ進むと、録画停止信号を受信したか否かを判断する。録画停止信号は、例えば自車両９００の走行終了と共に発生する信号であるほか、ユーザによる停止ボタンの操作によっても発生する信号である。システム制御部１３１は、録画停止信号を受信したと判断したら、カメラユニット１１０による撮像を停止させ、生成された動画像ファイルのリングバッファ形式による記録を停止して、一連の処理を終了する。録画停止信号を受信していないと判断したら、ステップＳ１０１へ戻って、一連の処理を継続する。

システム制御部１３１は、ステップＳ１０５で、人物の顔を検出できなかった場合は、イベント発生から所定期間の動画像ファイルを上書禁止領域である不揮発バッファ１５３へコピーしてステップＳ１０６へ進む。例えば、システム制御部１３１は、イベント発生から３分間経過するまでに人物の顔を検出できなかった場合は、その時点までの動画像ファイルをイベント記録ファイルとして上書禁止領域である不揮発バッファ１５３へコピーする。具体的には、ステップＳ１０５で人物の顔を検出できなかった場合はステップＳ１０７へ進み、イベント発生から所定時間が経過したかを判断する。所定時間が経過していないと判断した場合には、ステップＳ１０２へ戻り、さらに継続してフレーム画像から人物の顔を検出する。所定時間が経過したと判断したら、ステップＳ１０６へ進む。

なお、システム制御部１３１は、ステップＳ１０５で、人物の顔を検出できなかった場合には、メモリカード１５０の記憶容量が上限に達するまで、動画像ファイルを上書き禁止として不揮発バッファ１５３へコピーすることとしてもよい。また、このような記録処理を行う場合は、画像に変化があった区間の動画像ファイルを上書禁止領域である不揮発バッファ１５３へコピーすることとしてもよい。

具体的には、システム制御部１３１は、ステップＳ１０５で、人物の顔を検出できなかった場合、生成された動画像ファイルの記録を継続しつつ、最新の動画像ファイルにおいて画像に変化が無かったか否かを解析する。具体的には、前後するフレーム画像を比較し、一致するか否かを判断する。そして、全フレームに渡って前後するフレーム間で一致すれば、その動画像ファイルにおいては、画像に変化が無かったと判断する。一部にでも一致しないフレーム画像があれば、画像に変化があったと判断する。なお、フレーム画像に対して比較的狭い一部の領域で変化があるだけの場合には、全体としては変化無しと判断しても良い。

システム制御部１３１は、最新の動画像ファイルにおいて画像に変化が無かったと判断した場合は、メモリ制御部１３７に、変化が無かった区間である当該画像ファイルをメモリカード１５０から削除させる。一方、画像に変化があったと判断した場合は、メモリ制御部１３７にメモリカード１５０のリングバッファ１５２が枯渇したか、すなわち、リングバッファ１５２のうちイベント発生以前に生成された動画像ファイルが記録されたメモリ領域を使い果たしたか否かを判断する。使い果たしたと判断した場合は、これ以上新たな動画像ファイルを記録できるメモリ領域が存在しないものとして、一連の処理を終了する。このとき、メモリ制御部１３７は、メモリカード１５０のメモリ領域１５１全てを不揮発バッファ１５３に変更しても良い。一方、メモリ領域を使い果たしていないと判断した場合は、ステップＳ１０２へ戻り、逐次生成されるフレーム画像に対して人物の顔の探索を継続する。

このような処理を追加すると、リングバッファ１５２が枯渇するまでは、イベント発生後の様子を継続して記録できるので、残された動画像ファイルをより有効に活用することができる。また、被写体に動きの無い画像ファイルを削除するので、より後の期間まで動画像ファイルを記録でき、しかも利用価値の高い動画像ファイルを残すことができる。

以上一つの実施形態について説明したが、若干の変形例について説明する。図７は、他のドライブレコーダ１００’が自車両９００’に設置されている様子を示す概略図である。自車両９００’は、上述の自車両９００に対して後方にも複数の距離センサ１７０’を備える点で異なり、ドライブレコーダ１００’は、上述のドライブレコーダ１００に対してカメラユニット１１０の他に、後方の周辺環境を撮像するカメラユニット１１０’を備える点で異なる。このように構成された自車両９００’およびドライブレコーダ１００’によれば、後方から衝突する対象物にも対応することができる。

この場合、メモリＩＦ１３８にメモリカード１５０を２つ装着できるように構成すれば、一方のメモリカード１５０を前方用とし、他方のメモリカード１５０を後方用とすることもできる。もちろん、１つのメモリカード１５０のメモリ領域を前方用と後方用に区分して利用しても良い。

加速度センサ１６０が検出した加速度の向きも検出できるものであれば、システム制御部１３１は、その加速度信号により、対象物が自車両９００’に衝突した向きを判断することができる。システム制御部１３１は、対象物が前方から衝突したと判断した場合には、イベント発生に伴う上述の書き込み制御を、カメラユニット１１０から取得される画像データに対して実行する。一方、対象物が後方から衝突したと判断した場合には、イベント発生に伴う上述の書き込み制御を、カメラユニット１１０’から取得される画像データに対して実行する。すなわち、システム制御部１３１は、イベントが自車両９００’に対して発生した発生方向に関する方向情報を加速度信号から抽出し、その方向情報にも基づいて、顔検出を実行する対象をカメラユニット１１０からの画像データとするか、カメラユニット１１０’からの画像データとするかを選択する。そして、その選択された画像データを対象として顔検出を行い、上述の書き込み制御を実行する。このように構成された自車両９００’およびドライブレコーダ１００’によれば、イベントの原因に関係する人物をより正しく記録することができる。

以上説明した実施形態においては、メモリ領域１５１を、連続するリングバッファ１５２と連続する不揮発バッファ１５３に区分する例を説明したが、もちろん物理的に連続していなくても良い。また、以上の実施形態においては、リングバッファ１５２の一部を不揮発バッファ１５３に変更して、そこへ対象となる動画像ファイルをコピーする形態について説明したが、上書きを禁止する書込制御はこれに限らない。例えば、対象となる動画像ファイルが記録されているメモリ領域に上書き禁止のフラグを立てることにより、その領域を不揮発バッファ１５３と扱うこともできる。この場合は、動画像ファイルのコピー処理を省略できる。

また、以上の実施形態においては、一つのメモリカード１５０のメモリ領域１５１をリングバッファ１５２と不揮発バッファ１５３に区分する例を説明したが、リングバッファ１５２として利用するメモリカード１５０と、不揮発バッファ１５３として利用するメモリカード１５０をそれぞれ装着できる構成にすることもできる。また、着脱可能なメモリカード１５０を利用するのではなく、本体ユニット１３０に実装されたメモリであっても構わない。さらには、メモリＩＦ１３８を無線ＩＦとして構成し、物理的には隣接しないメモリに対して上述の書き込み制御を実行しても良い。

また、以上の実施形態においては、例えば１分の動画像ファイルを書込制御の一単位として説明したが、書込制御の一単位はひとつの動画像ファイルに限らない。例えば、フレーム単位で書込制御を行っても良い。また、対象とする画像データは、動画像データにかぎらず、例えば、インターバル撮影される静止画像データであっても構わない。

例えばフレーム単位で書き込み制御を行う場合には、既に生成されている例えば１分の動画像ファイルから、対象となる期間のファイルを切り出して新たな動画像ファイルを生成し、これをイベント記録ファイルとして不揮発バッファへ記録しても良い。この場合は、イベントが発生した時点を起点とする動画像ファイルを残すことができる。もちろん、事前期間を付加する場合も、この起点に対して所定時間遡った時刻を事前期間の開始時点とすることができる。このように起点を管理すれば、通常時の動画像ファイル時間に関係なく、例えばイベント発生前の１０秒間とイベント発生後の１０秒間とからなる動画像ファイルを、イベント記録ファイルとして確実に残存させることができる。

また、以上の実施形態においては、イベントの発生を検出するセンサとして加速度センサ１６０を採用したが、他のセンサであっても構わない。例えば、対象物の衝突による変形を検出する歪みセンサであっても構わないし、異常温度を検出する温度センサであっても構わない。もちろん、複数のセンサを組み合わせて採用しても構わない。また、加速度センサ１６０等のセンサは、ドライブレコーダに組み込まれて構成されても良い。

また、図６を用いて説明した処理フローでは、距離センサ１７０からの距離信号の履歴を用いたが、イベント検出前の情報を取得する方法は、これに限らない。イベント検出前の動画像ファイルを利用すれば、例えば被写体像の移動ベクトルを監視することにより対象物の接近を検出することもできる。また、顔検出部１４０の能力等に応じて、特定方向の領域を重点的に探索する分岐フローを省いても構わない。分岐フローを省く場合には、例えば図６におけるステップＳ１０２およびＳ１０４が省かれる。

また、以上の実施形態においては、距離センサ１７０を自車両９００に設置し、システム制御部１３１は、距離センサ１７０から距離信号を取得する構成を説明したが、例えば、カメラユニット１１０を複眼にして、その複眼画像から対象物までの距離を算出する構成であっても構わない。この場合は、距離センサ１７０との接続が省けるので、装置構成がよりシンプルになる。

また、他車両９１０の車内に複数人の顔が検出された場合には、最後の顔が検出された時点を顔検出時点としても良い。この場合は、画像処理部１３５でフレーム画像から他車両９１０の輪郭を抽出し、顔検出部１４０は、この輪郭内部を対象として顔検出を行うと良い。また、以上の実施形態においては、自車両９００に他車両９１０が衝突してイベントが発生した例を説明したが、想定される事例はこれに限らない。例えば、歩行者と衝突する事例も想定され、その場合は、当事者である歩行者の顔が検出されることが好ましい。このような事例であっても、上書きがされないように記録された画像ファイルは、事故の検証等において有用である。さらには、画像データにおいて所定以上の大きさで検出された顔、言い換えると自車両９００に最も近い他車両９１０の車内の顔、または歩行者との衝突である場合は、自車両９００に最も近い位置に存在する歩行者の顔のみを検出対象としてもよい。このような処理は、衝突した他車両９１０以外の他車両の車内の顔、衝突した歩行者以外の他の歩行者の顔を誤検出してしまうことを防止する。

また、以上の実施形態においては、事後期間を顔検出後の一定期間Ｔ_２としたが、他の基準にしたがって事後期間の終端を決定しても良い。例えば、時刻ｔ_ｆで検出した顔が継続して検出されている間は事後期間とし、当該顔が検出されなくなったら事後期間を終了しても良い。この場合、顔検出部１４０は、当該顔が検出されなくなった時点として、対象人物が側方や後方を向いたために検出できなくなった時点を出力しても良いし、遠ざかったために相対的に顔領域が小さくなって検出できなくなった時点を出力しても良い。

１００、１００’ ドライブレコーダ、１１０、１１０’ カメラユニット、１１２ レンズ、１１４ 撮像素子、１１６ ＡＦＥ、１３０ 本体ユニット、１３１ システム制御部、１３２ 画像入力ＩＦ、１３３ ワークメモリ、１３４ システムメモリ、１３５ 画像処理部、１３６ 表示出力部、１３７ メモリ制御部、１３８ メモリＩＦ、１３９ 入出力ＩＦ、１４０ 顔検出部、１４１バスライン、１５０ メモリカード、１５１ メモリ領域、１５２ リングバッファ、１５３ 不揮発バッファ、１６０ 加速度センサ、１７０、１７０’ 距離センサ、１８０ 表示ユニット、８１１ 検出枠、９００、９００’ 自車両、９１０ 他車両、９１１ 運転者

Claims (10)

1. 自車両の周辺を撮像した画像データを逐次取得する画像データ取得部と、
   前記自車両に対する予め定められたイベントの発生を検出するイベント信号を取得するイベント信号取得部と、
   前記イベント信号取得部が前記イベント信号を取得した場合に、前記画像データ取得部が取得した前記画像データの画像から人物の顔を検出する顔検出部と、
   前記イベント信号取得部が前記イベント信号を取得しない場合は、前記画像データをリングバッファ形式によりメモリに書き込み、前記イベント信号取得部が前記イベント信号を取得した場合は、前記イベント信号を取得した時点から前記顔検出部が人物の顔を検出した時点までの期間を含む前記画像データを、上書きがされないようにメモリに書き込む書込制御部と
   を備える画像記録装置。
2. 前記顔検出部は、他車両に搭乗する搭乗者の顔を検出する請求項１に記載の画像記録装置。
3. 前記顔検出部は、車両外の通行者の顔を検出する請求項１または２に記載の画像記録装置。
4. 前記イベント信号取得部が前記イベント信号を取得しない期間において、前記自車両に接近する対象物を検出する対象物検出部を備え、
   前記顔検出部は、前記対象物検出部が検出した前記対象物に含まれる人物の顔を検出する請求項１から３のいずれか１項に記載の画像記録装置。
5. 前記書込制御部は、前記イベント信号取得部が前記イベント信号を取得した場合に、前記顔検出部が人物の顔を検出した時点から予め定められた時間が経過するまでの期間の前記画像データも、上書きがされないようにメモリに書き込む請求項１から４のいずれか１項に記載の画像記録装置。
6. 前記書込制御部は、前記イベント信号取得部が前記イベント信号を取得した場合に、前記顔検出部が人物の顔を検出した時点から当該顔が検出されなくなるまでの期間の前記画像データも、上書きがされないようにメモリに書き込む請求項１から４のいずれか１項に記載の画像記録装置。
7. 前記書込制御部は、前記イベント信号取得部が前記イベント信号を取得した場合であって、前記顔検出部が人物の顔を検出する前に書き込み可能なメモリ領域を使い果たした場合には、上書きがされないように前記画像データを書き込む制御を終了する請求項１から６のいずれか１項に記載の画像記録装置。
8. 前記書込制御部は、予め定められた期間に渡って前記画像データの画像に変化がない場合には、当該期間の前記画像データを削除する請求項７に記載の画像記録装置。
9. 自車両の周辺を撮像した画像データを逐次取得する画像データ取得ステップと、
   前記自車両に対する予め定められたイベントの発生を検出するイベント信号を取得するイベント信号取得ステップと、
   前記イベント信号取得ステップで前記イベント信号を取得した場合に、前記画像データ取得ステップで取得した前記画像データの画像から人物の顔を検出する顔検出ステップと、
   前記イベント信号取得ステップで前記イベント信号を取得しない場合は、前記画像データをリングバッファ形式によりメモリに書き込み、前記イベント信号取得ステップで前記イベント信号を取得した場合は、前記イベント信号を取得した時点から前記顔検出ステップで人物の顔を検出した時点までの期間を含む前記画像データを、上書きがされないようにメモリに書き込む書込制御ステップと
   を有する画像記録方法。
10. 自車両の周辺を撮像した画像データを逐次取得する画像データ取得ステップと、
    前記自車両に対する予め定められたイベントの発生を検出するイベント信号を取得するイベント信号取得ステップと、
    前記イベント信号取得ステップで前記イベント信号を取得した場合に、前記画像データ取得ステップで取得した前記画像データの画像から人物の顔を検出する顔検出ステップと、
    前記イベント信号取得ステップで前記イベント信号を取得しない場合は、前記画像データをリングバッファ形式によりメモリに書き込み、前記イベント信号取得ステップで前記イベント信号を取得した場合は、前記イベント信号を取得した時点から前記顔検出ステップで人物の顔を検出した時点までの期間を含む前記画像データを、上書きがされないようにメモリに書き込む書込制御ステップと
    をコンピュータに実行させる画像記録プログラム。

Images