JP2023155621A - 映像記録装置および映像記録方法 - Google Patents

Abstract

【課題】撮影された映像の検索を容易にすることを可能とする。【解決手段】本発明にかかる映像記録装置１０は、映像を撮影するカメラ１０２と、カメラ１０２が撮影した撮影データを取得する撮影制御部２０２と、カメラ１０２の周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する音声検出部２１４と、撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部２０６と、音声検出部２１４が音声を検出した場合、音声を検出したときに対応する撮影ファイルのサムネイル画像を、検出した音声の発生方向の画像から生成するサムネイル画像生成部２１６と、撮影データ処理部２０６が生成した撮影ファイルとサムネイル画像生成部２１６が生成したサムネイル画像とを対応付けて記録部１０４に記録する記録制御部２０８と、を備える。【選択図】図１

Description

本発明は、映像記録装置および映像記録方法に関する。

車両において主に車両外の映像を撮影するドライブレコーダが普及しており、例えば６０秒毎の所定時間毎に撮影ファイルを生成して記録する。また、事故等のイベントが検出された場合は、イベント検出時点を含む所定期間の映像を、イベントデータとして保存する。例えば、特許文献１には、イベントデータを記録し、イベントデータに対応するサムネイル画像を表示することで、イベントデータを選択し、再生することができるドライブレコーダが開示されている。

特開２０２０－１４１１７０号公報

ドライブレコーダなど、連続的に撮影ファイルを生成して記録する映像記録装置においては、イベントとして事故を検出したときの映像に加えて、車両の走行時に周囲の映像を記録する目的で利用される場合もある。例えば、車両の走行後に記録した映像を確認する場合、撮影ファイル毎のサムネイル画像が表示されても、サムネイル画像の表示に基づき所望の映像を見つけることが困難な場合がある。

本発明は、撮影された映像の検索を容易にすることができる映像記録装置および映像記録方法を提供することを目的とする。

本発明に係る映像記録装置は、映像を撮影するカメラと、前記カメラが撮影した撮影データを取得する撮影制御部と、前記カメラの周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する音声検出部と、前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部と、前記音声検出部が音声を検出した場合、音声を検出したときに対応する前記撮影ファイルのサムネイル画像を、検出した音声の発生方向の画像から生成するサムネイル画像生成部と、前記撮影データ処理部が生成した前記撮影ファイルと前記サムネイル画像生成部が生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御部と、を備える。

本発明に係る映像記録方法は、映像を撮影するカメラが撮影した撮影データを取得する撮影制御ステップと、前記カメラの周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する音声検出ステップと、前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理ステップと、前記音声検出ステップにおいて音声が検出された場合、音声を検出したときに対応する前記撮影ファイルのサムネイル画像を、検出したときの前記撮影データにおける検出した音声の発生方向の画像から生成するサムネイル画像生成ステップと、前記撮影データ処理ステップにおいて生成した前記撮影ファイルと前記サムネイル画像生成ステップにおいて生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御ステップと、を映像記録装置が実行する。

本発明によれば、撮影された映像の検索を容易にすることができる。

本発明の第一実施形態に係る映像記録装置の構成例を示すブロック図である。 本発明の第一実施形態に係るカメラの配置位置の例を説明するための図である。 本発明の第一実施形態に係るマイクロフォンの配置位置の例を説明するための図である。 本発明の第一実施形態に係る制御部の処理例を示すフローチャートである。 本発明の第一実施形態に係る撮影ファイルとサムネイル画像の関係例を模式的に示す図である。 本発明の第一実施形態に係るサムネイル画像の例を模式的に示す図である。 本発明の第一実施形態に係るサムネイル画像の例を模式的に示す図である。 本発明の第一実施形態に係るサムネイル画像の例を模式的に示す図である。 本発明の第二実施形態に係る制御部の処理例を示すフローチャートである。 本発明の第二実施形態に係る撮影ファイルとサムネイル画像の関係例を模式的に示す図である。

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。以下の説明では、本実施の形態にかかる映像記録装置の例として、移動体である自動車において用いられるドライブレコーダの例として説明する。しかし、この実施形態により本発明が限定されるものではない。本発明は、例えば、オートバイ、自転車などの各種車両、鉄道、船舶、ロボット、さらには人など様々な移動体に対して適用することが可能である。さらには、移動体以外に、監視カメラなどにおいても適用することが可能である。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［第一実施形態］
（映像記録装置）
図１から図７を用いて、本発明の第一実施形態について説明する。図１は、第一実施形態に係る映像記録装置の構成例を示すブロック図である。映像記録装置１０は、車両に対して発生したイベントを記録する、いわゆるドライブレコーダである。映像記録装置１０は、車両に載置されている装置であってもよいし、可搬型で車両において利用可能な装置であってもよい。映像記録装置１０は、車両にあらかじめ設置されている装置やナビゲーション装置等の機能または構成を含んで実現されてもよい。映像記録装置１０は、音声の発生方向を特定し、音声の発生方向に応じたサムネイル画像を生成する。

図１に示すように、映像記録装置１０は、カメラ１０２と、記録部１０４と、表示部１０６と、マイクロフォン１０８と、加速度センサ１１０と、操作部１１２と、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）１１４と、制御部（記録制御装置）２００と、を備える。

カメラ１０２は、車両の周辺を撮影するカメラである。カメラ１０２は、一例としては、映像記録装置１０に固有のカメラである。第一実施形態では、カメラ１０２は、例えば、車両の前方および後方を向いて配置される複数のカメラで構成され、制御部２００の撮影制御部２０２による制御によって、車両の前方および後方を中心とした周辺を撮影する。カメラ１０２は、例えば、全天周や半天周を撮影可能な単一のカメラであってもよい。カメラ１０２は、映像記録装置１０と有線または無線により接続される別体のカメラであってもよい。カメラ１０２には、図示しないが、レンズ、撮像素子、Ａ－Ｄ（Analog to Digital）変換素子等が含まれる。カメラ１０２は、撮影した撮影データを制御部２００の撮影制御部２０２へ出力する。カメラ１０２が撮影する撮影データは、例えば毎秒３０フレームの画像から構成される動画像である。カメラ１０２が撮影する撮影データには、動画像に加えて音声データを含んでいてもよい。

図２は、車両Ｖと、カメラ１０２の配置位置、撮影方向および撮影範囲を示す概略図を示している。カメラ１０２は、一例として、前方カメラ１０２Ｆおよび後方カメラ１０２Ｒで構成される。前方カメラ１０２Ｆは、車両Ｖのウィンドシールド上部に車両Ｖの前方を向いて配置され、車両Ｖの前方を中心とした周辺を撮影する。後方カメラ１０２Ｒは、車両Ｖのリアガラス上部に車両Ｖの後方を向いて配置され、車両Ｖの後方を中心とした周辺を撮影する。映像記録装置１０の筐体に前方カメラ１０２Ｆが一体的に備えられている場合は、図２における前方カメラ１０２Ｆは、映像記録装置１０と記してもよい。

前方カメラ１０２Ｆの水平方向における撮影範囲ＳＲ１は、例えば、前方カメラ１０２Ｆの前方を０度としととき、水平方向に±８０度程度の範囲などが撮影可能である。後方カメラ１０２Ｒの水平方向における撮影範囲ＳＲ２は、例えば、後方カメラ１０２Ｒの後方を０度としととき、水平方向に±８０度程度の範囲などが撮影可能である。

記録部１０４は、映像記録装置１０におけるデータの一時記憶などに用いられる。記録部１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部の記録装置であってもよい。記録部１０４は、制御部２００の記録制御部２０８から出力された制御信号に基づいて、ループ記録された撮影ファイルまたはイベントデータなどを記録する。記録部１０４に記録または保存された撮影ファイルとイベントデータは、再生制御部２１０の制御によって再生される。このため、映像記録装置１０および映像記録制御装置２００は、映像記録再生装置および映像記録再生制御装置と言い換えることもできる。

表示部１０６は、例えば、映像記録装置１０に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部１０６は、カメラ１０２と一体に形成されていてもよい。表示部１０６、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部１０６は、制御部２００の再生制御部２１０で再生された映像信号に基づいて、映像を表示する。表示部１０６は、カメラ１０２が撮影している映像、または、記録部１０４に記録された映像を表示する。

マイクロフォン１０８は、映像記録装置１０または映像記録装置１０が搭載されている車両に設置され、映像記録装置１０また映像記録装置１０が搭載されている車両に対する、音声の発生方向が検出可能なマイクロフォンである。

マイクロフォン１０８は、例えば、２個または４個など複数のマイクロフォンで構成される。マイクロフォン１０８は、例えば、映像記録装置１０の筐体の左右方向に離間して、２個のマイクロフォンが配置される。または、マイクロフォン１０８は、例えば、映像記録装置１０の筐体の左右方向および前後方向に離間して、４個のマイクロフォンが配置されていてもよい。マイクロフォン１０８は、取得した音声信号を、制御部２００の音声検出部２１４に出力する。

図３は、映像記録装置１０におけるマイクロフォン１０８の配置例を示した図である。図３に示す映像記録装置１０は、車両Ｖのウィンドシールド上部に配置されており、図３は、車室内側から見た例を示している。映像記録装置１０の車室内側には、表示部１０６が設けられ、表示部１０６の反対側の面には、図３においては図示していないが、前方カメラ１０２Ｆが設けられている。また、映像記録装置１０の下方には、操作部１１２の一部である、イベント記録指示を行うための操作ボタンが設けられている。

図３の例に示すように、マイクロフォン１０８は、映像記録装置１０の筐体の左右方向に離間して、左マイクロフォン１０８Ｌおよび右マイクロフォン１０８Ｒからなる２個のマイクロフォンで構成されている。

加速度センサ１１０は、車両に対して生じる加速度を検出するセンサである。加速度センサ１１０は、検出結果を制御部２００のイベント検出部２１８に出力する。加速度センサ１１０は、例えば３軸方向の加速度を検出するセンサである。３軸方向とは、車両の前後方向、左右方向、および上下方向である。加速度センサ１１０は、映像記録装置１０に一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。また、加速度センサ１１０は、加速度センサ１１０およびイベント検出部２１８を含むユニットとして別体であってもよい。

操作部１１２は、映像記録装置１０に対する各種操作を受付可能なインターフェースである。例えば、操作部１１２は、撮影した撮影データを記録部１０４にイベントデータとして手動で保存する操作を受付可能である。例えば、操作部１１２は、記録部１０４に記録したループ記録された撮影ファイルまたはイベントデータを再生する操作を受付可能である。例えば、操作部１１２は、記録部１０４に記録したイベントデータを消去する操作を受付可能である。例えば、操作部１１２は、ループ記録を終了する操作を受付可能である。操作部１１２は、操作情報を制御部２００の操作制御部２２０に出力する。操作部１１２は、手動で操作するためのタッチパネルや操作ボタンなどである。また、マイクロフォン１０８が、音声操作を行うための音声コマンドを入力するための操作部１１２として機能してもよい。

ＧＮＳＳ受信部１１４は、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機などで構成される。ＧＮＳＳ受信部１１４は、受信したＧＮＳＳ信号を制御部２００の位置情報取得部２２２へ出力する。

制御部２００は、映像記録装置１０の各部を制御する。制御部２００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの情報処理装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶装置とを有する。制御部２００は、本発明に係る映像記録装置１０の動作を制御するプログラムを実行するコンピュータである。制御部２００は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。制御部２００は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

制御部２００は、プログラムなどによって実現される機能として、撮影制御部２０２と、バッファメモリ２０４と、撮影データ処理部２０６と、記録制御部２０８と、再生制御部２１０と、表示制御部２１２と、音声検出部２１４と、サムネイル画像生成部２１６と、イベント検出部２１８と、操作制御部２２０と、位置情報取得部２２２と、を備える。

撮影制御部２０２は、カメラ１０２による映像の撮影を制御する。また、撮影制御部２０２は、カメラ１０２が撮影した撮影データを取得し、カメラ１０２から取得した撮影データを、バッファメモリ２０４へ出力する。撮影制御部２０２が取得する撮影データは、映像のみのデータに限らず、映像と音声とを含む撮影データであってもよい。

バッファメモリ２０４は、映像記録装置１０が備える内部メモリであり、撮影制御部２０２が取得した一定時間分の撮影データを、更新しながら一時的に記録するメモリである。

撮影データ処理部２０６は、バッファメモリ２０４が一時的に記憶している撮影データを、例えばＨ．２６４やＭＰＥＧ－４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式からなる撮影ファイルに変換する。撮影データ処理部２０６は、撮影データから一定時間分の撮影ファイルを生成する。具体例として、撮影データ処理部２０６は、バッファメモリ２０４が一時的に記憶している撮影データを、記録順に６０秒間の撮影データからなる撮影ファイルとして生成する。撮影データ処理部２０６は、生成した撮影ファイルを記録制御部２０８へ出力する。撮影データに基づいて生成される撮影ファイルの期間は、一例として６０秒としたが、これには限定されない。

撮影データ処理部２０６は、バッファメモリ２０４が一時的に記憶している撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する。撮影データ処理部２０６は、イベント検出部２１８がイベントを検出した場合、または操作制御部２２０がイベント記録を行う操作を受け付けた場合に、イベントを検出したときまたはイベント操作を受け付けたときを含む所定期間の撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルとしてのイベントデータを生成する。撮影データ処理部２０６は、例えば、イベント検出部２１８がイベントを検出した時点、または操作制御部２２０がイベント記録を行う操作を受け付けた時点の、前後３０秒間の撮影データからなる撮影ファイルをイベントデータとして生成する。

記録制御部２０８は、撮影データ処理部２０６で生成された撮影ファイルを、記録部１０４に記録させる制御を行う。記録制御部２０８は、車両のアクセサリ電源がＯＮである期間など、ループ記録処理を実行する期間は、撮影データ処理部２０６で生成された撮影ファイルを、上書き可能なファイルとして、記録部１０４に記録し続ける。記録制御部２０８は、ループ記録処理を実行する期間は、撮影データ処理部２０６が生成した撮影ファイルを記録部１０４に記録し続け、記録部１０４の容量が上限となった場合、記録部１０４に記録されている上書き可能な撮影ファイルのうち、古い撮影ファイルが記録されている記録領域から、新しい撮影ファイルを上書きして記録する。このような記録処理を、通常記録またはループ記録と称する。

記録制御部２０８は、撮影データ処理部２０６が生成した撮影ファイルとサムネイル画像生成部２１６が生成したサムネイル画像とを対応付けて記録部１０４に記録する。記録制御部２０８は、撮影データ処理部２０６が生成した所定期間毎の撮影ファイルとサムネイル画像生成部２１６が生成したサムネイル画像とを対応付けて記録部１０４に記録する。記録制御部２０８は、撮影データ処理部２０６が生成したイベントデータとしての撮影ファイルを、上書き禁止のファイルとして記録部１０４に記録する。記録制御部２０８は、撮影データ処理部２０６が生成したイベントデータとしての撮影ファイルとサムネイル画像生成部２１６が生成したサムネイル画像とを対応付けて記録部１０４に記録する。

記録制御部２０８が、イベントデータとしての撮影ファイルを上書禁止のファイルとして記録する方法は任意である。例えば、ループ記録された撮影ファイルにおける上書き禁止とする区間のヘッダもしくはペイロードなどに上書き禁止フラグを付与して、記録部１０４に記録する。または、ループ記録された撮影ファイルにおける上書き禁止とする区間を、記録部１０４の上書き禁止エリアにコピーする。

記録制御部２０８は、ループ記録される撮影ファイル、およびイベントデータとしての撮影ファイルに対して、これらのファイルを構成する撮影データが撮影されたときにおける位置情報取得部２２２が取得した位置情報を対応つけて記録部１０４に記録する。

再生制御部２１０は、操作制御部２２０から出力された再生操作の制御信号に基づいて、記録部１０４に記録された、ループ記録された撮影ファイル、またはイベントデータとしての撮影ファイルを再生し、表示制御部２１２に出力するよう制御する。再生制御部２１０は、操作制御部２２０から出力された再生操作の制御信号に基づいて、記録部１０４に記録されたサムネイル画像を表示制御部２１２によって表示部１０６に表示させる制御を行う。再生制御部２１０は、操作制御部２２０から出力された再生操作の制御信号に基づいて、表示部１０６に示されたサムネイルが選択された場合、選択されたサムネイルに対応付けられている、ループ記録された撮影ファイル、またはイベントデータとしての撮影ファイルを再生する制御を行う。

表示制御部２１２は、表示部１０６に対し、様々な情報を表示させる制御を行う。表示制御部２１２は、再生された撮影ファイルなどに基づく映像信号を表示部１０６に出力する。より詳しくは、表示制御部２１２は、カメラ１０２が撮影し、撮影制御部２０２が取得している映像データ、または、記録部１０４に記録されたループ記録された撮影ファイル、またはイベントデータとしての撮影ファイルの再生によって生成される映像信号を表示部１０６に出力する。また、表示制御部２１２は、表示部１０６が操作部１１２としてのタッチパネル機能を備えている場合、タッチ操作を行うアイコンなどを表示部１０６に表示させる。

音声検出部２１４は、マイクロフォン１０８が取得した音声信号において、所定レベル以上の音声を検出する。音声検出部２１４は、例えば６０～８０ｄＢ以上の音声を、所定レベル以上の音声として検出する。音声検出部２１４は、車両の走行中のロードノイズなど連続的に長時間発せられている音声ではなく、車両の周囲における衝突音、サイレン音、人の声などを検出する。このため、音声検出部２１４は、突発的に音声レベルが上昇した音を、所定レベル以上の音声として検出する。

音声検出部２１４は、複数のマイクロフォンで構成されたマイクロフォン１０８が取得した音声から、検出した音声の発生方向を検出する。音声検出部２１４は、例えば、図３に示すように、左マイクロフォン１０８Ｌおよび右マイクロフォン１０８Ｒからなる２個のマイクロフォンで構成されている場合、左マイクロフォン１０８Ｌおよび右マイクロフォン１０８Ｒで検出した同一の音声の到着時間差などに基づいて、音声の発生方向を算出する。音声検出部２１４が検出する音声の発生方向は、例えば、車両を基準して、前方、右方、左方、後方が判断できる精度があればよい。

音声検出部２１４は、カメラ１０２の周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する。音声検出部２１４は、言い換えると、映像記録装置１０の周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する。または、音声検出部２１４は、映像記録装置１０が搭載されている車両の周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する。

音声検出部２１４は、マイクロフォン１０８から入力された音声を、予め登録された音響モデルと対比することで、音声コマンドが入力されたことを検出してもよい。検出する音声コマンドは、例えば、イベント記録を指示する音声コマンドである。

サムネイル画像生成部２１６は、撮影データからサムネイル画像を生成する。ループ記録された撮影ファイル、またはイベントデータとしての撮影ファイルに対応するサムネイル画像を生成する。具体的には、サムネイル画像生成部２１６は、ループ記録された撮影ファイル、またはイベントデータとしての撮影ファイルの最初の映像データを、画像サイズを縮小して、サムネイル画像を生成する。

サムネイル画像生成部２１６は、音声検出部２１４が音声を検出した場合、音声を検出したときに対応する撮影ファイルのサムネイル画像を、検出した音声の発生方向の画像から生成する。具体的には、サムネイル画像生成部２１６は、音声検出部２１４が所定レベル以上の音声を検出した場合、検出したときの撮影データが含まれる撮影ファイルのサムネイル画像を、音声を検出した方向の画像を用いて生成する。例えば、音声検出部２１４が、車両の右方向からの所定レベル以上の音声を検出した場合、音声を検出したときの撮影データが含まれる撮影ファイルのサムネイル画像を、サムネイル画像を生成する撮影データから車両の右方向を切出した映像を、サムネイル画像とする。

イベント検出部２１８は、加速度センサ１１０が検出している加速度情報を取得し、イベントに該当する加速度が検出された場合、イベントが検出されたと判断する。イベントに該当する加速度とは、映像記録装置１０が搭載されている車両に対して、他車両などの他の物体が衝突したときの加速度に該当する加速度である。イベントに該当する加速度の検出は、ｘ軸方向、ｙ軸方向およびｚ軸方向の各々で重み付けを行ってもよい。イベント検出部２１８は、イベントが検出されたと判断された場合、記録制御部２０８にイベント記録を行う指示を出力する。

イベント検出部２１８は、加速度センサ１１０の出力値によるイベントの検出に加えて、操作部１１２におけるイベント記録を行う操作が受け付けられたことをイベントとして検出してもよい。また、イベント検出部２１８は、図示しない音声認識機能を用いて、音声コマンドが入力されたことをイベントとして検出してもよい。

操作制御部２２０は、操作部１１２が受け付けた操作情報を取得し、操作情報に基づいた操作指示を、各構成要素に出力する。操作制御部２２０は、操作部１１２からイベント記録を行うボタンやアイコンに対する操作を受け付けた場合、記録制御部２０８にイベント記録を行う指示を出力する。操作制御部２２０は、上記に加えて、イベントデータ等の選択操作、再生操作、消去操作、一時停止操作、映像記録装置１０の各種設定操作などを示す操作情報を取得し、取得した操作情報に対応した処理の指示を行う。

位置情報取得部２２２は、ＧＮＳＳ受信部１１４が受信した電波に基づいて、映像記録装置１０の位置情報を公知の方法によって算出する。位置情報取得部２２２が算出した位置情報は、記録制御部２０８によって撮影ファイルやイベントデータとともに記録される。位置情報取得部２２２が取得する映像記録装置１０の位置情報は、映像記録装置１０が搭載されている車両の位置情報でもある。

次に、図４から図７を用いて、撮影ファイルに対応するサムネイル画像の生成処理について説明する。図４に示す処理は、映像記録装置１０が搭載されている車両などのエンジンまたは電源等がオンとなることで、映像記録装置１０の動作開始によって開始される。

処理の開始に伴い、撮影制御部２０２は、カメラ１０２による撮影を開始し、カメラ１０２が撮影した撮影データの取得を開始する。また、記録制御部２０８は、撮影データのループ記録を開始し、音声検出部２１４は、マイクロフォン１０８から入力される音声信号に基づき、音声の検出を開始し（ステップＳ１０）、ステップＳ１１に進む。ステップＳ１０で開始される音声の検出とは、カメラ１０２の周囲、言い換えると、映像記録装置１０の周囲または映像記録装置１０が搭載されている車両の周囲において、所定レベル以上の音声を検出する。

ステップＳ１０においては、上記以外にも、イベント検出部２１８は、加速度センサ１１０から取得した加速度の計測値が、事故などに相当する加速度を示したか否かを判断することによるイベントの検出も開始される。また、ステップＳ１０においては、音声検出部２１４による音声コマンドの検出が開始される。

ステップＳ１１においては、音声検出部２１４は、所定レベル以上の音声を検出したか否かを判断する。ステップＳ１１において、所定レベル以上の音声を検出したと判断した場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１２に進み、所定レベル以上の音声を検出したと判断しない場合（ステップＳ１１：Ｎｏ）、ステップＳ１４に進む。

ステップＳ１２においては、音声検出部２１４は、音声の発生方向を検出する。具体的には、音声検出部２１４は、ステップＳ１１で検出された音声が、主に水平方向においてどの方向で発せられた音声であるかを、複数のマイクロフォンで構成されるマイクロフォン１０８から取得した音声の到着時間差などから検出する。

ステップＳ１２において、音声検出部２１４が、音声の発生方向を検出できた場合（ステップＳ１２：Ｙｅｓ）、ステップＳ１３に進み、音声の発生方向を検出できなかった場合（ステップＳ１２：Ｎｏ）、ステップＳ１４に進む。音声の発生方向を検出できなかった場合とは、音声の発生方向を特定できなかった場合と言い換えることもできる。

ステップＳ１３においては、サムネイル画像生成部２１６は、音声を検出したときに対応する撮影ファイルのサムネイル画像を、検出した音声の発生方向の画像から生成する。ステップＳ１４においては、サムネイル画像生成部２１６は、撮影ファイルを生成する撮影データの最初の画像からサムネイル画像として生成する。

ステップＳ１３およびステップＳ１４の処理を、図５から図７を用いて説明する。図５は、撮影データとループ記録される撮影ファイルを模式的に示しており、紙面の左側から右側へ時間が経過していることを示している。撮影データ処理部２０６は、撮影制御部２０２が取得した撮影データＤ１に基づき、例えば６０秒間の撮影ファイルを生成している。

例えば、撮影データ処理部２０６は、撮影ファイルＦ１、撮影ファイルＦ２、撮影ファイルＦ３の順に撮影ファイルを生成し、記録制御部２０８は、撮影ファイルの生成順に記録部１０４にループ記録を行う。ここで、撮影ファイルＦ３のサムネイル画像について説明する。撮影ファイルＦ３は、時刻Ｔ１から時刻Ｔ２までの撮影データから生成された撮影ファイルである。時刻Ｔ１から時刻Ｔ２までの期間において、音声検出部２１４は、所定レベル以上の音声を検出していない。このため、図４におけるステップＳ１４の処理として、撮影ファイルＦ３の最初の画像である時刻Ｔ１の画像を撮影ファイルＦ３のサムネイル画像とする。

図６は、ステップＳ１４で生成されるサムネイル画像の例を模式的に示した図である。図６において、画像Ｉｔ１は、例えば時刻Ｔ１における画像である。サムネイル画像生成部２１６は、撮影ファイルＦ３のサムネイル画像として、撮影ファイルＦ３の最初の画像である時刻Ｔ１の画像Ｉｔ１の画素数を低減したサムネイル画像Ｓｔ１を生成する。例えば、画像Ｉｔ１の画素数が１９２０×１０８０ピクセルで生成されている場合、４８０×２７０ピクセルにサイズを低減したサムネイル画像Ｓｔ１を生成する。

図６においては、画像Ｉｔ１の画素数を低減したサムネイル画像Ｓｔ１を生成することとして説明したが、画像Ｉｔ１の中央部における４８０×２７０ピクセルの範囲を切出してサムネイル画像を生成してもよい。画像Ｉｔ１を撮影したカメラが前方カメラ１０２Ｆである場合は、車両の前方の画像がサムネイル画像となり、画像Ｉｔ１を撮影したカメラが後方カメラ１０２Ｒである場合は、車両の後方の画像がサムネイル画像となる。

図７は、ステップＳ１３で生成されるサムネイル画像の例を模式的に示した図である。図７において、画像Ｉｔ２は、例えば時刻Ｔ２における画像である。また図７は、音声検出部２１４が、時刻Ｔｓにおいて、車両の進行方向に対して右側で発せられた音声を検出した場合のサムネイル画像の生成例を示している。サムネイル画像生成部２１６は、撮影ファイルＦ４のサムネイル画像として、撮影ファイルＦ４の最初の画像である時刻Ｔ２の画像Ｉｔ２における、音声の発生方向に対応した位置を切出した画像Ｉｔ２ａに基づき、サムネイル画像Ｓｔ２を生成する。例えば、画像Ｉｔ２の画素数が１９２０×１０８０ピクセルで生成されている場合、画像Ｉｔ２の音声発生方向の画像として４８０×２７０ピクセルのサイズの画像Ｉｔ２ａに基づき、サムネイル画像Ｓｔ２を生成する。

図７に示す画像Ｉｔ２は、撮影ファイルＦ４の最初の画像である時刻Ｔ２の画像に代えて、撮影ファイルＦ４の音声検出時である時刻Ｔｓにおける画像をサムネイル画像Ｓｔ２としてもよい。また、図７に示す画像Ｉｔ２は、撮影ファイルＦ４における時刻Ｔ２から時刻Ｔ３の間の任意の時刻における画像をサムネイル画像Ｓｔ２としてもよい。

図７においては、音声検出部２１４が、車両の前方を進行方向として、右方向で発せられた音声を検出し、画像Ｉｔ２を撮影したカメラが前方カメラ１０２Ｆである場合について説明した。このため、サムネイル画像は、画像Ｉｔ２における右側を切出して生成されている。画像Ｉｔ２を撮影したカメラが後方カメラ１０２Ｒである場合においても同様であり、車両の前方を進行方向として右側、つまり後方カメラ１０２Ｒが撮影した画像Ｉｔ２に対して音声の発生方向である左側を切出して、サムネイル画像が生成される。

図４に戻り、ステップＳ１５においては、ステップＳ１３またはステップＳ１５で生成されたサムネイル画像を撮影ファイルに対応つけて記録し、ステップＳ１６に進む。例えば、図５における撮影ファイルＦ３の記録時には、時刻Ｔ１の画像に基づいて生成されたサムネイル画像を撮影ファイルＦ３に対応つけて、記録部１０４にループ記録する。図５における撮影ファイルＦ１、撮影ファイルＦ２、撮影ファイルＦ５においても、撮影ファイルＦ３と同様に、各々の撮影ファイルの最初の画像からサムネイル画像を生成し、各々の撮影ファイルに対応つけて、記録部１０４にループ記録する。また、図５における撮影ファイルＦ４の記録時には、時刻Ｔ２または時刻Ｔｓの画像における検出された音声の発生方向の画像に基づいて生成されたサムネイル画像を撮影ファイルＦ４に対応つけて、記録部１０４にループ記録する。

ステップＳ１６においては、制御部２００は、処理を終了するか否かを判断する。具体的には、制御部２００は、映像記録装置１０が搭載されている車両などのエンジンまたは電源等がオフなることや、操作部１１２の操作によって映像記録装置１０の電源がオフとなる操作が行われることで、処理を終了すると判断する。ステップＳ１６において、処理を終了すると判断されない場合（ステップＳ１６：Ｎｏ）、ステップＳ１１に進む。ステップＳ１６において、処理を終了すると判断された場合（ステップＳ１６：Ｙｅｓ）、図４の処理を終了する。図４の処理を終了する場合には、ステップＳ１０で開始した、カメラ１０２による撮影、撮影データのループ記録、音声の検出、イベントの検出などの処理を終了する。

図４に示す処理によって記録された撮影ファイルを再生する処理について説明する。操作部１１２の操作によって撮影ファイルの再生を行う操作を受け付けた場合、表示制御部２１２は、表示部１０６に再生可能な撮影ファイルのサムネイル画像を一覧表示する。また、表示部１０６に一覧表示されたサムネイル画像が操作部１１２の操作によって選択され、再生操作が行われることで、再生制御部２１０によって、サムネイル画像が選択された撮影ファイルの再生が行われ、再生された撮影ファイルの映像信号が表示部１０６に表示される。

このような映像ファイルの再生を行う際に、音声検出部２１４が所定レベル以上の音声を検出したときを含む撮影ファイルのサムネイル画像は、音声検出部２１４が所定レベル以上の音声を検出した方向の画像に基づいて生成されたサムネイル画像が表示される。このため、音声検出部２１４が検出した所定レベル以上の音声の発生原因となる映像がサムネイル画像に含まれる、またはサムネイル画像に大きく表示される。したがって、表示部１０６に表示されたサムネイル画像から、音声の発生原因を撮影した撮影ファイルを容易に検索することができる。

また、図４に示す処理によって記録された撮影ファイルは、メモリカードなど映像記録装置１０から取り外し可能な記録媒体または図示しない通信部を介して、映像記録装置１０以外の他の装置を用いて撮影ファイルを再生する場合も、同様の効果を得ることができる。

［第一実施形態の変形例］
次に、図８を用いて、第一実施形態の変形例について説明する。図８は、カメラ１０２が全天周カメラである場合の撮影ファイルとサムネイル画像の関係例を模式的に示した図である。全天周カメラとしてのカメラ１０２は、図２に示す前方カメラ１０２Ｆの位置に備えられる。図８に示す画像ＩＲｔ１およびＩＲｔ２の紙面における前後左右方向は、カメラ１０２を中心とした車両の前後左右方向に対応している。

図８における画像ＩＲｔ１およびサムネイル画像ＩＲｔ１ａは、図６に示す画像Ｉｔ１およびサムネイル画像Ｓｔ１同様に、ステップＳ１４で生成されるサムネイル画像の例を模式的に示している。画像ＩＲｔ１は、音声検出部２１４が所定レベル以上の音声を検出していないときの撮影ファイルにおける最初の画像であり、例えば、図５における撮影ファイルＦ３における時刻Ｔ２の画像である。

図８におけるサムネイル画像は、音声検出部２１４が所定レベル以上の音声を検出していないときの撮影ファイルに対応付けられるサムネイル画像であり、車両の前方を撮影した範囲が切出されている。

図８における画像ＩＲｔ２およびサムネイル画像ＩＲｔ２ａは、図７に示す画像Ｉｔ２およびサムネイル画像Ｓｔ２同様に、ステップＳ１５で生成されるサムネイル画像の例を模式的に示している。画像ＩＲｔ２は、音声検出部２１４が所定レベル以上の音声を検出したときの撮影ファイルにおける最初の画像または音声を検出したときの画像であり、例えば、図５における撮影ファイルＦ３における時刻Ｔ２または時刻Ｔｓの画像である。

図８におけるサムネイル画像ＩＲｔ２ａは、音声検出部２１４が所定レベル以上の音声を検出たときの撮影ファイルに対応付けられるサムネイル画像であり、例えば、車両の右側で発せられた音声を検出した場合、車両の右側を撮影した範囲が切出されている。

図８に示すサムネイル画像ＩＲｔ１ａおよびサムネイル画像ＩＲｔ２ａは、全天周カメラが撮影した映像を切出しているため、扇形状の画像として切出されている。サムネイル画像は、このような扇形状に切出された画像が矩形の画像となるように補正してサムネイル画像を生成する。

［第二実施形態］
次に、図９および図１０を用いて、本発明の第二実施形態について説明する。第一実施形態においては、ループ記録された撮影ファイルに対応するサムネイル画像を生成したが、第二実施形態においては、イベントデータとしての撮影ファイルに対応するサムネイル画像を生成する。第二実施形態に係る映像記録装置の構成は、第一実施形態に係る映像記録装置の構成と同一なので、説明を省略する。

図９を用いて、イベントデータとしての撮影ファイルに対応するサムネイル画像の生成処理について説明する。図９に示す処理の開始条件およびステップＳ２０の処理は、図４に示す処理の開始条件およびステップＳ１０の処理と同一であるため、説明を省略する。

ステップＳ２１においては、イベント検出部２１８は、イベント記録を行う操作を受け付けたか否かを判断する。ステップＳ２１で判断するイベント記録を行う操作とは、操作部１１２の操作によるイベント記録の指示、または音声検出部２１４が検出した音声コマンドによるイベント記録の指示である。ステップＳ２１において、イベント検出部２１８は、加速度センサ１１０の出力値に基づくイベントの発生の有無を検出してもよいが、加速度センサ１１０の出力値に基づくイベントの発生とは、映像記録装置１０を搭載している車両に対して発生した事故であるため、複数のイベントデータのサムネイルに基づき所望のイベントデータを検索する対象には適さない。

ステップＳ２１において、イベント記録を行う操作を受け付けたと判断した場合（ステップＳ２１：Ｙｅｓ）、ステップＳ２２に進み、イベント記録を行う操作を受け付けたと判断しない場合（ステップＳ２１：Ｎｏ）、ステップＳ２８に進む。

ステップＳ２２においては、撮影データ処理部２０６は、バッファメモリ２０４が一時的に記憶している撮影データから、サムネイル画像を対応付ける対象となるイベントデータを生成し、ステップＳ２３に進む。

ステップＳ２３においては、音声検出部２１４は、ステップＳ２２で生成されたイベントデータの期間に、所定レベル以上の音声を検出したか否かを判断する。ステップＳ２３において、イベントデータの期間に所定レベル以上の音声を検出したと判断した場合（ステップＳ２３：Ｙｅｓ）、ステップＳ２４に進み、イベントデータの期間に所定レベル以上の音声を検出したと判断しない場合（ステップＳ２３：Ｎｏ）、ステップＳ２６に進む。

ステップＳ２４においては、音声検出部２１４は、音声の発生方向を検出する。具体的には、音声検出部２１４は、ステップＳ２３で検出された音声が、主に水平方向においてどの方向で発せられた音声であるかを、複数のマイクロフォンで構成されるマイクロフォン１０８から取得した音声の到着時間差などから検出する。

ステップＳ２４において、音声検出部２１４が、音声の発生方向を検出できた場合（ステップＳ２４：Ｙｅｓ）、ステップＳ２５に進み、音声の発生方向を検出できなかった場合（ステップＳ２４：Ｎｏ）、ステップＳ２６に進む。

ステップＳ２５においては、サムネイル画像生成部２１６は、音声を検出したときに対応するイベントデータのサムネイル画像を、検出した音声の発生方向の画像から生成する。ステップＳ２６においては、サムネイル画像生成部２１６は、イベントデータを生成する撮影データの最初の画像からサムネイル画像を生成する。

ステップＳ２５およびステップＳ２６の処理を、図１０を用いて説明する。図１０は、撮影データとループ記録される撮影ファイルおよびイベントデータを模式的に示しており、紙面の左側から右側へ時間が経過していることを示している。撮影データＤ１に基づく撮影ファイルの生成は、第一実施形態と同一であるため、説明を省略する。

図１０において、時刻Ｉｖ１に、イベント検出部２１８がイベント記録を行う操作を受け付けている。このため、撮影データ処理部２０６は、例えば、時刻Ｉｖ１の前後３０秒間の撮影データに基づき、イベントデータＩＦ１を生成する。また、イベントデータＩＦ１の期間内における時刻Ｔｓ２に、音声検出部２１４は、所定レベル以上の音声を検出している。このため、サムネイル画像生成部２１６は、ステップＳ２５の処理として、イベントデータＩＦ１の最初の画像である時刻Ｔｆ１、または所定レベル以上の音声が検出された時刻Ｔｓ２、またはイベント記録を行う操作を受け付けた時刻Ｉｖ１のいずれかの画像に基づいて、時刻Ｔｓ２で検出された音声の発生方向の画像からイベントデータＩＦ１のサムネイル画像を生成する。

ステップＳ２６で生成されるサムネイル画像は、図７で説明したサムネイル画像Ｓｔ２と同様であるため、説明を省略する。また、第一実施形態の変形例として説明した全天周カメラを用いた場合のサムネイル画像の例も、本実施形態に適用可能である。

図９に戻り、ステップＳ２７においては、ステップＳ２５またはステップＳ２６で生成されたサムネイル画像をイベントデータに対応つけて記録し、ステップＳ２８に進む。ステップＳ２８の処理は、図４に示すステップＳ１６の処理と同一であるため、説明を省略する。

図９に示す処理によって記録された撮影ファイルを再生する処理について説明する。操作部１１２の操作によってイベントデータの再生を行う操作を受け付けた場合、表示制御部２１２は、表示部１０６に再生可能なイベントデータのサムネイル画像を一覧表示する。この場合、加速度センサ１１０の出力値に基づくイベントの検出によって記録したイベントデータと、イベント記録を行う操作によって記録したイベントデータとは、記録部１０４において、異なるフォルダに記録されるなど、分けて表示されることが好ましい。また、表示部１０６に一覧表示されたサムネイル画像が操作部１１２の操作によって選択され、再生操作が行われることで、再生制御部２１０によって、サムネイル画像が選択されたイベントデータの再生が行われ、再生されたイベントデータの映像信号が表示部１０６に表示される。

このようなイベントデータの再生を行う際に、音声検出部２１４が所定レベル以上の音声を検出したときを含むイベントデータのサムネイル画像は、音声検出部２１４が所定レベル以上の音声を検出した方向の画像に基づいて生成されたサムネイル画像が表示される。このため、音声検出部２１４が検出した所定レベル以上の音声の発生原因となる映像がサムネイル画像に含まれる、またはサムネイル画像に大きく表示される。したがって、表示部１０６に表示されたサムネイル画像から、音声の発生原因を撮影したイベントデータを容易に検索することができる。このため、イベント記録を行う操作によって記録したイベントデータの中で、他車両における事故などに対応してイベント記録を行った場合のイベントデータなどを、容易に検索することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上述した処理をコンピュータに実行させるためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、車両用記録制御装置として動作するコンピュータに供給することができる。

１０ 映像記録装置
１０２ カメラ
１０４ 記録部
１０６ 表示部
１０８ マイクロフォン
１１０ 加速度センサ
１１２ 操作部
１１４ ＧＮＳＳ受信部
２００ 制御部（映像記録制御装置）
２０２ 撮影制御部
２０４ バッファメモリ
２０６ 撮影データ処理部
２０８ 記録制御部
２１０ 再生制御部
２１２ 表示制御部
２１４ 音声検出部
２１６ サムネイル画像生成部
２１８ イベント検出部
２２０ 操作制御部
２２２ 位置情報取得部

Claims (5)

1. 映像を撮影するカメラと、
   前記カメラが撮影した撮影データを取得する撮影制御部と、
   前記カメラの周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する音声検出部と、
   前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部と、
   前記音声検出部が音声を検出した場合、音声を検出したときに対応する前記撮影ファイルのサムネイル画像を、検出した音声の発生方向の画像から生成するサムネイル画像生成部と、
   前記撮影データ処理部が生成した前記撮影ファイルと前記サムネイル画像生成部が生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御部と、
   を備える、映像記録装置。
2. 前記撮影データ処理部は、イベント記録操作に基づいて、前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルとしてのイベントデータを生成し、
   前記サムネイル画像生成部は、前記音声検出部が所定レベル以上の音声を検出した場合、音声を検出したときに対応する前記イベントデータのサムネイル画像を、検出したときの前記イベントデータにおける検出した音声の発生方向の画像から生成する、
   請求項１に記載の映像記録装置。
3. 前記映像記録装置は車両において用いられ、
   前記カメラは、前記車両の前方を撮影可能な位置に配置されており、
   前記サムネイル画像生成部は、前記音声検出部が前記車両の前方以外の方向の音声を検出した場合、音声を検出したときの前記撮影データにおける音声の発生方向の画像からサムネイル画像を生成する、
   請求項１または２に記載の映像記録装置。
4. 前記映像記録装置は車両において用いられ、
   前記カメラは、前記車両に取り付けられた全周囲カメラであり、
   前記サムネイル生成部は、前記音声検出部が音声を検出していない場合、音声を検出していないときに対応する前記撮影ファイルのサムネイル画像を、前記撮影データにおける前記車両の前方方向の画像からサムネイル画像を生成し、前記音声検出部が音声を検出した場合、音声を検出したときに対応する前記撮影ファイルのサムネイル画像を、検出したときの前記撮影データにおける検出した音声の発生方向の画像から生成する、
   請求項１または２に記載の映像記録装置。
5. 映像を撮影するカメラが撮影した撮影データを取得する撮影制御ステップと、
   前記カメラの周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する音声検出ステップと、
   前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理ステップと、
   前記音声検出ステップにおいて音声が検出された場合、音声を検出したときに対応する前記撮影ファイルのサムネイル画像を、検出したときの前記撮影データにおける検出した音声の発生方向の画像から生成するサムネイル画像生成ステップと、
   前記撮影データ処理ステップにおいて生成した前記撮影ファイルと前記サムネイル画像生成ステップにおいて生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御ステップと、
   を映像記録装置が実行する映像記録方法。

Images