以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されている。
<実施形態1>
以下、図面を参照して本発明の実施形態について説明する。図1を用いて実施形態1にかかる記録システム(以下、記録装置と呼ぶ)10の構成例について説明する。図1は、実施形態1にかかる記録装置10の構成図である。記録装置10は、例えば車両に搭載されるドライブレコーダとして用いられてもよい。記録装置10は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。プロセッサは、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、もしくはCPU(Central Processing Unit)であってもよい。メモリは、揮発性メモリもしくは不揮発性メモリであってもよく、揮発性メモリ及び不揮発性メモリの組み合わせによって構成されてもよい。プロセッサは、以降の図面を用いて説明されるアルゴリズムをコンピュータに行わせるための命令群を含む1又は複数のプログラムを実行する。
記録装置10は、制御部20、カメラ31、マイクロフォン32、記録部33、センサ34、表示部35、及びスピーカ36を有している。制御部20と、カメラ31、マイクロフォン32、記録部33、センサ34、表示部35、及びスピーカ36とは、所定のケーブル等を用いて直接接続されてもよく、車内ネットワークであるCAN(Controller Area Network)を介して接続されてもよい。また、記録装置10は、制御部20によって実現される構成要素を備える構成としてもよい。具体的には、記録装置10は、主に、取得部21、イベント検出部22及び記録制御部23を備える。
カメラ31は、少なくとも車両の周囲を含む領域を撮影した画像データを生成する。実施形態1では、カメラ31は、車両外を撮影した画像データを生成するが、車両内を撮影した画像データを生成してもよい。マイクロフォン32は、少なくとも車両の周囲を含む領域の音声を収音した音声データを生成する。実施形態1では、マイクロフォン32は、車両内及び車両外の音声を収音して音声データを生成する。記録部33は、ハードディスク、カード型メモリ等であってもよく、画像データ及び音声データを記録する。
センサ34は、例えば、加速度センサであり、記録装置10を搭載した車両が事故を起こした場合もしくは事故に巻き込まれた場合に発生する衝撃等を検知してもよい。さらに、センサ34は、ブレーキ、アクセルまたはハンドルの操作量等を検知し、車両のスピードや加速度情報を生成してもよい。またセンサ34は、例えば、測距センサやミリ波レーダーであり、他車両やその他の物体の近接を検知してもよい。表示部35は、記録部33に記録された画像データを再生するディスプレイであってよい。スピーカ36は、記録部33に記録された音声データを再生する。スピーカ36は、スピーカ36の入力前に図示しない音声増幅部や音声処理部を含み、スピーカ36と記載した場合であってもこれらを含む。
続いて、制御部20の構成例について説明する。制御部20は、取得部21、イベント検出部22、記録制御部23、バッファメモリ24、及び再生制御部25を有している。取得部21、イベント検出部22、記録制御部23、及び再生制御部25等の制御部20を構成する各構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、制御部20を構成する各構成要素は、回路もしくはチップ等のハードウェアであってもよい。
取得部21は、カメラ31において生成された画像データ及びマイクロフォン32において生成された音声データを取得する。画像データ及び音声データを含むデータは、メディアデータと称されてもよい。つまり、取得部21は、カメラ31及びマイクロフォン32からメディアデータを取得すると言い換えられてもよい。画像データは、静止画データまたは動画データである。画像データは、例えば、H.264もしくはH.265等の方式を用いて生成されてもよい。また、音声データは、PCM(Pulse Code Modulation)方式等を用いて生成されてもよく、画像データ及び音声データを含んだ動画像データであるメディアデータは、MPEG(Moving Picture Experts Group)2-TS(Transport Stream)またはAVI(Audio Video Interleave)等を用いて生成されてもよい。
取得部21は、画像データ及び音声データを含むメディアデータをバッファメモリ24へ出力する。バッファメモリ24は、出力されたメディアデータを一時的に記憶する。バッファメモリ24は、制御部20内に内蔵される内蔵メモリと称されてもよい。一時的に記憶するとは、例えば、バッファメモリ24が、所定期間経過したメディアデータを消去することであってもよい。もしくは、一時的に記憶するとは、取得部21から出力されるデータを、バッファメモリ24内のデータに上書きして記憶することであってもよい。もしくは、一時的に記憶するとは、バッファメモリ24が、取得部21から出力されたメディアデータを記録制御部23へ出力した場合に、出力したメディアデータを消去することであってもよい。
また取得部21は、GNSS(Global Navigation Satellite System)などの測位システム(不図示)から車両の位置情報を受信し、メディアデータとともに位置情報をバッファメモリ24に供給してよい。
イベント検出部22は、バッファメモリ24を介してカメラ31から取得した画像データ、マイクロフォン32から取得した音声データ、及びセンサ34から出力された計測情報、のうち少なくとも1つを用いて、イベントの発生を検出する。具体的には、イベント検出部22は、周囲異常検出部220と、車両異常検出部221と、判定部223とを有する。
周囲異常検出部220は、メディアデータから、車両の周囲の異常の発生を検出する。具体的には、周囲異常検出部220は、音声データから、車両の周囲の異常の発生を検出する。車両の周囲の異常は、車両外の異常に加えて、車両内の異常も含んでよい。例えば、周囲異常検出部220は、音声データを解析し、車両の周囲の異常に関連する音(異常音と呼ぶ)を検出する。異常音は、非言語音及び言語音(発話)を含んでよい。非言語音は、例えば、衝突音やブレーキ音等であってよい。発話は、例えば、悲鳴や「事故だ」、「煽っている」等の発声であってよい。
一例として、周囲異常検出部220は、音声信号の特徴量を、音声信号の波形から、具体的には周波数、発声開始からの経過時間、又は音量等から、抽出する。周囲異常検出部220は、抽出した特徴量と、予め登録された異常音のサンプルデータの特徴量との間の類似度が予め定められた閾値以上である場合に、車両の周囲の異常の発生を検出する。特徴量の算出は、既存の音響解析技術や声紋解析技術を用いることができる。
また一例として、周囲異常検出部220は、正常音のデータと、異常音のデータとを含む学習データを用いて学習した音響モデルを用い、音声データが異常音を含むか否かを判定する。音響モデルは、既存の音響モデルを用いることができる。例えば、音響モデルは、入力に対応する音声データが異常音を含むか否かを示す値を出力する。または、音響モデルは、入力に対応する音声データが異常音を含む確率を出力する。周囲異常検出部220は、入力に対応する音声データが異常音を含む確率が所定値以上であった場合、車両の周囲の異常の発生を検出する。なお周囲異常検出部220は、音声信号の波形から得られる特徴量を音響モデルの入力として用いてよい。
なお、特定の発話内容、例えば悲鳴や「事故だ」、「煽っている」等の発声を異常音として定義する場合には、周囲異常検出部220は、さらに自然言語処理により発話内容を推定し、異常音であるか否かを判定してよい。具体的には、まず、周囲異常検出部220は、音声データから所定の音響モデルに基づいて音素を抽出する。そして周囲異常検出部220は、抽出した音素と所定の言語モデルとの対比により発話成分が含まれる否かを判定する。周囲異常検出部220は、発話成分が含まれる場合には所定の言語モデルによりその発話内容を推定し、異常音として定義される内容を含むか否かを判定する。言語モデルには、学習済の音声認識辞書が含まれる。周囲異常検出部220は、推定した発話内容が異常音を含むと判定された場合、車両の周囲の異常の発生を検出する。
なお、周囲異常検出部220は、音声データに加えてまたは代えて、画像データを解析し、車両の周囲の異常、例えば他車両同士や他車両とその他の物体の衝突、他車両の横転や炎上、煽り運転などの他車両同士の異常な接近などを検出してもよい。この場合、周囲異常検出部220は、正常時、他車両異常時、及び自車両異常時の画像データを学習データとして学習した画像認識モデルを用いて、車両の周囲の異常を検出してよい。例えば、画像認識モデルは、画像データを入力とし、正常か、車両の周囲の異常かを示す値を出力する畳み込みニューラルネットワークを有してよい。周囲異常検出部220は、画像データを解析することに加えてまたは代えて、測距センサやミリ波レーダーなどのセンサ34により、他車両同士や他車両とその他の物体の近接を検知して車両の周囲の異常の発生を検出してもよい。
周囲異常検出部220は、車両の周囲の異常の発生を検出した場合、車両の周囲の異常が発生したことを示す情報(周囲異常情報)を、判定部223に供給する。周囲異常情報には、車両の周囲の異常が発生した時刻が含まれる。さらに、周囲異常情報には、発生した異常の内容が含まれてもよい。
車両異常検出部221は、センサ34から出力された計測情報から、自車両の異常の発生、主として自車両の走行に関する異常を検出する。例えば、加速度センサとして動作するセンサ34において検出した衝撃レベルが所定値を超えている場合に、車両異常検出部221は、自車両に関連する異常が発生したことを検出する。衝撃レベルが所定値を超えるとは、加速度が所定値を超えると言い換えられてもよい。また、例えば、測距センサとして動作するセンサ34において検出した自車両と他車両との距離が所定値未満の場合に、車両異常検出部221は、自車両に関連する異常が発生したことを検出する。車両異常検出部221は、自車両の異常の発生を検出した場合、自車両の異常が発生したことを示す情報(自車異常情報)を判定部223に供給する。自車異常情報には、自車両の異常が発生した時刻が含まれる。さらに、自車異常情報には、発生した異常の内容が含まれてもよい。車両異常検出部221は、センサ34から出力された計測情報に加えてまたは代えて、画像データを解析し、例えば他車両と自車両との異常な近接などの自車両の異常の発生を検出してもよい。
判定部223は、周囲異常検出部220の検出結果と、車両異常検出部221の検出結果とに基づいて、イベントの発生が検出されたか否かを判定する。本実施形態1では、車両の周囲の異常が検出され、かつ車両(自車両)の異常が検出されない場合を、第1イベントと呼ぶ。第1イベントは、例えば、車両近辺の他車両同士が衝突した場合や、車両近辺の他車両が煽りを受けている場合が挙げられる。判定部223は、車両の周囲の異常が発生したことを示す情報を取得し、かつ自車両の異常が発生したことを示す情報を取得しなかった場合、第1イベントが発生したと判定する。判定部223は、第1イベントの他に、車両の異常が検出される第2イベントを検出してもよい。
判定部223は、イベントの発生が検出されたことに応じて、イベントが発生したことを示す情報(イベント発生情報)を、記録制御部23に供給する。イベントが発生したことを示す情報には、イベントが発生した時刻が含まれる。
記録制御部23は、バッファメモリ24に記憶されたメディアデータを所定のファイル形式で記録部33に記録する。バッファメモリ24から取得したメディアデータは、画像データ及び音声データを含む。言い換えると、記録制御部23は、バッファメモリ24から記録部33へメディアデータを移行する。具体的には、記録制御部23は、バッファメモリ24に記憶されたメディアデータから画像データ及び音声データを含む動画像ファイルを生成して、動画像ファイルを記録用のメディアデータとして記録部33に記録する。
記録制御部23は、第1イベントの発生が検出された場合、バッファメモリ24に記憶された第1イベントの発生期間の音声データから、制限音声データを生成する。そして記録制御部23は、制限音声データを、第1イベントの発生期間の画像データとともに記録部33に記録する。第1イベントの発生期間は、第1イベントが発生した時刻に対応する所定期間であってよい。例えば、第1イベントの発生期間は、第1イベントが発生した時刻と、第1イベントが発生した時刻の前後の期間とを含む所定の期間(第1の所定期間)であってよい。一例として、第1イベントの発生期間において、第1イベント発生時刻前の期間は、第1イベント発生時刻以降の期間と同じであってもよく、第1イベント発生時刻以降の期間よりも長くてもよく、短くてもよい。また第1イベントの発生期間は、第1イベントが発生した時刻の以前または以降の期間のいずれかを含むだけであってもよい。また、制限音声データは、無音データであってよいし、全体の音量を小さくした音声データであってもよい。具体的には、記録制御部23は、第1イベントの発生が検出された場合、バッファメモリ24に記憶された第1イベントの発生期間の音声データから、その音声データに含まれる音声を制限した制限音声データを生成する。そして記録制御部23は、第1イベントの発生期間の音声データに代えて制限音声データと、第1イベントの発生期間の画像データとを含む動画像ファイルを生成し、動画像ファイルを記録用のメディアデータとして記録部33に記録する。
記録制御部23は、生成した記録用のメディアデータを記録部33へ記録する場合、第1イベントに起因した記録用のメディアデータ、つまり画像データ及び制限音声データを含む記録用のメディアデータを、イベントに関連する記録として、上書き禁止のデータとして記録部33へ記録してもよい。例えば、記録制御部23は、データの上書きを禁止する記録部33内のメモリ領域のアドレスを指定して、記録用のメディアデータを記録部33へ記録してもよい。もしくは、記録制御部23は、記録用のメディアデータのヘッダもしくはペイロードに上書き禁止を示すフラグ情報等を設定してもよい。記録制御部23は、第2イベントに起因した画像データ及び音声データを含む記録用のメディアデータを、イベントに関連する記録として、上書き禁止のデータとして記録部33へ記録してもよい。
また、記録制御部23は、イベントに起因しない記録用のメディアデータ、つまり画像データ及び音声データを含む記録用のメディアデータを記録部33に記録せずに破棄してもよく、イベントに関連しない通常の記録として、記録部33に記録してもよい。通常の記録として記録部33へ記録する場合、記録用のメディアデータを上書き可能のデータとして記録部33へ記録してもよい。例えば、記録制御部23は、記録部33のデータの上書きを可能とするメモリ領域のアドレスを指定して、記録用のメディアデータを記録部33へ記録してもよい。もしくは、記録制御部23は、記録用のメディアデータのヘッダもしくはペイロードに上書き可能を示すフラグ情報を設定してもよい。
記録部33は、記録制御部23から出力されたデータ、言い換えると記録制御部23を介してバッファメモリ24から移行されたメディアデータを、記録する。記録部33は、例えば、光ディスクもしくはカード型記録媒体等の記録媒体である。
再生制御部25は、記録部33に記録されている記録用のメディアデータを取得し、取得した記録用のメディアデータに含まれる画像データを表示部35へ出力し、取得した記録用のメディアデータに含まれる音声データをスピーカ36等へ出力する。
図1においては、記録装置10が、再生制御部25、表示部35、及びスピーカ36を含む構成を示しているが、記録装置10とは異なる再生装置等が、再生制御部25、表示部35、及びスピーカ36を含んでもよい。言い換えると、記録装置10は、再生制御部25、表示部35、及びスピーカ36を含まなくてもよい。つまり、再生制御部25、表示部35、及びスピーカ36を含む再生装置等が、記録装置10の記録部33に記録されたデータを再生してもよい。例えば、再生装置等は、光ディスクもしくはカード型記録媒体等の持ち運び可能な記録媒体に記録されたデータを再生する装置であってもよい。記録部33に記録されたデータは、持ち運び可能な記録媒体に移行されてもよい。
ここで、図2を用いて、記録部33に記録されるデータと、バッファメモリ24に記録されるデータとの関係について説明する。図2は、実施形態1にかかる記録部33に記録されるデータと、バッファメモリ24に記録されるデータとの関係の一例を示す図である。図2に示される横軸は、時間の経過を示している。D-3~D+4のそれぞれは、第1イベントの発生期間の間に撮影された、所定期間毎に区切られたメディアデータを示している。所定期間は、タイムフレームと呼ばれることがあり、例えば、数秒、数十秒、数分等であってもよい。図2においては、D-2が、最も古く撮影されたメディアデータであり、D+4が最も新しく撮影されたメディアデータである。なお図2の中段には、所定期間の間にバッファメモリ24に新たに追加されたデータが示されている。つまり、バッファメモリ24には、所定タイムフレームにバッファメモリ24に新たに追加されたデータ以外のデータ、例えば、当該タイムフレーム以前に追加された未消去データが記憶されていてもよい。
取得部21が取得したメディアデータは、すぐにバッファメモリ24へ出力される。そのため、図2においては、取得部21において取得したメディアデータが、そのままバッファメモリ24に記憶されていることが示されている。言い換えると、図2においては、取得部21がメディアデータを取得したタイミングと、バッファメモリ24にメディアデータが記憶されるタイミングとが実質的に一致していることが示されている。実質的に一致しているとは、取得部21がメディアデータを取得したタイミングと、バッファメモリ24にメディアデータが記憶されるタイミングとが完全に一致しない場合も含まれる。例えば、実質的に一致しているとは、バッファメモリ24にメディアデータが記憶されるタイミングが、取得部21がメディアデータを取得したタイミングよりも後にずれることも含まれる。一方、記録部33に記録されるメディアデータは、一時的にバッファメモリ24に記憶された後に、記録制御部23によって記録部33に記録される。そのため、取得部21が取得したメディアデータが、バッファメモリ24に記憶されるタイミングと、記録部33に記録されるタイミングとは異なる。具体的には、メディアデータが記録部33に記録されるタイミングは、メディアデータがバッファメモリ24に記憶されるタイミングよりも遅い。
t-3~t+3及びtiは、時刻を示す。イベント検出部22は、時刻t-3~t+3に過去の所定期間にイベントが発生したか否かを判定する。例えば、イベント検出部22は、時刻tにおいて、時刻t-1から時刻tまでの間に、イベントが発生したか否かを判定する。イベント検出部22は、他の時刻においても同様にイベントが発生したか否かを判定する。
例えば、イベント検出部22は、時刻t-2において、時刻t-3から時刻t-2までの間に、第1イベントが発生していないと判定する。この場合、記録制御部23は、時刻t-2から時刻t-1までの間に、バッファメモリ24に記憶されているメディアデータD-2を、記録部33に記録することなく破棄するか、イベントに関連しない通常の記録として、記録部33に記録してもよい。
一方、イベント検出部22は、時刻tにおいて、時刻t-1から時刻tまでの間である時刻tiに、第1イベントが発生したと判定する。この場合、記録制御部23は、時刻tiに対応する所定期間、例えば時刻tから時刻t+1までの間に、バッファメモリ24に記憶されたメディアデータDの音声データを、制限音声データに置き換え、画像データ及び制限音声データをファイル化したメディアデータD’として記録部33に記録する。
図2においては、バッファメモリ24への記憶が完了されたメディアデータが、記録部33へ記録されることを示している。すなわち、メディアデータが記録部33に記録されるタイミングは、メディアデータがバッファメモリ24に記憶されるタイミングよりも1タイムフレーム分だけ遅い。しかし、バッファメモリ24へ記憶されているメディアデータを記録部33へ記録するタイミングは、これに制限されない。両者のタイミングの差は、1タイムフレーム未満であっても、2タイムフレーム以上であってもよい。例えば、記録制御部23は、バッファメモリ24へ記憶している最中のメディアデータを取得し、取得したメディアデータを記録部33へ記録してもよい。もしくは、記録制御部23は、バッファメモリ24へのメディアデータの記憶が完了した場合、タイムフレームに関わらずメディアデータの記憶が完了した時点から所定期間経過後に、そのメディアデータを記録部33へ記録してもよい。
また、図2においては、記録制御部23は、第1イベント発生時刻を含む期間に取得部21において取得されたメディアデータのみを、音声を制限して記録部33へ記録することを示している。言い換えると、音声制限対象となるメディアデータの撮影期間(イベントの発生期間)を、第1イベント発生時刻を含むタイムフレームに限定している。しかし、記録制御部23は、これに制限されず、第1イベント発生時刻を含む期間に取得部21に取得されたメディアデータに加えて、第1イベント発生時刻を含む期間の前の期間や後ろの期間に取得部21に取得されたメディアデータも音声を制限して記録部33へ記録してもよい。言い換えると、音声制限対象となるメディアデータの撮影期間は、第1イベント発生時刻を含むタイムフレームに加えて、当該タイムフレームの前や後ろのタイムフレームを含んでもよく、第1イベント発生時刻を含むタイムフレームの期間を任意に設定してもよい。例えば、記録制御部23は、取得部21に取得されたデータDに加えて、データD-1も音声を制限したデータD’およびデータD-1’として記録部33へ記録してよい。
この場合の、記録部33に記録されるデータと、バッファメモリ24に記録されるデータとの関係を、図3に示す。図3は、実施形態1にかかる記録部33に記録されるデータと、バッファメモリ24に記録されるデータとの関係の他の例を示す図である。記録制御部23は、バッファメモリ24の各メディアデータについて、そのメディアデータの撮影期間に対応するタイムフレーム及びその次のタイムフレームのいずれかに第1イベントが検出された場合に、当該メディアデータの音声を制限して記録部33に記録する。
具体的には、イベント検出部22は、時刻t-2において、時刻t-3~時刻t-2の間に第1イベントが発生していないと判定し、かつ時刻t-1において、時刻t-2~時刻t-1の間に第1イベントが発生していないと判定する。このとき、記録制御部23は、時刻t-1~時刻tの間に、バッファメモリ24に記憶されているメディアデータD-2を、音声データを制限することなくそのままファイル化して記録部33へ記録する。
そしてイベント検出部22は、時刻tにおいて、時刻t-1~時刻tの間である時刻tiに第1イベントが発生したと判定する。このとき記録制御部23は、1つ前のタイムフレームで第1イベントが発生していなくても、時刻tiに対応する所定期間、例えば時刻t~時刻t+1の間に、バッファメモリ24に記憶されているメディアデータD-1の音声データを、制限音声データに置き換え、画像データとともにファイル化したデータD-1’として記録部33に記録する。
次いで記録制御部23は、バッファメモリ24に記憶されているメディアデータDの音声データを、制限音声データに置き換え、画像データとともにファイル化したデータD’として記録部33に記録する。
次いでイベント検出部22は、時刻t+1において、時刻t~時刻t+1の間に第1イベントが発生していないと判定する。このとき、記録制御部23は、バッファメモリ24に記憶されているメディアデータD+1を、音声データを制限することなくそのままファイル化して記録部33へ記録してもよい。
次に図4~5を用いて、記録装置10の制御部20の処理を説明する。図4~5は、図2のように、音声制限対象となるメディアデータの撮影期間を、イベント発生時刻を含むタイムフレームに限定した場合の例を示しているが、これに限らない。
図4は、実施形態1にかかるイベント検出処理の流れを示す図である。はじめに、取得部21は、画像データ及び音声データを含むメディアデータを取得してバッファメモリ24へ出力し、バッファメモリ24は、メディアデータを記憶する(ステップS10)。次に、イベント検出部22の周囲異常検出部220は、バッファメモリ24に記憶されているメディアデータに含まれる音声データから、周囲の異常音が検出されたか否かを判定する(ステップS11)。周囲異常検出部220は、音声データから周囲の異常音が検出された場合(ステップS11でYes)、周囲異常情報を判定部223に供給して処理をステップS12に進める。一方、周囲異常検出部220は、音声データから周囲の異常音が検出されなかった場合(ステップS11でNo)、処理をステップS10に戻す。
ステップS12において、イベント検出部22の車両異常検出部221は、センサ34から出力された計測情報から、自車両の異常の発生が検出されたか否かを判定する。車両異常検出部221は、自車両の異常の発生が検出された場合(ステップS12でYes)、自車異常情報を判定部223に供給して処理をステップS10に戻す。一方、車両異常検出部221は、自車両の異常の発生が検出されなかった場合(ステップS12でNo)、自車異常情報を判定部223に供給しないで処理をステップS13に進める。
ステップS13において、イベント検出部22の判定部223は、周囲異常情報を取得し、かつ自車異常情報を取得しなかったことに応じて、第1イベントが発生したと判定する。そして判定部223は、イベント発生情報を生成し、イベント発生情報を記録制御部23に供給する(ステップS14)。その後、ステップS10に戻り、ステップS10以降の処理を繰り返し実行する。
続いて、図5は、実施形態1にかかるメディアデータの記録処理の流れを示す図である。はじめに、取得部21は、画像データ及び音声データを含むメディアデータを取得してバッファメモリ24へ出力し、バッファメモリ24は、メディアデータを記憶する(ステップS20)。次に、記録制御部23は、バッファメモリ24に記憶されているメディアデータの記録部33への記録を開始するにあたり、第1イベントが発生したか否かを判定する(ステップS21)。すなわち、記録制御部23は、イベント検出部22の判定部223から、イベント発生情報を取得したか否かを判定する。
記録制御部23は、第1イベントが発生したと判定した場合(ステップS21でYes)、撮影期間に第1イベントが発生したタイミングを含むメディアデータから音声データを取り出し、音声を制限した制限音声データを生成する(ステップS22)。そして記録制御部23は、画像データ及び制限音声データを含む動画像ファイルを生成して、記録部33に記録する(ステップS23)。その後、ステップS20に戻り、ステップS20以降の処理を繰り返し実行する。
一方、記録制御部23は、第1イベントが発生していないと判定した場合(ステップS21でNo)、第1イベントが発生していない期間に撮影されたメディアデータをそのままファイル化して、記録部33に記録する(ステップS24)。すなわち、記録制御部23は、バッファメモリ24に記憶されているメディアデータから音声を制限することなくファイル化して、記録部33に記録する。記録制御部23は、第1イベントが発生していないと判定した場合、記録部33への記録行わない形態であってもよい。その後、ステップS20に戻り、ステップS20以降の処理を繰り返し実行する。
なお上述の説明では、第1イベントの発生が検出した場合に、記録制御部23は、音声を制限したメディアデータを記録部33に記録するとした。しかしこれに加えて、記録制御部23は、第1イベントの発生が検出した場合に、音声が制限されていないメディアデータを合わせて記録部33に記録してもよい。例えば、記録部33は、第1記録領域及び第2記録領域を有し、第1記録領域には、イベント検出結果に関連しない通常記録として、バッファメモリ24に記憶されているメディアデータがそのまま記録される。一方、第2記録領域には、第1イベントが検出されたことに関連するイベント記録として、第1イベントが発生したタイミングを撮影期間に含むメディアデータから音声が制限されたデータが記録されてよい。
以上説明したように、実施形態1にかかる記録装置10は、第1イベントが発生したタイミングを撮影期間に含むメディアデータに関しては、メディアデータの音声データを、音声を制限した制限音声データに置き換えて、記録部33へ記録できる。これにより記録装置10は、自車両に関係しない異常事態が発生した場合は、自車両の運転者の発話や乗員間の会話等を含む可能性のある音声を記録しないため、目撃者として情報を提供する場合に、目撃者のプライバシーを好適に保護できる。なお記録装置10は、第1イベントが発生していない期間に撮影されたメディアデータに関しては、画像データ及び音声データを記録部33へ記録することができる。したがって、自車両に関係する異常事態が発生した場合には、記録したメディアデータを事故原因の究明等に役立てることができる。
さらに、記録装置10が、第1イベントが発生した場合に音声データを消去して記録部33へ記録する場合は、音声データを含むメディアデータを記録する場合と比較して、記録するデータ容量を削減することができる。これにより、記録部33においてメディアデータを上書きして記録する回数を削減することができるため、記録部33は、より長期間のメディアデータを記録することができる。
<実施形態2>
次に、実施形態2について説明する。実施形態2は、記録制御部23が、第1イベントが発生した場合、第1イベント発生期間のメディアデータをイベント不発生の場合と区別して記録部33に記憶する。ただし記録制御部23は、イベント不発生の場合と区別して記憶されるメディアデータのうち、特定の期間の音声のみを制限する。
例えば、音声を制限して記録される特定の期間は、第1イベント発生期間(第1の所定期間)のうち第1イベントの発生前の所定期間(第2の所定期間)であってよい。事故発生中及び発生直後では、事故の重要証拠となり得る音声が収音される可能性が高いため、音声を制限せずに記録されることが好ましいからである。したがって、記録制御部23は、第1イベントが発生した場合、第1イベントの発生前の所定期間の音声データから音声が制限された制限音声データを生成してよい。そして記録制御部23は、制限音声データを、第1イベントの発生前の所定期間(第2の所定期間)の画像データとともに記録部33の特定の記憶領域に記録してよい。そして記録制御部23は、第1イベントの発生以降の所定期間(第3の所定期間)の音声データをそのまま、第1イベントの発生以降の所定期間(第3の所定期間)の画像データとともに、記録部33の特定の記憶領域に記録してよい。第2の所定期間は、第1の所定期間よりも前の期間を含んでも良く、第1の所定期間に含まれる第1イベントの発生前の期間の一部を含まなくてもよい。第2の所定期間は、厳密に事故発生中及び発生直後の一部を含まない形態には限定されず、事故発生中及び発生直後の一部を含む形態もあってよい。同様に第3の所定期間は、第1の所定期間よりも後の期間を含んでも良く、第1の所定期間に含まれる第1イベントの発生後の期間の一部を含まなくてもよい。第3の所定期間は、必ずしも事故発生中及び発生直後の一部を含む形態には限定されず、事故発生中及び発生直後の一部を含まない形態もあってよい。
図6は、実施形態2にかかる記録部33に記録されるデータと、バッファメモリ24に記録されるデータとの関係の一例を示す図である。本例では、記録部33は、第1イベント検出結果に関連しない通常記録領域である第1記録領域及び第1イベント検出結果に関連するイベント記録領域である第2記憶領域を有する。そしてメディアデータが記録部33に記録されるタイミングは、メディアデータがバッファメモリ24に記憶されるタイミングよりも2タイムフレーム分だけ遅い。
記録制御部23は、第1イベント検出結果に関わらず、バッファメモリ24に記憶されているメディアデータを、記録部33の第1記録領域に記録する。
また記録制御部23は、バッファメモリ24の各メディアデータについて、第1イベントの発生が検出された場合には、メディアデータの特定の期間の音声を制限して記録部33の第2記憶領域に記録する。
具体的には、イベント検出部22は、時刻t-1~時刻tの間に第1イベントが発生したと判定する。このとき、記録制御部23は、バッファメモリ24に記憶されている、第1イベントが発生した時刻t-1~時刻tの、ひとつ前のタイムフレームである時刻t-2~時刻t-1に対応するメディアデータD-1の音声データを、制限音声データに置き換え、画像データとともに記録部33の第2記憶領域に記録する。記録制御部23は、上に代えてまたは加えて、時刻t-1から第1イベントが発生した時刻t1に対応するメディアデータの音声データを、制限音声データに置き換え、画像データとともに記録部33の第2記憶領域に記録してもよい。
またこのとき、記録制御部23は、バッファメモリ24に記憶されている、第1イベントが発生した時刻t-1~時刻tの間に対応するメディアデータDの音声データを、そのまま画像データとともに記録部33の第2記憶領域に記録する。記録制御部23は、上記に代えてまたは加えて、第1イベントが発生した時刻t-1~時刻tに対応するメディアデータの音声データを、制限音声データに置き換え、画像データとともに記録部33の第2記憶領域に記録してもよい。
またこのとき、記録制御部23は、バッファメモリ24に記憶されている、第1イベントが発生した時刻t-1~時刻tの、ひとつ後ろのタイムフレームである時刻t~時刻t+1に対応するメディアデータD+1の音声データを、そのまま画像データとともに記録部33の第2記憶領域に記録する。
なお記録部33は、上記記録領域に代えてまたは加えて、第1イベント発生期間の音声データのみを記録する記録領域と、第1イベント発生期間の画像データのみを記録する記録領域とを有していてもよい。そして記録装置10は、ユーザから、例えば運転後に音声を制限する期間の指定を受け付け、指定された期間の音声が制限されたメディアデータを生成し、記録部33に記録してよい。
また記録部33は、上記記録領域に代えてまたは加えて、第1イベント発生期間の音声制限メディアデータを記録する記録領域と、第1イベント発生期間の音声非制限メディアデータを記録する記録領域とを有していてもよい。そして記録装置10は、ユーザから、例えば運転後に音声を制限する期間の指定を受け付け、指定された期間の音声制限メディアデータと音声非制限メディアデータとを組み合わせて、記録部33に記録してよい。
このように実施形態2の記録装置10によれば、実施形態1と同様の効果を奏しつつ、第1イベント発生時点および第1イベント発生後の車室内の音声を記録することができ、目撃者のプライバシーを保護しながら、情報提供に必要な音声を確実に記録することができる。
<実施形態3>
次に、実施形態3について説明する。実施形態3は、記録制御部23が、第1イベントが発生した場合、第1イベントの発生期間のうち所定の音声だけを制限したメディアデータを、記録部33に記憶することに特徴を有する。制限される所定の音声とは、例えば車室内の乗員の発声である。以下では、制限対象の音声が車室内の乗員の発声であるとして説明するが、これに限らない。
図7は、実施形態3にかかる記録装置10aの構成図である。記録装置10aは、制御部20に代えて制御部20aを備える点で記録装置10と相違する。そして制御部20aは、制御部20の構成要素に加えて制限音声検出部26を有する点で、制御部20と相違する。
制限音声検出部26は、第1イベントの発生が検出された場合、バッファメモリ24に記憶されているメディアデータに含まれる音声データから、車室内の乗員の発声を検出する乗員発声検出部として機能する。例えば、制限音声検出部26は、第1イベントの発生期間の音声データの声紋解析を行い、音声データが予め登録された乗員の発声を含むか否かを判定してよい。また、制限音声検出部26は、ビームフォーミング処理により、乗員が着座する方向からの音声を、乗員の発声として検出してもよい。この場合、記録装置10は、複数のマイクロフォン32を有してよい。制限音声検出部26は、音声データが予め登録された乗員の発声を含むと判定した場合、乗員の発声を示す情報を記録制御部23に供給する。また、制限音声検出部26は、車室内に設置されたマイクロフォンと車室外に設置されたマイクロフォンの音声を比較したりキャンセル処理を行ったりして、車室内の乗員の発声を検出してもよい。
そして記録制御部23は、第1イベントの発生が検出された場合、乗員の発声を示す情報に基づいて、第1イベントの発生期間の音声データから制限音声データを生成する。制限音声データは、元の音声信号から乗員の発声に相当する音声信号を消去したデータであってもよいし、乗員の発声に相当する音声信号だけを減衰させたデータであってもよい。記録制御部23は、制限音声データを、第1イベントの発生期間の画像データとともに記録部33に記録する。
図8は、実施形態3にかかるメディアデータの記録処理の流れを示す図である。本図では、図5と同様のステップについては、同一の記号を付している。
制限音声検出部26は、判定部223からイベント発生情報を取得したことに応じて(ステップS21でYes)、音声データから乗員の発声が検出されるか否かを判定する(ステップS30)。
制限音声検出部26は、乗員の発声が検出された場合(ステップS30でYes)、乗員の発声を示す情報を記録制御部23に供給して、処理をステップS31に進める。ステップS31において、記録制御部23は、乗員の発声を示す情報を取得したことに応じて、撮影期間に第1イベントが発生したタイミングを含むメディアデータから音声データを取り出し、当該音声データから乗員の発声に相当する音声を制限した制限音声データを生成する。そして記録制御部23は、画像データ及び制限音声データを含む動画像ファイルを生成して、記録部33に記録する(ステップS32)。
一方、制限音声検出部26は、乗員の発声が検出されない場合(ステップS30でNo)、処理をステップS33に進める。ステップS33において、記録制御部23は、撮影期間に第1イベントが発生したタイミングを含むメディアデータをそのままファイル化して、記録部33に記録する。しかしこの場合にファイル化されたメディアデータは、第1イベントの発生が検出されない場合にファイル化されたメディアデータと区別して記録されてよい。
なお、制限音声検出部26は、周囲異常検出部220と一体的に構成されてもよい。
このように実施形態3にかかる記録装置10aは、第1イベントが発生した場合、第1イベントの発生期間のうち所定の音声だけが制限されたメディアデータを記録する。したがって、例えば、事故が起こった場合に、車室内のプライベートな会話のみを音声から消去し、事故の衝撃音や周囲の人々の悲鳴、ざわめきの声は記録できる。これにより、目撃者のプライバシーを保護しつつ、情報提供に必要な音声を確実に記録することができる。
なお上述の説明では、第1イベントが発生した場合に、音声データのうち、車室内の乗員の発声に相当する音声は一律に制限されるとした。しかしこれに限らず、第1イベントが発生した場合に、車室内の乗員の発声のうち、第1イベントに関連する異常に関連する発声に相当する音声は、制限の対象とならなくてもよい。言い換えれば、制限音声検出部26は、バッファメモリ24に記憶されているメディアデータに含まれる音声データから、車室内の乗員の発声のうち異常に関する発声以外の発声を検出してよい。この場合、制限音声検出部26は、所定の言語モデルを用いて、検出した車室内の乗員の発声が予め定められた異常に関連する内容、例えば、悲鳴や「事故だ」、「煽っている」等の発声であるか否かを判定してよい。これにより、目撃者のプライバシーをより好適に保護して、その他の情報提供に必要な音声をより確実に記録できる。
<実施形態4>
次に、実施形態4について説明する。実施形態4は、記録制御部23が、第1イベントが発生した場合、第1イベントの発生期間のうち異常の種別に応じた音声以外の音声を制限したメディアデータを、記録部33に記憶することに特徴を有する。
図9は、実施形態4にかかる記録装置10bの構成図である。記録装置10bは、制御部20aに代えて制御部20bを備える点で記録装置10aと相違する。そして制御部20bは、イベント検出部22に代えてイベント検出部22bを有する点で、制御部20aと相違する。
イベント検出部22bは、周囲異常検出部220に代えて、周囲異常検出部220bを含む点で、イベント検出部22と相違する。
周囲異常検出部220bは、基本的に周囲異常検出部220と同様の機能を有するが、異常種別判定部225を含む。
異常種別判定部225は、車両の周囲の異常が検出された音声データから車両の周囲の異常の種別(異常種別)を判定する。ここで異常種別は、例えば、「事故」、「ヒヤリハット」、及び「煽り運転」に分類されてよい。例えば、音声データに「ガシャーン」という衝撃音や、「事故だ」という発声などが含まれている場合、異常種別判定部225は、異常種別を「事故」と判定する。また音声データに「煽っている車がいる」という会話が含まれている場合、異常種別判定部225は、異常種別を「煽り運転」と判定する。そして異常種別判定部225は、異常種別を示す情報を判定部223に供給する。
判定部223は、第1イベントが発生したと判定した場合、イベント発生情報に、異常種別を示す情報を追加して、制限音声検出部26にイベント発生情報を供給する。
制限音声検出部26は、イベント発生情報を取得した場合、音声データから異常種別に応じた音声を制限対象の音声として検出する。例えば制限音声検出部26は、異常種別が「事故」である場合、音声データから、「事故」や「ぶつかった」等の車室内の会話音声を検出する。また制限音声検出部26は、異常種別が「煽り運転」である場合、音声データから、「煽り」、「危ない」、「近い」等の車室内の会話音声を検出する。そして制限音声検出部26は、検出した音声以外の音声である、異常種別と関連しない音声を制限対象の音声として、制限対象の音声を示す情報を記録制御部23に供給する。
そして記録制御部23は、第1イベントが発生した場合、制限対象の音声を示す情報に基づいて、第1イベント発生期間の音声データから、異常の種別に応じた音声を制限し、制限音声データを生成する。言い換えると記録制御部23は、第1イベントが発生した場合、第1イベント発生期間の音声データから、異常の種別に関連する音声を制限せず、異常の種別に関連しない音声を制限した制限音声データを生成する。そして記録制御部23は、イベントの発生期間の音声のうち異常種別に応じた音声が制限されたメディアデータを記録部33に記録する。
このように実施形態4にかかる記録装置10bによれば、車両周囲で異常が発生した場合に、発生した異常と関係がない音声を制限して目撃者のプライバシーをより好適に保護しつつ、発生した異常と関係がある音声は制限しないため、情報提供に必要な音声をより確実に記録することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、周囲異常検出部220,220bによる周囲異常検出処理、車両異常検出部221による車両異常検出処理、異常種別判定部225による異常種別判定処理は、記録装置に代えて外部装置(不図示)により行われてもよい。言い換えると、周囲異常検出部220,220b、車両異常検出部221、異常種別判定部225は、記録装置に含まれなくてよい。この場合、記録装置は、各種検出結果または判定結果を、通信手段(不図示)を介して外部装置から取得し、判定部223に供給する。なお、制限音声検出部26についても同様に、記録装置に含まれなくてよい。記録装置は、通信手段(不図示)を介して外部装置から制限対象の音声を示す情報を取得し、記録制御部23に供給する。
また実施形態1~4では、周囲異常検出部220が、音声データ及び画像データの少なくとも一方から、正常か、車両の周囲の異常(つまり自車両及び他車両の少なくとも一方に関連する異常)かを判定し、車両の周囲の異常の発生を検出するとした。しかしこれに代えて、周囲異常検出部220は、音声データ及び画像データの少なくとも一方から、正常か、自車両の異常か、又は自車両とは関係がない他車両の異常かを判定してもよい。この場合、図4のステップS12に代えて、周囲異常検出部220は、バッファメモリ24に記憶されているメディアデータから、自車両とは関係がない他車両の異常が検出されたか否かを判定してよい。そして周囲異常検出部220は、他車両の異常が検出された場合に、他車両の異常が検出されたことを示す他車両異常情報を判定部223に供給してよい。そして図4のステップS13に代えて、判定部223は、他車両異常情報を取得したことに応じて、第1イベントが発生したと判定してよい。つまり図4のステップS12は、省略されてよい。
また上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
少なくとも車両の周囲を含む領域を撮像した画像データと、少なくとも前記車両の周囲を含む領域の音声を収音した音声データと、を取得する取得部と、
前記車両の周囲の異常が検出され、かつ前記車両の異常が検出されないイベントの発生を検出するイベント検出部と、
前記イベントが発生した場合、前記イベントの発生時刻に対応する第1の所定期間の前記音声データから所定の音声が制限された制限音声データを、前記第1の所定期間の前記画像データとともに記録部に記録する記録制御部と
を備える記録システム。
(付記2)
前記イベント検出部は、
前記音声データから、前記車両の周囲の異常を検出する周囲異常検出部と、
前記車両のセンサの計測情報から、前記車両の異常を検出する車両異常検出部と
を有する
付記1に記載の記録システム。
(付記3)
前記記録制御部は、前記イベントが発生した場合、
前記イベントの発生前の期間を含む第2の所定期間の前記音声データから所定の音声が制限された制限音声データを、前記第2の所定期間の前記画像データとともに前記記録部に記録し、
前記イベントの発生以降の期間を含む第3の所定期間の前記音声データを、前記第2の所定期間の前記画像データとともに前記記録部に記録する
付記1または2に記載の記録システム。
(付記4)
前記音声データから前記車両の室内の乗員の発声を検出する乗員発声検出部を備え、
前記記録制御部は、前記イベントが発生した場合、前記第1の所定期間の前記音声データ、または前記イベントの発生前の期間を含む第2の所定期間の前記音声データから、検出された前記乗員の発声に相当する音声を制限し、前記制限音声データを生成する
付記1から3のいずれか一項に記載の記録システム。
(付記5)
前記乗員発声検出部は、前記乗員の発声から前記異常に関する発声を検出する異常関連発声検出部をさらに備え、
前記記録制御部は、前記イベントが発生した場合、前記第1の所定期間の前記音声データ、または前記イベントの発生前の期間を含む第2の所定期間の前記音声データから、前記乗員の前記異常に関する発声に相当する音声を制限しないで、前記制限音声データを生成する
付記4に記載の記録システム。
(付記6)
前記音声データから異常の種別を判定する異常種別判定部を備え、
前記記録制御部は、前記イベントが発生した場合、前記第1の所定期間の前記音声データ、または前記イベントの発生前の期間を含む第2の所定期間の前記音声データから、前記異常の種別に応じた音声を制限し、前記制限音声データを生成する
付記1から5のいずれか一項に記載の記録システム。
(付記7)
少なくとも車両の周囲を含む領域を撮像した画像データと、少なくとも前記車両の周囲を含む領域の音声を収音した音声データと、を取得する取得段階と、
前記車両の周囲の異常が検出され、かつ前記車両の異常が検出されないイベントの発生を検出するイベント検出段階と、
前記イベントが発生した場合、前記イベントの発生時刻に対応する第1の所定期間の前記音声データから所定の音声が制限された制限音声データを、前記第1の所定期間の前記画像データとともに記録部に記録する記録制御段階と
を備える記録方法。