JP2017134646A - 運転状況データ記録装置 - Google Patents

Abstract

【課題】車室内の音を収集して収集した音データを記録する運転状況データ記録装置において、記録する音データに音楽が入り込んでしまうのを抑制する。
【解決手段】スマートフォン３０は、再生する音楽データをナビゲーション装置２０及び運転状況データ記録装置としてのドライブレコーダ１に送信する。ナビゲーション装置２０はスマートフォン３０からの音楽データをスピーカ２３から出力させる。ドライブレコーダ１は、スマートフォン３０からの音楽データを受信した場合には、その音楽データをメモリ３に格納する。また、ドライブレコーダ１は、マイク７で収集された音データをメモリ４に格納する。そして、両メモリ３、４に格納された音データ、音楽データに対して時間及び振幅を一致させる補正を実施した後、それらの差分を求めることで音データに含まれた音楽部分を除去する。音楽除去後の音データを不揮発性の記録媒体１２に記録する。
【選択図】図１

Description

本発明は、車両の運転状況データを記録する運転状況データ記録装置に関する。

従来、交通事故の抑制や事後解析に貢献し得る手段として、車両に運転状況データ記録装置（ドライブレコーダ）を搭載するケースが増えてきている。運転状況データ記録装置に関連する従来技術の一例として下記特許文献１、２を挙げることができる。

特開２０１１−１２３７２０号公報 特開２０１２−２５３６０９号公報

この種の運転状況データ記録装置において、カメラによって車両周辺を撮影するとともに、車室内にマイクを設置してそのマイクで収集された乗員の音声等の音を、カメラで撮影された画像に結合して得られる動画データを運転状況データとして記録する場合がある。この場合、例えば記録された動画データから交通事故発生時の乗員の音声等を確認することで、交通事故の事後解析がしやすくなる。

ところで、車室内に音楽を流しながら運転する場合があり、この場合にはマイクから収集された音データに音楽が入り込んでしまい、運転状況が判断しづらいという問題がある。

本発明は上記問題に鑑みてなされたものであり、車室内の音を収集して収集した音データを記録する運転状況データ記録装置において、記録する音データに音楽が入り込んでしまうのを抑制できる運転状況データ記録装置を提供することを課題とする。

上記課題を解決するために、本発明の運転状況データ記録装置は、
車両に搭載される装置であって、
前記車両の室内に設置されて音を収集する集音手段（７）と、
前記車両の室内に音楽を再生する音楽再生手段（３０、２０）から再生中の音楽データを取得する取得手段（８）と、
前記取得手段が取得した音楽データに基づいて、前記集音手段が収集した音データに含まれた音楽部分を除去する除去手段（Ｓ７、２）と、
前記除去手段による音楽除去後の音データを不揮発性の記録媒体（１２）に記録させる記録制御手段（Ｓ８〜Ｓ１０、Ｓ２１〜Ｓ２３、２）と、
を備えることを特徴とする。

本発明によれば、音楽再生手段から再生中の音楽データを取得して、その音楽データに基づいて集音手段が収集した音データに含まれた音楽部分を除去し、除去後の音データを記録するので、記録する音データに音楽が入り込んでしまうのを抑制できる。

ドライブレコーダ、ナビゲーション装置及びスマートフォンの構成図である。 ドライブレコーダの制御部が実行する音楽除去処理のフローチャートである。 遅れ時間及び振幅差異を推定する処理のフローチャートである。 マイク音の波形を上段に、スマートフォンからの元データを下段に示した図である。 遅延補正後のマイク音及び元データを示した図である。 音楽除去後の処理の変形例のフローチャートである。

以下、本発明の実施形態を説明する。車両には、図１に示すドライブレコーダ１とナビゲーション装置２０とが搭載されている。また、車両の乗員は、図１のスマートフォン３０を携帯している。先ず、ドライブレコーダ１の構成を説明する。

ドライブレコーダ１は、少なくとも車両周辺の画像及び車室内の音声を結合した動画データを車両の運転状況データとして記録する装置である。詳しくは、ドライブレコーダ１は、カメラ６、マイク７、通信部８、Ｇセンサ９、記録要求スイッチ１０、切替スイッチ１１、不揮発性の記録媒体１２及びこれと接続した制御部２を備えている。

カメラ６は、車両の周辺領域（少なくとも車両の前方領域）を常に動画撮影する装置である。カメラ６は、例えば車両のフロントガラスの上部且つ左右方向の中央位置つまりルームミラーの裏側辺りにおいて車両の前方領域を撮影するよう設置される。カメラ６で撮影された画像は、カメラ６又は制御部２において所定の画像処理（アナログ／デジタル変換処理、ノイズ除去処理、色補正処理、画像圧縮処理など）が施される。なお、カメラ６を構成する光電変換素子としては、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いれば良い。カメラ６で撮影された画像データは制御部２に入力される。

マイク７は、車室内（例えばカメラ６と同様にルームミラーの裏側辺り）に設置されて、音波の入力部を有してその入力部に入力された音波を電気信号に変換する装置つまり車室内の音を収集する装置である。マイク７で収集された音データは制御部２に入力される。

通信部８は、他の通信機器との間で、所定の通信方式に則って無線又は有線で通信を行う部分である。本実施形態では、通信部８はスマートフォン３０との間で通信を行う。通信部８で受信したデータは制御部２に送られる。通信部８による通信方式はどの通信方式でも良く、例えばＢｌｕｅｔｏｏｔｈ（登録商標）の通信方式とすることができる。Ｂｌｕｅｔｏｏｔｈ（登録商標）により無線通信を行うには、通信を行う両通信機器間で通信可能状態にする処理であるペアリングを行う必要がある。なお、同一の通信機器間での初めてのペアリングはユーザによるＩＤ等の入力操作に基づいて行われるが、２回目以降のペアリングは一方の通信機器の通信可能範囲に他方の通信機器が接近した時にユーザの操作が無くても自動的に行われるとしても良いし、２回目以降のペアリングにおいてもユーザ操作を必要としても良い。

Ｇセンサ９は、車両に加わる衝撃の大きさを示す加速度を、重力加速度を単位として検出するセンサである。Ｇセンサ９は、例えば互いに直交する３軸方向（Ｘ軸方向（＝車両の進行方向）、Ｙ軸方向（＝車両の左右方向）、Ｚ軸方向（＝車両の上下方向）の加速度を各々検出し、これを加速度データとして制御部２に出力する。

記録要求スイッチ１０は、カメラ６及びマイク７により得られた動画データの記録を要求する、乗員により操作が行われるスイッチ（プッシュスイッチななど）である。記録要求スイッチ１０は、スイッチ１０が操作された場合に操作されたことを示した信号を制御部２へ出力する。

切替スイッチ１１は、マイク７により得られる音データから音楽を除去するか除去しないかを切り替えるスイッチ（プッシュスイッチなど）である。切替スイッチ１１は、乗員により操作が行われる操作部として構成される。切替スイッチ１１は２つの操作位置を有して、切替スイッチ１１が第１の操作位置にある時には音データから音楽が除去する処理が行われ、第２の操作位置にある時にはその処理は行われない。切替スイッチ１１は、どの操作位置にあるのかを特定する信号を制御部２へ出力する。

記録媒体１２は、カメラ６及びマイク７から得られる動画データを記録するものであり、例えばＳＤカードである。

なお、車両には、車両の各ドア毎にドアが開けられたことを検出するドア開検出スイッチ１３が設けられている。ドア開検出スイッチ１３はドアが開けられた時に、ドアが開けられたことを示す信号を出力する。その信号は、直接に又はボデーＥＣＵ等の車載装置を介して間接的に制御部２に入力されるようになっている。

制御部２は、カメラ６及びマイク７から得られる動画データを記録媒体１２に記録する処理を実行する。この処理の詳細は後述する。また、制御部２は、揮発性のメモリ３、４、１４（ＲＡＭ等）を備えている。第１のメモリ３は、通信部８が受信したスマートフォン３０からの音楽データを一時的に記憶するメモリである。第２のメモリ４は、マイク７から入力される音データ（マイク音）を一時的に記憶するメモリである。第３のメモリ１４は、マイク音とカメラ画像とを結合した動画データを一時的に記憶するメモリである。

また、制御部２は、メモリ３、４に記憶された音データ及び音楽データとカメラ６の画像とが入力されて、それら音データ、画像に対して所定処理を行う処理部５を備えている。処理部５は、メモリ３、４に記憶された各音データを比較して、マイク７の音データから音楽部分を除去する処理を行う処理部５ａと、処理部５ａにて得られた音楽除去後の音データと、カメラ６の画像データとを結合する処理を行う処理部５ｂとを少なくとも有する。

なお、ドライブレコーダ１は、車両の位置情報、時刻情報、速度情報などの他の運転状況データを動画データに関連付けて記録媒体１２に記憶しても良い。この場合には、ドライブレコーダ１には、他の運転状況データを取得する取得部が設けられる。

以上がドライブレコーダ１の構成である。次に、ナビゲーション装置２０の構成を説明する。ナビゲーション装置２０は、目的地までの車両の走行を案内するなどの処理を行う装置である。詳しくは、ナビゲーション装置２０は、ナビゲーションに関する構成として、地図データを格納する地図データ格納部（図示外）、車両の現在位置を検出する位置検出部（図示外）、表示部（図示外）、車室内に音を出力するスピーカ２３及び制御部２４を備えている。制御部２４は、ナビゲーションに関する処理として、例えば位置検出部が検出する現在位置周辺の地図データを表示部に表示させたり、目的地が設定された場合には現在位置から目的地までの最適経路を探索して、その最適経路に沿って走行するよう最適経路を表示部に表示させたりスピーカ２３で音声案内を行うなどの処理を行う。

また、ナビゲーション装置２０は音楽再生部２１を備えており、その音楽再生部２１により車室内に音楽再生が可能となっている。音楽再生部２１は、デジタルデータで構成された音楽データを、音波を示した電気信号に変換して、その電気信号をスピーカ２３に出力する。スピーカ２３は、音楽再生部２１からの電気信号に応じて音波を出力する。ナビゲーション装置２０は、音楽データを格納したＣＤ、ＤＶＤ等の音楽記憶媒体を装着する装着部（図示外）を備えている。制御部２４は、乗員操作により音楽再生の指示を受け付けた場合には、装着部に装着された音楽記憶媒体から音楽データを読み出して、その音楽データを音楽再生部２１に送る。音楽再生部２１は、送られてきた音楽データを再生して、スピーカ２３から出力する。

なお、ナビゲーション装置２０は音量を調整するための音量調整部（図示外）を備えている。その音量調整部は、乗員により操作が行われる操作部として構成されており、操作位置に応じた信号を制御部２４に出力する。制御部２４は、音量調整部から入力された音量信号に応じて、音楽再生部２１からスピーカ２３に送られる音波の電気信号の振幅を調整することで、スピーカ２３から出力される音波の振幅（音量）を調整する。

さらに、ナビゲーション装置２０は、他の音楽再生機器から音楽データを取得して、その音楽データを再生することもできる。詳しくは、ナビゲーション装置２０は、他の音楽再生機器との間で、所定の通信方式に則って無線又は有線で通信を行う通信部２２を備えている。本実施形態では、通信部２２は、音楽再生機器としてのスマートフォン３０との間で通信を行う。通信部２２による通信方式はどの通信方式でも良く、例えばＢｌｕｅｔｏｏｔｈ（登録商標）の通信方式とすることができる。スマートフォン３０からの音楽データを通信部２２が受信した場合には、その音楽データは音楽再生部２１に送られ、音楽再生部２１により再生が行われる。

以上がナビゲーション装置２０の構成である。次にスマートフォン３０の構成を説明する。スマートフォン３０は、車両の乗員に携帯され、無線により通話が可能な通話機能を有した公知の携帯電話である。スマートフォン３０は、通話機能の他に音楽再生機能も有している。スマートフォン３０は、音楽再生機能に関する構成として、音楽データ格納部３１、音楽再生部３２、通信部３３及び制御部３４を備えている。

音楽データ格納部３１は音楽データを格納する不揮発性の記憶媒体（フラッシュメモリ等）である。音楽再生部３２は、音楽データ格納部３１に格納された音楽データを取得して、その音楽データを再生つまり音波を示した電気信号に変換する部分である。また、音楽データ格納部３１には、後述するドライブレコーダ１（制御部２）が実行する処理において用いられるテスト音も格納されている。

通信部３３は、スマートフォン３０の周囲に存在する通信機器との間で、所定の通信方式に則って無線又は有線で通信を行う部分である。本実施形態では、通信部３３は、ナビゲーション装置２０及びドライブレコーダ１との間で通信を行い、詳しくは再生する音楽データをナビゲーション装置２０（通信部２２）及びドライブレコーダ１（通信部８）に送信する。通信部３３による通信方式はどの通信方式でも良く、例えばＢｌｕｅｔｏｏｔｈ（登録商標）の通信方式とすることができる。

また、スマートフォン３０は、各種情報を表示する液晶ディスプレイ等の表示部（図示外）を備えている。その表示部は、ユーザによるタッチ操作が可能なタッチパネルとして構成されている。すなわち、表示部の画面に重なる形で画面へのタッチ位置を検出するセンサが配置されている。スマートフォン３０は、タッチパネルとして構成された表示部を介して、どの機能を実行するかを指示するユーザ操作を受け付ける。

制御部３４は、スマートフォン３０に備えられた通話機能、音楽再生機能を含む各機能に関する処理を実行する。例えばタッチパネル（表示部）へのユーザ操作に基づき音楽再生の指示があった場合には、音楽データ格納部３１から再生する音楽データを読み出して、それを音楽再生部３２で再生させてスマートフォン３０のスピーカ（図示外）や、スマートフォン３０にイヤフォンが装着されている場合にはそのイヤフォンに出力する。また、スマートフォン３０には、他の音楽再生機器のスピーカから音楽を出力するモードが備えられている。制御部３４はユーザ操作に基づきそのモードの実施が指示された場合には、音楽再生部３２で再生中の音楽データを通信部３３に送って、接続先の音楽再生機器（本実施形態ではナビゲーション装置２０）に送信する。このとき、スマートフォン３０のスピーカからは再生中の音楽を出力させない。なお、他の音楽再生機器から音楽を再生させる前提として、通信部３３と他の音楽再生機器の通信部とを通信可能状態にしておく必要がある。以上がスマートフォン３０の構成である。

ところで、ドライブレコーダ１の作動中においても車室内に音楽を流す場合があるが、この場合には、ドライブレコーダ１で記録した動画データに音楽が入り込んでしまい、運転状況が把握しづらいことがある。そこで、制御部２は、記録する動画データから音楽を除去する処理を実行する。以下、この処理の詳細を説明する。

制御部２は、音楽除去処理として図２の処理を実行する。図２の処理は例えば車両の駆動部（例えばエンジン）の起動と同時に開始し、以降、所定周期で繰り返し実行される。図２の処理の概要を説明すると、スマートフォン３０の音楽をナビゲーション装置２０のスピーカ２３から出力する場合には、制御部２は、スマートフォン３０から通信部３３、８間の通信経由で再生中の音楽データを取得する。そして、制御部２は、マイク７で収集された音データから、スマートフォン３０から取得した音楽データを差し引くことで、マイク音から音楽を除去する。

図２の処理を開始すると、制御部２は、ドライブレコーダ１が作動中か否かを判断する（Ｓ１）。例えばドライブレコーダ１に作動スイッチ（電源スイッチ）が設けられており、その作動スイッチが乗員により操作された場合にドライブレコーダ１が作動するとしても良いし、車両起動スイッチとしてのイグニッションスイッチのオンに連動してドライブレコーダ１が作動するとしても良い。また制御部２が作動しているということはドライブレコーダ１が作動していることを意味するので、Ｓ１の処理では例えば制御部２の作動をもってドライブレコーダ１が作動していると判断する。

ドライブレコーダ１が作動していない場合には（Ｓ１：Ｎｏ）、図２の処理を終了する。他方、ドライブレコーダ１が作動中の場合には（Ｓ１：Ｙｅｓ）、次に、後述するＳ３の処理を実行するための所定のトリガが発生したか否かを判断する（Ｓ２）。所定のトリガは、例えばスピーカ２３からマイク７への音楽の到達態様が変化し得るイベントに設定され、具体的には車両の乗員人数や車室内における乗員の位置が変化したことに設定される。より具体的には、車両ドアの開閉があった場合に車両の乗員人数や位置が変化したと考えられるので、Ｓ２では例えばドア開検出スイッチ１３に基づき車両のいずれかのドアが開けられたか否かを所定のトリガが発生したか否かとして判断する。なお、車両の各座席に着座の有無を検出するセンサを設けて、そのセンサの検出値に基づいて車両の乗員人数や位置が変化したイベントが発生したか否かを判断しても良い。また、Ｓ２では、ドライブレコーダ１の作動開始から１回目にＳ２の処理を実行する場合も、トリガが発生したとしてＳ３の処理に移行する。

さらに、Ｓ２では、例えばスマートフォン３０からの音楽再生中においては、現時点が曲と曲の間の無音期間である場合にもトリガが発生したと判断する。現時点が無音期間であるか否かは例えば以下のようにして判断する。すなわち、制御部２は、通信部３３、８間の通信に基づき、スマートフォン３０に対して現在再生中の曲が終了するまでの残り時間を問い合わせる。スマートフォン３０の制御部３４は、その問い合わせに応答して、曲の残り時間を通信部３３を用いてドライブレコーダ１に送信する。制御部２は、残り時間を受信した場合には、その残り時間からカウントダウンを開始して、ゼロになった時に無音期間であると判断する。なお、スマートフォン３０（制御部３４）は、無音期間になった時に現時点が無音期間であることを示すデータを通信部３３を用いてドライブレコーダ１に送信し、制御部２はそのデータを受信した時に現時点が無音期間であると判断しても良い。

結局、Ｓ２の処理では、例えば車両ドアの開閉があったこと、ドライブレコーダ１の作動開始から１回目の処理であること、及び現時点が曲と曲の間の無音期間であることのいずれか１つでも満たした場合に所定のトリガが発生したと判断し、いずれも満たしていない場合にトリガの発生が無いと判断する。

Ｓ２において所定のトリガの発生が無い場合には（Ｓ２：Ｎｏ）、Ｓ３の処理を飛ばしてＳ４の処理に移行する。トリガの発生がある場合には（Ｓ２：Ｙｅｓ）、Ｓ３の処理に移行する。

ここで、Ｓ３の処理の趣旨を説明する。マイク音からスマートフォン３０からの音楽データを差し引く際に、マイク音に含まれた音楽部分と、差し引く音楽データとが時間的に同期している必要がある。ところが、マイク音に含まれた音楽と、スマートフォン３０からの音楽データとは、ドライブレコーダ１に至るまでの経路が異なるために、時間的なズレが生じる可能性がある。すなわち、スマートフォン３０からの音楽データはスマートフォン３０から直接にドライブレコーダ１に到達する。これに対して、マイク音に含まれた音楽は、スマートフォン３０→ナビゲーション装置２０→スピーカ２３からマイク７までの空間を経てドライブレコーダ１に到達する。したがって、マイク音に含まれた音楽は、ナビゲーション装置２０を介してドライブレコーダ１に到達する分、スマートフォン３０からの音楽データがドライブレコーダ１に到達する時間よりも、遅れてドライブレコーダ１に到達する。つまり、マイク音に含まれた音楽は、音楽データに対して遅延が生じる。

また、マイク音に含まれた音楽部分の振幅（つまり音強度、音量）は、スピーカ２３の音量や、スピーカ２３からマイク７までの空間における音波の減衰量によって変化するが、マイク音から音楽データを差し引く際には、マイク音に含まれた音楽部分の振幅と、差し引く音楽データの振幅とを一致させる必要がある。

そこで、Ｓ３の処理では、マイク音に含まれた音楽部分と、スマートフォン３０からの音楽データとの時間的なズレである遅れ時間及び振幅差異を推定する。具体的には図３の処理を実行する。

図３の処理に移行すると、先ずドライブレコーダ１とスマートフォン３０とが通信可能状態にあるか否かを判断する（Ｓ１１）。つまり、通信部３３、８間が通信可能状態にあるか否かを判断する。通信部３３、８間の通信がＢｌｕｅｔｏｏｔｈ（登録商標）の方式で行われる場合には、通信部３３、８間でペアリングがされているか否かを判断する。両者が通信可能状態にない場合には（Ｓ１１：Ｎｏ）、図３の処理を終了して、図２の処理に戻る。

両者が通信可能状態にある場合には（Ｓ１１：Ｙｅｓ）、次に、通信部３３、８間の通信に基づきスマートフォン３０に問い合わせることで、スマートフォン３０とナビゲーション装置２０とが通信可能状態にあるか否かを判断する（Ｓ１２）。スマートフォン３０（制御部３４）は、ドライブレコーダ１から、ナビゲーション装置２０と通信可能状態にあるか否かの問い合わせがあった場合には、通信部３３を用いて、ナビゲーション装置２０と通信可能状態にあるか否かを示したデータをドライブレコーダ１に送信する。スマートフォン３０とナビゲーション装置２０とが通信可能状態にない場合には（Ｓ１２：Ｎｏ）、図３の処理を終了して、図２の処理に戻る。

なお、Ｓ１１、Ｓ１２の処理が否定判断される場合には、遅れ時間及び振幅差異の推定が行われないが、ドライブレコーダ１とスマートフォン３０間やスマートフォン３０とナビゲーション装置２０間が通信可能状態にない場合には、スマートフォン３０の音楽再生を行っていない状況と考えられるので、遅れ時間及び振幅差異を推定しなくても問題は生じない。

スマートフォン３０とナビゲーション装置２０とが通信可能状態にある場合には（Ｓ１２：Ｙｅｓ）、通信部８を用いて、テスト音の出力を要求するデータをスマートフォン３０に送信する（Ｓ１３）。スマートフォン３０（制御部３４）は、ドライブレコーダ１からのテスト音出力要求を受信した場合には、音楽データ格納部３１に格納されているテスト音を読み出して、これを音楽再生部３２で再生させるとともに、再生中のテスト音を通信部３３によりナビゲーション装置２０に送信して、スピーカ２３に出力させる。加えて、制御部３４は、通信部３３により、再生中のテスト音のデータをドライブレコーダ１に送信する。また、スピーカ２３からのテスト音の出力強度（振幅、音量）は、音楽再生時と同じ出力強度であることを想定しており、すなわちナビゲーション装置２０の音量調整部により設定された出力強度とする。

ここで、テスト音はどのような音でも良いが、例えば可聴音（振動数が２０Ｈｚ〜２万ヘルツ程度の音）とすることができる。これによれば、音楽は可聴音であるが、音楽を流す時と同様の条件とすることで、音楽に対する遅れ時間及び振幅差異をテスト音に基づいて精度よく推定できる。なお、可聴音から外れる振動数のテスト音を用いても良い。これによれば、スピーカ２３からのテスト音を乗員に聞かれてしまうのを抑制でき、音楽以外の音がスピーカ２３から流れることによる乗員の違和感を抑えることができる。

なお、スマートフォン３０がテスト音のデータを保有していない場合には、ドライブレコーダ１側（制御部２内のメモリ）でテスト音のデータを保有しておき、Ｓ１３では、ドライブレコーダ１からスマートフォン３０にテスト音のデータを送信して良い。この場合、スマートフォン３０は、ドライブレコーダ１からのテスト音をナビゲーション装置２０に送信してスピーカ２３から出力させるとともに、テスト音のデータをドライブレコーダ１にも送信する。

次に、スピーカ２３からのテスト音をマイク７で収集してこれをメモリ４に格納するとともに、通信部８にスマートフォン３０からのテスト音のデータを受信させてこれをメモリ３に格納する（Ｓ１４）。そして、両メモリ３、４のテスト音を比較する（Ｓ１４）。ここで、図４は、メモリ４に格納したマイク音の波形１０１を上段に、メモリ３に格納した受信データの波形１０２を下段に例示している。ここでは、図４の波径１０１、１０２はテスト音の波形を想定している。なお、車室内にはテスト音以外の音は発生していないものとする。図４に示すように、受信データ１０１のほうがマイク音１０２よりも先にドライブレコーダ１に到達するとして波形が右側（時間経過方向）に進行している。

次に、Ｓ１４の比較結果に基づいて、メモリ３に格納したテスト音（図４下段の波形１０２）に対するメモリ４に格納したテスト音（図４上段の波形１０１）の遅れ時間を推定する（Ｓ１５）。詳しくは、図４に示すように、例えば両波形１０１、１０２の開始点１０１ａ、１０２ａ間の時間ｔを遅れ時間として求める。または、両波形１０１、１０２の同一番目（図４では開始点１０１ａ、１０２ａから一番目）のピーク点１０１ｂ、１０２ｂ間の時間を遅れ時間として求めても良い。ここで得られた遅れ時間は、制御部２内のメモリに保持しておく。

次に、Ｓ１５で推定した遅れ時間に基づいて、両メモリ３、４のテスト音間で時間を一致させる遅延補正（時間補正）を行う（Ｓ１６）。詳しくは、図４に示すように、例えば受信データの波形１０２を遅れ時間ｔだけ遅らせる。ここで、図５は、遅延補正後のマイク音の波形を破線１０３で示し、遅延補正後の受信データの波形を実線１０４で示している。ここでは、図５の波形１０３、１０４は遅延補正後のテスト音の波形を想定している。

マイク音の波形１０３の振幅は、スピーカ２３の出力強度や、スピーカ２３からマイク７に到達するまでの音波の減衰によって変化する。これに対して、受信データの波形１０４は、スマートフォン３０からデータとして送信され、音波として送信されるわけではないので、波形１０３のように振幅が環境に応じて変化するという概念がない。

次に、遅延補正後の両テスト音間の振幅差異を推定する（Ｓ１７）。図５の例では、両波形１０３、１０４間の振幅差異を推定する。詳しくは、両波形１０３、１０４の同一番目（図５では開始点から一番目）のピーク点１０３ａ、１０４ａ間の振幅差異を求める。このとき、ピーク点１０３ａに対するピーク点１０４ａの比を振幅差異として求める。振幅差異を求める際に、Ｓ１６の処理で両波形１０３、１０４の時間を一致させておくことで、同一番目のピーク点を抽出しやすくできる。求めた振幅差異は制御部２内のメモリに保持しておく。その後、図３の処理を終了して、図２の処理に戻る。

このように、図３の処理では、テスト音の遅れ時間及び振幅差異を求めており、得られた遅れ時間及び振幅差異を、音楽の遅れ時間及び振幅差異として用いる。なお、図３の処理で得られる遅れ時間及び振幅差異は、Ｓ２の処理のトリガが発生する毎に更新され、逆に言うと、トリガが発生しない間は前回値が用いられる。

図２の処理に戻って、Ｓ３で遅れ時間及び振幅差異を推定した後、次にスマートフォン３０からの音楽データの受信の有無を判断する（Ｓ４）。なお、この前提として、スマートフォン３０の制御部３４は、音楽をナビゲーション装置２０で再生させる場合には、再生中の音楽データをナビゲーション装置２０に送信するとともに、ドライブレコーダ１にも送信する。音楽データの受信が無い場合には（Ｓ４：Ｎｏ）、Ｓ８の処理に移行する。この場合には、スマートフォン３０を用いた音楽再生は不実施であり、マイク音には音楽が含まれていないとして、音楽除去処理（Ｓ６、Ｓ７の処理）を行わない。

一方、通信部８による音楽データの受信が有った場合には（Ｓ４：Ｙｅｓ）、次に切替スイッチ１１の状態に基づいて音楽除去要求があるか否かを判断する（Ｓ５）。音楽除去要求が無い場合には（Ｓ５：Ｎｏ）、音楽除去処理（Ｓ６、Ｓ７の処理）を行わないで、Ｓ８の処理に移行する。

音楽除去要求がある場合には（Ｓ５：Ｙｅｓ）、次に、メモリ４に格納された音楽を含んだマイク音と、メモリ３に格納された音楽データとの間で時間及び振幅を一致させる遅延、振幅補正を行う（Ｓ６）。詳しくは、遅延補正に関しては、メモリ３に格納された音楽データを、Ｓ３で求めた遅れ時間だけ遅らせる。また、振幅補正に関しては、Ｓ３で求めた振幅差異（テスト音の受信データに対するマイク音の比）の分だけ、メモリ３に格納された音楽データの振幅を増加又は減少させる。

このように予めテスト音を用いて遅れ時間及び振幅差異を求めておくことで、マイク音に音楽以外の音（乗員の会話等）が含まれていたとしても、マイク音に含まれた音楽部分と、元の音楽データとの間で時間及び振幅を簡単に一致ささることができる。

次に、Ｓ６の処理後のマイク音と音楽データとの差分を求めることで、マイク音に含まれた音楽部分を除去する（Ｓ７）。なお、Ｓ６、Ｓ７の処理は、図１の処理部５ａにて実行される。

次に、図１の処理部５ｂにおいて、音楽除去後のマイク音とカメラ６の画像とを結合した、その結合した動画データを制御部２内のメモリ１４に保持しておく（Ｓ８）。また、Ｓ４又はＳ５で否定判断された場合には、メモリ４に格納されたマイク音をそのままカメラ画像と結合して、これをメモリ１４に保持しておく。このとき、Ｓ４が否定判断された場合には、マイク音にはもともと音楽が含まれていないことを想定しているので、Ｓ８で保持する動画データにも音楽が含まれていないことを想定している。また、Ｓ５が否定判断された場合には、Ｓ８で保持される動画データの音に音楽が含まれることを許容している。なお、Ｓ８では、メモリ１４への動画データの記憶量が記憶限界量に達した場合には、新しいデータを古いデータに上書きして記憶する。

次に、車両への衝撃の有無又は乗員操作に基づく動画データの記録要求の有無を判断する（Ｓ９）。車両への衝撃の有無はＧセンサ９が検出する加速度に基づいて判断する。記録要求の有無は記録要求スイッチ１０への操作の有無に基づいて判断する。車両への衝撃と乗員操作に基づく記録要求のいずれも無い場合には（Ｓ９：Ｎｏ）、図２の処理を終了する。

一方、車両への衝撃と記録要求のいずれかがある場合には（Ｓ９：Ｙｅｓ）、Ｓ８でメモリ１４に保持しておいた動画データの全部又は一部を記録媒体１２に記録する（Ｓ１０）。このとき、記録媒体１２に記録するデータとして、少なくとも車両への衝撃又は記録要求のあった時点の前後所定期間のデータを含ませる。その後、図２の処理を終了する。

このように、本実施形態によれば、記録媒体１２に記録される動画データとして音楽が除去された動画データを得ることができるので、例えば交通事故の事後解析を行う際に動画データ中の乗員の音声を聞き取りやすくでき、事後解析をしやすくできる。また、仮に記録した動画データをネット上にアップロードする場合には、著作権を有する音楽データのみを削除した動作をアップロードできる。

また、切替スイッチ１１によって音楽除去の不実施を選択することで、動画データに音楽をＢＧＭとして残すことができる。

また、テスト音に基づいて遅れ時間及び振幅差異を推定するので、例えば音楽を再生する前に予め遅れ時間及び振幅差異を得ることができ、音楽再生時に迅速にマイク音及び音楽データに対する遅延及び振幅補正を実施できる。

また、テスト音に基づく遅れ時間及び振幅差異の推定は、所定のトリガが発生しない場合には実施しないので、遅れ時間及び振幅差異の変化が無いにもかかわらず頻繁にそれらの推定処理が実施されてしまうのを抑制でき、処理負担を軽減できる。また、所定のトリガの１つはドア開のイベントが有った場合としているので、乗員人数や乗員の位置が変化した状況を捉えることができる。スピーカ２３からの音波は、乗員で反射しながらマイク７へ到達することから、乗員人数や位置が変化した場合にはスピーカ２３からマイク７への音波の到達経路（言い換えると到達時間）や減衰量が変化する。その結果、スマートフォン３０からの音楽データに対するマイク７が収集する音楽の遅れ時間及び振幅差異が変わってくる。所定のトリガをドア開のイベントが有った場合とすることで、乗員人数や乗員の位置が変化する度に遅れ時間及び振幅差異を更新でき、マイク音に含まれた音楽を正確に除去できる。

また、所定のトリガの１つは曲と曲の間の無音期間となった場合としているので、無音期間の度に遅れ時間及び振幅差異を更新でき、マイク音に含まれた音楽を正確に除去できる。また、無音期間に遅れ時間及び振幅差異の推定を実施することで、テスト音と音楽とが同時にスピーカ２３から流れてしまうのを抑制できる。

なお、本発明は上記実施形態に限定されず特許請求の範囲の記載を逸脱しない限度で種々の変更が可能である。例えば、図２のＳ８〜Ｓ１０の処理に代えて、図６の処理を実行しても良い。この場合、図２のＳ７を実行した後又はＳ４、Ｓ５を否定判断した場合には、次に、図６のＳ２１に移行して、マイク音及びカメラ画像を結合した動画データを直ちに記録媒体１２に記録する。つまり、メモリ１４への動画データの一時記憶を行わない。この場合には、記録媒体１２に動画データが記録し続けることになるが、記録媒体１２への記録量が限界に達した場合には、古いデータに上書きする。

次に、図２のＳ９と同様に、車両への衝撃の有無又は乗員操作に基づく動画データの記録要求の有無を判断する（Ｓ２２）。車両への衝撃と乗員操作に基づく記録要求のいずれも無い場合には（Ｓ２２：Ｎｏ）、図６の処理を終了する。一方、車両への衝撃と記録要求のいずれかがある場合には（Ｓ２２：Ｙｅｓ）、記録媒体１２への動画データの記録を、車両への衝撃と記録要求のいずれかがあった時から所定時間経過後に停止する（Ｓ２３）。これによって、車両への衝撃時又は記録要求時の動画データが上書きされて消えてしまうのを抑制できる。その後、図６の処理を終了する。この図６の処理によっても上記実施形態と同様の効果を得ることができることに加えて、動画データを一時的に記憶するメモリ１４を省略できる。

また、上記実施形態では、テスト音に基づく遅れ時間及び振幅差異の推定の際には、マイク音にはテスト音以外の音が含まれていないことを前提としていたが、実際は、マイク音にはテスト音以外に乗員の会話等の音が入り込んでしまう場合がある。この場合であっても、乗員の会話等の音が途絶えることがあることに鑑みて、例えばスピーカ２３からのテスト音の出力及びスマートフォン３０からドライブレコーダ１へのテスト音データの送信を複数回繰り返すとともに、マイク音の波形のうち、スマートフォンから送信されたテスト音のデータに近い区間を抽出つまりテスト音以外の音を含んでいない区間（テスト音のみの区間）を抽出する。そして、抽出した区間と、スマートフォンから送信されたテスト音のデータとの比較に基づいて、遅れ時間及び振幅差異を推定しても良い。

また、テスト音を用いないで、音楽データから直接に遅れ時間及び振幅差異を推定しても良い。この場合、マイク音の波形から、スマートフォンからの音楽データに近い区間を抽出つまりマイク音に音楽以外の音（乗員の会話等）を含んでいない区間（音楽のみの区間）を抽出する。そして、抽出した区間と、スマートフォンから送信された音楽データとの比較に基づいて、遅れ時間及び振幅差異を推定しても良い。これによれば、より正確な遅れ時間及び振幅差異を得ることができ、より正確にマイク音から音楽を除去できる。また、テスト音を出力する必要がないので、処理を簡素化できる。

また、上記実施形態では再生中の音楽データをスマートフォン３０からドライブレコーダ１に送信する場合を例示したが、ナビゲーション装置２０からドライブレコーダ１に再生中の音楽データを有線又は無線で送信するようにしても良い。この場合、ナビゲーション装置２０とドライブレコーダ１に互いに通信可能に接続する通信部を備えさせる。ナビゲーション装置２０は、スマートフォン３０から送信された再生中の音楽データをスピーカ２３から出力させるとともに、通信部を用いてドライブレコーダ１に送信する。これによれば、仮に、スマートフォン３０とドライブレコーダ１とに互いに通信可能に接続する通信部が設けられていなかっとしても、マイク音から音楽を除去できる。

また、上記実施形態では、スマートフォン３０の音楽をナビゲーション装置２０で再生出力する場合を例示したが、ナビゲーション装置２０にＣＤ、ＤＶＤ等の音楽記憶媒体を装着して、その音楽記憶媒体に記憶された音楽をナビゲーション装置２０が再生する場合にも本発明を適用できる。この場合には、ナビゲーション装置２０とドライブレコーダ１とに互いに通信可能に接続する通信部を設ける。そして、ナビゲーション装置２０は、再生中の音楽データをその通信部を用いてドライブレコーダ１に送信する。

なお、上記実施形態において、ドライブレコーダ１が運転状況データ記録装置に相当する。制御部２が除去手段、記録制御手段、時間差異推定手段、時間補正手段、要求手段、強度差異推定手段、強度補正手段に相当する。マイク７が集音手段に相当する。通信部８が取得手段に相当する。ナビゲーション装置２０が車載装置に相当する。スピーカ２３が出力手段に相当する。通信部３３が送信手段に相当する。スマートフォン３０が音楽再生機器に相当する。スマートフォン３０及びナビゲーション装置２０が音楽再生手段に相当する。切替スイッチ１１がスイッチに相当する。

１ ドライブレコーダ（運転状況データ記録装置）
２ 制御部（除去手段、記録制御手段、時間差異推定手段、時間補正手段、要求手段、強度差異推定手段、強度補正手段）
７ マイク（集音手段）
８ 通信部（取得手段）
１２ 記録媒体
２０ ナビゲーション装置
３０ スマートフォン

Claims (7)

1. 車両に搭載される装置であって、
   前記車両の室内に設置されて音を収集する集音手段（７）と、
   前記車両の室内に音楽を再生する音楽再生手段（３０、２０）から再生中の音楽データを取得する取得手段（８）と、
   前記取得手段が取得した音楽データに基づいて、前記集音手段が収集した音データに含まれた音楽部分を除去する除去手段（Ｓ７、２）と、
   前記除去手段による音楽除去後の音データを不揮発性の記録媒体（１２）に記録させる記録制御手段（Ｓ８〜Ｓ１０、Ｓ２１〜Ｓ２３、２）と、
   を備えることを特徴とする運転状況データ記録装置（１）。
2. 前記音楽再生手段は、
   乗員に携帯される音楽再生機器であって、再生する音楽データを、前記車両の室内に音を出力する出力手段（２３）を備えた車載装置（２０）及び前記運転状況データ記録装置に送信する送信手段（３３）を備えた音楽再生機器（３０）と、
   前記音楽再生機器から送信された音楽データを受信して、受信した音楽データを前記出力手段に出力させる前記車載装置とを備え、
   前記取得手段は前記音楽再生機器から再生中の音楽データを取得することを特徴とする請求項１に記載の運転状況データ記録装置。
3. 前記取得手段が取得した音楽データと、前記集音手段が収集した音データに含まれる音楽部分との間の時間差異を推定する時間差異推定手段（Ｓ３、２）と、
   前記時間差異に基づいて、前記取得手段が取得した音楽データと前記集音手段が収集した音データに含まれる音楽部分との間で時間を一致させる時間補正を行う時間補正手段（Ｓ６、２）とを備え、
   前記除去手段は、前記時間補正を行った後の、前記取得手段が取得した音楽データと、前記集音手段が収集した音データとの差分を求めることを特徴とする請求項１又は２に記載の運転状況データ記録装置。
4. 前記時間差異推定手段は、前記音楽再生手段に対してテスト音の出力を要求する要求手段（Ｓ１３、２）を備えて、前記音楽再生手段から前記集音手段経由で前記運転状況データ記録装置に到達する前記テスト音のデータと、前記音楽再生手段から前記取得手段経由で前記運転状況データ記録装置に到達する前記テスト音のデータとの間の時間差異を推定し、
   前記音楽再生手段は、前記運転状況データ記録装置から前記テスト音の出力要求があったことに基づいて前記車両の室内に前記テスト音を出力するとともに、前記テスト音のデータを前記運転状況データ記録装置に送信することを特徴とする請求項３に記載の運転状況データ記録装置。
5. 前記取得手段が取得した音楽データと、前記集音手段が収集した音データに含まれる音楽部分との間の音強度の差異を推定する強度差異推定手段（Ｓ３、２）と、
   前記音強度の差異に基づいて、前記取得手段が取得した音楽データと前記集音手段が収集した音データに含まれる音楽部分との間で音強度を一致させる強度補正を行う強度補正手段（Ｓ６、２）とを備え、
   前記除去手段は、前記強度補正を行った後の、前記取得手段が取得した音楽データと、前記集音手段が収集した音データとの差分を求めることを特徴とする請求項１〜４のいずれか１項に記載の運転状況データ記録装置。
6. 前記強度差異推定手段は、前記音楽再生手段に対してテスト音の出力を要求する要求手段（Ｓ１３、２）を備えて、前記音楽再生手段から前記集音手段経由で前記運転状況データ記録装置に到達する前記テスト音のデータと、前記音楽再生手段から前記取得手段経由で前記運転状況データ記録装置に到達する前記テスト音のデータとの間の音強度の差異を推定し、
   前記音楽再生手段は、前記運転状況データ記録装置から前記テスト音の出力要求があったことに基づいて前記車両の室内に前記テスト音を出力するとともに、前記テスト音のデータを前記運転状況データ記録装置に送信することを特徴とする請求項５に記載の運転状況データ記録装置。
7. 乗員の操作に基づいて前記除去手段による音楽除去の実施、不実施を切り替えるスイッチ（１１）を備えることを特徴とする請求項１〜６のいずれか１項に記載の運転状況データ記録装置。

Images