JP2008171344A - 部分時間音響情報記憶装置および音源分離ユーザインタフェース - Google Patents

Abstract

【課題】
事故が起こる以前から、車内の搭乗者の発声状況や車が接触した音などの音信号を録音し、録音した音信号を各音信号に分離する。
【解決手段】
車内に、マイクロフォンアレイ１０４と、車の衝撃を感知し信号化する衝撃センサー１０５と、音声や衝撃音や各種雑音が混在した音信号をデジタル信号化して複数チャンネルで録音する部分時間音響情報記憶処理部１０３とから構成される部分時間音響情報記憶装置１００を設置する。この部分時間音響情報記憶装置１００は、事故前後の車内の音響情報を録音し、また、事故が起きた際に録音した音信号が後で消されないように、記憶部１１１は書込み禁止状態にする。記憶部１１１に録音された音信号は、事故が起きた後に音源分離が実施され、その結果がディスプレイに表示される。
【選択図】 図１

Description

本発明は、マイクロフォンアレイで音声や衝撃音や各種雑音が混在した音信号を録音する部分時間音響情報記憶処理、及び録音した音信号からの音源分離を行う音源分離技術に関する。

近年、車の事故が増加傾向にある。事故の原因を追究する際にも大掛かりな捜査が必要となっている。この要因の一つとして、事故の原因操作は事故が起きてから、ある程度時間が経過した後となり、事故の実態は時間とともに曖昧さが出てくることになる。また車対車、車対人などの事故では、事情聴取した内容が双方で異なり、どちらが正しいのかは明確にわからないケースが多い。そのため事故の原因解明が難航してしまう。

車内での音響情報の録音に関して、衝撃音や運転手が大声を出した際に録音スイッチが入り、そこから録音が開始される技術が、特許文献１に記載されている。

特開２００４−１４２７２０号公報

しかし、接触音が鳴った後や運転手が大声を出した後から録音するのでは、その事故の直前の状況、事故の原因は把握できない。事故の原因は事故前の状況に起因することが多いため、事故の際の音を録音すれば、事故原因の早期解明となる。また、マイクが１つであるため、録音した音声や衝撃音や各種雑音が混在している音信号を録音したテープを聴いた際に、現実の状況を正確に把握することが容易ではない。

本発明は、事故が起こってからではなく、事故前から車内の搭乗者の発声状況や車が接触した音や各種雑音などの音信号を録音することが可能な音響情報記憶装置を提供することを課題とする。

また、本発明は、事故の原因を特定するためなどに録音した音信号から各音信号に分離できることが可能な音源分離インターフェースを提供することを課題とする。

上記課題を解決するために、本発明では、複数のマイクロフォン素子で構成されたマイクロフォンアレイと、車の衝撃を感知し信号化する衝撃センサーと、マイクロフォン素子で音声や衝撃音や各種雑音が混在した音信号をデジタル信号化して複数チャンネルで録音する部分時間音響情報記憶処理部を有した部分時間音響情報記憶装置を車に設置する。この部分時間音響情報記憶装置は、事故の前後の時間の車内の音響情報を録音し、また、事故が起きた際に録音した音信号が後で消されないように、記憶部は書込み禁止状態にする。

また、この部分時間音響情報記憶装置は、衝撃に耐えうる強度を持った媒体によって保護されていることが望ましい。

前記部分時間音響情報記憶装置によって録音された音信号は、事故が起きた後で音源分離を行う。この音源分離では、分離された音信号は事故原因を追求する側が分かりやすいようにユーザインタフェースにより明示的に表示する。

本発明によれば、複数のマイクロフォン素子により事故の前後の車内の音響情報が録音され、また事故が起きた正確な時間も記憶され、これら音響情報と時間は消えないように保護され、事故時の事実の改ざんを防ぐことができる。また録音された音響情報を音源分離ユーザインタフェースにより、事故の原因追求を容易に行うことができる。

本発明の実施の形態について図面を用いて説明する。なお、本発明は、以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

まず、本発明の基本的な概念について説明する。本発明の部分時間音響情報記憶装置では、事故が起きた際に、事故が起きる前後の時間の、車内の音響情報が録音されるよう構成される。そのために、車内に取り付けた複数のマイクロフォン素子により構成されるマイクロフォンアレイにより車内の音響情報を複数チャンネルの音信号として取込み、衝撃センサーが信号を発するまでは常に録音を続ける。

衝撃センサーが信号を発してから暫くは録音を続け、所定の時間Ｔαになると録音を停止し、録音した音響情報にロックをかけ、書き込みができないようにする。こうすることで、事故の前後の車内の音響情報が録音されることになる。事故の原因を追究する上で重要となる事故前の車内の音響情報も録音されている。

なお、以下に詳述する本発明の好適な実施形態においては、事故を感知するための事故感知部として、衝撃センサーを用いているが、車の事故発生を判断できる信号を得られれば、衝撃センサーに制限されることはないことは言うまでもない。

図１は、部分時間音響情報記憶装置の構成の一実施例を示した図である。

図１に示す部分時間音響情報記憶装置１００は、部分時間音響情報処理部１０３と、複数のマイクロフォン素子によって構成されるマイクロフォンアレイ１０４と、１つ以上の衝撃センサー１０５を有している。部分時間音響情報記憶装置１００は、車エンジン１０１と車に備え付けてある時計１０２に接続されている。マイクロフォンアレイ１０４は、車内の音響が入力され、音信号を出力する。衝撃センサー１０５は衝撃を感知したときに信号を発する。

部分時間音響情報記憶処理部１０３は、車エンジン１０１が起動しているか停止しているかの情報を取得する車エンジン起動情報取得部１０６と、プログラムの実行による内部演算処理を行うＣＰＵ(Central Processing Unit)１０７と、部分時間音響情報の録音制御や記憶部１１１へ音響情報書込み禁止制御を行う録音制御部１０８と、時計１０２から時間情報を取得する時間情報取得部１０９と、マイクロフォンアレイ１０４により取得した音信号をデジタル変換する音信号デジタル変換部１１０と、デジタル音信号や時間情報を記憶する記憶部１１１と、所定時間のカウントを行うタイムカウンター１１２と、衝撃センサー１０５からの信号を取得する衝撃センサー信号取得部１１３により構成されている。なお、録音制御部１０８については、その機能説明のため、本実施例では別ブロック構成で説明するが、ＣＰＵ１０７のプログラム処理で構成できることは言うまでもない。そこで、ＣＰＵ１０７と録音制御部１０８とを合わせて制御処理部と呼ぶことがある。

図２は、図１で示した部分時間音響情報処理部１０３の動作フローを示す図である。車エンジン起動情報取得処理２００では車のエンジン１０１が起動しているか停止しているかの情報を、車エンジン情報取得部１０６から取得する。車エンジン起動判定２０１では車エンジン起動情報取得処理２００で取得した車エンジン情報を入力し、起動しているか停止しているかの判定を行い、起動している（ＹＥＳ）と判定された時は記憶部書き込み可能判定２０３に進む。起動していない（ＮＯ）と判定された時は録音制御部信号ＯＮ判定２０２へ進む。

録音制御部信号ＯＮ判定２０２は録音制御部信号がＯＮかどうかを判定する。録音制御信号がＯＮでないという判定した時は、車エンジンが起動されていないということであるため、車エンジン起動情報取得処理２００へ戻る。録音制御信号がＯＮであると判定された時は、音信号が録音されている状態であり、その後停止をしたという行動があったからであり、録音の停止を行うために録音制御信号ＯＦＦ処理２１５へ進む。

車エンジン起動判定２０１でエンジン起動している（ＹＥＳ）と判断された場合、書込み可能判定２０３で、記憶部１１１が書込み可能かどうかを判定する。書込み可能判定２０３で書込みができない（ＮＯ）と判定された時は終了し、可能である（ＹＥＳ）と判定された時は音信号を録音していく。

まず、録音を開始するために録音制御部信号ＯＮ処理２０４を行う。音信号デジタル変換処理２０５ではマイクロフォンアレイ１０４から入力された音信号を、例えば１０〜１５ｋＨｚでサンプリングし、サンプリングされた音信号を音信号デジタル変換部１１０でデジタル変換し、デジタル音信号を出力する。デジタル音信号書込み処理２０６ではこのデジタル変換されたデジタル音信号を入力し、これを記憶部１１１に書込む。入力されるデジタル音信号は複数チャンネルあり、チャンネルごとにデジタル音信号は記憶部１１１に書込まれる。このチャンネル数はマイクロフォンアレイ１０４を構成するマイクロフォン素子数に一致し、２チャンネル以上となる。

衝撃センサー信号取得処理２０７では１つ以上の衝撃センサー１０５からの信号を、信号取得部１１３を介して取得する。衝撃センサー信号ＯＮ判定２０８では衝撃センサー信号取得処理２０７の結果を入力し、衝撃センサー信号がＯＮではないと判定された（ＮＯ）時は車エンジン起動情報取得処理２００に戻る。衝撃センサー信号がＯＮと判定された（ＹＥＳ）時は時間情報取得処理２０９に進む。

時間情報取得処理２０９では衝撃センサー信号がＯＮと判定された時の日付や時間の時間情報を時間情報取得部１０９を介して時計１０２から取得する。時間情報を取得するための時計１０２は、例えば電波時計のように正確な時間を取得できるような時計が望ましい。時間情報書込み処理２１０では時間情報取得処理２０９で取得した時間情報を入力し、この時間情報を記憶部１１１に書込む。

タイムカウンターＯＮ処理２１１では所定時間Ｔαをカウントするためのタイムカウンター１１２をＯＮにし、タイムカウントを始める。時間経過判定２１２ではタイムカウンター１１２がＯＮになってから所定の時間Ｔαが経過したかを判定する。Ｔαの時間が経過していなければ（ＮＯ）、タイムカウントインクリメント処理２１３によりタイムカウントをインクリメントし、音信号デジタル変換処理２１８、デジタル音信号記憶処理２１９を行う。音信号デジタル変換処理２１８は処理２０５と同じであり、デジタル音信号記憶処理２１９は処理２０６と同じである。なお、タイムカウントインクリメント処理２１３はデジタル音信号記憶処理２１９の後でも良い。

時間経過判定２１２において、タイムカウンター１１２の時間が所定時間Ｔαを経過した（ＹＥＳ）時は、記憶部書込み禁止処理２１４に進む。記憶部書込み禁止処理２１４は録音制御部１０８が記憶部１１１にデジタル音信号や時間情報などの情報を書込みできないように書込み禁止信号を送る。この処理により記憶部１１１はロックされた状態となり、書込みできなくなる。こうすることで、衝撃センサー１０５がＯＮになる以前の音信号と衝撃センサー１０５がＯＮになった時の時間とＴαが経過するまでの時間の音信号が記憶部１１１に記憶されたことになる。

続いて、録音制御部信号ＯＦＦ処理２１５では録音を行うための信号がＯＮ状態であるのをＯＦＦ状態にする処理である。記憶部書込み停止処理２１６では記憶部１１１へのデジタル音信号の書込みを停止する。音信号デジタル変換ＯＦＦ処理２１７では、音信号デジタル変換部１１０でのマイクロフォンアレイ１０４からの音信号のデジタル変換を停止する。以上をもって図２に示した部分時間音響情報記憶処理は終了する。

ここで、衝撃センサー１０５の信号がＯＮになったときの正確な時間情報を記憶しておくことには、例えば交差点での車同士の事故があったとして、お互いが青信号であったと言って、どちら側が本当に青信号であったかと判断できない場合に、正確な時間が記憶できていれば、その時間の信号機の信号情報を取得することが可能となるというメリットがある。

次に図２における動作を図３、４に示すタイムチャートにより説明する。図３は車エンジン１０１の起動と記憶部１１１へのデジタル音信号の書込みの動作のタイムチャートを示した図である。車エンジンが起動してから録音制御信号がＯＮとなり、記憶部１１１への書込みが始まる。そして車エンジンが停止してから録音制御信号がＯＦＦとなり記憶部１１１への書込みを停止する。ここで、記憶部１１１は書込める容量が有限であり、時間にしてＴβであるとき、常に最新のＴβの時間の音響情報が記憶部１１１に書き込まれているようにする。例えば記憶部１１１はリングバッファの形式で書き込まれるようにすることに可能であるが、これに限らず、最新のＴβの時間が常に記憶部１１１に書き込まれる形式であればよいどのような構成であっても良い。

次に、図４は車エンジン１０１の起動と衝撃センサー１０５の信号による記憶部１１１へのデジタル音信号の書込み状況の動作のタイムチャートを示した図である。車エンジン１０１が起動してから録音制御信号がＯＮとなり、記憶部１１１への書込みが始まる。そして衝撃センサー１０５の信号がＯＮとなったときから所定の時間Ｔαになるまで、記憶への書込みが続けられる。所定の時間Ｔαが経過してから録音制御信号がＯＦＦとなり、記憶部１１１は書込みを停止し、記憶部１１１は録音制御部１０８から書込み禁止信号を受け、これにより記憶部１１１はこれ以降の書込みが出来ない状態となる。次に車エンジン１０１を起動しても録音制御信号はＯＮとならず、記憶部１１１への書込みも行われない。こうすることで記憶部１１１には衝撃センサー１０５の信号がＯＮになる前後の時間Ｔβの音響情報が記憶されていることとなる。

図５は上述した部分時間音響情報記憶装置１００を車に適用した場合の具体的な実施の形態例を示す図である。車５００の天井部分にマイクロフォンアレイ５０１が設置されている。マクロフォンアレイ５０１は部分時間音響情報記憶処理部５０２の音信号デジタル変換部１１０に接続されている。部分時間音響情報記憶処理部５０２は車５００の中の任意の箇所に収められている。部分時間音響情報記憶処理部５０２の車エンジン起動情報取得部１０６は車エンジンの起動情報を取得できる、例えば起動セルなどのエンジン起動部５０３などに接続されている。１つ以上ｎ個の衝撃センサー５０４１、５０４２…５０４ｎは車５００の任意の場所に設置されている。車５００の外部からの衝撃を感知しやすい箇所に設置されることが望ましい。衝撃センサー５０４１、５０４２…５０４ｎは部分時間音響情報記憶処理部５０２の衝撃センサー信号取得部に接続されている。部分時間音響情報記憶処理部５０２の時間情報取得部に時計５０５が接続されており、時間情報を取得する。

マイクロフォンアレイ５０１は車内の音を集音し音信号を出力する。マイクロフォンアレイ５０１によって出力された音信号は部分時間音響情報記憶処理部５０２の音信号デジタル変換部に入力される。録音の開始は車５００の起動セルなどのエンジン起動部５０３によるエンジン起動によって行われる。部分時間音響情報記憶処理部５０２の車エンジン情報取得部に入力されている車５００のエンジン起動部５０３の信号がＯＦＦになるか、部分時間音響情報記憶処理部５０２の衝撃センサー信号取得部に１つ以上ｎ個の衝撃センサー５０４１、５０４２、…５０４ｎのうちいずれかが信号が入力されてから所定の時間Ｔαの時間が経過するまで、録音は続けられた後に停止される。

そのため、部分時間音響情報記憶処理部５０２は事故の衝撃によって壊れないような、衝撃に耐えうる材質によって保護されていることが必要である。

図６は上述のように録音された音信号を用いた音源分離の基本構成を示す一実施例である。デジタル音信号が記憶されている、図１の記憶部１１１に保存されているデジタル音信号はユーザインタフェース６００の記憶信号取込部６０１によって取り出す。取り出されたデジタル音信号は図示されていない記憶部に記憶され、音源分離部６０２によって音声や衝撃音や各種雑音の各音信号に分離される。音源分離部６０２は例えば特開２００６−２２７３２８号公報に記載されているように構成すれば良い。分離された各音信号は、出力部６０３によって画面表示や音再生される。

なお、このユーザインタフェース６００は、例えば通常の表示部を有するパーソナルコンピュータ（ＰＣ）などで構成する。このユーザインタフェース６００を通常のＰＣで構成した場合、部分時間音響情報記憶装置１００の記憶部１１１に記憶されたデータは、可搬型メモリやネットワーク回線を介して、記憶信号取込部６０１からユーザインタフェース６００の内部に入力され、記憶部に記憶される。記憶信号取込部６０１、記憶部は通常のＰＣの入出力部と記憶部、音源分離部６０２はＣＰＵによるプログラム処理、出力部６０３は例えば表示部を構成するディスプレイである。

図７はこのユーザインタフェースの出力部６０３の表示画面の一実施例を示す図である。ディスプレイ上のウィンドウ７００には音源方向を画像により表示する事故状況表示部７０１と車種表示部７０２と搭乗人数入力部７０３と音源数表示部７０４と音信号再生部７０５により構成される。事故状況表示部７０１には車種表示部７０２に表示された車種の写真または画像７０１ａが表示される。また事故状況表示部７０１には搭乗人数入力部７０３により入力された人数と、図６で示した音源分離部６０２により分離された音声信号と照合し、音声発話者の座席位置に音源マーク７０１ｂおよび７０１ｃを表示する。また図６に示した音源分離部６０２により分離された衝撃音信号の方向に接触位置音源マーク７０１ｄを表示する。音信号再生部７０５には再生ボタン７０５ａと停止ボタン７０５ｂと音信号再生インジゲーター７０５ｃと事故時の日時を示す７０５ｄがある。再生ボタン７０５ａを選択することで図６に示した記憶信号取込部６０１によって取り出されて、複数チャンネルの音信号を混合した音を再生する。停止ボタン７０５ｂは再生を停止する。

また、前期音源マーク７０１ｂおよび７０１ｃ、また接触位置音源マーク７０１ｄの上にカーソルを置きクリックすること音源が選択され、その音源のみの音を再生する。この時、選択された音源マークは色を変えても良い。

さらに前記音源マーク７０１ｄが選択されている状態で再生ボタン７０５ａを選択することで、選択されている音源を強調し、その他の音源の音圧を抑圧した音を出力する。

以上により、事故前の搭乗者がどのような発話をしていたのか、例えば居眠りをしていなかったか、また、車がどの方向で接触し、その時搭乗者はどのような発声をしたのか、さらに、事故後に意識はあったかなど、事故前後の詳しい状況を把握することが可能となる。

本発明の第一の実施例の部分時間音響情報記憶装置の基本構成を示す図。 図１で示した第一の実施例の部分時間音響情報処理部１０３の動作フローを示す図。 図１で示した第一の実施例の車エンジンの起動と記憶部へのデジタル音信号の書込み動作のタイムチャートを示す図。 図１で示した第一の実施例の車エンジンの起動と衝撃センサーの信号による記憶部へのデジタル音信号書込み状況の動作のタイムチャートを示す図。 第一の実施例の部分時間音響情報記憶装置を車に適用した場合の具体的な実施の形態例を示す図。 第一の実施例における録音された音信号を用いた音源分離の基本構成図。 第一の実施例におけるユーザインタフェースの具体例を示す図。

符号の説明

１００…部分時間音響情報記憶装置、１０１…車エンジン、１０２…時計、１０３…部分時間音響情報記憶処理部、１０４…マイクロフォンアレイ、１０５…衝撃センサー、１０６…車エンジン情報取得部、１０７…ＣＰＵ、１０８…録音制御部、１０９…時間情報取得部、１１０…音信号デジタル変換部、１１１…記憶部、１１２…タイムカウンター、１１３…衝撃センサー信号取得部、５００…車。５０１…マイクロフォンアレイ、５０２…部分時間音響情報記憶処理部、５０３…車エンジンの起動情報を取得する手段、５０４１〜５０４ｎ…衝撃センサー、５０５…時計、６００…ユーザインタフェース、６０１…記憶信号取込部、６０２…音源分離部、６０３…出力部、７００…ウィンドウ、７０１…事故状況表示部、７０２…車種表示部、７０３…搭乗人数入力部、７０４…音源数表示部、７０５…音信号再生部。

Claims (7)

1. 車内の音響情報を取得、記憶する部分時間音響記憶装置であって、
   マイクロフォンアレイと、事故感知部と、前記音響情報を録音処理できる部分時間音響情報記憶処理部を有し、
   前記部分時間音響情報記憶処理部は、録音の制御を行う制御処理部と、時間情報を取得する時間情報取得部と、前記事故感知部からの信号を取得する信号取得部と、前記マイクロフォンアレイが出力する音信号をデジタル化する音信号デジタル変換部と、前記音信号デジタル変換部によりデジタル化されたデジタル音信号と前記時間情報を記憶する記憶部とを含み、
   前記制御処理部は、前記事故感知部によって事故が感知された際の前記時間情報と、その前後にわたる前記デジタル音信号を前記記憶部に記憶するよう制御する
   部分時間音響情報記憶装置。
2. 請求項１記載の部分時間音響情報記憶装置であって、
   前記事故感知部は衝撃センサーであり、前記制御処理部は、前記衝撃センサーが衝撃を検出した際の前記時間情報と、その前後にわたる前記デジタル音信号を前記記憶部に記憶するよう制御する
   部分時間音響情報記憶装置。
3. 請求項２記載の部分時間音響情報記憶装置であって、
   前記部分時間音響情報記憶処理部は、車エンジンの起動情報を取得するための車エンジン起動情報取得部を更に有し、
   前記部分時間音響情報記憶処理部は、前記起動情報に基づき、前記車エンジンが起動すると録音を開始し、前記衝撃センサーの信号がＯＮになり所定の時間が経過するまで録音信号を出力し続け、所定の時間が経過した後に録音を停止し、前記衝撃センサーの信号がＯＮとなる時間と、前記衝撃センサーの信号がＯＮとなる前後の所定時間の車内の前記音響情報を録音する
   部分時間音響情報記憶装置。
4. 請求項２記載の部分時間音響情報記憶装置であって、
   前記制御処理部は、
   前記衝撃センサーの信号がＯＮになると、所定時間が経過するまで録音信号を出力し続け、前記所定時間が経過した後に録音を停止し、前記記憶部に書込みを禁止とする書込み禁止信号を送り、前記記憶部がそれ以降の書込みができなくなるよう制御する
   部分時間音響情報記憶装置。
5. 請求項１記載の部分時間音響情報記憶装置であって、
   前記マイクロフォンアレイは、複数のマイクロフォン素子で構成され、前記デジタル音信号は、前記マイクロフォン素子の数に対応したチャンネル数を有し、各チャンネルごとに前記記憶部に記憶される
   部分時間音響情報記憶装置。
6. 車内の音響情報を音源分離して表示する音源分離ユーザインタフェースであって、
   複数のマイクロフォン素子からなるマイクロフォンアレイが出力する音信号をデジタル化した複数のチャンネルのデジタル音信号と時間情報を記憶する記憶部と、
   前期記憶部から取得した、前記デジタル音信号と前記時間情報から、音声や衝撃音や各種雑音の各音信号とその個数とその音源角度に分離する音源分離部と、
   前記音源分離部により分離された前記音信号と前記個数と前記音源角度を出力する出力部を有する
   音源分離ユーザインタフェース。
7. 請求項６記載の音源分離ユーザインタフェースであって、
   前記音源分離部により分離された音源の数を表示する音源数表示部と、前記音源分離部で分離された音信号を出力する音信号再生部を有する
   音源分離ユーザインタフェース。

Images