JP2009157337A - 集音環境判定装置及びそれを備えた電子機器並びに集音環境判定方法 - Google Patents

Abstract

【課題】空気中で集音されたか水中で集音されたかを判定する集音環境判定において、装置の小型化及び低コスト化を図ることができる集音環境判定装置を提供する。
【解決手段】集音した音声信号を利用して、空気中で集音されたか水中で集音されたかを判定する集音環境判定装置６２。集音した音声信号を利用する形態としては、例えば、集音した音声信号における空気中と水中での周波数特性の相違の利用、集音した音声信号における空気中と水中での伝播特性の相違の利用などが挙げられる。
【選択図】図３

Description

本発明は、空気中で集音されたか水中で集音されたかを判定する集音環境判定装置及びそれを備えた電子機器（例えば、撮像装置やＩＣレコーダ等）並びに集音環境判定方法に関する。

従来、防水構造を有し水中での撮影が可能であり、撮影環境が空気中であるか水中であるかを判定する撮影環境判定装置を備えた撮像装置が種々提案されている（例えば、特許文献１及び特許文献２）。

特許文献１において提案されている「防水構造を有するカメラ一体型ＶＴＲ」の一実施形態では、水中であるか否かを機器本体に備えられた圧力センサが検出し、撮影環境を判定している。すなわち、特許文献１において提案されている「防水構造を有するカメラ一体型ＶＴＲ」の一実施形態では、撮影環境が空気中であるか水中であるかを判定する撮影環境判定装置として、水中であるか否かを検出する圧力センサを用いている。

また、特許文献２において提案されている「カメラ」では、投光手段及び受光手段を有する水中判定手段が、水中と空気中とで光の屈折率が異なることを利用して、投光手段から出る光が受光手段に入る量により、水中であるか否かを検出し、撮影環境を判定している。すなわち、特許文献２において提案されている「カメラ」では、撮影環境が空気中であるか水中であるかを判定する撮影環境判定装置として、投光手段及び受光手段を有する水中判定手段を用いている。

特開平７−３０７９０号公報（段落００１２） 特開平７−２８７２８６号公報（段落００２３乃至段落００３０）

上述した特許文献１及び特許文献２で用いられている撮影環境判定装置は、圧力センサや投光手段及び受光手段を有する水中判定手段などの撮影環境判定用の専用部品を新たに設ける必要がある構成であり、撮影環境判定装置を備える機器本体の小型化や低コスト化を困難していた。

また、上述した特許文献１及び特許文献２で用いられている撮影環境判定装置は、撮影環境判定装置を備える機器本体が水中にあるときしか判定を行えないので、撮影・記録の際にしか適用することができず、撮影データを再生する際には適用することができなかった。

本発明は、上記の状況に鑑み、空気中で集音されたか水中で集音されたかを判定する集音環境判定において、装置の小型化及び低コスト化を図ることができる集音環境判定装置及びそれを備えた電子機器並びに集音環境判定方法を提供することを目的とする。

上記目的を達成するために本発明に係る集音環境判定装置は、集音した音声信号を利用して、空気中で集音されたか水中で集音されたかを判定する構成としている。

このような構成によると、集音した音声信号を利用して集音環境判定を行うので、集音環境判定用の専用部品を新たに設ける必要がなく、装置の小型化及び低コスト化を実現することができる。

集音した音声信号を利用する形態としては、例えば、集音した音声信号における空気中と水中での周波数特性の相違の利用、集音した音声信号における空気中と水中での伝播特性の相違の利用などが挙げられる。

また、上記目的を達成するために本発明に係る電子機器は、上記構成の集音環境判定装置を備え、前記集音環境判定装置によって水中で集音されたと判定された場合に水中環境に適した特性補正を行う構成とする。水中環境に適した特性補正の補正対象としては、例えば、集音した音声信号、集音した音声信号とともに記録及び／又は再生される映像信号、映像撮影時のカメラ制御等が挙げられる。

また、上記構成の電子機器において、前記集音環境判定装置によって水中で集音されたと判定された場合に、集音した音声信号に対して利得の抑制及び周波数特性の補正の少なくとも一つを行うようにしてもよい。水中ではノイズに対する受信感度が大きくなるため、音声信号の利得を抑圧することは水中環境に適した特性補正となる。また、水中での減衰量が大きい高周波帯域の音声信号に対して可変フィルタ等による周波数特性の補正（増幅）を行うことは水中環境に適した特性補正となる。

また、上記各構成の電子機器において、集音した音声信号の記録・再生機能を有し、集音した音声信号を記録する際、又は、記録した音声信号を再生する際のいずれかにおいて前記集音環境判定装置が判定処理を行うようにしてもよい。さらに、映像を撮影するカメラを備える撮像装置であって、前記集音環境判定装置によって水中で集音されたと判定された場合に、前記カメラの撮影により得られる映像情報及び前記カメラを制御するためのカメラ制御情報の少なくとも一方に対して水中環境に適した特性補正を行うようにしてもよい。

また、上記各構成の電子機器において、集音環境判定装置の判定結果に関連した情報をユーザに対して明示する機能を有するようにしてもよい。さらに、前記集音環境判定装置が、集音した複数の音声信号を利用し、利用した音声信号毎に空気中で集音されたか水中で集音されたかを判定する装置であり、前記集音環境判定装置での利用した音声信号毎の判定結果が異なっている場合に警告情報をユーザに対して明示するようにしてもよい。

これにより、例えば、集音環境判定が適切に行われている事をユーザに明示できると共に、集音環境判定に関連する有効情報をユーザに提供することが可能となる。

また、上記各構成の電子機器の一例としては、映像を撮影するカメラを備える撮像装置が挙げられる。

上記目的を達成するために本発明に係る集音環境判定方法は、集音した音声信号を利用して、空気中で集音されたか水中で集音されたかを判定するようにする。

本発明によると、空気中で集音されたか水中で集音されたかを判定する集音環境判定において、集音した音声信号を利用するので、集音環境判定用の専用部品を新たに設ける必要がない。したがって、当該集音環境判定において、装置の小型化及び低コスト化を図ることができる。

本発明の実施形態について図面を参照して以下に説明する。

空気中で集音されたか水中で集音されたかを判定する集音環境判定において、装置の小型化及び低コスト化を実現するために、本発明に係る集音環境判定方法は、集音した音声信号を利用する。集音した音声信号を利用して集音環境判定を行うので、集音環境判定用の専用部品を新たに設ける必要がなく、装置の小型化及び低コスト化を実現することができる。集音した音声信号を利用する形態としては、例えば、集音した音声信号における空気中と水中での周波数特性の相違の利用、集音した音声信号における空気中と水中での伝播特性の相違の利用などが挙げられる。

また、本発明に係る集音環境判定方法は、集音した音声信号を利用して集音環境判定を行うので、集音した音声信号を記録する際だけでなく、すでに集音・記録された音声信号を再生する際にも適用できる。

以下では、本発明に係る集音環境判定方法を集音した音声信号を記録する際に適用した集音環境判定装置を搭載した撮像装置（例えば、ビデオカメラ、デジタルカメラなど）を例に挙げて説明する。

図１は、本発明に係る集音環境判定装置を搭載した撮像装置の一内部構成例を示すブロック図である。

図１に示す撮像装置は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、撮像装置の前方の左右方向から入力された音声を独立して電気信号に変換するステレオマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、階調補正等の各種画像処理を施す画像処理部５と、ステレオマイク４からのアナログ信号である音声信号に対してデジタル信号に変換するとともに音声補正処理を施す音声処理部６と、画像処理部５からの画像信号及び音声処理部６からの音声信号それぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、ユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。なお、ＣＰＵ１７は、画像処理部５で検出した画像信号に応じて、レンズ部２内の各モータを駆動して焦点、絞りの制御を行う。

音声処理部６は、本発明に係る集音環境判定装置と、本発明に係る集音環境判定装置が水中で集音されたと判定した場合に集音した音声信号に対して水中環境に適した特性補正を行う水中特性補正装置とを備えている。小型化及び低コスト化の観点から、音声処理部６単独または音声処理部６に圧縮処理部７内の音声圧縮符号化器を含めたものは、１パッケージ化されたＬＳＩパッケージになっていることが望ましい。

次に、図１に示す撮像装置の動画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが操作部１９を操作して撮像装置を動画撮影用に設定して電源をＯＮにすると（ＳＴＥＰ１）、撮像装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ２）。続いて撮影モードの入力待ち状態となる。撮影モードが入力されない場合は通常撮影用のモードが選択されたものとする（ＳＴＥＰ３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、操作部１９を操作すると、その操作に応じた光学ズームでのズーム倍率が設定される（ＳＴＥＰ４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ５）。

その後、操作部１９の録画開始ボタン（静止画撮影用のシャッターボタンと兼用でも構わない）が全押しされ、録画動作の開始が指示されると（ＳＴＥＰ６のＹ）、録画動作が開始され、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３に出力される。このとき、イメージセンサ１では、ＴＧ１６からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ３において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部５内のフレームメモリに書き込まれる（ＳＴＥＰ７）。

画像処理部５では輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、その画像処理が施された画像信号が圧縮処理部７に与えられる。一方、音声処理部６では、ステレオマイク４に音声入力されることで得られたアナログ信号である音声信号に対してＡ／Ｄ変換処理が施されるとともに、空気中で集音されたか水中で集音されたかを判定し、水中で集音されたと判定した場合に集音した音声信号に対して水中環境に適した特性補正を行う音声処理が施され、その音声処理が施された音声信号が圧縮処理部７に与えられる（ＳＴＥＰ８）。この音声処理については後述する。

圧縮処理部７では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化し（ＳＴＥＰ９）、ドライバ部８に与えて、外部メモリ２２に記録させる（ＳＴＥＰ１０）。また、このとき、外部メモリ２２に記録された圧縮データがドライバ部８によって読み出されて伸長処理部９に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部１２に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。その後、再び操作部１９の録画開始ボタンが全押しされ、録画動作の終了が指示されると（ＳＴＥＰ１１のＹ）プレビューモードに戻る（ＳＴＥＰ２）。

このような撮像動作を行うとき、ＴＧ１６によって、ＡＦＥ３、画像処理部５、音声処理部６、圧縮処理部７、及び伸長処理部９に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。

また、外部メモリ２２に記録された圧縮動画データを再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮動画データは、ドライバ部８によって読み出されて伸長処理部９に与えられる。そして、伸長処理部９において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生されるとともに、音声信号が音声出力回路部１３を介してスピーカ部１５に与えられて音声が再生される。これにより、外部メモリ２２に記録された圧縮動画データに基づく画像が音声とともに再生される。

次に、音声処理部６の具体例として３つの実施形態（第１実施形態〜第３実施形態）を示し、各実施形態の音声処理部６が図２のＳＴＥＰ８において実施する音声処理について説明する。

＜第１実施形態＞
第１実施形態の音声処理部６は、図３に示すように、ステレオマイク４から出力された二つの音声信号（Ｒｃｈ，Ｌｃｈ）をそれぞれデジタル信号に変換するＡ／Ｄ変換部６１と、Ａ／Ｄ変換部６１から出力された二つの音声信号を基に空気中で集音されたか水中で集音されたかを判定する集音環境判定装置６２と、集音環境判定装置６２が水中で集音されたと判定した場合に集音した音声信号に対して水中環境に適した特性補正を行う水中特性補正装置６３とを備える。

図４に示す空気中で集音された音声の周波数特性と図５に示す水中で集音された音声の周波数特性を比較すれば明らかなとおり、水中における音声信号の周波数特性は、空気中と比べて高周波帯域の減衰が大きく、低周波帯域にパワーが集中する事が分かっている。そこで、集音環境判定装置６２は、音声信号における空気中と水中での周波数特性の相違を利用して、空気中で集音されたか水中で集音されたかを判定する。

以下、集音環境判定装置６２が実行する判定方法の一例について説明する。Ａ／Ｄ変換部６１から出力された二つの音声信号を対象として、低帯域（例えば、数十（７０）Ｈｚ〜３ｋＨｚ）、中帯域（例えば、６ｋＨｚ〜９ｋＨｚ）、高帯域（例えば、１２ｋＨｚ〜１５ｋＨｚ）の各帯域で信号レベルの平均値を算出する。尚、各帯域の具体的数値は上記の例に限らず、各帯域相互の大小関係が正しければ問題ない。また、低帯域と中帯域が一部重複していてもよく、中帯域と高帯域が一部重複していてもよい。

その各帯域における信号レベルの平均値から算出することが可能な、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２、及び、高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、ステレオマイク４を空気中から水中に挿入し再び空気中に戻した場合図１１に示すような時間変化を示す。図１１中の期間Ｔ１及びＴ３はステレオマイク４が空気中に位置する期間であり図１１中の期間Ｔ２はステレオマイク４が水中に位置する期間である。高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、空気中、水中に関係なく、ほぼ一定値である。これに対し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、空気中では小さい値であるが、水中では受音感度が変化し、空気中の場合と比べて大幅に大きな値になる。

このことを利用して、集音環境判定装置６２は、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を各帯域における信号レベルの平均値から算出し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が閾値以上に大きくなった場合に水中であると判定する。判定精度は劣ることになるが、中帯域における信号レベルの平均値及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を算出せず、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１が閾値以上に大きくなった場合に水中であると判定すること、或いは、高帯域における信号レベルの平均値及び高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１を算出せず、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が閾値以上に大きくなった場合に水中であると判定することも可能である。

なお、水中においても、気泡の音や筐体のこすれ音によって突発的なノイズが発生し、中帯域及び高帯域の信号レベルが瞬間的に大きくなり、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が瞬間的に小さな値になる可能性がある。そのため、集音環境判定装置６２が判定に使用する高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、一定時間において平均をとった値を用いることが望ましい。

また、閾値に関しては、ヒステリシス特性を持たせ、空気中であると判定している間は閾値を高く、水中であると判定している間は閾値を低く設定することが望ましい。

水中特性補正装置６３は、集音環境判定装置６２によって水中で集音されたと判定された場合に、集音した音声信号に対して水中環境に適した特性補正を行い、集音環境判定装置６２によって空気中で集音されたと判定された場合に、スルー処理を行う。ここでは、水中環境に適した特性補正として、利得の抑圧及び周波数特性の補正を行う。水中ではノイズに対する受信感度が大きくなるため、音声信号の利得を抑圧することは水中環境に適した特性補正となる。また、減衰量が大きい高周波帯域に対して可変フィルタ等による周波数特性の補正（増幅）を行うことは水中環境に適した特性補正となる。

このような音声処理によると、集音した音声信号を利用して集音環境判定を行うので、集音環境判定用の特別な操作や集音環境判定用の専用部品を用いずに集音環境判定を行うことができる。また、音声信号における空気中と水中での周波数特性の相違が大きいため、判定精度の高精度化が見込め、誤判定により空気中で集音された音声信号に対して水中環境に適した特性補正が施されることを防止することが期待できる。そして、水中で集音された音声信号に対して水中環境に適した特性補正が施されるので、水中環境に適した音声情報を得ることが可能となり、その水中環境に適した音声情報を圧縮処理部７で圧縮して外部メモリ２２に記録することができる。

＜第２実施形態＞
第２実施形態の音声処理部６は、図６に示すように、ステレオマイク４から出力された二つの音声信号（Ｒｃｈ，Ｌｃｈ）をそれぞれデジタル信号に変換するＡ／Ｄ変換部６１と、Ａ／Ｄ変換部６１から出力された二つの音声信号及びＣＰＵ１７から出力された時間情報を基に空気中で集音されたか水中で集音されたかを判定する集音環境判定装置６２ａと、集音環境判定装置６２ａが水中で集音されたと判定した場合に集音した音声信号に対して水中環境に適した特性補正を行う水中特性補正装置６３とを備える。

水中における音声信号の伝播特性として、空気中と比べて音速が大きく異なる事が知られている。一般的に、空気中での音速は３４４ｍ／ｓであり、水中での音速は１５００ｍ／ｓと言われている。そこで、集音環境判定装置６２ａは、音声信号における空気中と水中での伝播特性の相違を利用して、空気中で集音されたか水中で集音されたかを判定する。

集音環境判定装置６２ａにおいて音速を測定するために、図１に示す撮像装置における駆動音を用いる。ここでは、図１に示す撮像装置における駆動音の一例として、レンズ部２内の光学ズーム倍率を変化させるモータの駆動音を用いることにする。レンズ部２内の光学ズーム倍率を変化させるモータの駆動を操作部１９の出力に応じて制御するＣＰＵ１７は、レンズ部２内の光学ズーム倍率を変化させるモータの駆動タイミングについて時間管理を行い、その情報を集音環境判定装置６２ａに提供する。レンズ部２内の光学ズーム倍率を変化させるモータの駆動音は、図１に示す撮像装置における駆動音（自己発生駆動音）としてステレオマイク４によって集音される。そして、集音環境判定装置６２ａにおいて、ＣＰＵ１７から提供されたレンズ部２内の光学ズーム倍率を変化させるモータの駆動タイミングに関する時間情報と、ステレオマイク４によって集音された自己発生駆動音（レンズ部２内の光学ズーム倍率を変化させるモータの駆動音）の集音時間とに基づいて、自己発生駆動音の伝達速度が測定される。図１に示す撮像装置において、空気中での自己発生駆動音の伝達速度はあらかじめ得られる事から、空気中で集音されたか水中で集音されたかを判定することが可能である。

水中特性補正装置６３に関しては、第１実施形態と同様であるため、ここでは説明を省略する。

このような音声処理によると、第１実施形態における音声処理と同様に、集音した音声信号を利用して集音環境判定を行うので、集音環境判定用の特別な操作や集音環境判定用の専用部品を用いずに集音環境判定を行うことができる。そして、水中で集音された音声信号に対して水中環境に適した特性補正が施されるので、水中環境に適した音声情報を得ることが可能となり、その水中環境に適した音声情報を圧縮処理部７で圧縮して外部メモリ２２に記録することができる。また、自己発生駆動音の発生時間をＣＰＵ１７が管理し、その情報を音声処理部６に提供しているので、音声処理部６がノイズ除去フィルタ等によりその情報を利用して自己発生駆動音ノイズの低減処理を行うようにしても良い。

＜第３実施形態＞
第３実施形態の音声処理部６は、図７に示すように、ステレオマイク４から出力された二つの音声信号（Ｒｃｈ，Ｌｃｈ）をそれぞれデジタル信号に変換するＡ／Ｄ変換部６１と、Ａ／Ｄ変換部６１から出力された二つの音声信号及びＣＰＵ１７から出力された時間情報を基に空気中で集音されたか水中で集音されたかを判定する集音環境判定装置６２ｂと、集音環境判定装置６２ｂが水中で集音されたと判定した場合に集音した音声信号に対して水中環境に適した特性補正を行う水中特性補正装置６３とを備える。

集音環境判定装置６２ｂは、音声信号における空気中と水中での周波数特性の相違及び伝播特性の相違の組み合わせにより、空気中で集音されたか水中で集音されたかを判定する判定装置であり、音声信号における空気中と水中での周波数特性の相違を利用して、空気中で集音されたか水中で集音されたかを判定する第１判定部６２１と、音声信号における空気中と水中での伝播特性の相違を利用して、空気中で集音されたか水中で集音されたかを判定する第２判定部６２２と、第１判定部６２１及び第２判定部６２２がともに水中で集音されたと判定した場合に水中で集音されたという判定結果を水中特性補正部６３に提供する総合判定部６２３とを有する。

第２判定部６２２が行う音声信号における空気中と水中での伝播特性の相違を利用した判定は、第２実施形態と同様に、図１に示す撮像装置における駆動音の伝達速度を利用したものであってもよいが、それ以外のもの、例えば、ステレオマイク４間における到達時間の差より生じる位相差を利用したものであってもよい。

図８に示すように、ステレオマイク４を構成する２個のマイク４Ｒ、４Ｌに対して特定の方向から音が到来した場合、音の到来が音源からそれぞれのマイク４Ｒ、４Ｌまでの行路差ｄだけずれることとなる。この行路差ｄを音速で除算するとステレオマイク４間における到達時間の差が得られるが、一般的に、空気中での音速は３４４ｍ／ｓであり、水中での音速は１５００ｍ／ｓと言われているので、空気中でのステレオマイク４間における到達時間の差により生じる位相差と水中でのステレオマイク４間における到達時間の差により生じる位相差とは相違する。この位相差の相違を利用して、空気中で集音されたか水中で集音されたかを判定することが可能である。この場合、ＣＰＵ１７から第２判定部６２２への時間情報の提供は不要である。また、ステレオマイクを用いる代わりに、ステレオマイク以外のマイクアレイ（例えば５．１ｃｈサラウンド録音対応マイク）を用いても、マイクアレイ間における到達時間の差より生じる位相差を利用して集音環境判定を行うことができる。

水中特性補正装置６３に関しては、第１実施形態と同様であるため、ここでは説明を省略する。

このような音声処理によると、第１実施形態における音声処理と同様に、集音した音声信号を利用して集音環境判定を行うので、集音環境判定用の特別な操作や集音環境判定用の専用部品を用いずに集音環境判定を行うことができる。そして、水中で集音された音声信号に対して水中環境に適した特性補正が施されるので、水中環境に適した音声情報を得ることが可能となり、その水中環境に適した音声情報を圧縮処理部７で圧縮して外部メモリ２２に記録することができる。

なお、集音環境判定装置６２ｂにおける集音環境判定手法の組み合わせとしては、上述した音声信号の周波数特性の相違を利用した集音環境判定と音声信号の伝播特性の相違を利用した集音環境判定との組み合わせ以外に、音声信号の周波数特性の相違を利用した集音環境判定又は音声信号の伝播特性の相違を利用した集音環境判定と集音した音声信号を利用した他の集音環境判定との組み合わせであっても良く、集音した音声信号を利用した他の複数種類の集音環境判定の組み合わせであっても良い。さらに、集音した音声信号を利用した集音環境判定と集音した音声信号を利用しない集音環境判定（例えば、従来技術である圧力センサを利用した集音環境判定）との組み合わせを採用することも可能である。集音した音声信号を利用した集音環境判定と集音した音声信号を利用しない集音環境判定との組み合わせを採用した電子機器は、撮影環境判定用の専用部品を全く用いない集音した音声信号を利用した集音環境判定のみの組み合わせを採用した電子機器には及ばないが、撮影環境判定用の専用部品を用いる従来の集音環境判定（例えば、特許文献２の圧力センサを利用した集音環境判定）と撮影環境判定用の専用部品を用いる従来の集音環境判定（例えば、特許文献３の投光手段及び受光手段を有する水中判定手段を利用した集音環境判定）との組み合わせを採用した電子機器に比べると、小型化及び低コスト化を図ることができる。したがって、集音した音声信号を利用した集音環境判定と集音した音声信号を利用しない集音環境判定との組み合わせを採用した電子機器も本発明に含まれる。

本実施形態における音声処理のように、複数の集音環境判定手法を組み合わせる事で、判定精度の更なる高精度化が見込め、誤判定により空気中で集音された音声信号に対して水中環境に適した特性補正が施されることを防止することがより一層期待できる。

次に、ディスプレイ部１２での集音環境判定に関する表示について説明する。

図１に示す撮像装置において、音声処理部６内の集音環境判定装置による集音環境判定の結果がＣＰＵ１７に提供され、音声処理部６内の集音環境判定装置による集音環境判定が水中で集音されたとの結果である場合、ＣＰＵ１７の制御により、ビデオ出力回路部１０が、伸長処理部９で復号されて得られた画像信号に「水中撮影モード」や「水中記録時間」等の文字情報を重畳させるようにしてもよい。

また、図１に示す撮像装置において、集音環境が水中から空中へと変化した際に、環境変化に伴って集音環境判定の結果の切り替わりが適切に行われない場合に、利用者に対して警告表示を行うようにしてもよい。

例えば、第１実施形態の音声処理部６を図９のように変形することで、集音環境が水中から空気中へと変化した際に、環境変化に伴って集音環境判定の結果の切り替わりが適切に行われない場合を検知することができる。

集音環境判定装置６２ｃは、右チャンネル（Ｒｃｈ）の音声信号における空気中と水中での周波数特性の相違を利用して、空気中で集音されたか水中で集音されたかを判定するＲｃｈ判定部６２４と、左チャンネル（Ｌｃｈ）の音声信号における空気中と水中での周波数特性の相違を利用して、空気中で集音されたか水中で集音されたかを判定するＬｃｈ判定部６２５と、Ｒｃｈ判定部６２４及びＬｃｈ判定部６２５がともに水中で集音されたと判定した場合に水中で集音されたという判定結果を水中特性補正部６３に提供する総合判定部６２６とを有する。

総合判定部６２６は、Ｒｃｈ判定部６２４の判定結果とＬｃｈ判定部６２５の判定結果が異なる場合に警告信号をＣＰＵ１７に出力する。ＣＰＵ１７は総合判定部６２６から警告信号を受け取ると、ビデオ出力回路部１０を制御し、伸長処理部９で復号されて得られた画像信号に「集音環境判定エラー」等の文字情報を重畳させる。これにより、Ｒｃｈ判定部６２４の判定結果とＬｃｈ判定部６２５の判定結果が異なる場合にディスプレイ部１２が警告表示を行うことができる。例えば、集音環境が水中から空気中へと変化した際に、ステレオマイク４のＲｃｈマイク及びＬｃｈマイクのいずれか一方のみの水切れが不十分である場合、Ｒｃｈ判定部６２４の判定結果とＬｃｈ判定部６２５の判定結果が異なることになる。なお、ステレオマイクを用いる代わりに、ステレオマイク以外のマイクアレイ（例えば５．１ｃｈサラウンド録音対応マイク）を用いても同様の警告表示が可能である。

上記のような集音環境判定に関する表示をディスプレイ部１２が行うことによって、集音環境判定が適切に行われている事をユーザに明示できると共に、集音環境判定に関連する有効情報をユーザに提供することが可能となる。なお、集音環境判定に関連した情報のユーザに対する明示は、ディスプレイ部１２の表示以外の手段によって実現しても良い。例えば、「水中撮影モード」で有る場合に点灯する「水中撮影モード」表示用ＬＥＤや、Ｒｃｈ判定部６２４の判定結果とＬｃｈ判定部６２５の判定結果が異なる場合に点灯する警告用ＬＥＤを設けることによっても、集音環境判定に関連した情報をユーザに対して明示することができる。

また、Ｒｃｈ判定部６２４の判定結果とＬｃｈ判定部６２５の判定結果が異なる場合に、上記のような警告表示に代えて、又はそれに加えて、モノラル信号補正処理を行うようにしてもよい。

ここでは、Ｒｃｈ判定部６２４の判定結果とＬｃｈ判定部６２５の判定結果が異なる場合に、上記のような警告表示に代えて、モノラル信号補正処理を行う実施例について説明する。当該実施例では、第１実施形態の音声処理部６を図１２のように変形する。

集音環境判定装置６２ｄは、右チャンネル（Ｒｃｈ）の音声信号における空気中と水中での周波数特性の相違を利用して、空気中で集音されたか水中で集音されたかを判定するＲｃｈ判定部６２４と、左チャンネル（Ｌｃｈ）の音声信号における空気中と水中での周波数特性の相違を利用して、空気中で集音されたか水中で集音されたかを判定するＬｃｈ判定部６２５とを有する。

集音環境判定履歴部６４は、Ｒｃｈ判定部６２４での判定結果とＬｃｈ判定部６２５での判定結果の履歴を対にして記憶している。

右チャンネル（Ｒｃｈ）の音声信号と左チャンネル（Ｌｃｈ）の音声信号から成るステレオ信号に対して、Ｒｃｈ判定部６２４及びＬｃｈ判定部６２５で集音環境判定処理を行った結果、一方のチャンネルの判定部では水中であると判定され、もう一方のチャンネルの判定部では水中ではないと判定される場合がある。例えば、図１に示す撮像装置を水中からを取り出し、空気中に戻したが、ステレオマイク４のＲｃｈマイク及びＬｃｈマイクのいずれか一方のみの水切れが不十分で水が残っている場合や、浅瀬などで撮影していて、ステレオマイク４のＲｃｈマイク及びＬｃｈマイクのいずれか一方のみが水面に出てしまっている場合などが想定される。このとき、ＲｃｈとＬｃｈで異なる周波数特性の音が集音されるため、そのまま記録・再生すると違和感がある。

そこで、複製判定・複製処理部６５は、右チャンネル（Ｒｃｈ）の音声信号と左チャンネル（Ｌｃｈ）の音声信号から成るステレオ信号に対して、Ｒｃｈ判定部６２４及びＬｃｈ判定部６２５で集音環境判定処理を行った結果、一方のチャンネルの判定部では水中であると判定され、もう一方のチャンネルの判定部では水中ではないと判定された場合、どちらか一方のチャンネルの信号を、もう一方のチャンネルに複製し、モノラル信号として補正し、そのモノラル信号を音声処理部６の出力信号とする。

どちらのチャンネルの信号を複製するかは、集音環境判定履歴部６４に記憶されている過去の集音環境判定結果を参照して決定する。例えば、過去数秒間の判定結果が両チャンネルとも水中であった場合、続けて水中である可能性が高いため、水中であると判定されたチャンネルの音声信号を、もう一方のチャンネル(水中ではないと判定されたチャンネル)に複製する。また、過去の判定結果だけでなく、時間的に後の判定結果を参照することで、水中と空気中の間での出し入れを行っているかどうかなどの状況を把握することができる。なお、複製判定・複製処理部６５は、Ｒｃｈ判定部６２４及びＬｃｈ判定部６２５の両方において水中であると判定された場合に、集音した音声信号に対して水中環境に適した特性補正を行う水中特性補正機能を有していることが望ましい。

上述した図１に示す撮像装置は、本発明に係る集音環境判定方法を集音した音声信号を記録する際に適用した集音環境判定装置を搭載した撮像装置であり、水中で集音されたと判定された場合に集音した音声信号に対して水中環境に適した特性補正が施され、その特性補正が施された音声信号を圧縮して外部メモリ２２に記録している。

しかし、本発明に係る集音環境判定方法は、集音した音声信号を利用して集音環境判定を行うため、必ずしも集音した音声信号を記録する際に水中判定を行う必要は無く、集音した音声信号を利用して再生する際に集音環境判定を行うこと、すなわち、集音した音声信号を記録・再生し、その再生した音声信号を利用して集音環境判定を行うことも可能である。つまり本発明では、集音環境判定が行われる時期が集音した音声信号を記録する際に限定されず、音声信号を再生する際であっても良い。上記の通り、本発明に係る集音環境判定方法では、集音環境判定が行われる時期が集音した音声信号を記録する際に限定されないため、映像及び音声情報を利用して行う他の処理に応じて、集音した音声信号を記録する際又は記録した音声信号を再生する際のいずれかに集音環境判定を行うことが可能となる。

以下では本発明に係る集音環境判定方法を再生時に適用した集音環境判定装置を搭載した撮像装置について説明する。

図１０は、本発明に係る音声再生装置を搭載した撮像装置の他の内部構成例を示すブロック図である。なお、図１０において図１と実質上同一の部分には同一の符号を付している。

図１０に示す撮像装置が図１に示す撮像装置と異なる点は、音声処理部６の代わりに音声処理部６ａを設け、さらに、伸長処理部９と音声出力回路部１３との間に音声処理部６ｂを設けている点である。

音声処理部６ａは、音声処理部６と異なり、ステレオマイク４からのアナログ信号である音声信号に対してＡ／Ｄ変換は行うが、本発明に係る集音環境判定装置と、本発明に係る集音環境判定装置が水中で集音されたと判定した場合に集音した音声信号に対して水中環境に適した特性補正を行う水中特性補正装置とを備えていない構成である。

また、音声処理部６ａは、ＣＰＵ１７からレンズ部２内の光学ズーム倍率を変化させるモータの駆動タイミングに関する時間情報を受け取り、その時間情報をインデックスとして付加した音声信号を圧縮処理部７に出力するようにしてもよい。

音声処理部６ｂは、Ａ／Ｄ変換部を備えてない点と、外部からのレンズ部２内の光学ズーム倍率を変化させるモータの駆動タイミングに関する時間情報を受け取るのではなく、必要に応じて音声信号に付加されているインデックスから時間情報を取得する点とを除き、音声処理部６と同様の構成である。音声処理部６ｂにおいて行われる音声処理は、基本的に音声処理部６において行われる音声処理と同様であるので、ここでは説明を省略する。

上述した図１又は図１０に示す撮像装置では、水中で集音されたと判定した場合に、集音した音声信号（集音した音声信号を記録、再生したものを含む）に対して、水中環境に適した特性補正として利得の抑圧及び周波数特性の補正を行ったが、それらの一部若しくは全部に代えて、又はそれらに加えて、スムージング処理、ズーム処理中における利得の抑制、メモリ１８に予め記憶している音声データ或いは前フレームデータの利用、及び、オートゲインコントロールのレスポンス速度を上げることによるクリックノイズの抑制の少なくとも一つを行うようにしてもよい。

また、上述した図１又は図１０に示す撮像装置では、水中で集音されたと判定した場合に、集音した音声信号（集音した音声信号を記録、再生したものを含む）に対して、水中環境に適した特性補正を行ったが、それに代えて、又は、それに加えて、水中で集音されたと判定された場合に撮影した映像信号（撮影した映像信号を記録、再生したものを含む）に対して水中環境に適した特性補正や撮影時のカメラ制御に対して水中環境に適した特性補正を行ってもよい。

また、ユーザが操作部１９の操作により、通常モードと水中モードとを設定することができるようにしてもよい。通常モードは水中環境に適した補正処理を行わないモードであり、水中モードは水中環境に適した補正処理を行うモードである。

この場合、集音した音声信号を利用した集音環境判定の結果に基づく補正処理と、通常モード／水中モードのユーザ設定とが一致しないことがある。ユーザがモードを切り替え忘れた際でも自動的に適切な処理が実行されるようにする観点からは、集音した音声信号を利用した集音環境判定の結果に基づく補正処理を通常モード／水中モードのユーザ設定よりも優先するようにすればよい。一方、例えば、図１に示す撮像装置において水中で集音する際でも音声信号を生データで記録したいというユーザの要求に対応する観点からは、通常モード／水中モードのユーザ設定を集音した音声信号を利用した集音環境判定の結果に基づく補正処理よりも優先するようにすればよい。なお、どちらを優先するかを操作部１９の操作によって変更可能にしていることが望ましい。

また、水中で集音されたと判定された場合に、集音した音声信号に対して水中環境に適した特性補正を行うが、撮影した映像信号に対する水中環境に適した特性補正や撮影時のカメラ制御に対する水中環境に適した特性補正は行わないようにすれば、映像に関連するブロックは特に必要ない。したがって、本発明は、撮像装置以外の電子機器、例えば、音声記録装置、音声再生装置、音声記録再生装置（例えばＩＣレコーダ）等にも適用することができる。

また、本発明に係る集音環境判定装置を搭載した電子機器は、防水構造であることが望ましいが、防水構造でなくても例えば防水ハウジングに収納し防水仕様の外部マイクによって集音した音声信号を入力するというような使用法を採用することが可能である。

本発明は、音声信号を記憶及び／又は再生する電子機器（例えば、撮像装置やＩＣレコーダ）等に適用可能である。

は、本発明に係る集音環境判定装置を搭載した撮像装置の一内部構成例を示すブロック図である。 は、図１に示す撮像装置の動画撮影時の基本動作を説明するためのフローチャートである。 は、第１実施形態の音声処理部の構成を示すブロック図である。 は、空気中における音声の周波数特性を示す図である。 は、水中における音声の周波数特性を示す図である。 は、第２実施形態の音声処理部の構成を示すブロック図である。 は、第３実施形態の音声処理部の構成を示すブロック図である。 は、マイクと音源との位置関係について説明するための模式図である。 は、第１実施形態の音声処理部の変形例を示すブロック図である。 は、本発明に係る集音環境判定装置を搭載した撮像装置の他の内部構成例を示すブロック図である。 は、空気中と水中における音声の周波数特性の相違を示す図である。 は、第１実施形態の音声処理部の他の変形例を示すブロック図である。

符号の説明

１ 固体撮像素子（イメージセンサ）
２ レンズ部
３ ＡＦＥ
４ ステレオマイク
４Ｌ、４Ｒ マイク
５ 画像処理部
６、６ａ、６ｂ 音声処理部
７ 圧縮処理部
８ ドライバ部
９ 伸長処理部
１０ ビデオ出力回路部
１１ ビデオ出力端子
１２ ディスプレイ部
１３ 音声出力回路部
１４ 音声出力端子
１５ スピーカ部
１６ タイミングジェネレータ（ＴＧ）
１７ ＣＰＵ
１８ メモリ
１９ 操作部
２０、２１ バス回線
２２ 外部メモリ
６１ Ａ／Ｄ変換部
６２、６２ａ〜６４ｄ 集音環境判定装置
６３ 水中特性補正装置
６４ 集音環境判定履歴部
６５ 複製判定・複製処理部
６２１ 第１判定部
６２２ 第２判定部
６２３、６２６ 総合判定部
６２４ Ｒｃｈ判定部
６２５ Ｌｃｈ判定部

Claims (10)

1. 集音した音声信号を利用して、空気中で集音されたか水中で集音されたかを判定することを特徴とする集音環境判定装置。
2. 空気中と水中での音声信号における周波数特性の相違、及び、空気中と水中での音声信号における伝播特性の相違の少なくとも一つを利用して、空気中で集音されたか水中で集音されたかを判定する請求項１に記載の集音環境判定装置。
3. 請求項１又は請求項２に記載の集音環境判定装置を備え、
   前記集音環境判定装置によって水中で集音されたと判定された場合に水中環境に適した特性補正を行うことを特徴とする電子機器。
4. 前記集音環境判定装置によって水中で集音されたと判定された場合に、集音した音声信号に対して利得の抑制及び周波数特性の補正の少なくとも一つを行う請求項３に記載の電子機器。
5. 集音した音声信号の記録・再生機能を有し、
   集音した音声信号を記録する際、又は、記録した音声信号を再生する際のいずれかにおいて前記集音環境判定装置が判定処理を行う請求項３又は請求項４に記載の電子機器。
6. 映像を撮影するカメラを備える撮像装置であって、
   前記集音環境判定装置によって水中で集音されたと判定された場合に、前記カメラの撮影により得られる映像情報及び前記カメラを制御するためのカメラ制御情報の少なくとも一方に対して水中環境に適した特性補正を行う請求項５に記載の電子機器。
7. 前記集音環境判定装置の判定結果に関連した情報をユーザに対して明示する機能を有する請求項３〜６のいずか１項に記載の電子機器。
8. 前記集音環境判定装置が、集音した複数の音声信号を利用し、利用した音声信号毎に空気中で集音されたか水中で集音されたかを判定する装置であり、
   前記集音環境判定装置での利用した音声信号毎の判定結果が異なっている場合に警告情報をユーザに対して明示する請求項７に記載の電子機器。
9. 映像を撮影するカメラを備える撮像装置である請求項３、４、５、７、及び８のいずれか１項に記載の電子機器。
10. 集音した音声信号を利用して、空気中で集音されたか水中で集音されたかを判定することを特徴とする集音環境判定方法。

Images