JP2009130854A - 音声信号処理装置、音声信号処理方法及び撮像装置 - Google Patents

Abstract

【課題】撮影対象を強調して音声処理するサラウンドズーム特性を得る。
【解決手段】３ヶの全指向性マイクロホンを所定の間隔を空けて配置する。マイクロホン７、８及び９と、それらが生成する音声信号を加算して全周方向音声信号１０５ａを生成し、マイクロホン８及び９が生成する音声信号を減算して左右方向指向性の音声信号１０５ｂを生成し、マイクロホン７が生成する音声信号から第２の加算部が加算した音声信号を減算して前後方向の指向性を有する音声信号１０５ｃを生成し、それぞれに所定の係数を乗算して得た音声信号を加算して単一指向性の音声信号を生成する複数チャンネルの出力部３２ａ〜３２ｅとを備える音声信号処理装置において、前記マイクロホン出力音声信号の利得と複数チャンネル出力部３２ａ〜３２ｅで加算するそれぞれの音声信号の所定の係数とをビデオ系のズーム制御情報に基き連動可変してズームサラウンドを得る。
【選択図】図１

Description

本発明は、例えば５．１チャンネルで音声信号をサラウンド記録する場合に、適用して好適な音声信号処理装置、音声信号処理方法及び撮像装置に関する。

先に、本出願人は特願２００６−３４８３７６号で撮像装置に適用して好適な例えば５．１チャンネルで音声信号をサラウンド記録する音声信号処理装置を提案した。

この特願２００６−３４８３７６号に提案した音声信号処理装置を図１７〜図３１を参照して説明する。

まず、画像、音声を内蔵した情報記録媒体に記録可能な撮像装置について、図１７を参照して説明する。撮像装置は、光学的な画像をＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の撮像素子１で電気的な信号に変換して、液晶ディスプレイ等の平面パネルからなる表示装置２に表示したり、画像と音声を記録するための情報記録媒体である光ディスク３に記録したりできる。情報記録媒体は、光ディスクに限定されるものではなく、光磁気ディスク、磁気ディスク等のディスク状記録媒体や、ハードディスク、テープカセットの磁気テープ、半導体メモリを用いてもよい。

この撮像装置は、映像信号を取り込む構成として、撮像対象の像光を取り込むレンズ鏡筒４と、このレンズ鏡筒４を介して取り込んだ像光を映像信号に変換する撮像素子１と、変換した映像信号を増幅する増幅部５と、撮像された映像等を所定の信号に処理する映像信号処理部６を備える。そして、撮像装置は、音声を取り込む構成として、３個の全指向性（無指向性）マイクロホン７〜９と、３個の全指向性マイクロホン７〜９で収音したアナログ音声信号を増幅する増幅部と、増幅したアナログ音声信号をデジタル変換し、所定の指向性合成処理を施す例えばＤＳＰ（Digital Signal Processor）よりなる音声信号処理部１０とを備える。

また、この撮像装置は、映像信号処理部６から供給される映像信号と、音声信号処理部１０から供給される音声信号の記録と再生とを制御する映像記録／再生部１１と、映像記録／再生部１１を駆動するためのプログラムメモリ、データメモリ、その他のＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を有する内蔵メモリ１２と、撮影された映像等を表示する表示部２と、表示部２を駆動するモニタ駆動部１３と、撮像した映像・音声を記録する光ディスク３等を備えている。映像記録／再生部１１は、例えば、マイクロコンピュータ（ＣＰＵ：Central Processing Unit）を有する演算回路等を備えている。

被写体の像がレンズ鏡筒４のレンズ系に入力されて撮像素子１の結像面に結像されると、撮像素子１が生成した映像信号が増幅部５を介して映像信号処理部６に入力される。この映像信号処理部６で所定の映像信号に処理された信号が映像記録／再生部１１に入力される。これにより、映像記録／再生部１１から被写体の像に対応した映像信号が、モニタ駆動部１３、内蔵メモリ１２、光ディスク駆動部１４に出力される。その結果、モニタ駆動部１３を介して表示部２に被写体の像に対応した画像が表示される。また、必要に応じて、内蔵メモリ１２若しくは光ディスク３に映像信号が記録される。

次に、サラウンド記録する場合の全指向性マイクロホン７〜９の配置例について、図１８を参照して説明する。本例の撮像装置は、サラウンド記録可能な３個の全指向性マイクロホン７〜９を備えている。図１８に示すように、３個の全指向性マイクロホン７〜９は、正面方向に対して垂直な直線上に配置した全指向性マイクロホン８、９と、正面方向に配置した全指向性マイクロホン７とで三角形状例えば二等辺三角形状に配置している。また、３個の全指向性マイクロホンの間隔は、必要帯域の最低周波数の音波の波長に対し十分に小さい間隔、例えば数ｃｍ以内とする必要がある。

次に、指向性合成処理を行う音声信号処理部１０の構成例について、図１９を参照して説明する。音声信号処理部１０は、音声信号を加算する第１の加算部２０、第２の加算部２１と、音声信号を減算する第１の減算部２２、第２の減算部２３と、音声信号に所定の係数を乗ずる乗算部２４、２５、２６、２７、２８、２９と、周波数特性を補正する第１の積分部３０、第２の積分部３１とを備える。そして、５チャンネルの単一指向性を合成するために、５チャンネルの各出力部３２ａ〜３２ｅに対して、音声信号を可変増幅する可変増幅器３３ａ〜３３ｅ、３４ａ〜３４ｅ、３５ａ〜３５ｅと、可変増幅された音声信号を加算する加算部３６ａ〜３６ｅとを備える。そして、０．１チャンネルの出力部３２を備える。

本例では、可変増幅された音声信号を加算した結果、出力部３２ａが出力する音声信号は、中央前（ＦＣ）方向の単一指向性を有する。出力部３２ｂが出力する音声信号は、左前（ＦＬ）方向の単一指向性を有する。出力部３２ｃが出力する音声信号は、右前（ＦＲ）方向の単一指向性を有する。出力部３２ｄが出力する音声信号は、左後方の左サラウンド（ＳＬ）方向の単一指向性を有する。出力部３２ｅが出力する音声信号は、右後方の右サラウンド（ＳＲ）方向の単一指向性を有する。

正面方向に対して、二等辺三角形状に配置された全指向性マイクロホン７〜９は、収音した外部音声より、音声信号を生成する。全指向性マイクロホン７〜９が生成する音声信号は、第１の加算部２０で加算処理され、乗算部２５による所定の係数（例えば、１／３を乗ずる。）の乗算処理によって、全指向性が合成される。そして、正面方向に対して、右側に配置された全指向性マイクロホン８が生成する音声信号と、正面方向に対し左側に配置された全指向性マイクロホン９が生成する音声信号は、第２の加算部２１で加算処理され、乗算部２４による所定の係数（例えば、１／２を乗ずる。）の乗算処理によって、全指向性マイクロホン８と全指向性マイクロホン９の中点に位置する仮想的な全指向性が合成される。第２の減算部２３では、正面方向の全指向性マイクロホン７が生成した音声信号と、乗算部２４が出力する音声信号との差をとり、乗算部２８で係数乗算をして正規化し、前後方向の両指向性を合成する。

ここで、乗算部２５が出力する全指向性の感度を「最大指向感度」と称する。そして、「最大指向感度」を基準とし、他の乗算部２６、２８から出力する音声信号の指向感度を調整することを、「正規化」と称する。この正規化によって、乗算部２５、２６、２８から出力する音声信号の最大指向感度が揃うため、合成することが容易となる。

また、正面方向に対し右側に配置された全指向性マイクロホン８が生成する音声信号と、正面方向に対し左側に配置された全指向性マイクロホン９が生成する音声信号を、第１の減算部２２で差をとり、乗算部２６で係数乗算して、最大指向感度で正規化し、左右方向の両指向性を合成する。左右方向の両指向性信号及び前後方向の両指向性信号をそれぞれに乗算部２７及び乗算部２９で係数乗算することにより、乗算部２５の出力の全指向性と、最大指向感度で正規化する。また、乗算部２７、乗算部２９の出力信号は、前後、左右のマイクロホンに到達した音波の差をとるため、マイクロホン間隔よりも音波の波長が長い、すなわち低域の信号は位相差がほとんどでない。そのため乗算部２７、乗算部２９が出力する音声信号の周波数特性は、低域に向かって減衰することとなる。

ここで、乗算部２７と乗算部２９が出力する音声信号の周波数特性の例について、図２０を参照して説明する。図２０より、周波数特性は、低域ほど出力されていないことが分かる。このとき、便宜的に一次微分とみなせる。このような状態では、再生音声に低域周波数が含まれず、高域周波数のみが再生されることとなる。そこで、周波数特性を補正し、低域周波数のゲインを上げるため、乗算部２７、乗算部２９から出力する音声信号を、それぞれ第１の積分部３０、第２の積分部３１で積分する。

図２１は、第１の積分部３０が出力する音声信号の周波数特性と指向性の例を示す。図２１（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図２１（ｂ）より、このときの音声信号の指向性は、左右方向であることが分かる。

図２２は、第２の積分部３１が出力する音声信号の周波数特性と指向性の例を示す。図２２（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図２２（ｂ）より、このときの音声信号の指向性は、前後方向であることが分かる。

図２３は、乗算部２５が出力する音声信号の周波数特性と指向性の例を示す。図２３（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図２３（ｂ）より、このときの音声信号の指向性は、左右前後を合わせた全方向であることが分かる。このような全方向の指向性を、最大指向感度と称する。

このように、３個の全指向性マイクロホン７〜９を用いて周波数補正することで、左右、前後、全方向の指向性を有する音声信号に変換することができる。そして、第１の積分部３０、第２の積分部３１が出力する音声信号は、最大指向感度で正規化された左右方向の両指向性成分と、前後方向の両指向性成分となる。そして、乗算部２５が出力する音声信号の全指向成分と、左右方向の両指向性成分と、前後方向の両指向性成分の合成比を変えることによって、単一指向性の音声信号を合成できる。合成できる指向性のパターンには、例えばカーディオイド、ハイパーカーディオイド、スーパーカーディオイドがある。

ここで、単一指向性の音声信号を合成する処理の例について、図２４を参照して説明する。図２４（ａ）〜図２４（ｅ）は、極座標表示した２入力の音声信号を合成した場合における、出力音声信号の指向性の例について示している。２入力の音声信号のうち、左側は全指向性成分を有し、右側は左右方向の両指向性成分を有している。そして、音声信号の感度を、それぞれ円で示している。

音声信号は、０°〜９０°、２７０°〜３６０°までを正相成分としている。２つの音声信号の正相成分を加算すると、正相成分が増加して示される。一方、９０°〜２７０°までを逆相成分としている。２つの音声信号の逆相成分を加算すると、逆相成分が減少して示される。このように、全指向性成分と両指向性成分の感度を可変とし、加算することで左右方向に任意の単一指向性を有する音声信号を作成できることが分かる。さらに、図２４では、２入力の音声信号を合成した例について説明したが、前後方向の両指向性成分を有する音声信号を合成することで、任意の方向に単一指向性を有する音声信号を作成することが可能である。

ここで、出力部３２ａを例に挙げると、可変増幅器３３ａ、３４ａ、３５ａが乗算する所定の係数と加算部３６ａの加算により、全指向性と両指向性との合成比を変えることによって、単一指向性を合成し、係数比を変えれば、任意の方向、任意のサブローブを設定することができる。さらに、可変増幅器３３ａ、３４ａ、３５ａの合成比を変えることで、カーディオイドの形状を変えて、指向特性の感度を変えることも可能である。

図２５は、可変増幅器３３ａ、３４ａ、３５ａの合成比を変えた音声信号の指向特性の例を示す。出力部３２ａが出力する音声信号の指向特性は、カーディオイドの形で、右側を０°として１３５°の方向の単一指向性となることが分かる。

同様に、図２６は、可変増幅器３３ａ、可変増幅器３４ａ、可変増幅器３５ａの合成比を変えた音声信号の指向特性の例を示す。出力部３２ａが出力する音声信号の指向特性は、ハイパーカーディオイドの形で、右側を０°として１３５°の方向の単一指向性となることが分かる。

図２５と図２６に示すように、可変増幅器３３ａ、３４ａ、３５ａの合成比を変えて、指向特性を変えられることが示される。そして、５チャンネルの出力部３２ａ〜３２ｅを設けることで、５チャンネルの単一指向性を有する音声信号を合成することができる。

例えば、５.１チャンネルのサラウンド記録は、この例のように、単一指向性を合成した５チャンネルの音声信号と、出力部３２（乗算部２５）が出力する全指向性成分の０．１チャンネルをＬＦＥ（Low Frequency Effect）チャンネルの音声信号とすることによって実現できる。ＬＦＥチャンネルは、サブ・ウーファーが出力するための低音帯域専用の音声信号である。

ここで、加算部３６ａ〜３６ｅが出力する音声信号の周波数特性と、各チャンネルの指向性の例を図２７〜図３１に示す。

図２７は、加算部３６ａが出力する音声信号の周波数特性と指向性の例を示す。図２７（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図２７（ｂ）より、音声信号の指向性パターンがハイパーカーディオイドであり、中央前（ＦＣ）方向に単一指向性を有することが分かる。

図２８は、加算部３６ｂが出力する音声信号の周波数特性と指向性の例を示す。図２８（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図２８（ｂ）より、音声信号の指向性パターンがハイパーカーディオイドであり、左前（ＦＬ）方向に単一指向性を有することが分かる。

図２９は、加算部３６ｃが出力する音声信号の周波数特性と指向性の例を示す。図２９（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図２９（ｂ）より、音声信号の指向性パターンがハイパーカーディオイドであり、右前（ＦＲ）方向に単一指向性を有することが分かる。

図３０は、加算部３６ｄが出力する音声信号の周波数特性と指向性の例を示す。図３０（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図３０（ｂ）より、音声信号の指向性パターンがハイパーカーディオイドであり、左後方の左サラウンド（ＳＬ）方向に単一指向性を有することが分かる。

図３１は、加算部３６ｄが出力する音声信号の周波数特性と指向性の例を示す。図３１（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図３１（ｂ）より、音声信号の指向性パターンがハイパーカーディオイドであり、右後方の右サラウンド（ＳＲ）方向に単一指向性を有することが分かる。

以上説明したこの例によれば、３個の全指向性マイクロホン７〜９を用いるだけで、所望の指向性パターンを有する音声信号を、生成して、記録することが可能である。そして、マイクロホンは、すべて全指向性マイクロホンを用いている。また、３個の全指向性マイクロホン７〜９は、音の波長に対し十分に小さいとみなせる間隔を空けて、三角形状に配置している。このように配置することで、演算処理により、任意の方向に音声信号の指向性を合成することが可能となる。

この例では、３個の全指向性マイクロホンで収音した音声信号に対して、加算、減算することによって、全周方向の全指向性を有する音声信号と、左右方向の両指向性を有する音声信号と、前後方向の両指向性を有する音声信号を生成する。これらの音声信号にそれぞれ所定の係数を乗じて加算することで、単一指向性の音声信号を合成し、５.１チャンネルのサラウンド記録が行える。全指向性マイクロホンは安価であり、また、従来、記録するチャンネルの個数分だけ用意していたマイクロホンが３個だけで済むため、全体のコスト低下に貢献するという効果がある。

また、単一指向性の最大指向感度方向は、任意の方向に設定することが可能である。そして、収音した音声信号の指向性は、感度を自由に変えることが可能である。例えば、カーディオイドを、ハイパーカーディオイド、スーパーカーディオイドとすることができる。

また、全指向性を有する音声信号の最大指向感度に合わせて、左右方向及び前後方向の両指向性を有する音声信号の指向感度を調整している。このため、記録する音声信号のレベルが、不要に小さくなりすぎたり、大きくなりすぎたりすることなく、３個の全指向性マイクロホンで平均化されたエネルギーの音声信号を記録できるという効果がある。

ところで、上述音声信号処理装置においては、撮像装置による撮影において、被写体を映像ズームアップする際に、音声も被写体方向を重点的に感度を上げサラウンドズーム特性を得ることはできなかった。

また従来、特許文献１に撮像装置による撮影において、被写体を映像ズームアップする際に、収音状態を連続的に切り換えるようにしたものが開示されている。

この特許文献１に開示のものは、図３２及び図３３に示すように、前方、後方、左側、右側に配置した４個の無指向性マイクロホン４１、４２、４３、４４と、この４個の無指向性マイクロホン４１、４２、４３、４４の出力から、前方からの音響信号を抽出する第１の合成手段４５と、後方からの音響信号を抽出する第２の合成手段４６と、左方向からの音響信号を抽出する第３の合成手段４７と、右方向からの音響信号を抽出する第４の合成手段４８と、左前方からの音響信号を抽出する第５の合成手段４９と、右前方からの音響信号を抽出する第６の合成手段５０と、左後方からの音響信号を抽出する第７の合成手段５１と、右後方からの音響信号を抽出する第８の合成手段５２と、この第１から第８の合成手段４５〜５２の出力からマルチチャンネルステレオ信号を合成する第９の合成手段５３とを備え、この第９の合成手段５３が、第１の合成手段４５の出力を受聴者の前方からの再生用音響信号とし、第３の合成手段４７の出力を受聴者の左前方からの再生用音響信号とし、第４の合成手段４８の出力を受聴者の右前方からの再生用音響信号とし、第２の合成手段４６の出力を受聴者の左後方および右後方からの再生用音響信号とする第１の出力状態と、第１の合成手段４５の出力を受聴者の前方からの再生用音響信号とし、第５の合成手段４９の出力を受聴者の左前方からの再生用音響信号とし、第６の合成手段５０の出力を受聴者の右前方からの再生用音響信号とし、第７の合成手段５１の出力を受聴者の左後方からの再生用音響信号とし、第８の合成手段５２の出力を右後方からの再生用音響信号とする第２の出力状態と、第１の合成手段４５の出力を受聴者の前方からの再生用音響信号とし、第５の合成手段４９の出力を受聴者の左前方からの再生用音響信号とし、第６の合成手段５０の出力を受聴者の右前方からの再生用音響信号とし、第３の合成手段４７の出力を受聴者の左後方からの再生用音響信号とし、第４の合成手段４８の出力を右後方からの再生用音響信号とする第３の出力状態との、３つの出力状態を切り換えて出力し、第９の合成手段５３が、ビデオカメラのズーム動作に連動して、広角時には第１の出力状態に、標準時には第２の出力状態に、望遠時には第３の出力状態に切り換えるようにしたものである。

図３２において、５４はズーム制御手段であり、５５はレンズ駆動機構である。
特開２００２−２２３４９３号公報

然しながら、特許文献１に開示のものは、各チャンネルへの合成レベル比が固定であるため、被写体を映像ズームアップした際に、注目する前方の音源のレベルに対する、後方音源のレベル比が一定であり、撮影対象を強調して音声処理するようなサラウンドズーム特性を得ることはできない不都合があった。

本発明は、斯かる点に鑑み、撮影対象を強調して音声処理するようなサラウンドズーム特性を得ることを目的とする。

本発明音声信号処理装置は、音声を収音して、それぞれ全指向性の音声信号を生成し、所定の間隔を空けて配置される第１、第２及び第３の全指向性マイクロホンと、この第１、第２及び第３の全指向性マイクロホンが生成する音声信号を加算して全周方向の全指向性を有する音声信号を生成する第１の加算部と、この第２及び第３の全指向性マイクロホンが生成する音声信号を減算して左右方向の指向性を有する音声信号を生成する第１の減算部と、この第２及び第３の全指向性マイクロホンが生成する音声信号を加算する第２の加算部と、この第１の全指向性マイクロホンが生成する音声信号からこの第２の加算部が加算した音声信号を減算して前後方向の指向性を有する音声信号を生成する第２の減算部と、この全周方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、この左右方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、この前後方向の指向性を有する音声信号に、所定の係数を乗算した音声信号とを加算して単一指向性の音声信号を生成する複数チャンネルの出力部とを備える音声信号処理装置において、この第１、第２及び第３の全指向性マイクロホンの出力音声信号の利得とこの複数チャンネルの出力部で加算するそれぞれの音声信号の所定の係数とをビデオ系のズーム制御情報に基いて連動可変してズームサラウンド特性を得るようにしたものである。

本発明によれば、撮像装置による撮影において、被写体を映像ズームアップする際に、撮影対象を強調して音声処理するようなサラウンドズーム特性を得ることができ、より映像と音声とが一体となる臨場感が得られる音声信号を記録することができる。

以下、図１〜図１２を参照して、本発明音声信号処理装置、音声信号処理方法及び撮像装置を実施するための最良の形態の例を説明する。図１〜図１２において、図１７〜図３１に対応する部分には同一符号を付して示す。

図１は、本例の音声信号処理装置を適用した撮像装置の要部構成例を示し、図１において、１００は、撮像素子等を有し、被写体を撮像し、被写体像の映像信号を得る周知構成の撮像部を示し、この撮像部１００よりの映像信号を映像信号処理部６に供給する。この映像信号処理部６よりの映像信号を図１８に示すような映像記録／再生部１１に供給し、この映像信号を表示部２に表示及び光ディスク３等の記録媒体に記録するようにする。

本例においては、この撮像部１００は、ビデオズーム制御部１０１よりのビデオズーム制御情報によりビデオズーム制御するビデオズーム機能を有している。

また、本例においては、音声を取り込む構成として、３個の全指向性（無指向性）マイクロホン７〜９を同一平面上に配置する。この場合この３個の全指向性（無指向性）マイクロホン７〜９を図３（図１８と同様である）に示すように、正面方向に対して垂直な直線上に配置した全指向性マイクロホン８、９と、正面方向に配置した全指向性マイクロホン７とで三角形状例えば二等辺三角形状に配置する。また、３個の全指向性マイクロホンの間隔は、必要帯域の最低周波数の音波の波長に対し十分に小さい間隔、例えば数ｃｍ以内とする必要がある。この場合、この３個の全指向性（無指向性）マイクロホン７〜９が形成する三角形状は任意のものであって良い。

この３個の全指向性マイクロホン７〜９で収音したアナログ音声信号を音声信号処理部１０を構成するこのアナログ音声信号を増幅するアンプ１０２ａ〜１０２ｃに供給し、この増幅したアナログ音声信号をデジタル変換するＡ／Ｄ変換器１０３ａ〜１０３ｃに供給する。

このＡ／Ｄ変換器１０３ａ、１０３ｂ及び１０３ｃの出力信号をＡＧＣアンプ１０４ａ、１０４ｂ及び１０４ｃに供給する。このＡＧＣアンプ１０４ａ、１０４ｂ及び１０４ｃにおいては、ビデオズーム制御部１０１よりのビデオズーム制御情報に応じて利得を制御し、ワイド（縮小）側では低利得、テレ（拡大）側では高利得と撮像部１００のズーム状態に連動して利得を可変し、指向性合成前の基本音源信号Ｆ、Ｒ及びＬとするようにする。

このＡＧＣアンプ１０４ａ、１０４ｂ及び１０４ｃの出力に得られる基本音源信号Ｆ、Ｌ及びＲを後述する図４に示すような第１の指向性合成部１０５に供給する。この第１の指向性合成部１０５においては、全指向性合成音声信号１０５ａと、左右方向の両指向性合成音声信号１０５ｂと、前後方向の両指向性合成音声信号１０５ｃとを合成する。

この第１の指向性合成部１０５の出力側に得られる全指向性合成音声信号１０５ａ、左右方向の両指向性合成音声信号１０５ｂ及び前後方向の両指向性合成音声信号１０５ｃを後述する図６に示すような第２の指向性合成部１０６に供給する。この第２の指向性合成部１０６おいては、５.１チャンネルのサラウンド信号を合成するが、この際に、ビデオズーム制御部１０１よりのビデオズーム制御情報に応じて、全指向性合成音声信号１０５ａと、左右方向の両指向性合成音声信号１０５ｂと、前後方向の両指向性合成音声信号１０５ｃとの混合比率を動的に変化させることで、所定のズーム倍率に対応する指向特性並びに前後の音レベルを可変し、映像倍率にマッチしたズームサラウンド音声出力を出力部３２ａ〜３２ｅに得る。

ここで、ビデオのズーム量と対応する音声の増幅利得(Δgain)の関係を図２に示す。すなわち自由空間における音圧減衰量(−Δgain)と距離の関係は

となり、

と置くと、結局必要な音声利得はズームパラメータ z により

と表せる。

図４に示す第１の指向性合成部１０５においては、このＡＧＣアンプ１０４ａ、１０４ｂ及び１０４ｃの出力に得られる基本音源信号Ｆ、Ｒ及びＬを入力端子７ａ、８ａ及び９ａに供給する。この入力端子７ａ、８ａ及び９ａの得られる３個の全指向性マイクロホン７、８及び９の基本音源信号Ｆ、Ｒ及びＬを第１の加算部２０に供給し、この第１の加算部２０の出力信号を１/３乗算部２５に供給して平均し、この１/３乗算部２５の出力側に全指向性合成音声信号１０５ａ（ｏｍｎｉ）を得る。

また、この入力端子８ａ及び９ａの得られる左右方向に配置された全指向性マイクロホン８及び９の基本音源信号Ｒ及びＬを第２の加算部２１に供給し、この第２の加算部２１の出力信号を１/２乗算部２４に供給して平均し、この１/２乗算部２４の出力側に基本音源信号Ｒ及びＬの加算平均を得る。

また、この入力端子８ａ及び９ａに得られる左右方向に配置された全指向性マイクロホン８及び９の基本音源信号Ｒ及びＬを基本音源信号Ｒから基本音源信号Ｌを減算する第１の減算部２２に供給し、この第１の減算部２２の出力信号を１/２乗算部２６に供給し、この１/２乗算部２６の出力側に左右方向の両指向性合成音声信号１０５ｂ（ｒｌ）を得る。

ここで、Ｖは音速（約３４０ｍ/Ｓ）、Ｔ_Ｓはサンプリング周波数（１/Ｓ）、Ｘは左右方向に配置された全指向性マイクロホン８及び９間距離（ｍ）、Ｙは左右方向に配置された全指向性マイクロホン８及び９を結ぶ線と前方の全指向性マイクロホン７と間距離（ｍ）である。

また、この入力端子７ａに得られる正面方向に配置された全指向性マイクロホン７の基本音源信号Ｆをこの基本音源信号Ｆから１/２乗算部２４の出力側に得られる基本音源信号Ｒ及びＬの加算平均を減算する第２の減算部２３供給し、この第２の減算部２３の出力信号を１/２乗算部２８に供給し、この１/２乗算部２８の出力側に前後方向の両指向性合成音声信号１０５ｃ（ｆｂ）を得る。

このＡＧＣアンプ１０４ａ、１０４ｂ及び１０４ｃと第１の指向性合成部１０５を経て得た全指向性合成音声信号１０５ａ、左右方向の両指向性合成音声信号１０５ｂ及び前後方向の両指向性合成音声信号１０５ｃのワイド（縮小）時及びテレ（拡大）時の信号の様子を図５Ａ及びＢに示す。この信号は、ズーム量によって、ワイド（縮小）時〜テレ（拡大）時の利得は異なるが、指向性特性としては相似型を保持している。この図５の破線は、ズームワイド時のＡＧＣ利得レベルである。

図６に示す第２の指向性合成部１０６においては、第１の指向性合成部１０５の出力側に得た全指向性合成音声信号１０５ａ（ｏｍｎｉ）、左右方向の両指向性合成音声信号１０５ｂ（ｒｌ）及び前後方向の両指向性合成音声信号１０５ｃ（ｆｂ）を入力端子１０６ａ、１０６ｂ及び１０６ｃに供給する。

この図６に示す第２の指向性合成部１０６においては、５チャンネルの単一指向性を合成するために、５チャンネルの各出力部３２ａ〜３２ｅに対して、音声信号に所定の係数を乗算する可変増幅器３３ａ〜３３ｅ、３４ａ〜３４ｅ、３５ａ〜３５ｅと、所定の係数が乗算された音声信号を加算する加算部３６ａ〜３６ｅとを備える。そして、０．１チャンネルの出力部３２を備える。

すなわち、全指向性合成音声信号１０５ａ（ｏｍｎｉ）が得られる入力端子１０６ａを可変増幅器３３ａ〜３３ｅを介して加算部３６ａ〜３６ｅに接続し、左右方向の両指向性合成音声信号１０５ｂ（ｒｌ）が得られる入力端子１０６ｂを可変増幅器３４ａ〜３４ｅを介して加算部３６ａ〜３６ｅに接続し、前後方向の両指向性合成音声信号１０５ｃ（ｆｂ）が得られる入力端子１０６ｃを可変増幅器３５ａ〜３５ｅを介して加算部３６ａ〜３６ｅに接続する。

本例では、所定の係数が乗算された音声信号を加算した結果、出力部３２ａが出力する音声信号は、中央前（ＦＣ）方向の単一指向性を有するようにし、出力部３２ｂが出力する音声信号は、左前（ＦＬ）方向の単一指向性を有するようにし、出力部３２ｃが出力する音声信号は、右前（ＦＲ）方向の単一指向性を有するようにし、出力部３２ｄが出力する音声信号は、左後方の左サラウンド（ＳＬ）方向の単一指向性を有するようにし、出力部３２ｅが出力する音声信号は、右後方の右サラウンド（ＳＲ）方向の単一指向性を有するようにする。尚、出力部３２おいては、入力端子１０６ａに得られる全指向性合成音声信号１０５ａ（ｏｍｎｉ）を不要な高域成分を除去するローパスフィルタ１０７を介して出力し、全指向性成分の０．１チャンネルをＬＦＥ（Low Frequency Effect）チャンネルの音声信号とし、このＬＦＥチャンネルは、サブ・ウーファーが出力するための低音帯域専用の音声信号とする。

本例においては、この可変増幅器３３ａ〜３３ｅ、３４ａ〜３４ｅ、３５ａ〜３５ｅに乗算する所定の係数をビデオズーム制御部１０１よりのビデオズーム制御情報に連動して可変するようにする。
この出力部３２ａ〜３２ｅに得られる信号は、二次音圧傾度特性を有する。この出力部３２ａ〜３２ｅの演算方法は以下の通りである。
ここで、

Ｚの関数で表されているファクターは ビデオズーム制御情報に連動して変化することを意味している。

この第２の指向性合成部１０６も第１の指向性合成部１０５に基本的には同様に各出力部３２ａ〜３２ｅの指向角と相対レベルを演算するだけである。この第２の指向性合成部１０６の各出力部３２、３２ａ〜３２ｅのワイド時（縮小時）のＬＦＥ、ＦＣ、ＦＲ、ＦＬ、ＲＳ、ＬＳ特性は図７Ａに示す如くで、ズーム無しの５．１チャンネルサラウンド時の特性に等しい。一方、テレ時（拡大時）には、図７Ｂに示す如く、前方成分（ＦＣ、ＦＲ、ＦＬ）を大きく、逆に後方成分（ＲＳ、ＬＳ）は相対的に小さくなるように合成する。

本例による、音声信号処理部１０の総合特性を図８に示す。各出力部３２、３２ａ〜３２ｅのワイド時（縮小時）のＬＦＥ、ＦＣ、ＦＲ、ＦＬ、ＲＳ、ＬＳ特性は図８Ａに示す如く、ＡＧＣアンプ１０４ａ、１０４ｂ及び１０４ｃは低利得であるので、この各出力部３２、３２ａ〜３２ｅのワイド時（縮小時）のＬＦＥ、ＦＣ、ＦＲ、ＦＬ、ＲＳ、ＬＳ特性は、利得に応じて小さくなる。

また、一方、テレ時（拡大時）には、図８Ｂに示す如く、ＡＧＣアンプ１０４ａ、１０４ｂ及び１０４ｃは高利得となるので、前方成分（ＦＣ、ＦＲ、ＦＬ）は一層大きく、逆に後方成分（ＲＳ、ＬＳ）は相対的に小さくなる。このように、ビデオズーム制御情報に連動させることで、前遠方の低いレベルの被写体音源を効率よく且つ後方音とのＳ/Ｎを上げて音声処理することができる。

図９は、ズームワイド（縮小）時の５．１チャンネルサラウンド特性を示し、このときの各チャンネルの主軸方向と成分比を表す。このズームワイド（縮小）時の５．１チャンネルサラウンド特性は、本来の５．１チャンネルサラウンド音声処理条件と同じであり、各チャンネル成分のレベル比は同じである。

図１０は、ズームワイド（縮小）時の５．１チャンネルサラウンドの全エネルギー特性を示し、このときの音圧エネルギー分布（出力部３２のＬＦＥ特性）を示す。このズームワイド（縮小）時の５．１チャンネルサラウンドの全エネルギー特性は、５．１チャンネルサラウンド特性の二乗和の平方根で示すが、ほぼ周囲に均等なレベル配分であることがわかる。

図１１は、ズームテレ（拡大）時の５．１チャンネルサラウンド特性を示し、このときの各チャンネルの主軸方向と成分比を表す。このズームテレ（拡大）時の５．１チャンネルサラウンド特性は、前方成分（ＦＣ、ＦＲ、ＦＬ）は利得が大きく、逆に後方成分（ＲＳ、ＬＳ）は相対的に利得が小さい。

図１２は、ズームテレ（拡大）時の５．１チャンネルサラウンドの全エネルギー特性を示し、このときの音圧エネルギー分布（出力部３２のＬＦＥ特性）を示す。このズームテレ（拡大）時の５．１チャンネルサラウンドの全エネルギー特性は、前方にエネルギーが集中し、ズーム効果が得られていることが明らかである。後方の利得を下げることは、高利得時のノイズレベルをいたずらに大きくしないこと、また前遠方の微小音を効率よく拾うために、横、後方の雑音を制限させるために重要である。

本例は、上述のように構成されているので、特願２００６−３４８３７６号と同様な作用効果が得られると共に撮像装置による撮影において、被写体を映像ズームアップする際に、撮影対象を強調して音声処理するようなサラウンドズーム特性を得ることができ、より映像と音声とが一体となる臨場感が得られる音声信号を記録することができる。

尚、上述例では、記録した５．１チャンネルサラウンド音声信号を５．１チャンネルサラウンド再生装置で再生する場合につき述べたが、この記録した５．１チャンネルサラウンド音声信号をダウンミックスして、ステレオ２チャンネル音声信号とし、２チャンネルステレオ再生装置で再生することができる。

この場合、５．１チャンネルサラウンド音声信号をダウンミックスして、ステレオ２チャンネル音声信号にするのは、２チャンネルステレオ再生装置で行うようにしても良いし、また、撮像装置で５．１チャンネルサラウンド音声信号をダウンミックスして、ステレオ２チャンネル音声信号とし、記録媒体に記録するようにしても良い。

図１３は、５．１チャンネルサラウンド音声信号をダウンミックスして、ステレオ２チャンネル音声信号に変換した場合のズームワイド（縮小）時の、左音声信号１１１及び右音声信号１１２の特性を示す。このときの左音声信号１１１及び右音声信号１１２の特性は、３つの全指向性マイクロホン７〜９を用いてサラウンド合成した成分からダウンミックスすることで、指向性の主軸が前方斜めを向いており、図１５の２つのマイクロホンによるステレオの左音声信号１２１及び右音声信号１２２の指向性特性のワイド時と対比すると、左右のみならず前方からの感度も十分にあり、自然なステレオ感が実現できる。

図１４は、５．１チャンネルサラウンド音声信号をダウンミックスして、ステレオ２チャンネル音声信号に変換した場合のズームテレ（拡大）時の、左音声信号１１１及び右音声信号１１２の特性を示す。利得が大きくなり、且つ指向性の主軸がより前方方向に向いて正面対象音を感度よく拾うことができる。従って、ズームによる映像と音声との一体化した臨場感が味わえる。

因みに、図１６に２つのマイクロホンによるステレオの左音声信号１２１及び右音声信号１２２の指向性特性のテレ時の特性を示す。指向性の主軸は、左右を向いたままであり、利得は大きくすることができるが、前方感度は左右感度よりも小さく、ビデオ映像のズーム感覚とは整合しない。

尚、本発明は、上述例に限ることなく本発明の要旨を逸脱することなく、その他種々の構成が採り得ることは勿論である。

本発明音声信号処理装置を実施するための最良の形態の例を示す構成図である。 ビデオズームと音声利得との関係を示す線図である。 全指向性マイクロホンの配置例を示す構成図である。 第１の指向性合成部の例を示す構成図である。 本発明の説明に供する線図である。 第２の指向性合成部の例を示す構成図である。 本発明の説明に供する線図である。 本発明の説明に供する線図である。 本発明の説明に供する線図である。 本発明の説明に供する線図である。 本発明の説明に供する線図である。 本発明の説明に供する線図である。 本発明の説明に供する線図である。 本発明の説明に供する線図である。 従来の説明に供する線図である。 従来の説明に供する線図である。 撮像装置の例を示す構成図である。 全指向性マイクロホンの配置例を示す構成図である。 音声信号処理部の例を示す構成図である。 説明に供する線図である。 説明に供する線図である。 説明に供する線図である。 説明に供する線図である。 説明に供する線図である。 説明に供する線図である。 説明に供する線図である。 説明に供する線図である。 説明に供する線図である。 説明に供する線図である。 説明に供する線図である。 説明に供する線図である。 従来の音声信号処理装置の例を示す構成図である。 従来の説明に供する線図である。

符号の説明

１…撮像素子、２…表示部、３…光ディスク、６…映像信号処理部、７〜９…全指向性マイクロホン、１０…音声信号処理部、１１…映像記録/再生部、２０…第１の加算部、２１…第２の加算部、２２…第１の減算部、２３…第２の減算部、３２、３２ａ〜３２ｅ…出力部、３３ａ〜３３ｅ、３４ａ〜３４ｅ、３５ａ〜３５ｅ…可変増幅器、３６ａ〜３６ｅ…加算部、１００…撮像部、１０１…ビデオズーム制御部、１０４ａ〜１０４ｃ…ＡＧＣアンプ、１０５…第１の指向性合成部、１０５ａ…全指向性合成音声信号、１０５ｂ…左右方向の両指向性合成音声信号、１０５ｃ…前後方向の両指向性合成音声信号、１０６…第２の指向性合成部、１０７…ローパスフィルタ

Claims (5)

1. 音声を収音して、それぞれ全指向性の音声信号を生成し、所定の間隔を空けて配置される第１、第２及び第３の全指向性マイクロホンと、前記第１、第２及び第３の全指向性マイクロホンが生成する音声信号を加算して全周方向の全指向性を有する音声信号を生成する第１の加算部と、前記第２及び第３の全指向性マイクロホンが生成する音声信号を減算して左右方向の指向性を有する音声信号を生成する第１の減算部と、前記第２及び第３の全指向性マイクロホンが生成する音声信号を加算する第２の加算部と、前記第１の全指向性マイクロホンが生成する音声信号から前記第２の加算部が加算した音声信号を減算して前後方向の指向性を有する音声信号を生成する第２の減算部と、前記全周方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記左右方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記前後方向の指向性を有する音声信号に、所定の係数を乗算した音声信号とを加算して単一指向性の音声信号を生成する複数チャンネルの出力部とを備える音声信号処理装置において、
   前記第１、第２及び第３の全指向性マイクロホンの出力音声信号の利得と前記複数チャンネルの出力部で加算するそれぞれの音声信号の所定の係数とをビデオ系のズーム制御情報に基いて連動可変してズームサラウンド特性を得るようにしたことを特徴とする音声信号処理装置。
2. 請求項１記載の音声信号処理装置において、
   前記第１、第２及び第３の全指向性マイクロホンは、音の波長に対し十分に小さいとみなせる間隔を空けて、三角形状に配置されることを特徴とする音声信号処理装置。
3. 請求項１記載の音声信号処理装置において、
   前記複数チャンネルの出力部は、５チャンネルであることを特徴とする音声信号処理装置。
4. 音声を収音する第１、第２及び第３の全指向性マイクロホンによって、それぞれ全周方向の全指向性を有する音声信号を生成し、前記第１、第２及び第３の全指向性マイクロホンが生成する音声信号を加算して全周方向の全指向性を有する音声信号を生成し、前記第２及び第３の全指向性マイクロホンが生成する音声信号を減算して左右方向の指向性を有する音声信号を生成し、前記第２及び第３の全指向性マイクロホンが生成する音声信号を加算し、前記第１の全指向性マイクロホンが生成する音声信号から前記加算された前記第２及び第３の全指向性マイクロホンが生成する音声信号を減算して前後方向の指向性を有する音声信号を生成し、前記全周方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記左右方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記前後方向の指向性を有する音声信号に、所定の係数を乗算した音声信号とを加算して単一指向性の音声信号を複数チャンネル生成する音声信号処理方法において、
   前記第１、第２及び第３の全指向性マイクロホンの出力音声信号の利得と前記複数チャンネルの単一指向性の音声信号を生成する前記加算するそれぞれの音声信号の所定の係数とをビデオ系のズーム制御情報に基いて連動可変してズームサラウンド特性を得るようにしたことを特徴とする音声信号処理方法。
5. 音声を収音して、それぞれ全指向性の音声信号を生成し、所定の間隔を空けて配置される第１、第２及び第３の全指向性マイクロホンを備え、収音した音声信号に所定の処理を施す音声信号処理手段を有する撮像装置であって、前記音声信号処理手段は、前記第１、第２及び第３の全指向性マイクロホンが生成する音声信号を加算して全周方向の全指向性を有する音声信号を生成する第１の加算部と、前記第２及び第３の全指向性マイクロホンが生成する音声信号を減算して左右方向の指向性を有する音声信号を生成する第１の減算部と、前記第２及び第３の全指向性マイクロホンが生成する音声信号を加算する第２の加算部と、前記第１の全指向性マイクロホンが生成する音声信号から前記第２の加算部が加算した音声信号を減算して前後方向の指向性を有する音声信号を生成する第２の減算部と、前記全周方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記左右方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記前後方向の指向性を有する音声信号に、所定の係数を乗算した音声信号とを加算して単一指向性の音声信号を生成する複数チャンネルの出力部とを備える撮像装置において、
   前記第１、第２及び第３の全指向性マイクロホンの出力音声信号の利得と前記複数チャンネルの出力部で加算するそれぞれの音声信号の所定の係数とをビデオ系のズーム制御情報に基いて連動可変してズームサラウンド特性を得るようにしたことを特徴とする撮像装置。

Images