JP2014017645A - 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体 - Google Patents

音声信号処理装置、音声信号処理方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2014017645A
JP2014017645A JP2012153363A JP2012153363A JP2014017645A JP 2014017645 A JP2014017645 A JP 2014017645A JP 2012153363 A JP2012153363 A JP 2012153363A JP 2012153363 A JP2012153363 A JP 2012153363A JP 2014017645 A JP2014017645 A JP 2014017645A
Authority
JP
Japan
Prior art keywords
input
spectrum
synthesis
unit
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012153363A
Other languages
English (en)
Inventor
Toshiyuki Sekiya
俊之 関矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012153363A priority Critical patent/JP2014017645A/ja
Priority to PCT/JP2013/060247 priority patent/WO2014010280A1/ja
Priority to US14/400,875 priority patent/US20150125011A1/en
Publication of JP2014017645A publication Critical patent/JP2014017645A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Abstract

【課題】筐体等の影響より複数のマイクロホンの入力特性に差が生じるようなマイクロホンの配置においても、当該マイクロホンの入力音声信号を用いて、所望の指向性を有する合成音声信号を良好に合成する。
【解決手段】筐体に設けられた複数のマイクロホンから入力された入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成する周波数変換部と、前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択する第１の入力選択部と、前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する第１の合成部と、を備える、音声信号処理装置。
【選択図】図１３

Description

本開示は、音声信号処理装置、音声信号処理方法、プログラム及び記録媒体に関する。
室内で、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｋ）等の記録媒体に録音された音声を再生する際、複数のスピーカを用いて、当該各スピーカの特性に対応する指向性を有する複数の音声をサラウンド再生する音声再生システムが提案されている。このような音声再生装置は、映画館又は音楽ホール等のように臨場感あふれる音場を再現するためのサラウンド技術を用いて、各スピーカの特性に合わせてサラウンド記録された音声を再生することができる。
このようにサラウンド技術を用いた音声再生環境を実現するために、スピーカの特性（設置数や配置、音質等）に応じて、５．１チャンネル、７．１チャンネルなどのサラウンド再生システムが提案されている。例えば、５．１ｃｈのサラウンド再生システムでは、聴取者の前方方向に対して、左前（Ｌ：Ｆｒｏｎｔ Ｌｅｆｔ）、中央前（Ｃ：Ｆｒｏｎｔ Ｃｅｎｔｅｒ）、右前（Ｒ：Ｆｒｏｎｔ Ｒｉｇｈｔ）、左後方の左サラウンド（ＳＬ：Ｓｕｒｒｏｕｎｄ Ｌｅｆｔ）、右後方の右サラウンド（ＳＲ：Ｓｕｒｒｏｕｎｄ Ｒｉｇｈｔ）に配置される５チャンネルのスピーカと、０．１チャンネルのサブウーファ（ＳＷ：Ｓｕｂ Ｗｏｏｆｅｒ）が設置される。このサラウンドシステムによって、聴取者の周囲に５．１チャンネル対応のサラウンド再生を実現している。
上記サラウンド再生を実現するためには、録音時に、それぞれのスピーカ特性に合わせたサラウンド録音を行うことが望ましい。ここで、サラウンド録音とは、複数のマイクロホンから入力された入力音声信号から、サラウンド再生環境のスピーカ特性に応じた指向性を有する複数の合成音声信号を合成して（以下、「指向性合成」という。）、記録することをいう。この指向性合成では、基本的には、サラウンド再生環境のスピーカの方向から録音装置に到来する音声以外を低減することで、当該スピーカの方向から到来する音声を相対的に強調するような合成処理が行われる。
近年では、動作撮像機能を有する撮像装置においても、撮像された動画の音声を、５．１ｃｈ等のサラウンド再生環境で再生できるように、撮像装置に複数のマイクロホンを設置して、サラウンド録音を実現することが提案されている。例えば、特許文献１には、ビデオカメラに３つの無指向性マイクロホンを正三角形の頂点の位置に配置し、これらマイクロホンから入力された入力音声信号から、５ｃｈ若しくは７ｃｈの単一指向性を有する音声信号を合成することが開示されている。また、特許文献２には、ビデオカメラに４つの無指向性マイクロホンを正四角形の頂点の位置に配置し、これらマイクロホンから入力された入力音声信号から、５ｃｈの単一指向性を有する音声信号を合成することが開示されている。
特開２００８−１６０５８８号公報 特開２００２−２２３４９３号公報
ところで、上記特許文献１、２記載の技術では、複数のマイクロホンを正三角形又は正四角形の頂点位置に対象に配置し、かつ、相互に近接（例えば、マイクロホンの相互間距離が１．０ｃｍ程度）して配置しなければならないという制約条件があった。複数のマイクロホンを対称位置に配置することで、対称性に優れた指向性合成を実現することができ、また、近接配置することで、マイクロホンに音が入力されるときのマイクロホンの入力特性が等しくなるという利点がある。
しかしながら、上記特許文献１、２記載の技術では、複数のマイクロホンの配置が上記制約条件を満たさない場合には、当該マイクロホンからの入力音声信号を利用した指向性合成を良好に実現できなかった。この理由は、マイクロホンが設置される録音装置の筐体等の影響により、複数のマイクロホンの入力特性が相違してしまうからである。このようにマイクロホンの入力特性が相違すると、特許文献１、２記載の技術のように入力音声信号自体を合成する処理や、当該入力音声信号を周波数変換した音声スペクトルを合成する処理によって、指向性合成を適切に行うことはできない。
例えば、図１に示すようにデジタルカメラ１に設置された３つのマイクロホンＭ１、Ｍ２、Ｍ３で得られた入力音声信号から、図２に示すように５ｃｈのサラウンド再生環境で用いられる合成音声信号を生成する場合を考える。図２に示すサラウンド再生環境では、聴取者であるユーザの周囲に、５つのスピーカＣ、Ｌ、Ｒ、ＳＬ、ＳＲが配置されており、これらスピーカからは、その配置に合った指向性を有する５つの再生音声ｚＬ、ｚＣ、ｚＲ、ｚＳＬ、ｚＳＲがそれぞれ出力されることが望ましい。
図１に示すように、デジタルカメラ１の前面側（レンズ２が配置された側）に２つのマイクロホンＭ１、Ｍ２が配置され、デジタルカメラ１の背面側（画面３が配置された側）に１つのマイクロホンＭ３が配置されている。このため、前面側のマイクロホンＭ１、Ｍ２と背面側のマイクロホンＭ３との間にデジタルカメラ１の筐体４が存在するため、筐体４の影響により各マイクロホンＭ１、Ｍ２、Ｍ３に対する音声の入力特性が相違することとなる。つまり、デジタルカメラ１の背面方向から到来する音声は、筐体４によりかなり減衰されて、前面側のマイクロホンＭ１、Ｍ２に対して入力される。このため、背面方向から到来する音声に関し、主たる音声信号を得られるのは、マイクロホンＭ３の１つだけとなる。従って、デジタルカメラ１の背面側については、左右方向の音声情報が得られないので、図２に示すＳＬ方向及びＳＲ方向の指向性を有する合成音声信号ｚＳＬ、ｚＳＲを良好に合成することができない。
また、図１に示したようにマイクロホンＭ１、Ｍ２とマイクロホンＭ３の間の距離が大きくなると、これらマイクロホン間に空間エイリアスが生じるため、合成音声信号の指向性に歪みが生じてしまう。
さらに、近年では、デジタルカメラ等の録音装置の小型化の要求や機能面の制約から、複数のマイクロホンを筐体の自由な位置に配置できないため、上記特許文献１、２記載の技術におけるマイクロホンの配置の制約条件を満たさない場合も多い。従って、筐体に対するマイクロホンの配置に係わらず、所望の指向性を有する合成音声信号を適切に生成可能な技術が希求されていた。
上記事情に鑑みれば、筐体等の影響より複数のマイクロホンの入力特性に差が生じるようなマイクロホンの配置においても、当該マイクロホンの入力音声信号を用いて、所望の指向性を有する合成音声信号を良好に合成できることが望ましい。
本開示によれば、
筐体に設けられた複数のマイクロホンから入力された入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成する周波数変換部と、
前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択する第１の入力選択部と、
前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する第１の合成部と、
を備える、音声信号処理装置が提供される。
また、本開示によれば、
筐体に設けられた複数のマイクロホンから入力された複数の入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成することと、
前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択することと、
前記選択された入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成することと、
を含む、音声信号処理方法が提供される。
また、本開示によれば、
筐体に設けられた複数のマイクロホンから入力された複数の入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成することと、
前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択することと、
前記選択された入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成することと、
をコンピュータに実行させるためのプログラムが提供される。
また、本開示によれば、
筐体に設けられた複数のマイクロホンから入力された複数の入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成することと、
前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択することと、
前記選択された入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成することと、
をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体が提供される。
上記構成によれば、筐体に設けられた複数のマイクロホンから入力された複数の入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルが生成され、前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルが選択され、前記選択された入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルが生成される。このようにパワースペクトル領域で入力音声スペクトルを演算する。これにより、筐体に対するマイクロホンの配置の影響により、マイクロホンに対する音の入力特性に差が生じる場合であっても、第１の合成方向の指向性を有する合成音声スペクトルを好適に生成できる。
以上説明したように本開示によれば、筐体等の影響より複数のマイクロホンの入力特性に差が生じるようなマイクロホンの配置においても、当該マイクロホンの入力音声信号を用いて、所望の指向性を有する合成音声信号を良好に合成できる。
３つのマイクロホンが設置されたデジタルカメラを示す斜視図である。 ５ｃｈのサラウンド再生環境を示す模式図である。 マイクロホンと筐体に対する音の到来方向を示す説明図である。 前面マイクロホン、背面マイクロホンの入力特性を測定した結果を示す図である。 マイクロホン配置と入力特性、サラウンド再生環境を示す図である。 本開示の第１の実施形態に係る指向性合成の原理を示す模式図である。 同実施形態に係る指向性合成の原理を示す模式図である。 同実施形態に係る指向性合成の原理を示す模式図である。 マイクロホンとスピーカの配置を示す平面図である。 各種のパワースペクトルを示す波形図である。 パワースペクトルを示す波形図である。 同実施形態に係る音声信号処理装置が適用されたデジタルカメラのハードウェア構成を示すブロック図である。 同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係る第１の入力選択部の構成を示すブロック図である。 同実施形態に係る第１の合成部の構成を示すブロック図である。 同実施形態に係る音声信号処理装置の指向性合成機能の具体例を示すブロック図である。 同実施形態に係る音声信号処理方法を示すフローチャートである。 同実施形態に係る第１の入力選択部の動作を示すフローチャートである。 同実施形態に係る第１の合成部の動作を示すフローチャートである。 周波数帯域ごとに、前面マイクロホン、背面マイクロホンの入力特性を測定した結果を示す図である。 指向性合成の原理を示す模式図である。 本開示の第２の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係る第２の入力選択部の構成を示すブロック図である。 同実施形態に係る第２の合成部の構成を示すブロック図である。 第２の実施形態に係る音声信号処理装置の指向性合成機能の具体例を示すブロック図である。 同実施形態に係る指向性合成の原理を示す模式図である。 各種のパワースペクトルを示す波形図である。 マイクロホンとスピーカの配置を示す模式図である。 同実施形態に係る音声信号処理方法を示すフローチャートである。 同実施形態に係る第２の入力選択部の動作を示すフローチャートである。 同実施形態に係る第２の合成部の動作を示すフローチャートである。 同実施形態に係る第１の入力選択部の動作を示すフローチャートである。 同実施形態に係る第１の合成部の動作を示すフローチャートである。 本開示の第３の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係る出力選択部の構成を示すブロック図である。 同実施形態に係るマイクロホン配置とサラウンド再生環境を示す図である。 本開示の第３の実施形態に係る音声信号処理装置の指向性合成機能の具体例を示すブロック図である。 同実施形態に係るマイクロホンの入力特性を測定した結果を示す図である。 同実施形態に係る合成音声スペクトルの特性を示す図である。 同実施形態に係る全方向パワースペクトルと合成音声スペクトルの特性を示す図である。 同実施形態に係る音声信号処理方法を示すフローチャートである。 同実施形態に係るＳＬチャンネル用の第１の合成部の動作を示すフローチャートである。 同実施形態に係る３つのマイクロホンが配置されたビデオカメラを示す図である。 同実施形態に係る３次元的なサラウンド再生環境を示す模式図である。 同実施形態に係るＣ、Ｌ、Ｒ方向の指向性を有する合成音声スペクトルを示す模式図である。 同実施形態に係る指向性合成におけるマイクロホンの入力特性と、合成音声スペクトルの特性を示す模式図である。 同実施形態に係る合成音声スペクトルの特性を示す模式図である。 ２．１ｃｈ、３．１ｃｈ、５．１ｃｈのサラウンド再生環境を示す説明図である。 本開示の第４の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 ユーザがサラウンド再生環境を選択するためのＧＵＩ画面を示す図である。 同実施形態に係る第２の指向性合成部の保持部が保持するＩＤ系列及び重み付け係数ｗを示す。 同実施形態に係る第１の指向性合成部の保持部が保持するＩＤ系列及び重み付け係数ｇ、ｆを示す。 同実施形態に係る第２の入力選択部の動作を示すフローチャートである。 同実施形態に係る第２の合成部の動作を示すフローチャートである。 同実施形態に係る第１の入力選択部の動作を示すフローチャートである。 同実施形態に係る第１の合成部の動作を示すフローチャートである。 同実施形態に係る内蔵マイクロホンと外部マイクロホンが設置されたビデオカメラ７を示す説明図である。 サラウンド再生環境を示す説明図である。 本開示の第５の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係る外部マイクロホンの入力特性と、合成音声スペクトルの特性を示す模式図である。 合成音声スペクトルの特性を示す模式図である。 同実施形態に係る第１の入力選択部の動作を示すフローチャートである。 同実施形態に係る第１の合成部の動作を示すフローチャートである。 同実施形態に係るスマートフォンのマイクロホンの配置を示す図である。 本開示の第６の実施形態に係る動画撮像用マイクロホンと通話用マイクロホンの振幅特性を示す図である。 同実施形態に係る補正係数を示す図である。 同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係る補正部の動作を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
１．１．指向性合成の概要
１．２．用語の定義
１．３．指向性合成の原理
１．４．音声信号処理装置の構成
１．４．１．音声信号処理装置のハードウェア構成
１．４．２．音声信号処理装置の機能構成
１．５．音声信号処理方法
１．５．１．音声信号処理装置の全体動作
１．５．２．第１の入力選択部の動作
１．５．３．第１の合成部の動作
１．６．効果
２．第２の実施の形態
２．１．第２の実施形態の概要
２．２．音声信号処理装置の機能構成
２．３．音声信号処理方法
２．３．１．音声信号処理装置の全体動作
２．３．２．第２の入力選択部の動作
２．３．３．第２の合成部の動作
２．３．４．第１の入力選択部の動作
２．３．５．第１の合成部の動作
２．４．効果
３．第３の実施の形態
３．１．第３の実施形態の概要
３．２．音声信号処理装置の機能構成
３．３．音声信号処理方法
３．３．１．音声信号処理装置の全体動作
３．３．２．第１の合成部の動作
３．３．３．出力選択部の動作
３．４．具体例
３．５．効果
４．第４の実施の形態
４．１．第４の実施形態の概要
４．２．音声信号処理装置の機能構成
４．３．音声信号処理方法
４．３．１．第２の入力選択部の動作
４．３．２．第２の合成部の動作
４．３．３．第１の入力選択部の動作
２．３．４．第１の合成部の動作
４．４．効果
５．第５の実施の形態
５．１．第５の実施形態の概要
５．２．音声信号処理装置の機能構成
５．３．音声信号処理方法
５．３．１．第１の入力選択部の動作
５．３．２．第１の合成部の動作
５．４．効果
６．第６の実施の形態
６．１．第５の実施形態の概要
６．２．音声信号処理装置の機能構成
６．３．音声信号処理方法
６．３．１．補正部の動作
６．４．効果
＜１．第１の実施の形態＞
［１．１．指向性合成の概要］
まず、本開示の第１の実施形態に係る音声信号処理装置及び方法による指向性合成処理の概要について説明する。
上述したように５．１ｃｈ、７．１ｃｈ等のサラウンド再生を実現するためには、録音装置による録音時に、サラウンド再生環境の各スピーカの特性に合わせたサラウンド録音を行うことが望ましい。サラウンド録音するためには、複数のマイクロホンにより得られた入力音声信号を、サラウンド再生環境の各チャンネルに合わせて指向性合成する必要がある。
この際、従来技術では、一般に、マイクロホンから入力される入力音声信号自体を合成する、或いは当該入力音声信号を周波数変換した入力音声スペクトルを合成することで、サラウンド再生環境に応じた合成音声信号生成していた。
ところで、上記特許文献１、２に記載の従来の指向性合成技術では、複数のマイクロホンの配置に制約条件（正三角形等の対称配置、近接配置等）があった。当該制約条件を満たさない場合には、良好な指向性合成を実現できなかった。この理由は、図１、図２で説明したように、録音装置（デジタルカメラ１）の筐体４を挟んで両側にマイクロホンＭ１、Ｍ２、Ｍ３が配置されている場合、筐体４の影響で、各マイクロホンＭ１、Ｍ２、Ｍ３に対する音の入力特性が相違するためであった。
例えば、図１のマイクロホン配置の例では、筐体４の背面方向から到来する音声は、筐体４により妨害されるため、前面側の２つのマイクロホンＭ１、Ｍ２に対して減衰して入力されるが、背面側の１つのマイクロホンＭ３に対しては減衰せずに入力される。これとは逆に、筐体４の前面方向から到来する音声についても同様である。この結果、マイクロホンＭ１、Ｍ２とマイクロホンＭ３の入力特性が相違することになる。従って、上記従来技術では、３つのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号を用いたとしても、入力特性の相違により、合成音声を良好に生成できなくなる。特に、筐体４の背面側には、１つのマイクロホンＭ３しか設置されておらず、筐体４の背面方向から到来する音に対して、主たる情報を得る手段がマイクロホンＭ３のみある。従って、上記従来技術では、筐体４の背面側の左右方向（ＳＬ方向、ＳＲ方向）の合成音声信号を適切に合成することができない。図示の例では、マイクロホンＭ３の入力音声信号を用いて、ＳＲ方向の合成音声信号をある程度適切に生成することができるが、ＳＬ方向の合成音声信号を適切に生成することはできない。
本実施形態に係る音声信号処理装置及び方法は、従って、上記のように複数のマイクロホンが対称かつ近接配置されていないため、筐体４等の影響により複数のマイクロホンの入力特性が相違する場合などに好適に適用される。即ち、本実施形態に係る音声信号処理装置及び方法は、マイクロホンの配置や設置数の制約により、多チャンネルのサラウンド録音のために必要な入力音声信号の一部が不足している場合においても、良好な指向性合成を実現可能とすることを目的としている。
そのために、本実施形態では、従来技術のような音声信号の時間領域や複素スペクトル領域ではなく、パワースペクトル領域で音声信号を合成する処理（指向性合成）を行う。例えば、上記図１の例では、前面側のマイクロホンＭ１、Ｍ２に対しては、背面方向からの音声成分は減衰していても、前面方向からの音声成分は減衰せずに入力される。従って、マイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号をパワースペクトル領域で適切に混合することで、前面側、背面側の音声信号の双方を含む全方向パワースペクトルＰａｌｌを合成することができる。そして、合成方向であるＳＬ方向以外の方向からの音声成分を含む非合成方向パワースペクトルＰｅｌｓｅを合成し、上記全方向パワースペクトルＰａｌｌから非合成方向パワースペクトルＰｅｌｓｅを減算することで、ＳＬ方向の音声成分を生成することができる。ＳＬ方向以外の方向からの音声成分は、主として、前方及び右側方向の音声成分であり、主に前面側のマイクロホンＭ１、Ｍ２の入力音声信号を利用して、当該ＳＬ方向以外の音声成分のパワースペクトルＰｅｌｓｅを生成することができる。
以上のように、本実施形態によれば、複数のマイクロホンで得られた音声信号をパワースペクトル領域で演算することにより、従来技術ではサラウンド録音を実現できないマイクロホン配置においても、多チャンネルの指向性合成を良好に実現できる。
［１．２．用語の定義］
本明細書において、音声（ａｕｄｉｏ）とは、人間や動物の声（ｖｏｉｃｅ）のみならず、音楽、楽曲、音響、機械音、自然音、環境音などを含む全ての音（ｓｏｕｎｄ）を意味する。
合成方向とは、合成音声信号の指向性の方向であり、サラウンド再生環境において聴取者（ユーザ）からスピーカに向かう方向に対応している。Ｎチャンネルのサラウンド再生を実現するために、Ｎ個の合成方向の合成音声信号を生成すればよい。例えば、図２に示した５チャンネルのサラウンド再生を行うためには、合成方向は、Ｌ方向、Ｃ方向、Ｒ方向、ＳＬ方向、ＳＲ方向の５方向となり、音の記録時又は再生時に、Ｌ方向、Ｃ方向、Ｒ方向、ＳＬ方向、ＳＲ方向の５つの合成音声信号を生成する必要がある。
指向性合成とは、複数のマイクロホンから入力された入力音声信号から、サラウンド再生環境における各スピーカの特性（方向、配置、音質等）に応じた指向性を有する複数の合成音声信号を合成する処理を意味する。
サラウンド録音とは、上記指向性合成により、複数（再生環境のチャンネル数）の合成音声信号を生成し、記録媒体に記録することを意味する。また、サラウンド再生とは、サラウンド再生システムにおいて、記録媒体に記録されている複数の合成音声信号を再生し、複数のスピーカから音声出力することを意味する。
全方向パワースペクトルとは、録音装置の周囲の全方向から到来する音声成分をほぼ等しく含むようなパワースペクトルを意味する。また、非合成方向パワースペクトルとは、特定の合成方向以外の方向から到来する音声成分を含むようなパワースペクトルを意味する。非合成方向パワースペクトルは、全方向パワースペクトルから、特定の合成方向から到来する音声成分のパワースペクトルを除外したパワースペクトルに相当する。
入力音声信号をパワースペクトル領域で合成するとは、時間領域の入力音声信号ｘを周波数領域の音声スペクトルＸに変換し、さらに、当該音声スペクトルＸのパワースペクトルＰを計算し、当該パワースペクトルＰを合成することを意味する。また、入力音声信号を複素スペクトル領域（音声スペクトル領域）で合成するとは、時間領域の入力音声信号ｘを周波数領域の音声スペクトルＸに変換し、さらに、当該音声スペクトルＸを合成することを意味する。
また、以下の説明において、「ｘ」、「ｘ（ｎ）」は、マイクロホンから入力された入力音声信号（時間領域）を表す。「Ｘ」、「Ｘ（ｋ）」は、マイクロホンから入力された音声信号（時間領域）を周波数変換した入力音声スペクトルを表す。「Ｚ」、「Ｚ（ｋ）」は、第１の合成部により指向性合成された合成音声スペクトルを表す。「Ｙ」、「Ｙ（ｋ）」は、第２の合成部により指向性合成された合成音声スペクトルを表す。「ｚ」、「ｚ（ｎ）」は、音声信号処理装置から出力される合成音声信号若しくは入力音声信号（時間領域）を表す。
また、「ｎ」は時間インデックス（音声信号を所定時間毎にサンプリングしたときの各時間成分を表す指標）、「ｋ」は周波数インデックス（音声スペクトル信号を所定の周波数帯域毎に分割したときの各周波数成分を表す指標）である。以下では、説明の便宜上、周波数成分やフレームを明示する必要がない場合は、時間インデックスｎや、周波数インデックスｋを適宜省略して表記する。
［１．３．指向性合成の原理］
次に、本実施形態に係る音声信号処理装置及び方法による指向性合成処理の原理について説明する。
まず、図３〜図５を参照して、本実施形態に係る指向性合成を行う必要がある根拠、即ち、録音装置の筐体４等の影響により複数のマイクロホンの入力特性が相違する理由について説明する。
基本的に、複数のマイクロホンの間に録音装置の筐体４などが存在し、当該筐体４などが音の伝播の障害物となる場合には、マイクロホンの入力特性は相違することになる。つまり、音源から到来する音は、障害物である筐体４に当たることで、反射したり減衰したりするため、筐体４の前面側と背面側では、マイクロホンにより観測される音声信号レベルが変化する。
例えば図３に示すように、録音装置の筐体４の前面側に１つのマイクロホンＭＦ、背面側に１つのマイクロホンＭＲが配置されているときに、筐体４の周囲の任意の方向に存在する音源から筐体４に向かって音５が到来したとき場合を考える。この際、筐体４の音５の到来方向と筐体４の正面方向との成す角度をθとし、音５の到来方向が筐体４の正面方向と一致する場合に、θ＝０°とする。以下、音の到来方向をθで表す。
図４は、上記図３のマイクロホン配置において、θ＝０°から１０°刻みの方向から音を発生させ、当該音を前面マイクロホンＭＦ、背面マイクロホンＭＲで収音したときに、前面マイクロホンＭＦ、背面マイクロホンＭＲの入力特性を測定した結果を示す。図４において、円周上の０から３３０の値は、上記の音５の到来方向θを示す角度であり、また、０．５、１．０という値は、音の強さの比率を表す。
図４に示すように、背面マイクロホンＭＦでは、１８０°方向からの音の強さを１とすると、０°方向からの音の強さは０．５、つまり、半分に減衰して入力されることが分かる。同様に、前面マイクロホンＭＦについても、背面方向（１８０°方向）からの音は、半分以下に減衰して入力されることが分かる。このように、２つのマイクロホンＭＦ、ＭＲの間に筐体４が存在する場合、筐体４を挟んで反対側から到来する音は、かなり減衰して、マイクロホンＭＦ、ＭＲに入力されることが分かる。
従って、図５Ａに示す３つのマイクロホンＭ１、Ｍ２、Ｍ３の配置においては、筐体４の影響により、各マイクロホンＭ１、Ｍ２、Ｍ３の入力特性は、図５Ｂに示す入力特性Ｓ１、Ｓ２、Ｓ３となる。筐体４の前面側のマイクロホンＭ１は、主に左前方（Ｌ方向）からの音に対する指向性が高くなり、マイクロホンＭ２は、主に右前方（Ｅ方向）からの音に対する指向性が高くなる。一方、筐体４の背面側のマイクロホンＭ３は、主に右後方（ＳＲ方向）からの音に対する指向性が高くなる。
このように、図５Ａに示すマイクロホン配置では、Ｌ、Ｒ、ＳＲ方向の入力音の情報を得ることはできるが、筐体４の左後方（ＳＬ方向）の入力音の情報を十分に得ることはできず、３つのマイクロホンＭ１、Ｍ２、Ｍ３の入力特性Ｓ１、Ｓ２、Ｓ３も相違する。従って、複数のマイクロホンの入力特性が一致していることを前提としている従来の指向性合成方法では、図５Ａに示すマイクロホン配置の場合には、ＳＬ方向の合成音声信号を良好に生成できないので、図５Ｃに示すような４チャンネルのサラウンド再生環境を好適に実現することはできない。
次に、図６〜図８を参照して、本実施形態に係る指向性合成の原理について説明する。
図５Ｂに示した各マイクロホンＭ１、Ｍ２、Ｍ３の入力特性Ｓ１、Ｓ２、Ｓ３によれば、前面マイクロホンＭ１、Ｍ２においては、背面方向からの音は減衰するものの、その音の信号レベルは０にはならず、ある程度は当該背面方向の音を観測可能である。同様に、背面マイクロホンＭ３においても、前面方向からの音は減衰するものの、その音の信号レベルは０にはならない。つまり、図６Ａに示したマイクロホン配置であっても、各マイクロホンＭ１、Ｍ２、Ｍ３に入力される音は、減衰しているとはいえどもＳＬ方向の音声成分を含んでいる。
そこで、本実施形態に係る指向性合成方法では、図６に示すように、マイクロホンＭ１、Ｍ２、Ｍ３から入力される３つの入力音声信号ｘ１、ｘ２、ｘ３をパワースペクトル領域で合成することで、録音装置の周囲の全方向の音声信号成分を等しく含むようなパワースペクトル（即ち、全方向パワースペクトルＰａｌｌ）を求める。この際、各々の入力音声信号ｘ１、ｘ２、ｘ３を周波数変換して、入力音声スペクトルＸ１、Ｘ２、Ｘ３を生成し、当該入力音声スペクトルＸ１、Ｘ２、Ｘ３のパワースペクトルＰ１、Ｐ２、Ｐ３を計算する。そして、マイクロホンＭ１、Ｍ２、Ｍ３の配置に応じて設定された重み付け係数ｇ１、ｇ２、ｇ３（第１の重み付け係数）を用いて、パワースペクトルＰ１、Ｐ２、Ｐ３を適切に重み付け加算することで、全方向パワースペクトルＰａｌｌを計算する。
さらに、図７に示すように、マイクロホンＭ１、Ｍ２、Ｍ３から入力される３つの入力音声信号ｘ１、ｘ２、ｘ３をパワースペクトル領域で合成することで、合成方向であるＳＬ方向以外の方向からの音声成分を含むパワースペクトル（即ち、非合成方向パワースペクトルＰｅｌｓｅ）を求める。この際、マイクロホンＭ１、Ｍ２、Ｍ３の配置に応じて設定された重み付け係数ｆ１、ｆ２、ｆ３（第２の重み付け係数）を用いて、パワースペクトルＰ１、Ｐ２、Ｐ３を適切に重み付け加算することで、非合成方向パワースペクトルＰｅｌｓｅを計算する。
そして、図８に示すように、全方向パワースペクトルＰａｌｌから非合成方向パワースペクトルＰｅｌｓｅを減算することで、ＳＬ方向から到来する音声成分のパワースペクトルＰＳＬを推定する。そして、当該ＳＬ方向のパワースペクトルＰＳＬの平方根を求め、適切な位相を付与することで、パワースペクトルＰＳＬからＳＬ方向の入力音声の複素スペクトルＸＳＬに復元することができる。このようにして、本実施形態では、従来技術では得られなかったＳＬ方向の指向性合成結果を得ることができる。
ここで、図９〜図１１を参照して、本実施形態に係る全方向パワースペクトルＰａｌｌと非合成方向パワースペクトルＰｅｌｓｅの算出方法について、より詳細に説明する。
図９に示すように、マイクロホンＭの周囲（マイクロホンＭを中心とした円周上）に１０°ごとに多数のスピーカ６が配置されており、各スピーカ６から順に音を再生する場合を考える。この場合において、全方向パワースペクトルＰａｌｌとは、図１０Ａに示すように、マイクロホンＭの周囲の水平面上における全ての方向から到来する音を、等しい信号レベルで含むようなパワースペクトルを意味する。
ところが、上記の図５Ａに示したように、マイクロホンＭの傍に筐体４等の障害物が存在する場合には、マイクロホンＭに対して、全ての方向からの音が等しいレベルで入力されない。このため、筐体４が存在しない特定の方向の音は減衰されず、強い信号レベルで入力されるが、筐体４が存在する他の特定の方向の音は減衰されて、弱い信号レベルで入力される。図１０Ｂは、前面マイクロホンＭ１の入力音声信号ｘ１のパワースペクトルＰ１を示すが、音の到来方向θによってパワースペクトルＰ１が増減している。
この結果、筐体４等の障害物の一側と他側に配置されたマイクロホンＭの間には、入力特性Ｓに差が生じる（図５Ｂ参照。）。かかるマイクロホンＭの入力特性Ｓは、筐体４に対するマイクロホンＭの配置によって決まり、マイクロホンＭごとに異なるものとなる。このため、図１０Ｃに示すように、前面マイクロホンＭ１のパワースペクトルＰ１と、前面マイクロホンＭ２のパワースペクトルＰ２と、背面マイクロホンＭ３のパワースペクトルＰ３とは、異なる波形となる。
そこで、図１０Ｄに示すように、既存のマイクロホンＭ１、Ｍ２、Ｍ３により得られるパワースペクトルＰ１、Ｐ２、Ｐ３に適切な重み付けをして合成することで、全ての方向（θ＝０°〜３６０°）から到来する音を、できるだけ等しく含むような全方向パワースペクトルＰａｌｌを生成する。このＰａｌｌの合成処理は、例えば、次の式（１０）に示すように、重み付け係数ｇ１、ｇ２、ｇ３を用いたパワースペクトルＰ１、Ｐ２、Ｐ３の重み付け加算により実現される。
Ｐａｌｌ＝ｇ１・Ｐ１＋ｇ２・Ｐ２＋ｇ３・Ｐ３ ・・・（１０）
以下に、この重み付け加算に用いられる重み付け係数ｇの算出手法について説明する。なお、入力音声信号ｘ１、ｘ２、ｘ３を周波数変換した音声スペクトル（複素スペクトル）のパワースペクトル領域でＰａｌｌを演算するので、音声スペクトルの全周波数帯域のうち、ある周波数ｋに着目して検討する。
あるマイクロホンＭ１が、音の到来方向θによって、図１１に示すような入力特性を有する場合、このマイクロホンＭ１の入力特性を表すパワースペクトルを、「Ｐ１（θ）」と表現する。同様に、他のマイクロホンＭ２、Ｍ３、・・・、ＭＭの入力特性を表すパワースペクトルを、「Ｐ２（θ）」、「Ｐ３（θ）」、・・・、「ＰＭ（θ）」と表現する。
ここで、Ｍ個のマイクロホンＭ１、Ｍ２、・・・ＭＭのパワースペクトルＰ１（θ）、Ｐ２（θ）、・・・、ＰＭ（θ）を、重み付け係数ｇ１、ｇ２、・・・、ｇＭを用いて重み付け加算して、全方向パワースペクトルＰａｌｌ（θ）を合成する。この重み付け加算は、以下の式（１１）で表される。
Ｐａｌｌ（θ）＝ｇ１・Ｐ１（θ）＋ｇ２・Ｐ２（θ）＋・・・＋ｇＭ・ＰＭ（θ）
・・・（１１）
ここで、全方向パワースペクトルＰａｌｌ（θ）は、以下の式（１２）に示すように、全てのθについて、同一の値Ｐｖとなることが求められる。なお、θ１、θ２、・・・、θｎは、図１１に示した０°、１０°等を示しており、３６０°をｎ分割した角度である。
Ｐｖ＝Ｐａｌｌ（θ１）＝ｇ１・Ｐ１（θ１）＋ｇ２・Ｐ２（θ１）＋・・・＋ｇＭ・ＰＭ（θ１）
Ｐｖ＝Ｐａｌｌ（θ２）＝ｇ１・Ｐ１（θ２）＋ｇ２・Ｐ２（θ２）＋・・・＋ｇＭ・ＰＭ（θ２）
・・・
Ｐｖ＝Ｐａｌｌ（θｎ）＝ｇ１・Ｐ１（θｎ）＋ｇ２・Ｐ２（θｎ）＋・・・＋ｇＭ・ＰＭ（θｎ）
・・・（１２）
そして、上記式（１２）の方程式を行列で表記すると、以下の式（１３）となる。以下の式（１３）の解を求めることで、重み付け係数ｇ１、ｇ２、・・・、ｇＭを得ることができる。この係数ｇ１、ｇ２、・・・、ｇＭは、筐体４に対するマイクロホンＭ１、Ｍ２、・・・、ＭＭの配置などに応じて決定され、録音装置の設計段階で開発者により予め設定される。
Figure 2014017645
次に、非合成方向パワースペクトルＰｅｌｓｅを求めるための重み付け係数ｆの算出方法について説明する。上記と全方向パワースペクトルＰａｌｌ（θ）同様に、Ｍ個のマイクロホンＭ１、Ｍ２、・・・ＭＭのパワースペクトルＰ１（θ）、Ｐ２（θ）、・・・、ＰＭ（θ）を、重み付け係数ｆ１、ｆ２、・・・、ｆＭを用いて重み付け加算して、非合成方向パワースペクトルＰｅｌｓｅ（θ）を合成する。この重み付け加算は、以下の式（１４）で表される。
Ｐｅｌｓｅ（θ）＝ｆ１・Ｐ１（θ）＋ｆ２・Ｐ２（θ）＋・・・＋ｆＭ・ＰＭ（θ）
・・・（１４）
ここで、非合成方向パワースペクトルＰｅｌｓｅ（θ）は、以下の式（１５）に示すように、合成方向θｍについてはゼロとし、このθｍの前後の角度θｍ−１、θｍ＋１についてはＰｖより小さい値Ｐｖ’となり、これら以外のθについて、同一の値Ｐｖとなることが求められる。例えば、図８に示したように、ＳＬ方向（θ＝２２５°）以外の非合成方向パワースペクトルＰｅｌｓｅ（θ）を求める場合には、Ｐｅｌｓｅ（θｍ＝２２５°）＝０となり、２２５°の前後α°のＰｅｌｓｅ（θｍ−１）、Ｐｅｌｓｅ（θｍ＋１）の値も、Ｐｖより小さい値に設定すればよい。
Ｐｖ＝Ｐｅｌｓｅ（θ１）＝ｆ１・Ｐ１（θ１）＋ｆ２・Ｐ２（θ１）＋・・・＋ｆＭ・ＰＭ（θ１）
Ｐｖ＝Ｐｅｌｓｅ（θ２）＝ｆ１・Ｐ１（θ２）＋ｆ２・Ｐ２（θ２）＋・・・＋ｆＭ・ＰＭ（θ２）
・・・
Ｐｖ’＝Ｐｅｌｓｅ（θｍ−１）＝ｆ１・Ｐ１（θｍ−１）＋ｆ２・Ｐ２（θｍ−１）＋・・・＋ｆＭ・ＰＭ（θｍ−１）
０＝Ｐｅｌｓｅ（θｍ）＝ｆ１・Ｐ１（θｍ）＋ｆ２・Ｐ２（θｍ）＋・・・＋ｆＭ・ＰＭ（θｍ）
Ｐｖ’＝Ｐｅｌｓｅ（θｍ＋１）＝ｆ１・Ｐ１（θｍ＋１）＋ｆ２・Ｐ２（θｍ＋１）＋・・・＋ｆＭ・ＰＭ（θｍ＋１）
・・・
Ｐｖ＝Ｐｅｌｓｅ（θｎ）＝ｆ１・Ｐ１（θｎ）＋ｆ２・Ｐ２（θｎ）＋・・・＋ｆＭ・ＰＭ（θｎ）
・・・（１５）
そして、上記式（１５）の方程式を行列で表記した式（１６）の解を求めることで、重み付け係数ｆ１、ｆ２、・・・、ｆＭを得ることができる。この係数ｆ１、ｆ２、・・・、ｆＭも、筐体４に対するマイクロホンＭ１、Ｍ２、・・・、ＭＭの配置などに応じて決定され、録音装置の設計段階で開発者により予め設定される。
Figure 2014017645
［１．４．音声信号処理装置の構成］
［１．４．１．音声信号処理装置のハードウェア構成］
次に、図１２を参照して、本実施形態に係る音声信号処理装置のハードウェア構成例について説明する。図１２は、本実施形態に係る音声信号処理装置が適用されたデジタルカメラ１のハードウェア構成を示すブロック図である。
本実施形態に係るデジタルカメラ１は、例えば、動画撮像中に動画と共に音声も記録可能な撮像装置である。このデジタルカメラ１は、被写体を撮像して、当該撮像により得られた撮像画像（静止画又は動画のいずれでもよい。）をデジタル方式の画像データに変換し、音声とともに記録媒体に記録する。
図１２に示すように、本実施形態に係るデジタルカメラ１は、概略的には、撮像部１０と、画像処理部２０と、表示部３０と、記録媒体４０と、収音部５０と、音声処理部６０と、制御部７０と、操作部８０とを備える。
撮像部１０は、被写体を撮像して、撮像画像を表すアナログ画像信号を出力する。撮像部１０は、撮像光学系１１と、撮像素子１２と、タイミングジェネレータ１３と、駆動装置１４とを備える。
撮像光学系１１は、フォーカスレンズ、ズームレンズ、補正レンズ等の各種レンズや、不要な波長を除去する光学フィルタ、シャッター、絞り等の光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１における各光学部品を介して、撮像素子１２の露光面に結像される。撮像素子１２（イメージセンサ）は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で構成される。この撮像素子１２は、撮像光学系１１から導かれた光学像を光電変換し、撮像画像を表す電気信号（アナログ画像信号）を出力する。
撮像光学系１１には、該撮像光学系１１の光学部品を駆動するための駆動装置１４が機械的に接続されている。この駆動装置１４は、例えば、ズームモータ１５、フォーカスモータ１６、絞り調整機構（図示せず。）などを含む。駆動装置１４は、後述する制御部７０の指示に従って、撮像光学系１１の光学部品を駆動させ、ズームレンズ、フォーカスレンズを移動させたり、絞りを調整したりする。例えば、ズームモータ１５は、ズームレンズをテレ／ワイド方向に移動させることで、画角を調整するズーム動作を行う。また、フォーカスモータ１６は、フォーカスレンズを移動させることで、被写体に焦点を合わせるフォーカス動作を行う。
また、タイミングジェネレータ（ＴＧ）１３は、制御部７０の指示に従って、撮像素子１２に必要な動作パルスを生成する。例えば、ＴＧ１３は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子１２に供給する。このＴＧ１３により撮像素子１２を駆動させることで、被写体像が撮像される。また、ＴＧ１３が、撮像素子１２のシャッタースピードを調整することで、撮像画像の露光量や露光期間が制御される（電子シャッター機能）。上記の撮像素子１２が出力した画像信号は画像処理部２０に入力される。
画像処理部２０は、マイクロコントローラなどの電子回路で構成され、撮像素子１２から出力される画像信号に対して所定の画像処理を施し、当該画像処理後の画像信号を表示部３０や制御部７０に出力する。画像処理部２０は、アナログ信号処理部２１、アナログ／デジタル（Ａ／Ｄ）変換部２２、デジタル信号処理部２３を備える。
アナログ信号処理部２１は、画像信号を前処理する所謂アナログフロントエンドである。該アナログ信号処理部２１は、例えば、撮像素子１２から出力される画像信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理などを行う。Ａ／Ｄ変換部２２は、アナログ信号処理部２１から入力されたアナログ画像信号をデジタル画像信号に変換して、デジタル信号処理部２３に出力する。デジタル信号処理部２３は、入力されたデジタル画像信号に対して、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正等のデジタル信号処理を行って、表示部３０や制御部７０等に出力する。
表示部３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどの表示装置で構成される。表示部３０は、制御部７０による制御に従って、入力された各種の画像データを表示する。例えば、表示部３０は、撮像中に画像処理部２０からリアルタイムで入力される撮像画像（スルー画像）を表示する。これにより、ユーザは、デジタルカメラ１で撮像中のスルー画像を見ながら、デジタルカメラ１を操作することができる。また、記録媒体４０に記録されている撮像画像を再生したときに、表示部３０は、当該再生画像を表示する。これにより、ユーザは、記録媒体４０に記録されている撮像画像の内容を確認することができる。
記録媒体４０は、上記撮像画像のデータ、そのメタデータなどの各種のデータを記憶する。記録媒体４０は、例えば、メモリカード等の半導体メモリ、又は、光ディスク、ハードディスク等のディスク状記録媒体などを使用できる。なお、光ディスクは、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）又はＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）等を含む。なお、記録媒体４０は、デジタルカメラ１に内蔵されてもよいし、デジタルカメラ１に着脱可能なリムーバブルメディアであってもよい。
収音部５０は、デジタルカメラ１周辺の外部音声を収音する。本実施形態に係る収音部５０は、Ｍ個のマイクロホンＭ１、Ｍ２、・・・、ＭＭ（以下、「マイクロホンＭ」と総称する場合もある。）で構成される。Ｍは少なくとも３以上の整数である。３個以上のマイクロホンを具備することで、本実施形態に係る指向性合成を実現可能となる。マイクロホンＭは、無指向性マイクロホンであってもよいし、指向性マイクロホンであってもよいが、以下では、無指向性マイクロホンである例について説明する。また、マイクロホンＭは、外部音声の集音用マイクロホン（例えばステレオマイクロホン）であってもよいし、スマートフォンなどに設けられる通話用のマイクロホンであってもよい。
これらマイクロホンＭは、デジタルカメラ１の同一の筐体４に設置されるが、上記特許文献１、２記載のように対称かつ近接して配置（例えば、正三角形、正四角形等の頂点の位置に近接配置）される必要はなく、筐体４の任意の位置に配置してよい。このように、本実施形態においては、マイクロホンＭの配置の自由度が高い。上記のマイクロホンＭは、外部音声を収音して得られた入力音声信号をそれぞれ出力する。かかる収音部５０により、動画撮像中に外部音声を収音して、動画と共に記録できるようになる。
音声処理部６０は、マイクロコントローラなどの電子回路で構成され、音声信号に対して所定の音声処理を施して、記録用の音声信号を出力する。この音声処理は、例えば、ＡＤ変換処理、雑音低減処理などを含む。本実施形態は、この音声処理部６０による指向性合成処理を特徴としているが、その詳細説明は後述する。
制御部７０は、マイクロコントローラなどの電子回路で構成され、デジタルカメラ１の全体の動作を制御する。制御部７０は、例えば、ＣＰＵ７１、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）７２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７４を備える。かかる制御部７０は、デジタルカメラ１内の各部を制御する。
制御部７０におけるＲＯＭ７３には、ＣＰＵ７１に各種の制御処理を実行させるためのプログラムが格納されている。ＣＰＵ７１は、該プログラムに基づいて動作して、ＲＡＭ７４を用いながら、上記各制御のための必要な演算・制御処理を実行する。該プログラムは、デジタルカメラ１に内蔵された記憶装置（例えば、ＥＥＰＲＯＭ７２、ＲＯＭ７３等）に予め格納しておくことができる。また、当該プログラムは、ディスク状記録媒体、メモリカードなどのリムーバブル記録媒体に格納されて、デジタルカメラ１に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介してデジタルカメラ１にダウンロードされてもよい。
ここで、制御部７０による制御の具体例について説明する。制御部７０は、上記撮像部１０のＴＧ１３や駆動装置１４を制御して、撮像部１０による撮像処理を制御する。例えば、制御部７０は、上記撮像光学系１１の絞りの調整、撮像素子１２の電子シャッタースピードの設定、アナログ信号処理部２１のＡＧＣのゲイン設定などにより、自動露光制御を行う（ＡＥ機能）。また、制御部７０は、上記撮像光学系１１のフォーカスレンズを移動させて、フォーカスポジションを変更することで、特定の被写体に対して撮像光学系１１の焦点を自動的に合わせるオートフォーカス制御を行う（ＡＦ機能）。また、制御部７０は、上記撮像光学系１１のズームレンズを移動させて、ズームポジションを変更することで、撮像画像の画角を調整する。また、制御部７０は、記録媒体４０に対して撮像画像、メタデータなどの各種のデータを記録し、また、記録媒体４０に記録されているデータを読み出して再生する。さらに、制御部７０は、表示部３０に表示するための各種の表示画像を生成し、表示部３０を制御して該表示画像を表示させる。また、制御部７０は、Ｌ、５１Ｒにより収音された音声信号から雑音を低減するために、音声処理部６０の動作を制御する。
操作部８０、表示部３０は、ユーザがデジタルカメラ１の動作を操作するためのユーザインターフェースとして機能する。操作部８０は、ボタン、レバー等の各種の操作キー、又はタッチパネル等で構成され、例えば、ズームボタン、シャッターボタン、電源ボタンなどを含む。操作部８０は、ユーザ操作に応じて、各種の撮像動作を指示するための指示情報を制御部７０に出力する。
［１．４．２．音声信号処理装置の機能構成］
次に、図１３を参照して、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図１３は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
図１３に示すように、本実施形態に係る音声信号処理装置は、Ｍ個のマイクロホンＭ１、Ｍ２、・・・ＭＭと、Ｍ個の周波数変換部１００と、第１の入力選択部１０１と、第１の合成部１０２と、時間変換部１０３とを備える。このうち、周波数変換部１００、第１の入力選択部１０１、第１の合成部１０２及び時間変換部１０３は、上記図１２の音声処理部６０を構成する。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０が備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。
マイクロホンＭは、上記のように無指向性マイクロホンで構成され、５．１ｃｈ、７．１ｃｈ等の多チャンネルの音声信号をサラウンド録音するために用いられる。各マイクロホンＭ１、Ｍ２、・・・、ＭＭは、デジタルカメラ１の周囲の音（外部音声）を収音して、入力音声信号ｘ１（ｎ）、ｘ２（ｎ）、・・・、ｘＭ（ｎ）を生成して出力する。以下、入力音声信号ｘ１（ｎ）、ｘ２（ｎ）、・・・、ｘＭ（ｎ）を、「入力音声信号ｘ」又は「音声信号ｘ」と総称する場合もある。入力音声信号ｘ（ｎ）は、時間領域の信号であり、マイクロホンＭにより収音された音の時間波形値（時系列の波形データそのもの）を表す。
周波数変換部１００は、Ｍ個のマイクロホンＭ１、Ｍ２、・・・ＭＭにそれぞれ対応して設けられる。周波数変換部１００は、フレーム単位で、時間領域の入力音声信号ｘを、周波数領域の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）に変換する。ここで、入力音声スペクトルＸは、周波数スペクトル値（複素スペクトル）を表し、ｎは時間インデックス、ｋは周波数インデックスを表す。以下、入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）を、「入力音声スペクトルＸ」又は「音声スペクトルＸ」と総称する場合もある。
各周波数変換部１００は、各マイクロホンＭから入力された入力音声信号ｘ（ｎ）を所定時間のフレーム単位で分割し、当該分割された音声信号ｘ（ｎ）をフーリエ変換（例えばＦＦＴ）することで、入力音声スペクトルＸ（ｋ）を生成する。この際、入力音声信号ｘの時間変化に追従するために、周波数変換部１００は、例えば２０〜３０ｍｓ毎に周波数変換することが望ましい。
第１の入力選択部１０１は、周波数変換部１００から入力されるＭ個の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）の中から、第１の合成部１０２による合成対象の入力音声スペクトルＸ（ｋ）を選択する。ここで、合成対象の入力音声スペクトルＸ（ｋ）とは、サラウンド再生環境の特定チャンネルに対応する合成方向（第１の合成方向）の指向性を有する音声信号（以下、「特定チャンネルの合成音声信号」という。）を合成するために必要な複数の入力音声スペクトルである。第１の入力選択部１０１は、デジタルカメラ１の筐体４に対するＭ個のマイクロホンＭの配置に基づいて、合成対象の入力音声スペクトルＸ（ｋ）を選択する。
ここで、図１４を参照して、本実施形態に係る第１の入力選択部１０１の構成を詳述する。図１４は、本実施形態に係る第１の入力選択部１０１の構成を示すブロック図である。図１４に示すように、第１の入力選択部１０１は、選択部１０４と、保持部１０５を備える。
保持部１０５は、サラウンド再生環境の特定チャンネル（例えば、Ｌ、Ｒ、ＳＬ、ＳＲ等）の識別情報と、当該特定チャンネルの合成音声信号を合成するために必要なマイクロホンＭの識別情報とを、関連づけて保持している。ここで、マイクロホンＭの識別情報は、例えば、当該合成に必要な複数のマイクロホンＭを表す識別ＩＤ（例えば、マイクロホン番号）を含むＩＤ系列である。当該合成に必要なマイクロホンＭは、サラウンド再生環境のチャンネルごと及び周波数帯域ごとに、予め開発者により決定され、当該決定されたマイクロホンＭの識別ＩＤが保持部１０５に保持される。
選択部１０４は、筐体４に対するＭ個のマイクロホンＭの配置に基づいて、周波数変換部１００から入力されるＭ個の入力音声スペクトルＸの中から、少なくとも２つの合成対象の入力音声スペクトルＸを選択する。この際、選択部１０４は、保持部１０５に保持されているマイクロホンＭの識別情報を参照して、後段の第１の合成部１０２により特定チャンネルの合成音声信号を合成するために必要なマイクロホンＭを選択し、当該選択されたマイクロホンＭに対応する入力音声スペクトルＸを選択する。このようにして、選択部１０４は、チャンネルごとに予め設定されたマイクロホンＭに対応する入力音声スペクトルＸのみを選択して、後段の第１の合成部１０２に出力する。これにより、所望のチャンネルの指向性合成に最適な入力音声スペクトルＸを抽出できる。
例えば、ＳＬ方向の合成音声信号を合成するために、３個のマイクロホンＭ１、Ｍ２、Ｍ３が必要であれば、保持部１０５には、ＳＬチャンネルに関連づけてマイクロホンＭ１、Ｍ２、Ｍ３のＩＤが保持されている。選択部１０４は、保持部１０５から読み出したマイクロホンＭ１、Ｍ２、Ｍ３のＩＤに基づいて、Ｍ個の入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭの中から、マイクロホンＭ１、Ｍ２、Ｍ３に対応する入力音声スペクトルＸ１、Ｘ２、Ｘ３を選択する。選択部１０４は、選択した入力音声スペクトルＸを、後段の第１の合成部１０２に出力する。
第１の合成部１０２は、上記第１の入力選択部１０１により選択された複数の入力音声スペクトルＸのパワースペクトルＰを合成することにより、上記特定チャンネルの合成方向（第１の合成方向）の指向性を有する合成音声スペクトルＺ（ｋ）を生成する。このように、第１の合成部１０２は、パワースペクトル領域での指向性合成処理を行う。
ここで、図１５を参照して、本実施形態に係る第１の合成部１０２の構成を詳述する。図１５は、本実施形態に係る第１の合成部１０２の構成を示すブロック図である。
図１５に示すように、第１の合成部１０２は、第１の演算部１０６と、第１の保持部１０７と、第２の演算部１０８と、第２の保持部１０９と、減算部１１０と、第３の演算部１１１を備える。
第１の保持部１０７は、前述した全方向パワースペクトルＰａｌｌを算出するための重み付け係数ｇ１、ｇ２、・・・、ｇＭ（第１の重み付け係数）を、合成方向ごとに保持している。また、第２の保持部１０９は、上記特定チャンネルの合成方向（例えばＳＬ方向）以外の方向の非合成方向パワースペクトルＰｅｌｓｅを算出するための重み付け係数ｆ１、ｆ２、・・・、ｆＭ（第２の重み付け係数）を、合成方向ごとに保持している。これらの重み付け係数ｇ、ｆは、デジタルカメラ１の開発者により、筐体４に対するマイクロホンＭ１、Ｍ２、・・・、ＭＭの配置に応じて、合成方向ごとに予め設定される。
第１の演算部１０６は、第１の入力選択部１０１により選択された複数の入力音声スペクトルＸのパワースペクトルＰをそれぞれ計算し、重み付け係数ｇを用いて当該パワースペクトルＰを合成することにより、全方向パワースペクトルＰａｌｌを算出する（図６参照。）。例えば、第１の入力選択部１０１により入力音声スペクトルＸ１、Ｘ２、Ｘ３が選択された場合、第１の演算部１０６は、入力音声スペクトルＸ１、Ｘ２、Ｘ３のパワースペクトルＰ１、Ｐ２、Ｐ３に対して、第１の保持部１０７から読み出した重み付け係数ｇ１、ｇ２、ｇ３をそれぞれ乗算して、加算することにより、全方向パワースペクトルＰａｌｌを算出する。
第２の演算部１０８は、第１の入力選択部１０１により選択された複数の入力音声スペクトルＸのパワースペクトルＰをそれぞれ計算し、重み付け係数ｆを用いて当該パワースペクトルＰを合成することにより、非合成方向パワースペクトルＰｅｌｓｅを算出する（図７参照。）。例えば、第１の入力選択部１０１により入力音声スペクトルＸ１、Ｘ２、Ｘ３が選択された場合、第２の演算部１０８は、入力音声スペクトルＸ１、Ｘ２、Ｘ３のパワースペクトルＰ１、Ｐ２、Ｐ３に対して、第２の保持部１０９から読み出した重み付け係数ｆ１、ｆ２、ｆ３をそれぞれ乗算して、加算することにより、非合成方向パワースペクトルＰｅｌｓｅを算出する。
減算部１１０は、上記全方向パワースペクトルＰａｌｌから非合成方向パワースペクトルＰｅｌｓｅを減算して、上記特定チャンネルの合成方向（例えばＳＬ方向）のパワースペクトルＰＺを生成する（図８参照。）。第３の演算部１１１は、当該パワースペクトルＰＺに基づいて、上記特定チャンネルの合成方向（例えばＳＬ方向）の指向性を有する合成音声スペクトルＺを生成する。
このように、第１の合成部１０２は、第１の入力選択部１０１により選択された複数の入力音声スペクトルＸを、パワースペクトル領域で合成することにより、上記特定チャンネルの合成方向（例えばＳＬ方向）の指向性を有する合成音声スペクトルＺを生成する。第１の合成部１０２は、生成した合成音声スペクトルＺを時間変換部１０３に出力する。
時間変換部１０３は、第１の合成部１０２から入力される周波数領域の合成音声スペクトルＺ（ｋ）を、時間領域の音声信号ｚ（ｎ）に逆変換する。例えば、時間変換部１０３は、第１の合成部１０２により合成された特定チャンネルの合成音声スペクトルＺＳＬ（ｋ）を逆フーリエ変換することで、フレーム単位ごとの音声信号ｚＳＬ（ｎ）を生成する。
次に、図１６を参照して、本実施形態に係る音声信号処理装置による指向性合成機能の具体例について説明する。図１６は、本実施形態に係る音声信号処理装置の指向性合成機能の具体例を示すブロック図である。
図１６は、図５Ａに示したマイクロホン配置において、図５Ｃに示した４チャンネル（Ｌ、Ｒ、ＳＬ、ＳＲ）の指向性合成を行う例を示している。上述したように、図５Ａに示したマイクロホン配置の場合、従来の指向性合成技術により、Ｌ、Ｒ、ＳＲ方向の合成音声信号ｚＬ、ｚＲ、ｚＳＲを合成することはできても、ＳＬ方向の合成音声信号ｚＳＬを良好に合成することは困難であった。
これに対し本実施形態によれば、ＳＬ方向の合成音声信号ｚＳＬを生成するために、上記パワースペクトル領域での指向性合成を行う。即ち、図１６に示すように、まず、３つの周波数変換部１００により、３つのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３をそれぞれ周波数変換して、入力音声スペクトルＸ１、Ｘ２、Ｘ３を生成する。次いで、第１の入力選択部１０１により、Ｘ１、Ｘ２、Ｘ３の中から、ＳＬ方向の指向性合成に必要な入力音声スペクトルＸを選択する。この例では、全てのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３が選択される。さらに、第１の合成部１０２により、入力音声スペクトルＸ１、Ｘ２、Ｘ３から、全方向パワースペクトルＰａｌｌと非合成方向パワースペクトルＰｅｌｓｅを生成し、両者の差分からＳＬ方向の合成音声スペクトルＺＳＬ（複素スペクトル）を生成する。その後、時間変換部１０３により、合成音声スペクトルＺＳＬを逆フーリエ変換することで、ＳＬ方向の合成音声信号ｚＳＬ（時間波形）を生成する。
一方、Ｌ、Ｒ、ＳＲ方向については、図１６に示すように、３つのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３をそのまま、Ｌ、Ｒ、ＳＲ方向の合成音声信号ｚＬ、ｚＲ、ｚＳＲとして出力する。これは、図５に示したように、筐体４の影響により３つのマイクロホンＭ１、Ｍ２、Ｍ３がそれぞれＬ、Ｒ、ＳＲ方向の指向性を有するため、特に、当該方向の合成処理を行う必要がないからである。
以上のように、本実施形態によれば、３つのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３を用いて、４チャネルの合成音声信号ｚＬ、ｚＲ、ｚＳＬ、ｚＳＲを出力できる。特に、従来では良好に合成できなかったＳＬ方向の合成音声信号ｚＳＬを良好に合成できるという効果がある。
［１．５．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（指向性合成方法）について説明する。
［１．５．１．音声信号処理装置の全体動作］
まず、図１７を参照して、本実施形態に係る音声信号処理装置の全体動作について説明する。図１７は、本実施形態に係る音声信号処理方法を示すフローチャートである。
音声信号処理装置は、Ｍ個のマイクロホンＭ１、Ｍ２、・・・ＭＭからそれぞれ入力される音声信号ｘ１、ｘ２、・・・、ｘＭを複数のフレームに分割し、フレーム単位で指向性合成処理を行う。
図１７に示すように、まず、マイクロホンＭ１、Ｍ２、・・・ＭＭにより、デジタルカメラ１周辺の音（外部音声）を収音し、入力音声信号ｘ１、ｘ２、・・・、ｘＭを生成する（Ｓ１０）。
次いで、周波数変換部１００により、各マイクロホンＭ１、Ｍ２、・・・ＭＭから入力された入力音声信号ｘ１、ｘ２、・・・、ｘＭを周波数変換（例えばＦＦＴ）し、入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭを生成する（Ｓ１２）。この周波数変換処理は、音声信号ｘのフレーム単位で行われる。即ち、周波数変換部１００は、ｎ番目のフレームの入力音声信号ｘ（ｎ）が入力されると、当該音声信号ｘ（ｎ）をフーリエ変換して、ｎ番目のフレームの入力音声スペクトルＸ（ｋ）を周波数成分ｋごとに出力する。この入力音声スペクトルの周波数成分Ｘ（ｋ）は、Ｘを所定の周波数帯域に分割したものである。
次いで、第１の入力選択部１０１により、Ｓ１２で得られた入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭから、所望の特定チャンネルを合成するために必要な複数の入力音声スペクトルＸを選択する（Ｓ１４）。さらに、第１の合成部１０２により、Ｓ１４で選択された入力音声スペクトルＸのパワースペクトルＰを合成することで、特定チャンネルの合成音声スペクトルＺ（ｋ）を生成する（Ｓ１６）。この合成処理も、入力音声スペクトルＸ（ｋ）の周波数成分ｋ（ｋ＝０、１、・・・、Ｌ−１）ごとに行われる。
その後、時間変換部１０３により、Ｓ１６で合成された合成音声スペクトルＺ（ｋ）を時間変換（例えば逆ＦＦＴ）して、時間領域の合成音声信号ｚ（ｎ）を生成する（Ｓ１８）。さらに、デジタルカメラ１の制御部７０により、当該合成音声信号ｚ（ｎ）が記録媒体４０に記録される（Ｓ２０）。この際、上記特定チャンネルの合成音声信号ｚ（ｎ）とともに、他のチャンネルの合成音声信号ｚ（ｎ）や動画像も記録媒体４０に記録されてもよい。
［１．５．２．第１の入力選択部の動作］
次に、図１８を参照して、本実施形態に係る第１の入力選択部１０１の動作（図１５の第１の入力選択処理Ｓ１４）について説明する。図１８は、本実施形態に係る第１の入力選択部１０１の動作を示すフローチャートである。なお、以下では、入力音声スペクトルＸのｋ番目の周波数成分ｘ（ｋ）について説明するが、周波数成分は、ｋ＝０、１、・・・、Ｌ−１まで存在し、すべて同様の処理となる。
図１８に示すように、まず、第１の入力選択部１０１は、周波数変換部１００から出力されたＭ個の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）を取得する（Ｓ１００）。
次いで、第１の入力選択部１０１は、保持部１０５からＩＤ系列を取得する（Ｓ１０２）。上述したように、このＩＤ系列は、特定チャンネルの合成音声信号を合成するために必要なマイクロホンＭの識別情報（例えばマイクロホン番号）である。当該ＩＤ系列は、サラウンド再生環境のチャンネルごとに、マイクロホンＭ１、Ｍ２、・・・ＭＭの配置に応じて予め設定されている。第１の入力選択部１０１は、当該ＩＤ系列により、次のＳ１０４で選択すべき入力音声スペクトルＸｉ（ｋ）を判断できる。
さらに、第１の入力選択部１０１は、Ｓ１０２で取得したＩＤ系列に基づいて、Ｓ１００で取得した入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）の中から、一部又は全部の入力音声スペクトルＸｉ（ｋ）を選択する（Ｓ１０４）。ここで、選択されるＸｉ（ｋ）は、特定チャンネルの合成音声信号を合成するために必要な音声スペクトルであり、上記ＩＤ系列で指定されたマイクロホンＭから出力された入力音声スペクトルに相当する。
例えば、図５の例では、３個のマイクロホンＭ１、Ｍ２、Ｍ３が設置されており、ＳＬ方向の合成音声信号ｚＳＬを合成するためには、全てのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、Ｘ３（ｋ）が必要である。この場合には、ＩＤ系列には、全てのマイクロホンＭ１、Ｍ２、Ｍ３のＩＤ（例えば、ＩＤ＝１、２、３）が記述されている。このため、Ｓ１０４にて、第１の入力選択部１０１は、全てのＸ１（ｋ）、Ｘ２（ｋ）、Ｘ３（ｋ）を選択する。
その後、第１の入力選択部１０１は、Ｓ１０４で選択した入力音声スペクトルＸｉ（ｋ）を、後段の第１の合成部１０２に出力する（Ｓ１０６）。
［１．５．３．第１の合成部の動作］
次に、図１９を参照して、本実施形態に係る第１の合成部１０２の動作（図１５の第１の合成処理Ｓ１６）について説明する。図１９は、本実施形態に係る第１の合成部１０２の動作を示すフローチャートである。なお、以下では、入力音声スペクトルＸのｋ番目の周波数成分ｘ（ｋ）について説明するが、周波数成分は、ｋ＝０、１、・・・、Ｌ−１まで存在し、すべて同様の処理となる。
まず、第１の合成部１０２は、合成対象の音声スペクトルとして、上記第１の入力選択部１０１により選択された複数の入力音声スペクトルＸｉ（ｋ）を取得する（Ｓ１１０）。例えば、図５のマイクロホン配置の場合、合成対象の入力音声スペクトルＸｉ（ｋ）は、全てのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、Ｘ３（ｋ）である。
次いで、第１の合成部１０２は、Ｓ１１０で取得した入力音声スペクトルＸｉ（ｋ）のパワースペクトルＰＸｉをそれぞれ計算する（Ｓ１１２）。Ｘは複素スペクトルであるので（Ｘ＝ａ＋ｊ・ｂ）、このＸからＰＸを計算することができる（ＰＸ＝ａ２＋ｂ２）。例えば、図５のマイクロホン配置の場合、パワースペクトルＰＸ１、ＰＸ２、ＰＸ３が計算される。
さらに、第１の合成部１０２は、第１の保持部１０７から、全方向パワースペクトルＰＸａｌｌを求めるために各パワースペクトルＰＸｉに乗算する重み付け係数ｇｉを取得する（Ｓ１１４）。上述したように、第１の保持部１０７は、合成対象の特定チャンネルごとに、マイクロホン配置に応じた重み付け係数ｇｉを保持している。そこで、第１の合成部１０２は、合成対象の特定チャンネルに対応する重み付け係数ｇｉを、第１の保持部１０７から読み出す。
その後、第１の合成部１０２は、Ｓ１１４で取得した重み付け係数ｇｉを用いて、Ｓ１１２で計算したパワースペクトルＰＸｉを重み付け加算することにより、全方向パワースペクトルＰＸａｌｌを計算する（Ｓ１１６）。例えば、図５のマイクロホン配置の場合、以下の式（１７）でパワースペクトルＰＸａｌｌが計算される（図６参照。）。
ＰＸａｌｌ＝ｇ１・ＰＸ１＋ｇ２・ＰＸ２＋ｇ３・ＰＸ３ ・・・（１７）
次いで、第１の合成部１０２は、第２の保持部１０９から、非合成方向パワースペクトルＰＸｅｌｓｅを求めるために各パワースペクトルＰＸｉに乗算する重み付け係数ｆｉを取得する（Ｓ１１８）。上述したように、第２の保持部１０９は、合成対象の特定チャンネルごとに、マイクロホン配置に応じた重み付け係数ｆｉを保持している。そこで、第１の合成部１０２は、合成対象の特定チャンネルに対応する重み付け係数ｆｉを、第２の保持部１０９から読み出す。
さらに、第１の合成部１０２は、Ｓ１１８で取得した重み付け係数ｆｉを用いて、Ｓ１１２で計算したパワースペクトルＰＸｉを重み付け加算することにより、非合成方向パワースペクトルＰＸｅｌｓｅを計算する（Ｓ１２０）。例えば、図５のマイクロホン配置の場合、以下の式（１８）で、ＳＬ方向以外の非合成方向パワースペクトルＰＸｅｌｓｅが計算される（図７参照。）。
ＰＸｅｌｓｅ＝ｆ１・ＰＸ１＋ｆ２・ＰＸ２＋ｆ３・ＰＸ３ ・・・（１８）
その後、第１の合成部１０２は、Ｓ１１６で求めた全方向パワースペクトルＰＸａｌｌから、Ｓ１２０で求めた非合成方向パワースペクトルＰＸｅｌｓｅを減算する（Ｓ１２２）。この減算処理により、合成対象の特定チャンネル（合成方向）のパワースペクトルＰｚが得られる（Ｐｚ＝ＰＸａｌｌ−ＰＸｅｌｓｅ）。例えば、図５のマイクロホン配置の場合、Ｐｚとして、ＳＬ方向のパワースペクトルＰＳＬが計算される（図８参照。）。
さらに、第１の合成部１０２は、Ｓ１２２で求めた合成対象の特定チャンネル（合成方向）のパワースペクトルＰｚから、当該特定チャンネルの複素スペクトルＺ（ｋ）を復元する（Ｓ１２４）。具体的には、第１の合成部１０２は、Ｐｚの平方根に対して位相∠Ｘを付与することで、パワースペクトルＰｚを複素スペクトルＺ（ｋ）に復元できる。この複素スペクトルＺ（ｋ）は、合成対象の特定チャンネル（合成方向）の合成音声スペクトルＺに相当する。
ここで、Ｓ１２４の復元処理について詳述する。一般に、音声スペクトルとしての複素スペクトルＸは、実部と虚部からなり、Ｘ＝ａ＋ｂ・ｊで表される。この複素スペクトルＸは、音声信号の振幅及び位相の観点から表現すると、以下の式（１９）で表される。式（１９）において、振幅は（ａ２＋ｂ２）０．５であり、位相は∠Ｘである。
Figure 2014017645
また、パワースペクトルＰは以下の式（２０）で表される。式（２０）から分かるように、複素スペクトルＸの実部ａと虚部ｂの平方和を計算することで、パワースペクトルＰを求めることができる。
Ｐ＝ａ２＋ｂ２ ・・・（２０）
以上により、パワースペクトルＰの平方根を求めることで、複素スペクトルＸの振幅を復元できる。この振幅に位相を付与すれば、複素スペクトルＸ自体を復元することができることになる。
一般に、音声波形などでは、パワースペクトルＰｘの復元が重要であり、位相は正確なものでなくても、人間の聴覚に対してはあまり影響がないといわれている。そこで、本実施形態では、上記ＰＳＬから求めた振幅（ａ２＋ｂ２）０．５に対して、マイクロホンＭ３の入力音声信号ｘ３の位相∠Ｘ３（ｋ）を付与することで、ＳＬ方向のパワースペクトルＰＳＬからＳＬ方向の複素スペクトルＸＳＬを推定している。
［１．６．効果］
以上、本開示の第１の実施形態に係る音声信号処理装置及び方法について詳細に説明した。本実施形態によれば、第１の入力選択部１０１により選択された複数の入力音声スペクトルＸを、第１の合成部１０２によりパワースペクトル領域で合成することにより、合成対象の特定チャンネル（合成方向）の指向性を有する合成音声スペクトルＺを生成する。
この合成音声スペクトルＺは、従来の音声信号の時間領域若しくは複素スペクトル領域での指向性合成技術では、良好に生成できないものである。即ち、前述したように、筐体４に対するマイクロホンＭの配置が原因で、複数のマイクロホンＭの間の入力特性Ｓが相違するため、特定チャンネルの合成方向、例えばＳＬ方向の合成音声スペクトルＺＳＬを生成するために必要な情報が不足する場合がある（図３〜図５参照。）。この場合、限られた数のマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号を、従来技術のように時間領域又は複素スペクトル領域で合成したとしても、ＳＬ方向の合成音声スペクトルＺＳＬを適切に生成できない。
しかし、本実施形態によれば、マイクロホン配置に応じて、特定チャンネルの合成方向（例えばＳＬ方向）の指向性合成に必要な入力音声スペクトルＸを選択し、当該選択された入力音声スペクトルＸをパワースペクトル領域で合成する。これにより、上記マイクロホンＭの間の入力特性Ｓが相違するようなマイクロホン配置においても、所望の合成方向の合成音声スペクトルＺを良好に生成できる。
このように、本実施形態によれば、従来ではマイクロホン配置の影響により実現できなかったサラウンド録音を、好適に実現することができる。換言すると、より少ない数のマイクロホンで、所望のチャンネル数の指向性合成を行うことが可能になる。
さらに、本実施形態によれば、自由度の高いマイクロホン配置が可能となり、上記特許文献１、２記載のように複数のマイクロホンＭを対称かつ近接して配置する必要がなく、筐体４の任意の位置に配置してよい。従って、筐体４に対するマイクロホンＭの配置の自由度が高いので、デジタルカメラ１、携帯電話、携帯情報端末などの録音機器の小型化、設計の容易化、多機能化等に貢献できる。特に、スマートフォンは、通話機能、録音機能などの多機能を有するため、複数のマイクロホンが筐体４の一側と他側に離隔して配置されることが多い。従って、上記本実施形態によるマイクロホン配置の自由度が高いという利点は、スマートフォンなどの機器にとって有用である。
また、一般的には、複数のマイクロホンＭが離隔しすぎると、マイクロホンＭ間で空間エイリアスが生じるため、合成音声信号の指向性に歪みが生じてしまう。しかし、本実施形態によれば、パワースペクトル領域での合成処理により、この歪みの影響を低減することができる。また、これにより、マイクロホンＭを離隔配置できるので、マイクロホン配置の自由度がさらに向上する。
＜２．第２の実施の形態＞
次に、本開示の第２の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第２の実施形態は、上記入力音声スペクトルＸに加えて第２の指向性合成処理の結果も利用して、上記第１の指向性合成処理を行うことを特徴としている。第２の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
［２．１．第２の実施形態の概要］
まず、第２の実施形態に係る音声信号処理装置及び方法の概要について説明する。
前述したように、複数のマイクロホンＭの間に筐体４などが存在し、音の伝播の障害物となる場合には、複数のマイクロホンＭの入力特性に偏りが生じることになる。つまり、音が障害物に当たると、反射又は減衰するので、障害物の一側と他側ではマイクロホンＭに入力される音の特性が相違する。
しかしながら、音には回析という現象があり、波長が長い低周波数帯域の音ほど回析しやすい。このため、たとえ障害物（筐体４など）が存在したとしても、障害物のサイズに対して十分大きな波長を有する音の低周波数成分は、障害物を回り込んで、障害物の裏側にあるマイクロホンに入力される。このような音の回析により、結果的にマイクロホンＭの入力特性に偏りが生じない場合がある。
かかる音の周波数帯域による音の回析の影響を、前述した図３に示すマイクロホン配置の例を挙げて説明する。図２０は、上記図３のマイクロホン配置において、θ＝０°から１０°刻みの方向から、４００Ｈｚ、１０００Ｈｚ、２５００Ｈｚの音を発生させたときの、前面マイクロホンＭＦ、背面マイクロホンＭＲの入力特性を測定した結果を示す。
図２０に示すように、音の周波数によって、マイクロホンＭの入力特性は変化する。例えば、２５００Ｈｚの高周波数帯域では、前面マイクロホンＭＦには、後方から到来する音はかなり減衰して入力される。前方から到来する音の背面マイクロホンＭＲに対する入力特性も同様である。このように、高周波数帯域では、音の到来方向θによって各マイクロホンＭＦ、ＭＲの入力特性に偏りが生じるので、筐体４の前面と背面に設けられたマイクロホンＭＦ、ＭＲ間の入力特性の差が大きくなる。
これに対し、１０００Ｈｚの中周波数帯域、４００Ｈｚの低周波数帯域の結果から分かるように、音の周波数は低周波数帯域になるにつれて、マイクロホンＭの入力特性の偏りが小さくなる。特に、４００Ｈｚの低周波数帯域の場合、後方から到来する音は、大きく回析するために、前面マイクロホンＭＦに対して前面マイクロホンＭＲと同様な振幅で入力されており、両マイクロホンＭＦ、ＭＲ間で入力特性の差はほとんど生じていない。
以上のように、マイクロホンＭＦ、ＭＲの間に筐体４等の障害物が存在する場合において、高周波数帯域の音が入力されるときは、音の到来方向θによって各マイクロホンＭＦ、ＭＲの入力特性に偏りが生じるが、低周波数帯域の音が入力されるときは、当該入力特性の偏りは小さくなる。
マイクロホンＭの入力特性の偏りが小さい場合、複数のマイクロホンＭの入力音声信号ｘを、パワースペクトル領域で合成したとしても、上記第１の実施形態のように、ＳＬ方向以外の非合成方向パワースペクトルＰｅｌｓｅを生成することは難しい。この理由について、図２１を参照して説明する。
図２１は、図５Ａに示した３つのマイクロホンＭ１、Ｍ２、Ｍ３の配置において、低周波数帯域（例えば４００Ｈｚ）の音が入力された時の入力特性を示す模式図である。前述したように、低周波数帯域の音が入力された場合、音の到来方向θによって各マイクロホンＭ１、Ｍ２、Ｍ３の入力特性に偏りは生じない。このため、図２１Ａに示すように、筐体４が存在したとしても、各マイクロホンＭ１、Ｍ２、Ｍ３の入力パワースペクトルＰ１、Ｐ２、Ｐ３は、無指向性であり、全ての方向θの音声成分を等しく含むようになる。
かかる場合、第１の実施形態の方法により入力パワースペクトルＰ１、Ｐ２、Ｐ３を合成することで、図２１Ｂに示すように、全方向パワースペクトルＰａｌｌを適切に生成することはできるが、図２１Ｃに示すように、非合成方向パワースペクトルＰｅｌｓｅを適切に生成することは困難となる。つまり、各マイクロホンＭ１、Ｍ２、Ｍ３の入力特性に偏りが有る場合には、図７に示したように、適切な係数ｆ１、ｆ２、ｆ３を用いて、Ｐ１、Ｐ２、Ｐ３を重み付け加算することで、ＳＬ方向以外の非合成方向パワースペクトルＰｅｌｓｅを生成できる。しかし、図２１Ａに示したように、各マイクロホンＭ１、Ｍ２、Ｍ３の入力特性に偏りが無い場合には、Ｐ１、Ｐ２、Ｐ３を重み付け加算したとしても、ＳＬ方向の音声成分を十分に低減することができず、図２１Ｃに示すように、不完全な非合成方向パワースペクトルＰｅｌｓｅしか生成できない。
以上の理由から、低周波数帯域の音が入力され、マイクロホンＭの入力特性に偏りが生じない場合であっても、非合成方向パワースペクトルＰｅｌｓｅを良好に生成できる方法が求められる。
ところで、マイクロホンＭの入力特性に偏りが生じない場合（即ち、入力特性が揃っている場合）においては、既存のマイクロホンアレイ処理技術を有効に使用することができる。このマイクロホンアレイ処理技術は、複素スペクトル領域で入力音声信号を合成するものであり、例えば、「ｄｅｌａｙ−ａｎｄ−ｓｕｍ ａｒｒａｙ（遅延和アレイ）」又は、カージオイド型の指向性を利用した技術などである。マイクロホンの入力特性が揃っている場合には、当該技術を用いて、特定チャンネルの合成方向（例えば図５の例のＳＬ方向）の音声成分を含まない複素スペクトルを適切に生成することが可能である。
そこで、第２の実施形態では、パワースペクトル領域で指向性合成を行う際に、マイクロホンＭの入力音声スペクトルＸだけを利用するのではなく、既存のマイクロホンアレイ処理技術を利用した指向性合成結果も利用する。このように第２の実施形態では、第１の実施形態に係る指向性合成に対して、既存のマイクロホンアレイ処理技術を適用する。これにより、低周波数帯域の音を合成する場合において、第１の指向性合成の性能を向上させることができる。
以上のように、第２の実施形態によれば、３つのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３を用いて、４チャネルの合成音声信号ｚＬ、ｚＲ、ｚＳＬ、ｚＳＲを出力できる。特に、マイクロホンＭに低周波数帯域の音が入力され、マイクロホンＭの入力特性に偏りが生じない場合であっても、ＳＬ方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを好適に合成できる。従って、より広い周波数帯域において良好な指向性合成が可能になる。以下に、上記のような指向性合成を実現するための第２の実施形態に係る音声信号処理装置及び方法について述べる。
［２．２．音声信号処理装置の機能構成］
次に、図２２を参照して、第２の実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図２２は、第２の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
図２２に示すように、第２の実施形態に係る音声信号処理装置は、Ｍ個のマイクロホンＭ１、Ｍ２、・・・ＭＭと、Ｍ個の周波数変換部１００と、第１の入力選択部１０１と、第１の合成部１０２と、時間変換部１０３と、Ｎ個の第２の入力選択部１２１と、Ｎ個の第２の合成部１２２と、を備える。このうち、周波数変換部１００、第１の入力選択部１０１、第１の合成部１０２、時間変換部１０３、第２の入力選択部１２１及び複数の第２の合成部１２２は、上記図１２の音声処理部６０を構成する。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０が備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。
このように、第２の実施形態に係る音声信号処理装置は、上記第１の実施形態に係る第１の入力選択部１０１及び第１の合成部１０２を有する第１の指向性合成部１１２に加えて、第２の入力選択部１２１及び第２の合成部１２２を有する第２の指向性合成部１２０を備える。この第２の指向性合成部１２０は、既存マイクロホンアレイ処理技術を利用して、複素スペクトル領域で入力音声信号ｘを合成する第２の指向性合成処理を行い、その合成結果である複数の合成方向の合成音声スペクトルＹを上記第１の指向性合成部１１２に出力する。
ここで、第２の指向性合成部１２０について詳述する。図２２に示すように、第２の指向性合成部１２０は、Ｎ個の第２の入力選択部１２１−１〜Ｎと、当該各第２の入力選択部１２１に対応するＮ個の第２の入力選択部１２１−１〜Ｎを備える。Ｎは、サラウンド再生環境のチャンネル数であり、例えば、図５Ｃに示した４チャンネルのサラウンド再生環境では、Ｎ＝４である。つまり、サラウンド再生環境のチャンネル（例えば、Ｌ、Ｒ、ＳＬ、ＳＲ）ごとに、第２の入力選択部１２１及び第２の入力選択部１２１の組がそれぞれ設けられる。例えば、第２の入力選択部１２１−１及び第２の入力選択部１２１−１の組は、第１番目のチャンネル（例えばＬチャンネル）の合成音声信号を生成するための指向性合成処理を行う。
第２の入力選択部１２１は、周波数変換部１００から入力されるＭ個の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）の中から、第２の合成部１２２による合成対象の入力音声スペクトルＸ（ｋ）を選択する。ここで、合成対象の入力音声スペクトルＸ（ｋ）とは、サラウンド再生環境の複数チャンネルに対応する複数の合成方向の指向性を有する音声信号（以下、「複数チャンネルの合成音声信号」という。）をそれぞれ合成するために必要な複数の入力音声スペクトルである。第２の入力選択部１２１は、デジタルカメラ１の筐体４に対するＭ個のマイクロホンＭの配置に基づいて、合成対象の入力音声スペクトルＸ（ｋ）を選択する。
ここで、図２３を参照して、本実施形態に係る第２の入力選択部１２１の構成を詳述する。図２３は、本実施形態に係る第２の入力選択部１２１の構成を示すブロック図である。
図２３に示すように、第２の入力選択部１２１は、選択部１２３と、保持部１２４を備える。
保持部１２４は、サラウンド再生環境の各チャンネル（例えば、Ｌ、Ｒ、ＳＬ、ＳＲ等）の識別情報と、当該各チャンネルの合成音声信号を合成するために必要なマイクロホンＭの識別情報Ｃ０、Ｃ１、・・・、Ｃｐ−１とを、関連づけて保持している。ここで、マイクロホンＭの識別情報は、例えば、当該合成に必要な複数のマイクロホンＭを表す識別ＩＤ（例えば、マイクロホン番号）を含むＩＤ系列である。当該合成に必要なマイクロホンＭは、サラウンド再生環境のチャンネルごと及び周波数帯域ごとに、予め開発者により決定され、当該決定されたマイクロホンＭの識別ＩＤが保持部１２４に保持される。
選択部１２３は、筐体４に対するＭ個のマイクロホンＭの配置に基づいて、周波数変換部１００から入力されるＭ個の入力音声スペクトルＸの中から、少なくとも２つの合成対象の入力音声スペクトルＸを選択する。この際、選択部１２３は、保持部１２４に保持されているマイクロホンＭの識別情報Ｃ０、Ｃ１、・・・、Ｃｐ−１を参照して、後段の第２の合成部１２２により各チャンネルの合成音声信号を合成するために必要なマイクロホンＭを選択し、当該選択されたマイクロホンＭに対応する入力音声スペクトルＸを選択する。このようにして、選択部１２３は、チャンネルごとに予め設定されたマイクロホンＭに対応する入力音声スペクトルＸのみを選択して、後段の第２の合成部１２２に出力する。これにより、所望のチャンネルの指向性合成に最適な入力音声スペクトルＸを抽出できる。
例えば、Ｌ方向の合成音声信号を合成するために、２個のマイクロホンＭ１、Ｍ２が必要であれば、保持部１２４には、Ｌチャンネルに関連づけてマイクロホンＭ１、Ｍ２のＩＤが保持されている。選択部１２３は、保持部１２４から読み出したマイクロホンＭ１、Ｍ２のＩＤに基づいて、Ｍ個の入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭの中から、マイクロホンＭ１、Ｍ２に対応する入力音声スペクトルＸ１、Ｘ２を選択する。選択部１２３は、選択した入力音声スペクトルＸを、後段の第２の合成部１２２に出力する。
第２の合成部１２２は、上記第２の入力選択部１２１により選択された複数の入力音声スペクトルＸを合成することにより、上記各チャンネルに対応する合成方向の指向性を有する合成音声スペクトルＹｊ（ｋ）を生成する。この際、第２の合成部１２２は、上記選択された複数の入力音声スペクトルＸを、マイクロホンＭの配置に応じて予め設定された重み付け係数ｗを用いて重み付け加算することで、各チャンネルの合成音声スペクトルＹに合成する。
このように、第２の合成部１２２は、既存のマイクロホンアレイ信号処理技術を利用して、複素スペクトル領域での指向性合成処理を行う。このマイクロホンアレイ信号処理技術は、例えば、「ｄｅｌａｙ−ａｎｄ−ｓｕｍ ａｒｒａｙ（遅延和アレイ）」でもよいし、カージオイド型の指向性を有するものでもよい。
ここで、図２４を参照して、本実施形態に係る第２の合成部１２２の構成を詳述する。図２４は、本実施形態に係る第２の合成部１２２の構成を示すブロック図である。
図２４に示すように、第２の合成部１２２は、演算部１２５と、保持部１２６を備える。
保持部１２６は、各チャンネルの合成方向の合成音声スペクトルＹを算出するための重み付け係数ｗ１、ｗ２、・・・、ｗＭ（第３の重み付け係数）を保持している。この重み付け係数ｗは、デジタルカメラ１の開発者により、筐体４に対するマイクロホンＭ１、Ｍ２、・・・、ＭＭの配置に応じて、合成方向ごとに予め設定される。
演算部１２５は、第２の入力選択部１２１により選択された複数の入力音声スペクトルＸを、保持部１２６に保持されている重み付け係数ｗを用いて合成することにより、各チャンネルの合成音声スペクトルＹを算出する。例えば、Ｌチャンネルの指向性合成を行うために、第２の入力選択部１２１によりＬチャンネルに適した入力音声スペクトルＸ１、Ｘ２が選択された場合、演算部１２５は、入力音声スペクトルＸ１、Ｘ２に対して、保持部１２６から読み出した重み付け係数ｗ１、ｗ２をそれぞれ乗算して、加算することにより、Ｌチャンネルの合成音声スペクトルＹＬを算出する。
このように、第２の合成部１２２−１〜Ｎは、第２の入力選択部１２１−１〜Ｎにより選択された複数の入力音声スペクトルＸを、複素スペクトル領域でそれぞれ合成することにより、各チャンネルの合成方向（例えばＬ、Ｒ、ＳＬ、ＳＲ）の指向性を有するＮ個の合成音声スペクトルＹ１（ｋ）、Ｙ２（ｋ）、・・・、ＹＮ（ｋ）を生成する。第２の合成部１２２−１〜Ｎは、生成した合成音声スペクトルＹ１（ｋ）、Ｙ２（ｋ）、・・・、ＹＮ（ｋ）の一部又は全部を、第１の指向性合成部１１２の第１の入力選択部１０１に出力する。
次に、第２の実施形態に係る第１の指向性合成部１１２の第１の入力選択部１０１及び第１の合成部１０２の構成について説明する。第１の入力選択部１０１及び第１の合成部１０２の基本構成は、第１の実施形態と同様である（図１３、図１４参照。）
第１の入力選択部１０１には、第１の実施形態と同様に周波数変換部１００からＭ個の入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭが入力されるだけでなく、上記第２の合成部１２２からＮ個の合成音声スペクトルＹ１（ｋ）、Ｙ２（ｋ）、・・・、ＹＮ（ｋ）が入力される。第１の入力選択部１０１は、デジタルカメラ１の筐体４に対するマイクロホンＭの配置に基づいて、Ｍ個の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）の中から、第１の合成部１０２による合成対象の入力音声スペクトルＸ（ｋ）を選択する。さらに、第１の入力選択部１０１は、当該マイクロホンＭの配置に基づいて、Ｎ個の合成音声スペクトルＹ１（ｋ）、Ｙ２（ｋ）、・・・、ＹＮ（ｋ）の中から、第１の合成部１０２による合成対象の合成音声スペクトルＹ（ｋ）も選択する。
ここで、第１の合成部１０２により選択される入力音声スペクトルＸ（ｋ）は、前述の全方向パワースペクトルＰａｌｌを合成するために用いられる。一方、第１の合成部１０２により選択される合成音声スペクトルＹ（ｋ）は、前述の非合成方向パワースペクトルＰｅｌｓｅを合成するために用いられる。第１の合成部１０２は、選択した入力音声スペクトルＸ（ｋ）及び合成音声スペクトルＹ（ｋ）を第１の合成部１０２に出力する。
第１の合成部１０２は、第１の入力選択部１０１から入力された入力音声スペクトルＸ（ｋ）のパワースペクトルＰＸを計算し、当該パワースペクトルＰＸを合成することにより、全方向パワースペクトルＰＸａｌｌを生成する。また、第１の合成部１０２は、第１の入力選択部１０１から入力された合成音声スペクトルＹ（ｋ）のパワースペクトルＰＹを計算し、当該パワースペクトルＰＹを合成することにより、特定チャネルの合成方向（第１の合成方向。例えばＳＬ方向）以外の非合成方向パワースペクトルＰＹｅｌｓｅを生成する。
例えば、ＳＬ方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを求める場合、第１の合成部１０２は、ＳＬ方向以外のＬ、Ｒ、ＳＲ方向の合成音声スペクトルＹＬ、ＹＲ、ＹＳＲのパワースペクトルＰＹＬ、ＰＹＲ、ＰＹＳＲを合成することで、ＳＬ方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを計算する。
さらに、第１の合成部１０２は、上記全方向パワースペクトルＸａｌｌから非合成方向パワースペクトルＰｅｌｓｅを減算したパワースペクトルＰｚを複素スペクトルＺに復元することで、特定チャネルの合成方向の指向性を有する合成音声スペクトルＺを生成する。
以上のように、第１の合成部１０２は、マイクロホンＭから得られた入力音声スペクトルＸに加えて、第２の合成部１２２により生成された合成音声スペクトルＹをも利用して、特定チャンネルの合成方向（例えばＳＬ方向）の合成音声スペクトルＺを生成する。この際、第１の合成部１０２は、入力音声スペクトルＸを合成することで、全方向パワースペクトルＰＸａｌｌを生成するが、特定チャンネル方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを合成する際には、入力音声スペクトルＸの代わりに、第２の合成部１２２から得た合成音声スペクトルＹを用いる。つまり、第１の合成部１０２は、特定チャンネルの方向以外の複数の合成方向の合成音声スペクトルＹのパワースペクトルＰＹを算出し、当該パワースペクトルＰＹを合成することで、当該非合成方向パワースペクトルＰＹｅｌｓｅを計算する。
これにより、マイクロホンＭに低周波数帯域（例えば４００Ｈｚ前後）の音が入力され、マイクロホンＭの入力特性に偏りが生じない場合（図２１Ａ参照。）であっても、図２１Ｃに示したようなＳＬ方向以外の非合成方向パワースペクトルＰｅｌｓｅを容易かつ正確に生成できる。従って、入力音声スペクトルＸから生成した全方向パワースペクトルＰＸａｌｌから、非合成方向パワースペクトルＰＹｅｌｓｅを減算して、ＳＬ方向の合成音声スペクトルＺＳＬを良好に生成できる。
次に、図２５を参照して、第２の実施形態に係る音声信号処理装置による指向性合成機能の具体例について説明する。図２５は、第２の実施形態に係る音声信号処理装置の指向性合成機能の具体例を示すブロック図である。
図２５は、図５Ａに示したマイクロホン配置において、マイクロホンＭに低周波数帯域の音が入力され、マイクロホンＭの入力特性に偏りが生じない場合に、図５Ｃに示した４チャンネル（Ｌ、Ｒ、ＳＬ、ＳＲ）の指向性合成を行う例を示している。上述したように、図５Ａに示したマイクロホン配置の場合、従来の指向性合成技術により、Ｌ、Ｒ、ＳＲ方向の合成音声信号ｚＬ、ｚＲ、ｚＳＲを合成することはできても、ＳＬ方向の合成音声信号ｚＳＬを良好に合成することは困難であった。さらに、第１の実施形態に係る指向性合成方法では、マイクロホンＭの入力特性に偏りが生じない場合に、ＳＬ方向以外の非合成方向パワースペクトルＰｅｌｓｅを良好に求めることが困難である（図２１参照。）。
これに対し、第２の実施形態によれば、ＳＬ方向の合成音声信号ｚＳＬを生成するために、上記パワースペクトル領域での指向性合成を行う。即ち、図２５に示すように、まず、３つの周波数変換部１００により、３つのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３を入力音声スペクトルＸ１、Ｘ２、Ｘ３に周波数変換する。
次いで、第２の入力選択部１２１Ｌ、１２１Ｒ、１２１ＳＲにより、Ｘ１、Ｘ２、Ｘ３の中から、Ｌ、Ｒ、ＳＲ方向の指向性合成に必要な入力音声スペクトルＸを選択する。例えば、Ｌ、Ｒ方向の指向性合成のために、前方向からのＸ１、Ｘ２が選択され、ＳＲ方向の指向性合成のために、Ｘ１、Ｘ２、Ｘ３が選択される。さらに、第２の合成部１２２Ｌ、１２２Ｒ、１２２ＳＲにより、入力音声スペクトルＸ１、Ｘ２、Ｘ３から、Ｌ、Ｒ、ＳＲ方向の合成音声スペクトルＹＬ、ＹＲ、ＹＳＲがそれぞれ合成され、第１の入力選択部１０１に出力される。
その後、第１の入力選択部１０１により、Ｘ１、Ｘ２、Ｘ３の中から、ＳＬ方向の指向性合成に必要な入力音声スペクトルＸを選択する。この例では、全てのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３が選択される。さらに、第１の入力選択部１０１により、ＹＬ、ＹＲ、ＹＳＲの中から、ＳＬ方向の指向性合成に必要な合成音声スペクトルＹを選択する。この例では、全ての合成音声スペクトルＹＬ、ＹＲ、ＹＳＲが選択される。
さらに、第１の合成部１０２により、入力音声スペクトルＸ１、Ｘ２、Ｘ３を合成して、全方向パワースペクトルＰＸａｌｌを生成し、合成音声スペクトルＹＬ、ＹＲ、ＹＳＲを合成して、ＳＬ方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを生成する。そして、両者の差分からＳＬ方向の合成音声スペクトルＺＳＬ（複素スペクトル）を生成する。その後、時間変換部１０３により、合成音声スペクトルＺＳＬを逆フーリエ変換することで、ＳＬ方向の合成音声信号ｚＳＬ（時間波形）を生成する。
一方、Ｌ、Ｒ、ＳＲ方向については、図２５に示すように、３つのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３をそのまま、Ｌ、Ｒ、ＳＲ方向の合成音声信号ｚＬ、ｚＲ、ｚＳＲとして出力する。この点は第１の実施形態と同様である。
以上のように、第２の実施形態によれば、３つのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３を用いて、４チャネルの合成音声信号ｚＬ、ｚＲ、ｚＳＬ、ｚＳＲを出力できる。特に、マイクロホンＭに低周波数帯域の音が入力され、マイクロホンＭの入力特性に偏りが生じない場合であっても、ＳＬ方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを好適に合成できる。従って、より広い周波数帯域において良好な指向性合成が可能になるという効果がある。
ここで、上記第２の指向性合成部１２０による複素スペクトル領域での合成により得られる指向性について、より詳細に説明する。
第２の実施形態では、例えば、図５に示すマイクロホン配置において、ＳＬ方向の合成音声信号ｚＳＬを適切に合成することが目的である。このために、第１の指向性合成部１１２は、マイクロホンＭから得られた入力音声スペクトルＸをパワースペクトル領域で合成して、全方向パワースペクトルＰＸａｌｌを推定する。さらに、第１の指向性合成部１１２は、第２の指向性合成部１２０で得られた合成音声スペクトルＹをスペクトル領域で合成して、非合成方向パワースペクトルＰＹｅｌｓｅを推定する。
そのため、第１の指向性合成部１１２から出力される合成音声スペクトルＹ（ｋ）から求めた非合成方向パワースペクトルＰＹｅｌｓｅは、図２６に示すように、ＳＬ方向の音声成分に対して相対的にＬ、Ｒ、ＳＲ方向の音声成分を多く含むものになる。
ところで、入力音声スペクトルＸ（ｋ）は、マイクロホンＭからの入力音声信号ｘ（ｎ）を周波数変換したものであり、合成音声スペクトルＹ（ｋ）は、Ｘ（ｋ）を重み付け加算したものである。そして、第１の指向性合成部１１２では、Ｙ（ｋ）のパワースペクトルＰＹを重み付け加算することで、非合成方向パワースペクトルＰＹｅｌｓｅを推定する。
また、前述したように、４００Ｈｚなどの低周波数帯域の音がマイクロホンＭに入力される場合には、図２７Ａに示すように、マイクロホンＭの入力特性に偏りが生じないため、どの到来方向θからの音も、ほぼ同一の入力特性となる。この場合、図２７Ｃに示すような全方向パワースペクトルＰａｌｌを合成可能であるが、図２７Ｂに示すような特定方向の音声成分だけを低減させた特性、即ち、ＳＬ方向だけを含まない非合成方向パワースペクトルＰｅｌｓｅを合成することはできない。
しかしながら、Ｘ（ｋ）のパワースペクトルＰＸだけではなく、位相情報をも利用して、複素スペクトル領域で演算することで、図２７Ｄに示すように、ＳＬ方向の音声成分を含まない複素スペクトルＹを生成することが可能である。この方法は、既存のマイクロホンアレイ技術を用いた指向性合成に相当する。上記のように低周波数帯域の音が入力される場合には、マイクロホンＭの入力特性が揃っているので、当該マイクロホンアレイ技術を適用することができる。
このマイクロホンアレイ技術では、重み付け係数ｗを用いて複素スペクトルＸを重み付け加算するものである。そこで、以下に当該重み付け係数ｗの求め方の一例を説明する。なお、入力音声信号を複素スペクトル領域で演算するため、以下では、ある周波数成分ｋの入力音声スペクトルＸ（ｋ）について検討するものとする。
図２８に示すように、３つのマイクロホンＭ１、Ｍ２、Ｍ３が配置された筐体４の周囲に、Ｌ、Ｒ、ＳＲ方向にスピーカを設置し、それぞれのスピーカから個別にテスト信号（白色雑音）を再生し、入力音声スペクトルＸを測定する。この結果、Ｌ方向からテスト信号を再生した場合に得られた複素スペクトルをＸＬ＿ｉ（ｋ）、Ｒ方向からテスト信号を再生した場合に得られた複素スペクトルをＸＲ＿ｉ（ｋ）、ＳＲ方向からテスト信号を再生した場合に得られた複素スペクトルをＸＳＲ＿ｉ（ｋ）とする。
ここで、ＳＬ方向のみが低減された特性を得るためには、以下の方程式（２２）を満たす係数ｗを求めればよい。
１＝ｗ１・ａＬ＿１（ｋ）＋ｗ２・ａＬ＿２（ｋ）＋ｗ３・ａＬ＿３（ｋ）
１＝ｗ１・ａＲ＿１（ｋ）＋ｗ２・ａＲ＿２（ｋ）＋ｗ３・ａＲ＿３（ｋ）
１＝ｗ１・ａＳＲ＿１（ｋ）＋ｗ２・ａＳＲ＿２（ｋ）＋ｗ３・ａＳＲ＿３（ｋ）
０＝ｗ１・ａＳＬ＿１（ｋ）＋ｗ２・ａＳＬ＿２（ｋ）＋ｗ３・ａＳＬ＿３（ｋ）
・・・（２２）
この式（２２）は、Ｌ、Ｒ、ＳＲ方向の音声成分は利得１で通過させ、ＳＬ方向の音声成分の利得を０にすることを意味している。一般化逆行列により、上記方程式（２２）の解として、ｗ１〜ｗ３を求めることができる。
なお、式（２２）におけるａＬ＿ｉ（ｋ）、ａＲ＿ｉ（ｋ）、ａＳＲ＿ｉ（ｋ）は、ＸＬ＿ｉ（ｋ）、ＸＲ＿ｉ（ｋ）、ＸＳＲ＿ｉ（ｋ）を上記テスト信号の振幅値で正規化したものである。テスト信号の周波数成分ｋの成分をＳ（ｋ）とすると、Ｌ方向の入力音声スペクトルａＬ＿ｉ（ｋ）は、以下の式（２３）で表される。他の方向も同様である。
Figure 2014017645
以上、第２の実施形態に係る係数ｗの計算例について説明した。上記計算例によれば、第２の合成部１２２によりサラウンド再生環境の各チャンネルの合成音声を計算するための重み付け係数ｗを適切に求めることができる。
［２．３．音声信号処理方法］
次に、第２の実施形態に係る音声信号処理装置による音声信号処理方法（指向性合成方法）について説明する。
［２．３．１．音声信号処理装置の全体動作］
まず、図２９を参照して、本実施形態に係る音声信号処理装置の全体動作について説明する。図２９は、本実施形態に係る音声信号処理方法を示すフローチャートである。
第２の実施形態は、第１の実施形態と比べて、第２の入力選択処理（Ｓ３２）と第２の合成処理（Ｓ３４）が追加されている点で相違する。
図２９に示すように、まず、マイクロホンＭ１、Ｍ２、・・・ＭＭにより、デジタルカメラ１周辺の音（外部音声）を収音し、入力音声信号ｘ１、ｘ２、・・・、ｘＭを生成する（Ｓ３０）。次いで、周波数変換部１００により、各マイクロホンＭ１、Ｍ２、・・・ＭＭから入力された入力音声信号ｘ１、ｘ２、・・・、ｘＭを周波数変換（例えばＦＦＴ）し、入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭを生成する（Ｓ３２）。このＳ３０及びＳ３２の処理は第１の実施形態の図１７のＳ１０及びＳ１２の処理と同様である。
次いで、第２の入力選択部１２１により、Ｓ３２で得られた入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭから、サラウンド再生環境の各チャンネルを合成するために必要な複数の入力音声スペクトルＸをそれぞれ選択する（Ｓ３４）。さらに、第２の合成部１２２により、Ｓ３４で選択された入力音声スペクトルＸを合成することで、各チャンネルの合成音声スペクトルＹ１、Ｙ２、・・・、ＹＮをそれぞれ生成する（Ｓ３６）。この合成処理は、入力音声スペクトルＸ（ｋ）の周波数成分ｋ（ｋ＝０、１、・・・、Ｌ−１）ごとに行われる。
次いで、第１の入力選択部１０１により、Ｓ３２で得られた入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭから、全方向パワースペクトルＰＸａｌｌを合成するために必要な複数の入力音声スペクトルＸを選択する（Ｓ３８）。さらに、第１の入力選択部１０１により、Ｓ３６で得られた合成音声スペクトルＹ１、Ｙ２、・・・、ＹＮから、特定チャンネル方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを合成するために必要な複数の入力音声スペクトルＹを選択する（Ｓ３８）。
さらに、第１の合成部１０２により、Ｓ３８で選択された入力音声スペクトルＸ及び合成音声スペクトルＹを合成することで、特定チャンネルの合成音声スペクトルＺ（ｋ）を生成する（Ｓ４０）。この際、入力音声スペクトルＸから全方向パワースペクトルＰＸａｌｌを合成し、合成音声スペクトルＹから特定チャンネル方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを合成し、ＰＸａｌｌとＰＹｅｌｓｅの差分を計算する。かかる合成処理も、入力音声スペクトルＸ（ｋ）及び合成音声スペクトルＹ（ｋ）の周波数成分ｋ（ｋ＝０、１、・・・、Ｌ−１）ごとに行われる。
その後、時間変換部１０３により、Ｓ４０で合成された合成音声スペクトルＺ（ｋ）を時間変換（例えば逆ＦＦＴ）して、時間領域の合成音声信号ｚ（ｎ）を生成する（Ｓ４２）。さらに、デジタルカメラ１の制御部７０により、当該合成音声信号ｚ（ｎ）が記録媒体４０に記録される（Ｓ４４）。この際、上記特定チャンネルの合成音声信号ｚ（ｎ）とともに、他のチャンネルの合成音声信号ｚ（ｎ）や動画像も記録媒体４０に記録されてもよい。
［２．３．２．第２の入力選択部の動作］
次に、図３０を参照して、本実施形態に係る第２の入力選択部１２１の動作（図２９の第２の入力選択処理Ｓ３４）について説明する。図３０は、本実施形態に係る第２の入力選択部１２１の動作を示すフローチャートである。なお、以下では、入力音声スペクトルＸのｋ番目の周波数成分ｘ（ｋ）について説明するが、周波数成分は、ｋ＝０、１、・・・、Ｌ−１まで存在し、すべて同様の処理となる。
図３０に示すように、まず、第２の入力選択部１２１は、周波数変換部１００から出力されたＭ個の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）を取得する（Ｓ２００）。
次いで、第２の入力選択部１２１は、保持部１２４からＰ個のマイクロホンＭの識別情報Ｃ０、Ｃ１、・・・、Ｃｐ−１を含むＩＤ系列を取得する（Ｓ２０２）。上述したように、このＩＤ系列は、サラウンド再生環境の各チャンネルの合成音声信号を合成するために必要なマイクロホンＭの識別情報（例えばマイクロホン番号）である。当該ＩＤ系列は、サラウンド再生環境のチャンネルごとに、マイクロホンＭ１、Ｍ２、・・・ＭＭの配置に応じて予め設定されている。第２の入力選択部１２１は、当該ＩＤ系列により、次のＳ２０４で選択すべき入力音声スペクトルＸｉ（ｋ）を判断できる。
さらに、第２の入力選択部１２１は、Ｓ２０２で取得したＩＤ系列に基づいて、Ｓ２００で取得した入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）の中から、一部又は全部の入力音声スペクトルＸｉ（ｋ）を選択する（Ｓ２０４）。ここで、選択されるＸｉ（ｋ）は、各チャンネルの合成音声信号を合成するために必要な音声スペクトルであり、上記ＩＤ系列に踏むまれる識別情報Ｃ０、Ｃ１、・・・、Ｃｐ−１で指定されたマイクロホンＭから出力された入力音声スペクトルに相当する。
その後、第２の入力選択部１２１は、Ｓ２０４で選択したｐ個の入力音声スペクトルＸｉ（ｋ）を、後段の第２の合成部１２２に出力する（Ｓ２０６）。
［２．３．３．第２の合成部の動作］
次に、図３１を参照して、本実施形態に係る第２の合成部１２２の動作（図２９の第２の合成処理Ｓ３６）について説明する。図３１は、本実施形態に係る第２の合成部１２２の動作を示すフローチャートである。なお、以下では、入力音声スペクトルＸのｋ番目の周波数成分ｘ（ｋ）について説明するが、周波数成分は、ｋ＝０、１、・・・、Ｌ−１まで存在し、すべて同様の処理となる。
まず、第２の合成部１２２は、合成対象の音声スペクトルとして、上記第２の入力選択部１２１により選択されたｐ個の入力音声スペクトルＸｉ（ｋ）を取得する（Ｓ２１０）。
次いで、第２の合成部１２２は、保持部１２６から、各チャンネルの合成方向の合成音声スペクトルＹを求めるための重み付け係数ｗｉを取得する（Ｓ２１２）。上述したように、保持部１２６は、チャンネルごとに、マイクロホン配置に応じた重み付け係数ｗｉを保持している。そこで、第２の合成部１２２は、合成対象の各チャンネルに対応する重み付け係数ｗｉを、保持部１２６から読み出す。
さらに、第２の合成部１２２は、Ｓ２１２で取得した重み付け係数ｗｉを用いて、Ｓ２１０で取得した入力音声スペクトルＸｉ（ｋ）を重み付け加算することにより、各チャンネルの合成方向の合成音声スペクトルＹ（ｋ）を合成する（Ｓ２１４）。つまり、以下の式（２１）のように、Ｘｉ（ｋ）に係数ｇｉを乗算し、乗算した値を加算することで、合成音声スペクトルＹ（ｋ）を算出する。この合成処理は、既存のマイクロホンアレイ信号処理技術を用いた合成処理に相当する。
Ｙ（ｋ）＝ｗ０・Ｘ０（ｋ）＋ｗ１・Ｘ１（ｋ）＋・・・＋ｗｐ−１・Ｘｐ−１（ｋ）
・・・（２１）
その後、第２の合成部１２２は、Ｓ２１４の合成結果である合成音声スペクトルＹ（ｋ）を第１の入力選択部１０１に出力する（Ｓ２１６）。
以上の処理を、Ｎ個のチャンネルについて行うことにより、Ｍ個の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）が複素スペクトル領域で合成されて、Ｎ個のチャンネルの合成方向の合成音声スペクトルＹｊ（ｋ）がそれぞれ生成される。
［２．３．４．第１の入力選択部の動作］
次に、図３２を参照して、本実施形態に係る第１の入力選択部１０１の動作（図２９の第１の入力選択処理Ｓ３８）について説明する。図３２は、本実施形態に係る第１の入力選択部１０１の動作を示すフローチャートである。なお、以下では、入力音声スペクトルＸのｋ番目の周波数成分ｘ（ｋ）について説明するが、周波数成分は、ｋ＝０、１、・・・、Ｌ−１まで存在し、すべて同様の処理となる。
図３２に示すように、まず、第１の入力選択部１０１は、Ｍ個の周波数変換部１００から出力されたＭ個の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）を取得する（Ｓ２２０）。さらに、第１の入力選択部１０１は、Ｎ個の第２の合成部１２２−１〜Ｎから出力されたＮ個の合成音声スペクトルＹ１（ｋ）、Ｙ２（ｋ）、・・・、ＹＮ（ｋ）を取得する（Ｓ２２２）。
次いで、第１の入力選択部１０１は、保持部１０５からｐ個のＩＤを含むＩＤ系列を取得する（Ｓ２２４）。保持部１０５（図１４参照）には、各チャンネルの合成音声信号を合成するために必要なマイクロホンＭの識別情報（ＩＤ）と、合成音声スペクトルＹｊの識別情報（ＩＤ）とを含むＩＤ系列が保持されている。これらＩＤ系列は、開発者により、サラウンド再生環境のチャンネルごとに、マイクロホンＭ１、Ｍ２、・・・ＭＭの配置に応じて予め設定されている。第１の入力選択部１０１は、当該ＩＤ系列により、次のＳ２２６で選択すべき入力音声スペクトルＸｉ（ｋ）と合成音声スペクトルＹｊ（ｋ）とを判断できる。
さらに、第１の入力選択部１０１は、Ｓ２２４で取得したＩＤ系列に基づいて、Ｍ個の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、・・・、ＸＭ（ｋ）の中から、第１の合成部１０２による合成対象の入力音声スペクトルＸｉ（ｋ）を選択する（Ｓ２２６）。また、第１の入力選択部１０１は、Ｓ２２４で取得したＩＤ系列に基づいて、Ｎ個の合成音声スペクトルＹ１（ｋ）、Ｙ２（ｋ）、・・・、ＹＮ（ｋ）の中から、第１の合成部１０２による合成対象の合成音声スペクトルＹｊ（ｋ）を選択する（Ｓ２２６）。ここで、選択されるＸｉ（ｋ）、Ｙｊ（ｋ）は、特定チャンネルの合成音声信号を合成するために必要な音声スペクトルである。選択されるＸｉ（ｋ）は、上記Ｓ２２４で取得したＩＤに対応するマイクロホンＭから出力された入力音声スペクトルであり、選択されるＹｊ（ｋ）は、上記Ｓ２２４で取得したＩＤに対応する合成音声スペクトルＹｊ（ｋ）である。
例えば、図５の例では、３個のマイクロホンＭ１、Ｍ２、Ｍ３が設置されており、ＳＬ方向の合成音声信号ｚＳＬを合成するためには、全てのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、Ｘ３（ｋ）が必要である。この場合には、ＩＤ系列には、全てのマイクロホンＭ１、Ｍ２、Ｍ３のＩＤが記述されている。このため、Ｓ２２６にて、第１の入力選択部１０１は、全てのＸ１（ｋ）、Ｘ２（ｋ）、Ｘ３（ｋ）を選択する。
また、ＳＬ方向以外の非合成方向パワースペクトルＰｅｌｓｅを適切に合成するためには、Ｌ、Ｓ、ＳＲ方向の合成音声スペクトルＹＬ（ｋ）、ＹＲ（ｋ）、ＹＳＲ（ｋ）が必要である。この場合には、ＩＤ系列には、当該ＹＬ（ｋ）、ＹＲ（ｋ）、ＹＳＲ（ｋ）のＩＤが記述されている。このため、Ｓ２２６にて、第１の入力選択部１０１は、ＹＬ（ｋ）、ＹＲ（ｋ）、ＹＳＬ（ｋ）、ＹＳＲ（ｋ）の中から、ＹＬ（ｋ）、ＹＲ（ｋ）、ＹＳＲ（ｋ）を選択する。
その後、第１の入力選択部１０１は、Ｓ２２６で選択したｍ個の入力音声スペクトルＸｉ（ｋ）とｎ個の合成音声スペクトルＹｊ（ｋ）を、後段の第１の合成部１０２に出力する（Ｓ２２８）。ここで、ｍ＋ｎ＝ｐであり、上記ｐ個のＩＤで特定される音声スペクトルとして、ｍ個をＸから、ｎ個をＹから選択することになる。
［２．３．５．第１の合成部の動作］
次に、図３３を参照して、本実施形態に係る第１の合成部１０２の動作（図２９の第１の合成処理Ｓ４０）について説明する。図３３は、本実施形態に係る第１の合成部１０２の動作を示すフローチャートである。なお、以下では、入力音声スペクトルＸのｋ番目の周波数成分ｘ（ｋ）について説明するが、周波数成分は、ｋ＝０、１、・・・、Ｌ−１まで存在し、すべて同様の処理となる。
図３３に示すように、まず、第１の合成部１０２は、合成対象の音声スペクトルとして、上記第１の入力選択部１０１により選択された複数の入力音声スペクトルＸｉ（ｋ）を取得する（Ｓ２３０）。次いで、第１の合成部１０２は、Ｓ２３０で取得した入力音声スペクトルＸｉ（ｋ）のパワースペクトルＰＸｉをそれぞれ計算する（Ｓ２３２）。
さらに、第１の合成部１０２は、第１の保持部１０７から、全方向パワースペクトルＰＸａｌｌを求めるために各パワースペクトルＰＸｉに乗算する重み付け係数ｇｉを取得する（Ｓ２３４）。その後、第１の合成部１０２は、Ｓ２３４で取得した重み付け係数ｇｉを用いて、Ｓ２３２で計算したパワースペクトルＰＸｉを重み付け加算することにより、全方向パワースペクトルＰＸａｌｌを計算する（Ｓ２３６）。以上のＳ２３０〜Ｓ２３６は、第１の実施形態に係る図１９のＳ１１０〜Ｓ１６と同様であるので、詳細説明は省略する。
次いで、第１の合成部１０２は、合成対象の音声スペクトルとして、上記第１の入力選択部１０１により選択された複数の合成音声スペクトルＹｊ（ｋ）を取得する（Ｓ２３８）。例えば、図５のマイクロホン配置の場合、合成対象の入力音声スペクトルＹｊ（ｋ）は、Ｌ、Ｒ、ＳＲ方向の合成音声スペクトルＹＬ（ｋ）、ＹＲ（ｋ）、ＹＳＲ（ｋ）である。
次いで、第１の合成部１０２は、Ｓ２３８で取得した合成音声スペクトルＹｊ（ｋ）のパワースペクトルＰＹｊをそれぞれ計算する（Ｓ２４０）。Ｙは複素スペクトルであるので（Ｙ＝ａ＋ｊ・ｂ）、このＹからＰＹを計算することができる（ＰＹ＝ａ２＋ｂ２）。例えば、図５のマイクロホン配置の場合、パワースペクトルＰＹＬ、ＰＹＲ、ＰＹＳＲが計算される。
次いで、第１の合成部１０２は、第２の保持部１０９から、非合成方向パワースペクトルＰＹｅｌｓｅを求めるために各パワースペクトルＰＹｊに乗算する重み付け係数ｆｊを取得する（Ｓ２４２）。第２の保持部１０９は、合成対象の特定チャンネルごとに、マイクロホン配置に応じた重み付け係数ｆｊを保持している。そこで、第１の合成部１０２は、合成対象の特定チャンネルに対応する重み付け係数ｆｊを、第２の保持部１０９から読み出す。
さらに、第１の合成部１０２は、Ｓ２４２で取得した重み付け係数ｆｊを用いて、Ｓ２４０で計算したパワースペクトルＰＹｊを重み付け加算することにより、非合成方向パワースペクトルＰＹｅｌｓｅを計算する（Ｓ２４４）。例えば、図５のマイクロホン配置の場合、以下の式（２４）で、ＳＬ方向以外の非合成方向パワースペクトルＰＹｅｌｓｅが計算される（図７参照。）。
ＰＹｅｌｓｅ＝ｆ１・ＰＹ１＋ｆ２・ＰＹ２＋ｆ３・ＰＹ３ ・・・（２４）
その後、第１の合成部１０２は、Ｓ２３６で求めた全方向パワースペクトルＰＸａｌｌから、Ｓ２４４で求めた非合成方向パワースペクトルＰＸｅｌｓｅを減算する（Ｓ２４６）。この減算処理により、合成対象の特定チャンネル（合成方向）のパワースペクトルＰｚが得られる（Ｐｚ＝ＰＸａｌｌ−ＰＹｅｌｓｅ）。例えば、図５のマイクロホン配置の場合、Ｐｚとして、ＳＬ方向のパワースペクトルＰＳＬが計算される（図８参照。）。
さらに、第１の合成部１０２は、Ｓ２４６で求めた合成対象の特定チャンネル（合成方向）のパワースペクトルＰｚから、当該特定チャンネルの複素スペクトルＺ（ｋ）を復元する（Ｓ２４８）。この復元処理は、第１の実施形態で説明した通りである（図１９のＳ１２４を参照。）。
［２．４．効果］
以上、第２の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第２の実施形態によれば、上記第１の実施形態の効果に加え、次の効果を得ることができる。
第２の実施形態によれば、既存のマイクロホンアレイ信号処理技術を利用して、上記第１の実施形態に係るパワースペクトル領域での指向性合成処理の精度を向上できる。
即ち、前述したように４００Ｈｚなどの低周波数帯域の音は回析するため、マイクロホンＭの入力特性に偏りが発生しなくなり、当該入力特性が全方向θで揃ってしまう。この場合には、入力音声スペクトルＸをパワースペクトル領域で合成する方法だけでは、求めたい合成方向の非合成方向パワースペクトルＰＹｅｌｓｅを精度よく生成することが難しい。
そこで、第２の実施形態では、上記第１の実施形態と同様にマイクロホンＭからの入力音声スペクトルＸから全方向パワースペクトルＰＸａｌｌを合成するとともに、既存のマイクロホンアレイ信号処理技術により複素スペクトル領域で合成した合成音声スペクトルＹから非合成方向パワースペクトルＰＹｅｌｓｅを生成する。マイクロホンＭの入力特性が全方向θで揃っている場合には、複素スペクトルを合成することで、所望の合成方向以外の方向（例えば、ＳＬ方向以外のＬ、Ｒ、ＳＲ方向）の合成音声スペクトルＹを適切に求めることができる。従って、これら合成音声スペクトルＹを重み付け加算することで、所望の合成方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを高精度で生成できる。
従って、中・高周波数帯域のみならず、低周波数帯域の入力音声に対しても、所望の合成方向の合成音声スペクトルＺを高精度で求めることができる。よって、より広い周波数帯域において良好な指向性合成が可能になるという効果がある。
＜３．第３の実施の形態＞
次に、本開示の第３の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第３の実施形態は、周波数帯域に応じて、上記第１の指向性合成部１１２と第２の指向性合成部１２０を使い分けることで、周波数ごとに簡易かつ適切な指向性合成結果を得ることを特徴としている。第３の実施形態のその他の機能構成は、上記第２の実施形態と実質的に同一であるので、その詳細説明は省略する。
［３．１．第３の実施形態の概要］
まず、第３の実施形態に係る音声信号処理装置及び方法の概要について説明する。
前述した第２の実施形態では、第２の指向性合成部１２０は、あくまで第１の指向性合成部１１２によるパワースペクトル領域での指向性合成のための補助情報として、合成音声スペクトルＹを算出していた。
しかし、所定周波数未満の低周波数帯域（４００Ｈｚなど）の入力音声信号を合成する場合、第２の指向性合成部１２０による合成結果（複素スペクトル領域での合成された合成音声スペクトルＹ）のみを利用しても、目的の指向性を有する合成音声を簡易かつ良好に生成可能である。前述のとおり、低周波数帯域の音に対するマイクロホンＭの入力特性は偏りが生じないので（図２０参照。）、第２の指向性合成部１２０による複素スペクトル領域での指向性合成により、各チャンネルの方向の指向性を有する合成音声スペクトルＹを良好に合成できる。
一方、所定周波数以上の中・高周波数帯域（１０００Ｈｚ、２５００Ｈｚなど）の入力音声信号を合成する場合、マイクロホンＭの入力特性は偏りが生じる。（図２０参照。）。このため、第２の指向性合成部１２０による指向性合成では、良好な合成音声スペクトルＹを合成するのは困難であり、第１の指向性合成部１１２によるパワースペクトル領域での指向性合成を行うことが好ましい。
そこで、本実施形態では、入力音声信号の周波数帯域に応じて、上記第１の指向性合成方法と第２の指向性合成方法を使い分けることを特徴としている。つまり、基準周波数（例えば１０００Ｈｚ）未満の低周波数帯域の音声成分を合成する場合には、第２の指向性合成部１２０により複素スペクトル領域で合成された合成音声スペクトルＹを選択して出力する。一方、基準周波数（例えば１０００Ｈｚ）以上の中・高周波数帯域の音声成分を合成する場合には、第１の指向性合成部１１２によりパワースペクトル領域で合成された合成音声スペクトルＺを選択して出力する。これにより、周波数帯域ごとに簡易かつ適切な指向性合成結果を得ることができる。以下に、上記のような指向性合成を実現するための第３の実施形態に係る音声信号処理装置及び方法について述べる。
［３．２．音声信号処理装置の機能構成］
次に、図３４を参照して、第３の実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図３４は、第３の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
図３４に示すように、第３の実施形態に係る音声信号処理装置は、Ｍ個のマイクロホンＭ１、Ｍ２、・・・ＭＭと、Ｍ個の周波数変換部１００と、第１の入力選択部１０１と、第１の合成部１０２と、時間変換部１０３と、Ｎ個の第２の入力選択部１２１−１〜Ｎと、Ｎ個の第２の合成部１２２−１〜Ｎと、出力選択部１３０とを備える。なお、Ｍはマイクロホンの設置数、Ｎはサラウンド再生環境のチャンネル数である。
図３４から分かるように、第３の実施形態に係る音声信号処理装置は、上記第２の実施形態に係る音声信号処理装置（図２２参照。）の構成要素に加えて、出力選択部１３０を更に備える。また、第２の指向性合成部１２０の各々の第２の合成部１２２−１〜Ｎによって生成された合成音声スペクトルＹ１（ｋ）、Ｙ２（ｋ）、・・・、ＹＮ（ｋ）は、第１の入力選択部１０１のみならず、出力選択部１３０にも出力される。さらに、第１の指向性合成部１１２の第１の合成部１０２によって生成された合成音声スペクトルＺ（ｋ）は、出力選択部１３０に出力される。
出力選択部１３０は、合成音声スペクトルの周波数帯域に応じて、各チャンネルの合成方向の指向性を有する合成音声スペクトルＺ’（ｋ）として、第１の指向性合成部１１２による合成結果（合成音声スペクトルＺ（ｋ））、又は第２の指向性合成部１２０による合成結果（合成音声スペクトルＹｉ（ｋ））のいずれか一方を選択して出力する。出力選択部１３０から出力された合成音声スペクトルＺ’（ｋ）は、時間変換部１０３に出力されて、各チャンネルの指向性を有する合成音声信号ｚ（ｋ）に時間変換される。
より詳細には、出力選択部１３０は、基準周波数未満（例えば１０００Ｈｚ未満）の低周波数帯域については、合成音声スペクトルＺ’（ｋ）として、第２の合成部１２２により生成された合成音声スペクトルＹ（ｋ）のみを選択して出力する。一方、前記所定周波数以上（例えば１０００Ｈｚ以上）の高周波数帯域については、出力選択部１３０は、筐体４に対するマイクロホンＭの配置に基づいて、合成音声スペクトルＺ’（ｋ）として、第１の合成部１０２により生成された合成音声スペクトルＺ（ｋ）、又は第２の合成部１２２により生成された合成音声スペクトルＹ（ｋ）のいずれかを選択して出力する。
ここで、図３５を参照して、本実施形態に係る出力選択部１３０の構成を詳述する。図３５は、本実施形態に係る出力選択部１３０の構成を示すブロック図である。図３５に示すように、出力選択部１３０は、選択部１３１と、保持部１３２を備える。
保持部１３２は、サラウンド再生環境の各チャンネル（例えば、Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲ等）の識別情報（チャンネルＩＤ）と、合成音声信号の周波数帯域を表す識別情報（周波数帯域ＩＤ）と、選択すべき指向性合成方法の識別情報（合成方法ＩＤ）とを、関連づけて保持している。
ここで、周波数帯域ＩＤは、上記基準周波数未満の低周波数帯域（例えば、周波数帯域ＩＤ＝ｂ１）と、上記基準周波数以上の中・高周波数帯域（例えば、周波数帯域ＩＤ＝ｂ２）のいずれかを表す。また、合成方法ＩＤは、上記第１の指向性合成部１１２によるパワースペクトル領域での指向性合成方法（例えば、合成方法ＩＤ＝ｍ１）と、上記第２の指向性合成部１２０による複素スペクトル領域での指向性合成方法（例えば、合成方法ＩＤ＝ｍ２）のいずれかを表す。合成方法ＩＤは、筐体４に対するマイクロホンＭの配置に応じて、サラウンド再生環境のチャンネルごと及び周波数帯域ごとに、予め開発者により決定され、当該決定された合成方法ＩＤが保持部１３２に保持される。
選択部１３１には、第１の合成部１０２から、第１の指向性合成方法により合成された各チャンネルの音声スペクトルＺが入力されるとともに、第２の合成部１２２から、第２の指向性合成方法により合成された各チャンネルの音声スペクトルＹｉが入力される。選択部１３１は、上記保持部１３２に保持されているＩＤ系列に基づいて、サラウンド再生環境のチャンネルごと、及び周波数帯域ごとに、最終的に出力する合成音声スペクトルＺｉ’として、音声スペクトルＺ又は音声スペクトルＹｉのいずれか一方を選択して、時間変換部１０３に出力する。
この際、選択部１３１は、合成音声信号の周波数帯域に応じて、第１の合成部１０２により合成された合成音声スペクトルＺ、又は第２の合成部１２２により合成された合成音声スペクトルＹｉを選択する。例えば、低周波数帯域の音声成分を合成する場合（例えば、周波数帯域ＩＤ＝ｂ１）、選択部１３１は、全てのチャンネル（例えば、チャンネルＩＤ＝Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲ）に関し、合成音声スペクトルＹｉを選択する（例えば、合成方法ＩＤ＝ｍ２）。一方、中・高周波数帯域の音声成分を合成する場合（例えば、周波数帯域ＩＤ＝ｂ２）、選択部１３１は、チャンネルごとに設定された合成方法ＩＤに基づいて、第１の合成部１０２により合成された合成音声スペクトルＺ又は上記合成音声スペクトルＹｉのうちいずれか一方を選択する。例えば、Ｌチャンネルに対して合成方法ＩＤ＝ｍ２が設定されている場合には、第２の合成部１２２からのＹｉが選択され、ＳＬチャンネルに対して合成方法ＩＤ＝ｍ１が設定されている場合には、第１の合成部１０２からのＺｉが選択される。
以上、出力選択部１３０の機能構成を詳述した。以上説明した点を除いては、第３の実施形態に係る周波数変換部１００、第１の入力選択部１０１、第１の合成部１０２、時間変換部１０３、第２の入力選択部１２１、第２の合成部１２２の機能構成は、第２の実施形態と同様であるので、詳細説明は省略する。
次に、上述した第３の実施形態に係る音声信号処理装置を、図３６Ａに示すマイクロホン配置のデジタルカメラ１に適用して、図３６Ｂに示す５．１ｃｈのサラウンド再生環境を実現する例について説明する。
この例では、図３６Ａに示すように、デジタルカメラ１の前面に２つのマイクロホンＭ１、Ｍ２、背面の１つのマイクロホンＭ３が配置されている。また、図３６Ｂに示すように、サラウンド再生環境では、ユーザの周囲に５つのチャンネルＣ、Ｌ、Ｒ、ＳＬ、ＳＲのスピーカが配置されている。ここでは、上記３つのマイクロホンＭ１、Ｍ２、Ｍ３を利用して、５．１ｃｈのサラウンド録音を実現することを目的とする。
前述したように、音の到来方向とマイクロホンＭの間に筐体４などの障害物が存在すると、到来する音の周波数が大きくなるにつれて、筐体４を挟んで反対の方向から到来する音声成分は、かなり減衰してマイクロホンＭに入力される。つまり、筐体４の背面側から到来する音は、かなり減衰して前面マイクロホンＭ１、Ｍ２に入力されることとなる。
この場合、中・高周波数帯域（例えば、１０００Ｈｚ以上）については、主として背面側のマイクロホンのみを用いて、ＳＬ、ＳＲ方向の指向性を有する音声を合成する必要がある。しかし、図３６Ａの例では、筐体４の背面側に１つのマイクロホンＭ３しか存在しないため、従来の合成技術では、ＳＬ、ＳＲ方向という左右二つの合成音声を適切に合成することは困難であった。そこで、第３の実施形態では、ＳＬ、ＳＲ方向については、第１の指向性合成部１１２を利用して、パワースペクトル領域で指向性合成を行う。
一方、前面側のＬ、Ｃ、Ｒ方向については、主として前面側から到来する音声成分を取得することが大切であり、２つの前面マイクロホンＭ１、Ｍ２のみを利用して、Ｌ、Ｃ、Ｒ方向の合成音声を十分に合成可能である。従って、第３の実施形態では、第１の指向性合成部１１２を利用せずに、第２の指向性合成部１２０による既存のマイクロホンアレイ技術を用いて、Ｌ、Ｃ、Ｒ方向の合成音声を簡易に合成する。
また、低周波数帯域（前述の４００Ｈｚなど）では、全てのマイクロホンＭ１、Ｍ２、Ｍ３の入力特性が揃ってくる（図２０参照。）。そこで、第３の実施形態では、Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲ方向の全ての合成音声スペクトルＹを、第２の指向性合成部１２０により合成することができる。
なお、低周波数帯域については、第２の実施形態のように、第２の指向性合成部１２０による合成結果（合成音声スペクトルＹ）と、マイクロホンＭからの入力音声スペクトルＸの双方を利用して、第１の指向性合成部１１２による合成する方法で、Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲ方向の合成音声を生成することもできる。第２の実施形態に係る合成方法、又は第３の実施形態に係る合成方法のいずれを採用するかは、マイクロホン配置等に応じて、適切に選択すればよい。
次に、図３７を参照して、第３の実施形態に係る音声信号処理装置による指向性合成機能の具体例について説明する。図３７は、第３の実施形態に係る音声信号処理装置の指向性合成機能の具体例を示すブロック図である。
図３７は、図３６Ａに示したマイクロホン配置において、図３６Ｂに示した５チャンネル（Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲ）の指向性合成を行うための構成例を示している。図３４に示した基本構成では、周波数成分ｋごとに各機能部を具備する構成を示したが、図３７に示す構成例では、低周波数帯域と中・高周波数帯域の２つに分けて、各機能部を示している。なお、図３７では、周波数帯域を２つに区分し、合成音声スペクトルＹ又はＺのいずれが選択されているかが明示されているため、図３４に示した出力選択部１３０を省略して図示してある。
この図３７の構成例では、第１の指向性合成部１１２（第１の入力選択部１０１と第１の合成部１０２）は、中・高周波数帯域の信号処理のみで機能する。これに対し、第２の指向性合成部１２０（第２の入力選択部１２１と第２の合成部１２２）は、低周波数帯域及び中・高周波数帯域の双方の信号処理で機能する。即ち、音の到来方向θによってマイクロホンＭ１、Ｍ２、Ｍ３の入力特性に偏りが生じない低周波数帯域（例えば１０００Ｈｚ未満）においては、第２の指向性合成部のみで指向性合成を行う。また、マイクロホンＭ１、Ｍ２、Ｍ３の入力特性に偏りが生じる中・高周波数帯域（例えば１０００Ｈｚ未満）においては、第２の指向性合成部のみで指向性合成を行う。
上述したように、図３６に示したマイクロホン配置の場合、低周波数帯域の音声成分については、第２の指向性合成部１２０のみにより、複素スペクトル領域でＣ、Ｌ、Ｒ、ＳＬ、ＳＲ方向の合成音声を好適に生成できる。一方、中・高周波数帯域の音声成分については、第２の指向性合成部１２０により、ＳＬ、ＳＲ方向の合成音声を好適に生成できないので、第１の指向性合成部１１２により、パワースペクトル領域でＳＬ、ＳＲ方向の合成音声を合成する必要がある。
そこで、第３の実施形態では、図３７に示すように、低周波数帯域の音声成分については、第２の指向性合成部１２０のみを利用して、全てのチャンネルＣ、Ｌ、Ｒ、ＳＬ、ＳＲの指向性合成を行う。
詳細には、まず、周波数変換部１００によりマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３を入力音声スペクトルＸ１、Ｘ２、Ｘ３に周波数変換し、第２の入力選択部１２１Ｃ〜１２１ＳＲに出力する。次いで、第２の入力選択部１２１Ｃ〜１２１ＳＲ及び第２の合成部１２２Ｃ〜１２２ＳＲにより、Ｘ１、Ｘ２、Ｘ３を複素スペクトル領域で合成して、Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲ方向の合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲをそれぞれ生成する。そして、当該合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲが、時間変換部１０３Ｃ〜１０３ＳＲにそれぞれ出力され、時間領域の合成音声信号ｚＣ、ｚＬ、ｚＲ、ｚＳＬ、ｚＳＲに変換されて、最終合成結果として記録媒体４０に記録される。
一方、中・高周波数帯域の音声成分については、第２の指向性合成部１２０のみを利用して、前面側のチャンネルＣ、Ｌ、Ｒの指向性合成を行うとともに、第１の指向性合成部１１２及び第２の指向性合成部１２０を利用して、背面側のチャンネルＳＬ、ＳＲの指向性合成を行う。
詳細には、まず、周波数変換部１００によりマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３を入力音声スペクトルＸ１、Ｘ２、Ｘ３に周波数変換し、第２の入力選択部１２１Ｃ〜１２１ＳＲと第１の入力選択部１０１ＳＬ、１０１ＳＲに出力する。次いで、第２の入力選択部１２１Ｃ、１２１Ｌ、１２１Ｒ及び第２の合成部１２２Ｃ、１２２Ｌ、１２２Ｒにより、Ｘ１、Ｘ２、Ｘ３のうちＸ１、Ｘ２を複素スペクトル領域で合成して、Ｃ、Ｌ、Ｒ方向の合成音声スペクトルＹＣ、ＹＬ、ＹＲをそれぞれ生成する。そして、当該ＹＣ、ＹＬ、ＹＲは、時間変換部１０３Ｃ、１０３Ｌ、１０３Ｒのみならず、第１の入力選択部１０１ＳＬ、１０１ＳＲにも出力される。
また、第１の入力選択部１０１ＳＬ、１０１ＳＲ及び第１の合成部１０２ＳＬ、１０２ＳＲにより、Ｘ１、Ｘ２、Ｘ３とＹＣ、ＹＬ、ＹＲをパワースペクトル領域で合成して、ＳＬ、ＳＲ方向の合成音声スペクトルＺＳＬ、ＺＳＲをそれぞれ生成する。この際、Ｘ１、Ｘ２、Ｘ３から全方向パワースペクトルＰＸａｌｌが生成され、ＹＣ、ＹＬ、ＹＲから非合成方向パワースペクトルＰＹｅｌｓｅが生成され、ＰＸａｌｌとＰＹｅｌｓｅの差分から、ＺＳＬ、ＺＳＲが生成される。
ここで、上記の例において、周波数帯域に応じて第２の入力選択部１２１と第１の入力選択部１０１が選択する信号をまとめると以下の通りである。
第２の入力選択部１２１Ｃ、１２１Ｌ、１２１Ｒは、低周波数帯域については、全てのマイクロホンＭ１、Ｍ２、Ｍ３からの入力音声スペクトルＸ１、Ｘ２、Ｘ３を選択し、中・高周波数帯域については、前面側のマイクロホンＭ１、Ｍ２からの入力音声スペクトルＸ１、Ｘ２のみを選択する。また、第２の入力選択部１２１ＳＬ、１２１ＳＲは、低周波数帯域については、全てのマイクロホンＭ１、Ｍ２、Ｍ３からの入力音声スペクトルＸ１、Ｘ２、Ｘ３を選択し、中・高周波数帯域については、動作しない。
一方、第１の入力選択部１０１ＳＬは、低周波数帯域については、動作せず、中・高周波数帯域については、全てのマイクロホンＭ１、Ｍ２、Ｍ３からの入力音声スペクトルＸ１、Ｘ２、Ｘ３と、第２の合成部１２２Ｃ、１２２Ｒから出力された入力音声スペクトルＹＣ、ＹＲを選択する。また、第１の入力選択部１０１ＳＲは、低周波数帯域については、動作せず、中・高周波数帯域については、全てのマイクロホンＭ１、Ｍ２、Ｍ３からの入力音声スペクトルＸ１、Ｘ２、Ｘ３と、第２の合成部１２２Ｃ、１２２Ｌから出力された入力音声スペクトルＹＣ、ＹＬを選択する。
その後、上記第２の合成部１２２Ｃ、１２２Ｌ、１２２Ｒにより生成された合成音声スペクトルＹＣ、ＹＬ、ＹＲと、第１の合成部１０２ＳＬ、１０２ＳＲにより生成されたＺＳＬ、ＺＳＲが、時間変換部１０３Ｃ〜１０３ＳＲにそれぞれ出力され、時間領域の合成音声信号ｚＣ、ｚＬ、ｚＲ、ｚＳＬ、ｚＳＲに変換されて、最終合成結果として記録媒体４０に記録される。
以上のように、第３の実施形態では、入力音声の周波数帯域に応じて、第１の指向性合成部１１２と第２の指向性合成部１２０の動作を切り替える。これにより、簡易かつ適切に５チャンネルの指向性合成を行うことができる。
ここで、上記図３７の構成例による中・高周波数領域（４０００Ｈｚ）における指向性合成の具体例について説明する。
図３８は、マイクロホンＭ１、Ｍ２、Ｍ３から入力された入力音声スペクトルＸ１、Ｘ２、Ｘ３の特性を示す。図３８に示すように、Ｘ１、Ｘ２は前面方向（θ＝０°）の指向性を有し、Ｘ３は前面方向（θ＝１８０°）の指向性を有している。しかし、Ｘ１、Ｘ２、Ｘ３のいずれも、左右方向（θ＝９０°、２７０°）の指向性を有していないので、この状態のＸ１、Ｘ２、Ｘ３のからＳＬ、ＳＲ方向の指向性を有する合成音声を生成することは困難である。
図３９は、本実施形態に係る第２の合成部１２２により入力音声スペクトルＸ１、Ｘ２を合成して得られた合成音声スペクトルＹＣ、ＹＬ、ＹＲの特性を示す。図３９に示すように、前面側（θ＝０°）に指向性を有する２つの入力音声スペクトルＸ１、Ｘ２のみを利用することで、前面側のＣ、Ｌ、Ｒという３つの方向の指向性を有する合成音声スペクトルＹＣ、ＹＬ、ＹＲを生成することが可能である。
図４０は、Ｘ１、Ｘ２、Ｘ３を合成して得られた全方向パワースペクトルＰＸａｌｌと、第１の合成部１０２により合成された合成音声スペクトルＺＳＬ、ＺＳＲの特性を示す。図４０に示すように、第１の合成部１０２により前面及び背面方向の指向性を有する３つの入力音声スペクトルＸ１、Ｘ２、Ｘ３を合成することで、全方向パワースペクトルＰＸａｌｌを生成できる。さらに、第２の合成部１２２により生成されたＣ、Ｌ、Ｒ方向の合成音声スペクトルＹＣ、ＹＬ、ＹＲに適切な係数ｗを乗算した値（非合成方向パワースペクトルＰＳＬｅｌｓｅ、ＰＳＲｅｌｓｅ）を求め、上記ＰＸａｌｌから、ＰＳＬｅｌｓｅ、ＰＳＲｅｌｓｅを減算することで、Ｓｌ方向、ＳＲ方向の指向性を有する合成音声スペクトルＺＳＬ、ＺＳＲを生成することが可能である。
以上のように、中・高周波数領域（４０００Ｈｚ）においても、第２の合成部１２２による指向性合成と第１の合成部１０２による指向性合成を併用することで、５チャンネルＣ、Ｌ、Ｒ、ＳＬ、ＳＲの指向性を有する合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＺＳＬ、ＺＳＲを良好に生成できる。
［３．３．音声信号処理方法］
次に、第３の実施形態に係る音声信号処理装置による音声信号処理方法（指向性合成方法）について説明する。
［３．３．１．音声信号処理装置の全体動作］
まず、図４１を参照して、本実施形態に係る音声信号処理装置の全体動作について説明する。図４１は、本実施形態に係る音声信号処理方法を示すフローチャートである。
第３の実施形態は、第３の実施形態と比べて、周波数帯域の判定処理（Ｓ５４）と第２の入力選択処理（Ｓ５６）と第２の合成処理（Ｓ５８）が追加されている点で相違する。
図４１に示すように、まず、マイクロホンＭ１、Ｍ２、・・・ＭＭにより、デジタルカメラ１周辺の音（外部音声）を収音し、入力音声信号ｘ１、ｘ２、・・・、ｘＭを生成する（Ｓ５０）。次いで、周波数変換部１００により、各マイクロホンＭ１、Ｍ２、・・・ＭＭから入力された入力音声信号ｘ１、ｘ２、・・・、ｘＭを周波数変換（例えばＦＦＴ）し、入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭを生成する（Ｓ５２）。このＳ５０及びＳ５２の処理は第１の実施形態の図１７のＳ１０及びＳ１２の処理と同様である。
次いで、不図示の周波数帯域判定部により、現在入力されている入力音声スペクトルＸの周波数成分ｋが、低周波数帯域であるか、中・高周波数帯域であるかを判定する（Ｓ５４）。低周波数帯域は、所定の基準周波数（例えば１０００Ｈｚ）未満の周波数帯域であり、中・高周波数帯域は、当該基準周波数以上の周波数帯域である。この基準周波数は、マイクロホンＭ配置や入力特性などに応じて適宜設定される。このＳ５４にて、低周波数帯域であると判定された場合、Ｓ５６及びＳ５８の処理が行われ、中・高周波数帯域であると判定された場合、Ｓ６０〜Ｓ６６の処理が行われる。
上記Ｓ５４にて低周波数帯域であると判定された場合には、第２の指向性合成部１２０による指向性合成処理のみが行われる（Ｓ５６、Ｓ５８）。
具体的には、まず、第２の入力選択部１２１により、Ｓ５２で得られた入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭから、サラウンド再生環境の各チャンネルを合成するために必要な複数の入力音声スペクトルＸをそれぞれ選択する（Ｓ５６）。さらに、第２の合成部１２２により、Ｓ５６で選択された入力音声スペクトルＸを合成することで、各チャンネルの合成音声スペクトルＹ１、Ｙ２、・・・、ＹＮをそれぞれ生成する（Ｓ５８）。この合成処理は、入力音声スペクトルＸ（ｋ）の周波数成分ｋ（ｋ＝０、１、・・・、Ｌ−１）ごとに行われる。
Ｓ５８の後に、時間変換部１０３により、Ｓ５８で合成された合成音声スペクトルＹ１、Ｙ２、・・・、ＹＮを、時間変換（例えば逆ＦＦＴ）して、時間領域の合成音声信号ｚ１（ｎ）、ｚ２（ｎ）、・・・、ｚＮ（ｎ）に変換する（Ｓ６８）。さらに、デジタルカメラ１の制御部７０により、当該合成音声信号ｚ（ｎ）が記録媒体４０に記録される（Ｓ７０）。
一方、上記Ｓ５４にて中・高周波数帯域であると判定された場合には、第２の指向性合成部１２０による指向性合成処理（Ｓ６０、Ｓ６２）と、第１の指向性合成部１１２による指向性合成処理（Ｓ６４、Ｓ６６）が行われる。
具体的には、まず、第２の入力選択部１２１により、Ｓ５２で得られた入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭから、サラウンド再生環境の各チャンネルを合成するために必要な複数の入力音声スペクトルＸをそれぞれ選択する（Ｓ６０）。さらに、第２の合成部１２２により、Ｓ６０で選択された入力音声スペクトルＸを合成することで、各チャンネルの合成音声スペクトルＹ１、Ｙ２、・・・、ＹＮをそれぞれ生成する（Ｓ６２）。この合成処理は、入力音声スペクトルＸ（ｋ）の周波数成分ｋ（ｋ＝０、１、・・・、Ｌ−１）ごとに行われる。
次いで、第１の入力選択部１０１により、Ｓ５２で得られた入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭから、全方向パワースペクトルＰＸａｌｌを合成するために必要な複数の入力音声スペクトルＸを選択する（Ｓ６４）。さらに、第１の入力選択部１０１により、Ｓ６２で得られた合成音声スペクトルＹ１、Ｙ２、・・・、ＹＮから、特定チャンネル方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを合成するために必要な複数の入力音声スペクトルＹを選択する（Ｓ６４）。
さらに、第１の合成部１０２により、Ｓ６６で選択された入力音声スペクトルＸ及び合成音声スペクトルＹを合成することで、特定チャンネルの合成音声スペクトルＺ（ｋ）を生成する（Ｓ６６）。この際、入力音声スペクトルＸから全方向パワースペクトルＰＸａｌｌを合成し、合成音声スペクトルＹから特定チャンネル方向以外の非合成方向パワースペクトルＰＹｅｌｓｅを合成し、ＰＸａｌｌとＰＹｅｌｓｅの差分を計算する。かかる合成処理も、入力音声スペクトルＸ（ｋ）及び合成音声スペクトルＹ（ｋ）の周波数成分ｋ（ｋ＝０、１、・・・、Ｌ−１）ごとに行われる。
その後、時間変換部１０３により、Ｓ６６で合成された特定チャンネル（例えば、ＳＬ、ＳＲ）の合成音声スペクトルＺ（ｋ）と、Ｓ６２で合成された特定チャンネル以外のチャンネル（例えば、Ｃ、Ｌ、Ｒ）の合成音声スペクトルＹ（ｋ）を時間変換（例えば逆ＦＦＴ）して、時間領域の合成音声信号ｚ（ｎ）を生成する（Ｓ６８）。さらに、デジタルカメラ１の制御部７０により、当該合成音声信号ｚ（ｎ）が記録媒体４０に記録される（Ｓ７０）。この際、上記特定チャンネルの合成音声信号ｚ（ｎ）とともに、他のチャンネルの合成音声信号ｚ（ｎ）や動画像も記録媒体４０に記録されてもよい。
［３．３．２．第１の合成部の動作］
次に、図４２を参照して、図３７に示した構成例に係るＳＬチャンネル用の第１の合成部１０２ＳＬの動作（図４１の第１の合成処理Ｓ６６）について詳述する。図４２は、本実施形態に係るＳＬチャンネル用の第１の合成部１０２ＳＬの動作を示すフローチャートである。
なお、以下では、入力音声スペクトルＸのｋ番目の周波数成分ｘ（ｋ）について説明するが、周波数成分は、ｋ＝０、１、・・・、Ｌ−１まで存在し、すべて同様の処理となる。また、第２の合成部１２２ＳＬと第２の合成部１２２ＳＲは、参照データが異なるのみで、動作は実質的に同一である。このため、以下では、第２の合成部１２２ＳＬの動作のみを述べるが、第２の合成部１２２ＳＲの動作も同様である。
図４２に示すように、まず、第１の合成部１０２ＳＬは、第１の入力選択部１０１ＳＬから、合成対象の音声スペクトルとして選択された複数の入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、Ｘ３（ｋ）を取得する（Ｓ３００）。さらに、第１の合成部１０２ＳＬは、第１の入力選択部１０１ＳＬから、合成対象の音声スペクトルとして選択された複数の合成音声スペクトルＹＣ（ｋ）、ＹＲ（ｋ）を取得する（Ｓ３０２）。
次いで、第１の合成部１０２ＳＬは、Ｓ３００で取得した入力音声スペクトルＸ１（ｋ）、Ｘ２（ｋ）、Ｘ３（ｋ）のパワースペクトルＰＸ１、ＰＸ２、ＰＸ３をそれぞれ計算する（Ｓ３０４）。
さらに、第１の合成部１０２ＳＬは、第１の保持部１０７から、全方向パワースペクトルＰＸａｌｌを求めるために各パワースペクトルｇ１、ｇ２、ｇ３に乗算する重み付け係数ｇ１、ｇ２、ｇ３を取得する（Ｓ３０６）。その後、第１の合成部１０２ＳＬは、Ｓ３０６で取得した重み付け係数ｇ１、ｇ２、ｇ３を用いて、Ｓ３０４で計算したパワースペクトルＰＸ１、ＰＸ２、ＰＸ３を重み付け加算することにより、全方向パワースペクトルＰＸａｌｌを計算する（Ｓ３０８）。
次いで、第１の合成部１０２ＳＬは、Ｓ３０２で取得した合成音声スペクトルＹＣ（ｋ）、ＹＲ（ｋ）のパワースペクトルＰＹＣ、ＰＹＲをそれぞれ計算する（Ｓ３１０）。Ｙは複素スペクトルであるので（Ｙ＝ａ＋ｊ・ｂ）、このＹからＰＹを計算することができる（ＰＹ＝ａ２＋ｂ２）。
その後、第１の合成部１０２ＳＬは、第２の保持部１０９から、非合成方向パワースペクトルＰＹｅｌｓｅを求めるために各パワースペクトルＰＹＣ、ＰＹＲに乗算する重み付け係数ｆＣ、ｆＲを取得する（Ｓ３１２）。
さらに、第１の合成部１０２ＳＬは、Ｓ３１２で取得した重み付け係数ｆＣ、ｆＲを用いて、Ｓ３１０で計算したパワースペクトルＰＹＣ、ＰＹＲを重み付け加算することにより、非合成方向パワースペクトルＰＹｅｌｓｅを計算する（Ｓ３１４）。
その後、第１の合成部１０２ＳＬは、Ｓ３０８で求めた全方向パワースペクトルＰＸａｌｌから、Ｓ３１４で求めた非合成方向パワースペクトルＰＸｅｌｓｅを減算する（Ｓ３１６）。この減算処理により、ＳＬ方向のパワースペクトルＰＳＬが得られる（ＰＳＬ＝ＰＸａｌｌ−ＰＹｅｌｓｅ）。
さらに、第１の合成部１０２ＳＬは、Ｓ３１６で求めたＳＬ方向のパワースペクトルＰＳＬから、当該ＳＬ方向の複素スペクトルＺＳＬ（ｋ）を復元する（Ｓ３１８）。この復元処理は、第１の実施形態で説明した通りである（図１９のＳ１２４を参照。）。
以上、図４２を参照して、第３の実施形態に係る第１の合成部１０２の動作について説明した。なお、第３の実施形態に係る第２の入力選択部１２１、第２の合成部１２２、第１の入力選択部１０１の動作は、前述の第２の実施形態と同様であるので、詳細説明は省略する（図３０、図３１、図３２参照。）。
［３．４．具体例］
次に、第３の実施形態に係る音声信号処理装置をビデオカメラ７に適用するときのマイクロホンＭの配置の具体例について説明する。
ここでは、図４３に示すマイクロホン配置のビデオカメラ７でサラウンド録音し、図４４に示すサラウンド再生環境を実現する例について説明する。図４３は、３つのマイクロホンＭが配置されたビデオカメラ７を示し、図４４は、３次元的なサラウンド再生環境を示す。
図４３に示すように、ビデオカメラ７の前面４ｃの下部における左右両側に２つのマイクロホンＭ１、Ｍ２が配置され、ビデオカメラ７の上面４ａの中央に１つのマイクロホンＭ３が配置されている。ビデオカメラ７のレンズ８の向きと、マイクロホンＭ１、Ｍ２の向きは共に前方である。また、図４４に示すサラウンド再生環境では、ユーザの前方方向に対して、左前（Ｌ）、中央前（Ｃ）、右前（Ｒ）、左前上方（ＦＨＬ：Ｆｒｏｎｔ Ｈｉｇｈ Ｌｅｆｔ）、右前上方（ＦＨＲ：Ｆｒｏｎｔ Ｈｉｇｈ Ｒｉｇｈｔ）に配置される５チャンネルのスピーカが設置されている。
この場合、マイクロホンＭの入力特性に差が生じない低周波数帯域（例えば１０００Ｈｚ未満）の音声成分については、３つのマイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３を利用して、Ｃ、Ｌ、Ｒ、ＦＨＬ、ＦＨＲの５チャンネルの合成音声信号ｚＣ、ｚＬ、ｚＲ、ｚＦＨＬ、ｚＦＨＲを合成できる。
しかし、中・高周波数帯域（例えば１０００Ｈｚ以上）の音声成分については、マイクロホンＭ１、Ｍ２とマイクロホンＭ３は、設置面が異なるため、徐々に入力特性に差が生じる。このため、入力音声スペクトルＸ１、Ｘ２、Ｘ３を複素スペクトル領域で合成する従来技術では、良好な指向性を有する合成音声信号ｚを生成することができない。
そこで、中・高周波数帯域の音声成分については、入力特性がある程度一致する２つのマイクロホンＭ１、Ｍ２の入力音声スペクトルＸ１、Ｘ２を複素スペクトル領域で合成（第２の指向性合成）することで、Ｃ、Ｌ、Ｒ方向の指向性を有する合成音声信号ｚＣ、ｚＬ、ｚＲを生成する。一方、ＦＨＬ、ＦＨＲ方向の指向性を有する合成音声信号ｚＦＨＬ、ｚＦＨＲについては、パワースペクトル領域での合成（第１の指向性合成）を利用する。以下に、中・高周波数帯域における指向性合成の手順について説明する。
まず、図４５に示すように、第２の指向性合成部１２０により、２つの前面マイクロホンＭ１、Ｍ２の入力音声スペクトルＸ１、Ｘ２を重み付け加算することで、Ｃ、Ｌ、Ｒ方向の指向性を有する合成音声スペクトルＹＣ、ＹＬ、ＹＲを生成する。
次いで、ＦＨＬ方向の合成音声スペクトルＺＦＨＬを合成する。ＦＨＬ方向の合成音声スペクトルＺＦＨＬを合成するためには、全方向パワースペクトルＰａｌｌから、Ｃ、Ｒ方向の音声成分を除けばよい。
具体的には、まず、第１の指向性合成部１１２により、マイクロホンＭ３の入力音声スペクトルＸ３を利用して、全方向パワースペクトルＰａｌｌを生成する。ここでは、マイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３からＰａｌｌを推定するのではなく、マイクロホンＭ３の入力音声スペクトルＸ３のみからＰａｌｌを求める。次いで、第２の指向性合成部１２０で生成された合成音声スペクトルＹＣ、ＹＲを利用して、ＦＨＬ方向以外の非合成方向パワースペクトルＰＦＨＬａｌｓｅを生成する。その後、全方向パワースペクトルＰａｌｌから、非合成方向パワースペクトルＰＦＨＬａｌｓｅを減算することで、ＦＨＬ方向の合成音声スペクトルＺＦＨＬを合成する。
さらに、ＦＨＲ方向の合成音声スペクトルＺＦＨＲを合成する。ＦＨＲ方向の合成音声スペクトルＺＦＨＬを合成するためには、全方向パワースペクトルＰａｌｌから、Ｃ、Ｌ方向の音声成分を除けばよい。そこで、まず、上記ＦＨＬと同様に、マイクロホンＭ３の入力音声スペクトルＸ３からＰａｌｌを生成する。次いで、合成音声スペクトルＹＣ、ＹＬを利用して、ＦＨＲ方向以外の非合成方向パワースペクトルＰＦＨＲａｌｓｅを生成する。その後、ＰａｌｌからＰＦＨＬａｌｓｅを減算することで、ＦＨＲ方向の合成音声スペクトルＺＦＨＲを合成する。
ここで、図４６、図４７を参照して、上記中・高周波数帯域におけるＦＨＬ方向の指向性合成の原理について説明する。図４６は、上記指向性合成におけるマイクロホンＭ３の入力特性（入力音声スペクトルＸ３の特性）と、合成音声スペクトルＹＣ、ＹＬ、ＹＲの特性を示す。また、図４７は、合成音声スペクトルＺＦＨＬの特性を示す。
図４６に示すように、マイクロホンＭ１、Ｍ２は、ビデオカメラ７の前面下部に設置されている。従って、このマイクロホンＭ１、Ｍ２の入力音声スペクトルＸ１、Ｘ２から指向性合成された合成音声スペクトルＹＣ、ＹＬ、ＹＲは、マイクロホンＭ３の入力音声スペクトルＸ３と比べて、上方向の音声成分を少なく含む。一方で、マイクロホンＭ３の入力音声スペクトルＸ３は、上方向の音声成分を多く含むが、Ｘ３から左右方向の特性を識別することができない。
従って、上記ＹＣ、ＹＬ、ＹＲとＸ３を組み合わせることで、上方向かつ左右方向の特性を生成できる。よって、図４７に示すように、左斜め上方のＦＨＬ方向の合成音声スペクトルＺＦＨＬを合成できる。
［３．５．効果］
以上、第３の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第３の実施形態によれば、上記第１及び第２の実施形態の効果に加え、次の効果を得ることができる。
第３の実施形態によれば、周波数帯域に応じて、パワースペクトル領域での第１の指向性合成と、複素スペクトル領域での第２の指向性合成を使い分ける。これにより、各々の周波数帯域で簡易かつ適切な指向性合成結果を得ることができ、合成精度が向上する。
＜４．第４の実施の形態＞
次に、本開示の第４の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第４の実施形態は、ユーザにより選択されたサラウンド再生環境に応じて、上記第１及び第２の指向性合成で用いる音声スペクトルＸ、Ｙと重み付け係数ｇ、ｆ、ｗを変更することを特徴としている。第４の実施形態のその他の機能構成は、上記第２、３の実施形態と実質的に同一であるので、その詳細説明は省略する。
［４．１．第４の実施形態の概要］
まず、第４の実施形態に係る音声信号処理装置及び方法の概要について説明する。
通常のサラウンド録音では、常に、サラウンド再生環境のチャンネル数を特定のチャンネル数、例えば５．１ｃｈに設定しておき、当該設定された５．１ｃｈの合成音声信号を合成して記録する。そして、２ｃｈのサラウンド再生環境で再生する場合には、５．１ｃｈの合成音声信号を２ｃｈの合成音声信号にダウンミックスして、再生している。このように、サラウンド録音のチャンネル数は、主要なサラウンド再生環境のチャンネル数に合わせて固定的であり、サラウンド録音時にチャンネル数を変更しないことが一般的であった。
ところが、近年ではサラウンド再生環境が多様化しており、チャンネル数のバリエーションも増加している。さらに、ユーザが、自身の好みに合わせて、チャンネル数やスピーカの配置を調整する場合もある。
図４８は、２．１ｃｈ、３．１ｃｈ、５．１ｃｈのサラウンド再生環境を示す説明図である。図４８に示すように、サラウンド再生環境のチャンネル数に応じて、スピーカの設置数や配置が異なる。このため、録音装置を用いたサラウンド録音時に、ユーザが所望するサラウンド再生環境のチャンネル数に合わせて、合成音声を生成しておくことが望ましい。例えば、図４８Ｂに示す３．１ｃｈのサラウンド再生環境の場合には、Ｌ、Ｒ、Ｂ（Ｂａｃｋ）、ＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ）という３チャンネル＋１チャンネルの合成音声信号を生成・記録してくことが望ましい。
そこで、上記事情に鑑み、第４の実施形態では、録音装置を用いた録音時に、ユーザがサラウンド再生環境を選択できるようにする。そして、ユーザにより選択されたサラウンド再生環境に応じて、サラウンド録音のチャンネル数、つまり、記録する合成音声信号ｚのチャンネル数を可変とする。
ところで、上記のようにマイクロホンＭの配置に依存してマイクロホンＭの入力特性は変化するので、合成したい指向性の方向（合成方向）に応じて、指向性合成に利用するマイクロホンＭを選択（即ち、合成対象の音声スペクトルＸ、Ｙを選択）する必要がある。上記のようにサラウンド再生環境が変われば、サラウンド録音時に生成すべき合成音声信号の数や指向性の方向も変化する。このため、選択されたサラウンド再生環境に応じて、各チャンネルの指向性合成に利用されるマイクロホンＭを変更する必要がある。また、選択されるマイクロホンＭの変更に伴い、指向性合成に用いる重み付け係数ｇ、ｆ、ｗも変更する必要がある。
そこで、第４の実施形態では、第１の指向性合成部１１２及び第２の指向性合成部１２０の動作を制御する制御部を設ける。この制御部は、選択されたサラウンド再生環境に応じて、第１の指向性合成部１１２及び第２の指向性合成部１２０により合成する音声スペクトルＸ、Ｙと、合成処理で用される各種の重み付け係数ｇ、ｆ、ｗを変更する。そして、第１の指向性合成部１１２及び第２の指向性合成部１２０は、制御部により設定された音声スペクトルＸ、Ｙと重み付け係数ｇ、ｆ、ｗを用いて、上述した指向性合成処理を行う。
これにより、ユーザにより選択されたサラウンド再生環境のチャンネル数に応じて、適切な合成音声信号を合成して記録することができる。以下に、上記のような指向性合成を実現するための第４の実施形態に係る音声信号処理装置及び方法について述べる。
［４．２．音声信号処理装置の機能構成］
次に、図４９を参照して、第４の実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図４９は、第４の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
図４９に示すように、第４の実施形態に係る音声信号処理装置は、Ｍ個のマイクロホンＭ１、Ｍ２、・・・ＭＭと、Ｍ個の周波数変換部１００と、第１の入力選択部１０１と、第１の合成部１０２と、時間変換部１０３と、Ｎ個の第２の入力選択部１２１−１〜Ｎと、Ｎ個の第２の合成部１２２−１〜Ｎと、Ｎ個の時間変換部１０３−１〜Ｎと、制御部１４０とを備える。なお、Ｍはマイクロホンの設置数、Ｎはサラウンド再生環境のチャンネル数である。また、制御部１４０は、図１２に示したデジタルカメラ１の制御部７０と兼用されてもよい。
図４９から分かるように、第４の実施形態に係る音声信号処理装置は、上記第２、３の実施形態に係る音声信号処理装置（図２２、図３４参照。）の構成要素に加えて、制御部１４０を更に備える。第４の実施形態では、制御部１４０により、ユーザにより選択されたサラウンド再生環境に応じて、第１の入力選択部１０１、第１の合成部１０２、第２の入力選択部１２１、第２の合成部１２２の動作を切り替えることを特徴としている。第４の実施形態に係るその他の機能構成は上記第２、３の実施形態と同様であるので、詳細説明は省略する。
図４９に示すように、制御部１４０は、例えばユーザ選択に応じてサラウンド再生環境を設定し、当該サラウンド再生環境に基づいて、第１の入力選択部１０１、第１の合成部１０２、第２の入力選択部１２１、第２の合成部１２２を制御する。
本実施形態では、合成音声スペクトルＺ１、Ｚ２、・・・、ＺＮの合成方向（Ｌ方向、Ｒ方向等）は、サラウンド再生環境の各チャンネルに対応している。そして、ユーザは、サラウンド再生環境のチャンネル数、即ち、サラウンド録音するチャンネル数を選択可能である。
図５０は、ユーザがサラウンド再生環境を選択するためのＧＵＩ画面３１を示す。図５０に示すように、例えば、サラウンド録音開始時にデジタルカメラ１の表示部３０にＧＵＩ画面３１を表示する。ＧＵＩ画面３１には、選択可能なサラウンド再生環境（２．１ｃｈ、３．１ｃｈ、５．１ｃｈ）が表示されている。ユーザは、デジタルカメラ１の操作部８０（ダイアル、キー、タッチパネルなど）を操作することで、ＧＵＩ画面３１上で所望のサラウンド再生環境を選択することができる。図示の例では、３．１ｃｈのサラウンド再生環境が選択されている。
制御部１４０は、サラウンド再生環境を選択するユーザ操作を受け付けると、当該ユーザにより選択されたサラウンド再生環境の各チャンネルに対応する合成音声スペクトルＺを合成するように、上記の各部を制御する。
詳細には、制御部１４０は、第１の入力選択部１０１や第２の入力選択部１２１により選択される入力音声スペクトルＸ、Ｙや、第１の合成部１０２及び第２の合成部１２２により用いる重み付け係数ｇ、ｆ、ｗ等を、サラウンド再生環境に応じて変更するように制御する。このために、制御部１４０は、ユーザにより選択されたサラウンド再生環境を表す識別情報（例えば、後述するｓ＿ｉｄ）を、第１の入力選択部１０１、第２の入力選択部１２１、第１の合成部１０２及び第２の合成部１２２に通知する。第１の入力選択部１０１、第２の入力選択部１２１、第１の合成部１０２及び第２の合成部１２２は、制御部１４０から通知されたサラウンド再生環境を表す識別情報に基づいて、上述した指向性合成の処理内容を切り替える。
具体的には、第１の入力選択部１０１は、複数の入力音声スペクトルＸの中から、第１の合成部１０２による合成対象として選択する音声スペクトルＸを、上記サラウンド再生環境に応じて変更する。第１の入力選択部１０１は、サラウンド再生環境ごとに選択するべきマイクロホンＭを表すＩＤ系列（選択マイクロホンＩＤ）を保持部１０５（図１４参照。）に保持している。第１の入力選択部１０１は、この選択マイクロホンＩＤに基づいて、サラウンド再生環境に適した全方向パワースペクトルＰａｌｌや非合成方向パワースペクトルＰｅｌｓｅを合成するために必要なマイクロホンＭの入力音声スペクトルＸを選択する。
また、第１の合成部１０２は、第１の入力選択部１０１により選択された複数の音声スペクトルＸ、ＹのパワースペクトルＰを重み付け加算するときに用いる重み付け係数ｇを、上記サラウンド再生環境に応じて変更する。第１の合成部１０２は、サラウンド再生環境ごとに設定された重み付け係数ｇ、ｆを保持部１０７、１０９（図１５参照。）に保持している。第１の合成部１０２は、この重み付け係数ｇ、ｆ用いて、入力音声スペクトルＸを重み付け加算して、サラウンド再生環境に適した全方向パワースペクトルＰａｌｌや非合成方向パワースペクトルＰｅｌｓｅを合成する。
また、第２の入力選択部１２１は、複数の入力音声スペクトルＸの中から、第２の合成部１２２による合成対象として選択する音声スペクトルＸを、上記サラウンド再生環境に応じて変更する。第２の入力選択部１２１は、サラウンド再生環境のチャンネルごとに選択するべきマイクロホンＭを表すＩＤ系列（選択マイクロホンＩＤ）を保持部１２４（図２３参照。）に保持している。第２の入力選択部１２１は、この選択マイクロホンＩＤに基づいて、サラウンド再生環境の各チャンネルの合成音声スペクトルＹを合成するために必要なマイクロホンＭの入力音声スペクトルＸを選択する。
第２の合成部１２２は、第２の入力選択部１２１により選択された複数の音声スペクトルを重み付け加算するときに用いる重み付け係数ｗを、上記サラウンド再生環境に応じて変更する。第２の合成部１２２は、サラウンド再生環境ごとに設定された重み付け係数ｗを保持部１２６（図２４参照。）に保持している。第２の合成部１２２は、この重み付け係数ｗを用いて、入力音声スペクトルＸを重み付け加算して、サラウンド再生環境の各チャンネルの合成音声スペクトルＹを合成する。
ここで、図５１及び図５２を参照して、サラウンド再生環境ごとに設定されるＩＤ系列及び重み付け係数ｇ、ｆ、ｗについて説明する。図５１は、第２の指向性合成部１２０の保持部１２４、１２６が保持するＩＤ系列及び重み付け係数ｗを示す。
図５１に示すように、第２の指向性合成部１２０の保持部１２４、１２６には、環境設定情報１４１のテーブルが保持されている。この環境設定情報１４１のテーブルには、サラウンド再生環境を表す識別情報ｓ＿ｉｄと、チャンネルＩＤと、選択マイクロホンＩＤと、重み付け係数ｗとが関連づけて記述されている。
チャンネルＩＤは、サラウンド再生環境の複数のチャンネルを識別するためのＩＤである。例えば、サラウンド再生環境が２．１ｃｈである場合、ＬチャンネルとＲチャンネルの２つのチャンネルＩＤが記述される。
選択マイクロホンＩＤは、第２の入力選択部１２１により、サラウンド再生環境の各チャンネルの合成音声スペクトルＹを合成するために選択されるマイクロホンのＩＤである。例えば、マイクロホンＩＤは、マイクロホンＭ１、Ｍ２、Ｍ３、・・・に対して固有に付与されたマイクロホン番号１、２、３、・・・などである。
前述したように、あるチャンネルの指向性を有する合成音声スペクトルＹを合成するために利用するマイクロホンＭは、全体のサラウンド再生環境（例えば、２．１ｃｈ、３．１ｃｈ等）によって変化する。例えば、２．１ｃｈの再生環境におけるＬｃｈの合成音声スペクトルＹＬを生成するために、上記マイクロホンＭ１、Ｍ２、Ｍ３、・・・のうち２つのマイクロホンＭ１、Ｍ３が選択される場合を考える。つまり、Ｌｃｈ用の第２の合成部１２２Ｌにより、マイクロホンＭ１、Ｍ３の入力音声スペクトルＸ１、Ｘ３を複素スペクトル領域で合成することで、Ｌｃｈの合成音声スペクトルＹＬを生成する場合である。この場合、図５１に示すように、２．１ｃｈにおけるＬｃｈの選択マイクロホンＩＤとして、マイクロホンＭ１、Ｍ３のＩＤ（マイクロホン番号＝１、３）が記述される。
また、図５１に示す重み付け係数ｗは、第２の合成部１２２により合成音声スペクトルＹを合成するときに、上記選択マイクロホンＩＤにより選択されたマイクロホンＭの入力音声スペクトルＸに対して乗算される係数である。入力音声スペクトルＸは複素スペクトルであるので、重み付け係数ｗも、複素数の係数である。上記第２の入力選択部１２１で選択されたマイクロホンＭの入力音声スペクトルＸに対して、どの程度の重み付けを行うかも、サラウンド再生環境によって変化する。そこで、その重み付け係数ｗも、サラウンド再生環境のチャンネルごとに設定される。
なお、上述したように、第２の入力選択部１２１、第２の合成部１２２は、周波数成分ｋごとに設けられる。よって、上記図５１の環境設定情報１４１のテーブルに保持するデータは、ある周波数成分ｋのときに利用する選択マイクロホンＩＤ、重み付け係数ｗであり、他の周波数成分ｋについては、当該選択マイクロホンＩＤ、重み付け係数ｗのデータを変化させてもよい。
また、図５１の例では、第２の指向性合成部１２０により２．１ｃｈのＲｃｈの指向性合成を行わないので、Ｒｃｈの選択マイクロホンＩＤは記述されていない。第２の指向性合成部１２０によりＲｃｈの指向性合成も行う場合には、上記Ｌｃｈと同様に、Ｒｃｈの選択マイクロホンＩＤ、係数ｗ等が設定される。また、３．１ｃｈ、５．１ｃｈの場合も、上記２．１ｃｈの場合と同様に、選択マイクロホンＩＤ、係数ｗが設定される。
また、図５２は、第１の指向性合成部１１２の保持部１０５、１０７、１０９が保持するＩＤ系列及び重み付け係数ｇ、ｆを示す。図５２に示すように、第１の指向性合成部１１２の保持部１０５、１０７、１０９には、環境設定情報１４２のテーブルが保持されている。この環境設定情報１４２のテーブルには、サラウンド再生環境を表す識別情報ｓ＿ｉｄと、チャンネルＩＤと、Ｐａｌｌ用の選択ＩＤ及び重み付け係数ｇと、Ｐｅｌｓｅ用の選択ＩＤ及び重み付け係数ｆとが関連づけて記述されている。
Ｐａｌｌ用選択ＩＤは、第１の合成部１０２により全方向パワースペクトルＰａｌｌを合成するために選択されるマイクロホンＭのＩＤである。Ｐａｌｌを合成するために、Ｍ個のマイクロホンＭ１、Ｍ２、・・・、ＭＭのうちのいくつかのマイクロホンＭが選択される。図示の例では、２．１ｃｈのサラウンド再生環境において、マイクロホンＭ１、Ｍ２、Ｍ３が選択されるようになっており、当該マイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３を合成して、全方向パワースペクトルＰａｌｌが生成されることになる。
Ｐａｌｌ用の重み付け係数ｇは、第１の合成部１０２により全方向パワースペクトルＰａｌｌを合成するときに、上記選択ＩＤにより選択されたマイクロホンＭの入力音声スペクトルＸに対して乗算される係数である。図示の例では、マイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３に対して、均等な値（＝０．３３３・・）の係数ｇが乗算されることになる。
Ｐｅｌｓｅ用選択マイクロホンＩＤは、第１の合成部１０２により非合成方向パワースペクトルＰｅｌｓｅを合成するために選択される、第２の合成部１２２の出力のＩＤである。Ｐｅｌｓｅを合成するために、Ｎ個の第２の合成部１２２から出力される合成音声スペクトルＹ１、Ｙ２、・・・、ＹＮうちのいくつかが選択される。図示の例では、２．１ｃｈのサラウンド再生環境において、選択ＩＤ＝１が付与された第２の合成部１２２−１の合成音声スペクトルＹ１から、非合成方向パワースペクトルＰｅｌｓｅが生成されることになる。
Ｐｅｌｓｅ用の重み付け係数ｆは、第１の合成部１０２により非合成方向パワースペクトルＰｅｌｓｅを合成するときに、上記選択ＩＤにより選択された音声スペクトルＸ、Ｙに対して乗算される係数である。図示の例では、第２の合成部１２２−１の合成音声スペクトルＹ１に対して、係数ｆ（＝０．７）が乗算されることになる。
なお、上述したように、第１の入力選択部１０１、第１の合成部１０２は、周波数成分ｋごとに設けられる。よって、上記図５２の環境設定情報１４２のテーブルに保持するデータは、ある周波数成分ｋのときに利用する選択ＩＤ、重み付け係数ｇ、ｆであり、他の周波数成分ｋについては、当該選択ＩＤ、重み付け係数ｗのデータを変化させてもよい。
以下では、例えば、サラウンド再生環境が２．１ｃｈであるときに、第２の合成部１２２―１がＬチャンネルの指向性合成を行い、第１の合成部１０２が、Ｒチャンネルの指向性合成を行う例について説明する。
［４．３．音声信号処理方法］
次に、第４の実施形態に係る音声信号処理装置による音声信号処理方法（指向性合成方法）について説明する。
なお、第４の実施形態に係る音声信号処理装置の全体動作は、上記第２、第３の実施形態（図２９、図４１参照。）と同様であるので、全体フローの図示は省略する。ただし、第４の実施形態では、マイクロホンＭによる収音処理（図２９のＳ３０、図４１のＳ５０）の開始前に、ユーザにより所望のサラウンド再生環境が選択されたときに、制御部１４０は、当該サラウンド再生環境を第１の指向性合成部１１２及び第２の指向性合成部１２０の各部に通知する。そして、当該各部は、サラウンド再生環境に応じて指向性合成処理（選択する音声スペクトル、重み付け係数ｗ、ｇ、ｆを切り替える。
［４．３．１．第２の入力選択部の動作］
次に、図５３を参照して、本実施形態に係る第２の入力選択部１２１の動作について説明する。図５３は、本実施形態に係る第２の入力選択部１２１の動作を示すフローチャートである。
図５３に示すように、まず、第２の入力選択部１２１は、制御部１４０から、サラウンド再生環境を表すｓ＿ｉｄを取得する（Ｓ４００）。次いで、第２の入力選択部１２１は、保持部１２４に保持されている環境設定情報１４１のテーブルから、当該ｓ＿ｉｄに対応する選択マイクロホンＩＤのＩＤ系列を読み出す（Ｓ４０２）。図５１及び図５３に示す環境設定情報１４１では、サラウンド再生環境が２．１ｃｈの場合（ｓ＿ｉｄ＝２．１ｃｈ）、Ｌチャンネルの指向性合成用にマイクロホンＭ１、Ｍ３を選択することが規定されている（選択マイクロホンＩＤ＝１、３）。
次いで、第２の入力選択部１２１は、周波数変換部１００から出力されたＭ個の入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭを取得する（Ｓ４０４）。さらに、第２の入力選択部１２１は、Ｓ４０４で取得した入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭの中から、Ｓ４０２で取得した選択マイクロホンＩＤに対応するマイクロホンＭ１、Ｍ３の入力音声スペクトルＸ１、Ｘ３を選択する（Ｓ４０６）。その後、第２の入力選択部１２１は、Ｓ４０６で選択した入力音声スペクトルＸ１、Ｘ３を、第２の合成部１２２に出力する（Ｓ４０８）。
以上により、第２の入力選択部１２１は、制御部１４０から通知されたサラウンド再生環境に応じて、合成音声スペクトルＹを合成するための入力音声スペクトルＸを適切に選択する。
［４．３．２．第２の合成部の動作］
次に、図５４を参照して、本実施形態に係る第２の合成部１２２の動作について説明する。図５４は、本実施形態に係る第２の合成部１２２の動作を示すフローチャートである。
図５４に示すように、まず、第２の合成部１２２は、制御部１４０から、サラウンド再生環境を表すｓ＿ｉｄを取得する（Ｓ４１０）。次いで、第２の合成部１２２は、保持部１２６に保持されている環境設定情報１４１のテーブルから、当該ｓ＿ｉｄに対応する重み付け係数ｗを読み出す（Ｓ４１２）。図５１及び図５４に示す環境設定情報１４１では、サラウンド再生環境が２．１ｃｈの場合（ｓ＿ｉｄ＝２．１ｃｈ）、マイクロホンＭ１、Ｍ３の入力音声スペクトルＸ１、Ｘ３に乗算する重み付け係数ｗ０、ｗ１がそれぞれ、「０．９９−０．０６ｉ」、「０．９９＋０．０６ｉ」であることが規定されている。
次いで、第２の合成部１２２は、上記第２の入力選択部１２１により選択されたマイクロホンＭ１、Ｍ３の入力音声スペクトルＸ１、Ｘ３を取得する（Ｓ４１４）。さらに、第２の合成部１２２は、Ｓ４１２で取得した重み付け係数ｗ０、ｗ１を用いて、Ｓ４１４で取得した入力音声スペクトルＸ１、Ｘ３を重み付け加算することにより、Ｌチャンネルの合成音声スペクトルＹＬを合成する（Ｓ４１６）。
その後、第２の合成部１２２は、Ｓ４１６の合成結果であるＬチャンネルの合成音声スペクトルＹＬを第１の入力選択部１０１に出力する（Ｓ４１８）。
以上により、第２の合成部１２２は、制御部１４０から通知されたサラウンド再生環境に応じて、適切な重み付け係数ｗ０、ｗ１を用いて、Ｌチャンネルの合成音声スペクトルＹＬを合成する。
［４．３．３．第１の入力選択部の動作］
次に、図５５を参照して、本実施形態に係る第１の入力選択部１０１の動作について説明する。図５５は、本実施形態に係る第１の入力選択部１０１の動作を示すフローチャートである。
図５５に示すように、まず、第１の入力選択部１０１は、制御部１４０から、サラウンド再生環境を表すｓ＿ｉｄを取得する（Ｓ４２０）。次いで、第１の入力選択部１０１は、保持部１０５に保持されている環境設定情報１４２のテーブルから、当該ｓ＿ｉｄに対応する選択ＩＤのＩＤ系列を読み出す（Ｓ４２２）。図５２及び図５５に示す環境設定情報１４２では、サラウンド再生環境が２．１ｃｈの場合（ｓ＿ｉｄ＝２．１ｃｈ）、全方向パワースペクトルＰａｌｌ用にマイクロホンＭ１、Ｍ２、Ｍ３を選択し（選択ＩＤ＝１、２、３）、非合成方向パワースペクトルＰｅｌｓｅ用に第２の合成部１２２−１の出力（選択ＩＤ＝１）を選択することが規定されている。
次いで、第１の入力選択部１０１は、周波数変換部１００から出力されたＭ個の入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭを取得する（Ｓ４２４）。さらに、第１の入力選択部１０１は、Ｎ個の第２の合成部１２２−１〜Ｎから出力されたＮ個の合成音声スペクトルＹ１、Ｙ２、・・・、ＹＮを取得する（Ｓ４２６）。
次いで、第１の入力選択部１０１は、Ｓ４２４、Ｓ４２６で取得した入力音声スペクトルＸ１、Ｘ２、・・・、ＸＭと、合成音声スペクトルＹ１、Ｙ２、・・・、ＹＮの中から、Ｓ４２２で取得した選択ＩＤに対応する音声スペクトルＸ１、Ｘ２、Ｘ３、Ｙ１を選択する（Ｓ４２８）。その後、第１の入力選択部１０１は、Ｓ４０６で選択した音声スペクトルＸ１、Ｘ２、Ｘ３、Ｙ１を、第１の合成部１０２に出力する（Ｓ４２９）。
以上により、第１の入力選択部１０１は、制御部１４０から通知されたサラウンド再生環境に応じて、全方向パワースペクトルＰａｌｌと非合成方向パワースペクトルＰｅｌｓｅを合成するための音声スペクトルＸ、Ｙを適切に選択する。
［４．３．４．第１の合成部の動作］
次に、図５６を参照して、本実施形態に係る第１の合成部１０２の動作について説明する。図５６は、本実施形態に係る第１の合成部１０２の動作を示すフローチャートである。
図５６に示すように、まず、第１の合成部１０２は、制御部１４０から、サラウンド再生環境を表すｓ＿ｉｄを取得する（Ｓ４３０）。次いで、第１の合成部１０２は、保持部１０７、１０９に保持されている環境設定情報１４２のテーブルから、当該ｓ＿ｉｄに対応する重み付け係数ｇｉ、ｆｉを読み出す（Ｓ４３２）。図５２及び図５６に示す環境設定情報１４２では、サラウンド再生環境が２．１ｃｈの場合（ｓ＿ｉｄ＝２．１ｃｈ）、入力音声スペクトルＸ１、Ｘ２、Ｘ３のパワースペクトルＰＸ１、ＰＸ２、ＰＸ３に乗算する重み付け係数ｇ０、ｇ１、ｇ２と、合成音声スペクトルＹ１のパワースペクトルＰＹ１に乗算する重み付け係数ｆ０が規定されている。
次いで、第１の合成部１０２は、上記第１の入力選択部１０１により選択されたマイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３を取得する（Ｓ４３４）。さらに、第１の合成部１０２は、入力音声スペクトルＸ１、Ｘ２、Ｘ３のパワースペクトルＰＸ１、ＰＸ２、ＰＸ３をそれぞれ計算する（Ｓ４３６）。その後、第１の合成部１０２は、Ｓ４３２で取得した重み付け係数ｇ０、ｇ１、ｇ２を用いて、パワースペクトルＰＸ１、ＰＸ２、ＰＸ３を重み付け加算することにより、全方向パワースペクトルＰＸａｌｌを計算する（Ｓ４３８）。
さらに、第１の合成部１０２は、上記第１の入力選択部１０１により選択された合成音声スペクトルＹ１を取得する（Ｓ４４０）。さらに、第１の合成部１０２は、合成音声スペクトルＹ１のパワースペクトルＰＹ１を計算する（Ｓ４４２）。その後、第１の合成部１０２は、Ｓ４３２で取得した重み付け係数ｆ０を用いて、パワースペクトルＰＹ１を重み付け加算することにより、非合成方向パワースペクトルＰＹｅｌｓｅを計算する（Ｓ４４４）。
その後、第１の合成部１０２は、全方向パワースペクトルＰＸａｌｌから非合成方向パワースペクトルＰＹｅｌｓｅを減算することで、ＲチャンネルのパワースペクトルＰＲを生成する（Ｓ４４６）。さらに、第１の合成部１０２は、Ｓ４４６で求めたパワースペクトルＰＲから、Ｒチャンネルの合成音声スペクトルＺＲ（複素スペクトル）を復元する（Ｓ４４８）。
以上により、第１の合成部１０２は、制御部１４０から通知されたサラウンド再生環境に応じて、適切な重み付け係数ｇ０、ｇ１、ｆ０を用いて、Ｒチャンネルの合成音声スペクトルＺＲ（ｋ）を合成する。
［４．４．効果］
以上、第４の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第４の実施形態によれば、上記第１〜第３の実施形態の効果に加え、次の効果を得ることができる。
第４の実施形態によれば、制御部１４０により、ユーザ選択されたサラウンド再生環境に応じて、指向性合成に利用する音声スペクトルや重み付け係数を切り替えるように、第１の指向性合成部１１２及び第２の指向性合成部１２０を制御する。これにより、サラウンド再生環境に適した指向性合成を行い、サラウンド再生環境の各チャンネルに対応する合成音声信号ｚを好適に生成して記録できる。
従って、サラウンド再生環境に対応したサラウンド記録を行うことができるので、サラウンド再生環境の変更に柔軟に対処できる。従って、ユーザは、所望するサラウンド再生環境を選択することが可能となり、そのサラウンド再生環境のチャンネルに適した合成音声信号ｚを得ることができる。
＜５．第５の実施の形態＞
次に、本開示の第５の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第５の実施形態は、録音装置に外部マイクロホンを装着することで、内蔵マイクロホンＭのみでは実現困難な指向性合成を実現することを特徴としている。第５の実施形態のその他の機能構成は、上記第３の実施形態と実質的に同一であるので、その詳細説明は省略する。
［５．１．第５の実施形態の概要］
まず、第５の実施形態に係る音声信号処理装置及び方法の概要について説明する。
上述した第１〜第４の実施形態では、全てのマイクロホンＭは、内蔵マイクロホン（内部マイクロホン）である例について説明した。内蔵マイクロホンは、録音装置に予め設置されているマイクロホンであり、録音装置の筐体４内に固定されているため、当該内蔵マイクロホンを着脱することはできない。
一方、第５の実施形態では、上記内蔵マイクロホンに加えて、外部マイクロホンを用いて、内蔵マイクロホンのみでは実現不可能な指向性を有する合成音声を生成する。外部マイクロホンは、録音装置に対して事後的に追加設置されるマイクロホン（外付けマイクロホン）であり、録音装置の筐体４に対して着脱可能である。外部マイクロホンの装着位置は、筐体４の任意の位置であってよいが、後述するように、多様な方向の入力特性を得る観点から、他の内蔵マイクロホンから離隔した位置であることが好ましい。
第５の実施形態では、録音装置の筐体４の一側に複数の内蔵マイクロホンが偏って配置され、筐体４の他側に少なくとも１つの外部マイクロホンが配置される。このような筐体４に対する内蔵マイクロホン及び外部マイクロホンの配置の影響により、内蔵マイクロホンと外部マイクロホンの間で入力特性が相違する。第５の実施形態は、この入力特性の相違を利用して、内蔵マイクロホンのみでは合成困難な方向の指向性を有する合成音声を得ることを目的としている。
ここで、図５７を参照して、第５の実施形態に係るマイクロホンＭの配置の具体例について説明する。図５７は、本実施形態に係る内蔵マイクロホンＭ１、Ｍ２、Ｍ３と外部マイクロホンＭ４が設置されたビデオカメラ７を示す説明図である。
図５７Ａに示すように、ビデオカメラ７の筐体４の底面４ｂに３つの内蔵マイクロホンＭ１、Ｍ２、Ｍ３が設置されている。内蔵マイクロホンＭ１、Ｍ２、Ｍ３は、カメラ前方側（レンズ８側）の底面４ｂ上において、三角形の頂点の位置に配置されている。
このように、内蔵マイクロホンＭ１、Ｍ２、Ｍ３が、ビデオカメラ７の底面４ｂ前方側に偏って配置されている場合、内蔵マイクロホンＭ１、Ｍ２、Ｍ３を用いて、ビデオカメラ７の前後方向及び左右方向の入力特性を得ることはできても、ビデオカメラ７の上下方向の入力特性を得ることは困難である。従って、内蔵マイクロホンＭ１、Ｍ２、Ｍ３で得られた入力音声を合成することで、図５８Ａに示す５．１ｃｈのサラウンド再生環境（Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲ、ＬＦＥ）を実現することはできるが、図５８Ｂに示すＦＨＬ、ＦＨＲを含む７．１ｃｈのサラウンド再生環境を実現することは困難である。
そこで、本実施形態では、図５７Ｂに示すように、ビデオカメラ７の筐体４の上面４ａに対して、外部マイクロホンＭ４を追加設置し、外部マイクロホンＭ４により上下方向の音声成分の情報も得る。そして、かかる外部マイクロホンＭ４からの入力音声を利用して、図５８Ｂに示す７．１ｃｈのサラウンド再生環境の指向性合成を実現する。なお、内蔵マイクロホンＭ１、Ｍ２、Ｍ３も外部マイクロホンＭ４も、無指向性マイクロホンで構成されている。
ところで、上記のように上面４ａに配置された外部マイクロホンＭ４は、底面４ｂに配置された内蔵マイクロホンＭ１、Ｍ２、Ｍ３から上下方向に離隔しており、外部マイクロホンＭ４と内蔵マイクロホンＭ１、Ｍ２、Ｍ３の間には筐体４が存在する。従って、外部マイクロホンＭ４と内蔵マイクロホンＭ１、Ｍ２、Ｍ３の間で、入力特性が大きく相違することになる。
このように入力特性が相違する場合、従来の複素スペクトル領域での指向性合成方法では、上述した理由から、外部マイクロホンＭ４の入力音声信号ｘ４を利用することは難しい。即ち、マイクロホンＭ４の入力音声信号ｘ４を他のマイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３とともに複素スペクトル領域で合成しても、良好な指向性合成結果を得ることができない。
そこで、第５の実施形態では、第１の指向性合成部１１２により、外部マイクロホンＭ４の入力音声信号ｘ４のパワースペクトルを求め、パワースペクトル領域で入力音声を演算する。これにより、外部マイクロホンＭ４と内蔵マイクロホンＭ１、Ｍ２、Ｍ３の入力音声を好適に指向性合成できるので、図５８Ｂに示す７．１ｃｈのサラウンド再生環境を実現できる。
［５．２．音声信号処理装置の機能構成］
次に、図５９を参照して、第５の実施形態に係るビデオカメラ７に適用された音声信号処理装置の機能構成例について説明する。図５９は、第５の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
図５９は、図５７に示したマイクロホン配置において、図５８Ｂに示した７．１チャンネル（Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲ、ＦＨＬ、ＦＨＲ、ＬＦＥ）の指向性合成を行うための構成例を示している。
図５９に示すように、第５の実施形態に係る音声信号処理装置は、３個の内蔵マイクロホンＭ１、Ｍ２、Ｍ３及び周波数変換部１００−１〜３と、１個の外部マイクロホンＭ４及び周波数変換部１００−４と、２チャンネルの第１の入力選択部１０１ＦＨＬ、１０１ＦＨＲ、第１の合成部１０２ＦＨＬ、１０２ＦＨＲ、及び時間変換部１０３ＦＨＬ、１０３ＦＨＲと、５チャンネルの第２の入力選択部１２１Ｃ〜１２１ＳＲ、第２の合成部１２２Ｃ〜１２１ＳＲ、及び時間変換部１０３Ｃ〜１０３ＳＲとを備える。
上述したように、図５７に示したマイクロホン配置の場合、内蔵マイクロホンＭ１、Ｍ２、Ｍ３は三角形の頂点位置に近接配置されており、当該Ｍ１、Ｍ２、Ｍ３の入力特性が揃っている。従って、第２の指向性合成部１２０により、内蔵マイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３を複素スペクトル領域で合成することで、水平方向の５つのチャンネルＣ、Ｌ、Ｒ、ＳＬ、ＳＲの合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲを適切に生成できる。そして、このＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲを、時間変換部１０３Ｃ〜１０３ＳＲにより時間変換することで、Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲチャンネルの合成音声信号ｚＣ、ｚＬ、ｚＲ、ｚＳＬ、ｚＳＲを出力する。
詳細には、まず、周波数変換部１００−１〜３により内蔵マイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３を入力音声スペクトルＸ１、Ｘ２、Ｘ３に周波数変換し、第２の入力選択部１２１Ｃ〜１２１ＳＲに出力する。次いで、第２の入力選択部１２１Ｃ〜１２１ＳＲ及び第２の合成部１２２Ｃ〜１２２ＳＲにより、Ｘ１、Ｘ２、Ｘ３を複素スペクトル領域で合成して、Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲ方向の合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲをそれぞれ生成する。そして、当該合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲが、時間変換部１０３Ｃ〜１０３ＳＲにそれぞれ出力され、時間領域の合成音声信号ｚＣ、ｚＬ、ｚＲ、ｚＳＬ、ｚＳＲに変換されて、最終合成結果として記録媒体４０に記録される。
ところが、内蔵マイクロホンＭ１、Ｍ２、Ｍ３は、筐体４の底面４ｂに偏って配置されているため、当該Ｍ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３は、上下方向の入力特性に差が無い。従って、第２の指向性合成部１２０により、Ｘ１、Ｘ２、Ｘ３のみから上下方向の２つのチャンネルＦＨＬ、ＦＨＲの合成音声スペクトルＹＦＨＬ、ＹＦＨＲを合成することは困難である。このため、第１の指向性合成部１１２により、パワースペクトル領域でＦＨＬ、ＦＨＲチャンネルの合成音声スペクトルＹＦＨＬ、ＹＦＨＲを合成する必要がある。
そこで、第５の実施形態では、図５９に示すように、筐体４の上面４ａに外部マイクロホンＭ４を追加設置する。そして、当該外部マイクロホンＭ４の入力音声信号Ｘ４を周波数変換部１００−４で周波数変換して、入力音声スペクトルＸ４を第１の指向性合成部１１２に出力する。
第１の指向性合成部１１２は、第２の指向性合成部１２０からの合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲと、上記外部マイクロホンＭ４の入力音声スペクトルＸ４を、パワースペクトル領域で合成する。これにより、ＦＨＬ、ＦＨＲチャンネルの合成音声スペクトルＺＦＨＬ、ＺＦＨＲを適切に合成できる
詳細には、まず、内蔵マイクロホンＭ１、Ｍ２、Ｍ３の入力音声信号ｘ１、ｘ２、ｘ３を、周波数変換部１００−１〜３により入力音声スペクトルＸ１、Ｘ２、Ｘ３に周波数変換し、第２の入力選択部１２１Ｃ〜１２１ＳＲと第１の入力選択部１０１ＳＬ、１０１ＳＲに出力する。次いで、上記第２の入力選択部１２１Ｃ〜１２１ＳＲ及び第２の合成部１２２Ｃ〜１２２ＳＲにより合成された合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲも、第１の入力選択部１０１ＦＨＬ、１０１ＦＨＲに出力する。さらに、外部マイクロホンＭ４の入力音声信号ｘ４を、周波数変換部１００−４により入力音声スペクトルＸ４に周波数変換し、第１の入力選択部１０１ＳＬ、１０１ＳＲに出力する。
そして、第１の入力選択部１０１ＦＨＬ、１０１ＦＨＬ及び第１の合成部１０２ＦＨＬ、１０２ＦＨＬにより、Ｘ１、Ｘ２、Ｘ３、Ｘ４とＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲをパワースペクトル領域で合成して、ＦＨＬ、ＦＨＲ方向の合成音声スペクトルＺＦＨＬ、ＺＦＨＲをそれぞれ生成する。
この際、例えば、第１の入力選択部１０１ＦＨＬ、１０１ＦＨＲは、ＦＨＬ、ＦＨＲ方向の指向性を有する成音声スペクトルＺＦＨＬ、ＺＦＨＲを合成するために用いる音声スペクトルとして、外付け外部マイクロホンＭ４の入力音声スペクトルＸ４と、第２の合成部１２２により生成された合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲを選択してもよい。そして、第１の合成部１０２ＦＨＬ、１０２ＦＨＬは、第１の入力選択部１０１ＦＨＬ、１０１ＦＨＲにより選択されたＸ４から全方向パワースペクトルＰＸａｌｌを生成し、ＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲから非合成方向パワースペクトルＰＹｅｌｓｅを生成し、ＰＸａｌｌとＰＹｅｌｓｅの差分から、ＺＦＨＬ、ＺＦＨＲを生成してもよい。その後、当該合成音声スペクトルＺＦＨＬ、ＺＦＨＲが、時間変換部１０３ＦＨＬ〜１０３ＳＦＨＲにそれぞれ出力され、時間領域の合成音声信号ｚＦＨＬ、ｚＦＨＲに変換されて、最終合成結果として記録媒体４０に記録される。
以上のように、第５の実施形態では、内蔵マイクロホンＭ１、Ｍ２、Ｍ３とは異なる入力特性を有する外部マイクロホンＭ４を利用して、７．１ｃｈなどの多チャンネルの指向性合成を実現することができる。
ここで、図６０、図６１を参照して、上記外部マイクロホンＭ４を利用したＦＨＬ、ＦＨＲ方向の指向性合成の原理について説明する。図６０は、上記指向性合成における外部マイクロホンＭ４の入力特性（入力音声スペクトルＸ４の特性）と、合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲの特性を示す。また、図６１は、合成音声スペクトルＺＦＨＬ、ＺＦＨＲの特性を示す。
図６０に示すように、３つの内蔵マイクロホンＭ１、Ｍ２、Ｍ３は、ビデオカメラ７の筐体４の底面４ｂに設置されている。当該内蔵マイクロホンＭ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３から指向性合成された合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲは、水平方向の指向性を有する。しかし、当該ＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲは、上下方向の音声成分を、ほぼ等しく含んでおり、上下方向の特性には差がない。これに対し、外部マイクロホンＭ４の入力音声スペクトルＸ４は、上記ＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲと比べて、上方向の音声成分を多く含んでいる。
従って、上記ＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲとＸ４を組み合わせることで、上方向かつ左右方向の特性を生成できる。よって、図６１に示すように、Ｘ４の特性からＹＣ、ＹＲ、ＹＳＬ、ＹＳＲの特性を除くことで、左斜め上方のＦＨＬ方向の合成音声スペクトルＺＦＨＬが得られる。また、Ｘ４の特性からＹＣ、ＹＬ、ＹＳＬ、ＹＳＲの特性を除くことで、右斜め上方のＦＨＲ方向の合成音声スペクトルＺＦＨＲが得られる。
［５．３．音声信号処理方法］
次に、第５の実施形態に係る音声信号処理装置による音声信号処理方法（指向性合成方法）について説明する。
なお、第５の実施形態に係る音声信号処理装置の全体動作は、上記第２、第３の実施形態（図２９、図４１参照。）と同様であるので、全体フローの図示は省略する。ただし、第５の実施形態では、内蔵マイクロホンＭ１、Ｍ２、Ｍ３のみならず、外部マイクロホンＭ４の入力音声信号Ｘ４も利用して指向性合成を行う。
以下では、第５の実施形態に係る第１の入力選択部１０１と第１の合成部１０２の動作を詳述し、第２の入力選択部１２１と第２の合成部１２２の動作は、上記第２、第３の実施形態と同様であるので、その詳細説明は省略する。
また、以下では、主に、ＦＨＬチャンネルの第１の入力選択部１０１ＦＨＬ及び第１の合成部１０２ＦＨＬの動作を説明する。しかし、第１の入力選択部１０１ＦＨＬ及び第１の合成部１０２ＦＨＬと、第１の入力選択部１０１ＦＨＲと第１の合成部１０２ＦＨＲは、参照しているデータが異なるのみで動作は同様である。以下のＬとＲを入れ替えれば、第１の入力選択部１０１ＦＨＲと第１の合成部１０２ＦＨＲの動作となるので、その詳細説明は省略する。
［５．３．１．第１の入力選択部の動作］
次に、図６２を参照して、本実施形態に係る第１の入力選択部１０１ＦＨＬの動作について説明する。図６２は、本実施形態に係る第１の入力選択部１０１ＦＨＬの動作を示すフローチャートである。
図６２に示すように、まず、第１の入力選択部１０１ＦＨＬは、周波数変換部１００−４から外部マイクロホンＭ４の入力音声スペクトルＸ４を取得する（Ｓ５００）。さらに、第１の入力選択部１０１ＦＨＬは、第２の合成部１２２Ｃ〜１２２ＳＲから出力された５チャンネルの合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲを取得する（Ｓ５０２）。
次いで、第１の入力選択部１０１ＦＨＬは、保持部１０５から選択ＩＤを含むＩＤ系列を取得する（Ｓ５０４）。保持部１０５（図１４参照）には、ＦＨＬチャンネルの合成音声スペクトルＺＦＨＬを合成するために必要なマイクロホンＭの識別情報（ＩＤ）と、合成音声スペクトルＹｊの識別情報（ＩＤ）とを含むＩＤ系列が保持されている。これらＩＤ系列は、開発者により、サラウンド再生環境のチャンネルごとに、マイクロホンＭ１、Ｍ２、・・・、Ｍ４の配置に応じて予め設定されている。
さらに、第１の入力選択部１０１ＦＨＬは、Ｓ５００、Ｓ５０２で取得した入力音声スペクトルＸ４と、合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲの中から、Ｓ５０４で取得した選択ＩＤに対応する音声スペクトルＸ４、ＹＣ、ＹＲ、ＹＳＬ、ＹＳＲを選択する（Ｓ５０６）。ここでは、ＹＬを除く合成音声スペクトルＹＣ、ＹＲ、ＹＳＬ、ＹＳＲと、外部マイクロホンＭ４の入力音声スペクトルＸ４が選択される。その後、第１の入力選択部１０１ＦＨＬは、Ｓ５０６で選択した音声スペクトルＸ４、ＹＣ、ＹＲ、ＹＳＬ、ＹＳＲを、第１の合成部１０２ＦＨＬに出力する（Ｓ５０８）。
以上により、第１の入力選択部１０１ＦＨＬは、全方向パワースペクトルＰａｌｌと非合成方向パワースペクトルＰｅｌｓｅを合成するための音声スペクトルＸ、Ｙを適切に選択する。
［５．３．２．第１の合成部の動作］
次に、図６３を参照して、本実施形態に係る第１の合成部１０２ＦＨＬの動作について説明する。図６３は、本実施形態に係る第１の合成部１０２ＦＨＬの動作を示すフローチャートである。
図６３に示すように、まず、第１の合成部１０２ＦＨＬは、第１の入力選択部１０１ＦＨＬから、外部マイクロホンＭ４の入力音声スペクトルＸ４を取得する（Ｓ５１０）。さらに、第１の入力選択部１０１ＦＨＬは、第１の入力選択部１０１ＦＨＬにより選択された合成音声スペクトルＹＣ、ＹＲ、ＹＳＬ、ＹＳＲを取得する（Ｓ５１２）。
次いで、第１の合成部１０２ＦＨＬは、さらに、第１の合成部１０２ＦＨＬは、外部マイクロホンＭ４の入力音声スペクトルＸ４のパワースペクトルＰＸ４を計算する（Ｓ５１４）。さらに、第１の合成部１０２ＦＨＬは、パワースペクトルＰＸ４から全方向パワースペクトルＰＸａｌｌを計算する（Ｓ５１６）。ここでは、外部マイクロホンＭ４が筐体４の上面４ａに設置され、Ｍ４から入力されるＸ４が水平方向の全周の音声成分を含んでいることから（図６０参照、）、ＰＸａｌｌ＝ＰＸ４とする。
さらに、第１の合成部１０２ＦＨＬは、合成音声スペクトルＹＣ、ＹＲ、ＹＳＬ、ＹＳＲのパワースペクトルＰＹＣ、ＰＹＲ、ＰＹＳＬ、ＰＹＳＲを計算する（Ｓ５１８）。次いで、第１の合成部１０２ＦＨＬは、保持部１０９から、非合成方向パワースペクトルＰＹｅｌｓｅを求めるための重み付け係数ｆＣ、ｆＲ、ｆＳＬ、ｆＳＲを取得する（Ｓ５２０）。その後、第１の合成部１０２ＦＨＬは、Ｓ５２０で取得した重み付け係数ｆＣ、ｆＲ、ｆＳＬ、ｆＳＲを用いて、パワースペクトルＰＹＣ、ＰＹＲ、ＰＹＳＬ、ＰＹＳＲを重み付け加算することにより、非合成方向パワースペクトルＰＹｅｌｓｅを計算する（Ｓ５２２）。このＰＹｅｌｓｅは、ＦＨＬ方向以外の方向の指向性を有する音声成分のパワースペクトルに相当する。
その後、第１の合成部１０２ＦＨＬは、全方向パワースペクトルＰＸａｌｌから非合成方向パワースペクトルＰＹｅｌｓｅを減算することで、ＦＨＬチャンネルのパワースペクトルＰＦＨＬを生成する（Ｓ５２４）。さらに、第１の合成部１０２ＦＨＬは、Ｓ５２４で求めたパワースペクトルＰＦＨＬから、ＦＨＬチャンネルの合成音声スペクトルＺＦＨＬ（複素スペクトル）を復元する（Ｓ５２６）。
以上により、第１の合成部１０２ＦＨＬは、合成音声スペクトルＹＣ、ＹＲ、ＹＳＬ、ＹＳＲと、外部マイクロホンＭ４の入力音声スペクトルＸ４を利用して、ＦＨＬチャンネルの合成音声スペクトルＺＦＨＬ（ｋ）を適切に合成できる。
［５．４．効果］
以上、第５の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第５の実施形態によれば、上記第１〜第３の実施形態の効果に加え、次の効果を得ることができる。
第５の実施形態によれば、ビデオカメラ７の筐体４の一側に偏って内蔵マイクロホンＭ１、Ｍ２、Ｍ３が配置されているときに、筐体４を挟んで他側に外部マイクロホンＭ４を装着する。かかるマイクロホン配置に依れば、筐体４の影響により、外部マイクロホンＭ４は、他の内蔵マイクロホンＭ１、Ｍ２、Ｍ３とは異なる入力特性を有することになる。このため、マイクロホンＭ４の入力音声スペクトルＸ４は、Ｍ１、Ｍ２、Ｍ３の入力音声スペクトルＸ１、Ｘ２、Ｘ３では得られない上下方向の音声成分も含むことがでできる。
従って、第２の指向性合成部１２０により、Ｘ１、Ｘ２、Ｘ３から５チャンネルの合成音声スペクトルＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲを求め、さらに、第１の指向性合成部１１２により、Ｘ４とＹＣ、ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲから、ＦＨＬ、ＦＨＲチャンネルの合成音声スペクトルＺＦＨＬ、ＺＦＨＲを求めることができる。これにより、内蔵マイクロホンＭ１、Ｍ２、Ｍ３のみでは実現困難な７．１ｃｈのサラウンド再生環境を実現できる。
以上のように、第５の実施携帯によれば、録音装置に対して外部マイクロホンＭ４を増設することで、既存の内蔵マイクロホンＭ１、Ｍ２、Ｍ３のみでは実現困難な多チャンネルのサラウンド再生環境を実現できる。
＜６．第６の実施の形態＞
次に、本開示の第６の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第６の実施形態は、マイクロホンＭ自体の特性が相違する場合に、マイクロホンの入力音声信号ｘの周波数特性（振幅特性、位相特性等）を補正した上で、上述の指向性合成を行うことを特徴としている。第６の実施形態のその他の機能構成は、上記第１〜３の実施形態と実質的に同一であるので、その詳細説明は省略する。
［６．１．第６の実施形態の概要］
まず、第６の実施形態に係る音声信号処理装置及び方法の概要について説明する。
上述した第１〜第５の実施形態では、録音装置の筐体４に対するマイクロホンの配置により、各マイクロホンに対する音の入力特性が相違するという問題に対する対処を講じてきた。これに対し、第６の実施形態では、マイクロホン自体の特性が相違するため、複数のマイクロホン間で入力音声信号ｘの周波数特性（振幅、位相等）が相違するという問題にも対処する。
録音装置に設置されている複数のマイクロホンＭの種類が異なる場合（例えば、通話用マイクロホンと動画撮像用マイクロホン）や、同種のマイクロホンＭであっても素子誤差（個体差）がある場合などには、複数のマイクロホンＭの間で入力音声信号ｘの周波数特性が相違することになる。
例えば、図６４に示すように、録音装置が、動画撮像機能と通話機能を備えた携帯電話、例えばスマートフォン９である場合を考える。スマートフォン９の筐体４の前面４ｃ（カメラのレンズ２側）の上部には、動画撮像用のマイクロホンとして、左右一対のステレオマイクロホンＭ１、Ｍ２が配置される。このマイクロホンＭ１、Ｍ２は、主にスマートフォン９の前方から到来する音を収音することを主目的としている。一方、スマートフォン９の筐体４の背面４ｄ（画面３側）の下部には、通話用のマイクロホンＭ３が配置される。このマイクロホンＭ３は、ユーザの通話音を収音することを主目的としている。
上記スマートフォン９に代表される通話機能と録画機能を有する機器において、通話用マイクロホンＭ３を、動画撮像用（サラウンド録音用）マイクロホンＭ１、Ｍ２と併用することで、上述した多チャンネルのサラウンド録音を実現する場合を考える。この場合、動画撮像用マイクロホンＭ１、Ｍ２と通話用マイクロホンＭ３との間で機器特性に差があるため、両マイクロホンＭの間で入力音声信号ｘの周波数特性にも差が生じる。
図６５は、動画撮像用マイクロホンＭ１と通話用マイクロホンＭ３の振幅特性を示す図である。図６５に示すように、マイクロホンＭの種類が異なれば、各マイクロホンＭからの入力音声スペクトルＸの振幅特性等が異なる。通話用マイクロホンＭ３の振幅特性は、４０００Ｈｚ前後で顕著に低下しているが、他の周波数帯域では、動画撮像用マイクロホンＭ１の振幅特性とほぼ同一である。
従って、通話用マイクロホンＭ３の振幅特性と動画撮像用マイクロホンＭ１の振幅特性を一致させるためには、４０００Ｈｚ前後の周波数帯域で、通話用マイクロホンＭ３の入力音声スペクトルＸ３の振幅（ゲイン）を増加させるように、当該入力音声スペクトルＸ３を補正すればよい。
この補正方法としては、例えば、通話用マイクロホンＭ３の入力音声スペクトルＸ３に補正係数Ｇを乗算する方法がある。即ち、周波数成分ｋごとに、動画撮像用マイクロホンＭ１の入力音声スペクトルＸ１と通話用マイクロホンＭ３の入力音声信号ｘ３との差分を算出し、当該差分に基づいて、周波数成分ｋごとに補正係数Ｇを算出する。そして、通話用マイクロホンＭ３の入力音声スペクトルＸ３に補正係数Ｇを乗算すればよい。
図６６は、図６５の例において、動画撮像用マイクロホンＭ１の入力音声スペクトルＸ１と通話用マイクロホンＭ３の入力音声信号ｘ３との差分から算出された補正係数Ｇを示す。図６６に示すように、補正係数Ｇは、４０００Ｈｚ前後の周波数帯域で約２にまで増加し、他の周波数帯域ではほぼ１である。かかる補正係数Ｇを通話用マイクロホンＭ３の入力音声スペクトルＸ３に乗算すれば、４０００Ｈｚ前後の周波数帯域で入力音声スペクトルＸ３の振幅を増加させ、動画撮像用マイクロホンＭ１の入力音声スペクトルＸ１に合わせることができる。
以下に、上記のような入力音声の補正を行った上で、前述の指向性合成を実現するための第６の実施形態に係る音声信号処理装置及び方法について述べる。
［６．２．音声信号処理装置の機能構成］
次に、図６７を参照して、第６の実施形態に係るビデオカメラ７に適用された音声信号処理装置の機能構成例について説明する。図６７は、第６の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
図６７に示すように、第６の実施形態に係る音声信号処理装置は、Ｍ個のマイクロホンＭ１、Ｍ２、・・・ＭＭと、Ｍ個の周波数変換部１００と、第１の入力選択部１０１と、第１の合成部１０２と、時間変換部１０３と、Ｎ個の第２の入力選択部１２１−１〜Ｎと、Ｎ個の第２の合成部１２２−１〜Ｎと、Ｎ個の時間変換部１０３−１〜Ｎとを備える。なお、Ｍはマイクロホンの設置数、Ｎはサラウンド再生環境のチャンネル数である。
図６７に示すように、第６の実施形態に係る音声信号処理装置は、上記第２、３の実施形態に係る音声信号処理装置（図２２、図３４参照。）の構成要素に加えて、補正部１５０を更に備える。第６の実施形態では、補正部１５０により、他のマイクロホンＭ１、Ｍ２、・・・、ＭＭ−１（例えば、動画撮像用マイクロホン）と特性の異なるマイクロホンＭＭ（例えば通話用マイクロホン）から出力された入力音声スペクトルＸＭを、補正部１５０で補正することを特徴としている。第６の実施形態に係るその他の機能構成は上記第２、３の実施形態と同様であるので、詳細説明は省略する。
補正部１５０は、複数のマイクロホンＭ１、Ｍ２、・・・、ＭＭの特性が相違するときに、複数のマイクロホンＭ１、Ｍ２、・・・ＭＭから入力される入力音声スペクトルＸ１、Ｘ２、・・・ＸＭの差分に基づいて、他のマイクロホンＭ１、Ｍ２、・・・、ＭＭ−１と特性の異なる少なくとも１つのマイクロホンＭＭから入力される入力音声スペクトルＸＭを補正する。例えば、補正部１５０は、補正係数Ｇ（ｋ）を用いてマイクロホンＭＭの入力音声スペクトルＸＭを補正し、当該補正後の入力音声スペクトルＸ’Ｍを、第２の入力選択部１２１及び第１の入力選択部１０１に出力する。このために、補正部１５０は、不図示の保持部に補正係数Ｇ（ｋ）を保持している。
補正係数Ｇ（ｋ）は、あるマイクロホンＭＭの入力音声スペクトルＸＭの周波数特性（振幅特性、位相特性等）を補正して、他のマイクロホンＭ１、Ｍ２、・・・、ＭＭ−１の入力音声スペクトルＸ１の周波数特性に合わせるための係数である。この補正係数Ｇ（ｋ）は、録音装置の開発者により、マイクロホンＭ１の入力音声スペクトルＸ１とマイクロホンＭＭの入力音声スペクトルＸＭとの差分に基づいて、予め設定されている（図６６、図６７参照。）。かかる補正係数Ｇ（ｋ）は、入力音声スペクトルＸの周波数成分ｋごとに設定される。
補正部１５０は、以下の式（６０）のように、入力音声スペクトルＸＭ（ｋ）の周波数成分ｋごとに、上記補正係数Ｇ（ｋ）をマイクロホンＭＭの入力音声スペクトルＸＭ（ｋ）に乗算することにより、ＸＭ（ｋ）を補正し、補正後の入力音声スペクトルＸ’Ｍ（ｋ）を出力する。
Ｘ’Ｍ（ｋ）＝Ｇ（ｋ）・ＸＭ（ｋ） ・・・（６０）
［６．３．音声信号処理方法］
次に、第６の実施形態に係る音声信号処理装置による音声信号処理方法（指向性合成方法）について説明する。
なお、第６の実施形態に係る音声信号処理装置の全体動作は、上記第２、第３の実施形態（図２９、図４１参照。）と同様であるので、全体フローの図示は省略する。ただし、第６の実施形態では、周波数変換処理（図２９のＳ３２、図４１のＳ５２）の後に、上記補正部１５０により、特定のマイクロホンＭの入力音声スペクトルＺを補正する補正処理を含む。
また、以下では、第６の実施形態に係る補正部１５０の動作を詳述するが、第１の入力選択部１０１、第１の合成部１０２、第２の入力選択部１２１、及び第２の合成部１２２の動作は、上記第２、第３の実施形態と同様であるので、その詳細説明は省略する。
［６．３．１．補正部の動作］
次に、図６８を参照して、本実施形態に係る補正部１５０の動作について説明する。図６８は、本実施形態に係る補正部１５０の動作を示すフローチャートである。
図６８に示すように、まず、補正部１５０は、周波数インデックスｋを０に設定した後に（Ｓ６００）、補正対象のマイクロホンＭｉからの入力音声スペクトルＸｉの全ての周波数成分Ｘｉ（ｋ）を取得する（Ｓ６０２）。
次いで、補正部１５０は、周波数インデックスｋに対応する補正係数Ｇ（ｋ）を、保持部から取得する（Ｓ６０４）。さらに、上記Ｓ６０２で取得した入力音声スペクトルＸｉの周波数成分Ｘｉ（ｋ）に対して、Ｓ６０４で取得した補正係数Ｇ（ｋ）を乗算する（Ｓ６０６）。これにより、Ｘｉ（ｋ）がＸ’ｉ（ｋ）に補正される。Ｘ’ｉ（ｋ）は、補正対象のマイクロホンＭｉの入力音声スペクトルＸｉの周波数特性を、他のマイクロホンＭｊの入力音声スペクトルＸｊの周波数特性に合わせたものである。
さらに、補正部１５０は、周波数インデックスｋを１だけ増加させてから（Ｓ６０８）、周波数インデクスｋがＬになるまで、上記Ｓ６０４〜Ｓ６０８までの処理を繰り返す（Ｓ６１０）。これにより、周波数成分ごとに、補正係数Ｇ（ｋ）を用いてＸｉ（ｋ）が順次補正されて、Ｘｉ（ｋ）が生成される。
その度、補正部１５０は、上記補正処理により得られた補正後の入力音声スペクトルＸ’ｉの全ての周波数成分Ｘ’ｉ（ｋ）を、第１の入力選択部１０１及び第２の入力選択部１２１に出力する。
以上により、補正対象のマイクロホンＭｉからの入力音声スペクトルＸｉを、他のマイクロホンＭの特性に合わせて補正した上で、第１の指向性合成部１１２及び第２の指向性合成部１２０に出力できる。
［６．４．効果］
以上、第６の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第６の実施形態によれば、上記第１〜第３の実施形態の効果に加え、次の効果を得ることができる。
第６実施形態によれば、補正部１５０により入力音声スペクトルＸＭを補正することで、マイクロホンＭ自体の特性の相違（マイクロホンＭの種類の相違やマイクロホン素子の個体差等）による影響を排除して、前述の指向性合成を好適に実現できる。特に、スマートフォン９などの通話機能と録音機能を備えた機器において、通話用マイクロホンＭ３を、サラウンド録音用のマイクロホンＭとして併用する際に、上記補正は有用である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、音声信号処理装置としてデジタルカメラ１、ビデオカメラ７、スマートフォン９を例示して説明したが、本技術はかかる例に限定されない。本技術の音声信号処理装置は、上記の指向性合成を実行可能なプロセッサを具備する機器であれば、音声記録装置に限られず、音声再生装置などの任意の機器に適用できる。例えば、音声信号処理装置は、記録再生装置（例えば、ブルーレイディスク／ＤＶＤレコーダ）、テレビジョン受像器、システムステレオ装置、撮像装置（例えば、デジタルカメラ、デジタルビデオカメラ）、携帯端末（例えば、携帯型音楽／映像プレーヤ、携帯型ゲーム機、ＩＣレコーダ）、パーソナルコンピュータ、ゲーム機、カーナビゲーション装置、デジタルフォトフレーム、家庭電化製品、自動販売機、ＡＴＭ、キオスク端末など、任意の電子機器に適用できる。
なお、本技術は以下のような構成も取ることができる。
（１）筐体に設けられた複数のマイクロホンから入力された入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成する周波数変換部と、
前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択する第１の入力選択部と、
前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する第１の合成部と、
を備える、音声信号処理装置。
（２）前記第１の合成部は、
前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルをそれぞれ計算し、
前記筐体に対する前記マイクロホンの配置に基づいて、前記パワースペクトルを合成することにより、前記筐体の周囲の全方向の音声信号成分を含む全方向パワースペクトルと、前記第１の合成方向以外の方向の音声信号成分を含む非合成方向パワースペクトルを生成し、
前記全方向パワースペクトルから前記非合成方向パワースペクトルを減算したパワースペクトルに基づいて、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する、（１）に記載の音声信号処理装置。
（３）前記第１の合成部は、
前記筐体に対する前記マイクロホンの配置に応じて設定された第１の重み付け係数を用いて、前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルを重み付け加算することにより、前記全方向パワースペクトルを生成し、
前記筐体に対する前記マイクロホンの配置に応じて設定された第２の重み付け係数を用いて、前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルを重み付け加算することにより、前記非合成方向パワースペクトルを生成する、（２）に記載の音声信号処理装置。
（４）前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、複数の合成方向のうちの各合成方向に対応する入力音声スペクトルをそれぞれ選択する複数の第２の入力選択部と、
前記第２の入力選択部により選択された前記入力音声スペクトルを合成することにより、前記各合成方向の指向性を有する合成音声スペクトルをそれぞれ生成する複数の第２の合成部と、
を更に備える、（１）〜（３）のいずれか一項に記載の音声信号処理装置。
（５）前記筐体に対する前記マイクロホンの配置の影響により前記複数のマイクロホンの間で入力特性が相違する場合に、前記第１の合成部を用いて、前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルを合成することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成し、
前記複数のマイクロホンの間で入力特性が相違しない場合に、前記第２の合成部を用いて、前記第２の入力選択部により選択された前記入力音声スペクトルを合成することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する、（４）に記載の音声信号処理装置。
（６）前記第１の入力選択部は、前記筐体に対する前記マイクロホンの配置に基づいて、前記第２の合成部により生成された前記合成音声スペクトル及び前記入力音声スペクトルの中から、前記第１の合成方向に対応する音声スペクトルを選択し、
前記第１の合成部は、
前記第１の入力選択部により選択された前記音声スペクトルのパワースペクトルをそれぞれ計算し、当該パワースペクトルを合成することにより、前記筐体の周囲の全方向の音声信号成分を含む全方向パワースペクトルを生成し、
前記第１の入力選択部により選択された前記音声スペクトルのパワースペクトルをそれぞれ計算し、当該パワースペクトルを合成することにより、前記第１の合成方向以外の方向の音声信号成分を含む非合成方向パワースペクトルを生成し、
前記全方向パワースペクトルから前記非合成方向パワースペクトルを減算したパワースペクトルに基づいて、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する、（４）又は（５）に記載の音声信号処理装置。
（７）前記合成音声スペクトルの周波数帯域に応じて、前記第１の合成方向の指向性を有する合成音声スペクトルとして、前記第１の合成部により生成された前記合成音声スペクトル、又は、前記第２の合成部により生成された前記合成音声スペクトルのいずれかを選択して出力する出力選択部を更に備える、（４）又は（５）に記載の音声信号処理装置。
（８）前記出力選択部は、
所定周波数未満の周波数帯域については、前記第１の合成方向を含む前記複数の合成方向のうちの各合成方向の指向性を有する合成音声スペクトルとして、前記第２の合成部により生成された前記合成音声スペクトルのみを選択して出力し、
前記所定周波数以上の周波数帯域については、前記筐体に対する前記マイクロホンの配置に基づいて、前記第１の合成方向を含む前記複数の合成方向うちの各合成方向の指向性を有する合成音声スペクトルとして、前記第１の合成部により生成された前記合成音声スペクトル、又は前記第２の合成部により生成された前記合成音声スペクトルのいずれかを選択して出力する、（７）に記載の音声信号処理装置。
（９）前記第１の合成方向を含む前記複数の合成方向は、サラウンド再生環境の複数のチャンネルに対応しており、
前記第１の入力選択部は、前記第２の合成部により生成された前記合成音声スペクトル及び前記入力音声スペクトルの中から、前記第１の合成方向の指向性を有する合成音声スペクトルを生成するために選択する音声スペクトルを、前記サラウンド再生環境に応じて変更し、
前記第１の合成部は、前記第１の入力選択部により選択された前記音声スペクトルのパワースペクトルを重み付け加算するときに用いる重み付け係数を、前記サラウンド再生環境に応じて変更し、
前記第２の入力選択部は、前記入力音声スペクトルの中から、前記複数の合成方向のうちの各合成方向の指向性を有する合成音声スペクトルを生成するために選択する入力音声スペクトルを、前記サラウンド再生環境に応じて変更し、
前記第２の合成部は、前記第２の入力選択部により選択された前記入力音声スペクトルを重み付け加算するときに用いる重み付け係数を、前記サラウンド再生環境に応じて変更する、（４）〜（８）のいずれか一項に記載の音声信号処理装置。
（１０）前記マイクロホンは、
前記筐体の一側に設置される複数の内蔵マイクロホンと、
前記筐体の多側に着脱可能に設置される少なくとも１つの外部マイクロホンと、
を含み、
前記筐体に対する前記内蔵マイクロホン及び前記外部マイクロホンの配置の影響により、前記内蔵マイクロホンと前記外部マイクロホンの間で入力特性が相違し、
前記第１の入力選択部は、
前記第１の合成方向の指向性を有する合成音声スペクトルを生成するために選択する前記入力音声スペクトルとして、前記外部マイクロホンの前記入力音声スペクトルと、前記第２の合成部により生成された前記合成音声スペクトルを選択し、
前記第１の合成部は、
前記第１の入力選択部により選択された前記入力音声スペクトル及び前記合成音声スペクトルのパワースペクトルを合成することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する、（４）〜（９）のいずれか一項に記載の音声信号処理装置。
（１１）前記複数のマイクロホンの間で特性が相違するときに、前記複数のマイクロホンから入力される前記入力音声スペクトルの差分に基づいて、少なくとも１つの前記マイクロホンから入力される前記入力音声スペクトルを補正する補正部を更に備える、（１）〜（１０）のいずれか一項に記載の音声信号処理装置。
（１２）筐体に設けられた複数のマイクロホンから入力された複数の入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成することと、
前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択することと、
前記選択された入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成することと、
を含む、音声信号処理方法。
（１３）筐体に設けられた複数のマイクロホンから入力された複数の入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成することと、
前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択することと、
前記選択された入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成することと、
をコンピュータに実行させるためのプログラム。
（１４）筐体に設けられた複数のマイクロホンから入力された複数の入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成することと、
前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択することと、
前記選択された入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成することと、
をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
１ デジタルカメラ
２ レンズ
３ 画面
４ 筐体
５ 音
６ スピーカ
７ ビデオカメラ
８ レンズ
９ スマートフォン
４０ 記録媒体
５０ 収音部
６０ 音声処理部
７０ 制御部
８０ 操作部
１００ 周波数変換部
１０１ 第１の入力選択部
１０２ 第１の合成部
１０３ 時間変換部
１０４ 選択部
１０５ 保持部
１０６ 第１の演算部
１０７ 保持部
１０８ 第２の演算部
１０９ 保持部
１１０ 減算部
１１１ 第３の演算部
１１２ 第１の指向性合成部
１２０ 第２の指向性合成部
１２１ 第２の入力選択部
１２２ 第２の合成部
１２３ 選択部
１２４ 保持部
１２５ 演算部
１２６ 保持部
１３０ 出力選択部
１３１ 選択部
１３２ 保持部
１４０ 制御部
１４１ 環境設定情報
１４２ 環境設定情報
１５０ 補正部
Ｍ マイクロホン

Claims (14)

  1. 筐体に設けられた複数のマイクロホンから入力された入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成する周波数変換部と、
    前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択する第１の入力選択部と、
    前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する第１の合成部と、
    を備える、音声信号処理装置。
  2. 前記第１の合成部は、
    前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルをそれぞれ計算し、
    前記筐体に対する前記マイクロホンの配置に基づいて、前記パワースペクトルを合成することにより、前記筐体の周囲の全方向の音声信号成分を含む全方向パワースペクトルと、前記第１の合成方向以外の方向の音声信号成分を含む非合成方向パワースペクトルを生成し、
    前記全方向パワースペクトルから前記非合成方向パワースペクトルを減算したパワースペクトルに基づいて、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する、請求項１に記載の音声信号処理装置。
  3. 前記第１の合成部は、
    前記筐体に対する前記マイクロホンの配置に応じて設定された第１の重み付け係数を用いて、前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルを重み付け加算することにより、前記全方向パワースペクトルを生成し、
    前記筐体に対する前記マイクロホンの配置に応じて設定された第２の重み付け係数を用いて、前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルを重み付け加算することにより、前記非合成方向パワースペクトルを生成する、請求項２に記載の音声信号処理装置。
  4. 前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、複数の合成方向のうちの各合成方向に対応する入力音声スペクトルをそれぞれ選択する複数の第２の入力選択部と、
    前記第２の入力選択部により選択された前記入力音声スペクトルを合成することにより、前記各合成方向の指向性を有する合成音声スペクトルをそれぞれ生成する複数の第２の合成部と、
    を更に備える、請求項１に記載の音声信号処理装置。
  5. 前記筐体に対する前記マイクロホンの配置の影響により前記複数のマイクロホンの間で入力特性が相違する場合に、前記第１の合成部を用いて、前記第１の入力選択部により選択された前記入力音声スペクトルのパワースペクトルを合成することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成し、
    前記複数のマイクロホンの間で入力特性が相違しない場合に、前記第２の合成部を用いて、前記第２の入力選択部により選択された前記入力音声スペクトルを合成することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する、請求項４に記載の音声信号処理装置。
  6. 前記第１の入力選択部は、前記筐体に対する前記マイクロホンの配置に基づいて、前記第２の合成部により生成された前記合成音声スペクトル及び前記入力音声スペクトルの中から、前記第１の合成方向に対応する音声スペクトルを選択し、
    前記第１の合成部は、
    前記第１の入力選択部により選択された前記音声スペクトルのパワースペクトルをそれぞれ計算し、当該パワースペクトルを合成することにより、前記筐体の周囲の全方向の音声信号成分を含む全方向パワースペクトルを生成し、
    前記第１の入力選択部により選択された前記音声スペクトルのパワースペクトルをそれぞれ計算し、当該パワースペクトルを合成することにより、前記第１の合成方向以外の方向の音声信号成分を含む非合成方向パワースペクトルを生成し、
    前記全方向パワースペクトルから前記非合成方向パワースペクトルを減算したパワースペクトルに基づいて、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する、請求項４に記載の音声信号処理装置。
  7. 前記合成音声スペクトルの周波数帯域に応じて、前記第１の合成方向の指向性を有する合成音声スペクトルとして、前記第１の合成部により生成された前記合成音声スペクトル、又は、前記第２の合成部により生成された前記合成音声スペクトルのいずれかを選択して出力する出力選択部を更に備える、請求項４に記載の音声信号処理装置。
  8. 前記出力選択部は、
    所定周波数未満の周波数帯域については、前記第１の合成方向を含む前記複数の合成方向のうちの各合成方向の指向性を有する合成音声スペクトルとして、前記第２の合成部により生成された前記合成音声スペクトルのみを選択して出力し、
    前記所定周波数以上の周波数帯域については、前記筐体に対する前記マイクロホンの配置に基づいて、前記第１の合成方向を含む前記複数の合成方向うちの各合成方向の指向性を有する合成音声スペクトルとして、前記第１の合成部により生成された前記合成音声スペクトル、又は前記第２の合成部により生成された前記合成音声スペクトルのいずれかを選択して出力する、請求項７に記載の音声信号処理装置。
  9. 前記第１の合成方向を含む前記複数の合成方向は、サラウンド再生環境の複数のチャンネルに対応しており、
    前記第１の入力選択部は、前記第２の合成部により生成された前記合成音声スペクトル及び前記入力音声スペクトルの中から、前記第１の合成方向の指向性を有する合成音声スペクトルを生成するために選択する音声スペクトルを、前記サラウンド再生環境に応じて変更し、
    前記第１の合成部は、前記第１の入力選択部により選択された前記音声スペクトルのパワースペクトルを重み付け加算するときに用いる重み付け係数を、前記サラウンド再生環境に応じて変更し、
    前記第２の入力選択部は、前記入力音声スペクトルの中から、前記複数の合成方向のうちの各合成方向の指向性を有する合成音声スペクトルを生成するために選択する入力音声スペクトルを、前記サラウンド再生環境に応じて変更し、
    前記第２の合成部は、前記第２の入力選択部により選択された前記入力音声スペクトルを重み付け加算するときに用いる重み付け係数を、前記サラウンド再生環境に応じて変更する、請求項４に記載の音声信号処理装置。
  10. 前記マイクロホンは、
    前記筐体の一側に設置される複数の内蔵マイクロホンと、
    前記筐体の多側に着脱可能に設置される少なくとも１つの外部マイクロホンと、
    を含み、
    前記筐体に対する前記内蔵マイクロホン及び前記外部マイクロホンの配置の影響により、前記内蔵マイクロホンと前記外部マイクロホンの間で入力特性が相違し、
    前記第１の入力選択部は、
    前記第１の合成方向の指向性を有する合成音声スペクトルを生成するために選択する前記入力音声スペクトルとして、前記外部マイクロホンの前記入力音声スペクトルと、前記第２の合成部により生成された前記合成音声スペクトルを選択し、
    前記第１の合成部は、
    前記第１の入力選択部により選択された前記入力音声スペクトル及び前記合成音声スペクトルのパワースペクトルを合成することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成する、請求項４に記載の音声信号処理装置。
  11. 前記複数のマイクロホンの間で特性が相違するときに、前記複数のマイクロホンから入力される前記入力音声スペクトルの差分に基づいて、少なくとも１つの前記マイクロホンから入力される前記入力音声スペクトルを補正する補正部を更に備える、請求項１に記載の音声信号処理装置。
  12. 筐体に設けられた複数のマイクロホンから入力された複数の入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成することと、
    前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択することと、
    前記選択された入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成することと、
    を含む、音声信号処理方法。
  13. 筐体に設けられた複数のマイクロホンから入力された複数の入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成することと、
    前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択することと、
    前記選択された入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成することと、
    をコンピュータに実行させるためのプログラム。
  14. 筐体に設けられた複数のマイクロホンから入力された複数の入力音声信号をそれぞれ周波数変換することにより、複数の入力音声スペクトルを生成することと、
    前記筐体に対する前記マイクロホンの配置に基づいて、前記入力音声スペクトルの中から、第１の合成方向に対応する入力音声スペクトルを選択することと、
    前記選択された入力音声スペクトルのパワースペクトルを演算することにより、前記第１の合成方向の指向性を有する合成音声スペクトルを生成することと、
    をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。


JP2012153363A 2012-07-09 2012-07-09 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体 Pending JP2014017645A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012153363A JP2014017645A (ja) 2012-07-09 2012-07-09 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体
PCT/JP2013/060247 WO2014010280A1 (ja) 2012-07-09 2013-04-03 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体
US14/400,875 US20150125011A1 (en) 2012-07-09 2013-04-03 Audio signal processing device, audio signal processing method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012153363A JP2014017645A (ja) 2012-07-09 2012-07-09 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
JP2014017645A true JP2014017645A (ja) 2014-01-30

Family

ID=49915757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012153363A Pending JP2014017645A (ja) 2012-07-09 2012-07-09 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体

Country Status (3)

Country Link
US (1) US20150125011A1 (ja)
JP (1) JP2014017645A (ja)
WO (1) WO2014010280A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930467B2 (en) 2015-10-29 2018-03-27 Xiaomi Inc. Sound recording method and device
US10320964B2 (en) 2015-10-30 2019-06-11 Mitsubishi Electric Corporation Hands-free control apparatus

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9232310B2 (en) * 2012-10-15 2016-01-05 Nokia Technologies Oy Methods, apparatuses and computer program products for facilitating directional audio capture with multiple microphones
JP2015152437A (ja) * 2014-02-14 2015-08-24 株式会社デンソー 車両用ナビゲーション装置
US20170236547A1 (en) * 2015-03-04 2017-08-17 Sowhat Studio Di Michele Baggio Portable recorder
US9788109B2 (en) 2015-09-09 2017-10-10 Microsoft Technology Licensing, Llc Microphone placement for sound source direction estimation
JP6345327B1 (ja) * 2017-09-07 2018-06-20 ヤフー株式会社 音声抽出装置、音声抽出方法および音声抽出プログラム
US10609479B2 (en) * 2017-09-14 2020-03-31 Fujitsu Limited Device and method for determining a sound source direction
WO2020031719A1 (ja) * 2018-08-08 2020-02-13 日本電信電話株式会社 集音装置
US10966017B2 (en) * 2019-01-04 2021-03-30 Gopro, Inc. Microphone pattern based on selected image of dual lens image capture device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5190859B2 (ja) * 2006-11-17 2013-04-24 学校法人早稲田大学 音源分離装置、音源分離方法、音源分離プログラム及び記録媒体
JP4901542B2 (ja) * 2007-03-20 2012-03-21 三洋電機株式会社 音声信号生成装置及び方法
JP2010187363A (ja) * 2009-01-16 2010-08-26 Sanyo Electric Co Ltd 音響信号処理装置及び再生装置
EP2600344B1 (en) * 2010-07-26 2015-02-18 Panasonic Corporation Multi-input noise suppresion device, multi-input noise suppression method, program, and integrated circuit
JP2012109799A (ja) * 2010-11-17 2012-06-07 Primo Co Ltd 雑音抑圧型マイクロホン

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930467B2 (en) 2015-10-29 2018-03-27 Xiaomi Inc. Sound recording method and device
KR101848458B1 (ko) * 2015-10-29 2018-04-13 시아오미 아이엔씨. 레코딩 방법 및 그 장치
US10320964B2 (en) 2015-10-30 2019-06-11 Mitsubishi Electric Corporation Hands-free control apparatus

Also Published As

Publication number Publication date
US20150125011A1 (en) 2015-05-07
WO2014010280A1 (ja) 2014-01-16

Similar Documents

Publication Publication Date Title
WO2014010280A1 (ja) 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体
JP4269883B2 (ja) マイクロホン装置、再生装置及び撮像装置
US10944936B2 (en) Beam forming for microphones on separate faces of a camera
US20060227224A1 (en) Imaging device, sound record device, and sound record method
US20090303350A1 (en) Multi-channel sound collecting apparatus, multi-channel sound reproducing apparatus, and multi-channel sound collecting and reproducing apparatus
GB2447320A (en) Reducing a wind noise component of an input audio signal that has a frequency less than or equal to a predetermined frequency
US20120162471A1 (en) Audio signal processing device, audio signal processing method, and program
JP4670682B2 (ja) オーディオ装置及び指向音生成方法
JPWO2006057131A1 (ja) 音響再生装置、音響再生システム
JP2014127737A (ja) 撮像装置
US11657794B2 (en) Audio processing apparatus for reducing noise using plurality of microphones, control method, and recording medium
JP2013017160A (ja) カメラ本体およびカメラ本体に装着可能な交換レンズ
JP5998483B2 (ja) 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体
JP2002232988A (ja) マルチチャンネル収音装置
JP2012119803A (ja) 超広角映像の記録及び再生装置
KR101121030B1 (ko) 촬상장치
JP5063489B2 (ja) 判定装置及びそれを備えた電子機器並びに判定方法
JP5908199B2 (ja) 音響処理装置及び集音装置
US11729548B2 (en) Audio processing apparatus, control method, and storage medium, each for performing noise reduction using audio signals input from plurality of microphones
US20220383891A1 (en) Sound processing apparatus and control method
JP2013047710A (ja) 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体
JP2022054316A (ja) 音声処理装置、制御方法、およびプログラム
JP2022054317A (ja) 音声処理装置、制御方法、およびプログラム
JP2022054318A (ja) 音声処理装置、制御方法、およびプログラム
JP6445407B2 (ja) 音生成装置、音生成方法、プログラム