JP2014199343A - 撮像装置、信号処理装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】 雑音混入区間の信号を、その前後の信号から作成した補間信号で置換することで雑音低減を行う場合、雑音混入区間が長い場合、その前後で音声の内容が変化してまうため、高品質な補間信号を作成できない。
【解決手段】 信号処理装置は、雑音混入区間の前後の区間の音声信号を用いて雑音混入区間の補間信号を生成し、雑音混入区間の音声信号を補間信号で置換することで雑音を低減させる。ここで信号処理装置は、雑音混入区間の前後の音素の異同を判定し、その判定結果に応じて補間信号の生成方法を制御する。
【選択図】 図８

Description

本発明は、雑音低減技術に関する。

近年のデジタルカメラには、静止画撮影の機能のみならず、音声信号記録を伴う動画撮影を行う機能を有するものがある。動画撮影時、撮影状態の変更に応じたフォーカスレンズの駆動、被写体の輝度変化に応じた絞り機構の駆動など、撮像装置の駆動部の動作が行われる。このような駆動部の動作音は、記録される音声に雑音として混入してしまうという問題がある。駆動雑音低減処理については従来、さまざま手法が開示されている。

特許文献１は、ビデオカメラにおける記憶装置の駆動雑音の除去に関する。特許文献１では、駆動雑音発生区間の前後の音声信号から雑音の含まれない音声を予測し、その予測したデータで駆動雑音発生区間のデータを入れ替える。この手法によれば、大きな駆動雑音が発生しても、駆動雑音の含まれない音声を記録することができる。

特許文献２は、駆動雑音の低減に関するものではないが、音声予測による補間を行っている。特許文献２には、音声復号時に誤りが生じた場合、過去の音声信号から誤りが生じた区間の信号を予測し補間する手法が開示されている。

特開２００８−０７７７０７号公報 特開平０６−２４４８０８号公報

上述したような、雑音混入区間の前後の音声データから雑音の含まれない音声を予測する手法は比較的有効である。しかし、雑音混入区間が長い場合、雑音混入区間内で音の信号波形が変わってしまうことが考えられる。例えば雑音混入区間が１００ｍｓｅｃにわたる場合、雑音混入区間の前方の音声は「あ」という音であるが雑音混入区間の後方ではそれが「お」に変わってしまうことは十分に考えられる。このとき、特許文献１のように雑音混入区間前後の信号から予測信号を作り、二つを混合して音声を補間すると、「あ」と「お」の二つの音が混ざり合った違和感のある音声が生成されてしまう。また、特許文献２では雑音混入区間が長くなると予測した波形を徐々に減衰させて音声予測による補間を行っているが、雑音混入区間の前後で同じ音声が続いていると音圧が減衰した違和感のある音声となる。

本発明は、雑音発生区間の前後の音声信号から雑音の含まれない音声を予測する手法の改良であり、音質の劣化を最小限に抑えつつより効果的な雑音低減を実現する。

本発明の一側面によれば、受信した音声信号のうち雑音が混入した雑音混入区間を検出する検出手段と、前記雑音混入区間の前後の音素の異同を判定する判定手段と、前記雑音混入区間の前方及び後方の区間の音声信号を用いて前記雑音混入区間の補間信号を生成し、前記雑音混入区間の音声信号を前記補間信号で置換することで雑音を低減させる雑音低減手段とを有し、前記雑音低減手段は、前記判定手段での判定結果に応じて前記補間信号の生成方法を制御することを特徴とする信号処理装置が提供される。

本発明によれば、音質の劣化を最小限に抑えつつより効果的な雑音低減を実現することができる。

実施形態１におけるデジタル一眼レフカメラの断面図。 実施形態１におけるデジタル一眼レフカメラの構成を示すブロック図。 従来の音声予測処理を説明する図。 従来の音声予測処理の予測信号の模式図。 実施形態１における録音動作のフローチャート。 実施形態１における音声信号及び相関値の模式図。 実施形態１における音声信号及び相関値の模式図。 実施形態１における音声予測信号の模式図。 実施形態１における音声予測信号の模式図。 実施形態１の変形例に係る録音動作のフローチャート。 実施形態１における音圧補正前の音声信号及び相関値の模式図。 実施形態１における音圧補正後の音声信号の模式図。 実施形態２における録音動作のフローチャート。 実施形態２における音声信号の模式図。 実施形態３におけるデジタル一眼レフカメラ及び情報処理装置を含む信号処理システムの構成図。 実施形態３における信号処理システムのブロック図。 実施形態３におけるカメラ側動作のフローチャート。 実施形態３における情報処理装置側動作のフローチャート。 信号処理システムの変形例に係るシステム構成図。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。

＜実施形態１＞
図１は、実施形態１におけるデジタル一眼レフカメラ１００の断面図である。図１において、撮像装置としてのデジタル一眼レフカメラ１００は、カメラボディ１０１と、撮影レンズ１０２とで構成される。撮影レンズ１０２は、レンズ鏡筒１０３内に光軸１０５を有する撮像光学系１０４を有する。撮影レンズ１０２は更に、撮像光学系１０４に含まれるフォーカスレンズ群、手ブレ補正レンズユニット、及び絞り機構を駆動させるレンズ駆動部１０６、レンズ駆動部１０６を制御するレンズ制御部１０７を有する。撮影レンズ１０２は、レンズマウント接点１０８でカメラボディ１０１と電気的に接続されている。

撮影レンズ１０２の前方から入射する被写体光学像は、光軸１０５を通ってカメラボディに入光し、一部をハーフミラーで構成された主ミラー１１０で反射され、フォーカシングスクリーン１１７上に結像する。フォーカシングスクリーン１１７上に結象した光学像は、ペンタプリズム１１１を通して接眼窓１１２から視認される。露出検出部である測光センサ１１６は、フォーカシングスクリーン１１７上に結像した光学象の明るさを検出する。また、主ミラー１１０を透過した被写体光学像は、サブミラー１１３で反射され、焦点検出部１１４に入射し、被写体像の焦点検出演算に用いられる。 カメラボディ１０１内にある不図示のレリーズボタンが操作されることで撮影開始命令が発せられると、主ミラー１１０及びサブミラー１１３は被写体光学像が撮像素子１１８に入射するように撮影光路から退避する。焦点検出部１１４、測光センサ１１６、撮像素子１１８に入射した光線はそれぞれ電気信号に変換され、カメラ制御部１１９に送られカメラシステムの制御が行われる。また、動画撮影時はさらに、マイクロホン１１５から被写体の音声が入力されてカメラ制御部１１９に送られ、撮像素子１１８に入射した被写体光学像信号と同期して記録処理される。マイクロホン１１５の近傍のカメラボディ１０１の内側面には、振動検出部である加速度計１２０が設置されている。加速度計１２０は、レンズ駆動部１０６がフォーカスレンズ群、手ブレ補正レンズユニット、絞り機構など機構部を駆動したときに発生し、撮影レンズ１０２、カメラボディ１０１を伝播してくる振動を検出することができる。カメラ制御部１１９は、その振動検出結果を分析して雑音混入区間を算出することができる。

図２はデジタル一眼レフカメラ１００の電気的制御を説明するブロック図である。カメラは、撮像系、画像処理系、音声処理系、記録再生系、制御系を有する。撮像系は、撮影レンズ１０２、撮像素子１１８を含む。画像処理系は、Ａ／Ｄ変換器１３１、画像処理回路１３２を含む。音声処理系はマイクロホン１１５及び音声信号処理回路１３７を含む。記録再生系は、記録処理回路１３３、メモリ１３４を含む。制御系は、カメラ制御部１１９、焦点検出部１１４、測光センサ１１６、操作検出部１３５、レンズ制御部１０７、レンズ駆動部１０６を含む。レンズ駆動部１０６は、焦点レンズ駆動部１０６ａ、ブレ補正駆動部１０６ｂ、絞り駆動部１０６ｃを含む。

撮像系は、物体からの光を、撮像光学系１０４を介して撮像素子１１８の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、主ミラー１１０に設けられたミラーを介して、焦点検出部１１４にも光束の一部が導かれる。また後述するように制御系によって適切に撮像光学系が調整されることで、適切な光量の物体光を撮像素子１１８に露光するとともに、撮像素子１１８近傍で被写体像が結像する。

画像処理回路１３２は、Ａ／Ｄ変換器１３１を介して撮像素子１１８から受けた撮像素子の画素数の画像信号を処理する信号処理回路である。画像処理回路１３２は、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。

音声処理系において、音声信号処理回路１３７は、マイクロホン１１５を介して入力した信号に対して適切な処理を施して録音用音声信号を生成する。録音用音声信号は、後述する記録処理部により画像とリンクして記録処理される。

また、加速度計１２０は、加速度計処理回路１３８を介して、カメラ制御部１１９に接続されている。加速度計１２０で検出されたカメラボディ１０１の振動の加速度信号は加速度計処理回路１３８において、増幅、ハイパスフィルタ処理、及びローパスフィルタ処理が行われ、目的の周波数が検出されるように処理される。

記録処理回路１３３は、メモリ１３４への画像信号の出力を行うとともに、表示部１３６に出力する像を生成、保存する。また、記録処理回路１３３は、予め定められた方法を用いて静止画、動画、音声等のデータの圧縮、記録処理を行う。

カメラ制御部１１９は撮像の際のタイミング信号などを生成して出力する。焦点検出部１１４及び測光センサ１１６はそれぞれ、撮像装置のピント状態及び被写体の輝度を検出する。レンズ制御部１０７はカメラ制御部１１９からの信号に応じて適切にレンズを駆動させて光学系の調整を行う。

さらに、制御系は、外部操作に連動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、操作検出部１３５が不図示のシャッターレリーズ釦の押下を検出すると、カメラ制御部１１９はこれに応答して、撮像素子１１８の駆動、画像処理回路１３２の動作、記録処理回路１３３の圧縮処理などを制御する。カメラ制御部１１９は更に、光学ファインダー、液晶モニタ等で構成される表示部１３６における表示を制御する。

次に、制御系の光学系の調整動作について説明する。カメラ制御部１１９には焦点検出部１１４及び露出検出部である測光センサ１１６が接続されており、カメラ制御部１１９はこれらの信号に基づき適切な焦点位置及び絞り位置を求める。カメラ制御部１１９は、求めた焦点位置及び絞り位置をレンズマウント接点１０８を介してレンズ制御部１０７に指令を出し、レンズ制御部１０７は焦点レンズ駆動部１０６ａおよび絞り駆動部１０６ｃを適切に制御する。さらにレンズ制御部１０７には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、レンズ制御部１０７は手ぶれ検出センサの信号に基づきブレ補正駆動部１０６ｂを適切に制御する。また、動画撮影時においては、主ミラー１１０及びサブミラー１１３が光軸１０５から撮像素子１１８に入光する光路から退避するため、焦点検出部１１４及び測光センサ１１６に被写体光学像は入射しない。そこで、カメラ制御部１１９は、焦点レンズ駆動部１０６ａの駆動量と撮像素子１１８への露光により得られた連続的な画像情報を用いたいわゆる山登り方式と呼ばれるコントラスト式焦点検出部で撮像光学系のピント状態を調節する。また、カメラ制御部１１９は、撮像素子１１８への露光により得られた画像情報を用いて被写体像の輝度を算出し絞り状態を調節する。

次に、図３を用いて従来の音声予測による雑音低減処理について説明する。本実施形態における雑音低減処理は、駆動雑音混入期間の前及び／又は後の音声信号を用いて、駆動雑音混入期間の音声信号を予測する予測処理を行う。

図３に、予測処理における各段階の音声信号の例を示す。図３（ａ）〜（ｇ）において、横軸は時間を表す。図３（ａ）、（ｂ）、（ｄ）〜（ｇ）においては、縦軸は信号レベルを表す。図３（ｃ）においては、縦軸は相関値を表す。

図３（ａ）は、受信した音声信号を示し、そのうちの一部区間において、絞りの駆動雑音が混入している。図３（ｂ）は、ピッチ検出を行うための相関値参照区間の音声信号である。図３（ｃ）は、相関値参照区間と相関値算出区間から求められた相関値及びそこから検出されたピッチを示す。なお、相関値参照区間とは、例えば雑音混入区間より前の所定時間長（例えば０．０１秒）の区間をいう。また、相関値算出区間とは、例えば、相関値参照区間より長い所定時間長（例えば０．０５秒）の区間をいう。図３（ｄ）は、検出されたピッチを用いて雑音混入区間の音声信号を補間するために生成される予測信号、図３（ｅ）は、図３（ｄ）の予測信号に三角形状の窓関数を掛けたものを示している。図３（ｆ）は、同様にして雑音混入区間の後方からの音声予測結果に図に示す窓関数を掛けたもの、図３（ｇ）は、図３（ｅ）及び図３（ｆ）に示す、雑音混入区間の前後からの音声予測結果を加算して、雑音混入区間の音声信号の補間を行ったものである。以下、時間的に雑音発生より前の音声信号を前方と呼び、雑音発生後の音声信号を後方と呼ぶこととする。

予測処理においては、音声処理回路１３７はまず、図３（ａ）で示される雑音混入区間を加速度計１２０など用いて検出し、検出した雑音混入区間の信号を破棄する。なお、雑音混入区間の検出は、入力信号の周波数を分析し、駆動雑音の所定の特徴周波数成分と比較することで検出してもよい。あるいは、撮影レンズ駆動部への駆動命令タイミングを得ることで雑音混入区間を検出してもよい。

次に、音声信号処理回路１３７は、雑音混入区間直前の信号の相関値から繰返しピッチを検出する。図３（ａ）に示すように、音声信号は、短時間の領域に着目すると、比較的周期性が高い性質がある。このことを利用して、雑音混入区間の直前の音声信号を繰り返し複製することで雑音混入区間の予測信号を作成する。図３（ａ）の相関値参照区間の信号と相関値算出区間の信号から相関値を算出すると、音声信号において雑音混入区間直前から相関値が最大になった位置（時間長）が音声の繰返しピッチとなる。ただし、相関値算出区間に対し相関値参照区間が時間的に同期している位置で相関値が最大になることは自明である。そこで、本実施形態では、この値を除くべく、雑音除去区間からピッチ閾値間隔の長さ離れた、図３（ｂ）に示す相関最大値探索区間から相関値の最大値が探索される。ピッチ閾値間隔は、録音する音声の基本周波数の最大値の逆数とするとよい。そうすると、求めたい音声の繰返しピッチよりも短いピッチを誤って検出することがなくなる。例えば、日本人の基本周波数は約４００Ｈｚまでなので、ピッチ閾値間隔は２.５ｍｓｅｃに設定すればよい。

次に、音声信号処理回路１３７は、図３（ｄ）に示すように、検出されたピッチ区間の音声信号を予測区間（雑音混入区間）の終端まで繰り返し複製して第１の予測信号を生成する。以下、この第１の予測信号を「前方からの窓掛け前予測信号」と呼ぶ。次に、図３（ｅ）に示すように、作成した前方からの窓掛け前予測信号に三角形状の窓関数をかけて前方予測信号を作成する。以下、この段階での予測信号を「前方からの窓掛け後予測信号」と呼ぶ。このとき窓関数ｗｆ（ｔ）は予測区間のデータ数がＮ＋１点である場合、予測開始直後のデータをｎ＝０とすると、ｗｆ（ｎ）＝（Ｎ‐ｎ）/Ｎで表される関数である。

音声信号処理回路１３７は、上記と同様に、雑音混入区間の直後の区間においてピッチ検出を行い、検出されたピッチ区間の音声信号を予測区間の始端まで繰り返し複製して第２の予測信号を生成する。この第２の予測信号を、「後方からの窓掛け前予測信号」と呼ぶ。次に、図３（ｆ）に示すように、後方からの窓掛け前予測信号に図３（ｅ）とは逆向きの三角形状の窓関数を掛けて後方予測信号（後方からの窓掛け後予測信号）を作成する。後方からの窓掛け前予測信号にかけられる三角形状の窓関数ｗｒ（ｎ）は、前方からの予測のときと対称となり、ｗｒ（ｎ）＝ｎ／Ｎで表される。

音声信号処理回路１３７は、前方からの窓掛け後予測信号と後方からの窓掛け後予測信号とを加算して補間信号を生成する。そして、音声信号処理回路１３７は、雑音混入区間の音声信号を補間信号で置換することで雑音を低減させる。図３（ｇ）はその結果の信号波形の例を示している。このように、第１の予測信号と第２の予測信号とをクロスフェードさせて補間信号を生成する。このようなクロスフェードによれば、前方からの予測信号と雑音混入区間直後との接続部、並びに、後方からの予測信号と雑音混入区間直前との接続部において、音声を滑らかにつなげることができる。なお、前述の説明においては、雑音混入区間の直前、直後の区間の音声信号を用いて予測信号を生成するものとして説明したが、本実施形態においては、「直前」、「直後」に限定されるものではない。たとえば、雑音混入区間より、０．０１秒前から０．１１秒前までの音声信号を用いて予測信号を生成してもよいし、雑音混入区間より、０．０１秒後から０．１１秒後までの音声信号を用いて予測信号を生成してもよい。

図３では、一例として、女性が「あ」と発音している間に駆動雑音が混入した例を示した。次に、別の音声信号について同様の予測処理を行う場合について述べる。

図４は、男性が「おだ」と発音した時の音声信号に駆動雑音が混入したときの例を示している。図３と同様に、横軸は時間、縦軸は信号レベルである。図４（ａ）に示すように、２つの音節「お」と「だ」の間に駆動雑音が混入しているのがわかる。図４（ｂ）は、雑音混入区間直前の音声信号からの予測により得られた窓掛け後予測信号であり、図４（ｃ）は、雑音混入区間直後の音声信号からの予測により得られた窓掛け後予測信号である。図４（ｄ）は、図４（ｂ）及び図４（ｃ）の信号を加算して得た完全予測信号（補間信号）を示している。しかし、予測処理によって雑音低減処理を施した音声を聴取してみると、予測区間で音素/o/と/d/とが交じり合い、濁った音がして違和感を受ける。雑音混入区間が長くなると、窓掛け前予測信号に掛ける三角窓関数の傾斜がなだらかになり２音素の混じり方が増え違和感も大きくなる。

そこで本実施形態では、雑音混入区間の前後の音が異なるかを判断し、雑音混入区間の前後の音が異なる場合は完全予測信号の算出の仕方を変える。具体的には、雑音混入区間前後の音声信号の相関値を算出し、この相関値に基づいて、雑音混入区間の前後の音素の異同を判定する。そして、その判定結果に応じて補間信号の生成方法を制御する。具体的には、雑音混入区間の前後の音素が異なる場合はピッチ検出により予測された窓掛け前予測信号にかける窓関数を調節する。これにより、異なる音素どうしが混ざりにくく、違和感の少ない雑音低減処理が実現される。

以下、図５〜図７を参照して、本実施形態の雑音低減処理を説明する。図５は本実施形態の雑音低減処理を含む録音動作のフローチャートである。上述したように本実施形態では、録音は動画撮影時に被写体光学像信号と同期して行われる。録音が開始されると、カメラ制御部１１９は、加速度計１２０により駆動雑音が検出されたかを判断する（Ｓ１００１）。なお、加速度計１２０を用いるかわりに、レンズ駆動命令を発したことで駆動雑音が検出されたと判断するようにしてもよい。Ｓ１００１で駆動雑音が検出されない場合は、処理はＳ１０１０に進み、動画撮影スイッチＯＦＦ（すなわち録音スイッチＯＦＦ）が検出されるまでＳ１００１に戻って処理が繰り返される。Ｓ１００１で駆動雑音が検出された場合は、カメラ制御部１１９は、その駆動雑音が停止するまでの加速度計１２０の出力信号を解析して雑音混入区間を算出する（Ｓ１００２）。このとき、雑音混入区間の音声信号は破棄される。混入した雑音がレンズ駆動に伴う駆動雑音であれば、カメラ制御部１１９から発せられるレンズ駆動命令のタイミングを監視しておけば概ねの雑音混入区間は検出できる。しかし、検出された雑音混入区間と実際の雑音混入区間に差異があると雑音除去性能は低下する。そこで本実施形態では、加速度計１２０によりレンズ駆動に伴うカメラボディ１０１の振動を検出することで、正確な雑音混入区間を検出している。

次に、音声信号処理回路１３７は、図３（ａ）〜（ｃ）で説明したように雑音混入区間の直前及び直後の音声信号を利用して相関値を求める（Ｓ１００３）。ここで、前方参照区間と前方算出区間とから求めた相関値の最大値をｃｏｒ＿ｆｆ（第１最大値）とする。また、後方参照区間と後方算出区間とから求めた相関の最大値をｃｏｒ＿ｒｒ（第２最大値）とする。次に、音声信号処理回路１３７は、Ｓ１００３で算出した相関最大値ｃｏｒ＿ｆｆ、ｃｏｒ＿ｒｒまでの間隔を用いて前方及び後方の音声信号の繰返しピッチの検出を行う（Ｓ１００４）。音声信号処理回路１３７は、図３（ｄ）で示したように、Ｓ１００４で検出された繰返しピッチを用いて前方及び後方の窓掛け前予測信号を算出する（Ｓ１００５）。

次に、音声信号処理回路１３７は、前方参照区間と後方算出区間との間の相関最大値ｃｏｒ＿ｆｒを算出するとともに、後方相関値参照区間と前方算出区間との間の相関最大値ｃｏｒ＿ｒｆを算出する（Ｓ１００６）。図６及び図７は、雑音混入区間の音声データを破棄した後の音声信号及び算出された相関値の例を示している。図６は、音素/a/が発音されている間に雑音が混入した例を示し、図７は、発音「おだ」における音素/d/を含む部分に雑音が混入した例を示している。

図６を用いて相関最大値ｃｏｒ＿ｆｒ、ｃｏｒ＿ｒｆの算出方法を説明する。図６（ａ）は前方算出区間（第１算出区間）と後方算出区間（第２算出区間）の音声信号を表している。図６（ｂ）は、前方参照区間（第１参照区間）の音声信号を、図６（ｄ）は、後方参照区間（第２参照区間）の音声信号を表している。音声信号処理回路１３７は、前方参照区間の音声信号に対する後方算出区間の音声信号の相関値を算出する。このときの相関値の例を図６（ｃ）に示す。図６（ｃ）ではＳ１００３で求めた相関値も説明のために表記している。音声信号処理回路１３７は、このときの最大となる相関値をｃｏｒ＿ｆｒ（第３最大値）として算出する。音声信号処理回路１３７は、同様に、後方相関値参照区間の音声信号に対する前方算出区間の音声信号の相関値を算出する。このときの相関値の例を図６（ｅ）に示す。図６（ｅ）ではＳ１００３で求めた相関値も説明のために表記している。音声信号処理回路１３７は、このときの最大となる相関値をｃｏｒ＿ｒｆ（第４最大値）として算出する。

次に、音声信号処理回路１３７は、Ｓ１００３で算出したｃｏｒ＿ｆｆ及びｃｏｒ＿ｒｒ、Ｓ１００６で算出したｃｏｒ＿ｆｒ及びｃｏｒ＿ｒｆを用いて、雑音混入区間の前後の音素の異同を判別する。雑音混入区間の前後で音素が同一であれば、雑音混入区間の音声信号の相関は高くなる。つまり、ｃｏｒ＿ｆｆとｃｏｒ＿ｆｒとの値はほぼ等しく、また、ｃｏｒ＿ｒｒとｃｏｒ＿ｒｆとの値もほぼ等しくなるはずである。図６（ｃ）において、ｃｏｒ＿ｆｆとｃｏｒ＿ｆｒとの値がほぼ等しく、また、図６（ｅ）において、ｃｏｒ＿ｒｒとｃｏｒ＿ｒｆの値もほぼ等しくなっているのがわかる。そこで、Ｓ１００７では、音声信号処理回路１３７は、相関閾値α（αは正の数とする。）を用いて次の式（１）及び（２）を満たすとき、雑音混入区間の前後の音素は同一であると判定する。

１／α ≦ ｃｏｒ＿ｆｒ／ｃｏｒ＿ｆｆ ≦ α （１）
１／α ≦ ｃｏｒ＿ｒｆ／ｃｏｒ＿ｒｒ ≦ α （２）

式（１）は、第３最大値（ｃｏｒ＿ｆｒ）に対する第１最大値（ｃｏｒ＿ｆｆ）の比が所定範囲内にあるという条件式である。式（２）は、第４最大値（ｃｏｒ＿ｒｆ）に対する第２最大値（ｃｏｒ＿ｒｒ）の比が所定範囲内にあるという条件式である。Ｓ１００７で式（１）及び（２）を満たすと、雑音混入区間の前後の音素は同一であると判定され、処理はＳ１００８に進む。Ｓ１００８では、音声信号処理回路１３７は、Ｓ１００５で求めた前方及び後方の窓掛け前予測信号にそれぞれ対応する三角窓関数をかけて、前方及び後方の窓掛け後予測信号を算出する（Ｓ１００８）。次に、音声信号処理回路１３７は、算出した前方及び後方の窓掛け後予測信号を加算して完全予測信号（補間信号）を生成する（Ｓ１００９）。処理はその後、Ｓ１０１０に進む。

一方、図７を用いて雑音混入区間の前後で音素が異なる場合について説明する。上述したように、図７は、発音「おだ」における音素/d/を含む部分に雑音が混入した例であり、雑音混入区間の前の音素は/o/であるのに対し、雑音混入区間の後の音素は/a/に変化している。この場合、図７（ｅ）に示すように、ｃｏｌ＿ｒｆとｃｏｌ＿ｒｒとの間に大きな差はないが、図７（ｃ）に示すように、ｃｏｒ＿ｆｆとｃｏｒ＿ｆｒとの間では値が大きく異なっている。Ｓ１００７で、上式（１）及び（２）を満たさない場合、雑音混入区間の前後で音素が異なると判断され、処理はＳ１０１２に進む。

Ｓ１０１２では、音声信号処理回路１３７は、補間信号の聴感上の違和感が少なくなるような窓関数に変更する。ここで変更する窓関数は、例えば次のように算出する。雑音混入区間のデータ数をＮ＋１とし、雑音混入区間の最初の位置をｎ＝０とすると、前方の窓関数ｗｆ及び後方の窓関数ｗｒは次式で表される。

ただし、係数Ｋｎは、０＜Ｋｎ＜１である。

次に、音声信号処理回路１３７は、図８（ａ）、（ｂ）で示すように、Ｓ１００５で生成した窓掛け前予測信号にＳ１０１２で変更した窓関数を掛けて、窓掛け後予測信号を算出する（Ｓ１０１３）。次にＳ１００９に進み、音声信号処理回路１３７は、前方及び後方の窓掛け後予測信号を加算して完全予測信号（補間信号）を生成する（Ｓ１００９）。

図８（ａ）に示すように、前方の窓掛け後予測信号は雑音除去区間の終了位置より手前で無音信号となる。同様に、図８（ｂ）に示すように、後方の窓掛け後予測信号は雑音除去区間の開始位置より先で無音信号となる。その結果、前方及び後方の窓掛け後予測信号を加算すると、図８（ｃ）に示すようにオーバーラップしている区間は通常の三角窓関数を乗じたときに比べ短くなる。このように本実施形態では、雑音混入区間の前後の音素が同一でないと判定された場合、クロスフェードにおける前方からの予測信号と後方からの予測信号との重複時間長が短くなるように窓関数が調節される。これにより、異なる２つの音素から予測される音声信号が交じり合うことによる聴感上の違和感が低減される。

次に、音声信号処理回路１３７は、雑音混入区間の信号をＳ１００９で生成した完全予測信号で置き換え、これをメモリ１３４に書き込む（Ｓ１０１０）。以上で雑音低減処理が完了する。Ｓ１０１１では、動画撮影スイッチＯＦＦ（すなわち録音スイッチＯＦＦ）の検出を行い、録音スイッチＯＦＦが検出されるまでＳ１００１に戻り処理を繰り返す。録音スイッチＯＦＦが検出されると、録音動作は終了する。

以上説明したように本実施形態では、雑音混入区間の前後の音声信号で相関値を算出し比較することで雑音混入区間の前後の音声が同じ音素か否かを判断し、その判断結果に応じて予測処理を制御する。具体的には、雑音混入区間の前後で音素が異なる場合は、窓掛け前音声信号に乗じる窓関数を変更している。これにより、雑音混入区間の前後の音声信号が異なる場合は、前方と後方からの予測信号が交じり合っておこる違和感が生じにくくなり、雑音除去性能が向上する。

上述の実施形態では、雑音混入区間の前後の音素が異なると判断したときは、係数Ｋｎを固定値とする窓関数を用いた。しかし、係数Ｋｎを雑音混入区間の長さによって変更してもよい。例えば、係数Ｋｎを雑音混入区間の時間長ｔ＿nｓにより次式のように設定してもよい。

ただし、Tlは雑音混入区間の時間閾値である。雑音混入区間がある程度長くなった場合に、予測処理の性能は低下するので雑音混入区間を全て予測信号で補間すると違和感が生じる。そこで、雑音混入区間ｔ＿ｎｓが時間閾値Tlを超える場合は、図９（ａ）に示すように前方及び後方の窓掛け後予測信号を加算しても互いの予測信号がオーバーラップせずに、無音区間ができるようにする。その結果、雑音混入区間がある程度長いときでも違和感の少ない予測処理信号を生成できる。また、雑音混入区間ｔ＿ｎｓが時間閾値Tlを超え予測処理をした結果、完全予測信号に無音区間ができた場合、無音区間に低レベルの雑音（コンフォートノイズ）を加えてもよい（図９（ｂ））。人間の聴覚上、聴音時に音声が完全に無音になると違和感を生じる。特に、ヘッドフォンなど耳に密着した音声再生装置で聴音しているときは顕著である。そこで、無音となった区間にコンフォートノイズを加えることで、完全な無音区間による違和感を低減することができる。コンフォートノイズは、白色ノイズ又はピンクノイズであればよい。

また、雑音混入区間が非常に短いときは、雑音混入区間の前後の音声信号の相関値が低い場合でも通常の三角窓関数を用いて予測処理を行っても違和感は少ない。また、前述した窓関数ｗｆ、ｗｒを用いて完全予測処理を行っても、通常の三角窓関数を用いたときの差は余り感じられない。そこで、雑音混入区間の長さによって窓関数を変更するかを判断してもよい。図１０のフローチャートを用いて説明する。図１０において、図５のフローと同じ処理ステップには同じ参照番号を付し、それらの説明は省略する。図１０の処理フローでは、Ｓ１００５とＳ１００６との間にＳ１１０６が追加されている。Ｓ１１０６においては、雑音混入区間ｔ＿ｎｓが短時間閾値Ｔｓ以上であるか否かを判断する。短時間閾値は例えば２０ｍｓｅｃ程度に設定する。雑音混入区間ｔ＿ｎｓがＴｓ以上の場合は、処理はＳ１００７に進む。そうでなければ、新たに窓関数を算出する必要はないと判断して、処理はＳ１００６に進む。このように、雑音混入区間ｔ＿ｎｓが短いときは、Ｓ１１０６において新たに窓関数を算出する必要がないと判断され、雑音混入区間前後の音声信号の相関値を算出せずに窓掛け後予測波形が算出される。これにより、演算負荷を軽減できる。

また、雑音混入区間の前後で音圧レベルを正規化してから相関値を求めてもよい。図１１（ａ）は雑音混入区間の前後で同じ音素が続いているが徐々に音圧レベルが下がっている音声信号の例である。図１１（ｂ）〜図１１（ｅ）は、図６（ｂ）〜図６（ｅ）と同様の相関値を示すものである。図１１（ａ）に示すような同じ音素が続いているが音圧レベルに変化がある音声信号では、通常の三角窓関数を用いて予測処理を行っても性能の良い雑音処理が可能である。しかし、雑音混入区間の前後で音圧レベルが下がっているので、図１１（ｃ）、図１１（ｅ）に示すように相関値に大きな差異が発生し、雑音混入区間の前後で音素が異なると判断されてしまう。そこで、図１２に示すように、音圧レベルを正規化した音声信号を用いて相関値を算出するとよい。これにより、雑音混入区間の前後で同じ音素が続いているが徐々に音圧レベルが下がっている音声信号についても精度の良い雑音低減処理ができる。

また、人の声に比べて楽器演奏などの楽音信号は、音の変化は急激ではないことが多い。よって、雑音除去区間の前後で音が変わっていた場合に通常の三角窓関数を用いて予測処理を用いても違和感は少ない。そこで、ポートレート撮影、スポーツ撮影、音楽撮影等の撮影モードが存在する撮影装置であれば、撮影モードによって窓関数を変更してもよい。例えば、操作者がポートレート撮影モードに設定した時は前述したフローチャートによる動作を行うが、音楽撮影モードのときは相関値算出及び比較の動作を行わずに、三角窓関数を通常のまま固定するなどが考えられる。撮影モードの設定によって窓関数を制御することで、撮影者の意図に沿う雑音除去処理ができる。

上述の実施形態では、レンズの駆動雑音による雑音除去について述べた。しかし、ユーザがスイッチ、ダイヤルなどの操作部材を操作する際に発生する操作雑音、カメラボディを操作者が触ることにより発生するタッチノイズなど、加速度計１２０で検知し雑音混入区間が検出できる雑音であれば、雑音除去処理可能である。

＜実施形態２＞
上述の実施形態１では、雑音混入区間の前後の音声信号で相関値を算出し比較することで雑音混入区間の前後で音素が変わっているか否かを判断した。これに対し実施形態２では、雑音混入区間の前後の音声信号の音圧レベルを比較することで音素が変わっているか否かを判断する。相関値の比較に対し、音圧レベルの比較では音素変化の判断の精度は下がるが、相関値を算出するのに比べて大幅に演算負荷を低減できる。

図１３は、本実施形態における録音動作のフローチャートである。図５のフローと同じ処理ステップには同じ参照番号を付し、それらの説明は省略する。図１３の処理フローでは、図５のＳ１００６及びＳ１００７のかわりに、Ｓ２００６及びＳ２００７が実行される。Ｓ２００６では、音声信号処理回路１３７は、雑音混入区間の前後の音圧レベルを算出する。図１４は、雑音混入区間の前後で音素の異なる音声信号の音圧レベルの算出を説明する図である。ここでは、例えば、雑音混入区間の直前と直後の音圧レベル比較区間における音声信号の最大値と最小値を検出している。

次に、Ｓ２００７では、音声信号処理回路１３７は、Ｓ２００６で算出した雑音混入区間の前後の音声レベルを比較する。比較した音声レベルの差異が所定範囲内であるときは、雑音混入区間の前後で音素の変化がないと判断され、処理はＳ１００８に進む。一方、音圧レベルの差異が所定範囲を超えるときは、雑音混入区間の前後で音素が異なると判断され、処理はＳ１０１２に進む。

このように、実施形態２では、雑音混入区間の前後の音声信号の音圧レベルを比較することで音素が変わっているかを判断する。その結果、相関値を算出し比較するのに対し、音素変化の判断の精度と引き換えに、大幅に演算負荷を軽減することができる。

＜実施形態３＞
図１５は、実施形態２における、デジタル一眼レフカメラと情報処理装置を含むシステムを示した図であり、デジタル一眼レフカメラ１００と情報処理装置１７０とが通信ケーブル１５１によって接続されていることを示している。図１６は、デジタル一眼レフカメラ１００及び情報処理装置１７０のブロック図である。本実施形態におけるデジタル一眼レフカメラ１００のカメラボディ１０１には、外部装置との通信を行うための通信コネクタ１４１が設けられている。この通信コネクタ１４１は、情報処理装置１７０の通信コネクタ１７４と、通信ケーブル１５１を介して接続されている。図１３及び図１４において、第１の実施形態と同一の構成要素には同一の符号を付し、その説明を省略する。

情報処理装置１７０は、制御部１７１、音声信号処理回路１７２、メモリ１７３、操作入力部１７５、音声再生装置１７６、表示装置１７７を有している。制御部１７１は、通信コネクタ１７４を介して、カメラボディ１０１側のメモリ１３４に記録された音声信号を含む動画記録データを受信する。音声信号処理回路１７２は、その音声信号に対して雑音除去処理を行う。この雑音除去処理で得られた信号は、メモリ１７３に記録される。

本実施形態では、メモリ１７３には雑音除去処理を施していない駆動雑音を含む音声信号と、雑音区間検出部の検出結果である音声信号に同期した雑音混入区間の情報（雑音混入区間タイミング）が記録されている。雑音除去処理は、操作者によって操作される操作入力部１７５からの命令信号に基づき行われ、雑音除去処理の経過は音声再生装置１７６及び表示装置１７７に出力される。

図１７、図１８を用いて本実施形態のレンズ駆動動作と雑音除去処理の動作について説明する。

図１７は本実施形態におけるカメラ側でのレンズ駆動動作及び音声記録のフローチャートである。動画撮影スイッチ（すなわち録音スイッチ）がＯＮにされると、録音動作が開始される。Ｓ３００１では、カメラ制御部１１９は、加速度計１２０を用いて、駆動雑音を検出する。駆動雑音が検出されない場合、処理はＳ３００４に進み、動画撮影スイッチ（＝録音スイッチ）がＯＦＦになるまで、Ｓ３００１に戻って処理が繰り返される。一方、Ｓ３００１で駆動雑音が検出されると、処理はＳ３００２に進み、カメラ制御部１１９は、加速度計１２０の出力信号を解析して雑音混入区間を算出する。次に、カメラ制御部１１９は、算出した雑音混入区間のタイミングを音声信号に同期してメモリ１３４に記録する（Ｓ３００３）。

次に図１５を用いて、デジタル一眼レフカメラ１００と情報処理装置１７０を通信ケーブル１５１で接続し情報処理装置１７０で雑音除去処理を行う動作について説明する。

操作入力部１７５によって雑音除去処理の命令が入力されると、デジタル一眼レフカメラ１００及び情報処理装置１７０内で、図１８のフローチャートがスタートする。まず、情報処理装置１７０側の制御部１７１は、通信ケーブル１５１を介し、カメラボディ１０１内のメモリ１３４に記録された駆動雑音が混入した音声信号及び雑音混入区間タイミング記録を含む動画記録データを読み込む（Ｓ３１０１）。次にＳ３１０２で、制御部１７１は、その動画記録データに雑音混入区間タイミングが存在するか否かを判断する。雑音混入区間タイミングが存在しない場合は処理はＳ３１１１に進む。一方、雑音混入区間タイミング記録が検出されると処理はＳ１００３に進み、以下、Ｓ１０１３までの実施形態１と同様の処理を、制御部１７１が実行する。

Ｓ３１１１では、制御部１７１は、読み込んだ動画記録データの終了の検出を行う。ここで動画記録データの終了が検出されるまで、Ｓ３１０１に戻って処理が繰り返される。動画記録データの終了が検出されると処理は終了する。

上述の例では、図１５に示されるような、デジタル一眼レフカメラ１００と情報処理装置１７０とが通信ケーブル１５１で電気的に接続されたシステムを示した。この図１５の構成に対する変形例を、図１９に示す。図１９の構成においては、動画記録データを記録するデジタル一眼レフカメラ１００のメモリ１３４がカメラボディ１０１から取り外し可能なメモリカード１３４ａで構成されている。この場合、動画記録データが記録されたメモリカード１３４ａを、情報処理装置１７０側に設けられたメモリカードリーダ１５２に差込み、情報処理装置１７０に動画記録データの転送が可能な状態にして雑音除去処理を行う。これにより、デジタル一眼レフカメラ１００と情報処理装置１７０との間を通信ケーブル１５１でつなぐ必要はない。雑音除去処理の動作は、図１８のＳ３１０１がメモリカードから動画記録データを読み込む動作に変更されるだけである。また、情報処理装置１７０にメモリカード１３４ａを読み込む装置を要していれば、メモリカードリーダ１５２は必要ない。すなわち、実施形態の情報処理装置１７０は、単独での動作も可能である。実施形態の情報処理装置１７０としては、音声信号を処理することができればどのような装置であってもよい。たとえば、パーソナルコンピュータ、スマートフォン、撮像装置、テレビなどであってもよい。

＜他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (14)

1. 受信した音声信号のうち雑音が混入した雑音混入区間を検出する検出手段と、
   前記雑音混入区間の前後の音素の異同を判定する判定手段と、
   前記雑音混入区間の前方及び後方の区間の音声信号を用いて前記雑音混入区間の補間信号を生成し、前記雑音混入区間の音声信号を前記補間信号で置換することで雑音を低減させる雑音低減手段と、
   を有し、
   前記雑音低減手段は、前記判定手段での判定結果に応じて前記補間信号の生成方法を制御することを特徴とする信号処理装置。
2. 前記雑音低減手段は、
   前記雑音混入区間の前方の音声信号を複製することで前記雑音混入区間の第１の予測信号を生成し、
   前記雑音混入区間の後方の音声信号を複製することで前記雑音混入区間の第２の予測信号を生成し、
   前記第１の予測信号と第２の予測信号とをクロスフェードさせて前記補間信号を生成し、
   前記判定手段での判定結果に応じて、前記クロスフェードにおける前記第１の予測信号と前記第２の予測信号との重複時間長を調整することで、前記補間信号の生成方法を制御する
   ことを特徴とする請求項１に記載の信号処理装置。
3. 前記重複時間長の調整は、前記クロスフェードに用いる前記第１及び第２の予測信号それぞれの窓関数を調節することで行われることを特徴とする請求項２に記載の信号処理装置。
4. 前記判定手段は、
   前記前方における第１参照区間の音声信号に対する前記前方における第１算出区間の音声信号の相関の最大値である第１最大値を算出し、
   前記後方における第２参照区間の音声信号に対する前記後方における第２算出区間の音声信号の相関の最大値である第２最大値を算出し、
   前記第１参照区間の音声信号に対する前記第２算出区間の音声信号の相関の最大値である第３最大値を算出し、
   前記第２参照区間の音声信号に対する前記第１算出区間の音声信号の相関の最大値である第４最大値を算出し、
   前記第３最大値に対する前記第１最大値の比と、前記第４最大値に対する前記第２最大値の比とがそれぞれ所定範囲内にある場合に、前記雑音混入区間の前後の音素は同一であると判定し、
   前記雑音低減手段は、前記判定手段により前記雑音混入区間の前後の音素が同一ではないと判定された場合、前記クロスフェードにおける前記重複時間長が短くなるように前記窓関数を調節する
   ことを特徴とする請求項３に記載の信号処理装置。
5. 前記雑音低減手段は、前記雑音混入区間の時間長が所定の時間閾値を超える場合、前記クロスフェードによって前記第１の予測信号と前記第２の予測信号とが重複しないように前記窓関数を調節することを特徴とする請求項３又は４に記載の信号処理装置。
6. 前記雑音低減手段は、前記第１の予測信号と前記第２の予測信号とが重複しないように前記窓関数を調節したことにより、前記第１の予測信号と前記第２の予測信号との間に無音区間ができた場合、該無音区間にコンフォートノイズを加えることを特徴とする請求項５に記載の信号処理装置。
7. 前記雑音低減手段は、前記雑音混入区間の時間長が所定の時間閾値より短い場合、前記補間信号の生成方法の制御を行わないことを特徴とする請求項１に記載の信号処理装置。
8. 前記判定手段による判定の前に、前記雑音混入区間の前後で音圧レベルを正規化する手段を更に有することを特徴とする請求項４に記載の信号処理装置。
9. 前記判定手段は、前記雑音混入区間の前後の音圧レベルの差が所定範囲内である場合に、前記雑音混入区間の前後の音素は同一であると判定することを特徴とする請求項３に記載の信号処理装置。
10. 請求項１乃至９のいずれか１項に記載の信号処理装置を有することを特徴とする撮像装置。
11. 前記検出手段は、前記受信した音声信号のうち、前記撮像装置が有する撮像手段の駆動によって発生した雑音が混入した区間を、前記雑音混入区間として検出することを特徴とする請求項１０に記載の撮像装置。
12. 前記検出手段は、前記撮像手段の駆動によって発生した振動を検出する振動検出手段を含み、前記振動検出手段が振動を検出した期間を前記雑音混入区間として検出することを特徴とする請求項１０に記載の撮像装置。
13. 検出手段が、受信した音声信号のうち雑音が混入した雑音混入区間を検出する検出ステップと、
    判定手段が、前記雑音混入区間の前後の音素の異同を判定する判定ステップと、
    雑音低減手段が、前記雑音混入区間の前方及び後方の区間の音声信号を用いて前記雑音混入区間の補間信号を生成し、前記雑音混入区間の音声信号を前記補間信号で置換することで雑音を低減させる雑音低減ステップと、
    を有し、
    前記雑音低減手段は、前記雑音低減ステップにおいて、前記判定ステップでの判定結果に応じて前記補間信号の生成方法を制御することを特徴とする信号処理方法。
14. コンピュータを請求項１乃至９のいずれか１項に記載の信号処理装置が有する各手段として機能させるためのプログラム。

Images