JP2011095378A - 録音装置、撮像装置、および、プログラム - Google Patents

Abstract

【課題】音信号にノイズや不連続が発生する場合においても聴感上の違和感を減じる録音装置を提供する。
【解決手段】録音装置が、音信号が入力される入力部と、動作部が動作するタイミングを検出するタイミング検出部と、タイミング検出部により検出されたタイミングに基づいて、音信号において動作部が動作している区間を含む第１区間を設定する区間設定部と、音信号において、第１区間に連続する第２区間に対応する音信号を、第１基準信号とする基準信号決定部と、音信号において、第１基準信号と最も相関の高い音信号を第２基準信号として検出する信号検出部と、音信号において、信号検出部により検出された第２基準信号に連続し、且つ第１区間と同じ時間長の音信号を補間信号として検出する補間信号検出部と、第１区間の音信号を補間信号で置換する信号置換部と、信号置換部により置換された音信号を記録する記録部と、を備える。
【選択図】図１

Description

本発明は、録音装置、録音装置を備える撮像装置、および、プログラムに関する。

従来、ノイズや不連続が発生した音信号の欠損区間を、前後の音信号で置き換える方法が知られている（特許文献１参照）。

特開平９−２７４７７２号公報

しかしながら、特許文献１の方法にあっては、音信号の欠損区間を、単に、前後の音信号で置き換えるため、前後の音信号に大きな不連続部分が発生する可能性があり、聴感上の違和感が生じるという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、音信号に混入したノイズを減じる際に、聴感上の違和感を抑えることのできる録音装置、撮像装置、および、プログラムを提供することにある。

この発明は上述した課題を解決するためになされたもので、音信号が入力される入力部と、動作部が動作するタイミングを検出するタイミング検出部と、前記タイミング検出部により検出されたタイミングに基づいて、前記音信号において前記動作部が動作している区間を含む第１区間を設定する区間設定部と、前記音信号において、前記第１区間に連続する第２区間に対応する前記音信号を、第１基準信号とする基準信号決定部と、前記音信号において、前記第１基準信号と最も相関の高い音信号を第２基準信号として検出する信号検出部と、前記音信号において、前記信号検出部により検出された前記第２基準信号に連続し、且つ前記第１区間と同じ時間長の音信号を補間信号として検出する補間信号検出部と、前記第１区間の音信号を前記補間信号で置換する信号置換部と、前記信号置換部により置換された音信号を記録する記録部と、を備えることを特徴とする録音装置である。

また、この発明は、上記に記載の録音装置と、光学系からの像を撮像する撮像部と、を備えることを特徴とする撮像装置である。

また、この発明は、コンピュータに、音信号とともに、当該音信号を録音した装置が備えている動作部が動作することを示すタイミングを入力させる入力手順と、前記入力されたタイミングに基づいて、前記音信号において前記動作部が動作している区間を含む第１区間を設定する区間設定手順と、前記音信号において、前記第１区間に連続する第２区間に対応する前記音信号を、第１基準信号とする基準信号決定手順と、前記音信号において、前記第１基準信号と最も相関の高い音信号を第２基準信号として検出する信号検出手順と、前記音信号において、前記信号検出手順により検出された前記第２基準信号に連続し、且つ前記第１区間と同じ時間長の音信号を補間信号として検出する補間信号検出手順と、前記第１区間の音信号を前記補間信号で置換する信号置換手順と、を実行させるためのプログラムである。

この発明によれば、音信号のノイズを、聴感上の違和感を抑えながら減じることができるという効果を奏する。

この発明の一実施形態による録音装置を備える撮像装置の構成の一例を示すブロック図である。 一例としての音信号の波形と、当該音信号の場合における補間信号の生成方法を示す波形図である。 図２の場合の一例としての第１基準信号を示す波形図である。 図１に示す録音装置を備える撮像装置の一例としての動作を示すフローチャートである。

＜第１実施形態＞
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による録音装置を備える撮像装置の構成を示す概略ブロック図である。

この図１に示すとおり、本実施形態に係る撮像装置１００は、撮像部１１０と、ＣＰＵ（Central processing unit）１１０と、操作部１８０、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０と、マイク２３０と、Ａ／Ｄ（Analog/Digital）変換部２４０と、音信号処理部２５０と、バス３００と、を備えている。この撮像装置１００が備える構成のうち、たとえば、マイク２３０と、Ａ／Ｄ変換部２４０と、音信号処理部２５０とが、録音装置に対応する。

撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ/Ｄ変換部１２０とを含み、設定された撮像条件（例えば絞り値、露出値等）に従ってＣＰＵ１９０により制御され、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ/Ｄ変換部１２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。

光学系１１１は、ズームレンズ１１４と、手振れ防止用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）１１３と、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）１１２と、ズームエンコーダ１１５と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、手振れ防止部１１８と、を備える。

この光学系１１１は、ズームレンズ１１４、ＶＲレンズ１１３、および、ＡＦレンズ１１２を通過した光学像を撮像素子１１９の受光面に導く。

レンズ駆動部１１６は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ズームレンズ１１４またはＡＦエンコーダ１１７の位置を制御する。

手振れ防止部１１８は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ＶＲレンズ１１３の位置を制御する。この手振れ防止部１１８は、ＶＲレンズ１１３の位置を検出していてもよい。

ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ１９０に出力する。

ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、検出したズームポジションおよびフォーカスポジションをＣＰＵ１９０に出力する。

なお、上述した光学系１１１は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。

撮像素子１１９は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部１２０に出力する。

また、撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部１２０や画像処理部１４０を介して、記憶媒体２００に記憶させる。

一方、撮像素子１１９は、たとえば、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部１２０や画像処理部１４０を介して、ＣＰＵ１９０および表示部１５０に出力する。

Ａ/Ｄ変換部１２０は、撮像素子１１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。

操作部１８０は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ１９０に出力する。

画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ１３０、または、記憶媒体２００に記録されている画像データに対して画像処理をする。

表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像データや、操作画面等を表示する。

記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、撮像条件等を記憶する。

マイク２３０は、音を収音し、収音した音に応じた音信号を出力する。この音信号は、アナログ信号である。

Ａ／Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号である音信号を、デジタル信号である音信号に、アナログデジタル変換する。

音信号処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号に対して、たとえば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。この音信号処理部２５０の詳細については、後述する。

なお、音信号処理部２５０により音信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１１９により撮像された画像データと、時間的に関係付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。

バッファメモリ部１３０は、撮像部１１０によって撮像された画像データや、音信号処理部２５０により変換された音信号等を、一時的に記憶する。

通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。

記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された（撮影された）画像データや、音信号処理部２５０により音信号処理された音信号を記憶する。

ＣＰＵ１９０は、撮像装置全体を制御するが、一例としては、ズームエンコーダ１１５から入力されるズームポジション、および、ＡＦエンコーダ１１７から入力されるフォーカスポジションと、操作部１８０から入力される操作入力に基づいて、ズームエンコーダ１１５およびＡＦエンコーダ１１７の位置を制御する駆動制御信号を生成する。ＣＰＵ１９０は、この駆動制御信号に基づいて、レンズ駆動部１１６を介してズームエンコーダ１１５およびＡＦエンコーダ１１７の位置を制御する。

また、このＣＰＵ１９０は、タイミング検出部１９１を備えている。このタイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出する。

ここでいう動作部とは、一例としては、上述したズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、または、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。

また、この動作部とは、撮像装置１００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２３０により収音される（または、収音される可能性のある）構成である。

このタイミング検出部１９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする制御信号、または、この駆動部を駆動させる制御信号である。

たとえば、タイミング検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２を駆動させるためにレンズ駆動部１１６または手振れ防止部１１８に入力される駆動制御信号に基づいて、または、ＣＰＵ１９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、ＣＰＵ１９０が駆動制御信号を生成する場合に、タイミング検出部１９１は、ＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。

また、このタイミング検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。

たとえば、タイミング検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、手振れ防止部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。

そして、タイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、音信号処理部２５０に出力する（後述する図２の信号Ａを参照）。

バス３００は、撮像部１１０と、ＣＰＵ１９０と、操作部１８０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０とに接続され、各部から出力されたデータ等を転送する。

＜音信号処理部２５０の詳細な構成＞
次に、音信号処理部２５０の詳細について説明する。音信号処理部２５０は、区間設定部２５１と、基準信号決定部２５２と、信号検出部２５３と、補間信号検出部２５４と、信号置換部２５５と、記録部２５６と、信号処理部２５７と、を備えている。

ここでは、図１に示すＡ／Ｄ変換部２４０から入力された音信号の波形（図２の信号Ｏを参照）と後述の制御信号（図２の信号Ａ、信号Ｂ、信号Ｃ、信号Ｄ、および、信号Ｅを参照）と、図３に示す後述の第１基準信号を参照しつつ、各構成について説明する。この図２および図３において、横軸は時間軸であり、縦軸は、たとえば、各信号の電圧である。

なお、この図２の信号Ｏに示すように、たとえば、音声に収音した場合の音信号の場合、音声の場合等、数十ミリ秒程度の短い時間内では、図に示すように比較的繰り返し信号が多い。そのため、後述するように、ノイズが重畳する区間の音信号を、他の区間の音信号で置換することが可能である。

ここで、タイミング検出部１９１により検出されたタイミングに対応して、図２においては、信号Ａがハイになる。この信号Ａとは、たとえば、タイミング検出部１９１から音信号処理部２５０に入力される信号であり、動作部が動作している区間を示す信号である。

図２の場合、時刻ｔ８から時刻ｔ９の区間において、信号Ａがハイとなる。そして、たとえば、この時刻ｔ８から時刻ｔ９の区間において、信号Ｏには、動作部が動作したことに起因するノイズが重畳（発生）している、または、このノイズが重畳している可能性が高い。

なお、図２において、信号Ａは、たとえば、タイミング検出部１９１から音信号処理部２５０の区間設定部２５１に出力される信号であり、駆動部が駆動された区間を示す信号である。
信号Ｂは、たとえば、音信号処理部２５０の区間設定部２５１から音信号処理部２５０の基準信号決定部２５２に出力される信号であり、音信号（信号Ｏ）において、後述するように、動作部が動作している区間を含む第１区間を示す信号である。

信号Ｃは、たとえば、音信号処理部２５０の基準信号決定部２５２から音信号処理部２５０の信号検出部２５３に出力される信号であり、音信号（信号Ｏ）において、後述するように、第１区間に連続する第２区間、すなわち、第１基準信号を示す区間を示す信号である。

信号Ｄは、たとえば、音信号処理部２５０の信号検出部２５３から音信号処理部２５０の補間信号検出部２５４に出力される信号であって、音信号（信号Ｏ）において、後述するように、第１基準信号と最も相関の高い音信号の区間、すなわち、第２基準信号の区間を示す信号である。

信号Ｅは、たとえば、音信号処理部２５０の補間信号検出部２５４から音信号処理部２５０の信号置換部２５５に出力される信号であって、音信号（信号Ｏ）において、後述するように、補間信号の区間を示す信号である。

図１の説明に戻り、音信号処理部２５０が備えている各構成について説明する。
区間設定部２５１は、タイミング検出部１９１により検出されたタイミングに基づいて、Ａ／Ｄ変換部２４０から入力された音信号において、動作部が動作している区間を含む第１区間を設定する。

たとえば、タイミング検出部１９１により検出されたタイミング（信号Ａがハイとなる区間である時刻ｔ８から時刻ｔ９を参照）に対応して、区間設定部２５１は、時刻ｔ７から時刻ｔ１０の区間を第１区間として設定する（図２の信号Ｂがハイの区間を参照）。

基準信号決定部２５２は、Ａ／Ｄ変換部２４０から入力された音信号において、第１区間に連続する第２区間に対応する音信号を、第１基準信号とする。たとえば、この基準信号決定部２５２は、音信号における第１区間の前の、該第１区間に連続する区間を第２区間として、第１基準信号を決定する。

この図２の場合、基準信号決定部２５２は、音信号における第１区間の前、すなわち、時刻ｔ７以前の、該第１区間に連続する区間、たとえば、時刻ｔ５から時刻ｔ７の区間を第２区間とし（図２の信号Ｃがハイの区間を参照）、この第２区間に対応する音信号を第１基準信号として決定する。

図３に、この第１基準信号の一例を例示する。なお、ここでは、第１基準信号として、音信号のほぼ１周期分の波形を例示しているが、この第１基準信号とする周期は任意であり、たとえば、複数の周期の音信号が含まれるようにしてもよいし、１つの周期の音信号の一部であってもよい。

なお、後述するように、音信号において、この第１基準信号と相関が最も高い音信号を検出する。そのため、この第１基準信号の区間の時間長としては、第１基準信号と相関が高い音信号を検出することができる程度に長いことが望ましい。なお、ノイズを低減する対象とする音信号が人の音声である場合のように予め定められている場合には、対象とする音信号に応じて、この第１基準信号の区間の時間長は予め設定されていてもよい。

図１の音信号処理部２５０が備えている各構成についての説明に戻り、信号検出部２５３は、第２区間に対応する音信号を除いた音信号において、第１基準信号と最も相関の高い音信号を第２基準信号として検出する。たとえば、信号検出部２５３は、音信号における第２区間の前の区間において、第１基準信号と最も相関の高い音信号を第２基準信号として検出する。

たとえば、信号検出部２５３は、音信号における第２区間の前の区間、すなわち、時刻ｔ５よりも前の区間において、第１基準信号と最も相関の高い音信号、たとえばこの場合は、時刻ｔ３から時刻ｔ４の音信号を第２基準信号として検出する（信号Ｄがハイの区間を参照）。

ここで、第２基準信号を検索する区間としては、時刻ｔ５よりも前の区間であればよく、その区間の時間長としては、時刻ｔ５よりも前の音信号全てであってもよいが、第１基準信号と相関が高い音信号は第１基準信号の近傍にある可能性が高いため、第２区間の時間長の数倍から数十倍程度が望ましい。

補間信号検出部２５４は、Ａ／Ｄ変換部２４０から入力された音信号において、信号検出部２５３により検出された第２基準信号に連続し、且つ第１区間と同じ時間長の音信号を補間信号として検出する。たとえば、この補間信号検出部２５４は、第２基準信号の後に連続し、且つ第１区間と同じ時間長の音信号を補間信号として検出する。

図２の場合、補間信号検出部２５４は、第２基準信号の後に連続し、且つ第１区間と同じ時間長の音信号として、時刻ｔ４から時刻ｔ６の音信号を補間信号として検出する（信号Ｅのハイの区間を参照）。

信号置換部２５５は、第１区間の音信号を補間信号で置換する。この場合、信号置換部２５５は、時刻ｔ７から時刻ｔ１０に対応する第１区間の音信号を、時刻ｔ４から時刻ｔ６の音信号である補間信号で置換する。
なお、信号置換部２５５は、第１区間の音信号を補間信号で置換する場合に、音信号の接続部が連続となるように、クロスフェースドなどを行ってもよい。

信号処理部２５７は、信号置換部２５５により置換された音信号に対して、ＳＳ（Spectral Subtraction）処理またはＳＮＧ（Spectral Noise Gating）処理を実行する。

なお、上述した区間設定部２５１により設定される第１区間の時間長は、信号処理部２５７により実行されるＳＳ処理またはＳＮＧ処理の処理単位に対応する区間の整数倍としてもよい。
このようにすることにより、置換された音信号に対してＳＳ処理またはＳＮＧ処理する場合に、置換された境界部分のＳＳ処理またはＳＮＧ処理に対する影響を減じることができ、そのため、聴感上の違和感を減じることができる。

記録部２５６は、信号置換部２５５により置換された音信号、または、信号処理部２５７により処理された音信号を、通信部１７０を介して記憶媒体２００に記録する。この記録部２５６は、音信号を記憶媒体２００に記録する場合に、撮像素子１１９により撮像された画像データと、時間的に関係付けられるようにして記憶してもよい。

次に、図４のフローチャートを用いて、第１実施形態による撮像装置の記録装置が、音信号に対して信号処理する場合の動作について説明する。

まず、タイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出する（ステップＳ１）。

次に、区間設定部２５１は、タイミング検出部１９１により検出されたタイミングに基づいて、Ａ／Ｄ変換部２４０から入力された音信号において、動作部が動作している区間を含む第１区間を設定する（ステップＳ２）。

次に、基準信号決定部２５２は、Ａ／Ｄ変換部２４０から入力された音信号において、第１区間に連続する第２区間に対応する音信号を第１基準信号として、第１基準信号を決定する（ステップＳ３）。

次に、信号検出部２５３は、第２区間に対応する音信号を除いた音信号において、第１基準信号と最も相関の高い音信号を第２基準信号として検出することにより、補間信号の位置を検出する（ステップＳ４）。たとえば、図２の場合、第２基準信号の終了位置（時刻ｔ４を参照）が、補間信号の開始位置（時刻ｔ４を参照）として検出される。なお、第２基準信号の時間長は、第１基準信号の時間長と同じである。

補間信号検出部２５４は、Ａ／Ｄ変換部２４０から入力された音信号において、信号検出部２５３により検出された第２基準信号に連続し、且つ第１区間と同じ時間長の音信号を補間信号として検出する。

ここで、信号検出部２５３により検出された第２基準信号は、第１基準信号と相関が高い。そのため、第１基準信号の終了時刻（たとえば、図２の時刻ｔ７）に対応する音信号のレベル（電圧値）と、第２基準信号の終了時刻（たとえば、図２の時刻ｔ４）に対応する音信号のレベルとも相関が高い。

そして、音信号のレベルは時刻において連続しているため、第１基準信号の終了時刻（たとえば、図２の時刻ｔ７）に対応する音信号のレベルと、第１区間の開始時刻（たとえば、図２の時刻ｔ７）に対応する音信号のレベルとは、ほぼ同一である。
また、音信号のレベルは時刻において連続しているため、第２基準信号の終了時刻（たとえば、図２の時刻ｔ４）に対応する音信号のレベルと、補間信号の開始時刻（たとえば、図２の時刻ｔ４）に対応する音信号のレベルとは、ほぼ同一である。

よって、第１区間の開始時刻（たとえば、図２の時刻ｔ７）に対応する音信号のレベルと、補間信号の開始時刻（たとえば、図２の時刻ｔ４）に対応する音信号のレベルとは、ほぼ同一である。そのため、この第１区間の音信号を、補間信号で置換しても、置換された第１区間の開始時刻に対応する音信号のレベルは、直前の音信号のレベルと同じであり、音信号のレベルが連続となるため、聴感上の違和感が少ない。

次に、信号置換部２５５は、第１区間の音信号を補間信号で置換する（ステップＳ６）。その後、記録部２５６は、信号置換部２５５により置換された音信号、または、信号処理部２５７により処理された音信号を、記憶媒体２００に記録する。

以上説明したように、本実施形態の録音装置は、音信号の欠損区間を第１区間とし、この第１区間の音信号と連続している音信号を第１基準信号として、この基準信号と相関の高い音信号である第２基準信号を検出する。そして、この第２基準信号と連続しており、第１区間の音信号と第１基準信号との相対的な位置関係が、第２基準信号に対して同じとなる音信号である補間信号を検出する。そして、この補間信号により、第１区間の音信号、すなわち、欠損区間の音信号を置き換える。

この補間信号は、第１区間の音信号と第１基準信号との相対的な位置関係が、第１基準信号と類似している第２基準信号に対して同じである。よって、単なる第１区間の前後の音信号よりも、この補間信号の方が、第１区間の目的音に近い可能性が高い。そして、本実施形態の録音装置は、音信号の欠損区間を、この第１区間の目的音に近い可能性が高い補間信号により置き換えるために、単に、前後の音信号で置き換える場合に対比して、聴感上の違和感を減じることができる。
なお、ここでいう目的音とは、録音された音信号に対して、ノイズが重畳していない理想的な音信号、または、欠損が生じていない理想的な音信号である。

なお、図２においては、一例として、信号Ａがハイとなる区間に対応して、音信号（信号Ｏ）に、動作部が動作したことに起因するノイズが重畳（発生）している、または、このノイズが重畳している可能性が高い、ものとして説明した。

ところで、たとえば、操作部１８０が備えているスイッチが操作されたことに応じてノイズが発生する場合、スイッチが操作されたタイミングと、ノイズが発生するタイミングとは、一致しない場合もありうる。

例えば、スイッチが操作されたタイミング、すなわち、スイッチが操作されたことに応じて図２の信号Ａがハイとなる区間に対して、ノイズが発生するタイミング、すなわち、図２の信号Ｏにノイズが生じている区間が長い場合もありうる。

しかしながら、スイッチが操作されたことに応じて図２の信号Ａがハイとなる区間と、ノイズが発生するタイミング、すなわち、図２の信号Ｏにノイズが生じている区間との関係は、ほぼ一定となる可能性がある。また、この関係は、上述したズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、または、操作部１８０などの動作部の種類ごとに、異なる可能性がある。

そこで、動作部の種類毎に、その動作部が動作したことを示す区間と、実際に、音信号においてノイズが生じる区間との時間関係を、予め記憶部１６０に記憶しておく。この時間関係は、予め実際に測定されたものであってもよいし、シミュレーションにより予め求められていてもよい。

そして、区間設定部２５１は、タイミング検出部１９１により検出されたタイミングに基づいて、Ａ／Ｄ変換部２４０から入力された音信号において、動作部が動作している区間を含む第１区間を設定する場合に、次のようにしてもよい。

まず、タイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出し、この検出したタイミングとともに、動作部の種類を示す情報を、区間設定部２５１に出力する。

区間設定部２５１は、動作部の種類に応じた時間関係を記憶部１６０から読み出す。そして、区間設定部２５１は、読み出した時間関係と、タイミング検出部１９１により検出されたタイミングに基づいて、Ａ／Ｄ変換部２４０から入力された音信号において、動作部が動作している区間を含む第１区間を設定する。

このようにすることにより、動作部が動作したことを示す区間と、実際に、音信号においてノイズが生じる区間とが、必ずしも一致しない場合であっても、区間設定部２５１は、動作部が動作している区間を含む第１区間であって、実際にノイズが生じている可能性の高い第１区間を、適切に設定することができる。

＜第２実施形態＞
上述した第１実施形態においては、区間設定部２５１により設定された第１区間よりも前の音信号において、補間信号を検出し、この補間信号により第１区間の音信号を置き換えた。
これに対して、第２実施形態においては、区間設定部２５１により設定された第１区間よりも後の音信号において、補間信号を検出し、この補間信号により第１区間の音信号を置き換える。

この第２実施形態の場合、基準信号決定部２５２、信号検出部２５３、および、補間信号検出部２５４は、以下のように変更される。なお、各実施形態の説明においては、第１実施形態との相違点についてのみ説明する。

基準信号決定部２５２は、音信号における第１区間の後の、該第１区間に連続した第３区間に対応する音信号を第３基準信号として決定する。

信号検出部２５３は、音信号における第３区間の後の区間において、第３基準信号と最も相関の高い音信号を第４基準信号として検出する。

補間信号検出部２５４は、第４基準信号の前に連続し、且つ第１区間と同じ時間長の音信号を補間信号として検出する。

この第２実施形態により検出される補間信号は、第１実施形態により検出される補間信号と同様に、第１区間の音信号と第３基準信号との相対的な位置関係が、第３基準信号と類似している第４基準信号に対して同じである。そのため、第１区間の前後の音信号よりも、この補間信号の方が、第１区間の目的音に近い可能性が高い。

そして、この第２実施形態においても、第１実施形態の場合と同様の補間信号により、第１区間の音信号、すなわち、欠損区間の音信号を置き換える。
そのため、第２実施形態による録音装置も、第１実施形態による録音装置と同様に、音信号の欠損区間を、単に、前後の音信号で置き換える場合に対比して、聴感上の違和感を減じることができる。

＜第３実施形態＞
上述した第１実施形態においては、区間設定部２５１により設定された第１区間よりも前の音信号において補間信号を検出し、第２実施形態においては、区間設定部２５１により設定された第１区間よりも後の音信号において、補間信号を検出した。

第３実施形態では、これら２つの補間信号を組み合わせて（合成して）、補間信号を生成し、この生成した補間信号に基づいて、第１区間の音信号、すなわち、欠損区間の音信号を置き換える。この２つの補間信号を組み合わせる（合成する）方法の一例について、次に、第１例から第５例の場合について説明する。

ここでは、上述した第１実施形態により検出された補間信号であって、区間設定部２５１により設定された第１区間よりも前の音信号において検出された補間信号を、「第２基準信号に基づく補間信号」として説明する。

また、第２実施形態により検出された補間信号であって、区間設定部２５１により設定された第１区間よりも後の音信号において検出された補間信号を、「第４基準信号に基づく補間信号」として説明する。

また、信号検出部２５３により検出される第２基準信号と第１基準信号との相関係数を「第１相関係数」とし、信号検出部２５３により検出される第４基準信号と第３基準信号との相関係数を「第２相関係数」として、説明する。

（第１例）
第３実施形態の第１例において、信号置換部２５５は、Ａ／Ｄ変換部２４０から入力された音信号において、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とを平均した補間信号で置換する。

上記構成により、この第３実施形態の第１例においては、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とを平均した補間信号で置換する。

この第３実施形態の第１例による補間信号は、第２基準信号に基づく補間信号または第４基準信号に基づく補間信号、すなわち、第１実施形態による補間信号または第２実施形態による補間信号に対比して、２つの補間信号を平均しているために、更に、第１区間の音信号（目的音）に近い可能性が高い。

そのため、第１区間の音信号を、第２基準信号に基づく補間信号または第４基準信号に基づく補間信号の一方のみで置換する第１実施形態または第２実施形態に対比して、この２つの補間信号を平均した補間信号で置換する第３実施形態の第１例は、更に、聴感上の違和感を減じることができる。

（第２例）
第３実施形態の第２例において、信号置換部２５５は、Ａ／Ｄ変換部２４０から入力された音信号において、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とを第１相関係数と第２相関係数とで重み付けして平均した補間信号で置換する。

上記構成により、この第３実施形態の第２例においては、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とを、単に平均するのではなく、それぞれの相関係数である第１相関係数と第２相関係数とで重み付けして平均した補間信号で置換する。

この２つの補間信号を第１相関係数と第２相関係数とで重み付けして平均した補間信号は、２つの補間信号を単に平均した補間信号よりも、更に、第１区間の音信号（目的音）に近い可能性が高い。

そのため、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とを、単に平均した補間信号で置換する第３実施形態の第１例に対比して、ここで説明した第３実施形態の第２例は、更に、聴感上の違和感を減じることができる。

（第３例）
第３実施形態の第３例において、信号置換部２５５は、第１相関係数が第２相関係数以上である場合には、第１区間の音信号を第２基準信号に基づく補間信号で置換し、第１相関係数が第２相関係数よりも小さい場合には、第１区間の音信号を第４基準信号に基づく補間信号で置換する。

上記構成により、この第３実施形態の第３例においては、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とのうち、相関係数が大きい方の補間信号で置換する。

この第３実施形態の第３例による補間信号は、第２基準信号に基づく補間信号または第４基準信号に基づく補間信号のうち、相関係数が大きい補間信号である。そのため、第２基準信号に基づく補間信号または第４基準信号に基づく補間信号、すなわち、第１実施形態による補間信号または第２実施形態による補間信号のうち、単に、いずれか一方に対比して、ここで説明した第３実施形態の第３例による補間信号は、更に、第１区間の音信号（目的音）に近い可能性が高い。

そのため、第１区間の音信号を、第２基準信号に基づく補間信号または第４基準信号に基づく補間信号で置換する第１実施形態または第２実施形態に対比して、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とのうち、相関係数が大きい方の補間信号で置換する第３実施形態の第３例は、更に、聴感上の違和感を減じることができる。

（第４例）
第３実施形態の第３例において、信号置換部２５５は、第１相関係数が第２相関係数以上であり、かつ、第１相関係数と第２相関係数との差が予め定められている第１閾値よりも大きい場合には、第１区間の音信号を第２基準信号に基づく補間信号で置換する。

また、この信号置換部２５５は、第１相関係数が第２相関係数よりも小さく、かつ、第２相関係数と第１相関係数との差が上述の第１閾値よりも大きい場合には、第１区間の音信号を第４基準信号に基づく補間信号で置換する。

また、この信号置換部２５５は、上記２つの場合以外の場合には、音信号において、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とを平均した補間信号で置換する。

この第３実施形態の第４例による補間信号は、第１相関係数と第２相関係数との差が、第１閾値よりも大きい場合、すなわち、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とのち、いずれか１方のみが補間信号として適切である可能性が高い場合には、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とのうち、相関係数が大きい方の補間信号で置換する。この場合には、上述した第３実施形態の第３例の場合と同様の効果を奏する。

そして、第１相関係数と第２相関係数との差が、第１閾値以下である場合、すなわち、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とのち、両方が補間信号として適切である可能性が高い場合には、第１区間の音信号を、両方を平均した補間信号で置換する。この場合には、上述した第３実施形態の第１例の場合と同様の効果を奏する。

よって、第３実施形態の第４例によれば、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とのち、いずれか１方のみが補間信号として適切である可能性が高い場合と、両方が補間信号として適切である可能性が高い場合とのいずれの場合であっても、それぞれの場合に適した補間信号により、第１区間の音信号を置換することができる。
そのため、第３実施形態の第４例によれば、上述したいずれの場合であっても、聴感上の違和感を減じることができる。

（第５例）
上述した第３実施形態の第４例に対して、第３実施形態の第５例における信号置換部２５５は、Ａ／Ｄ変換部２４０から入力された音信号において、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とを平均した補間信号で置換する場合に、Ａ／Ｄ変換部２４０から入力された音信号において、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とを第１相関係数と第２相関係数とで重み付けして平均した補間信号で置換する。

これにより、上述した第３実施形態の第４例で、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号と両方が補間信号として適切である可能性が高い場合、上述した第３実施形態の第１例に対する第２例の場合と同様の効果を奏する。

すなわち、第１区間の音信号を、第２基準信号に基づく補間信号と第４基準信号に基づく補間信号とを、単に平均した補間信号で置換する第３実施形態の第４例に対比して、それぞれの相関係数とで重み付けして平均した補間信号で置換するため、更に、聴感上の違和感を減じることができる。

以上説明した第１実施形態から第３実施形態、および、第３実施形態の第１例から第５例のいずれの場合においても、本実施形態の録音装置は、音信号の欠損区間（第１区間）の音信号を、この音信号の欠損区間（第１区間）の目的音に近い可能性が高い補間信号により置き換える。そのために、単に、前後の音信号で置き換える場合に対比して、聴感上の違和感を減じることができる。

なお、図２を用いた説明において、第２基準信号を検索する区間としては、時刻ｔ５よりも前の区間であればよく、その区間の時間長としては、時刻ｔ５よりも前の音信号全てであってもよいが、第１基準信号と相関が高い音信号は第１基準信号の近傍にある可能性が高いため、第２区間の時間長の数倍から数十倍程度が望ましいとして説明した。
この検索する期間としては、たとえば、上述した第１相関係数を用いて、次のようにして、動的に設定されてもよい。

たとえば、第１実施形態のように、区間設定部２５１により設定された第１区間よりも前の音信号において補間信号を検出する場合には、音信号において、設定された第１区間から前の方向に、すなわち、設定された第１区間から遠ざかる方向に、順に、第１相関係数を算出していく。

そして、第１相関係数の極大値が、たとえば順に増大していき、減少し始めたら、この減少し始めた直前の極大値に対応する音信号の区間を、上述した第２基準信号として決定する。このようにすることにより、第２基準信号を検索する区間を予め設定する必要がないばかりでなく、少ない検索回数で、より適切な第２基準信号を検索することができる。

ここでいう第１相関係数の極大値とは、たとえば、図２の時刻ｔ３からｔ４に対する第１相関係数、および、時刻ｔ１からｔ２に対する第１相関係数のことである。

ここでは、第１実施形態のように、区間設定部２５１により設定された第１区間よりも前の音信号において補間信号を検出する場合について説明した。しかし、第２実施形態のように、区間設定部２５１により設定された第１区間よりも後ろの音信号において補間信号を検出する場合も、第１実施形態の場合と同様に、音信号において、設定された第１区間から後の方向に、すなわち、設定された第１区間から遠ざかる方向に、順に、第２相関係数を算出する。

そして、この算出した第２相関係数に基づいて、第１実施形態の場合と同様に、上述した第３基準信号を決定する。このようにすることにより、第３基準信号を検索する区間を予め設定する必要がないばかりでなく、少ない検索回数で、より適切な第３基準信号を検索することができる。

なお、ここで図２を用いて説明したように、区間設定部２５１により設定された第１区間よりも前の音信号において、補間信号を検出する場合に、図２の時刻ｔ３からｔ４に対する音信号、または、時刻ｔ１からｔ２に対する音信号のように、第１相関係数が極大となる複数の音信号が、第２基準信号の候補として検出される可能性がある。

このように、複数の第２基準信号の候補が存在する場合、補間信号検出部２５４は、複数の第２基準信号に基づいて検出される補間信号、すなわち補間信号の候補のうち、上述したように、単に、第１相関係数が最も高い補間信号の候補を、補間信号として選択してもよい。

また、信号検出部２５３は、この複数の補間信号の候補を、第３実施形態において説明した第２基準信号に基づく補間信号および第４基準信号に基づく補間信号として、上述した第３実施形態の第１例から第５例と同様に、複数の補間信号の候補を組み合わせて（合成して）、補間信号を生成してもよい。

このようにすることにより、第３実施形態の第１例から第５例の場合と同様に、信号検出部２５３は、より適切な補間信号を検出することができる。そのために、更に、音信号における聴感上の違和感を減じることができる。

また、図２に示すような、設定された第１区間よりも前の音信号において補間信号を検出する第１実施形態の場合と同様に、設定された第１区間よりも後の音信号において補間信号を検出する第２実施形態においても、信号検出部２５３は、同様に、複数の補間信号の候補を組み合わせて（合成して）、補間信号を生成してもよい。

なお、上記の説明においては、音信号処理部２５０が、マイク２３０により収音された音信号に対して信号処理する場合について説明したが、本実施形態による上述した音信号処理部２５０の処理は、このようにリアルタイムに収音された音信号に対してのみ適用されるものではない。

たとえば、既に録音されている音信号に対しても、この音信号と関連付けて、この音信号を録音した装置が備えている動作部が動作することを示すタイミングが、たとえば、記憶媒体２００などの記憶部に記録されている場合にも、本実施形態による音信号処理部２５０は、上述した信号処理を同様に、実行することができる。

なお、図１における音信号処理部２５０、または、この音信号処理部２５０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。

なお、この音信号処理部２５０、または、この音信号処理部２５０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この音信号処理部２５０、または、この音信号処理部２５０が備える各部はメモリおよびＣＰＵ（中央演算装置）により構成され、音信号処理部２５０、または、この音信号処理部２５０が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、図１における音信号処理部２５０、または、この音信号処理部２５０が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、音信号処理部２５０、または、この音信号処理部２５０が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１１０…撮像部、１１１…光学系、１９１…タイミング検出部、２５１…区間設定部、２５２…基準信号決定部、２５３…信号検出部、２５４…補間信号検出部、２５５…信号置換部、２５６…記録部、２５７…信号処理部

Claims (13)

1. 音信号が入力される入力部と、
   動作部が動作するタイミングを検出するタイミング検出部と、
   前記タイミング検出部により検出されたタイミングに基づいて、前記音信号において前記動作部が動作している区間を含む第１区間を設定する区間設定部と、
   前記音信号において、前記第１区間に連続する第２区間に対応する前記音信号を、第１基準信号とする基準信号決定部と、
   前記音信号において、前記第１基準信号と最も相関の高い音信号を第２基準信号として検出する信号検出部と、
   前記音信号において、前記信号検出部により検出された前記第２基準信号に連続し、且つ前記第１区間と同じ時間長の音信号を補間信号として検出する補間信号検出部と、
   前記第１区間の音信号を前記補間信号で置換する信号置換部と、
   前記信号置換部により置換された音信号を記録する記録部と、
   を備えることを特徴とする録音装置。
2. 前記基準信号決定部は、前記音信号における前記第１区間の前の、該第１区間に連続する区間を前記第２区間として前記第１基準信号を決定し、
   前記信号検出部は、前記音信号における前記第２区間の前の区間において、前記第１基準信号と最も相関の高い音信号を前記第２基準信号として検出し、
   前記補間信号検出部は、前記第２基準信号の後に連続する前記音信号を前記補間信号として検出する、
   ことを特徴とする請求項１に記載の録音装置。
3. 前記基準信号決定部は、前記音信号における前記第１区間の後の、該第１区間に連続した第３区間に対応する前記音信号を第３基準信号として決定し、
   前記信号検出部は、前記音信号における前記第３区間の後の区間において、前記第３基準信号と最も相関の高い音信号を第４基準信号として検出し、
   前記補間信号検出部は、前記第４基準信号の前に連続し、且つ前記第１区間と同じ時間長の音信号を前記補間信号として検出する、
   ことを特徴とする請求項２に記載の録音装置。
4. 前記信号置換部は、
   前記音信号において、前記第１区間の音信号を、前記第２基準信号に基づく補間信号と前記第４基準信号に基づく補間信号とを平均した補間信号で置換する、
   ことを特徴とする請求項３に記載の録音装置。
5. 前記信号検出部により検出される前記第２基準信号と前記第１基準信号との相関係数を第１相関係数とし、
   前記信号検出部により検出される前記第４基準信号と前記第３基準信号との相関係数を第２相関係数とし、
   前記信号置換部は、
   前記音信号において、前記第１区間の音信号を、前記第２基準信号に基づく補間信号と前記第４基準信号に基づく補間信号とを前記第１相関係数と前記第２相関係数とで重み付けして平均した補間信号で置換する、
   ことを特徴とする請求項３に記載の録音装置。
6. 前記信号検出部により検出される前記第２基準信号と前記第１基準信号との相関係数を第１相関係数とし、
   前記信号検出部により検出される前記第４基準信号と前記第３基準信号との相関係数を第２相関係数とし、
   前記信号置換部は、
   前記第１相関係数が第２相関係数以上である場合には、前記第１区間の音信号を前記第２基準信号に基づく補間信号で置換し、
   前記第１相関係数が第２相関係数よりも小さい場合には、前記第１区間の音信号を前記第４基準信号に基づく補間信号で置換する、
   ことを特徴とする請求項３に記載の録音装置。
7. 前記信号検出部により検出される前記第２基準信号と前記第１基準信号との相関係数を第１相関係数とし、
   前記信号検出部により検出される前記第４基準信号と前記第３基準信号との相関係数を第２相関係数とし、
   前記信号置換部は、
   前記第１相関係数が第２相関係数以上であり、かつ、前記第１相関係数と第２相関係数との差が予め定められている閾値よりも大きい場合には、前記第１区間の音信号を前記第２基準信号に基づく補間信号で置換し、
   前記第１相関係数が第２相関係数よりも小さく、かつ、前記第２相関係数と第１相関係数との差が前記閾値よりも大きい場合には、前記第１区間の音信号を前記第４基準信号に基づく補間信号で置換し、
   上記以外の場合には、前記音信号において、前記第１区間の音信号を、前記第２基準信号に基づく補間信号と前記第４基準信号に基づく補間信号とを平均した補間信号で置換する、
   ことを特徴とする請求項３に記載の録音装置。
8. 前記信号置換部は、
   前記音信号において、前記第１区間の音信号を、前記第２基準信号に基づく補間信号と前記第４基準信号に基づく補間信号とを平均した補間信号で置換する場合に、
   前記音信号において、前記第１区間の音信号を、前記第２基準信号に基づく補間信号と前記第４基準信号に基づく補間信号とを前記第１相関係数と前記第２相関係数とで重み付けして平均した補間信号で置換する、
   ことを特徴とする請求項７に記載の録音装置。
9. 前記信号置換部により置換された音信号に対して、ＳＳ（Spectral Subtraction）処理またはＳＮＧ（Spectral Noise Gating）処理を実行する信号処理部、
   を備えていることを特徴とする請求項１から請求項８のいずれか１項に記載の録音装置。
10. 前記区間設定部により設定される前記第１区間は、前記信号処理部により実行されるＳＳ処理またはＳＮＧ処理の処理単位に対応する区間の整数倍である、
    ことを特徴とする請求項９に記載の録音装置。
11. 前記タイミング検出部は、
    前記動作部を起動させるスイッチが操作されたことに応じて出力される信号に基づいて、前記タイミングを検出する、
    ことを特徴とする請求項１から請求項１０のいずれか１項に記載の録音装置。
12. 請求項１から請求項１１のいずれか１項に記載の録音装置と、
    光学系からの像を撮像する撮像部と、
    を備えることを特徴とする撮像装置。
13. コンピュータに、
    音信号とともに、当該音信号を録音した装置が備えている動作部が動作することを示すタイミングを入力させる入力手順と、
    前記入力されたタイミングに基づいて、前記音信号において前記動作部が動作している区間を含む第１区間を設定する区間設定手順と、
    前記音信号において、前記第１区間に連続する第２区間に対応する前記音信号を、第１基準信号とする基準信号決定手順と、
    前記音信号において、前記第１基準信号と最も相関の高い音信号を第２基準信号として検出する信号検出手順と、
    前記音信号において、前記信号検出手順により検出された前記第２基準信号に連続し、且つ前記第１区間と同じ時間長の音信号を補間信号として検出する補間信号検出手順と、
    前記第１区間の音信号を前記補間信号で置換する信号置換手順と、
    を実行させるためのプログラム。

Images