JP2012168345A - 機械音除去装置、機械音検出装置、及び、映像撮像装置 - Google Patents

Abstract

【課題】 マイクホン入力信号からのオートフォーカス音やズーム音など機械音の高精度な除去が困難であった。
【解決手段】 本発明では、オートフォーカス音やズーム音といった機械音が，主にモータの回転周期によって決まる一定周期でスペクトルが変動する周期性の雑音であることに着目し、周期性の強い音源を検出することを特徴とする機械音検出部し検出した音源を機械音として記録することにより、事前に雑音測定・設定を行うことなく機械音除去が可能とする。
【選択図】 図４

Description

本発明は複数の音が混ざった中から，特定の音を除去した音声を生成することを特徴とする雑音除去装置の技術分野に属する

複数の音が混ざった中から，特定の音（雑音）だけを除去し，所望の音声を抽出することを目的とした技術は，大きく単一マイクロホンを用いた方法と複数マイクロホンを用いた方法に分けられる。複数マイクロホンを用いた方法は，空間的に異なる場所に存在する音源を抑圧することが可能な技術であり，無線などの分野でよく使われる指向性アンテナと同じく適応型ビームフォーミングを用いて雑音を除去する。複数マイクロホンを用いた方法は，雑音除去性能は高いものの，ハードウェアとして複数のマイクロホンを必要とする点で搭載コスト（設置面積，価格）が高い。これに対して単一マイクロホンを用いた方法は，単一マイクロホンのみ必要とするため搭載コストは低いという利点があるものの，常に音量が一定の雑音のみを消去する技術（例えば非特許文献１参照）か，予めスペクトル特性が既知の雑音（例えば特許文献１参照）を差し引く技術が主である。

特開２００８−２５２３８９号公報

S.F. Boll, "Suppression of acoustic noise in speech using spectral subtraction," IEEE Trans. ASSP, vol.27, no.2, pp.113-120,1979.

ビデオカメラや携帯電話などのように，カメラユニットと音声録音装置を備える筐体において，動画撮影時に混入するカメラのオートフォーカス音やズーム音といった雑音（機械音）を除去し，所望の音声のみを抽出するような場合では、オートフォーカス音やズーム音は時々刻々音量の大小が変化する雑音であるため、これらの雑音を音量が一定の雑音のみを消去する技術では消去することが困難である。

また事前にオートフォーカス音やズーム音を記憶しておく方式では，工場出荷時に事前に雑音を測定し，設定しておく必要があるという点で手間・コストがかかるという問題がある。

本発明では、オートフォーカス音やズーム音といった機械音が，主にモーターの回転周期によって決まる一定周期で繰り返し発生する音であることに着目する。つまり、本発明における機械音除去装置は、入力された音を信号に変換する入力部と、入力信号から、入力信号中に含まれる一定周期で繰り返し発生する音の信号に基づいて、機械音と推定される機械音信号を検出する機械音検出部と、検出された機械音信号を入力信号中から除去する機械音除去部と、を有する。

また、本発明における機械音検出装置は、入力された音を信号に変換する入力部と、入力信号から、入力信号中に含まれる一定周期で繰り返し発生する音の信号に基づいて、機械音と推定される機械音信号を検出する機械音検出部と、検出された機械音信号の情報を記憶する記憶部と、を有する。

また、本発明における映像撮像装置は、入力された音を信号に変換する入力部と、入力信号から、オートフォーカス又はズームの際に映像装置から生ずる駆動音の信号を、入力信号中に含まれる一定周期で繰り返し発生する音の信号に基づいて検出する駆動音検出部と、検出された駆動音信号を入力信号中から除去する駆動音除去部と、を有する。

また、機械音（駆動音）と推定される機械音信号を検出するに際し、入力信号中に含まれる一定周期で繰り返し発生する音の信号に加えて、入力信号中に含まれる一定周期で繰り返し発生する音のスペクトル形状の時不変性に基づいて、機械音と推定される機械音信号を検出してもよい。

また、本発明において、更に、前記信号から検出された前記機械音信号の情報を記憶する記憶部と、該記憶部に記憶された前記機械音信号の情報に基づいて、前記入力部から入力された信号中に前記機械音信号が存在するかを判定する機械音判定部とを有し、前記機械音除去部は、前記機械音（駆動音）判定部により存在すると判定された前記機械音信号を前記信号中から除去してもよい。

また、本発明において、前記機械音除去部によって前記機械音信号が除去された前記信号の情報を記憶する記憶部を有いてもよい。

また、前記機械音（駆動音）検出部は、所定の時間周期から構成されるマスクパターンを前記信号に重畳し、重畳して得られた重畳信号の音量と前記信号の音量との比率に基づいて、機械音と推定される前記機械音信号を検出してもよい。

また、前記機械音（駆動音）判定部は、前記記憶部から、前記信号とのパワースペクトルの内積が最大となる機械音信号の情報を選択し、該選択された機械音信号を前記信号中に含まれる機械音信号として判定し、前記機械音除去部は、該判定された機械音信号を前記信号中から除去してもよい。

また、前記機械音（駆動音）検出部は、前記信号中に含まれる一定周期で繰り返し発生する音の音量と、前記信号中に含まれる一定周期で繰り返し発生する音以外の音量との比率に基づいて、機械音（駆動音）と推定される前記機械音信号を検出してもよい。

事前（例えば、工場出荷時）に雑音測定・設定を行うことなく機械音（雑音）除去が可能となり、ビデオカメラや携帯電話の動画撮影時に収録した音声を、機械音（雑音）の少ない聞きやすい音声として聞くことができる。

本発明のビデオカメラでの使用シーンを示した図 機械音波形とスペクトルの一例を示した図 本発明の第一実施例のハードウェア構成図 本発明の第一実施例のブロック図 本発明の機械音検出部の詳細なブロック図 本発明の簡易型機械音判定部のブロック図 本発明の機械音除去部のブロック図 各機械音の情報を記憶する機械音データベースのデータ構造 機械音除去の効果を示した図 外部から機械音発生シグナルが与えられたときのブロック構成図 機械音除去の処理フローチャート図 バッチ構成で機械音除去しその音を再生する際の構成図 本発明の第二実施例のハードウェア構成を示した図 本発明の第二実施例のブロック構成図

図１は，本発明が対象とする動画撮影状況の一例を示した図である。ビデオカメラでは，ビデオカメラ筐体１０１にマイクロホン１０２が取りつけられ，動画撮影中の音声（ここで音声は、広く一般的な音のことを指し、人の声のみではなく、機械音等の雑音も含むものである。以下同じである。）が録音される。この際，ビデオカメラのカメラノーズ１０３がオートフォーカス機能又はズーム機能と連動して伸び縮みすることにより，マイクロホンにモーターの駆動音が混入する。通常動画撮影時にはカメラで撮影中の被写体の声だけを取りたいことが多く，このような駆動音は除去したい対象の音となる。

図２にモーターの駆動音の一例を示す。上段は，モーター駆動音の波形を示している。横軸は時間（秒），縦軸は周波数（Hz）となっている。一定の周期（時間間隔）でモーター音が発生していることがわかる。下段は，モーター駆動音のスペクトルを示している。縦軸は周波数（Hz）となっている。スペクトルが波形と同様に一定周期で繰り返す構造となっている事と，スペクトル形状自体は波形と類似していることが分かる。

図３は，本発明の第一実施例のハードウェア構成を示した図である。マイクロホン３０１で取り込んだ音声波形は，AD/DA変換装置３０２で，アナログ信号からデジタル信号に変換されて，中央演算装置３０３を介して，揮発性メモリ３０４に取り込まれる。取り込んだ信号は，記憶媒体３０５に記憶されている信号処理プログラムにより，中央演算装置３０３上で処理され，雑音除去される。雑音除去後の音声波形は，記憶媒体３０５に記憶されるか，AD/DA変換装置302を介し，デジタル信号からアナログ信号に変換された後，スピーカ３０６から放射される。

図４は，機械音除去の信号処理プログラムのブロック構成を示した図である。音声取り込み部４０１は，マイクロホンから入力される音声信号を時々刻々デジタルデータに変換したデジタル信号を取り込む。デジタル信号の取り込みは、１サンプル毎に行っても良いし，複数サンプルまとめて取り込んでも良い。音声バッファリング部４０２は，取り込んだデジタル信号に変換された音声信号を揮発性メモリ（バッファ）内に蓄える。音声信号を蓄えるバッファは、先入れ先出し方式のバッファとし，バッファ長は予め設定しておく。すなわち、音声バッファリング部４０２は，最新の音声信号からある一定時間遡った音声信号を全て記憶しておくことになる。新しい音声サンプルがLsサンプル（サンプル同士の時間間隔は，サンプリングレートの逆数秒）溜まるたびに，機械音検出部４０３は，バッファリングした音声信号中に含まれる機械音の量とそれ以外の音声信号の量を算出し，機械音の量がそれ以外の信号の量と比べて十分に大きい場合，機械音データベース４０４に，検出した機械音を登録する。または，すでに機械音データベース４０４に類似の機械音が登録されている場合，すでに登録されている機械音の情報に新しく検出した機械音の情報を追加して記憶する。機械音検出部４０３では、モーターの動作に応じて同一スペクトル構造の音が繰り返し生じるような機械音を対象とする。

簡易型音声バッファリング部４０５は，音声バッファリング部４０２と同様に，音声取り込み部４０１が取り込んだ音声信号をある一定時間揮発性メモリ内に取り溜める。新しい音声サンプルがLsサンプル溜まるたびに，簡易型機械音判定部４０６は，取り溜めた音声信号中に機械音が存在するかを判定する。判定は，機械音データベース４０４に記憶されている機械音の情報を参照する形で行われる。簡易型機械音判定部は，判定結果を出力する。機械音除去部４０７は，判定結果と，機械音データベース４０４から引き出された、存在すると判定された機械音に関する情報とを利用し，簡易型音声バッファリング部４０５が出力する音声信号中の機械音を除去する。機械音を除去した音声が最終的には出力される。機械音検出部，簡易型機械音判定部，機械音除去部の詳細については後述する。

図５は，機械音検出部４０３の詳細なブロック構成を示した図である。機械音検出部４０３の入力は，一定長の音声信号x(t)とする。ここで，x(t)は，バッファ中のデジタル化されたtサンプル目の音圧値とする。tは1からLまでの値を取るものとし，Lはバッファ長と一致する。バッファリングされた音声信号は，短時間周波数分析部５０９に送られ，短時間フーリエ変換により，時間周波数領域信号に変換される。ここで，短時間周波数分析の窓長をLfとし，短時間周波数分析のフレームシフト長をLsとする。ここで，F=floor((L-Lf)/Ls)+1とする。floor(x)は，x以下の最大の整数を返すインデックスとする。Fは，バッファリングした音声サンプルから生成する短時間周波数信号のフレーム数に一致する。短時間周波数分析後の音声信号をx(f,τ)と表記する。ここで，fは短時間周波数分析により離散化された周波数，τはフレームインデックスとする。τは1からFまでの値を取るものとする。

繰り返しマスク重畳部５０２−１から５０２−Ｎは，Ｆフレームの短時間周波数信号x(f,τ)に予め定めるマスクを重畳した信号を抽出する。マスクはMn(τ)と定義される。ここで，nは1からNまでの値をとるインデックスとし，τはフレームインデックスとする。Mn(τ)は機械音の繰り返し周期及び位相に合わせて設計する。具体的にはMn(τ)=δ(mod(τ―s,K)=0)とする。ここで，δ(x)はxが真であれば1，偽であれば0を返す論理関数とする。mod(x,y)は、xをyで割った余りを返す関数とする。Kは、繰り返し周期，sは位相とする。sは0からK-1までの値とする。Kは1からFまでの値に設定する。機械音を発生させるモーターの回転数に応じて，Kを限定しても良い。設定するKとsの組み合わせによりマスクの数Nを決めるものとする。

Mn(τ)に合致する周期及び位相の機械音は，

で定義されるCが１に近い値となると考えられる。しかし，音声信号も繰り返し構造を持つことから，Cでは，音声信号と機械音の区別をつけることは困難である。音声信号はピッチ周波数によって決まる周期で決まる繰り返し構造を持つが，時間毎のスペクトルは，音韻によって決まる構造を持つ。音声信号の音韻はダイナミックに変化するため，音声信号は繰り返し構造を持つ一方で，時変のスペクトル形状を持つ信号となる。これに対して，機械音は，繰り返し構造を持つことに加え，スペクトル形状が筐体の振動モードにより決まる時不変な形状となるため，時不変のスペクトル形状を持つ信号となると考えられる。本発明ではこのことを利用し，機械音の繰り返し構造に加えて，時不変性を評価する尺度

で定義されるＤを使って機械音判別を行う。ここで，Ａ（ｆ）は

で定義される平均スペクトルである。時変のスペクトル形状を持つ信号の場合，時間毎の機械音スペクトルとA(f)との間には乖離があると考えられる。したがってＤは０より大きい値をとる。これに対して，時不変のスペクトル形状を持つ信号の場合，時間毎の機械音スペクトルとA(f)との間には乖離が少なく，Ｄは０に近い値をとる。またＤの算出において，

及び

のように関数gを導入しても良い。例えば，gを対数関数に設定することにより，対数スペクトル距離を評価尺度として用いることができる。gは逆関数g-1が定義されているものとする。対象とする機械音の性質に応じて切り替えて用いることが望ましい。

繰り返しマスク重畳部５０２−１から５０２−Ｎは，マスク毎にＤと平均スペクトルA(f)を算出して出力する。最小マスク判定部５０３では，各マスク重畳部で算出したＤのうち最小の値をとるＤとその最小値を与えるマスクのインデックスを算出する。ここで，最小のＤをDmin,最小値を与えるマスクのインデックスをnminとする。またnminに対応する平均スペクトルA(f)もあわせて出力する。マスク閾値判定部５０４は，Dminが予め定める閾値以下かどうかを判定し判定結果と平均スペクトルA(f)を出力する。仮機械音判定５０６は，Dminが予め定める閾値以下である場合に機械音が見つかったと判断し，その場合は，仮機械音データベース５０５に登録されている仮の機械音スペクトルと見つかった機械音のスペクトルとを照らし合わせ，類似の機械音が存在するかどうかを探索する。ここで，仮機械音データベース５０５に登録されている機械音の数をTとする。それぞれの機械音について，その機械音が検出された回数，及びその機械音の平均スペクトルAt(f)，その機械音が最後に検出された時刻の情報が記憶されているものとする。

Dminが予め定める閾値より大きい場合には、機械音が見つからなかったとみなし、その場合は何も処理を行わず、機械音の平均スペクトルを出力しない。機械音が見つかった場合は，仮機械音ごとに，入力信号から得られた機械音スペクトルとの距離Et=|A(f)-At(f)|^2を算出する。Etが最小となるような仮機械音(インデックスをtminとする)を算出し，距離Etが予め定める閾値以下であれば，tminの仮機械音が発生したと判断し、その仮機械音の平均スペクトルを

で更新するとともに，その仮機械音の検出回数Utminを１インクリメントする。またその機械音が最後に検出された時刻を現在の時刻に設定する。検出回数Utminが予め定める閾値を越えた場合、機械音データベース４０４に存在するR個の各機械音(インデックスをr，平均スペクトルをAr(f)と表記する)とtminに相当する仮機械音との間の距離Er=|Ar(f)-Atmin(f)|^2の距離が最小となる機械音を算出する。その距離が予め定める閾値以下である場合，その機械音のスペクトルとtminに相当する仮機械音スペクトルの重みつき平均を新しい機械音スペクトルとし，機械音データベース４０４の情報を更新する。重みつき係数は予め定める。また，距離Erが予め定める閾値より大きい場合，仮機械音を新しい機械音とみなして，機械音データベース４０４に登録する。その後、見つかった仮機械音を仮機械音データベース５０５から削除し終了する。

機械音データベース４０４のデータ構造を図８に示す。機械音毎にその機械音の周波数毎の音量が記載されているような構造となる。距離Etが予め定める閾値より大きい場合は，新しい仮機械音が発生したと判断し，A(f)を仮機械音データベース５０５に登録する。登録された機械音の数がＴからＴ＋１に増加する。また登録する機械音の検出回数を１，最後に検出された時刻を現在の時刻に設定する。この場合，真の機械音が見つかったことを表すフラグ及び真の機械音の平均スペクトルを出力しない。

図６は，簡易型機械音判定部６０１のブロック構成を示した図である。入力は，一定長の音声信号x(t)とする。ここで，x(t)は，バッファ中のデジタル化されたtサンプル目の音圧値とする。tは1からLまでの値を取るものとし，Lはバッファ長と一致する。

バッファリングされた音声信号は，サブバンド化部６０２に送られ，短時間フーリエ変換により，時間周波数領域信号に変換される。ここで，短時間周波数分析の窓長をLfとし，短時間周波数分析のフレームシフト長をLsとする。ここで，F=floor((L-Lf)/Ls)+1とする。floor(x)は，x以下の最大の整数を返すインデックスとする。Fは，バッファリングした音声サンプルから生成する短時間周波数信号のフレーム数に一致する。短時間周波数分析後の音声信号をx(f,τ)と表記する。ここで，fは短時間周波数分析により離散化された周波数，τはフレームインデックスとする。τは1からFまでの値を取るものとする。

サブバンド化部６０２では，短時間フーリエ変換後の離散化した周波数の集合を，Ｋ個のサブバンドに分割する。サブバンド化は，各サブバンドに含まれる周波数の範囲が等しくなるように分割しても良いし，周波数の範囲の対数値が等しくなるように分割しても良い。後者は人間の聴覚特性と対応し，機械音除去後の音声が聞きやすい音声になることが期待できる。最小内積機械音算出部６０３−１からKまでは，サブバンド毎に機械音データベース４０４に記憶されている機械音情報を読み込み，入力信号と比較する。ここで，機械音データベース４０４に登録されている機械音の数をRとし，k番目のサブバンドを構成する周波数範囲をfs(k)からfe(k)とする。機械音r毎に

で内積値I(r,k,τ)を算出する。K，フレーム毎にI(r,k,τ)を最大とするようなrを算出し，その値をrmax(k,τ)とする。I(rmax(k),k，τ)とrmax(k，τ)を出力して処理を終了する。

図７は，機械音除去部４０７の詳細ブロック構成を示した図である。入力は，一定長の音声信号x(t)とする。ここで，x(t)は，バッファ中のデジタル化されたtサンプル目の音圧値とする。tは1からLまでの値を取るものとし，Lはバッファ長と一致する。バッファリングされた音声信号は，周波数分析部７０６に送られ，短時間フーリエ変換により，時間周波数領域信号に変換される。ここで，短時間周波数分析の窓長をLfとし，短時間周波数分析のフレームシフト長をLsとする。ここで，F=floor((L-Lf)/Ls)+1とする。floor(x)は，x以下の最大の整数を返すインデックスとする。Fは，バッファリングした音声サンプルから生成する短時間周波数信号のフレーム数に一致する。短時間周波数分析後の音声信号をx(f,τ)と表記する。ここで，fは短時間周波数分析により離散化された周波数，τはフレームインデックスとする。τは1からFまでの値を取るものとする。

非線形抑圧ゲイン算出部７０２−１からKは，簡易型機械音判定部が出力するサブバンド毎のI(rmax(k),k，τ)とrmax(k，τ)から雑音除去用の雑音信号N(f，τ)を

で算出する。ここで，zは入力信号に対して単調増加な関数とする。入力が0の時にz=0，１の時に1となるような任意の関数（例えば１次関数またはシグモイド関数）を用いることができる。

周波数毎目的音量算出部７０３では，時間周波数毎のマイクロホン入力信号中の目的音量S(f)を

で推定する。ウィナーゲイン算出部７０４では，周波数毎に雑音抑圧用のゲイン関数w(f)を

で推定する。ここで，μは雑音抑圧量を制御するためのパラメータである。μが大きい程雑音抑圧量は大きくなるが，出力音声の歪みも大きくなる。ウィナーゲイン算出７０４は、w(f,τ)を出力して終了する。ウィナーゲイン重畳部７０５は，マイクロホン入力信号x(f,τ)にw(f,τ)を重畳し，雑音抑圧後の信号y(f,τ)=w(f,τ)x(f,τ)を得る。

図９に機械音除去前後のスペクトル例を示す。上段が機械音除去前のスペクトルであり，下段が機械音除去後のスペクトルである。高域の繰り返し構造を持った音が機械音であり，機械音除去を行うことで，機械音が除去できていることが分かる。

図１０は，外部から機械音の発生シグナルが得られる場合の機械音除去の構成を示した図である。音声取り込み部１００１は，マイクロホンから入力される音声信号を時々刻々デジタルデータに変換したデジタル信号を取り込む。デジタル信号の取り込みは、１サンプル毎に行っても良いし，複数サンプルまとめて取り込んでも良い。音声バッファリング部１００２は，取り込んだデジタルデータに変換された音声信号を揮発性メモリ（バッファ）内に蓄える。音声信号を蓄えるバッファは、先入れ先出し方式のバッファとし，バッファ長は予め設定しておく。すなわち、音声バッファリング部１００２は，最新の音声信号からある一定時間遡った音声信号を全て記憶しておくことになる。

新しい音声サンプルがLsサンプル溜まるたびに，機械音検出部１００３は，バッファリングした音声信号中に含まれる機械音の量とそれ以外の音声信号の量を算出し，機械音の量がそれ以外の信号の量と比べて十分に大きい場合，機械音データベース１００４に，検出した機械音を登録する。または，すでに機械音データベース１００４に類似の機械音が登録されている場合，すでに登録されている機械音の情報に新しく検出した機械音の情報を追加して記憶する。簡易型音声バッファリング部１００５は，音声バッファリング部１００２と同様に，音声取り込み部４０１が取り込んだ音声信号をある一定時間揮発性メモリ内に取り溜める。新しい音声サンプルがLsサンプル溜まるたびに，簡易型機械音判定部１００６は，取り溜めた音声信号中に機械音が存在するかを判定する。判定は，機械音データベース１００４に記憶されている機械音の情報を参照する形で行われる。

簡易型機械音判定部は，判定結果を出力する。機械音除去部１００７は，判定結果と，機械音データベース４０４から引き出された、存在すると判定された機械音に関する情報とを利用し，簡易型音声バッファリング部１００５中が出力する音声信号中の機械音を除去する。

本構成の機械音除去部は，外部からの機械音発生シグナルを利用してウィナーフィルタの抑圧係数を変更する点が前述した機械音除去部の構成と異なる。具体的には機械音除去部のウィナーゲイン算出及びウィナーフィルタ重畳において図１１に示す処理フローが加わる。ウィナーゲイン算出１１０１では、

に基づきウィナーフィルタのゲインを算出する。その後、外部からの機械音発生シグナルがあるかどうかを確認し（１１０２），無い場合にはウィナーフィルタゲインw(f)を全ての周波数において１にする。発生シグナルがある場合は，ウィナーフィルタゲインw(f)の変更は行わない。その後、ウィナーゲイン重畳１１０４で入力信号にウィナーゲインを重畳して雑音抑圧後の信号を得て終了する。

図１２は，予め取り溜めた音声中の機械音を除去する構成を示している。本構成はユーザーが後処理で機械音除去を行うかどうかを切り替えることができ，機械音が大きい時間帯のみ機械音を強く除去するなどの制御を行うことが出来る。音声取り込み部１２０１では，複数ポイントの音声信号をＡＤ変換装置から取り込み，音声記憶部１２０２では，記憶媒体上の音声データベース１２０３に取り込んだ音声波形を逐次記憶していく。同時に機械音検出部１２０４で機械音検出処理を行い、検出した機械音を機械音データベース１２０５に書き込んでいく。機械音除去部１２０６はユーザーリクエストのあった時間帯の音声波形を音声データベース１２０３から読み出し機械音除去処理を実行する。音声再生部１２０７では，機械音除去後の音声信号をＡＤ・ＤＡ変換装置を介しスピーカから放射する。

図１３は本発明を機械の異常音検出に応用した実施例のハードウェア構成を示した図である。マイクロホン１３０１で取り込んだアナログの音声信号は，AD/DA変換装置１３０２を介し，アナログ信号からデジタル信号に変換されて，中央演算装置１３０３を経由して揮発性メモリ１３０４に取り込まれる。記憶媒体１３０５に書き込まれたプログラムを中央演算装置１３０３がロードし，異常検出処理を施した後，検出結果をネットワーク１３０６を経由してサーバーに送信する。

図１４は機械の異常音検出装置のソフトウェアのブロック構成を示した図である。音声取り込み部１４０１で取り込んだ音声波形は音声バッファリング部１４０２に送られ複数ポイント溜められる。複数ポイントデータが溜まる毎に機械音検出部１４０３にデータが送られ機械音検出処理が施される。検出された機械音は機械音データベース１４０４に書き込まれる。一方，平行して簡易型音声バッファリング部１４０５も複数ポイントの音声波形を読み込み，一定量溜まるごとに，簡易型機械音判定部１４０６でその音声信号中に機械音が存在するかどうか判定する。機械音が存在する場合，異常検出部１４０７では，前述の機械音除去部と同様の方法で機械音を除去した信号を取り出した後，その信号の音量が予め定める値以上か以下かを判定する。予め定める値以上の場合，何か異常な音が発生したと判断しその判断結果を出力する。それ以外のケースは，異常な音が発生していないと判断しその判断結果を出力する。

101…ビデオカメラ筐体、102…マイクロホン、103…カメラノーズ、301…マイクロホン、302…AD/DA変換装置、303…中央演算装置、304…揮発性メモリ、305…記憶媒体、401…音声取り込み部、402…音声バッファリング部、403…機械音検出部、404…機械音データベース、405…簡易型音声バッファリング部、406…簡易型機械音判定部、407…機械音除去部、501…機械音検出部、502…繰り返しマスク重畳部、503…最小マスク判定部、504…マスク閾値判定部、505…仮機械音データベース、506…仮機械音判定登録処理部、507…機械音データベース、509…短時間周波数分析部、601…簡易型機械音判定部、602…サブバンド化、603…最小内積機械音算出、604…機械音データベース、701…機械音除去部、702…雑音量算出、703…周波数毎目的音量算出、704…ウィナーゲイン算出、705…ウィナーゲイン重畳、706…周波数分析部、1001…音声取り込み部、1002…音声バッファリング部、1003…機械音検出部、1004…機械音データベース、1005…簡易型音声バッファリング部、1006…簡易型機械音判定部、1007…機械音除去部、1101…ウィナーゲイン算出、1103…ウィナーゲインを１にする、1104…ウィナーゲイン重畳、1201…音声取り込み部、1202…音声記憶部、1203…音声データベース、1204…機械音検出部、1205…機械音データベース、1206…機械音除去部、1207…音声再生部、1301…マイクロホン、1302…AD/DA変換装置、1303…中央演算装置、1304…揮発性メモリ、1305…記憶媒体、1306…ネットワーク、1401…音声取り込み部、1402…音声バッファリング部、1403…機械音検出部、1405…簡易型音声バッファリング部、1406…簡易型機械音

Claims (16)

1. 入力された音を信号に変換する入力部と、
   前記信号から、前記信号中に含まれる一定周期で繰り返し発生する音の信号に基づいて、機械音と推定される機械音信号を検出する機械音検出部と、
   検出された前記機械音信号を前記信号中から除去する機械音除去部と、を有することを特徴とする機械音除去装置。
2. 請求項１に記載の機械音除去装置であって、
   前記信号から検出された前記機械音信号の情報を記憶する記憶部と、
   該記憶部に記憶された前記機械音信号の情報に基づいて、前記入力部から入力された信号中に前記機械音信号が存在するかを判定する機械音判定部と、を有し、
   前記機械音除去部は、前記機械音判定部により存在すると判定された前記機械音信号を前記信号中から除去することを特徴とする機械音除去装置。
3. 請求項１に記載の機械音除去装置であって、
   前記機械音除去部によって前記機械音信号が除去された前記信号の情報を記憶する記憶部を有することを特徴とする機械音除去装置。
4. 請求項１に記載の機械音除去装置であって、
   前記機械音検出部は、所定の時間周期から構成されるマスクパターンを前記信号に重畳し、重畳して得られた重畳信号の音量と前記信号の音量との比率に基づいて、機械音と推定される前記機械音信号を検出することを特徴とする機械音除去装置。
5. 請求項１に記載の機械音除去装置であって、
   前記機械音検出部は、前記信号中に含まれる一定周期で繰り返し発生する音のスペクトル形状の定常性に基づいて、機械音と推定される前記機械音信号を検出することを特徴とする機械音除去装置。
6. 請求項２に記載の機械音除去装置であって、
   前記機械音判定部は、前記記憶部から、前記信号とのパワースペクトルの内積が最大となる機械音信号の情報を選択し、該選択された機械音信号を前記信号中に含まれる機械音信号として判定し、
   前記機械音除去部は、該判定された機械音信号を前記信号中から除去することを特徴とする機械音除去装置。
7. 請求項１に記載の機械音除去装置であって、
   前記機械音検出部は、前記信号中に含まれる一定周期で繰り返し発生する音の音量と、 前記信号中に含まれる一定周期で繰り返し発生する音以外の音量との比率に基づいて、機械音と推定される前記機械音信号を検出することを特徴とする機械音除去装置。
8. 入力された音を信号に変換する入力部と、
   前記信号から、前記信号中に含まれる一定周期で繰り返し発生する音の信号に基づいて、機械音と推定される機械音信号を検出する機械音検出部と、
   検出された前記機械音信号の情報を記憶する記憶部と、を有することを特徴とする機械音検出装置。
9. 請求項８に記載の機械音検出装置であって、
   前記記憶部に記憶された機械音信号の変化を、前記機械音検出部によって検出された機械音信号に基づいて検出することを特徴とする機械音検出装置。
10. 請求項８に記載の機械音検出装置であって、
    前記機械音検出部は、所定の時間周期から構成されるマスクパターンを前記信号に重畳し、重畳して得られた重畳信号の音量と前記信号の音量との比率に基づいて、機械音と推定される前記機械音信号を検出することを特徴とする機械音検出装置。
11. 請求項８に記載の機械音検出装置であって、
    前記機械音検出部は、前記信号中に含まれる一定周期で繰り返し発生する音のスペクトル形状の定常性に基づいて、機械音と推定される前記機械音信号を検出することを特徴とする機械音検出装置。
12. 映像を撮像する映像撮像装置において、
    入力された音を信号に変換する入力部と、
    前記信号から、オートフォーカス又はズームの際に前記映像装置から生ずる駆動音の信号を、前記信号中に含まれる一定周期で繰り返し発生する音の信号に基づいて検出する駆動音検出部と、
    検出された前記駆動音信号を前記信号中から除去する駆動音除去部と、を有することを特徴とする映像撮像装置。
13. 請求項１２に記載の映像撮像装置であって、
    前記信号から検出された前記駆動音信号の情報を記憶する記憶部と、
    該記憶部に記憶された前記駆動音信号の情報に基づいて、前記入力部から入力された信号中に前記駆動音信号が存在するかを判定する駆動音判定部と、を有し、
    前記駆動音除去部は、前記駆動音判定部により存在すると判定された前記駆動音信号を前記信号中から除去することを特徴とする映像撮像装置。
14. 請求項１２に記載の映像撮像装置であって、
    前記駆動音除去部によって前記駆動音信号が除去された前記信号の情報を記憶する記憶部を有することを特徴とする映像撮像装置。
15. 請求項１２に記載の映像撮像装置であって、
    前記駆動音検出部は、所定の時間周期から構成されるマスクパターンを前記信号に重畳し、重畳して得られた重畳信号の音量と前記信号の音量との比率に基づいて、駆動音と推定される前記駆動音信号を検出することを特徴とする映像撮像装置。
16. 請求項１２に記載の映像撮像装置であって、
    前記駆動音検出部は、前記信号中に含まれる一定周期で繰り返し発生する音のスペクトル形状の定常性に基づいて、駆動音と推定される前記駆動音信号を検出することを特徴とする映像撮像装置。