JP2019070688A - 撮像装置 - Google Patents

Abstract

【課題】主被写体音声が小さい場合でも、適切な雑音低減処理を可能とする。【解決手段】雑音タイミング信号を元に、逐次適応的にフィルタ係数を更新し、線形フィルタリング処理する事で雑音低減する雑音低減処理手段と、前記雑音低減処理手段の出力の音圧レベルを検出する音圧レベル検出手段と、適応フィルタ係数から音声の特徴量を求める音声特微量算出手段と、前記音声特微量算出手段で求めた特微量と前記音圧レベル検出手段で求めた音圧レベルにより暗騒音フィルタの特性を制御する暗騒音フィルタ制御手段と、前記暗騒音フィルタ制御手段から得られたフィルタ係数により暗騒音を低減するフィルタを持つ暗騒音低減手段を有し、音圧レベル検出手段から得られる音圧レベルと音声特徴量から暗騒音低減効果を制御する。【選択図】 図１

Description

本発明は撮像装置に関する。

室内で音声録音を行う場合に、設置されている機器から発せられる空調音や電子音等の暗騒音が録音されてしまう場合がある。暗騒音を低減させる手段として、特許文献１の様な方法や、ある周波数帯域のみを通過して、その他の周波数帯域の信号を除去するバンドパスフィルタを掛け合わせ、なるべく暗騒音を低減させる方法があった。

また、音声信号処理には、音声の音圧レベルを一定に保つことで人間にとって聞きやすい音声を出力する機能であるＡｕｔｏＬｅｖｅｌＣｏｎｔｒｏｌ(ＡＬＣ)機能が付加されている。

従来、主音声、例えば被写体の声がない場合では、ＡＬＣがゲインを上げるように働く事で暗騒音が強調されて録音されることがある。この時、暗騒音フィルタであるバンドパスフィルタの帯域幅をＡＬＣ前の音圧レベルによって制御し、より効果的な暗騒音フィルタを実現している。例えば、音圧レベルが小さければ暗騒音フィルタの通過帯域を狭めることで暗騒音を低減させ、音声レベルが大きければ暗騒音フィルタの通過帯域を広げることで、劣化の少ない音声を得るように制御している。

特開２００７−１７４１５５号公報

しかしながら、主音声が少しでも含まれた音声では、ＡＬＣ前の音圧レベルから暗騒音フィルタの帯域幅を制御すると、主音声が消えてしまう可能性があった。

撮像手段の動作に伴って音声を入力する音声入力手段と、録音中に撮像装置から発生する雑音のタイミングを検知する雑音タイミング検知手段と、前記音声入力手段から入力された音声データが前記雑音タイミング検知手段からの雑音タイミング信号を元に、逐次適応的にフィルタ係数を更新し、線形フィルタリング処理する事で雑音低減する雑音低減処理手段と、前記雑音低減処理手段の出力の音圧レベルを検出する音圧レベル検出手段と、前記雑音低減処理部からの出力である適応フィルタ係数から音声の特徴量を求める音声特微量算出手段と、音圧を一定レベルで出力し聴感を良好に保つためのオートレベルコントロール手段と、前記音声特微量算出手段で求めた特微量と前記音圧レベル検出手段で求めた音圧レベルにより暗騒音フィルタの特性を制御する暗騒音フィルタ制御手段と、前記暗騒音フィルタ制御手段から得られたフィルタ係数により暗騒音を低減するフィルタを持つ暗騒音低減手段を有し、前記暗騒音低減手段は前記音圧レベル検出手段から得られる音圧レベルと前記音声と首量算出手段から、暗騒音低減効果を制御する。

主被写体音声が小さい場合でも、適切な雑音低減処理をすることが出来る。

本発明における撮像装置のブロック図。 本発明における音声処理部のブロック図。 適応フィルタの構成例を示した説明図。 適応フィルタの構成例を示した説明図。 適応フィルタのフィルタ係数更新を説明する図。 従来の暗騒音フィルタ制御を説明する図。 実施例１おける暗騒音フィルタ制御を説明する図。 本発明における暗騒音フィルタの制御を説明するフローチャート。 実施例２おける暗騒音フィルタ制御を説明する図。

以下、本発明に関わる例示的な実施の形態を、図面に基づいて詳細に説明する。本発明の撮像装置に適用した実施例１について説明する。図１は、本実施例の撮像装置を表すブロック図である。

図１における撮像装置は騒音低減装置を備え、主に、音声処理部１０７で雑音低減を行っている。撮像装置１００は、レンズ部１０１、モータ１０２、レンズ制御部１０３、撮像部１０４、画像処理部１０５、音声入力部１０６、音声処理部１０７、表示部１０８、通信部１０９、記録再生部１１０、記録部１１１、制御部１１２、操作部１１３、画像出力部１１４、音声出力部１１５、メモリ１１６、メモリバス１１７から構成される。以下に説明する多くの構成要素はメモリバス１１７に接続され、メモリ１１６に対してデータのやり取りを行なっている。

メモリ１１６は高速でランダムアクセス可能なダイナミックＲＡＭである。メモリ内は音声データ領域、画像データ領域、制御信号領域がある。また、音声データ領域に記憶された音声データ、及び画像データ領域に記憶された画像データ、タイミング信号領域のタイミング信号はフレーム毎にどの時刻のデータであるかを識別するように管理されている。

図１において、レンズ１０１は、レンズ制御部１０３で制御されたモータ１０２によりズーム動作を行う。また、レンズ制御部１０３は、レンズからの入光量や被写体の周囲の明るさに応じて絞りを自動調整するように制御を行う。撮像部１０４はレンズ１０１を介して結像された被写体の光学像をＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により光電変換してアナログ画像信号を生成し、生成された、アナログ画像信号をデジタル信号に変換して、画像処理部１０５に送信する。

画像処理部１０５は、入力されたデジタル画像信号に、設定値に応じたホワイトバランスや色、明るさ等を調整する画質調整処理を施し、メモリ１１６に送信し、メモリ１１６内の画像データ領域に記憶する。

音声入力部１０６は内蔵されたマイクロホンまたは音声入力端子を介して接続された外部マイク等である。音声処理部１０７は、音声入力部１０６で装置周囲の音声を集音したアナログ音声信号をデジタル信号に変換し、レベルの適正処理、特定周波数の低減処理等の音声に関する処理を行い、メモリ１１６に送信し、メモリ１１６内の音声データ領域に記憶する。または、後述する通信部１０９からメモリ１１６の音声データ領域に記憶された音声データを読み出し、同様な処理を施し、再度メモリ１１６の音声データ領域に記憶する事も可能である。

表示部１０８は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスで有れば何であっても良い。例えば、画像処理部１０５からメモリ１１６の画像データ領域に一時的に記憶し、表示部は画像データ領域から画像データを読み出して上記ディスプレイに表示させる。

通信部１０９は、外部装置との間で通信を行うもので、例えば、音声信号、画像信号、撮影開始、終了コマンド等の撮影動作の為の制御信号等を送受信する。通信部１０９は、例えば、赤外線通信モジュールや無線ＬＡＮモジュール等の無線通信モジュールである。

記録再生部１１０は記録部１１１に記録された画像データを読み出し（再生し）、表示部１０８や画像出力部１１４に送信する。記録部１１１は、半導体メモリ等あらゆる方式の記録媒体であってよく、複数の記録媒体であってよい。画像出力部１１４は、例えば画像出力端子からなり、撮像装置１００に接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。

音声出力部１１５は、例えば、音声出力端子からなり、メモリ１１６の音声データ領域に記憶されている音声データを読みだして、撮像装置１００に接続されたイヤホンやスピーカ等から音声を出力する為に音声信号を送信する。また、音声出力部１１５は、撮像装置１００に内蔵され、音声信号に応じた音声を出力するスピーカであっても良い。また、画像出力部１１４及び音声出力部１１５は、統合された１つの端子、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のような端子であっても良い。

操作部１１３は、例えば、ボタンやダイヤル等であり、ユーザの操作に応じた指示信号を制御部１１２に送信する。制御部１１２は、操作部１１３から送信された指示信号に基づいて、撮像装置１００の各ブロックに制御信号を送信することで、各ブロックを制御する。操作部１１３は、例えば、電源ボタン、記録開始ボタン、メニュー表示ボタン、決定ボタン、カーソールキー、タッチパネル等である。また、制御部１１２は、各種処理を実行する為の、例えばＣＰＵ、ＤＲＡＭ、ＳＲＡＭ等からなる。メモリバス１１７は、各種データや、制御信号を撮像装置１００の各ブロックに送信する。

ここで、音声処理部１０７の内容について図２を用いて説明する。音声処理部１０７は、短期雑音低減処理部２０１、音声特徴判定部２０２、音声レベル測定部２０３、オートレベルコントロール（ＡＬＣ）部２０４、暗騒音フィルタ制御部２０５、暗騒音フィルタ部２０６から構成されている。短期雑音低減処理部２０１は、主に、撮像装置で動画を録画している時に、交換式レンズの絞り音等の短期雑音が生じた場合に、雑音低減処理を施す機能である。図３は短期雑音低減処理部２０１の内部構成を表し、以下に詳細な説明をする。

（適応アルゴリズムによる短期雑音低減処理について）
適応アルゴリズムを用いた短期雑音低減処理を説明する。図３Ａ（ａ）は適応フィルタの構成例を示した説明した図である。

適応フィルタは図３Ａ（ａ）の様に、例えば、ＦＩＲフィルタを構成している。短期雑音低減処理部２０１に入力された音声データに対しシフトレジスタ３０４を用いてデータを遅延させ、複数タップのフィルタ係数ｈ（ｍ）を各データに乗算し、全タップ数分のデータの和を求める事で、雑音低減処理をする。

またフィルタ係数算出部３０６は入力信号と適応フィルタの出力の差分値（所望のデータとの誤差値）を求め差分値が小さくなるように随時適応フィルタのフィルタ係数を適応的に調整する。

（フィルタ係数の更新）
適応アルゴリズムについて説明する。ここでは、図３Ａ（ａ）におけるフィルタ係数算出部３０６の内部処理である。

図1の音声入力部１０６から得られた観測信号ｘ（ｋ）とし、その信号が所望の信号ｓ（ｋ）と雑音源ｎ（ｋ）との和で表されると考える。

雑音現ｎ（ｋ）が無くなれば理想の音声を得ることが出来ると考えると、観測信号ｘ（ｋ）と適応フィルタの出力ｙ（ｋ）の差分値ｅ（ｋ）が雑音源ｎ（ｋ）と等しくなれば良い事が（３）式から得られる。

そこで（２）式と（４）式を用いて、差分値ｅ（ｋ）の２乗平均誤差の最小を求める。

適応フィルタのフィルタ係数を定数と考えて、（５）式を偏微分すると

となる。（６）式は適応フィルタの係数ｈに対するｅ^２（ｋ）の傾きであることから図４の様に、（６）式とは逆符号の方向にフィルタ係数を更新する。ここでは最急降下法を用いた適応アルゴリズムを用いる。

（７）式において右辺第２項の式が０となる迄更新する。あるいは（７）式の右辺第２項が閾値以下になる迄、また更新する回数を予め決めておいても良い。μは更新幅を表し、どのくらいパラメータを更新するかを制御する定数である。

（短期雑音処理）
図３Ａ（ｂ）、図３Ｂ（ｃ）は短期雑音低減処理２０１の構成例を示し、図３Ｂ（ｄ）は雑音タイミングによる適応処理の切り替えを示した図である。短期雑音低減処理部２０１の動作を図３Ａ（ｂ）、図３Ｂ（ｃ）、（ｄ）で説明する。

雑音がない場合の短期雑音低減処理２０１の動作を説明する。この時、スイッチ３０１は端子１側に、スイッチ３０２は端子０側に、スイッチ３０３は端子１側にスイッチする。

雑音が発生しない区間では、短期雑音低減処理部２０１の出力は観測信号ｘ（ｋ）をそのまま出力する。また、フィルタ出力y(ｋ)と入力ｘ（ｋ）の差分値を求め、フィルタ係数算出部３０６に入力して、常に適応フィルタのフィルタ係数を更新している状態しておく。これは雑音が入力されてからフィルタ係数を更新し始めると最適なフィルタ係数になるまでに時間がかかり、遅延が発生することを防止する為である。

次に雑音が入力された時の短期雑音低減処理２０１の動作を説明する。図３（ｄ）のように雑音タイミング２０７から雑音フラグ信号が短期雑音処理部２０１に入力されると、スイッチ３０１を端子０側に、スイッチ３０２を端子１側に、スイッチ３０３を端子０側にスイッチする。

この時、フィルタ係数算出部３０６によるフィルタ係数の更新は停止する。停止した時点のフィルタ係数と雑音区間前の音声データを用いて出力データ作成し、雑音区間のデータを適応フィルタ出力データと置き換える。

雑音低減処理は、予め一定期間を雑音低減処理すると設定しており、その期間が過ぎると、スイッチ３０１が端子１側に、スイッチ３０２が端子０側に、スイッチ３０３が端子１側に自動的にスイッチする。

音声特徴判定部２０２では、適応フィルタに用いるフィルタ係数より音響特性を判断し、後段の暗騒音フィルタ制御部２０５における帯域幅変更の指針とする。例えば、全タップ数分のフィルタ係数の値のＲＭＳ値を算出し、閾値よりも大きければ、暗騒音以外の音声が含まれるとして判断する。音圧レベル測定部２０３では、入力された音声の音圧レベルを測定する。

ＡＬＣ部２０４は、雑音低減処理を行った音声信号に対し、一定の音量になる様に調整する。例えば、マイクロホンで収音された音声が小さい時には、振幅を増幅し、適正な音量の場合には振幅の増幅率を元に戻す。また、一般的には、増幅率には上限が設けられている。

暗騒音フィルタ制御部２０５は、音声特徴判定部２０２から得られた主音声の特徴と音圧レベル測定部２０３から得られ、音圧レベルから暗騒音フィルタの帯域幅の制御を行う。

暗騒音フィルタ２０８について、図５を用いて説明する。暗騒音の周波数帯域は、ほぼ全周波数帯域に存在する。この暗騒音低減処理を行うため、暗騒音フィルタ部２０６では図５（ａ）の様に、ある周波数帯域、例えば人間の耳の感度が最も良いとされる２０００Ｈｚ（ｆ１）から４０００Ｈｚ（ｆ２）迄の周波数帯域を通過させるようなバンドパスフィルタが構成されており、なるべく暗騒音を取り除くような構成となっている。

また図５（ｂ）の様に予め音圧レベル測定部２０３で測定した音圧レベルを用いて、暗騒音フィルタ２０８の帯域幅を制御できるようになっている。例えば、音圧レベル測定部２０３で図５（ｂ）のレベル５０１よりも小さかった場合は、暗騒音フィルタ２０８の帯域幅を音圧に応じて狭めていく。また、音圧レベルがレベル５０１よりも大きい場合は、暗騒音自体が主音声に埋もれてしまい聞こえないため、帯域幅を一定にする。

以上の様に、暗騒音フィルタを制御する機能を暗騒音フィルタ制御１とする。但し、音圧レベルのみで暗騒音フィルタの帯域幅を制御すると、録音したい主音声が小さかった場合に、主音声を抑圧してしまう可能性がある。そこで、音声特徴判定部２０２で判定した音声の特徴を暗騒音フィルタ制御部２０５に入力し、音圧レベルとともに暗騒音フィルタの制御指針とする。

図６は、本発明の暗騒音フィルタ制御の一例を示した図である。例えば、主音声が入っているが、音圧レベルが小さいと判断された場合（図６のレベル６０１）は、暗騒音フィルタ通過帯域幅が広くなるように帯域幅を制御する閾値を変更し、制御開始位置を変更する。このように、暗騒音フィルタを制御する機能を暗騒音フィルタ制御２とする。

図７は本発明における暗騒音フィルタの制御を示したフローチャートである。７０１では、音声特徴判定部２０２において、暗騒音以外の音が入っているか適応フィルタ係数を用いて音声の特徴を検出し、タップ数分のフィルタ係数のＲＭＳ値を算出する。

７０２では、７０１で求めたＲＭＳ値が予め定めた閾値以上であれば、７０３へ移行する。またＲＭＳ値が閾値よりも小さい場合は、７０４へ移行する。７０３では、音圧レベル測定部２０３で測定した音圧レベルと７０２で音声特徴があると判断された場合に暗騒音フィルタ制御２を行う事とする。７０４では、音声特徴が検出されないとして、音圧レベルのみを指標とした暗騒音フィルタ制御１を行う。７０５では、７０３、７０４で制御した暗騒音フィルタを用いて暗騒音フィルタ部２０６で暗騒音低減処理を行う。

このように、適応フィルタ係数から音声の特徴を検出し、暗騒音フィルタの帯域幅を制御することにより、主音声が小さい場合あっても、適切な暗騒音低減処理が可能になる。

実施例２の撮像装置の構成例を表すブロック図は実施例１と同様に図１であり、説明は省略する。また、その他同様な処理についても省略する。本実施例では、暗騒音フィルタ帯域幅制御について説明する。

適応フィルタのフィルタ係数は音声データのインパルス応答と同等であることから、フーリエ変換処理を行い、周波数特性を求め、利得が大きな周波数を中心としたバンドパスフィルタを作成する構成を取る。

図８（ａ）は本実施例における暗騒音フィルタの一例である。暗騒音フィルタ８０１は遮断周波数８０３、８０５、中心周波数８０４のバンドパスフィルタである。

音声特徴判定部２０２で適応フィルタのフィルタ係数から、周波数特性を求める。この時、音声に主音声が含まれると判断された場合、求めた周波数特性から、最も利得が大きい周波数を中心として図８（ｂ）の様にバンドパスフィルタを制御する。図８（ｂ）では主音声の周波数特性のピークが図８（ａ）の暗騒音フィルタの中心周波数８０４よりも低かった場合の一例である。また、図８の暗騒音フィルタは、音圧レベル測定部２０３で求めた音圧レベルによってフィルタの帯域幅を制御することが出来る。

このように、適応フィルタ係数から音声の特徴を検出し、周波数特性を求める事で暗騒音フィルタの帯域幅を制御し、主音声の周波数帯域に適切な暗騒音低減処理が可能になる。

１００ 撮像装置
１０１ レンズ部
１０２ モータ
１０３ レンズ制御部
１０４ 撮像部
１０５ 画像処理部

Claims (8)

1. 撮像手段の動作に伴って音声を入力する音声入力手段と、
   録音中に発生する雑音のタイミングを検知する雑音タイミング検知手段と、
   前記音声入力手段から入力された音声データが前記雑音タイミング検知手段からの雑音タイミング信号を元に、逐次適応的にフィルタ係数を更新し、線形フィルタリング処理する事で雑音低減する雑音低減処理手段と、
   前記雑音低減処理手段の出力の音圧レベルを検出する音圧レベル検出手段と、
   前記雑音低減処理部からの出力である適応フィルタ係数から音声の特徴量を求める音声特微量算出手段と、
   音圧を一定レベルで出力し聴感を良好に保つためのオートレベルコントロール手段と、
   前記音声特微量算出手段で求めた特微量と前記音圧レベル検出手段で求めた音圧レベルにより暗騒音フィルタの特性を制御する暗騒音フィルタ制御手段と、
   前記暗騒音フィルタ制御手段から得られたフィルタ係数により暗騒音を低減するフィルタを持つ暗騒音低減手段を有し、
   前記暗騒音低減手段は前記音圧レベル検出手段から得られる音圧レベルと前記音声と首量算出手段から、暗騒音低減効果を制御することを特徴とする撮像装置。
2. 前記暗騒音低減手段は、バンドパスフィルタであることを特徴とする請求項１に記載の撮像装置。
3. 前記暗騒音フィルタ制御手段は、前記音圧レベル検出手段により検出したレベルが大きい場合には通過帯域を広くし、小さい場合は通過帯域を狭くすることを特徴とする請求項２に記載の撮像装置。
4. 前記暗騒音フィルタ制御手段は、前記音声特微量算出手段より求めた特微量のＲＭＳ値が閾値以上であった場合に主音声が含まれていると判断し、暗騒音フィルタの通過帯域を広く補正することを特徴とする請求項３に記載の撮像装置。
5. 撮像手段の動作に伴って音声を入力する音声入力手段と、
   録音中に撮像装置から発生する雑音のタイミングを検知する雑音タイミング検知手段と
   前記音声入力手段から入力された音声データが前記雑音タイミング検知手段からの雑音タイミング信号を元に、逐次適応的にフィルタ係数を更新し、線形フィルタリング処理する事で雑音低減する雑音低減処理手段と、
   前記雑音低減処理手段の出力の音圧レベルを検出する音圧レベル検出手段と、
   音圧を一定レベルで出力し聴感を良好に保つためのオートレベルコントロール手段と、
   前記雑音低減処理部からの出力である適応フィルタ係数からフーリエ変換処理を行い、音声の周波数特性を算出する音声特微量算出手段と、
   前記音声特微量算出手段で求めた周波数特性と前記音圧レベル検出手段で求めた音圧レベルにより暗騒音フィルタの中心周波数と帯域幅を制御する暗騒音フィルタ制御手段と、
   前記暗騒音フィルタ制御手段から得られたフィルタ係数により暗騒音を低減するフィルタを持つ暗騒音低減手段を有し、
   前記暗騒音低減手段は前記音圧レベル検出手段から得られる音圧レベルと前記音声と首量算出手段から、暗騒音低減効果を制御することを特徴とする撮像装置。
6. 前記暗騒音低減手段は、バンドパスフィルタであることを特徴とする請求項５に記載の撮像装置。
7. 前記暗騒音フィルタ制御手段は、前記音圧レベル検出手段により検出したレベルが大きい場合には通過帯域を広くし、小さい場合は通過帯域を狭くすることを特徴とする請求項６に記載の撮像装置。
8. 前記暗騒音フィルタ制御手段は、前記音声特微量算出手段より求めた音声の周波数特性によって、主音声が多く含まれる周波数帯域を求め、前記暗騒音低減手段のフィルタ特性である中心周波数を主音声が多く含まれる周波数帯域へ移行し、主音声の聴感を良くすることを特徴とする請求項７に記載の撮像装置。