JP2023077339A - 撮影装置、制御方法、およびプログラム - Google Patents
撮影装置、制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2023077339A JP2023077339A JP2021190620A JP2021190620A JP2023077339A JP 2023077339 A JP2023077339 A JP 2023077339A JP 2021190620 A JP2021190620 A JP 2021190620A JP 2021190620 A JP2021190620 A JP 2021190620A JP 2023077339 A JP2023077339 A JP 2023077339A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- external
- audio
- microphone
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims description 13
- 230000005236 sound signal Effects 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims description 33
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 description 81
- 238000012545 processing Methods 0.000 description 54
- 238000012937 correction Methods 0.000 description 23
- 230000007613 environmental effect Effects 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】 過剰な雑音低減を抑制する。【解決手段】 撮影装置は、前記撮影装置の外部の音を収音する外部音声用マイクと、前記撮影装置の駆動部、または撮影装置に接続された外部装置の駆動雑音を取得する雑音参照マイクと、前記雑音参照マイクで取得される信号から前記駆動雑音に関する音声信号を算出する雑音算出手段と、前記雑音参照マイクで取得される信号に基づいて前記外部音声に関する音声信号を更新するか否かを判断する判断手段と、前記判断手段による判断の結果に基づいて前記外部音声に関する音声信号を更新する更新手段と、前記更新手段によって更新された前記外部音声に関する音声信号に基づいて、前記雑音算出手段で算出した雑音を前記外部音声用マイクで取得した信号から低減する雑音低減手段とを有する。【選択図】 図2
Description
本発明は雑音を低減することができる撮影装置に関する。
従来、外部音声を記録するための主マイクロホンのほかに、カメラ筐体内部に設置された雑音参照マイクを用いてレンズ駆動雑音を低減する処理を実行する処理が知られている。特許文献1では、雑音参照マイクから主マイクロホンの伝達系のインパルス応答を減算結果が最小になるように逐次推定し、レンズ駆動雑音を低減することが開示されている。
しかしながら、雑音参照マイクにはレンズ駆動雑音以外にもマイクの電気ノイズなどのセルフノイズや外部音声の漏れ込みといった、レンズ駆動以外の要因から発生した雑音が混入する。加えて、主マイクロホンによって取得された外部音声には、レンズ駆動雑音と同程度の周波数帯の音が含まれる場合がある。この場合に、主マイクロホンによって取得された外部音声に対して、その外部音声の大きさを考慮せずに雑音参照マイクを用いた減算処理を実施した場合、主マイクロホンの信号を過剰に低減しすぎてしまうおそれがあった。
そこで本発明では、過剰な雑音低減を抑制することを目的とする。
前記撮影装置の外部の音を収音する外部音声用マイクと、
前記撮影装置の駆動部、または撮影装置に接続された外部装置の駆動雑音を取得する雑音参照マイクと、
前記雑音参照マイクで取得される信号から前記駆動雑音に関する音声信号を算出する雑音算出手段と、
前記雑音参照マイクで取得される信号に基づいて前記外部音声に関する音声信号を更新するか否かを判断する判断手段と、
前記判断手段による判断の結果に基づいて前記外部音声に関する音声信号を更新する更新手段と、
前記更新手段によって更新された前記外部音声に関する音声信号に基づいて、前記雑音算出手段で算出した雑音を前記外部音声用マイクで取得した信号から低減する雑音低減手段と
を有することを特徴とする撮影装置。
前記撮影装置の駆動部、または撮影装置に接続された外部装置の駆動雑音を取得する雑音参照マイクと、
前記雑音参照マイクで取得される信号から前記駆動雑音に関する音声信号を算出する雑音算出手段と、
前記雑音参照マイクで取得される信号に基づいて前記外部音声に関する音声信号を更新するか否かを判断する判断手段と、
前記判断手段による判断の結果に基づいて前記外部音声に関する音声信号を更新する更新手段と、
前記更新手段によって更新された前記外部音声に関する音声信号に基づいて、前記雑音算出手段で算出した雑音を前記外部音声用マイクで取得した信号から低減する雑音低減手段と
を有することを特徴とする撮影装置。
本発明によれば、過剰な雑音低減を抑制することができる。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、以下、同一の構成については、同じ符号を付して説明する。
[第一の実施形態]
図1は本発明に係る音声処理装置の一例である撮影装置100の構成の一例を示すブロック図である。
図1は本発明に係る音声処理装置の一例である撮影装置100の構成の一例を示すブロック図である。
撮影装置100はレンズ部101、レンズ制御部102、撮像部103、画像処理部104、制御部105、操作部106、表示・再生部107、記録部108、音声処理部200、および収音部300からなる。
レンズ部101はレンズ制御部102からの信号に基づきオートフォーカスやズームなどの動作を行う。ここで、レンズ部101は撮影装置100に対して着脱可能なように構成されていてもよい。本実施形態では、レンズ部101は撮影装置100に接続されているものとして説明する。撮像部103は結像された被写体の光学像をCMOSセンサなどの撮像素子により撮像し、デジタル化した撮像信号を画像処理部104に出力する。画像処理部104は撮像部103から入力された撮像信号に画質調整を行い出力する。制御部105はプロセッサ等からなり、撮影装置100の各ブロックに制御信号を送る。操作部106はタッチパネルやダイヤルなどで、ユーザの撮影開始、終了指示、あるいは撮影設定などを入力する。表示・再生部107は撮影した画像、動画像を表示あるいは動画像に付随する音声信号を再生する。記録部108は撮影された画像、動画像を記録する。
図2を用いて、音声処理部200、収音部300について、詳細に説明する。
<音声処理部200の説明>
音声処理部200はA/D変換部201、波形切出部202、時間周波数変換部203、雑音検出部204、雑音比算出部205、雑音算出部206、外部環境音更新部207、雑音低減部208、音声補正部209、および周波数時間変換部210からなる。
音声処理部200はA/D変換部201、波形切出部202、時間周波数変換部203、雑音検出部204、雑音比算出部205、雑音算出部206、外部環境音更新部207、雑音低減部208、音声補正部209、および周波数時間変換部210からなる。
A/D変換部201は収音部300から入力される複数のマイクのアナログ信号を同じタイミングでサンプリングし、デジタル信号に変換する。図2では1つのブロックで表現されているが、収音部300からの入力チャンネル数に対応する数のA/D変換器を備える。変換したデジタルマイク信号は波形切出部202へ出力される。
波形切出部202はA/D変換部201から入力されたデジタル音声信号をチャンネルごとに所定の長さに切り出し、窓かけ処理を行い、時間周波数変換部203へ出力する。波形切出部202よる一連の処理は例えば、一般的な音声処理で使用されるハーフオーバラップ処理で行われる。本実施形態では、波形切出部202は、512サンプルごとに時間シフトしながら、1024サンプルで切り出しを行い、サイン窓あるいはハン窓で窓かけ処理を行って音声信号を出力する。以後、撮影が行われている間、信号処理は上記のサンプル数(以下、フレームと呼ぶ)単位で処理が行われる。
時間周波数変換部203は波形切出部202から入力された音声信号をフーリエ変換などの処理により時間領域の音声信号から周波数領域の音声スペクトルに変換する。外部音声用マイク301から入力された音声信号から生成された音声スペクトルは、外部環境音更新部207および雑音低減部208へ出力される。以下、外部音声用マイク301によって収音されるべき音声を外部音声または環境音という。一方で雑音参照マイク302から入力された音声信号から生成された音声スペクトルである雑音参照音スペクトルは、雑音検出部204、雑音比算出部205および雑音算出部206へ出力される。
雑音検出部204は、時間周波数変換部203から入力された雑音参照音スペクトルに基づいて雑音検出を行う。そして、雑音検出部204は、入力された雑音参照音スペクトルをフレームごとに雑音が検出されたか否かを判定する。本実施形態では、雑音検出部204は、雑音源であるレンズ部101などの駆動部の動作によって発生する一定時間継続される長期雑音と、駆動部の動作の開始や終了などによって発生する短期の雑音とをそれぞれ検出する。
また雑音検出部204は、雑音参照音スペクトルに基づき、背景雑音スペクトルを検出する。本実施形態では、背景雑音は、例えばマイクの電子ノイズやホワイトノイズなどの恒常的に存在する雑音である。ここで本実施形態の背景雑音スペクトルは、例えば、長期雑音および短期雑音が検出さなかったフレームの雑音参照音スペクトルを一定期間平均化することで算出される。
また雑音検出部204は、他の雑音検出処理を行ってもよい。例えば、雑音検出部204は、雑音が検出されたフレームより前に入力された一定期間(所定期間)の雑音参照音スペクトルを平均化したフレームを生成し、このフレームと雑音が検出されたフレームとの音声スペクトルの差分の平均値を算出する。そして、雑音検出部204は、算出された平均値が所定の閾値を超えたか否かによって雑音を検出する。また、雑音検出部204は、雑音の種類ごとに所定の閾値を複数設けて、雑音の種類を検出してもよい。また、雑音検出部204は、雑音の検出において、所定の周波数帯の音声スペクトルのみを用いてもよい。雑音検出部204によって検出された結果は雑音比算出部205および雑音算出部206へ出力される。
雑音比算出部205は、雑音検出部204において雑音が検出されたフレームの雑音参照音スペクトルと、背景雑音スペクトルとを用いて、雑音比を算出する。本実施形態では、雑音比は、雑音検出部204において雑音が検出されたフレームの雑音参照音スペクトルの周波数帯ごとの絶対値を、それぞれの周波数帯に対応する背景雑音スペクトルで除算した値の平均値として求められる。なお、雑音比の算出には所定の周波数帯域の雑音参照音スペクトル並びに背景雑音スペクトルのみを用いるように限ってもよい。算出された雑音比は、外部環境音更新部207へ出力される。
雑音算出部206は、雑音検出部204から入力された雑音参照音スペクトルから背景雑音スペクトルを減じることで、雑音参照マイク302の信号に含まれる雑音成分スペクトルを算出する。雑音成分とは、音声信号に含まれる雑音の音声信号である。雑音算出部206は、この雑音参照マイクから入力された音声信号の雑音成分を外部音声用マイク301から入力された音声信号に含まれる雑音成分に近づけるための補正を行う。ここで、雑音算出部206は、その補正のための補正係数テーブルを備え、雑音参照マイクから入力された音声信号の雑音成分スペクトルに応じた補正係数を乗ずることで補正後の雑音スペクトルを得る。雑音算出部206は補正後の雑音スペクトルを雑音低減部208へ出力する。
一方、外部環境音更新部207は、外部環境音スペクトルを記憶する記憶部(不図示)を有し、記憶された外部環境音スペクトルを適宜更新する。外部環境音スペクトルは、外部音声用マイクによって収音された音声信号を音声スペクトルに変換されたものである。外部環境音スペクトルは、動画像として記録される音声信号になるため、レンズ駆動雑音などのノイズを含まないことが望ましい。本実施形態では、外部環境音スペクトルへのレンズ駆動雑音の影響を低減するために、各処理フレームにおいて雑音比算出部205が算出した雑音比が所定の閾値未満である場合に、数式1に示すように外部環境音スペクトルを更新する。
[数式1] S′Senv(ω,t)=(SSenv(ω,t)*α+|Smic(ω,t)|)/(α+1)
[数式1] S′Senv(ω,t)=(SSenv(ω,t)*α+|Smic(ω,t)|)/(α+1)
ここで、Smic(ω,t)は外部音声用マイク301から入力された音声信号の音声スペクトル(外部音声スペクトル)、SSenv(ω,t)は外部環境音スペクトルである。ωは周波数、tは処理フレーム、αは所与の係数である。S′Senv(ω,t)は、更新された後の新しい外部環境音スペクトルである。このように、更新された後の新しい外部環境音スペクトルは、外部環境音スペクトルを加重平均したものである。尚、t=0つまり雑音低減処理開始時は、外部環境音スペクトルの初期値SSenv(ω,0)は、|Smic(ω,0)|としてもよい。あるいは、外部環境音スペクトルの初期値SSenv(ω,0)は、予め算出した外部音声用マイク301の暗騒音などの背景雑音の平均値を用いてもよい。
ここで数式1では、現在の処理フレームtにおける前フレームの外部音声スペクトルが次のフレームに与える影響は1/(α+1)となる。例えばα=1の場合、図4に示すように、ある1つのフレームの影響はフレームが1つ進むごとに半減することになる。このように、あるフレームにおいては直前のフレームほど影響が強く出ることになる。これにより、記録される音声の外部音声の変化への追従性が向上する。
なお、雑音比算出部205によって算出された雑音比が所定の閾値以上の場合は、外部音声用マイク301から入力された音声信号に雑音成分が多く含まれていることを意味するため、外部環境音更新部207による外部環境音スペクトルの更新は行われない。
雑音低減部208は、時間周波数変換部203から入力された外部音声スペクトルに対して、雑音算出部206から入力された補正後の雑音成分スペクトルを用いて雑音を低減し、雑音低減された音声スペクトルを生成する。雑音低減部208は雑音低減手段として例えばウィーナーフィルタを用いる。
音声補正部209は、雑音低減部208から入力された音声スペクトルと外部環境音更新部207で更新された外部環境音スペクトルとを周波数帯ごとに比較する。雑音低減部208から入力された音声スペクトルが外部環境音スペクトルより小さい帯域では、元々環境音に含まれているべき周波数の信号が過度に低減されている可能性が高い。そこで本実施形態では、音声補正部209は、雑音低減部208から入力された音声スペクトルの当該周波数帯において、音声スペクトルを下記の数式2を用いて補正する。
[数式2] S′S(ω,t)=(|SS(ω,t)|+|S′env(ω,t)|)/2*phas(SS(ω,t))
[数式2] S′S(ω,t)=(|SS(ω,t)|+|S′env(ω,t)|)/2*phas(SS(ω,t))
ここで、SS(ω,t)は雑音低減部208から入力された音声スペクトル、S′S(ω,t)は補正された雑音低減後の音声スペクトルである。phas(N)はNの位相成分を取り出すための関数(すなわち、各周波数成分の振幅を1にする関数)である。この処理により、過度な雑音低減が補正(抑制)されるため、音質の劣化を抑えることができる。なお、雑音低減部208から入力された音声スペクトルが外部環境音スペクトルに等しいか大きい帯域については補正を行わない。
音声補正部209は、補正処理を行ったか否かに関わらず、音声スペクトルを周波数時間変換部210へ出力する。
周波数時間変換部210は、音声補正部209から入力された音声スペクトルを逆フーリエ変換などの処理により時間領域の波形信号に変換する。本実施形態では、周波数時間変換部210は、ハーフオーバラップによってフレームを加算しながら出力する。
出力された信号は、記録部108で、画像処理部104からの画像信号とともに記録される。
<収音部300の説明>
収音部300は外部音声用マイク301と雑音参照マイク302からなる。
収音部300は外部音声用マイク301と雑音参照マイク302からなる。
外部音声用マイク301は2つのマイクからなり、主に被写体の音声を取得するように設置される。本実施形態では、2つのマイクは、ステレオ音声のRchとLchのそれぞれの音声信号に対応する音声を取得する。
雑音参照マイク302は、カメラ筐体内部の駆動雑音が主に取得できるように設置される。例えば、雑音参照マイク302は外部音声が入力されないように、外部との開口部を持たず、外装に遮蔽された状態で設置される。また、雑音参照マイクは外部音声用マイク301に入力される雑音により近い雑音を検出するため外部音声用マイク301の近傍に設置される。あるいは、雑音参照マイクは雑音をより正確に取得するため雑音源の近傍に設置されてもよい。
以上説明した各部の働きにより、外部音声マイクに入力される外部音声の音量に見合ったレンズ駆動雑音の低減が行われ過度な雑音削減を抑えることができるため、雑音低減後の音質劣化が抑制される。
図3は本実施形態の音声処理のフローチャートである。本フローチャートの処理は、動画像の録画の開始をトリガに実行される。以下の処理は、撮影装置100が有するプロセッサ等の制御部が、音声処理部200および収音部300等の撮影装置100の各部を制御することにより実現される。また、制御部は、撮影装置100に記録されたソフトウェアをメモリに展開して実行することで本フローチャートの処理を実現する。
ステップS101において、A/D変換部201の出力であるデジタル信号に対して波形切出部202で波形の切り出しが行われる。切り出された信号は時間周波数変換部203へ出力される。
ステップS102において、時間周波数変換部203に入力されたデジタル信号に対して高速フーリエ変換(FFT)処理が行われる。外部音声用マイク301の信号に対してFFT処理した信号は外部環境音更新部207および雑音低減部208へ出力され、雑音参照マイク302の信号に対してFFT処理した信号は雑音検出部204、雑音比算出部205および雑音算出部206へ出力される。
ステップS103において、雑音検出部204の雑音検出処理が行われる。ここで雑音が検出されなかったフレームから背景雑音スペクトルが求められ、雑音の検出結果とともに雑音比算出部205および雑音算出部206へ出力される。
ステップS104において、雑音比算出部205によって雑音比算出処理が行われる。ここで、雑音比は、雑音検出部204において雑音が検出されたフレームの雑音参照音スペクトルと背景雑音スペクトルとを用いて算出される。そして、ステップS105では、雑音比が、所定の閾値未満か否かを判定される。雑音比が所定の閾値未満である場合、ステップS106の処理が実行され、外部環境音更新部207にて数式1に従い外部環境音スペクトルが更新される。なお、本実施形態では、雑音比が所定の閾値未満である場合にステップS106の処理が実行されたが、ステップS106の処理は所定の閾値以下の場合に実行されるようにしてもよい。
ステップS107では、雑音参照マイク信号に含まれる雑音成分スペクトルに対し、雑音参照マイク信号の雑音成分スペクトルに応じた補正係数を乗ずることで、補正後の雑音スペクトルが算出される。ここで、補正前の雑音成分スペクトルは、雑音算出部206において雑音検出部204で雑音が検出されたフレームの雑音参照信号の音声スペクトルから背景雑音スペクトルを減じることで算出される。算出された補正後の雑音スペクトルは雑音低減部208へ出力される。
ステップS108では、雑音低減部208において外部音声用マイク301から入力された音声信号に含まれる雑音成分を低減する処理が行われる。ここでは、ステップS102で算出された外部音声スペクトルから、ステップS107で算出された補正後の雑音成分スペクトルを用いて、雑音が低減され、雑音低減後の音声スペクトルが生成される。ステップS108は、雑音低減手段として例えばウィーナーフィルタを用いられる。なお、ステップS108の雑音低減手段として、例えば、周波数領域での波形減算が行われてもよい。
ステップS109では、雑音低減後の音声スペクトルは周波数帯ごとに雑音低減後の音声スペクトルと外部環境音更新部207で更新された外部環境音スペクトルとが比較される。雑音低減後音声スペクトルの方が小さい周波数帯域では、ステップS110において、雑音低減後の音声スペクトルが補正される。本実施形態では、この補正において、数式2が用いられる。なお、雑音低減後の音声スペクトルはステップS110において補正されたか否かにかかわらず周波数時間変換部210へ出力される。
ステップS111では、周波数時間変換部210へ入力された音声スペクトルに対して、逆高速フーリエ変換処理(IFFT)処理が行われる。変換された信号は逐次、記録部108へ出力され、画像(動画像)とともに記録される。
そして、ステップS112において撮影が終了したと判断されるまで、ステップS101からステップS111までの各ステップの処理が繰り返される。撮影が終了したと判断される場合は、例えば、ユーザによって動画像の記録を終了するための操作が行われた場合である。
以上説明した処理制御を行うことにより、外部音声マイクに入力される外部音声の音量に見合ったレンズ駆動雑音の低減が行われ過度な雑音削減を抑えることができるため、雑音低減後の音質劣化が抑制される。
なお、外部環境音更新部207は、雑音比ではなく、雑音参照マイクによって取得された音声信号のゲインに基づいて更新を行ってもよい。雑音参照マイクによって取得された音声信号が十分大きい場合、その音声信号には駆動雑音が含まれている可能性が高いと判断できるからである。
尚、本実施形態においては、雑音低減部208での雑音低減処理後に音声補正部209にて補正を行った(ステップS109ならびにステップS110)が、他の方法によって処理を行ってもよい。例えば、ステップS108において雑音低減部208で予め雑音低減の下限値として外部環境音スペクトルを用いた雑音低減処理を行うことで、音声補正部209ならびにステップS109、ステップS110の処理を省いても良い。
また、音声補正部209における補正処理は、雑音低減部208における雑音低減の度合いが低い場合に、さらなる雑音低減処理を行ってもよい。
本実施形態において記録部108の記録媒体は、例えば、SDカードやCFExpressカード等の半導体メモリである。
撮影装置100はさらにデータ圧縮部を備え、記録される画像、動画像のデータを圧縮してもよい。
本実施形態において駆動雑音はレンズ駆動雑音としたが、他の撮影装置本体側の駆動部によって発生する雑音に対しても同様に低減してもよい。
本実施形態において音声処理部200を構成する各部のうちA/D変換部201を除く各部は、CPUを用いたプログラム処理であってもよい。また、音声処理部200を構成する各部のうちA/D変換部201を除く各部は、DSP、専用LSIなどを含むその他電子回路など、ハードウェアで処理してもよい。
本実施形態において雑音検出部204は雑音参照マイク302からの信号に基づき雑音検出を行っているが、雑音の発生源である駆動部の制御情報を取得し、その情報に基づいて雑音検出を行ってもよい。例えば、レンズ制御部102からレンズを駆動する制御信号を取得し、雑音検出を行ってもよい。駆動情報は例えば駆動部の駆動速度、駆動方向、駆動部の位置などを含む。また駆動情報は、たとえばレンズ制御部がレンズ部にレンズの駆動を開始または終了させる指示情報でも良い。あるいは駆動情報は、レンズ制御部がレンズを駆動させる判断を行うための内部情報、たとえば非合焦状態検知、合焦状態検知などでも良い。また外部音声用マイク301の信号を用いるようにしてもよい。
なお、雑音算出部206では雑音検出部204の検出した雑音種別に応じて異なる雑音推定処理を実施してもよい。
なお、本実施形態において雑音算出部206は補正係数テーブルをあらかじめ備えるようにしたが、逐次計算するようになっていてもよい。例えば、外部音声用マイク301の信号と雑音参照マイク302の信号とに基づいて適切な補正係数テーブルを算出および更新するようになっていてもよい。
なお、本実施形態において外部環境音更新部207で雑音比算出部205が算出した雑音比と閾値を比較しているが、この閾値は、聴感試験等の結果に基づき予め適切な値を指定しておいてもよいし逐次計算するようになっていてもよい。例えば、外部音声用マイク301の信号と雑音参照マイク302の信号とに基づいて適切な閾値を算出および更新するようになっていてもよい。
なお、本実施形態において雑音低減部208はウィーナーフィルタを用いるとしたが、その他の手法を用いてもよい。例えば、雑音低減部208は、スペクトルサブトラクションを用いてもよいし、時間領域での波形減算を行ってもよい。さらに所定の閾値以下の音量レベルの特定の周波数ビンの信号に対してさらに音量レベルを低減する処理を施すようにしてもよい。また、雑音低減部208では雑音検出部204の検出した雑音種別に応じて異なる雑音低減処理を実施してもよいし、雑音種別に応じた補正係数テーブルを選択するものとしても良い。さらにレンズの種別に応じてそれらの処理や補正係数テーブルを切り替えるようにしてもよい。
なお、本実施形態において、外部音声用マイク301は2つのマイク(ステレオマイク)としたが、モノラル、サラウンド、あるいはアンビソニックス方式などチャンネル数が異なっていても同様に処理可能である。
なお、本実施形態において、音声処理部200は簡単のため雑音低減処理のみを行っているが、さらに、その他の処理を行ってもよい。例えば音声を聞きやすくするためのイコライジングなどのスペクトル補正処理や、再生される音声のステレオ感を強調する処理などを行う構成になっていてもよい。さらにMP3やAACなどの各種音声コーデックを用いた符号化を行う構成になっていてもよい。
なお、本実施形態において、雑音参照マイク302は1つのマイクからなるとしたが、さらに多くのマイクを備えてもよい。さらに、雑音参照マイク302の一部はレンズ側に装着されるように構成されてもよい。さらに、雑音参照マイク302の一部、あるいはすべては空気の振動を取得するマイクではなく、物体の振動を検出する振動センサであってもよい。
なお、また、雑音参照マイク302のマイクの設置位置を外部音声用マイク301の近傍や、雑音源の近傍に設置するとしたが、外部音声用マイク301に入力される雑音成分が推定できる雑音が取得できれば設置場所は問わない。
Claims (12)
- 撮影装置であって、
前記撮影装置の外部音声を収音する外部音声用マイクと、
前記撮影装置の駆動部、または撮影装置に接続された外部装置の駆動雑音を取得する雑音参照マイクと、
前記雑音参照マイクで取得される信号から前記駆動雑音に関する音声信号を算出する雑音算出手段と、
前記雑音参照マイクで取得される信号に基づいて前記外部音声に関する音声信号を更新するか否かを判断する判断手段と、
前記判断手段による判断の結果に基づいて前記外部音声に関する音声信号を更新する更新手段と、
前記更新手段によって更新された前記外部音声に関する音声信号に基づいて、前記雑音算出手段で算出した雑音を前記外部音声用マイクで取得した信号から低減する雑音低減手段と
を有することを特徴とする撮影装置。 - 前記撮影装置に接続された外部装置はレンズであることを特徴とする請求項1に記載の撮影装置。
- 前記判断手段は、前記雑音参照マイクで取得される音声信号のゲインが閾値未満であるかどうかを判断することを特徴とする請求項1または2に記載の撮影装置。
- 前記雑音参照マイクで取得される信号から雑音を検出する雑音検出手段と、
前記雑音検出手段で雑音と検出された雑音参照マイク信号と雑音とは検出されない雑音参照マイク信号の比を求める雑音比算出手段と、
をさらに有し、
前記判断手段は、前記雑音比算出手段により算出される雑音比が閾値未満であるかどうかを判断することを特徴とする請求項1または2に記載の撮影装置。 - 前記判断手段は、前記雑音参照マイクで取得される信号のうち所定の周波数帯を用いることを特徴とする請求項1から4のいずれか1項に記載の撮影装置。
- 前記更新手段に更新される前記外部音声に関する音声信号は、既に更新された前記外部音声に関する音声信号との平均値をとることを特徴とする請求項1から5のいずれか1項に記載の撮影装置。
- 前記更新手段に更新される前記外部音声に関する音声信号は、所定期間の前記外部音声に関する音声信号との平均値をとることを特徴とする請求項6に記載の撮影装置。
- 前記更新手段に記憶する前記外部音声に関する音声信号は、所定期間の前記外部音声に関する音声信号を加重平均された値であることを特徴とする請求項6または7に記載の撮影装置。
- 前記雑音低減手段は、前記更新手段に更新される前記外部音声に関する音声信号の周波数帯ごとの音量に基づいて雑音低減を行うことを特徴とする請求項1から8のいずれか1項に記載の撮影装置。
- 前記雑音低減手段は、前記更新手段に更新される前記外部音声に関する音声信号の周波数帯ごとの音量に基づいて、雑音の過度な低減を抑制することを特徴とする請求項1から9のいずれか1項に記載の撮影装置。
- 撮影装置の外部の音を収音する外部音声用マイクと、
前記撮影装置の駆動部、または前記撮影装置に接続された外部装置の駆動雑音を取得する雑音参照マイクと、を有する前記撮影装置の制御方法であって、
前記雑音参照マイクで取得される信号から前記駆動雑音に関する音声信号を算出する雑音算出ステップと、
前記雑音参照マイクで取得される信号に基づいて外部音声に関する音声信号を更新するか否かを判断する判断ステップと、
前記判断ステップによる判断の結果に基づいて前記外部音声に関する音声信号を更新する更新ステップと、
前記更新ステップによって更新された前記外部音声に関する音声信号に基づいて、前記雑音算出ステップで算出した雑音を前記外部音声用マイクで取得した信号から低減する雑音低減ステップと
を有することを特徴とする制御方法。 - 撮影装置の外部音声を収音する外部音声用マイクと、
前記撮影装置の駆動部、または前記撮影装置に接続された外部装置の駆動雑音を取得する雑音参照マイクと、を有する前記撮影装置に制御方法を実行させるためのプログラムであって、ここで前記制御方法は、
前記雑音参照マイクで取得される信号から前記駆動雑音に関する音声信号を算出する雑音算出ステップと、
前記雑音参照マイクで取得される信号に基づいて前記外部音声に関する音声信号を更新するか否かを判断する判断ステップと、
前記判断ステップによる判断の結果に基づいて前記外部音声に関する音声信号を更新する更新ステップと、
前記更新ステップによって更新された前記外部音声に関する音声信号に基づいて、前記雑音算出ステップで算出した雑音を前記外部音声用マイクで取得した信号から低減する雑音低減ステップと
を有することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021190620A JP2023077339A (ja) | 2021-11-24 | 2021-11-24 | 撮影装置、制御方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021190620A JP2023077339A (ja) | 2021-11-24 | 2021-11-24 | 撮影装置、制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023077339A true JP2023077339A (ja) | 2023-06-05 |
Family
ID=86610071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021190620A Pending JP2023077339A (ja) | 2021-11-24 | 2021-11-24 | 撮影装置、制御方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023077339A (ja) |
-
2021
- 2021-11-24 JP JP2021190620A patent/JP2023077339A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200273442A1 (en) | Single-channel, binaural and multi-channel dereverberation | |
JP6580990B2 (ja) | オーディオ干渉推定のための方法及び装置 | |
US9495950B2 (en) | Audio signal processing device, imaging device, audio signal processing method, program, and recording medium | |
CN110853664B (zh) | 评估语音增强算法性能的方法及装置、电子设备 | |
JP2008263498A (ja) | 風雑音低減装置、音響信号録音装置及び撮像装置 | |
US9773510B1 (en) | Correcting clock drift via embedded sine waves | |
CN111968662A (zh) | 音频信号的处理方法及装置、存储介质 | |
AU2011253924A1 (en) | Method to reduce artifacts in algorithms with fast-varying gain | |
US20140185827A1 (en) | Noise suppression apparatus and control method thereof | |
US10535363B2 (en) | Audio processing apparatus and control method thereof | |
US20150271439A1 (en) | Signal processing device, imaging device, and program | |
JP2008070878A (ja) | 音声信号前処理装置、音声信号処理装置、音声信号前処理方法、及び音声信号前処理用のプログラム | |
JP2023077339A (ja) | 撮影装置、制御方法、およびプログラム | |
JP6314475B2 (ja) | 音声信号処理装置及びプログラム | |
JP2023077995A (ja) | 撮影装置、制御方法、およびプログラム | |
JP2013250449A (ja) | ノイズ低減装置、撮像装置及びプログラム | |
JP2022148507A (ja) | 音声処理装置、制御方法、およびプログラム | |
JP2005157086A (ja) | 音声認識装置 | |
JP2018066963A (ja) | 音声処理装置 | |
JP2014232267A (ja) | 信号処理装置、撮像装置、およびプログラム | |
JP2012168345A (ja) | 機械音除去装置、機械音検出装置、及び、映像撮像装置 | |
JP2018207316A (ja) | 音声処理装置及びその制御方法 | |
JP2018207313A (ja) | 音声処理装置及びその制御方法 | |
JP2013178458A (ja) | 信号処理装置及び信号処理プログラム | |
JP2019036867A (ja) | 音声処理装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |