JP2011124850A

JP2011124850A - 撮像装置並びにその制御方法及びプログラム

Info

Publication number: JP2011124850A
Application number: JP2009281620A
Authority: JP
Inventors: Shozo Endo; 庄蔵遠藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-11
Filing date: 2009-12-11
Publication date: 2011-06-23

Abstract

【課題】
撮影画像に顔が含まれる場合の録音品質を改善する。
【解決手段】
可変ゲインアンプ（１２）は、マイク（１０）からの音声信号を増幅する。ＡＬＣ（１６）のレベル検知検波部（１８）は、可変ゲインアンプ（１２）の出力音声信号のレベルを検知し、レベル制御部（２０）は、所定音声レベルになるように可変ゲインアンプ（１２）の増幅率を制御する。撮像部（２４）は被写体の画像信号を出力する。顔検出部（３２）は、撮影画像から人物の顔を検出する。制御部（２８）は、顔検出時、増幅率の変化速度を顔非検出時のそれより高速になるようにレベル制御部（２０）を制御する。
【選択図】図１

Description

本発明は、撮像装置並びにその制御方法及びプログラムに関する。

特開２００６−１７３９１８号公報

近年、固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ等の固体撮像素子で撮像した画像を記録および再生するデジタルカメラ等の撮像装置が盛んに開発され、広く普及してきている。これらの撮像装置では、静止画や動画を記録できるものが知られており、これらの画像と共に音声を記録することもできる。

特に、音声を記録できる撮像装置では、記録された音声の音量が必要以上に大きくなりすぎたり、小さくなりすぎたりしないように、オートレベルコントローラ（ＡＬＣ）やオートゲインコントローラ（ＡＧＣ）が備えられている。

従来、これらＡＬＣやＡＧＣを制御して、撮影モードによって応答性を変更したり、手動設定によって応答性を変更できるものがあった（特許文献１）。

従来の技術では、例えば、撮影モードによって応答性を長くしていた場合に、人間が話しているシーンを撮影したときに、人間の声の抑揚が失われ、再生時に聞きづらい音声になってしまうことがあった。

本発明は、この様な課題に鑑みてなされたものであって、例えば人間を撮影したシーンを再生したとしても、音声の抑揚が失われる可能性を低減した撮像装置並びにその制御方法及びプログラムを提供することを目的とする。

本発明に係る撮像装置は、画像信号を入力する画像入力手段と、前記画像信号から顔を検出する顔検出手段と、音声信号を入力する音声入力手段と、前記音声信号を増幅する増幅手段と、前記増幅手段により増幅された音声信号に従い、前記増幅手段の増幅率を制御する制御手段であって、前記顔検出手段が前記画像信号に前記顔を検出する顔検出状態の、前記増幅率の変化速度を、前記顔検出手段が前記画像信号に前記顔を検出しない顔非検出状態の前記増幅率の変化速度より高速になるように、前記増幅率を制御する制御手段とを有することを特徴とすることを特徴とする。

本発明に係る撮像装置の制御方法は、画像信号を入力する画像入力ステップと、前記画像信号から顔を検出する顔検出ステップと、音声信号を入力する音声入力ステップと、前記音声信号を可変ゲインアンプで増幅する増幅ステップと、前記増幅ステップにより増幅された音声信号に従い、前記可変ゲインアンプの増幅率を制御する制御ステップであって、前記顔検出ステップで前記画像信号に前記顔が検出される顔検出状態の、前記増幅率の変化速度を、前記顔検出ステップで前記画像信号に前記顔が検出されない顔非検出状態の前記増幅率の変化速度より高速になるように、前記増幅率を制御する制御ステップとを有することを特徴とすることを特徴とする。

本発明に係る撮像装置の制御プログラムは、撮像装置を制御するプログラムであって、前記撮像装置に、画像信号を入力させる画像入力機能と、前記画像信号から顔を検出させる顔検出機能と、音声信号を入力させる音声入力機能と、前記音声信号を増幅させる増幅機能と、前記増幅機能により増幅された音声信号に従い、前記増幅機能の増幅率を制御させる制御機能であって、前記顔検出機能が前記画像信号に前記顔を検出する顔検出状態の、前記増幅率の変化速度を、前記顔検出機能が前記画像信号に前記顔を検出しない顔非検出状態の前記増幅率の変化速度より高速になるように、前記増幅率を制御させる制御機能とを実現させることを特徴とする。

本発明によれば、音声録音する際に撮像装置が人間を撮影していると検出した場合に、音声レベル制御の応答性を早くする。これにより、人間の声を記録しても、再生音声に人の声の抑揚が失われてしまう可能性を低減できる。

本発明の一実施例の概略構成ブロック図ＡＬＣ動作の説明図である。本実施例の動作フローチャートである。本実施例の音声記録を説明する波形例である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図である。１０は音声を電気信号に変換する音声入力手段としてのマイクである。１２は音声信号を好適な音声レベルに増幅変換する、ゲインを変更可能なアンプ、いわゆる可変ゲインアンプ（ＰＧＡ）である。１４は音声信号をアナログデジタル変換するためのアナログデジタル変換部(ＡＤＣ)である。１６はデジタル化された音声信号を入力された音声信号のレベルを検知して可変ゲインアンプ１２の増幅率を制御するオートレベルコントローラ（ＡＬＣ）である。ＡＬＣ１６は、レベル検知検波部１８及びレベル制御部２０を具備する。レベル検知検波部１８はアナログデジタル変換部１４からの音声データの音声レベルを検知する。レベル制御部２０は、レベル検知検波部１８の出力に従い可変ゲインアンプ１２のゲインを制御する。

２２は撮像対象の光学像を画像入力手段としての撮像部２４に入射する撮影光学系である。撮像部２４は、撮影光学系２２による光学像を電気信号に変換する。２６は、撮像部２４からの画像信号をアナログデジタル変換するアナログデジタル変換部２６である。

２８はＡＬＣ１６を介して送出されるデジタル音声信号の記録媒体３０への記録を制御し、ＡＬＣ１６の動作を制御する制御部であり、ＣＰＵやメモリ（ＳＲＡＭ、ＤＲＡＭ）等からなる。３２はアナログデジタル変換部２６から送出され制御部２８によって制御されたデジタル画像信号から人物の顔を検出する顔検出部である。顔検出部３２は、輪郭強調部３４及び特徴抽出部３６を具備する。輪郭強調部３４は、制御部２８から送出されたデジタル画像信号の輪郭を強調して人物顔検出に適したデータ形式に変換する。特徴抽出部３６は、輪郭強調部３４からのデータから人物の顔の特徴と相関性の高い画像を抽出及び検出する。

本実施例の動作を説明する。マイク１０は周囲の音声を電気信号に変換し、可変ゲインアンプ１２に入力する。可変ゲインアンプ１２は、マイク１０からの音声信号を、レベル制御部２０により制御される増幅率で増幅する。アナログデジタル変換部１４は可変ゲインアンプ１２からのアナログ音声信号をデジタル信号に変換し、デジタル音声信号をＡＬＣ１６に供給する。ＡＬＣ１６のレベル検知検波部１８は、デジタル音声信号の音声レベルを検知・検波し、現在の音声レベルをレベル制御部２０に通知する。

レベル制御部２０は、レベル検知検波部１８からの音声レベル情報に従い、可変ゲインアンプ１２の出力音声レベルが所定音声レベルになるように、可変ゲインアンプ１２の増幅率を制御する。たとえば、マイク１０に入力される音声レベルが、−４０ｄＢであった場合で、好ましい音声レベルがー６ｄＢであるとき、レベル制御部２０は、可変ゲインアンプ１２の増幅率を３４ｄＢに制御する。マイク１０からの音声信号のレベルが大きすぎる場合には、可変ゲインアンプ１２は増幅率が１以下の減衰器として機能することがある。

レベル制御部２０はまた、レベル検知検波部１８からの音声レベル情報に従い可変ゲインアンプ１２の増幅率を制御する際に、可変ゲインアンプ１２の増幅率の時間当たりの変化率を制御部２８によって指定された値に制御する。すなわち、レベル制御部２０が可変ゲインアンプ１２の増幅目標値を決定し、制御部２８が、その目標値までどの程度の時間をかけて到達させるかを決定する。言い換えれば、制御部２８は、ＡＬＣ１６による音声レベル制御の応答性を制御する。本実施例では、特に、レベル制御部２０が可変ゲインアンプ１２に指示する増幅率を、単位時間あたりにどの程度、増加または減少させるかを制御することにより、この応答性を制御する。本実施例では、可変ゲインアンプ１２の増幅率をレベル制御部２０によって決定される目標値にむけて下げていく場合で、目標値に到達するまでの時間をアタックタイムという。逆に、可変ゲインアンプ１２の増幅率をレベル制御部２０によって決定される目標値に向けて上げていく場合で、目標値に到達するまでの時間をリカバリータイムという。すなわち、本実施例において、制御部２８は、アタックタイム、リカバリータイムを制御する。

制御部２８は、アナログデジタル変換部１４からのデジタル音声信号を記録に適した信号形態に変換して記録媒体３０に記録する。マイク１０から入力された音声は、可変ゲインアンプ１２により、小さい場合には増幅され、過大な場合には減衰されて、記録媒体３０に記録されることになる。

他方、画像は、以下のように処理される。撮像部２４は、撮影光学系２２による光学像を画像信号に変換する。アナログデジタル変換部２６は、撮像部２４からのアナログ画像信号をデジタル画像信号に変換して、制御部２８に供給する。顔検出部３２の輪郭強調部３４は、アナログデジタル変換部２６から制御部２８へのデジタル画像信号を輪郭強調し、特徴抽出部３６は人物の顔の特徴を持つ画像を画面内で検出し続ける。人物の顔の特徴を持った画像が撮影中の画像に含まれている場合に、特徴抽出部３６は制御部２８にその旨を示す顔検出信号を供給する。制御部２８は、顔検出信号を受信すると、音声増幅率の変更の応答速度を速くするようにレベル制御部２０に指示する。すなわち、アタックタイム、リカバリータイムを短くするように制御する。

本実施例では、レベル制御部２０による可変ゲインアンプ１２の増幅率の応答性を、所定の単位時間当たりの変化率で制御する。増幅率が時間の関数となる。単位時間Δｔの増幅率の変化量をΔＧとし、増幅率の変化速度ａ（＝ΔＧ／Δｔ）を、ａ１，ａ２，ａ３，ａ４，ａ５，〜，ａ１０の１０通り用意しておく。ａ１が最も変化速度が大きく、ａ１０が最も変化速度が小さい。原理的には、増幅率の変化速度、すなわち応答速度の制御は、単位時間当たりの増幅率を変化させても、単位増幅率あたりの時間を変化させても実現できる。変化速度ａは２以上用意しておけばよいし、また、連続的値であってもよい。

可変ゲインアンプ１２の代わりに、アナログデジタル変換部１４の後段に、可変ゲインアンプ１２と同様に機能するデジタル処理回路を配置してもよい。

図２を参照して、本実施例のレベル制御動作を説明する。５０はマイクから入力される音声信号を示す。５２はＡＬＣ１６と可変ゲインアンプ１２によってＡＬＣ処理された音声信号を示す。図２では、音声レベルを理解しやすいように、アナログ波形で図示してある。５４は、ＡＬＣ１６により制御される可変ゲインアンプ１２の増幅率の時間変化を示す。５６は増幅率の傾き、すなわち、時間変化を示す。傾き５６−１は、最大の変化速度ａ１に対応する。傾き５６−２は、最小の変化速度ａ１０に対応する。５４−１は、変化速度ａ１（傾き５６−１）で制御される場合の可変ゲインアンプ１２の増幅率変化を示す。５４−２は、変化速度ａ１０（５６−２）で制御される場合の可変ゲインアンプ１２の増幅率変化を示す。

画像内に人物が検出された場合、制御部２８は、最大の変化速度ａ１（５６−１）の増幅率変化をレベル制御部２０に指示する。このとき、可変ゲインアンプ１２の増幅率変化が急峻になる。すなわち、可変ゲインアンプ１２の増幅率が目標値に到達するまでの時間（応答時間）が短くなる。他方、画像内に人物が検出されない場合、制御部２８は、最小の変化速度ａ１０（５６−２）の増幅率変化をレベル制御部２０に指示する。

このような制御によって、人物が検出され人間の発話音声の確率が最も高い状態では、相対的に急速に音声レベルを目標値に収束させるので、記録される音声の抑揚を保持できる。

一般的に人間の発話状態には無音区間が随所に見られるが、音楽などの環境音に関しては、常にある程度のレベルの音声が検出できるという特性がある。人間の発話音声の状況として会議などがあるが、ＡＬＣの傾きが遅すぎると、無音状態から発話した際に可変ゲインアンプ１２の応答が遅くなる。その結果、発話の最初の音声を好ましいレベルで録音することでできない。このような状況に対しては、高速の変化速度ａ１（５６−１）の応答特性を設定することで、好ましい録音となる。

音楽などの環境音では、音声のレベル変動が大きいが、無音に近い状態があまり存在しない。このような状態でＡＬＣを高速に制御すると、抑揚のない、音声レベルの平坦な音楽や環境音となってしまう。従って、このような状況に対しては、低速の変化速度ａ１０（５６−２）を選択することで、好ましい録音となる。

人間の発話状態では、顔検出部３２が顔を検出しない状態から顔を検出する状態に又はその逆に遷移する場合で、最大の変化速度ａ１（５６−１）と最小の変化速度ａ１０（５６−２）の間で不連続に遷移させると、好ましくない応答になる。また、会議などで、人物の移動又は撮像装置の向きの変化により人物が撮像枠から外れた場合、顔が検出されなくなるものの、撮像装置の置かれている状況はあまり変化していない。このような場合に、人間の発話状態において、顔が検出された場合の検出がされた場合のＡＬＣの増幅率変化速度と、顔が検出される場合のＡＬＣの増幅率変化速度との間を徐々に変化させることで、不自然な変化を抑制できる。たとえば、顔検出状態から顔非検出状態に遷移する場合に、一定時間の不感帯を設けておく。そして、その不感帯時間を超過した場合に、所定単位時間ごとに、増幅率変化速度を変化速度ａ１（５６−１）からａ２，ａ３…．ａ１０（５６−２）というように変化させる。またこの逆も同様であり、顔非検出状態から顔検出状態に遷移する場合、増幅率変化速度を変化速度ａ１０（５６−２）からａ９，ａ８，ａ７…．ａ２，ａ１（５６−１）というように変化させる。

増幅率を変化させている途中で顔検出の状況が変化した場合、増幅率変化速度は、その都度、大きい方と小さい方に制御される。減衰条件であるアタック時間においても、同じ条件が与えられ、それぞれ独立に制御される。

図３は、本実施例の動作フローチャートを示す。図３を参照して、本実施例の特徴的な動作を説明する。

音声記録を開始する前に、予め定められたＡＬＣの初期値を設定する（Ｓ１）。撮影光学系２２、撮像部２４及び制御部２８を音声付動画像の記録用に適した状態に初期設定する（Ｓ２）。もちろん、音声のみを記録する場合には、それに適した状態にこれらを初期設定する。

音声の記録が開始されると（Ｓ３）、顔検出部３２が、撮像部２４による撮影画像信号を監視して顔を検出し、検出結果を制御部２８に逐次、通知する（Ｓ４）。

顔が検出されない場合（Ｓ４）、制御部２８は、ＡＬＣ１６に設定されている増幅率変化速度が、顔非検出時の予め定められている値より大きいか否かを判断する（Ｓ５）。ＡＬＣ１６に設定されている増幅率変化速度が、顔非検出時の所定値より大きい場合（Ｓ５）、ＡＬＣ１６を低速応答側にセットする（Ｓ６）。すなわち、ＡＬＣ１６の増幅率変化速度を予め決められた値だけ小さくする。ＡＬＣ１６に設定されている増幅率変化速度が、顔非検出時の所定値以下の場合（Ｓ５）、ＡＬＣ１６の増幅率変化速度は十分に小さいことになり、そのままに維持される。

他方、顔が検出される場合（Ｓ４）、制御部２８は、ＡＬＣ１６に設定されている増幅率変化速度が、顔検出時の予め定められている値より小さいか否かを判断する（Ｓ７）。ＡＬＣ１６に設定されている増幅率変化速度が、顔検出時の所定値より小さい場合（Ｓ７）、ＡＬＣ１６を高速応答側にセットする（Ｓ８）。すなわち、ＡＬＣ１６の増幅率変化速度を予め決められた値だけ大きくする。ＡＬＣ１６に設定されている増幅率変化速度が、顔非検出時の所定値以上の場合（Ｓ７）、ＡＬＣ１６の増幅率変化速度は十分に大きいことになり、そのままに維持される。

つまり、人物の顔が検出されない場合、ＡＬＣ１６の増幅率変化速度を小さい方向に徐々に移行させ、顔が検出される場合には、ＡＬＣ１６の増幅率変化速度を大きい方向に徐々に移行させる。

ユーザが録音停止を指示するか、制御部２８が録音停止を判断するまで（Ｓ９）、ステップＳ４〜Ｓ８を繰り返す。録音停止の指示又は判断があると（Ｓ９）、録音動作を停止する。

この様に、撮影中の画像内に人物の特徴を持つ画像が含まれる場合に、音声レベルを所定値以内に保つためのＡＬＣで、音声増幅率の変更速度を速くする。例えば、図４に示すように、人間の顔が検出された場合と、そうでない場合とで、増幅率変更時の目標値までの到達時間を変更する。これにより、人間の声を記録する場合で、再生音声に人の声の抑揚が失われてしまう可能性を低減できる。

図１に示す実施例は、その一部をコンピュータソフトウエアとして実現できる。すなわち、本発明に係る撮像装置の制御プログラムは、上記実施例の動作に対応する機能を撮像装置に実現させるものである。この制御プログラムは、例えば、上述の手段又は作用に対応する画像入力機能、顔検出機能、音声入力機能、増幅機能、制御機能を実現するプログラムモジュールからなる。

撮像装置の記録動作を説明したが、記録媒体に記録される画像と音声を再生する場合に、再生音声レベルを制御するときにも適用可能である。このような再生の場合には、再生画像に人間の顔が含まれる場合に、音声レベルを制御するＡＬＣの応答性を速くする。これにより、記録媒体からの再生音声の抑揚が無くなる可能性を低減できる。

また、パーソナルコンピュータ又はポータブルプレイヤー等における音声付き動画像の再生にも適用できる。パーソナルコンピュータで実現される場合、この様な機能を実現するコンピュータプログラムが、本発明の構成要素となりうる。

画像に付加された音声を記録再生する場合を説明したが、画像は動画であっても静止画であってもよい。

Claims

画像信号を入力する画像入力手段と、
前記画像信号から顔を検出する顔検出手段と、
音声信号を入力する音声入力手段と、
前記音声信号を増幅する増幅手段と、
前記増幅手段により増幅された音声信号に従い、前記増幅手段の増幅率を制御する制御手段であって、前記顔検出手段が前記画像信号に前記顔を検出する顔検出状態の、前記増幅率の変化速度を、前記顔検出手段が前記画像信号に前記顔を検出しない顔非検出状態の前記増幅率の変化速度より高速になるように、前記増幅率を制御する制御手段
とを有することを特徴とすることを特徴とする撮像装置。
前記制御手段は、単位時間当たりの増幅率及び単位増幅率あたりの時間のいずれかを制御することで前記増幅率の変化速度を制御することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記顔検出状態から前記顔非検出状態への変化、及びその逆の変化のいずれかに対して、前記増幅率の変化速度を徐々に変化させる
ことを特徴とする請求項１に記載の撮像装置。
画像信号を入力する画像入力ステップと、
前記画像信号から顔を検出する顔検出ステップと、
音声信号を入力する音声入力ステップと、
前記音声信号を可変ゲインアンプで増幅する増幅ステップと、
前記増幅ステップにより増幅された音声信号に従い、前記可変ゲインアンプの増幅率を制御する制御ステップであって、前記顔検出ステップで前記画像信号に前記顔が検出される顔検出状態の、前記増幅率の変化速度を、前記顔検出ステップで前記画像信号に前記顔が検出されない顔非検出状態の前記増幅率の変化速度より高速になるように、前記増幅率を制御する制御ステップ
とを有することを特徴とすることを特徴とする撮像装置の制御方法。
撮像装置を制御するプログラムであって、前記撮像装置に、
画像信号を入力させる画像入力機能と、
前記画像信号から顔を検出させる顔検出機能と、
音声信号を入力させる音声入力機能と、
前記音声信号を増幅させる増幅機能と、
前記増幅機能により増幅された音声信号に従い、前記増幅機能の増幅率を制御させる制御機能であって、前記顔検出機能が前記画像信号に前記顔を検出する顔検出状態の、前記増幅率の変化速度を、前記顔検出機能が前記画像信号に前記顔を検出しない顔非検出状態の前記増幅率の変化速度より高速になるように、前記増幅率を制御させる制御機能
とを実現させることを特徴とする撮像装置の制御プログラム。