JP2008227876A - 撮像装置 - Google Patents

Abstract

【課題】 画質の向上を図るとともに、画質向上のための構成を簡易にすることにより、カメラ処理システムの回路規模の削減を実現する撮像装置を提供する。
【解決手段】 撮像素子１００を含むカメラ部１０と、カメラ部１０から出力される画像信号に対して画像調整処理を含むカメラ信号処理を行うカメラ信号処理部２０と、カメラ信号処理部２０で処理された画像信号に対して圧縮符号化処理を行う画像符号化部３０とを備え、カメラ信号処理部２０は、画像調整処理の調整量を制御する画像調整制御回路を含み、画像符号化部３０は、画像調整処理の調整量に基づいて、画像調整処理された画像の画質に応じて圧縮符号化処理における符号量を制御する符号量制御部を含む。
【選択図】 図１

Description

本発明は、携帯電話向けカメラ、デジタルスチルカメラ、及びムービーカメラ等の撮像装置の符号量制御に関するものである。

従来の撮像装置では、カメラ部の撮像装置で生成される画像信号が、カメラ信号処理部で各種の信号処理を受ける。そして、カメラ信号処理部から出力される画像信号に対して、画像符号化部で圧縮符号化処理が行われる。

このように、撮像装置において、カメラ信号処理部では、画像信号の周波数成分を用いて、自動露出機能及び自動焦点機能が制御される。例えば、カメラ信号処理部内に自動露出機能及び焦点制御機能を有するビデオカメラ装置は、オートフォーカスやオートアイリス等のカメラ自動制御処理のパラメータとして、画像信号の周波数成分の情報を用いる。

一方、画像符号化部では、画像信号の周波数成分を用いて、圧縮符号化処理が行われる。例えば、上述のビデオカメラ装置は、撮像素子により取り込んだ動画像を圧縮符号化する際に、画像信号の周波数成分の情報を用いる。

このように、カメラ信号処理及び圧縮符号化処理の両方で周波数成分の情報が使われる。これら２つの処理を関連付ける技術として、自動露出機能及び焦点制御機能による自動露出及び焦点制御が安定するまでは、符号量制御の量子化パラメータの値を上げずに、必要なタイミングでのみ多くの符号量を消費することで符号量効率を上げるといった、レンズ部の制御状態に応じて符号量制御を行うことが、特許文献１に記載されている。
特開２００３−２１９４１６号公報

しかしながら、従来の撮像装置では、カメラ信号処理部から出力される画像の周波数成分は、自動露出機能及び焦点制御機能よりも、これらの機能とは異なる画質・画像サイズ等を調整する画像調整処理によって影響されることが多い。それにも拘わらず、従来では、画像調整処理の情報が画像符号化処理に活用されていないという問題があった。

より詳細には、画像調整処理としては、例えば、輪郭強調処理、ノイズリダクション処理、及びリサイズ処理等が挙げられる。輪郭強調処理では、輪郭強調成分を調整することでシャープさを調整する処理が行われる。また、ノイズリダクション処理では、画像のノイズ成分を予測し除去する処理が行われる。さらに、リサイズ処理では、デジタル信号を間引き処理及び補完処理等により、ユーザが意図した水平サイズ及び垂直サイズへ変更する処理が行われ、また、限られた出力画素を表示する出力装置においてユーザが要望する所定部分の詳細を表示するために、間引き処理、補間処理、及び切り出し位置を変更する処理が行われる。

このような画像調整処理では、調整量であるパラメータ強度が、出力画像の周波数成分の増減に関連し、ノイズや解像感といったかたちで、出力画像の画質にも大きく関連する。しかし、従来では、画像調整処理の調整量と周波数成分の関連性は、圧縮符号化処理に考慮されていなかった。

本発明は、従来の問題を解決するためになされたもので、画像調整処理の調整量の情報を圧縮符号化処理において利用することにより、簡単な構成で且つカメラ信号処理部の画像状態に応じた画質の向上を図ることができる撮像装置を提供することを目的とする。

本発明の撮像装置は、撮像素子を含むカメラ部と、カメラ部から出力される画像信号に対して画像調整処理を含むカメラ信号処理を行うカメラ信号処理部と、カメラ信号処理部で処理された画像信号に対して圧縮符号化処理を行う画像符号化部とを備え、カメラ信号処理部は、画像調整処理の調整量を制御する画像調整制御回路を含み、画像符号化部は、画像調整処理の前記調整量に基づいて、画像調整処理された画像の画質に応じて圧縮符号化処理における符号量を制御する符号量制御部を含む。

この構成よれば、画像調整処理の調整量に基づいて圧縮符号化処理を行う。これにより、画像調整処理の調整量が、画像の周波数成分に関連し、ノイズや解像感として画質に関連することを利用して、調整量を使って符号量を制御することにより、画質の向上を図ることができる。しかも、画像調整用の調整量の情報を符号量制御にも使うので、簡単な構成で且つカメラ信号処理部の画像状態に応じた画質の向上を図ることができる。

また、本発明の撮像装置では、カメラ信号処理部は、画像の輪郭成分を強調する処理を画像調整処理として行う輪郭強調回路を備え、画像調整制御回路は、輪郭強調回路における輪郭成分の輪郭強調強度を調整するための輪郭強調レベルを制御するとともに、輪郭強調レベルを符号量制御部へ出力する輪郭強調制御回路であり、符号量制御部は、輪郭強調制御回路から入力された輪郭強調レベルに基づいて、符号量を制御する。

この構成によれば、輪郭強調処理における輪郭強調レベルに基づいて、圧縮符号化処理を行う。画像調整処理の調整量として輪郭強調レベルの情報を用いて符号量が制御され、これにより、簡単な構成で且つカメラ信号処理部の画像状態に応じた画質の向上を図ることができる。

また、本発明の撮像装置では、符号量制御部は、輪郭強調強度が増加した場合に、画像信号の高周波数成分に対する量子化パラメータの値が増加するように、量子化パラメータを変化させる。

この構成によれば、輪郭強調強度の増加に応じて量子化パラメータの値を増加させることにより、輪郭強調強度の増加により増幅されるノイズを圧縮符号化処理において低減することができる。

また、本発明の撮像装置では、符号量制御部は、輪郭強調強度が増加した場合に、画像信号の高周波数成分に対する量子化パラメータの値が減少するように、量子化パラメータを変化させる。

この構成によれば、輪郭強調強度の増加に応じて量子化パラメータの値を減少させることにより、輪郭強調強度の増加により向上する解像感を圧縮符号化処理において維持することができる。

また、本発明の撮像装置では、カメラ信号処理部は、画像信号のノイズを低減する処理を画像調整処理として行うノイズリダクション回路を備え、画像調整制御回路は、ノイズリダクション回路におけるノイズのノイズリダクション強度を調整するためのノイズ除去レベルを制御するとともに、調整値を符号量制御部へ出力するノイズリダクション制御回路であり、符号量制御部は、ノイズリダクション制御回路から入力されたノイズ除去レベルに基づいて、符号量を制御する。

この構成によれば、ノイズリダクション処理におけるノイズ除去レベルに基づいて、圧縮符号化処理を行う。画像調整処理の調整量としてノイズ除去レベルを用いて符号量が制御され、これにより、簡単な構成で且つカメラ信号処理部の画像状態に応じた画質の向上を図ることができる。

また、本発明の撮像装置では、符号量制御部は、ノイズリダクション強度が増加した場合に、画像信号の高周波数成分に対する量子化パラメータの値が減少するように、量子化パラメータを変化させる。

この構成によれば、ノイズリダクション強度の増加に応じて量子化パラメータの値を減少させることにより、ノイズリダクション強度の増加により減少する解像感を圧縮符号化処理において維持することができる。

また、本発明の撮像装置では、カメラ信号処理部は、画像サイズを変更する処理を画像調整処理として行うリサイズ回路を備え、画像調整制御回路は、リサイズ回路における画像サイズの倍率を調整するための画像倍率調整レベルを制御するとともに、調整値を符号量制御部へ出力するリサイズ制御回路であり、符号量制御部は、リサイズ制御回路から入力された画像倍率調整レベルに基づいて、符号量を制御する。

この構成によれば、リサイズ処理における画像倍率調整レベルに基づいて、圧縮符号化処理を行う。画像調整処理の調整量として画像倍率調整レベルを用いて符号量が制御され、これにより、簡単な構成で且つカメラ信号処理部の画像状態に応じた画質の向上を図ることができる。

また、本発明の撮像装置では、符号量制御部は、画像サイズの倍率が増加した場合に、画像信号の高周波数成分に対する量子化パラメータの値が増加するように、量子化パラメータを変化させる。

この構成によれば、画像サイズの倍率の増加に応じて量子化パラメータの値を増加させることにより、倍率の増加により増幅されるノイズを圧縮符号化処理において低減することができる。

本発明は、圧縮符号化処理において画質を調整することで、簡単な構成で且つカメラ信号処理部の画像状態に応じた画質の向上を図ることができるという効果を有する撮像装置を提供できる。

（第１の実施の形態）
以下、本発明の実施の形態の撮像装置について、図面を用いて説明する。

本発明の第１の実施の形態の撮像装置を図１及び図２に示す。撮像装置１は、全体構成としてはカメラ１０、カメラ信号処理部２０、及び画像符号化部３０を備えており、カメラ部１０で生成された画像信号がカメラ信号処理部２０を経て、画像符号化部３０に供給される。これらのうち、カメラ部１０及びカメラ信号処理部２０が図１に示され、画像符号化部３０が図２に示されている。

図１に示すように、カメラ部１０は、撮像素子１００、レンズ１０１、及びレンズ駆動部１０２を含む。また、図１に示すように、カメラ信号処理部２０は、２重サンプリング回路２００、信号増幅回路２０１、A/D変換回路２０２、輝度信号生成回路２０３、色差信号生成回路２０４、輪郭強調回路２０５、輪郭強調制御回路２０６、信号出力回路２０７、駆動信号発生回路２０８、及び自動露出・焦点制御回路２０９で構成されている。

また、図２に示すように、画像符号化部３０は、入力画像メモリ３００、動きベクトル検出部３０１、動き探索用バッファ３０２、予測誤差画像生成部３０３、ＤＣＴ処理部３０４、量子化処理部３０５、符号量制御部３０６、可変長符号化処理部３０７、逆量子化処理部３０８、逆ＤＣＴ処理部３０９、参照画像生成部３１０、及び参照画像格納部３１１で構成されている。

次に、撮像装置１の各部の機能について説明する。カメラ部１０の固体撮像素子１００は、駆動信号発生回路２０８により生成された水平同期信号、垂直同期信号、及び電子シャッター信号等の駆動信号により、固体撮像素子１００内部のフォトダイオード各部（画像としては画素に相当）から順次電荷信号を読み出し、出力信号として電圧のアナログ信号を、カメラ信号処理部２０の２重サンプリング回路２００に出力する。

２重サンプリング回路２００は、入力されたアナログ信号の画素信号に相当する信号を検出し、信号増幅回路２０１に出力する。信号増幅回路２０１は、入力された画素信号のレベルを増幅し、A/D変換部２０２に出力する。A/D変換部２０２は、アナログ信号である画素信号をデジタル信号に変換し、輝度信号生成回路２０３及び色差信号生成回路２０４へ出力する。

輝度信号生成回路２０３は、入力された画素信号からＲＧＢを識別して輝度信号を生成し、輝度信号を輪郭強調回路２０５へ出力する。色差信号生成回路２０４は、同様に色差信号を生成し、色差信号を輪郭強調回路２０５へ出力する。

輪郭強調回路２０５は、輝度信号生成回路２０３から出力された輝度信号からハイパスフィルタ等を用いて輪郭成分（エッジ成分）を検出し、輪郭成分に対して輪郭強調制御回路２０６から入力された輪郭強調ゲインを乗じて輝度信号に加算することで、画像の輪郭部を強調する。つまり、輪郭強調回路２０５は、画像の輪郭成分を強調する輪郭強調処理を行う。輪郭強調回路２０５は、輪郭強調された画像信号を信号出力回路２０７へ出力する。

図１の輪郭強調制御回路２０６は、ユーザの要求や他のカメラ自動制御の結果等により輪郭強調回路２０５における輪郭強調レベルを制御する。そして、輪郭強調制御回路２０６は、輪郭強調ゲインを輪郭強調レベルの情報として、輪郭強調回路２０５及び図２の符号量制御部３０６へ出力する。

ここで、輪郭強調回路２０５は、画像調整処理を行う構成の一例であり、輪郭強調制御回路２０６は、画像調整処理における調整量を制御する画像調整制御回路の一例である。また、輪郭強調レベルは、画像調整処理の調整量の一例である。

信号（同時）出力回路２０７は、輪郭強調回路２０５から入力された輝度信号及び色差信号等の画像信号を、図２の画像符号化部３０が対応している入力形式やタイミングで、輝度・色差信号を画像符号化部３０へ出力する。

次に、図２に示す画像符号化部３０の機能について説明する。ここで、画像符号化部３０における圧縮符号化処理は、マクロブロック（画素ブロック）と呼ばれる矩形領域の複数の画素データ単位で行われる。また、画像符号化部３０の符号化処理では、符号量を削減するために、いわゆるフレーム間予測符号化が行われる。すなわち、処理対象フレーム内の処理対象マクロブロックと先行する参照フレーム内の参照マクロブロックとの各画素データの差分に対して、符号化処理が行われる。但し、最初のフレームに関しては参照フレームがないので、いわゆるフレーム内符号化が行われる。静止画の場合は、フレーム内符号化処理のみで符号化処理を実現することができる。

まず、図１のカメラ信号処理部２０から出力された輝度信号及び色差信号等の画像信号は、入力画像メモリ３００に入力される。

入力画像メモリ３００は、カメラ信号処理部２０から出力される輝度信号及び色差信号等の画像信号を一旦保持するものである。入力画像メモリ３００に格納された画像データは、動きベクトル検出部３０１及びＤＣＴ処理部３０４から読み出される。

ＤＣＴ処理部３０４は、画像が１フレーム目の場合は、入力画像メモリ３００から画像データを入力する。また、ＤＣＴ処理部３０４は、画像が２フレーム目以降の場合は、予測誤差画像生成部３０３から予測誤差画像データを入力する。そして、ＤＣＴ処理部３０４は、画像データ及び予測誤差画像データに対して、空間周波数成分への変換を行い、空間周波数成分に変換された画像信号を量子化処理部３０５へ出力する。

量子化処理部３０５は、ＤＣＴ処理部３０４により変換された画像信号に対し、量子化制御部３０６から入力される量子化パラメータに基づいて量子化処理を行う。この量子化処理を行う際の量子化の程度は、量子化パラメータにより決定され、量子化パラメータの値が小さくなるほど再生画像の画質が精細になり、量子化パラメータの値が大きくなるほど再生画像の画質が粗くなる。

次に、図３を用いて、量子化処理部３０５において行われる量子化処理について詳細に説明する。例えば図３に示すように、ＤＣＴ処理結果として、ＤＣＴ処理部３０４により、画像信号が空間周波数へ変換される。画像信号は、水平周波数成分と垂直周波数成分とに変換され、それぞれの周波数成分Ｄ００〜Ｄ７７へ変換される。また、量子化処理部３０５は、符号量制御部３０６により制御される量子化パラメータに基づいて、ＤＣＴ処理結果の各周波数成分に対して量子化処理を行う。例えば図３に示すように、量子化パラメータの各値Ｑ００〜Ｑ７７は、マトリックス上において、ＤＣＴ処理結果の各周波数成分の位置に対応する。具体的には、周波数成分Ｄ００は量子化パラメータＱ００に対応し、周波数成分Ｄ７２は量子化パラメータＱ７２に対応する。そして、量子化処理部３０５は、各周波数成分Ｄ００〜Ｄ７７を対応する量子化パラメータの各値Ｑ００〜Ｑ７７で除算することにより、ＤＣＴ処理後の画像信号に対して量子化処理を行う。このように、周波数成分ごとに対応した量子化パラメータを用いることにより量子化処理が行われ、量子化パラメータの値を増減させることで再生画像の画質を調整することができる。そして、量子化処理部３０５は、量子化された画像信号を可変長符号化処理部３０７及び逆量子化処理部３０８へ出力する。

可変長符号化処理部３０７は、量子化処理部３０５から入力された画像信号に対し、可変長符号化処理を行う。これにより、可変長符号化処理部３０７は、冗長な情報を除去し、より情報量の削減された符号化データを生成する。この符号化データは、例えば、記録部等（図示せず）によって記録媒体に記録される。また、この符号化データは、可変長符号化処理部３０７から符号量制御部３０６へ入力される。

符号量制御部３０６は、可変長符号化処理部３０７から符号化データを入力し、符号量等に応じて量子化パラメータを一旦決定する。また、符号量制御部３０６は、図１の輪郭強調制御回路２０６から、図１の輪郭強調回路２０５における輪郭強調レベルを入力する。そして、符号量制御部３０６は、可変長符号化処理部３０７における符号量等に応じて一旦決定した量子化パラメータと、図１の輪郭強調回路２０５における輪郭強調レベルに応じて決定した量子化パラメータ係数によって、量子化処理部３０５の量子化処理で用いられる量子化パラメータを決定し、量子化処理部３０５へ出力する。

次に、符号量制御部３０６における量子化パラメータの制御について詳細に説明する。ここでは、量子化パラメータの制御として、ノイズ成分を考慮した量子化パラメータの制御と解像感を考慮した量子化パラメータの制御について説明する。

まず、図４を用いて、ノイズ成分を考慮した量子化パラメータの制御について説明する。図４に示すように、図１の輪郭強調回路２０５において輪郭強調処理を行うために、輪郭強調制御回路２０６により輪郭強調ゲインが増加する。これに従い、画像の輪郭成分の輝度レベルが高くなり、輪郭成分の輪郭強調強度が高くなる。一方、輪郭成分にノイズが含まれている場合は、このノイズも輪郭強調強度により増幅される。例えば、図４に示すように、輪郭強調ゲインＧ１により、ノイズレベルがＮからＮ１へ増幅される。この場合、図２の符号量制御部３０６は、輪郭強調回路２０５で増幅されたノイズを抑制するために、可変長符号化処理部２０７から入力された符号量等により決定された量子化パラメータを、輪郭強調回路２０５における輪郭強調ゲインに応じて変化させる。具体的には、図４に示すように、輪郭強調ゲインがＧ１である場合は、量子化パラメータ係数が“Ｐ１”と算出され、図３に示す量子化パラメータのＡＣ成分Ｑ０１〜Ｑ７７のうち、ノイズ成分に関する高周波成分に対応する量子化パラメータの値に、Ｐ１が乗算される。一方、輪郭強調ゲインが“０”の場合は、量子化パラメータ係数が“１”と算出され、図３に示す量子化パラメータがそのまま量子化処理部３０５へ出力される。ここで、量子化パラメータ係数とは、量子化パラメータを変化させるために、画像信号の高周波数成分に対する量子化パラメータの値に乗算される係数をいう。

このように、符号量制御部３０６は、輪郭強調強度が増加した場合に、画像信号のノイズ成分（高周波数成分）に対する量子化パラメータの値が増加するように、量子化パラメータを制御する。そして、量子化処理部３０５が、増加した量子化パラメータ値に基づいて量子化処理を行うことにより、符号化情報を復号化した画像のノイズ成分を低減させる。

以上、ノイズ成分に関する高周波数成分を圧縮符号化処理において低減する場合について説明したが、次に図５を用いて、解像感に関する高周波数成分を圧縮符号化処理において調整する場合について説明する。

まず、図５に示すように、図１の輪郭強調回路２０５において輪郭強調処理を行うために、輪郭強調制御回路２０６が輪郭強調ゲインを増加させる。これに従い、輪郭成分の輝度レベルが高くなり、輪郭成分の輪郭強調強度が高くなるとともに、画像の解像感が増す。例えば、図５に示すように、輪郭強調ゲインＧ２により、解像感がＲからＲ１へ増幅される。この場合、図２の符号量制御部３０６は、輪郭強調回路２０５で増幅された解像感を維持するために、可変長符号化処理部２０７から入力された符号量等により決定された量子化パラメータを、輪郭強調回路２０５における輪郭強調ゲインに応じて変化させる。具体的には、図５に示すように、輪郭強調ゲインがＧ２である場合は、量子化パラメータ係数が“Ｐ２”と算出され、図３に示す量子化パラメータのＡＣ成分Ｑ０１〜Ｑ７７のうち、解像感に関する高周波成分に対応する量子化パラメータの値に、Ｐ２が乗算される。一方、輪郭強調ゲインが“０”の場合は、量子化パラメータ係数が“１”と算出され、図３に示す量子化パラメータがそのまま量子化処理部３０５へ出力される。

このように、符号量制御部３０６は、輪郭強調強度が増加した場合に、画像信号の解像感（高周波数成分）に対する量子化パラメータの値が減少するように、量子化パラメータを制御する。そして、量子化処理部３０５が、減少した量子化パラメータ値に基づいて量子化処理を行うことにより、符号化情報を復号化した画像の解像感を維持する。

以上のように、符号量制御部３０６における量子化パラメータの演算は、例えば、輪郭強調ゲインが増加する場合に、増加または減少する量子化パラメータ係数を用意し、符号量制御部３０６が可変長符号化処理部３０７の出力符号量によって決定した量子化パラメータに対して、輪郭強調ゲインに対応した乗数を乗ずることで実現できる。但し、本実施の形態では、図４及び図５に示すように、量子化パラメータ係数は１次関数により増減する例を示したが、高次関数または階段関数等の任意の関数を用いてよく、複数の関数を組み合わせて用いてもよい。また、画像調整処理された画像に応じて所定の画質を得るために、複数の関数から選択された関数を用いてもよい。

次に、図２に戻り、撮像装置１における動画像のフレーム間予測符号化処理について説明する。図２に示すように、動きベクトル検出部３０１は、入力画像メモリ３００に格納された画像データを読み出す。また、動きベクトル検出部３０１は、動き探索用バッファ３０２に保持されている先行する参照フレームを読み出す。そして、動きベクトル検出部３０１は、動き探索用バッファ３０２から入力された参照フレームのマクロブロックを参照して、予測符号化による情報量の低減効果が大きくなるような参照マクロブロックを求める。すなわち、動きベクトル検出部３０１は、入力画像メモリ３００から入力された処理対象マクロブロックの各画素の画素データと参照フレームのマクロブロックの各画素の画素データとの差分の合計値を求めて、その合計値が予め設定された所定の閾値以下、または最小となるような参照マクロブロックを求め、この参照マクロブロックと処理対象マクロブロックとの相対位置関係を示す動きベクトルを求める。なお、特に限定はされないが、例えば、動きベクトルは輝度データに基づいて行われ、得られた動きベクトルは、輝度データ及び色差データの予測誤差画像を生成する際に共通に用いられてよい。

動き探索用バッファ３０２は、参照画像格納部３１１に格納されている画像データを、動きベクトル検出部３０１による動きベクトルの生成、及び予測誤差画像生成部３０３による予測誤差画像データの生成のために保持する。そして、動き探索用バッファ３０２は、参照フレームの画像データを、動きベクトル検出部３０１及び予測誤差画像生成部３０３へ出力する。

予測誤差画像生成部３０３は、２つ目以降のフレームの符号化が行われる場合に、入力画像メモリ３００から、例えば動きベクトル検出部３０１を介して入力される処理対象マクロブロックの各画素の画素データと、動き探索用バッファ３０２から入力される参照マクロブロックの各画素の画素データとの差分を求めて、予測誤差画像データを生成する。この場合、参照マクロブロックは、参照フレームにおける処理対象マクロブロックに対応する位置から、動きベクトル検出部３０１によって求められた動きベクトルだけずれた位置のマクロブロックである。

画像が２フレーム目以降の場合は、予測誤差画像生成部３０３からＤＣＴ処理部３０４へ予測誤差画像データが入力される。そして、上述のように、ＤＣＴ処理部３０４及び量子化処理部３０５が、ＤＣＴ処理及び量子化処理をそれぞれ行う。

量子化処理部３０５から出力された画像信号は、逆量子化処理部３０８に入力される。逆量子化処理部３０８は、量子化処理部３０５から入力される画像データに対して、逆量子化処理を行う。そして、逆量子化処理部３０８は、逆量子化処理された画像データを逆ＤＣＴ処理部３０９へ出力する。逆ＤＣＴ処理部３０９は、逆量子化処理部３０８により逆量子化処理された画像データに対して逆ＤＣＴ処理を行う。逆ＤＣＴ処理部３０９は、逆ＤＣＴ処理された画像データを参照画像生成部３１０へ出力する。

参照画像生成部３１０は、画像の１フレーム目に関しては、逆ＤＣＴ処理部３０９から入力される画像データをそのまま参照画像格納部３１１へ出力する。また、画像の２フレーム目以降のフレームに関しては、予測誤差画像生成部３０３により生成される予測誤差画像データが逆ＤＣＴ処理部３０９から入力されるので、参照画像生成部３１０は、逆ＤＣＴ処理部３０９から入力される画像データを、動き探索用バッファ３０２に保持されている先行する参照フレームの画像データに加算し、現フレームの画像データに戻して、参照画像格納部３１１へ出力する。

参照画像格納部３１１は、参照画像生成部３１０から出力される画像データを、次のフレームの処理についての参照フレームの画像データとして格納するものである。この参照フレームの格納は、各処理対象マクロブロックの位置に対応する領域に対して行われる。

以上説明した本実施の形態では、輪郭強調回路２０５が画像調整処理として輪郭強調処理を行い、輪郭強調制御回路２０６が画像調整制御回路として用いられている。また、本実施の形態では、輪郭強調レベルが画像調整処理の調整量として用いられている。

そして、本実施形態の撮像装置１は、カメラ部１０の撮像素子１００から出力される画像信号が、カメラ信号処理部２０に供給され、カメラ信号処理部２０において、２重サンプリング回路２００、信号増幅回路２０１、A/D変換回路２０２、輝度信号生成回路２０３、及び色差信号生成回路２０４を経て、輪郭強調回路２０５へ入力される。そして、輪郭強調回路２０５が、画像信号に対して輪郭強調処理を行い、輪郭強調制御回路２０６が、輪郭強調回路２０５における輪郭強調レベルを制御し、輪郭強調レベルの情報を画像符号化部３０の符号量制御部３０６へ出力する。また、輪郭強調回路２０５により輪郭強調された画像信号は、信号出力回路２０７から画像符号化部３０へ出力される。画像符号化部３０では、動画像に対してはフレーム間予測符号化が行われるとともに、画像信号に対して、ＤＣＴ処理、量子化処理、及び可変調符号化処理が行われる。この場合、量子化処理で用いられる量子化パラメータは、符号量制御部３０６により制御される。符号化量制御部３０６は、カメラ信号処理部２０の輪郭強調制御回路２０６から入力される輪郭強調レベルに応じた量子化パラメータに基づいて、輪郭強調処理された画像信号に対して量子化処理を行う。

以上のように、本実施の形態の撮像装置によれば、画像調整処理の調整量に基づいて圧縮符号化処理を行うことにより、画像調整処理の調整量が、画像の周波数成分に関連し、ノイズや解像感として画質に関連することを利用して、調整量を使って符号量を制御することにより、画質の向上を図ることができる。しかも、画像調整用の調整量の情報を符号量制御にも使うので、簡単な構成で且つカメラ信号処理部の画像状態に応じた画質を向上できる。

また、本実施の形態によれば、図１の輪郭強調回路２０５の輪郭強調処理における輪郭強調レベルに基づいて、図２の画像符号化部３０が圧縮符号化処理を行う。これにより、画像調整処理の調整量として輪郭強調レベルの情報を用いて符号量が制御され、簡単な構成で且つカメラ信号処理部の画像状態に応じた画質の向上を図ることができる。

また、本実施の形態の撮像装置によれば、図４に示すように、図２の符号量制御部３０６が、輪郭強調強度の増加に応じて量子化パラメータの値を増加させることにより、輪郭強調強度の増加により増幅されるノイズを圧縮符号化処理において低減することができる。

また、本実施形態の撮像装置によれば、図５に示すように、符号量制御部３０６が、輪郭強調強度の増加に応じて量子化パラメータの値を減少させることにより、輪郭強調強度の増加により向上する解像感を圧縮符号化処理において維持することができる。

（第２の実施の形態）
本発明の第２の実施の形態の撮像装置を図６及び図７に示す。なお、本実施の形態において、上述の第１の実施の形態と同様の構成については、同様の動作及び機能を有するため説明を省略する。

図６に示すように、本実施の形態の撮像装置１は、カメラ信号処理部２０の輝度信号生成回路２０３及び色差信号生成回路２０４の後段に、ノイズリダクション回路２１０及びノイズリダクション（ＮＲ）制御回路２１１を備える。

ノイズリダクション回路２１０は、輝度信号生成回路２０３から出力された輝度信号から、ローパスフィルタ等を用いて、ノイズリダクション強度に応じた周波数成分以上の信号を除去することで、ノイズ除去を行う。つまり、ノイズリダクション回路２１０は、画像のノイズを低減するノイズリダクション処理を行う。ノイズリダクション回路２１０は、ノイズリダクション処理された画像信号を信号出力回路２０７へ出力する。

ノイズリダクション制御回路２１１は、ユーザの要求や他のカメラ自動制御の結果等により、ノイズリダクション回路２１０におけるノイズ除去レベルを制御する。そして、ノイズリダクション制御回路２１１は、ノイズリダクション強度をノイズ除去レベルの情報として、ノイズリダクション回路２１０及び図７の符号量制御部３０６へ出力する。

ここで、ノイズリダクション回路２１０は、画像調整処理を行う構成の一例であり、ノイズリダクション制御回路２１１は、画像調整処理における調整量を制御する画像調整制御回路の一例である。また、ノイズ除去レベルは、画像調整処理の調整量の一例である。

図７の符号量制御部３０６は、図６のノイズリダクション制御回路２１１から、図６のノイズリダクション回路２１０におけるノイズ除去レベルを入力する。そして、符号量制御部３０６は、可変長符号化処理部３０７における符号量等に応じて一旦決定した量子化パラメータと、ノイズリダクション回路２１０におけるノイズ除去レベルに応じて決定した量子化パラメータ係数によって、量子化処理部３０５の量子化処理で用いられる量子化パラメータを決定し、量子化処理部３０５へ出力する。

次に、図８を用いて、符号量制御部３０６における量子化パラメータの制御について詳細に説明する。ここでは、量子化パラメータの制御として、解像感を考慮した量子化パラメータの制御について説明する。

まず、図８に示すように、図６のノイズリダクション回路２１０においてノイズ低減処理を行うために、ノイズリダクション制御回路２１１がノイズリダクション強度を増加させる。これに従い、ノイズ除去レベルが高くなるようにローパスフィルタの通過領域が変化し、高周波数成分のノイズ信号がより多く除去されるため、ノイズリダクション回路２１０の出力信号の高周波数成分が低減され、画像の解像感が減少する。例えば、図８に示すように、ノイズリダクション強度Ｇ３により、解像感がＲからＲ２へ減少する。この場合、図７の符号量制御部３０６は、ノイズリダクション回路２１０で減少した解像感を維持するために、可変長符号化処理部２０７から入力された符号量等により決定された量子化パラメータを、ノイズリダクション回路２１０におけるノイズリダクション強度に応じて変化させる。具体的には、図８に示すように、ノイズリダクション強度がＧ３である場合は、量子化パラメータ係数が“Ｐ３”と算出され、図３に示す量子化パラメータのＡＣ成分Ｑ０１〜Ｑ７７のうち、解像感に関する高周波成分に対応する量子化パラメータの値に、Ｐ３が乗算される。一方、ノイズリダクション強度が“０”の場合は、量子化パラメータ係数が“１”と算出され、図３に示す量子化パラメータがそのまま量子化処理部３０５へ出力される。

このように、符号量制御部３０６は、ノイズリダクション強度が増加した場合に、画像信号の解像感（高周波数成分）に対する量子化パラメータの値が減少するように、量子化パラメータを制御する。そして、量子化処理部３０５が、減少した量子化パラメータ値に基づいて量子化処理を行うことにより、符号化情報を復号化した画像の解像感を維持する。

図７の符号量制御部３０６における量子化パラメータの演算は、例えば、ノイズリダクション強度が増加する場合に、減少する量子化パラメータ係数を用意し、符号量制御部３０６が可変長符号化処理部３０７の出力符号量によって決定した量子化パラメータに対して、ノイズリダクション強度に対応した乗数を乗ずることで実現できる。但し、本実施の形態では、図８に示すように、量子化パラメータ係数は１次関数により減少する例を示したが、高次関数または階段関数等の任意の関数を用いてよく、複数の関数を組み合わせて用いてもよい。また、画像調整処理された画像に応じて所定の画質を得るために、複数の関数から選択された関数を用いてもよい。

以上説明した本実施の形態では、ノイズリダクション回路２１０が画像調整処理としてノイズリダクション処理を行い、ノイズリダクション制御回路２１１が画像調整制御回路として用いられている。また、本実施の形態では、ノイズ除去レベルが画像調整処理の調整量として用いられている。

そして、本実施の形態の撮像装置１は、カメラ部１０から出力される画像信号に対して、カメラ信号処理部２０のノイズリダクション回路２１０によってノイズリダクション処理を行い、画像符号化処理部３０の符号量制御部３０６によって、ノイズリダクション処理のノイズ除去レベルに応じて量子化パラメータを制御し、量子化処理部３０５によって、ノイズ除去レベルに応じた量子化パラメータに基づいて、ノイズリダクション処理された画像信号に対して量子化処理を行う。

以上のように、本実施の形態の撮像装置によれば、図６のノイズリダクション回路２１０のノイズリダクション処理におけるノイズ除去レベルに基づいて、図７の画像符号化部３０が圧縮符号化処理を行うことにより、ノイズリダクション処理で減少した解像感を圧縮符号化処理において調整することで、簡単な構成で且つカメラ信号処理部の画像状態に応じた画質の向上を図ることができる。

また、本実施の形態の撮像装置によれば、図８に示すように、図７の符号量制御部３０６が、ノイズリダクション強度の増加に応じて量子化パラメータの値を減少させることにより、ノイズリダクション強度の増加により減少する解像感を圧縮符号化処理において維持することができる。

（第３の実施の形態）
本発明の第３の実施の形態の撮像装置を図９及び図１０に示す。なお、本実施の形態において、上述の第１及び第２の実施の形態と同様の構成については、同様の動作及び機能を有するため説明を省略する。

図９に示すように、本実施の形態の撮像装置１は、カメラ信号処理部２０の輝度信号生成回路２０３及び色差信号生成回路２０４の後段に、リサイズ回路２１２及びリサイズ制御回路２１３を備える。

リサイズ回路２１２は、輝度信号生成回路２０３及び色差信号生成処理２０４からそれぞれ出力される輝度信号及び色差信号に対して、間引き処理や補間処理等を施し、ユーザが要望する画像サイズまたはデジタルズーム倍率等に応じた輝度信号及び色差信号を信号出力回路２０７へ出力し、画像サイズを調整する。また、リサイズ回路２１２は、切り出し開始位置の輝度信号及び色差信号を決定して、信号出力回路２０７へ出力する。つまり、リサイズ回路２１２は、画像サイズを変更する処理を画像倍率調整処理として行う。

リサイズ制御回路２１３は、ユーザの出力画像サイズや倍率、切り出し開始位置等の要求等により倍率や間引き間隔を決定し、リサイズ回路２１２における画像倍率調整レベルを制御する。そして、リサイズ制御回路２１３は、画像倍率、間引き間隔、切り出し開始位置、及び切り出しサイズ等を、画像倍率調整レベルの情報として、リサイズ回路２１２及び図１０の符号量制御部３０６へ出力する。

ここで、リサイズ回路２１２は、画像調整処理を行う構成の一例であり、リサイズ制御回路２１３は、画像調整処理における調整量を制御する画像調整制御回路の一例である。また、画像倍率調整レベルは、画像調整処理の調整量の一例である。

図１０の符号量制御部３０６は、図９のリサイズ制御回路２１３から、図９のリサイズ回路２１２における画像倍率調整レベルを入力する。そして、符号量制御部３０６は、可変長符号化処理部３０７における符号量等に応じて一旦決定した量子化パラメータと、リサイズ回路２１２における画像倍率に応じて決定した量子化パラメータ係数によって、量子化処理部３０５の量子化処理で用いられる量子化パラメータを決定し、量子化処理部３０５へ出力する。

次に、図１１を用いて、符号量制御部３０６における量子化パラメータの制御について詳細に説明する。ここでは、量子化パラメータの制御として、ノイズ成分を考慮した量子化パラメータの制御について説明する。

まず、図１１に示すように、図９のリサイズ回路２１２において画像倍率調整処理を行うために、リサイズ制御回路２１０がデジタルズーム倍率を増加させる。これに従い、固定パターンノイズや暗電流ノイズが目立つようになる。例えば、図１１に示すように、デジタルズーム倍率Ｇ４により、ノイズレベルがＮからＮ２へ増幅される。この場合、図１０の符号量制御部３０６は、リサイズ回路２１２において発生したノイズを抑制するために、可変長符号化処理部２０７から入力された符号量等により決定された量子化パラメータを、リサイズ回路２１２におけるデジタルズーム倍率に応じて変化させる。具体的には、図１１に示すように、デジタルズーム倍率がＧ４である場合は、量子化パラメータ係数が“Ｐ４”と算出され、図３に示す量子化パラメータのＡＣ成分Ｑ０１〜Ｑ７７のうち、ノイズ成分に関する高周波成分に対応する量子化パラメータの値に、Ｐ４が乗算される。一方、デジタルズーム倍率が“０”の場合は、量子化パラメータ係数が“１”と算出され、図３に示す量子化パラメータがそのまま量子化処理部３０５へ出力される。

このように、符号量制御部３０６は、画像倍率が増加した場合に、画像信号のノイズ成分（高周波数成分）に対する量子化パラメータの値が増加するように、量子化パラメータを制御する。そして、量子化処理部３０５が、増加した量子化パラメータ値に基づいて量子化処理を行うことにより、符号化情報を復号化した画像のノイズ成分を低減させる。

このように、図１０の符号量制御部３０６における量子化パラメータの演算は、例えば、デジタルズーム倍率が増加する場合に、減少する量子化パラメータ係数を用意し、符号量制御部３０６が可変長符号化処理部３０７の出力符号量によって決定した量子化パラメータに対して、デジタルズーム倍率に対応した乗数を乗ずることで実現できる。但し、本実施の形態では、図１１に示すように、量子化パラメータ係数は１次関数により増減する例を示したが、高次関数または階段関数等の任意の関数を用いてよく、複数の関数を組み合わせて用いてもよい。また、画像調整処理された画像に応じて所定の画質を得るために、複数の関数から選択された関数を用いてもよい。

以上説明した本実施の形態では、リサイズ回路２１２が画像調整処理として画像倍率調整処理を行い、リサイズ制御回路２１２が画像調整制御回路として用いられている。また、本実施の形態では、画像倍率調整レベルが画像調整処理の調整量として用いられている。

そして、本実施の形態の撮像装置１は、カメラ部１０から出力される画像信号に対して、カメラ信号処理部２０のリサイズ回路２１２によって画像倍率調整処理を行い、画像符号化処理部３０の符号量制御部３０６によって、画像倍率調整処理の画像倍率調整レベルに応じて量子化パラメータを制御し、量子化処理部３０５によって、画像倍率調整レベルに応じた量子化パラメータに基づいて、画像倍率調整処理された画像信号に対して量子化処理を行う。

以上のように、本実施の形態の撮像装置によれば、図９のリサイズ回路２１２のリサイズ処理における画像倍率調整レベルに基づいて、図１０の画像符号化部３０が圧縮符号化処理を行うことにより、リサイズ処理で生じたノイズを圧縮符号化処理において調整することで、簡単な構成で且つカメラ信号処理部の画像状態に応じた画質の向上を図ることができる。また、本実施の形態の撮像装置によれば、図１１に示すように、図１０の符号量制御部３０６が、画像倍率の増加に応じて量子化パラメータの値を増加させることにより、画像倍率の増加により増幅されるノイズを圧縮符号化処理において低減することができる。

以上のように、本発明にかかる撮像装置は、画像符号化処理で、輪郭強調処理、ノイズリダクション処理、及びリサイズ処理の各種パラメータに応じて符号量制御を行うことにより、高画質化された符号化情報を生成することができるという効果を有し、携帯電話向けカメラ、デジタルスチルカメラ、及びムービーカメラの撮像装置等として有用である。

本発明の第１の実施の形態のカメラ部及びカメラ信号処理部の一例を示すブロック図 本発明の第１の実施の形態の画像符号化部の一例を示すブロック図 ＤＣＴ処理結果及び量子化パラメータの一例を示す図 輪郭強調ゲインとノイズレベル及び量子化パラメータ係数の関係の一例を示す図 輪郭強調ゲインと解像感及び量子化パラメータ係数の関係の一例を示す図 本発明の第２の実施の形態のカメラ部及びカメラ信号処理部の一例を示すブロック図 本発明の第２の実施の形態の画像符号化部の一例を示すブロック図 ノイズリダクション強度と解像感及び量子化パラメータ係数の関係の一例を示す図 本発明の第３の実施の形態のカメラ部及びカメラ信号処理部の一例を示すブロック図 本発明の第３の実施の形態の画像符号化部の一例を示すブロック図 デジタルズーム倍率とノイズレベル及び量子化パラメータ係数の関係の一例を示す図

符号の説明

１ 撮像装置
１０ カメラ部
２０ カメラ信号処理部
３０ 画像符号化部
１００ 撮像素子
１０１ レンズ
１０２ レンズ駆動部
２００ ２重サンプリング回路
２０１ 信号増幅回路
２０２ A/D変換回路
２０３ 輝度信号生成回路
２０４ 色差信号生成回路
２０５ 輪郭強調回路
２０６ 輪郭強調制御回路
２０７ 信号出力回路
２０８ 駆動信号発生回路
２０９ 自動露出・焦点制御回路
２１０ ノイズリダクション回路
２１１ ノイズリダクション制御回路
２１２ リサイズ回路
２１３ リサイズ制御回路
３０４ ＤＣＴ処理部
３０５ 量子化処理部
３０６ 符号量制御部
３０７ 可変長符号化処理部

Claims (8)

1. 撮像素子を含むカメラ部と、
   前記カメラ部から出力される画像信号に対して画像調整処理を含むカメラ信号処理を行うカメラ信号処理部と、
   前記カメラ信号処理部で処理された画像信号に対して圧縮符号化処理を行う画像符号化部とを備え、
   前記カメラ信号処理部は、前記画像調整処理の調整量を制御する画像調整制御回路を含み、
   前記画像符号化部は、前記画像調整処理の前記調整量に基づいて、前記画像調整処理された画像の画質に応じて前記圧縮符号化処理における符号量を制御する符号量制御部を含むことを特徴とする撮像装置。
2. 前記カメラ信号処理部は、画像の輪郭成分を強調する処理を前記画像調整処理として行う輪郭強調回路を備え、
   前記画像調整制御回路は、前記輪郭強調回路における前記輪郭成分の輪郭強調強度を調整するための輪郭強調レベルを制御するとともに、前記輪郭強調レベルを前記符号量制御部へ出力する輪郭強調制御回路であり、
   前記符号量制御部は、前記輪郭強調制御回路から入力された前記輪郭強調レベルに基づいて、前記符号量を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記符号量制御部は、前記輪郭強調強度が増加した場合に、前記画像信号の高周波数成分に対する量子化パラメータの値が増加するように、前記量子化パラメータを変化させることを特徴とする請求項２に記載の撮像装置。
4. 前記符号量制御部は、前記輪郭強調強度が増加した場合に、前記画像信号の高周波数成分に対する量子化パラメータの値が減少するように、前記量子化パラメータを変化させることを特徴とする請求項２に記載の撮像装置。
5. 前記カメラ信号処理部は、前記画像信号のノイズを低減する処理を前記画像調整処理として行うノイズリダクション回路を備え、
   前記画像調整制御回路は、前記ノイズリダクション回路における前記ノイズのノイズリダクション強度を調整するためのノイズ除去レベルを制御するとともに、前記ノイズ除去レベルを前記符号量制御部へ出力するノイズリダクション制御回路であり、
   前記符号量制御部は、前記ノイズリダクション制御回路から入力された前記ノイズ除去レベルに基づいて、前記符号量を制御することを特徴とする請求項１に記載の撮像装置。
6. 前記符号量制御部は、前記ノイズリダクション強度が増加した場合に、前記画像信号の高周波数成分に対する量子化パラメータの値が減少するように、前記量子化パラメータを変化させることを特徴とする請求項５に記載の撮像装置。
7. 前記カメラ信号処理部は、画像サイズを変更する処理を前記画像調整処理として行うリサイズ回路を備え、
   前記画像調整制御回路は、前記リサイズ回路における前記画像サイズの倍率を調整するための画像倍率調整レベルを制御するとともに、前記画像倍率調整レベルを前記符号量制御部へ出力するリサイズ制御回路であり、
   前記符号量制御部は、前記リサイズ制御回路から入力された前記画像倍率調整レベルに基づいて、前記符号量を制御することを特徴とする請求項１に記載の撮像装置。
8. 前記符号量制御部は、前記画像サイズの倍率が増加した場合に、前記画像信号の高周波数成分に対する量子化パラメータの値が増加するように、前記量子化パラメータを変化させることを特徴とする請求項７に記載の撮像装置。

Images