JP2011029690A - 電子カメラ及び画像符号化方法 - Google Patents

Abstract

【課題】 明るさが変化するオブジェクトに対する画質の劣化を防止する。
【解決手段】 取得される第１画像からオブジェクト領域を検出するオブジェクト領域検出部と、オブジェクト領域の輝度を算出する輝度算出部と、第１画像におけるオブジェクト領域と第１画像よりも前に取得された第２画像におけるオブジェクト領域との間に生じる輝度変化の状態を判定する状態判定部と、状態判定部により判定されたオブジェクト領域の輝度変化の状態に基づいて、第１画像のオブジェクト領域を圧縮する際に用いる圧縮パラメータを設定する設定部と、設定部により設定された圧縮パラメータを用いて第１画像のオブジェクト領域を圧縮する画像圧縮部と、を備えたことを特徴とする。
【選択図】 図７

Description

本発明は、取り込まれる画像信号を圧縮符号化して記憶する電子カメラ及び画像符号化方法に関する。

取得される画像の画質を向上させる方法としては、画像に対して施される画像処理、又は画像に対して施される圧縮符号化処理のいずれか一方の処理を改善することが考えられる。画像処理により画質を向上させる場合、画像から人物の顔などのオブジェクトを検出し、検出されたオブジェクトに基づいた高画質化処理を画像に対して実行することが挙げられる（特許文献１参照）。

一方、圧縮符号化処理により画質を向上させる場合には、例えば画像から人物の顔などのオブジェクトを検出し、検出されたオブジェクトが占める領域に対しては低圧縮率を用い、それ以外の領域に対しては高圧縮率を用いて圧縮符号化処理を施すことが挙げられる（特許文献２参照）。

特開２００５−０６３４０６号公報 特開２００１−１４５１０１号公報

このように、画像から検出されるオブジェクトにあわせた画像処理や圧縮符号化処理を行うことで、画像の画質を向上させることが可能となる。しかしながら、例えばオブジェクトの明るさが急激に変化する動画像や、主要オブジェクトの前面を雨や雪などのオブジェクトが通過する環境下での撮影された動画像の場合、動画像を構成する複数のフレーム画像のうち、オブジェクトの明るさが変化する前後のフレーム画像において、オブジェクトの画質が劣化してしまうという問題がある。

本発明は、明るさが変化するオブジェクトに対する画質の劣化を防止することができるようにした電子カメラ及び画像符号化方法を提供することを目的とする。

上述した課題を解決するために、本発明の電子カメラは、取得される第１画像からオブジェクト領域を検出するオブジェクト領域検出部と、前記オブジェクト領域の輝度を算出する輝度算出部と、前記第１画像におけるオブジェクト領域と該第１画像よりも前に取得された第２画像におけるオブジェクト領域との間に生じる輝度変化の状態を判定する状態判定部と、前記状態判定部により判定された前記オブジェクト領域の輝度変化の状態に基づいて、前記第１画像のオブジェクト領域を圧縮する際に用いる圧縮パラメータを設定する設定部と、前記設定部により設定された圧縮パラメータを用いて前記第１画像のオブジェクト領域を圧縮する画像圧縮部と、を備えたことを特徴とする。

また、前記設定部は、前記第１画像のオブジェクト領域と前記第２画像のオブジェクト領域との間に生じる輝度変化が急峻である場合に、前記第１画像のオブジェクト領域に対して設定される圧縮パラメータを、前記第２画像のオブジェクト領域に対して設定された圧縮パラメータよりも低く設定することが好ましい。

また、前記画像圧縮部は、連続的に取り込まれる複数の画像の輝度値が定量的に変化する場合に、新たに取得された画像の輝度値を、既に取得された少なくとも１以上の画像の輝度値と、該輝度値に対して設定される係数とを用いることで予測する重み付き予測部を備え、前記設定部は、前記第１画像と前記第２画像との間における前記オブジェクト領域の輝度変化と過去に求めた輝度変化の履歴とから、前記オブジェクト領域に対する輝度変化が一定であるか否かを判定し、前記輝度変化が一定であると判定した場合に、前記重み付き予測部による予測を利用して、前記第１画像のオブジェクト領域に対する圧縮パラメータを設定することが好ましい。

また、前記画像圧縮部は、予め圧縮パラメータに基づいて設定されたブロックサイズに基づいて画像を分割することで、該画像におけるオブジェクトの動きを予測する動き補償部を備え、前記設定部は、前記第１画像及び前記第２画像間のオブジェクト領域における輝度変化と過去に求めた輝度変化の履歴とから、前記オブジェクト領域に対する輝度変化が一定であるか否かを判定し、前記輝度変化が一定でないと判定した場合に、前記動き補償部により用いられる前記ブロックサイズを小さくすることで、前記第１画像のオブジェクト領域に対する前記圧縮パラメータを変更することが好ましい。

また、前記設定部は、前記第１画像のオブジェクト領域に対して設定された圧縮パラメータに基づいて、前記第１画像のオブジェクト領域を除く、残りの領域に対する圧縮パラメータを設定することが好ましい。

また、本発明の画像符号化方法は、取得される第１画像からオブジェクト領域を検出するオブジェクト領域検出工程と、前記オブジェクト領域の輝度を算出する輝度算出工程と、前記第１画像におけるオブジェクト領域と該第１画像よりも前に取得された第２画像におけるオブジェクト領域との間に生じる輝度変化の状態を判定する状態判定工程と、前記状態判定工程により判定された前記オブジェクト領域の輝度変化の状態に基づいて、前記第１画像のオブジェクト領域を圧縮する際に用いる圧縮パラメータを設定する設定工程と、前記設定工程により設定された圧縮パラメータを用いて前記第１画像のオブジェクト領域を圧縮する画像圧縮工程と、を備えたことを特徴とする。

本発明によれば、オブジェクトの明るさが変化した場合であっても、オブジェクトに対する画質の劣化を防止することができる。

本発明を適用した電子カメラの構成の概略を示す図である。 重み付き予測の概要を示す図である。 フレーム画像ＦＩにおけるオブジェクト領域ＯＲ及びバックグラウンド領域ＢＲを示す図である。 フレーム画像ＦＩ_ｎを１６×１６画素のブロックサイズのマクロブロックで分割したときの図である。 フレーム画像ＦＩ_ｎのオブジェクト領域ＯＲを、１６×８画素、８×１６画素及び８×８画素のブロックサイズのマクロブロックで分割したときの図である。 画像符号化回路の構成を示す図である。 圧縮符号化処理の手順を示すフローチャートである。 オブジェクト領域の輝度が急峻に変化する動画像における各フレーム画像を示す図である。 フレーム画像のオブジェクト領域における輝度変化を示す図である。

以下、本実施形態の電子カメラの一例としてデジタルカメラ１０を例に挙げて説明する。なお、このデジタルカメラ１０は、静止画像の撮影の他に、動画像を撮影することが可能である。以下、静止画像の撮影を静止画撮影、動画像の撮影を動画撮影と称して説明する。

図１に示すように、デジタルカメラ１０は、撮像光学系１５を介して取り込まれる被写体光を撮像素子２１により光電変換し、光電変換後の信号電荷を画像信号として出力する。以下では、デジタルカメラ１０を用いて画像データを取得する行為を撮影と称し、該撮影時に実行されるデジタルカメラ１０の内部の処理を撮像と称して説明する。

撮像光学系１５は、図示を省略した撮像レンズ、ズームレンズやフォーカスレンズなどを含むレンズ群から構成される。ズームレンズは選択された撮影倍率となるように光軸Ｌに沿って移動する。フォーカスレンズは被写体像の焦点調節の際に光軸Ｌに沿って微小移動する。このレンズ群を構成するズームレンズやフォーカスレンズなどは、図示を省略したレンズ駆動機構によって駆動制御される。

撮像素子２１は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。撮像素子２１は、撮像光学系１５によって取り込まれる被写体光を受光し、受光した光量を信号電荷に変換（光電変換）して、変換した信号電荷を蓄積する。

ドライバ２２は、撮像素子２１を駆動制御する。撮像素子２１の駆動制御とは、撮像素子２１の各画素に対する信号電荷の蓄積及び蓄積された信号電荷の出力が挙げられる。以下、撮像素子２１から出力される信号電荷を画像信号と称して説明する。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路２３は、図示しないＡＧＣ回路やＣＤＳ回路を含んで構成される。ＡＦＥ回路２３は、入力された画像信号に対してゲインコントロール、雑音除去などのアナログ処理を施す。このアナログ処理が施された画像信号に対して、Ａ／Ｄ変換処理が実行される。これにより、アナログの画像信号がデジタルの画像信号に変換される。このデジタルの画像信号は、ＤＦＥ回路２４に出力される。

ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）回路２４は、ＡＦＥ回路２３から出力された画像信号に対してノイズ補正処理や欠陥補正処理を行う。符号２５は、タイミングジェネレータ（ＴＧ）であり、このＴＧ２５により、ドライバ２２、ＡＦＥ回路２３及びＤＦＥ回路２４の駆動タイミングが制御される。バッファメモリ３１は、ＤＦＥ回路２４から出力される画像信号を１コマ毎にまとめて記憶する。なお、このバッファメモリ３１には、複数コマの画像信号を記憶することが可能となっている。

画像処理回路３２は、バッファメモリ３１に記憶された画像信号に対して、画像処理を実行する。この画像処理については周知であることから、詳細は記載しないが、例えば色補間処理、ホワイトバランス補正処理、輪郭補償処理、階調変換処理、色空間変換処理などが挙げられる。なお、画像処理済みの画像信号は、バッファメモリ３１に記録される。なお、本実施形態では、画像処理済みの画像信号をバッファメモリ３１に記録しているが、これに限定される必要はなく、画像処理済みの画像信号を複数記録するためのメモリをバッファメモリ３１とは別に設けることも可能である。

画像符号化回路３３は、画像処理済みの画像信号に対して圧縮符号化処理を施す。この画像符号化回路３３によって、静止画撮影により取得された画像データ（以下、静止画像データ）や、動画撮影により取得された画像データ（以下、動画像データ）が圧縮符号化される。この圧縮符号化処理は周知のＨ．２６４／ＡＶＣ規格に基づいて実行される。

このＨ．２６４／ＡＶＣ規格による圧縮符号化処理は、重み付き予測機能を有している。重み付き予測機能とは、例えば徐々に明るくなる画像や徐々に暗くなる画像など、明るさが定量的に変化する動画像の場合に、符号化対象となるフレーム画像を予測する機能である。図２に示すように、時間的に徐々に暗くなる動画像に対して符号化する場合、フレーム画像ＦＩ_０の動き予測補償信号をＹ_０、フレーム画像ＦＩ₁の動き予測補償信号をＹ₁とすると、フレーム画像ＦＩ₂の予測信号Ｙ₂は、以下の（１）式で算出される。

Ｙ₂＝Ｗ₀×Ｙ₀＋Ｗ₁×Ｙ₁＋Ｄ・・・・（１）式
なお、Ｗ₀，Ｗ₁は重み係数、Ｄは係数である。この予測信号Ｙ₂を求めることで、明るさが時間的に変化する動画像であっても、符号化対象となるフレーム画像に対する予測精度を向上させることが可能となる。

図１に戻って、メディアスロット３５は、例えばメモリカード、光学ディスク、磁気ディスクなどの記憶媒体３６が装着される。なお、メディアスロット３５に装着される記憶媒体３６には、圧縮符号化した画像データや、撮影条件、カメラの機種などの情報がまとめられた画像ファイルが書き込まれる。

ＬＣＤ３７は、表示装置の一形態であって、撮影待機状態時に取り込まれるスルー画像や、静止画撮影や動画撮影時に得られた画像を表示する。また、この他に、ＬＣＤ３７には、デジタルカメラ１０の設定を行う際の設定用の画像を表示する。なお、符号３８は、ＬＣＤ３７の駆動制御を行う表示制御回路である。

ＣＰＵ４１は、内蔵メモリ４３に記憶された制御プログラム（図示省略）を実行することで、デジタルカメラ１０の各部を統括的に制御する。このＣＰＵ４１は、バス４２を介して、バッファメモリ３１、画像処理回路３２、画像符号化回路３３、メディアスロット３５、表示制御回路３８及び内蔵メモリ４３に接続される。ＣＰＵ４１には、レリーズボタン４４や設定操作部４５からの操作信号が入力可能となっている。

このＣＰＵ４１は、上述した制御プログラムを実行することで、オブジェクト検出部５１、輝度検出部５２、変化量判定部５３、スケールファクタ設定部５４及びマクロブロック設定部５５の機能を有している。

オブジェクト検出部５１は、動画撮影を行っている際に、バッファメモリ３１に格納された画像処理済みの画像データを用いてオブジェクト検出を行う。動画撮影においては所定時間毎にフレーム画像が連続的に取得されることから、オブジェクト検出部５１は、取得される各フレーム画像に対してオブジェクト検出を実行する。オブジェクト検出部５１によるオブジェクト検出の方法としては、周知のパターンマッチングや特徴量検出が挙げられる。このオブジェクト検出を行うことによって、人物、動物の他、車、飛行機などの輸送機器や建物などがオブジェクトとして検出される。

オブジェクト検出部５１は、フレーム画像からオブジェクトが検出されると、検出されたオブジェクトの領域（以下、オブジェクト領域）に含まれる画素のアドレスデータや、オブジェクトの特徴量と、フレーム画像のフレーム番号とを対応付けた画像情報を生成し、該画像情報を内蔵メモリ４３に記録する。なお、オブジェクト領域は、検出されるオブジェクトの領域を、そのままオブジェクト領域としてもよいし、検出されるオブジェクトが含まれる矩形の領域をオブジェクト領域としてもよい。以下、フレーム画像から検出されるオブジェクト領域を除いた領域を、バックグラウンド領域と称する。また、以下では、オブジェクト領域をＯＲ、バックグラウンド領域をＢＲとして説明する。図３に示すように、フレーム画像ＦＩに人物の顔が含まれる場合には、人物の顔がオブジェクト領域ＯＲとして検出され、オブジェクト領域ＯＲ以外の領域が、バックグラウンド領域ＢＲとなる。

輝度検出部５２は、オブジェクト検出部５１によって検出されたオブジェクト領域ＯＲの輝度値を算出する。上述したように、オブジェクト検出部５１により検出されたオブジェクト領域ＯＲに含まれる画素のアドレスデータは内蔵メモリ４３に記憶されている。輝度検出部５２は、内蔵メモリ４３に記憶されたアドレスデータを読み出した後、該アドレスデータを参照して、バッファメモリ３１に格納されたフレーム画像ＦＩから、オブジェクト領域ＯＲに含まれる画素の画素値を読み出す。例えばフレーム画像ＦＩの各画素における画素値がＲ，Ｇ，Ｂ値からなる場合には、各画素の画素値から輝度値を求め、求めた輝度値の平均値をオブジェクト領域ＯＲの輝度値とする。一方、フレーム画像ＦＩの各画素における画素値が、Ｙ，Ｃｒ，Ｃｂ値からなる場合には、各画素のＹ値を読み出し、これら読み出したＹ値の平均値をオブジェクト領域ＯＲの輝度値とすればよい。なお、算出されたオブジェクト領域ＯＲの輝度値は、例えばフレーム画像ＦＩのフレーム番号ｎ（ｎ：１，２，３，・・・）と対応付けて内蔵メモリ４３に書き込まれる。以下、フレーム画像に対しては、フレーム画像ＦＩ_nと称して説明する。

変化量判定部５３は、動画撮影時に取得されるフレーム画像ＦＩ_nのうち、符号化対象となるフレーム画像ＦＩ_nのオブジェクト領域ＯＲ_nの輝度値と、該フレーム画像ＦＩ_nの直前に取得されたフレーム画像ＦＩ_n-1のオブジェクト領域ＯＲ_n-1の輝度値との差分をオブジェクト領域の輝度変化量として算出する。変化量判定部５３は、オブジェクト領域の輝度変化量を算出した後、該オブジェクト領域の輝度変化の状態を判定する。なお、算出されたオブジェクト領域の輝度変化量は、内蔵メモリ４３に履歴情報として記憶される。

まず、変化量判定部５３は、算出した輝度変化量が、下記に示す（２）式を満足するか否かを判定する。なお、符号化対象となるフレーム画像ＦＩ_nにおけるオブジェクト領域ＯＲ_nの輝度値をＢＶ_n、該フレーム画像ＦＩ_nの直前に取得されたフレーム画像ＦＩ_n-1におけるオブジェクト領域ＯＲ_n-1の輝度値ＢＶ_n-1とする。

ＢＶ_n-1−ＢＶ_n≦−Ｔｈ₁、ＴＨ₁≦ＢＶ_n-1−ＢＶ_n・・・・（２）式
上述した（２）式を満足する場合には、変化量判定部５３は、オブジェクト領域ＯＲ_n-1とオブジェクト領域ＯＲ_nとの間における輝度変化が急峻であると判定する。なお、輝度変化が急峻であると判定される場合としては、例えばオブジェクトに外光やイルミネーション光の他、撮影時の閃光がオブジェクトに照射された場合など、オブジェクトが瞬間的に明るくなる場合と、オブジェクトへの照射光が一時的に停止される場合など、オブジェクトが瞬間的に暗くなる場合が挙げられる。

一方、算出された輝度変化量が上述した（２）式を満足していない場合には、変化量判定部５３は、内蔵メモリ４３に記憶された輝度変化量の履歴を参照し、オブジェクト領域（オブジェクト領域ＯＲ_nとオブジェクト領域ＯＲ_n-1との間）の輝度変化が一定であるか否かを判定する。新たに算出された輝度変化量が輝度変化量の履歴と一致している場合には、変化量判定部５３はオブジェクト領域の輝度変化が一定であると判定する。オブジェクト領域の輝度変化が一定である場合としては、暗い画像が一律に明るくなる場合（以下、フェード・イン）や、明るい画像が一律に暗くなる場合（以下、フェード・アウト）が挙げられる。

また、オブジェクト領域の輝度変化量が一定でない場合、変化量判定部５３は輝度変化量の履歴を参照して、オブジェクト領域の輝度変化が不規則であるか否かを判定する。実際には、動画撮影により得られる動画像の各フレーム画像ＦＩ_nにはノイズ成分が重畳されてしまうことにより、輝度変化は不規則となる。そのため、変化量判定部５３は、オブジェクト領域の輝度変化が不規則であるか否かを判定する。この場合、オブジェクト領域の輝度変化がノイズ成分よりも大きい変化量にて変化していることが前提となる。オブジェクト領域の輝度変化が不規則であると判定される場合としては、例えば雨、雪、紙吹雪、水しぶき、煙などがオブジェクトの前面に移動している場合が挙げられる。このような場合、オブジェクト領域の輝度変化が不規則に変化しているか否かの判定を行わずに、目的のオブジェクトと他のオブジェクトとが重畳されているか否かをオブジェクト検出時に判定しておくことも可能である。

スケールファクタ設定部５４は、変化量判定部５３における判定結果に基づいて、画像中のオブジェクト領域ＯＲ_nに対するスケールファクタ、及びバックグラウンド領域ＢＲ_nに対するスケールファクタを設定する。例えばオブジェクト領域ＯＲ_nやバックグラウンド領域ＢＲ_nに対するスケールファクタを設定する場合としては、変化量判定部５３によりオブジェクト領域ＯＲ_nの輝度値が急峻に変化したと判定される場合や、オブジェクト領域ＯＲ_nの輝度変化が一定であると判定される場合の他、後述するマクロブロック設定部５５によってマクロブロックのブロックサイズが設定された場合が挙げられる。なお、スケールファクタの値を変更すると、符号化処理における符号量が変更されることから、結果的に画像の圧縮率が変更される。

一方、動画像における圧縮率は、フレーム画像全体で一定にする必要がある。このため、オブジェクト領域ＯＲ_nに対するスケールファクタを新たに設定した場合には、動画像自体の圧縮率を一定にするために、オブジェクト領域ＯＲ_nだけでなく、バックグラウンド領域ＢＲ_nに対する圧縮率も個別に設定する必要がある。以下、オブジェクト領域ＯＲ_nに対するスケールファクタを変更する場合に、該オブジェクト領域ＯＲ_nが含まれるフレーム画像ＦＩ_nのバックグラウンド領域ＢＲ_nのスケールファクタを変更する場合について述べるが、これに限定する必要はなく、他のフレーム画像ＦＩ_nに対するスケールファクタを変更することで、動画像全体の圧縮率を固定にすることも可能である。

例えば変化量判定部５３によりオブジェクト領域ＯＲ_nの輝度値が急峻に変化したと判定された場合、符号化対象となるフレーム画像ＦＩ_nにおけるオブジェクト領域ＯＲ_nのスケールファクタＳＦ_ovは、（３）式で求められる。なお、符号化対象となるフレーム画像ＦＩ_nにおけるオブジェクト領域ＯＲ_nの輝度値をＢＶ_nとし、符号化対象となるフレーム画像ＦＩ_nの直前に取得されたフレーム画像ＦＩ_n-1におけるオブジェクト領域ＯＲ_n-1のスケールファクタをＳＦ_on、その輝度値をＢＶ_n-1とする。

ＳＦ_ov＝ｋ×ＳＦ_on／（ＢＶ_n-1−ＢＶ_n）・・・・（３）式
なお、ｋは係数である。この（３）式により、符号化対象となるフレーム画像ＦＩ_nにおけるオブジェクト領域ＯＲ_nのスケールファクタＳＦ_OVが求められる。

また、変化量判定部５３によりオブジェクト領域ＯＲ_nの輝度変化が一定であると判定された場合のスケールファクタの設定について説明する。上述したように、画像符号化回路３３においては、Ｈ．２６４／ＡＶＣ規格に基づいた圧縮符号化処理が実行される。この画像符号化回路３３においては重み付き予測機能を有していることから、この重み付き予測機能を用いて、符号化対象となるフレーム画像ＦＩ_nのオブジェクト領域ＯＲ_nに対するスケールファクタを求める。

上記の方法で、オブジェクト領域ＯＲ_nに対するスケールファクタを設定した後、スケールファクタ設定部５４は、バックグラウンド領域ＢＲ_nに対するスケールファクタを設定する。例えば符号化対象となるフレーム画像ＦＩ_nにおけるバックグラウンド領域ＢＲ_nのスケールファクタをＳＦ_bv、その直前のフレーム画像ＦＩ_n-1におけるバックグラウンド領域ＢＲ_n-1のスケールファクタをＳＦ_bnとした場合、符号化対象となるフレーム画像ＦＩ_ｎにおけるバックグラウンド領域ＢＲ_n-1のスケールファクタＳＦ_ovは、（４）式にて求められる。

ＳＦ_bv＝ｋ×ＳＦ_on×ＳＦ_bn／ＳＦ_ov・・・・（４）式
マクロブロック設定部５５は、動画像を構成するフレーム画像ＦＩ_nを分割する際に用いるマクロブロックの設定を行う。なお、このマクロブロックは、後述する動きベクトルを検出する際に用いられる。このマクロブロックとしては、例えば１６×１６画素、８×１６画素、１６×８画素、８×８画素のいずれかのブロックサイズのマクロブロックが挙げられる。マクロブロック設定部５５は、変化量判定部５３により輝度変化が不規則に変化していると判定された場合に、オブジェクト検出部５１によって検出されたオブジェクト領域を分割する際に用いるマクロブロックを設定する。人物の顔を動画撮影した場合、通常は１６×１６画素のブロックサイズのマクロブロック５７が設定された場合について説明する。

図４に示すように、雪が舞っている環境下で人物の顔を動画撮影した場合には、フレーム画像ＦＩ_ｎは、舞っている雪により高周波成分が多い画像となる。この場合、１６×１６画素のブロックサイズのマクロブロック５７を用いると、人物の顔の領域における符号量が少なくなるので圧縮率が高くなるが、人物の顔に雪が重畳されていることから、フレーム画像ＦＩ_ｎを復号化したときには、オブジェクト領域ＯＲ_nの画質が劣化してしまう。このような場合には、オブジェクト領域ＯＲ_nに対して設定されるマクロブロックをバックグラウンド領域ＢＲ_nに対して設定されるマクロブロックよりも小さくする。

図５に示すように、オブジェクト領域ＯＲ_nに対して設定されるマクロブロックを、１６×８画素のブロックサイズ、８×１６画素のブロックサイズ、８×８画素のブロックサイズのマクロブロック５８，５９，６０を用いればよい。このように、オブジェクト領域ＯＲ_nに対して設定されるマクロブロックのブロックサイズをバックグラウンド領域ＢＲ_nに対して設定されるマクロブロックのブロックサイズよりも小さくすることで、オブジェクト領域ＯＲにおける符号量は多くなるが、フレーム画像間から算出される動きベクトルの検出精度を向上させることが可能となる。つまり、オブジェクト領域ＯＲ_nに対する圧縮率は低くなるが、フレーム画像に対して復号化処理を行ったときには、オブジェクト領域ＯＲ_nにおける画質の劣化は防止することができる。

以下、図６を用いて、画像符号化回路３３の構成について説明する。なお、図６に示す画像符号化回路３３は、Ｈ．２６４／ＡＶＣ規格に基づいて画像を符号化するための回路の一例を示す。

この画像符号化回路３３には、符号化する順番にフレーム画像ＦＩ_ｎの並べ替えが行われた動画像データが入力される。動画像データに基づく動画像は複数のフレーム画像ＦＩ_ｎから構成されるが、これらフレーム画像ＦＩ_nのタイプは、同一フレーム内の情報のみで符号化が行われるＩピクチャと、時間的に前のフレーム画像ＦＩ_nとの差分を利用して符号化が行われるＰピクチャ、及び時間的に後の（局所復号化された）フレーム画像ＦＩ_nとの差分も利用して符号化が実行されるＢピクチャとからなる。Ｂピクチャは時間的に後のフレーム画像ＦＩ_nを参照するため、符号化の順番は参照するフレーム画像ＦＩ_ｎよりも後になる。

符号化順に並び替えられたフレーム画像ＦＩ_nは、マクロブロック単位毎に符号化される。以下、符号化される際のマクロブロックのブロックサイズは、マクロブロック設定部５５にて設定されたブロックサイズと同一の場合について説明する。これらフレーム画像ＦＩ_nのうち、Ｉピクチャは、後述するイントラ予測部７４においてフレーム内の画素情報からマクロブロック内の画素が予測され、予測画素と実際の画素（現画素）の差分データが直交変換部６６へ出力される。

また、画像フレームがＢピクチャ又はＰピクチャは、後述する動き補償部７５において算出される予測画像と現画像との差分データが直交変換部６６へ出力される。

この画像符号化回路３３は、減算部６５、直交変換部６６、量子化部６７、エントロピー符号化部６８、逆量子化部６９、逆直交変換部７０、加算部７１、ループフィルタ７２、フレームメモリ７３、イントラ予測部７４、動き補償部７５、重み付き予測部７６、動き検出部７７及びスイッチ７８を備えている。

減算部６５は、入力される動画像データから予測画像データを減算した差分データを直交変換部６６に出力する。直交変換部６６は、マクロブロック毎に離散コサイン変換（ＤＣＴ）などの直交変換を行い、入力される差分データを周波数成分に変換し、量子化部６７へ与える。量子化部６７は、変換された周波数成分データを量子化する。量子化部６７において量子化した動画像データは、エントロピー符号化部６８及び逆量子化部６９へ出力される。

エントロピー符号化部６８は、量子化した画像データを可変長符号化もしくは算術符号化し、符号化結果としての画像データ（符号化データ）を出力する。逆量子化部６９は、量子化部６７で量子化した動画像データを逆量子化し、周波数成分に復号化する。逆直交変換部７０は、複合化した動画像データを逆直交変換し、予測誤差画像データに復号する。

加算部７１は、ＰピクチャもしくはＢピクチャの予測誤差画像データが出力された場合に、予測誤差画像データと動き補償部７５からの予測画像データとを加算する。この加算により、フレーム画像ＦＩ_ｎが再生成される。

ループフィルタ７２は、再生成されたフレーム画像ＦＩ_ｎに対するブロック歪みを除去し、該フレームメモリ７３に格納する。この画像は、参照画像データとして使用される。

イントラ予測部７４は、フレームメモリ７３に保存された参照画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。なお、このフレーム内予測処理は、周知であることからその詳細は省略する。

動き補償部７５は、フレームメモリ７３に保存された参照画像データを用いて、動き検出部によって検出された動きベクトルに基づいたフレーム間予測処理を行い、予測画像データを生成する。なお、このフレーム間予測処理については、周知であることから、ここでは、その詳細を省略する。

重み付き予測部７６は、画像における明るさが時間的に変化する場合に、参照ピクチャ（Ｐピクチャ又はＢピクチャ）に適応的に重み係数を掛けた信号を予測に用いることによって符号化された画像の品質の劣化を防止する。なお、上述した重み付き予測機能は、この重み付き予測部７６を有することで達成される。

動き検出部７７は、入力された動画像データにおける動きベクトルを検出し、検出した動きベクトルを動き補償部７５とエントロピー符号化部６８へ出力する。この動き検出部７７には、動画像データが入力される他、マクロブロック設定部５５によって設定されたブロック設定情報が入力される。この動き検出部７７は、ブロック設定情報に基づいて入力された動画像データを分割する。そして、動き検出部７７は、参照画像データをフレームメモリ７３から読み出し、該参照画像データと入力された動画像データとを用いた相関演算を行って動きベクトルを求める。なお、相関演算としては、周知のブロックマッチングが用いられる。動きベクトルを求めた後、動き検出部７７は、求めた動きベクトルと使用された参照画像が入力画像に対して前方の画像であるか、後方の画像であるか、その前後の画像であるかを示す参照方向情報を動き補償部７５に出力する。この動き検出部７７によって検出された動きベクトルを用いて、動き補償部７５によるフレーム間予測処理が実行される。

スイッチ７８は、マクロブロック単位でフレーム内予測処理、またはフレーム間予測処理のどちらを用いるか選択するための選択部として機能する。イントラ予測部７４からの出力と動き補償部７５からの出力の一方を選択して、選択された予測画像データを減算器６５、加算部７１へ出力する。

次に、圧縮符号化処理の流れを、図７のフローチャートに基づいて説明する。図７のフローチャートは、動画撮影により取得されるフレーム画像ＦＩ_nに対して画像処理が保護超されたことを契機にして実行される。

ステップＳ１０１は、オブジェクトを検出する処理である。ＣＰＵ４１は、画像処理済みのフレーム画像ＦＩ_nをバッファメモリ３１から読み出し、読み出したフレーム画像ＦＩ_nを用いたオブジェクト検出を実行する。これにより、オブジェクトとして、人物、動物、車や飛行機などの輸送機器、或いはランドマークなどの建物が検出される。そして、ＣＰＵ４１は、検出されたオブジェクトが含まれる領域をオブジェクト領域ＯＲ_nとして、該オブジェクト領域ＯＲ_nに含まれる画素のアドレスデータ、オブジェクトの特徴量を示すデータ及びフレーム番号とを対応付けた画像情報として内蔵メモリ４３に書き込む。

ステップＳ１０２は、オブジェクト領域の輝度検出である。ＣＰＵ４１は、内蔵メモリ４３に各込まれたオブジェクト領域ＯＲ_nに含まれる画素のアドレスデータを内蔵メモリ４３から読み出し、読み出したアドレスデータに基づく画素の画素値を用いて、オブジェクト領域ＯＲ_nの輝度値を算出する。なお、この場合、オブジェクト領域ＯＲ_nに含まれる画素は複数あることから、それぞれの画素の輝度値の平均値を、オブジェクト領域ＯＲ_nの輝度値とすればよい。なお、このオブジェクト領域ＯＲ_nの輝度値は、上述した画像情報に書き込まれる。

ステップＳ１０３は、オブジェクト領域の輝度変化量を算出する処理である。ＣＰＵ４１は、内蔵メモリ４３に記憶された画像情報から、符号化対象となるフレーム画像ＦＩ_nの直前に取り込まれたフレーム画像ＦＩ_n-1の輝度値を読み出し、読み出したフレーム画像ＦＩ_n-1の輝度値と、ステップＳ１０２にて算出されたオブジェクト領域ＯＲ_nの輝度値との差分を求める。この差分が、オブジェクト領域における輝度変化量となる。なお、フレーム画像ＦＩ_nのフレーム番号が１の場合には、オブジェクト領域における輝度変化量を求める際に用いるフレーム画像ＦＩ_nが無いことから、この場合には、オブジェクト領域における輝度変化量は算出されない。なお、この輝度変化量は、ＣＰＵ４１によって内蔵メモリ４３に履歴情報として書き込まれる。

ステップＳ１０４は、オブジェクト領域における輝度変化量の絶対値が閾値以上であるか否かを判定する処理である。オブジェクト領域における輝度変化量の絶対値が閾値以上であるか否かを判定するとは、言い換えれば、オブジェクト領域における輝度変化量が、上述した（２）式を満足しているか否かを判定することである。ステップＳ１０３により算出されたオブジェクト領域における輝度変化量が上述した（２）式を満足している場合には、ＣＰＵ４１は、ステップＳ１０４の判定をＹｅｓとし、ステップＳ１０５に進む。一方、ステップＳ１０３により算出されたオブジェクト領域における輝度変化量が上述した（２）式を満足していない場合には、ＣＰＵ４１は、ステップＳ１０４の判定をＮｏとし、ステップＳ１０８に進む。なお、フレーム画像ＦＩ_nのフレーム番号が１の場合には、オブジェクト領域における輝度変化量は算出されないので、このような場合には、ＣＰＵ４１は、このステップＳ１０４の判定をＮｏとする。

ステップＳ１０５は、オブジェクト領域における輝度変化量に基づいて、スケールファクタを設定する処理である。ＣＰＵ４１は、符号化対象となるフレーム画像ＦＩ_nにおけるオブジェクト領域ＯＲ_nのスケールファクタを上述した（３）式に基づいて算出する。また、ＣＰＵ４１は、符号化対象となるフレーム画像ＦＩ_nにおけるバックグラウンド領域ＢＲ_nを上述した（４）式に基づいて算出する。

ステップＳ１０６は、スケールファクタに基づいたフレーム画像ＦＩ_nの圧縮符号化処理である。ＣＰＵ４１は、符号化対象となるフレーム画像ＦＩ_nにおけるオブジェクト領域ＯＲ_n及びオブジェクト領域ＯＲ_nのスケールファクタを画像符号化回路３３に出力する。画像符号化回路３３は、入力されたスケールファクタに基づいて、符号化対象となるフレーム画像ＦＩ_nの圧縮符号化処理を実行する。

ステップＳ１０７は、符号化対象となるフレーム画像があるか否かを判定する処理である。ＣＰＵ４１は、バッファメモリ３１を参照して符号化対象となるフレーム画像ＦＩ_ｎがある場合に、このステップＳ１０７の判定をＹｅｓとする。この場合、ステップＳ１０１に進む。一方、符号化対象となるフレーム画像ＦＩ_ｎがない場合には、ＣＰＵ４１はステップＳ１０７の判定をＮｏとし、圧縮符号化処理を終了する。

ステップＳ１０４の処理で、輝度変化量の絶対値が閾値未満となる場合には、ＣＰＵ４１は、このステップＳ１０４の処理をＮｏとし、ステップＳ１０８に進む。

ステップＳ１０８は、輝度変化量の履歴を読み出す処理である。ＣＰＵ４１は、内蔵メモリ４３から、輝度変化量の履歴を読み出す。

ステップＳ１０９は、輝度変化量が一定であるか否かを判定する処理である。ＣＰＵ４１は、ステップＳ１０８にて読み出した輝度変化量の履歴において、輝度変化量が一定であるか否かを判定する。例えば輝度変化量が一定である場合には、ＣＰＵ４１は、ステップＳ１０９の判定をＹｅｓとし、ステップＳ１１０に進む。一方、輝度変化量が一定でない場合には、ＣＰＵ４１はステップＳ１０９の判定をＮｏとし、ステップＳ１１１に進む。

ステップＳ１１０は、重み付き予測機能を用いてスケールファクタを設定する処理である。上述したように、ＣＰＵ４１は、画像符号化回路３３の重み付き予測機能を用いて、オブジェクト領域ＯＲ_nに対するスケールファクタを求める。このスケールファクタは、上述した（１）式を用いることで算出される。ＣＰＵ４１はオブジェクト領域ＯＲ_nに対するスケールファクタを求めた後、バックグラウンド領域ＢＲ_nに対するスケールファクタを上述した（４）式に基づいて算出する。このステップＳ１１０の処理が実行されると、ステップＳ１０６に進む。これらスケールファクタは、画像符号化回路３３に出力される。画像符号化回路３３は、入力されるスケールファクタを用いて、符号化対象となるフレーム画像ＦＩ_nに対する圧縮符号化処理を実行する。

ステップＳ１０９において、輝度変化量が一定でない場合には、ステップＳ１１１に進む。

ステップＳ１１１は、輝度変化量が不規則に変化するか否かを判定する処理である。ＣＰＵ４１は、輝度変化量の履歴と、ステップＳ１０３にて算出された輝度変化量を用いて、オブジェクト領域ＯＲ_nにおける輝度変化量が不規則に変化するか否かを判定する。なお、フレーム画像ＦＩ_nの元になる画像信号においてノイズ成分が重畳されていることを考えると、少なくとも輝度変化量の絶対値がノイズとして考えられる閾値Ｔｈ₂以上となるときに、且つ輝度変化量が不規則に変化しているか否かを判定すればよい。この判定で、輝度変化量が不規則に変化している場合には、ＣＰＵ４１は、ステップＳ１１１をＹｅｓとし、ステップＳ１１２に進む。一方、輝度変化量が不規則に変化していない場合には、ＣＰＵ４１は、ステップＳ１１１の判定処理をＮｏとし、ステップＳ１０６に進む。この場合には、スケールファクタは、予め設定されている値を用いればよい。つまり、ステップＳ１１１の判定処理でＮｏとなる場合には、スケールファクタが変更されることがなく、他のフレーム画像と同一の圧縮率で圧縮符号化される。

ステップＳ１１１で、輝度変化量が不規則に変化していると判定された場合には、ステップＳ１１２に進む。

ステップＳ１１２は、マクロブロックを設定する処理である。ＣＰＵ４１は、動き補償の際に用いるマクロブロックのブロックサイズを設定する。例えば、オブジェクト領域ＯＲに対するマクロブロックのブロックサイズと、バックグラウンド領域ＢＲに対するマクロブロックのブロックサイズとがそれぞれ設定される。

ステップＳ１１３は、マクロブロックに基づいてスケールファクタを設定する処理である。ステップＳ１１２の処理を行うことで、符号化対象となるフレーム画像ＦＩ_ｎにおけるオブジェクト領域ＯＲに対するマクロブロックのブロックサイズと、バックグラウンド領域ＢＲに対するマクロブロックのブロックサイズが設定される。これらブロックサイズを変更することにより、フレーム画像ＦＩ_nの圧縮符号化処理におけるスケールファクタが変更されることで、フレーム画像ＦＩ_nにおける圧縮率が変更される。なお、このステップＳ１１３の処理が実行されると、ステップＳ１０６に進み、符号化対象となるフレーム画像ＦＩ_ｎに対する圧縮符号化処理が実行される。

例えば、図８及び図９に示すように、フレーム画像ＦＩ_n-2、フレーム画像ＦＩ_n-1、フレーム画像ＦＩ_n、フレーム画像ＦＩ_n+1、フレーム画像ＦＩ_n+2、フレーム画像ＦＩ_n+3の順で取得され、フレーム画像ＦＩ_nを取得する時にオブジェクトに閃光などが照射される場合がある。この場合、フレーム画像ＦＩ_nにおけるオブジェクト領域の輝度値ＢＶ_nが、他のフレーム画像（ここでは、フレーム画像ＦＩ_n-2、ＦＩ_n-1、ＦＩ_n+1、ＦＩ_n+2、ＦＩ_n+3）におけるオブジェクト領域の輝度値（ＢＶ_n-2、ＢＶ_n-1、ＢＶ_n+1、ＢＶ_n+2、ＢＶ_n+3）よりも大幅に高くなっている。

このような場合には、フレーム画像ＦＩ_nに対してだけ、圧縮符号化時のスケールファクタの値が変更される。なお、フレーム画像ＦＩ_nとフレーム画像ＦＩ_n+1との間での輝度変化量も急激に低下することになるので、この場合も、フレーム画像ＦＩ_n+1に対するスケールファクタの値を算出することが考えられる。しかしながら、フレーム画像ＦＩ_n+1の輝度値は、フレーム画像ＦＩ_n-2、フレーム画像ＦＩ_n-1の輝度値に戻っていることを考えると、フレーム画像ＦＩ_n+1のスケールファクタを算出せずに、フレーム画像ＦＩ_n-2、フレーム画像ＦＩ_n-1に対する圧縮符号化処理にて用いられているスケールファクタを用いることが好適である。これによれば、オブジェクト領域ＯＲ_nの輝度値が急激に変化した場合であっても、オブジェクト領域ＯＲ_nに対する画質の劣化を防止することが可能となる。

また、図２のように、フレーム画像間の輝度変化量が一定である場合、画像符号化回路３３に設けられた重み付き予測機能を用いて、対象となるフレーム画像ＦＩ_nのオブジェクト領域ＯＲ_nに対するスケールファクタを求めた後、バックグラウンド領域ＢＲ_nに対するスケールファクタを求める。つまり、動画撮影においては、取得されるフレーム画像ＦＩ_ｎの輝度変化とオブジェクト領域ＯＲ_nに対する輝度変化は必ずしも一致しないことから、オブジェクト領域ＯＲ_nのみについて重み付き予測機能を用いて、該オブジェクト領域ＯＲ_nに対するスケールファクタを求めることで、圧縮符号化処理におけるオブジェクトの予測効率が向上する。つまり、オブジェクト領域ＯＲ_nに対する画質を向上させることが可能となる。

一方、図４や図５に示すように、撮影対象となるオブジェクト（例えば、顔）と、他のオブジェクト（例えば、雪）とが重畳されて撮影される場合が考えられる。このような場合には、他のオブジェクトが撮影対象となるオブジェクトの前を通過することにより、撮影対象となるオブジェクトの輝度値が変化してしまう。この場合、図４に示すように、フレーム画像ＦＩ_nに対して同一のブロックサイズのマクロブロックを用いて分割した場合には、元々の圧縮率を全体的に下げる必要があり、圧縮率を変更しない場合には、オブジェクト領域ＯＲの画質が劣化してしまう。このため、予めオブジェクト領域ＯＲ_nに用いるマクロブロックのブロックサイズと、バックグラウンド領域ＢＲ_nに用いるマクロブロックのブロックサイズとを異なるブロックサイズとすることで、オブジェクト領域ＯＲ_nに対するスケールファクタの値を高く、バックグラウンド領域ＢＲに対するスケールファクタの値を低くすることで、動き補償部７５における動き検出の精度が上昇する。このため、圧縮率を高くても、オブジェクトに対する画質低下を防止することが可能となる。

本実施形態では、画像処理回路３２と、画像符号化回路３３とを異なる装置として記載しているが、画像符号化回路３３の機能を有する画像処理回路３２を予め設けることができれば、これらを別々に設ける必要はない。

本実施形態では、マクロブロックのブロックサイズとして、１６×１６画素、８×８画素、８×１６画素、１６×８画素の４種類について記載しているが、Ｈ．２６４／ＡＶＣ規格の場合には、これらブロックサイズの他に、４×４画素、４×８画素、８×４画素のブロックサイズを用いることができる。

本実施形態では、デジタルカメラを例に説明したが、これに限定される必要はなく、例えば、カメラ機能を有する携帯型電話機、携帯型ゲーム端末機などの携帯型端末機に、本発明を用いることが可能である。また、図１のＣＰＵ４１にて実行される機能、図６の画像符号化回路３３の機能、及び図７のフローチャートに示す機能を備えた画像処理装置や画像符号化装置であってもよい。さらに、これら機能をコンピュータに実行させることが可能な符号化プログラムであってもよい。この符号化プログラムは、メモリカード、磁気ディスク、光学ディスクなどの、コンピュータが読み取り可能な記憶媒体に記憶されていることが好ましい。

１０…デジタルカメラ、３２…画像処理回路、３３…画像符号化回路、４１…ＣＰＵ、５１…オブジェクト検出部、５２…輝度検出部、５３…変化量判定部、５４…スケールファクタ設定部、５５…マクロブロック設定部

Claims (6)

1. 取得される第１画像からオブジェクト領域を検出するオブジェクト領域検出部と、
   前記オブジェクト領域の輝度を算出する輝度算出部と、
   前記第１画像におけるオブジェクト領域と、該第１画像よりも前に取得された第２画像におけるオブジェクト領域との間に生じる輝度変化の状態を判定する状態判定部と、
   前記状態判定部により判定された前記オブジェクト領域の輝度変化の状態に基づいて、前記第１画像のオブジェクト領域を圧縮する際に用いる圧縮パラメータを設定する設定部と、
   前記設定部により設定された圧縮パラメータを用いて前記第１画像のオブジェクト領域を圧縮する画像圧縮部と、
   を備えたことを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記設定部は、前記第１画像のオブジェクト領域と前記第２画像のオブジェクト領域との間に生じる輝度変化が急峻である場合に、前記第１画像のオブジェクト領域に対して設定される圧縮パラメータを、前記第２画像のオブジェクト領域に対して設定された圧縮パラメータよりも低く設定することを特徴とする電子カメラ。
3. 請求項１又は請求項２に記載の電子カメラにおいて、
   前記画像圧縮部は、連続的に取り込まれる複数の画像の輝度値が定量的に変化する場合に、新たに取得された画像の輝度値を、既に取得された少なくとも１以上の画像の輝度値と、該輝度値に対して設定される係数とを用いることで予測する重み付き予測部を備え、
   前記設定部は、前記第１画像と前記第２画像との間における前記オブジェクト領域の輝度変化と過去に求めた輝度変化の履歴とから、前記オブジェクト領域に対する輝度変化が一定であるか否かを判定し、前記輝度変化が一定であると判定した場合に、前記重み付き予測部による予測を利用して、前記第１画像のオブジェクト領域に対する圧縮パラメータを設定することを特徴とする電子カメラ。
4. 請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
   前記画像圧縮部は、予め圧縮パラメータに基づいて設定されたブロックサイズに基づいて画像を分割することで、該画像におけるオブジェクトの動きを予測する動き補償部を備え、
   前記設定部は、前記第１画像及び前記第２画像間のオブジェクト領域における輝度変化と過去に求めた輝度変化の履歴とから、前記オブジェクト領域に対する輝度変化が一定であるか否かを判定し、前記輝度変化が一定でないと判定した場合に、前記動き補償部により用いられる前記ブロックサイズを小さくすることで、前記第１画像のオブジェクト領域に対する前記圧縮パラメータを変更することを特徴とする電子カメラ。
5. 請求項１から請求項４のいずれか１項に記載の電子カメラにおいて、
   前記設定部は、前記第１画像のオブジェクト領域に対して設定された圧縮パラメータに基づいて、前記第１画像のオブジェクト領域を除く、残りの領域に対する圧縮パラメータを設定することを特徴とする電子カメラ。
6. 取得される第１画像からオブジェクト領域を検出するオブジェクト領域検出工程と、
   前記オブジェクト領域の輝度を算出する輝度算出工程と、
   前記第１画像におけるオブジェクト領域と該第１画像よりも前に取得された第２画像におけるオブジェクト領域との間に生じる輝度変化の状態を判定する状態判定工程と、
   前記状態判定工程により判定された前記オブジェクト領域の輝度変化の状態に基づいて、前記第１画像のオブジェクト領域を圧縮する際に用いる圧縮パラメータを設定する設定工程と、
   前記設定工程により設定された圧縮パラメータを用いて前記第１画像のオブジェクト領域を圧縮する画像圧縮工程と、
   を備えたことを特徴とする画像符号化方法。

Images