JP2010206751A - 動画像圧縮符号化装置 - Google Patents

Abstract

【課題】高画質を保ったまま圧縮率を向上可能な動画像圧縮符号化装置を提供する。
【解決手段】圧縮符号化装置は、肌色検出部１０と、ＱＰ値選択部１と、差分データ直交変換部２０と、量子化部４と、圧縮符号化部３０と、レート制御部８とを備えている。ＭＢが肌色であるか否かに応じてＱＰ値を切替え、肌色である場合は圧縮率を低く、肌色でない場合は圧縮率を高くする。そのため、本実施形態の圧縮符号化装置は、画像の劣化が認識されやすい肌色のＭＢを高画質を保って圧縮符号化できるとともに、画像の劣化がそれほど認識されにくい肌色以外のＭＢの圧縮符号化後のデータ量を小さくすることができる。
【選択図】図１

Description

本発明は、動画像を圧縮符号化する動画像圧縮符号化装置に関する。

動画像の高画質化や高解像化に伴い、動画像を効率よく圧縮符号化する技術が不可欠になってきている。動画像を圧縮符号化する規格として、Ｈ．２６４規格が提案されている（非特許文献１）。

圧縮後のビット量に制限がある場合に、画面（フレーム）内の視覚的に感度が高い部分(例えば肌色など)とそれ以外の部分を同じ圧縮率で画像を圧縮符号化すると、画像の劣化が目立ってしまうという問題がある。このため、視覚的に感度が高い部分とそれ以外の部分で圧縮率を変え、ビット量の制限を満たしながら出来るだけ画質劣化が目立たないようにする圧縮符号化技術が必要となっている。

大久保榮編集、「Ｈ．２６４／ＡＶＣ教科書」、株式会社インプレス、２００４年７月３０日、ｐ．１０５−１３８

本発明は、高画質を保ったまま圧縮率を向上可能な動画像圧縮符号化装置を提供するものである。

本発明の一態様によれば、入力画像に含まれる複数の画素からなるマクロブロック内の各画素が所定の色であるか否かを判定する画素判定部と、前記マクロブロック内に存在する前記所定の色である画素数をカウントする画素数カウント部と、前記カウント結果に応じて前記マクロブロックを前記所定の色とみなすか否かを判定するマクロブロック判定部と、前記マクロブロックを前記所定の色とみなすと判定された場合は第１の量子化パラメータを選択し、前記所定の色とみなさないと判定された場合は前記第１の量子化パラメータとは量子化ステップが異なる第２の量子化パラメータを選択する量子化パラメータ選択部と、前記入力画像の予測画像と前記入力画像との差分データを直交変換して直交変換データを生成する差分データ直交変換部と、前記量子化パラメータ選択部で選択された前記第１または第２の量子化パラメータに応じて定まる量子化ステップで前記直交変換データを除した結果を整数値に丸め、量子化データを生成する量子化部と、前記量子化データを圧縮符号化し、圧縮符号化データを生成する圧縮符号化部と、を備えることを特徴とする動画像圧縮符号化装置が提供される。

本発明によれば、高画質を保ったまま圧縮率を向上できる。

本発明の第１の実施形態に係る動画像圧縮符号化装置の概略構成を示す図。 圧縮符号化装置の処理動作の一例を示すフローチャート。 肌色検出部１０の処理動作の一例を示すフローチャート。 色相Ｈ、彩度Ｓ、明度Ｖで表される色空間を示す図。 本発明の第２の実施形態に係る圧縮符号化装置の概略構成を示す図。 肌色検出部１０ａの処理動作の一例を示すフローチャート。

以下、本発明に係る動画像圧縮符号化装置の実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る動画像圧縮符号化装置（以下、圧縮符号化装置）の概略構成を示す図である。本実施形態では、Ｈ．２６４規格により動画像の圧縮符号化を行う例を示す。図１の圧縮符号化装置は、肌色検出部１０と、ＱＰ値（Quantization Parameter：量子化パラメータ）選択部１と、差分データ直交変換部２０と、量子化部４と、圧縮符号化部３０と、レート制御部８とを備えている。肌色検出部１０は、画素判定部１１と、画素数カウント部１２と、マクロブロック（以下ＭＢ）判定部１３とを有する。差分データ直交変換部２０は、モード判定部２と、ＤＣＴデータ生成部３とを有する。圧縮符号化部３０は、２値化部５と、符号化部６と、ストリーム生成部７とを有する。

図１の圧縮符号化装置は、１チップに内蔵されていてもよいし、２つ以上のチップに分散して内蔵されていてもよい。本実施形態に係る圧縮符号化装置は、例えば、ディジタルビデオカメラで撮影した動画像を圧縮符号化したり、放送波を圧縮符号化してＤＶＤレコーダに録画したりする際に用いられる。

本実施形態では、８ビットのディジタル値である輝度信号Ｙおよび色差信号Ｕ，Ｖが同じ割合で構成される４：４：４の画像データが入力される例を示す。また、フレーム内の複数画素から構成され、圧縮符号化を行う単位であるＭＢのサイズは、水平方向・垂直方向とも１６画素とする例を示す。

肌色検出部１０内の画素判定部１１は、ＭＢ内の各画素が肌色（所定の色）であるか否かを判定する。画素数カウント部１２は、ＭＢ内に存在する肌色の画素数をカウントする。ＭＢ判定部１３は、カウント結果に応じて、ＭＢを肌色とみなすか否かを判定する。

ＱＰ値選択部１は、ＭＢ判定部１３の判定結果に基づいて、肌色用ＱＰ値（第１の量子化パラメータ）または非肌色用ＱＰ値（第２の量子化パラメータ）を選択する。ここで、ＱＰ値とは圧縮率に対応するパラメータであり、ＱＰ値が大きいほど圧縮率が高くなる。

差分データ直交変換部２０は、入力画像の予測画像を生成し、入力画像と予測画像との差分データを直交変換する。より具体的には、モード判定部２は、画面間符号化および画面内符号化の予測モードを選択する。次に、ＤＣＴデータ生成部３は、選択された予測モードに基づいて、元画像と予測画像の差分データを計算する。さらに、ＤＣＴデータ生成部３は、差分データをＤＣＴ変換（Discrete Cosine Transform：離散コサイン変換）して、ＤＣＴデータ（直交変換データ）を生成する。

量子化部４は、ＱＰ値選択部１が選択したＱＰ値に基づいてＤＣＴデータを量子化し、量子化データを生成する。

圧縮符号化部３０は、量子化データを圧縮符号化し、Ｈ．２６４データを生成する。より具体的には、２値化部５は、量子化データを２値化して２値化データを生成する。符号化部６は、２値化データを可変長符号化あるいは算術符号化し、符号化データを生成する。ストリーム生成部７は、符号化データにＨ．２６４規格で規定された文法情報を付加し、圧縮符号化されたＨ．２６４ストリームデータを出力する。また、ストリーム生成部７は、生成されたＨ．２６４ストリームデータの生成ビット量をレート制御部８に通知する。レート制御部８は、肌色用および非肌色用ＱＰ値を生成し、ＱＰ値選択部１へ供給する。

本実施形態の特徴の１つは、図１の圧縮符号化装置内に、肌色検出部１０と、レート制御部８と、ＱＰ値選択部１とを設けたことである。ＱＰ値選択部１は、ＭＢが肌色であるか否かに応じて、ＭＢ毎にＱＰ値を切替える。これにより、図１の圧縮符号化装置は、画面内で圧縮率を切替え、肌色の部分は高画質を保って圧縮符号化し、その他の部分はデータ量が小さくなるよう圧縮符号化できる。

図２は、図１の圧縮符号化装置の処理動作の一例を示すフローチャートである。図２を用いて図１の圧縮符号化装置の処理動作を説明する。

まず、圧縮符号化処理を始める前に、レート制御部８は肌色用および非肌色用の２つのＱＰ値を生成し、ＱＰ値選択部１へ供給する（ステップＳ１）。具体的には以下の通りである。

ビットレートを一定（ＣＢＲ：Constant Bit Rate）として画像を圧縮する場合、レート制御部８は予め定められたＱＰ値をＱＰ値選択部１へ供給する。

一方、ビットレートをＭＢ毎に可変（ＶＢＲ：Variable Bit Rate）にして画像を圧縮する場合、レート制御部８は、既に生成されたＨ．２６４ストリームデータの生成ビット量（以下、生成済ビット量）に応じて、ＱＰ値を算出し、ＱＰ値選択部１へ供給する。以下に具体例を示す。

レート制御部８には、圧縮符号化後のデータであるＨ．２６４ストリームデータの目標ビットレートが予め設定されている。最初のフレームについては、レート制御部８は、予め定められたＱＰ値をＱＰ値選択部１へ供給する。その後のフレームについては、生成済ビット量が目標ビットレートより大きい場合、レート制御部８はＱＰ値が大きく（すなわち、圧縮率が高く）なるようＱＰ値を更新する。一方、生成済ビット量が目標ビットレートより小さい場合、レート制御部８はＱＰ値が小さく（すなわち、圧縮率が低く）なるようＱＰ値を更新する。その後、レート制御部８は更新したＱＰ値をＱＰ値選択部１へ供給する。

なお、ＶＢＲの場合のビットレートの更新頻度は、１フレーム毎でもよいし、数フレーム毎でもよいが、１フレーム内でビットレートは更新されず、レート制御部８が出力するＱＰ値は変化しない。また、生成済ビット量は、直前フレームのＨ．２６４ストリームデータのビット量でもよいし、圧縮符号化済の数フレームの平均ビットレート等でもよい。

ＱＰ値が大きいほど圧縮率は高くなるので、ＶＢＲの場合もＣＢＲの場合も、肌色用ＱＰ値より非肌色用ＱＰ値は大きく設定される。

次に、肌色検出部１０は、圧縮符号化処理を行うＭＢが肌色であるか否かを、ＭＢ毎に判定する（ステップＳ２）。図３は、肌色検出部１０の処理動作の一例を示すフローチャートである。図３を用いて、肌色検出の手法を詳細に説明する。

まず、画素判定部１１は、入力された輝度信号Ｙおよび色差信号Ｕ，Ｖを、色信号Ｒ（赤），Ｇ（緑），Ｂ（青）に変換する（ステップＳ２１）。変換には、例えば下記の（１）〜（３）式を用いる。

Ｒ＝Ｙ＋１．１４０Ｖ ・・・（１）
Ｇ＝Ｙ−０．３９４Ｕ−０．５８１Ｖ ・・・（２）
Ｂ＝Ｙ＋２．０３２Ｕ ・・・（３）

次に、画素判定部１１は、色信号Ｒ，Ｇ，Ｂを色相Ｈ、彩度Ｓ、明度Ｖに変換する（ステップＳ２２）。変換には、例えば下記の（４）〜（６）式を用いる。ここで、ＭＡＸおよびＭＩＮは、それぞれ色信号Ｒ，Ｇ，Ｂのうちの最大値および最小値とする。

Ｈ＝６０＊（Ｂ−Ｇ）／（ＭＡＸ−ＭＩＮ），（Ｒが最大の場合）
６０＊（Ｒ−Ｂ）／（ＭＡＸ−ＭＩＮ）＋１２０，（Ｇが最大の場合）
６０＊（Ｇ−Ｒ）／（ＭＡＸ−ＭＩＮ）＋２４０，（Ｂが最大の場合） ・・・（４）
Ｓ＝（ＭＡＸ−ＭＩＮ）／ＭＡＸ ・・・（５）
Ｖ＝ＭＡＸ ・・・（６）
但し、ＭＡＸ＝０のとき、彩度Ｓは定義されない。また、ＭＡＸ＝ＭＩＮのとき、色相Ｈは定義されない。（４）式において、色相Ｈが負になる場合、３６０を加えた値を色相Ｈとする。

図４は、色相Ｈ、彩度Ｓ、明度Ｖで表される色空間を示す図である。色相Ｈは色味を表す。色相Ｈは０度〜３６０度の角度であり、色相Ｈが０度のとき赤、１２０度のとき緑、２４０度のとき青となる。なお、図４では便宜上時計回りに角度を定義している。彩度Ｓは色の濃さを表す。彩度Ｓは０〜１の値であり、大きいほど色が濃い。明度Ｖは明るさを表す。明度Ｖは０〜２５５の値であり、大きいほど明るい。色相Ｈ、彩度Ｓ、明度Ｖで表されるＨＳＶ色空間の形状は、図４に示すような円錐である。ＨＳＶ色空間は、輝度信号Ｙおよび色差信号Ｕ，Ｖや、色信号Ｒ，Ｇ，Ｂで表される色空間に比べ、人間の視覚に近く、人間が認識する特定の色を定義しやすい色空間である。

画素判定部１１は、ステップＳ２１，Ｓ２２の処理をＭＢ内の１６＊１６＝２５６個の各画素について行う。

その後、画素判定部１１は水平画素番号ｉ、垂直画素番号ｊおよび肌色画素数ｃｎｔを０にリセットする（ステップＳ２３）。以下では、水平画素番号ｉ、垂直画素番号ｊの色相Ｈ、彩度Ｓ、明度Ｖをそれぞれ、Ｈ［ｉ］［ｊ］，Ｓ［ｉ］［ｊ］，Ｖ［ｉ］［ｊ］とする。

次に、画素判定部１１は、Ｈ［ｉ］［ｊ］，Ｓ［ｉ］［ｊ］，Ｖ［ｉ］［ｊ］に基づいて水平画素番号ｉ、垂直画素番号ｊの画素が肌色であるか否か判定する。より具体的には、下記（７）〜（９）式をいずれも満たす場合（ステップＳ２４）、その画素は肌色であるとして、画素数カウント部１２は肌色画素数ｃｎｔを１増加させる（ステップＳ２５）。

Ｈ０＜Ｈ［ｉ］［ｊ］＜Ｈ１ ・・・（７）
Ｓ０＜Ｓ［ｉ］［ｊ］＜Ｓ１ ・・・（８）
Ｖ０＜Ｖ［ｉ］［ｊ］＜Ｖ１ ・・・（９）

ここで、Ｈ０，Ｈ１，Ｓ０，Ｓ１，Ｖ０，Ｖ１は肌色を定義するための値であり、肌色と非肌色との境界となる閾値である。この境界によって囲まれた領域（図４の領域２１）内の色が肌色と定義される。（７）〜（９）式では、例えば、色相Ｈ０，Ｈ１は黄色に近い値であり、彩度Ｓ０，Ｓ１および明度Ｖ０，Ｖ１は最小値と最大値との中間程度の値に設定される。

仮に、輝度信号Ｙおよび色差信号Ｕ，Ｖや、色信号Ｒ，Ｇ，Ｂで肌色を定義しようとすると、肌色の定義が非常に複雑になってしまう。その結果、画素が肌色であるか否かの判定を行う処理に長い時間を要してしまう。

これに対し、本実施形態では、画素判定部１１は輝度信号Ｙおよび色差信号Ｕ，Ｖを色相Ｈ、彩度Ｓ、明度Ｖに変換する。ＨＳＶ色空間は人間の視覚に近い色空間であるため、肌色を（７）〜（９）式および図４の領域２１のように簡易に定義できる。よって、画素判定部１１は肌色か否かの判定を短時間で行うことができる。

画素判定部１１および画素数カウント部１２は、以上の処理をＭＢ内の全ての画素（ｉ＝０〜１５，ｊ＝０〜１５）について行い、ＭＢ内に存在する肌色の画素数をカウントする（ステップＳ２６〜Ｓ２９）。

ＭＢ内の肌色画素数ｃｎｔが所定の閾値Ｎを超えている場合（ステップＳ３０）、ＭＢは全体として肌色であると判定され、ＭＢ判定部１３は信号Ｆｌａｇをハイに設定する（ステップＳ３１）。一方、ＭＢ内の肌色画素数ｃｎｔが閾値Ｎを超えていない場合、ＭＢは全体として肌色でないと判定され、ＭＢ判定部１３は信号Ｆｌａｇをロウに設定する（ステップＳ３２）。

閾値Ｎは、例えば、ＭＢ内の画素数の半分である１２８に設定される。閾値Ｎの値が小さい場合、肌色であると判定されるＭＢが多くなるため、入力画像を高画質で圧縮符号化できる。閾値Ｎの値が大きい場合、肌色であると判定されるＭＢが少なくなるため、圧縮符号化後のデータ量を少なくできる。

以上のようにして、ＭＢが肌色であるか否かの判定処理（図２のステップＳ３）が行われた後、ＱＰ値選択部１は判定結果に基づいてＱＰ値を選択する（ステップＳ４，Ｓ５）。すなわち、判定結果を示す信号Ｆｌａｇがハイであれば、肌色用ＱＰ値を選択し（ステップＳ４）、信号Ｆｌａｇがロウであれば、非肌色用ＱＰ値を選択する（ステップＳ５）。

続いて、モード判定部２は画面間符号化および画面内符号化の予測モードを選択する（ステップＳ６）。以下に、予測モードを選択する処理動作の具体例を示す。

画面内符号化の予測モードは、例えば、圧縮符号化を行うＭＢの上に位置する１６画素の値を用いてＭＢ内の垂直方向の画素を予測する「垂直予測モード」、左に位置する１６画素の値を用いてＭＢ内の水平方向の画素を予測する「水平予測モード」、上および左に位置する合計３２画素の平均値でＭＢのすべての画素を予測する「平均値予測モード」、上に位置する１６画素と左に位置する１６画素とを斜め方向に内挿して画素を予測する「平面予測モード」のいずれかを選択するものとする。なお、ＭＢの右や下に位置する画素は、未だ圧縮符号化装置に入力されていないので、これらの画素を用いて予測することはできない。

また、画面間符号化では、動き補償のブロックサイズ、動きベクトル、ダイレクトモード、重み付き予測などの予測モードのいずれかを選択する。

そして、画面内および画面間符号化の各予測モードの候補から以下のようにして最適な予測モードを選択する。

高画質モード、すなわち、リアルタイムでの圧縮符号化処理を行う必要がなく、マルチパスエンコードが可能な場合、一旦すべての予測モードに対して、以下に説明するＤＣＴデータ生成（ステップＳ７）〜符号化（ステップＳ１０）を行う。次に、復号画像生成部（不図示）は符号化された画像を逆変換して復号画像を生成する。モード判定部２は、下記（１０）式に示すコスト関数Ｃが最小となる予測モードを選択する。

Ｃ＝ＳＳＤ＋λＭＯＤＥ＊ＧｅｎＢｉｔ ・・・（１０）
ここで、ＳＳＤは、圧縮符号化前の画像と復号画像との画素毎の誤差の２乗の総和である（Sum of Square Difference）。ＧｅｎＢｉｔは、圧縮符号化後の発生ビットである。λＭＯＤＥはラグランジュ乗数で、例えば下記（１１）式を用いる。

λＭＯＤＥ＝ａ＊２^ＱＰ／３ ・・・（１１）
ＱＰはＱＰ値選択部１で選択されたＱＰ値、ａはピクチャの種類に応じた定数であり、ＩピクチャおよびＰピクチャの場合はａ＝０．８５、Ｂピクチャの場合はａ＝３．４である。ＱＰ値が大きいほどλＭＯＤＥは大きくなるが、圧縮率が高くなるのでＧｅｎＢｉｔは小さくなる。この条件において、コスト関数Ｃが最小となる予測モードをモード判定部２は選択する。

一方、高速モード、すなわち、リアルタイムでの圧縮符号化が要求され、１パスエンコードを行う場合は、圧縮符号化前の画像と予測画像との画素毎の差分絶対値の総和が最小となる予測モードをモード判定部２は選択する。なお、高速モードの場合、モード判定部２はＱＰ値を参照しない。

その後、ＤＣＴデータ生成部３は、決定された予測モードに基づいて予測画像を生成し、圧縮符号化前の画像と予測画像との差分データを計算する。続いて、ＤＣＴデータ生成部３は差分データをＤＣＴ変換して、ＤＣＴデータを生成する（ステップＳ７）。これにより、ＭＢ内の冗長な成分を取り除くことができる。なお、ＤＣＴ変換以外の直交変換を行ってもよい。

次に、量子化部４は、量子化ステップでＤＣＴデータを除した結果を整数値に丸め、量子化データを生成する（ステップＳ８）。量子化ステップとは、ＱＰ値に応じて定まる値であり、ＱＰ値が大きいほど量子化ステップは大きくなる。すなわち、ＱＰ値が大きいほど、量子化データのビット数は少なくなる。

肌色用ＱＰ値は非肌色用ＱＰ値より小さいので、ＭＢが肌色であれば、量子化ステップも小さくなる。よって、ＭＢが肌色である場合は、量子化データのビット数が多くなる。その結果、画像の劣化が認識されやすい肌色のＭＢは、高画質を保って圧縮符号化される。一方、ＭＢが肌色でない場合は、量子化データのビット数が少なくなる。その結果、画像の劣化がそれほど認識されない肌色以外のＭＢは、圧縮符号化後のデータ量を小さくすることができる。

その後、２値化部５は量子化データを２値化して２値化データを生成する（ステップＳ９）。例えば、量子化データがＸである場合、Ｘ個の‘１’とそれに続く１個の‘０’を２値化データとする（ユーナリー・バイナライゼーション方式）。トランケーテッド・ユーナリー・バイナライゼーション方式等、他の方式で２値化してもよい。

さらに、符号化部６は、２値化データを可変長符号化あるいは算術符号化し、符号化データを生成する（ステップＳ１０）。可変長符号化とは、出現頻度の高い数値ほど短いビットの符号を割り振る手法であり、圧縮符号化後の生成データ量を小さくできる。また、算術符号化とは、出現頻度を固定とせず、時間とともに変化する出現確率に適応的に符号を定め、さらにデータ量を小さくする手法である。

ストリーム生成部７は、符号化データにＨ．２６４規格で規定された文法情報を付加し、圧縮符号化されたＨ．２６４ストリームデータを出力する（ステップＳ１１）。

以上のステップＳ２〜Ｓ１１の処理により、１つのＭＢの圧縮符号化が完了する。同様の処理を、フレーム内の全てのＭＢに対して行う。

１フレーム内の圧縮符号化が完了すると、ストリーム生成部７は、生成された１フレーム分のＨ．２６４ストリームデータの生成ビット量をレート制御部８に通知する（ステップＳ１２）。上述のように、この生成ビット量はレート制御部８によってＱＰ値の算出に用いられる。なお、ストリーム生成部７は、数フレームの生成ビット量に応じた生成ビット量を、数フレームに一度の頻度でレート制御部８へ通知してもよい。また、ＣＢＲの場合、ステップＳ１２の処理を省略してもよい。

以上で１フレームの圧縮符号化処理が完了し、続いて次のフレームの圧縮符号化処理を行う。

このように、第１の実施形態では、ＭＢが肌色であるか否かに応じてＱＰ値を切替え、肌色である場合は圧縮率を低く、肌色でない場合は圧縮率を高くする。そのため、本実施形態の圧縮符号化装置は、画像の劣化が認識されやすい肌色のＭＢを高画質を保って圧縮符号化できるとともに、画像の劣化がそれほど認識されにくい肌色以外のＭＢの圧縮符号化後のデータ量を小さくすることができる。その結果、画像全体の高画質を保ったまま圧縮率を向上できる。

（第２の実施形態）
第１の実施形態では、ＭＢ内の画素のみに基づいてＭＢが肌色か否かの判定を行う。これに対し、以下に説明する第２の実施形態では、隣接する圧縮符号化済のＭＢが肌色であるか否かも考慮して、肌色判定を行うものである。

図５は、本発明の第２の実施形態に係る圧縮符号化装置の概略構成を示す図である。図５では、図１と共通する構成部分には同一の符号を付しており、以下では相違点を中心に説明する。図５の圧縮符号化装置は、肌色検出部１０ａの内部構成のみ図１と異なっており、その他は図１と同様である。

肌色検出部１０ａは、図１の肌色検出部１０に加えて、さらにメモリ１４（記憶部）を有する。メモリ１４は、ＭＢが肌色であるか否かの判定結果を記憶する。メモリ１４は、直前に圧縮符号化を行った（水平方向のＭＢ数＋１）個分の判定結果を記憶できる。例えば、水平方向の画素数が１９２０画素である場合、メモリ１４は１９２０／１６＋１＝１２１個分の判定結果を記憶できる。

図６は、肌色検出部１０ａの処理動作の一例を示すフローチャートである。ステップＳ２１〜Ｓ２９は図３と同様である。異なる点は、ＭＢ判定部１３は肌色であるか否かの判定結果をメモリ１４に記憶し（ステップＳ６２）、ＭＢ判定部１３は圧縮符号化を行うＭＢの左、上および左上に位置するＭＢの判定結果も考慮して、ＭＢが肌色であるか否かを判定する点（ステップＳ５１〜Ｓ６１）である。以下では、上からｐ番目、左からｑ番目のＭＢをＭＢ（ｐ，ｑ）とし、水平方向にＨ個、垂直方向にＶ個のＭＢが存在する場合を例に取って具体的に説明する。

フレーム内で初めに圧縮符号化が行われるＭＢ（０，０）については、図３と同様に肌色か否かの判定が行われる（ステップＳ２１〜Ｓ２９，Ｓ５１，Ｓ５２ａ，Ｓ５９〜Ｓ６１）。そして、ＭＢ判定部１３は、判定結果をメモリ１４へ記憶する（ステップＳ６２）。

ＭＢ（０，０）の次に圧縮符号化が行われる右隣のＭＢ（０，１）については、まずステップＳ２１〜Ｓ２９の処理が行われる。ＭＢ（０，１）の位置は上端であるが（ステップＳ５１）、左端ではない（ステップＳ５２ａ）。そこで、画素数カウント部１２はＭＢ（０，１）の左に位置するＭＢ（０，０）の判定結果を参照し、肌色と判定されていれば（ステップＳ５３ａ）、肌色画素数ｃｎｔに定数Ｎｌ（第１の定数）を加算する（ステップＳ５４ａ）。そして、ＭＢ判定部１３は判定を行い（ステップＳ５９〜Ｓ６１）、判定結果をメモリ１４に記憶する（ステップＳ６２）。

定数Ｎｌおよび以下に説明する定数Ｎｕ（第２の定数），Ｎｌｕ（第３の定数）は、予め設定される値である。画素数カウント部１２が肌色画素数ｃｎｔにこれらの値を加算することで、ＭＢが肌色であると判定されやすくなる。

同様にして、画面上端に位置するＭＢ（０，２）〜ＭＢ（０，Ｈ−１）の圧縮符号化が行われる。ＭＢ（０，Ｈ−１）まで圧縮符号化された時点でＨ個、すなわち、ＭＢ（０，０）〜ＭＢ（０，Ｈ−１）についての判定結果がメモリ１４に記憶されている。

ＭＢ（０，Ｈ−１）の次に圧縮符号化が行われるＭＢ（１，０）は、上端ではないが（ステップＳ５１）、左端である（ステップＳ５２ｂ）。そこで、画素数カウント部１２はＭＢ（１，０）の上に位置するＭＢ（０，０）の判定結果を参照し、肌色と判定されていれば（ステップＳ５５ａ）、肌色画素数ｃｎｔに定数Ｎｕを加算する（ステップＳ５６ａ）。そして、ＭＢ判定部１３は判定を行い（ステップＳ５９〜Ｓ６１）、判定結果をメモリ１４に記憶する（ステップＳ６２）。この時点で、（Ｈ＋１）個の判定結果がメモリ１４に記憶されている。

ＭＢ（１，０）の次に圧縮符号化が行われるＭＢ（１，１）は、上端でもなく（ステップＳ５１）、左端でもない（ステップＳ５２ｂ）。そこで、画素数カウント部１２はＭＢ（１，１）の左、上および左上にそれぞれ位置するＭＢ（１，０），ＭＢ（０，１）およびＭＢ（０，０）の判定結果を参照し、肌色と判定されていれば肌色画素数ｃｎｔにそれぞれ定数Ｎｌ，Ｎｕ，Ｎｌｕを加算する（ステップＳ５３ｂ〜Ｓ５８）。そして、ＭＢ判定部１３は判定を行い（ステップＳ５９〜Ｓ６１）、判定結果をメモリ１４に記憶する（ステップＳ６２）。このとき、最も早くメモリ１４に記憶されていたＭＢ（０，０）の判定結果は消去される。

以下、同様にして残りのＭＢの圧縮符号化が行われる。上述のように、ＭＢ（１，１）以降の圧縮符号化が行われる際、メモリ１４には（Ｈ＋１）個の判定結果が記憶されている。画面の上端であるが左端でないＭＢ（０，ｑ）（ｑ＝１〜Ｈ−１）では、左に位置するＭＢ（０，ｑ−１）の判定結果に応じて画素数カウント部１２は肌色画素数ｃｎｔに定数Ｎｌを加算する。画面の左端であるが上端でないＭＢ（ｐ，０）（ｐ＝１〜Ｖ−１）では、上に位置するＭＢ（ｐ−１，０）の判定結果に応じて画素数カウント部１２は肌色画素数ｃｎｔに定数Ｎｕを加算する。画面の左端でも上端でもないＭＢ（ｐ，ｑ）（ｐ＝１〜Ｖ−１，ｑ＝１〜Ｈ−１）については、左、上および左上にそれぞれ位置するＭＢ（ｐ，ｑ−１），ＭＢ（ｐ−１，ｑ），ＭＢ（ｐ−１，ｑ−１）の判定結果に応じて、画素数カウント部１２は肌色画素数ｃｎｔに定数Ｎｌ，Ｎｕ，Ｎｌｕを加算する。

このように、隣接するＭＢの判定結果を参照して圧縮符号化することで、以下のような効果が得られる。

隣接するＭＢが肌色である場合、圧縮符号化を行うＭＢも肌色である可能性が高い。しかし、肌色と判定されるべきＭＢであっても、（７）〜（９）式を満たさない画素がいくつかあって、ＭＢ内に存在する肌色画素数ｃｎｔが閾値Ｎをわずかに超えないことがある。

本実施形態では、隣接するＭＢが肌色であれば、画素数カウント部１２は肌色画素数ｃｎｔに定数Ｎｌ等を加算する。よって、加算された肌色画素数ｃｎｔが閾値Ｎを超えていれば、ＭＢは肌色と判定される。このようにして、ＭＢ内に存在する肌色画素数ｃｎｔだけでは閾値Ｎを超えないＭＢでも、隣接するＭＢが肌色であれば肌色と判定されやすくなり、肌色に近い色合いのＭＢまでも高画質を保って圧縮符号化される。

また、顔と背景との境界にあたるＭＢ等、肌色と他の色がＭＢ内に混在することがある。この場合、隣接するＭＢであって、肌色の部分にあたるＭＢは、高画質を保って圧縮符号化される。一方、境界にあたるＭＢは、ＭＢ内に肌色と他の色が混在している。そのため、隣接するＭＢを参照しない場合、ＭＢ全体として肌色でないと判定され、圧縮率を高くして圧縮符号化される可能性がある。このように、第１の実施形態の場合、境界にあたるＭＢは圧縮率が高くなり、しかも隣接するＭＢとの圧縮率の差が大きくなるため、肌色部分の劣化が目立つ可能性がある。

本実施形態では、隣接するＭＢが肌色であれば、ＭＢ内に肌色と他の色が混在していても肌色と判定されやすくなり、肌色と他の色との境界のＭＢも高画質を保って圧縮符号化することができる。

また、本実施形態では、画素数カウント部１２は隣接するＭＢのうち、左、上および左上のＭＢのみを参照し、右、下および右下のＭＢを参照しない。その理由は、画像データは、画面の左から右、および、上から下の順に入力されるため、左、上および左上のＭＢのみ肌色判定の処理が終了しているからである。右、下および右下のＭＢを参照するには、一旦全てのＭＢについて肌色判定を行い、判定結果をメモリ１４に記憶しておき、その結果を参照してもう一度ＭＢの肌色判定を行う等の処理が必要になる。すると、全ＭＢの判定結果を記憶するための膨大なメモリ１４が必要となる。しかも、画像データをリアルタイムで圧縮符号化できなくなる。

本実施形態では、肌色判定が終了している左、上および左上のＭＢの判定結果のみを参照するため、メモリ１４は小規模でよく、ハードウェアを用いてリアルタイムで動画像を圧縮符号化できる。

なお、メモリ１４は少なくとも１つのＭＢの肌色判定結果を記憶すればよい。例えば、メモリ１４は左のＭＢのみの判定結果を記憶し、画素数カウント部１２は左のＭＢのみを参照してもよい。これにより、メモリ１４の規模を削減可能である。

このように、第２の実施形態では、隣接するＭＢの判定結果を参照して肌色判定が行われる。そのため、第１の実施形態より精度良く肌色のＭＢを検出でき、より確実に肌色の部分を高画質に保って圧縮符号化できる。

以上に説明した各実施形態では、画像データが４：４：４である例を示したが、水平方向の色差信号Ｕ，Ｖのデータ量が輝度信号Ｙの１／２である４：２：２や、水平および垂直方向の色差信号Ｕ，Ｖのデータ量が輝度信号Ｙの１／２である４：２：０の画像データであってもよい。この場合、色差補間部を設け、色差信号Ｕ，Ｖの補間処理を行えばよい。

肌色検出部１０（または１０ａ）に換えて特定色検出部を設け、特定色検出部は画像の劣化を認識しやすい肌色以外の色（例えば緑）を所定の色として検出してもよい。また、特定色検出部は画像の劣化を認識しにくい色を検出し、ＭＢがその色であると判定された場合は圧縮率を高くしてもよい。さらに、特定色検出部を複数設け、複数の色を検出してＱＰ値を制御してもよい。

また、上述した各実施形態では、画素判定部１１は、入力画像に対応する輝度信号Ｙおよび色差信号Ｕ，Ｖを、色相値、彩度値および明度値に変換し、色相値、彩度値および明度値がそれぞれ所定の範囲内にある場合に、画素が肌色であると判定する。画素判定部１１は、輝度信号Ｙおよび色差信号Ｕ，Ｖあるいは色信号Ｒ，Ｇ，Ｂに基づいて、画素が肌色であるか否かの判定を行ってもよい。

上述した各実施形態では、Ｈ．２６４規格により動画像の圧縮符号化を行う例を示したが、ＭＰＥＧ等他の方式により動画像を圧縮符号化して圧縮符号化データを生成する場合にも適用可能である。

上述した実施形態で説明した圧縮符号化装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、圧縮符号化装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、圧縮符号化装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１ ＱＰ値選択部
４ 量子化部
１１ 画素数判定部
１２ 画素数カウント部
１３ ＭＢ判定部
１４ メモリ
２０ 差分データ直交変換部
３０ 圧縮符号化部

Claims (5)

1. 入力画像に含まれる複数の画素からなるマクロブロック内の各画素が所定の色であるか否かを判定する画素判定部と、
   前記マクロブロック内に存在する前記所定の色である画素数をカウントする画素数カウント部と、
   前記カウント結果に応じて前記マクロブロックを前記所定の色とみなすか否かを判定するマクロブロック判定部と、
   前記マクロブロックを前記所定の色とみなすと判定された場合は第１の量子化パラメータを選択し、前記所定の色とみなさないと判定された場合は前記第１の量子化パラメータとは量子化ステップが異なる第２の量子化パラメータを選択する量子化パラメータ選択部と、
   前記入力画像の予測画像と前記入力画像との差分データを直交変換して直交変換データを生成する差分データ直交変換部と、
   前記量子化パラメータ選択部で選択された前記第１または第２の量子化パラメータに応じて定まる量子化ステップで前記直交変換データを除した結果を整数値に丸め、量子化データを生成する量子化部と、
   前記量子化データを圧縮符号化し、圧縮符号化データを生成する圧縮符号化部と、を備えることを特徴とする動画像圧縮符号化装置。
2. 前記マクロブロック判定部は、判定対象の前記マクロブロックの周辺に位置し、圧縮符号化済のマクロブロックが前記所定の色とみなされたか否かも考慮に入れて、前記カウント結果に応じて前記マクロブロックを前記所定の色とみなすか否かを判定することを特徴とする請求項１に記載の動画像圧縮符号化装置。
3. 個々の前記マクロブロックについて、前記所定の色とみなしたか否かの判定結果を記憶する記憶部を備え、
   前記画素数カウント部は、前記判定対象のマクロブロック内に存在する前記所定の色である画素数のカウント結果を前記記憶部に記憶された判定結果に応じて調整することを特徴とする請求項２に記載の動画像圧縮符号化装置。
4. 前記画素数カウント部は、
   前記判定対象のマクロブロックが前記入力画像のフレームの上端かつ左端でない位置にある場合は、前記判定対象のマクロブロックの左に位置するマクロブロックを前記所定の色とみなしたか否かの判定結果に応じて前記カウント結果に第１の定数を加算し、
   前記判定対象のマクロブロックが前記入力画像のフレームの左端かつ上端でない位置にある場合は、前記判定対象のマクロブロックの上に位置するマクロブロックを前記所定の色とみなしたか否かの判定結果に応じて前記カウント結果に第２の定数を加算し、
   前記判定対象のマクロブロックが前記入力画像のフレームの左端でなく、かつ上端でもない位置にある場合は、前記判定対象のマクロブロックの左に位置するマクロブロックを前記所定の色とみなしたか否かの判定結果に応じて前記カウント結果に前記第１の定数を加算し、かつ前記判定対象のマクロブロックの上に位置するマクロブロックを前記所定の色とみなしたか否かの判定結果に応じて前記カウント結果に前記第２の定数を加算し、かつ前記判定対象のマクロブロックの左上に位置するマクロブロックを前記所定の色とみなしたか否かの判定結果に応じて前記カウント結果に第３の定数を加算することを特徴とする請求項３に記載の動画像圧縮符号化装置。
5. 前記画素判定部は、前記入力画像に対応する信号を、色相値、彩度値および明度値に変換し、前記色相値、彩度値および明度値がそれぞれ所定の範囲内にある場合に、前記画素は前記所定の色であると判定することを特徴とする請求項１乃至４のいずれかに記載の動画像圧縮符号化装置。

Images