JP2015019319A - 符号化装置、符号化方法及びプログラム - Google Patents

Abstract

【課題】通常時において高画質に符号化を行うとともに、破綻回避処理を行う場合でも画質の劣化を軽減できるようにする。【解決手段】まず、１つのピクチャの符号化が終了したときに、当該ピクチャで実際に発生した符号量の情報を受信し、仮想バッファの占有量を更新する。そして、仮想バッファの占有量が閾値Ｔhより大きい場合は、次のピクチャの符号化を行う際にＢ、Ｒ、Ｇの順に符号化するように制御し、仮想バッファの占有量が閾値Ｔh以下である場合には、次のピクチャの符号化を行う際にＧ、Ｒ、Ｂの順に符号化するよう制御する。【選択図】図１

Description

本発明は、特に、色成分ごとに符号化を行うために用いて好適な符号化装置、符号化方法及びプログラムに関する。

従来、被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。圧縮符号化方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なＭＰＥＧ２方式が一般的に用いられており、近年では、より複雑な予測方式を用いて、高能率で圧縮可能なＨ．２６４方式なども用いられるようになっている。

上記のような圧縮符号化方式では、従来は主に４：２：０フォーマットと呼ばれる標準化された入力信号フォーマットが使われている。４：２：０フォーマットとは、ＲＧＢなどのカラー動画像信号を輝度成分（Ｙ）と２つの色差成分（Ｃｂ、Ｃｒ）とに変換し、水平方向、垂直方向ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、符号化を行う前に色差成分のダウンサンプリングを行って符号化対象の情報量を削減している。また、放送素材映像など業務向けの映像には、色差成分を水平方向にのみ半分にダウンサンプリングする４：２：２フォーマットが用いられることもある。

さらに近年では、ディスプレイの高解像度化や高階調化に伴い、色差成分をダウンサンプリングせず、輝度成分と同じサンプル数のまま符号化する符号化方式の開発も進んでいる。なお、色差成分のサンプル数が輝度成分と同じフォーマットは、４：４：４フォーマットと呼ばれている。

４：２：０フォーマットによる符号化を行う場合は、輝度成分に対してのみ動き補償予測のための情報が多重化され、色差成分については、輝度成分の情報を用いて動き補償を行っている。このように４：２：０フォーマットは、画像情報のほとんどが輝度成分に集約されており、輝度信号に比べて色差成分の方が歪みの視認性が低く、映像再現性に関する寄与が小さいという特徴のもとに成り立っている。

一方、４：４：４フォーマットでは、３つの成分が同程度に画像情報をもつため、４：２：０フォーマットのように、画像情報が１つの成分に大きく依存していることを前提とした符号化方式とは異なる符号化方式が望ましい。特許文献１には、４：４：４フォーマットに対応した符号化方式が提案されている。

上述した符号化方式では、画像復号化装置の持つ符号化データのバッファ量が規格により定められている。また、前記バッファを破綻させないことを保証するために、画像復号化装置に入力される仮想バッファを想定し、符号化時にこれを破綻させないようストリームを生成することが求められている。すなわち、ＭＰＥＧでは、ＶＢＶ（Video Buffering Verifier）バッファを破綻させないことが求められ、Ｈ．２６４ではＣＰＢ（Coded Picture Buffer）を破綻させないことが求められている。

ここで、図２を用いて仮想バッファについて説明する。図２において、縦軸に仮想バッファの占有量を示し、横軸は時間を示している。また、値２０が仮想バッファの占有量の最大値を示しており、値２１は仮想バッファの最小値を示している。さらに、線分２２の傾きはビットレートを示し、線分２２の位置は仮想バッファにおけるデータ占有量を示している。

また、時刻ｔ_i、ｔ_b0、ｔ_b1、ｔ_pでは、１ピクチャ分のデータが仮想バッファから読み出されたことにより、仮想バッファのデータ占有量が減少していることを示している。具体的には、時刻ｔ_iではＩピクチャが読み出され、時刻ｔ_b0及びｔ_b1ではＢピクチャが読み出され、時刻ｔ_pではＰピクチャが読み出されていることを示している。仮想バッファの占有量が最大値を超えた場合はオーバーフローと呼び、逆にバッファの占有量が最小値を下回った場合はアンダーフローと呼び、これらの現象が起きたときに仮想バッファが破綻したことになる。

時刻２３は、所定のデータ占有量の範囲を超えるデータをもつピクチャが仮想バッファから読み出され、仮想バッファにアンダーフローが発生した時刻を示している。基本的には符号化時においては、目標符号量を定め、仮想バッファが破綻しないように制御している。ところが、絵柄が複雑な映像でシーンチェンジが頻発し、時間方向の相関が無くなってしまった時などにおいては、発生符号量が目標符号量を上回り、アンダーフローが発生する場合がある。アンダーフローは符号化データのデコーダへの供給が間に合っていないことを意味しており、復号データが不足し画像を復号できなくなる。

このように仮想バッファが破綻し、復号できない状態を回避する破綻回避策として、仮想バッファの占有量を監視しておき、破綻する可能性がある場合には、残りのマクロブロックの予測モードを制限するなどして発生符号量を抑える方法が知られている。

この方法について、図３を用いて説明する。図３の縦軸はピクチャ内発生符号量を示しており、横軸は、該ピクチャ内に含まれるマクロブロック数を示している。値３０は該ピクチャの目標符号量を示しており、値３６はアンダーフローが発生するピクチャ内の発生符号量を示している。また、値３１は該ピクチャの総マクロブロック数である。この方法によれば、全てのマクロブロックを符号化した時に、発生符号量が目標符号量に近づくように制御しながら符号化を行っている。なお、線分３２は、該ピクチャに割り当てられた目標符号量をマクロブロック単位に振り分けた場合の積算値を表している。

線分３３は、発生符号量がこのラインを超えた場合に破綻回避処理を行う臨界値を示している。ここで、破綻回避処理として、マクロブロックをスキップマクロブロックにして発生符号量を抑える処理を実施するものとする。この場合、臨界値は残りのマクロブロックを全てスキップマクロブロックにした場合にアンダーフローが発生しないような値に設定される。図３の折れ線３４がピクチャ内における実際の発生符号量の推移を示しており、位置３５が示すマクロブロックで臨界値を超えている。このとき、仮想バッファを破綻させないように破綻回避処理が実行され、範囲３７における残りのマクロブロックは全てスキップマクロブロックにすることにより符号量を抑え、仮想バッファのアンダーフローを防いでいる。

特開２００８−１７２５９９号公報

前述したように、破綻回避処理を実施することにより仮想バッファのアンダーフローを防止できる。一方、４：４：４フォーマットに対応した符号化方式は、ディスプレイの高解像度化や高階調化に対応した符号化方式であるため、高画質であることが重視される。しかしながら、破綻回避処理を行うと残りのマクロブロックが全てスキップマクロブロックになってしまうため、このようなフォーマットにおいても画質が著しく劣化するという問題がある。

本発明は前述の問題点に鑑み、通常時において高画質に符号化を行うとともに、破綻回避処理を行う場合でも画質の劣化を軽減できるようにすることを目的としている。

本発明に係る符号化装置は、複数の色成分から構成される画像信号を色成分ごとに符号化する符号化手段と、前記符号化手段によって発生した符号量の情報に基づいて前記符号化手段に対して符号量制御を行う制御手段とを有し、前記符号化手段は、同じ画像内の他の色成分に係る符号化情報を用いて、後に行う他の色成分の符号化を行うものであって、前記制御手段は、前記発生した符号量の情報に基づいて前記符号化手段における前記複数の色成分の符号化順を制御することを特徴とする。

本発明によれば、通常時において高画質に符号化を行うとともに、破綻回避処理を行う場合でも画質の劣化を軽減することができる。

本発明の第１の実施形態に係る動画像符号化装置の構成例を示すブロック図である。 仮想バッファの占有量の変化を説明するための図である。 発生符号量の変化及び破綻回避処理を行う条件を説明するための図である。 本発明の第１の実施形態における符号化を制御する処理手順の一例を示すフローチャートである。 色成分ごとの発生符号量の変化及び破綻回避処理を行う条件を説明するための図である。 本発明の第３の実施形態に係る動画像符号化装置の構成例を示すブロック図である。 本発明の第２の実施形態における符号化を制御する処理手順の一例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本実施形態に係る動画像符号化装置１００の構成例を示すブロック図である。
図１において、動画像符号化装置１００は、フレームメモリ１０１と、動き探索部１０２と、イントラ予測部１０３と、イントラ・インター判定部１０４と、予測画像生成部１０５と、減算器１０６と、直交変換部１０７と、量子化部１０８とを備えている。さらに、エントロピー符号化部１０９と、逆量子化部１１０と、逆直交変換部１１１と、加算器１１２と、ループ内フィルタ１１３と、符号量制御部１１４と、量子化制御部１１５と、符号化順序制御部１１６とを備えている。

以下、本実施形態に係る動画像符号化装置１００における符号化方法について、図１を参照しながら説明する。なお、一連の符号化処理は１フレームあたり三原色のＲ（赤）、Ｇ（緑）、Ｂ（青）の各成分についてそれぞれ独立に行われ、フレーム毎に繰り返される。

フレームメモリ１０１には、撮像して得られた４：４：４フォーマットの動画像の画像信号であるＲＧＢ信号が、成分ごとに入力画像の領域に順次格納される。動き探索部１０２は、フレームメモリ１０１から所定のブロック単位の符号化対象画像と参照画像とを読み出す。そして、符号化対象画像と参照画像と間の動き量を動きベクトルとして検出し、動きベクトルをイントラ・インター判定部１０４に通知する。なお、本実施形態において、動きベクトルを検出する際の方法は特に問わないが、本実施形態では、一例として以下の（１）式を用いて動きベクトルを検出する。
Ｃ＝Ｄ＋λＲ ・・・（１）

ここで、Ｃは動きベクトルを決定するための評価関数を表す。Ｄは予測画像から符号化対象画像を引いた差分データに整数変換を施した変換係数の絶対値和（以下ＳＡＴＤ）、あるいは予測画像から符号化対象画像を引いた差分データの絶対値和（以下ＳＡＤ）など画像の差分情報を表す。本実施形態では、差分ＤとしてＳＡＴＤを用いるものとする。また、Ｒは動きベクトルの符号量を表し、λは係数を表しており量子化ステップが一般的には用いられる。

動きベクトルの符号量Ｒは、上記圧縮方式では周囲の動きベクトルから求められる推定動きベクトルとの差分量を基に算出される。動きベクトルは探索範囲内で評価関数Ｃが最少となる座標の符号化対象ブロックからのずれ量として求められる。このように動き探索部１０２は、動きベクトル位置におけるＳＡＴＤをイントラ・インター判定部１０４に通知する。

イントラ予測部１０３は、フレームメモリ１０１の入力画像の領域から、符号化対象ブロックの画像データを読み出す。そして、既に符号化済みの符号化対象ブロック周辺の画素データから生成される複数のイントラ予測画像データとの相関を基にイントラ予測方式を選択してイントラ・インター判定部１０４へ通知する。また、選択されたイントラ予測方式での予測画像と符号化対象画像から求めたＳＡＴＤとをイントラ・インター判定部１０４へ通知する。

イントラ・インター判定部１０４は、動き探索部１０２から通知されたＳＡＴＤとイントラ予測部１０３から通知されたＳＡＴＤとを比較し、小さい方の予測方法を選択して、予測画像生成部１０５へ通知する。予測画像生成部１０５は、入力された予測方法に従って予測画像を生成し、減算器１０６へ出力する。減算器１０６では、符号化対象の画像と予測画像との差分を計算し、差分画像データが生成される。差分画像データは直交変換部１０７に出力され、入力された画素値の差分画像データに直交変換を施す。

量子化部１０８は、直交変換部１０７により直交変換されたデータに対して量子化処理を行う。ここで、量子化部１０８で用いる量子化係数は符号量制御部１１４から設定される目標符号量やエントロピー符号化部１０９で発生した符号量などから量子化制御部１１５が算出して設定する。エントロピー符号化部１０９は、量子化部１０８により量子化された変換係数にＣＡＶＬＣ、ＣＡＢＡＣなどのエントロピー符号化を施して、符号化データとして出力する。なお、量子化部１０８により量子化された変換係数は、逆量子化部１１０にも入力される。

逆量子化部１１０は、入力された変換係数を逆量子化する。逆直交変換部１１１は、逆量子化されたデータに対して逆直交変換処理を施す。加算器１１２には、逆直交変換された差分画像データと、予測画像生成部１０５により生成された予測画像データとが入力され、加算器１１２においてこれらのデータが加算される。加算後のデータは復号された再構成画像データとなり、前述したイントラ予測部１０３、および予測画像生成部１０５に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ１１３によって符号化歪の軽減処理が施され、インター符号化の際に用いる参照画像データとしてフレームメモリ１０１に格納される。

なお、各色成分のうち、先に符号化が行われた符号化情報は、後に行う色成分の符号化にフィードフォワードされ、後に行う色成分の符号化の高画質化、効率化に用いられる。このように同一時刻の同じ画像内の他の色成分に係る符号化情報をフィードフォワードするため、他時刻の符号化情報をフィードバックする場合に比べ、符号化の高画質化、効率化の精度を高くすることができる。符号化にフィードフォワードされる符号化情報は、例えば画面内の各符号化対象ブロックにおける目標符号量と発生符号量との乖離などが挙げられるが、特にその内容は問わない。なお、画面内の各符号化対象ブロックにおける目標符号量と発生符号量との乖離は、目標に対する発生が多くなっていた場合は量子化値を大きくし、その逆の場合は小さくするために用いられる。

続いて、本実施形態に係る符号量制御部１１４及び符号化順序制御部１１６の動作について、図１及び図４を用いて説明する。

図４は、本実施形態における符号量制御部１１４及び符号化順序制御部１１６によって符号化を制御する処理手順の一例を示すフローチャートである。
まず、図４のステップＳ４０１において、符号量制御部１１４は、１つのピクチャの符号化が終了したときに、エントロピー符号化部１０９から当該ピクチャで実際に発生した符号量の情報を受信し、仮想バッファの占有量を更新する。ここで、仮想バッファとは、復号化装置が有する、符号化データを一時的に記憶するバッファを想定したものであり、エントロピー符号化における発生符号量と出力された符号量とに基づいて定義される。そして、符号量制御部１１４は、仮想バッファの占有量を符号化順序制御部１１６に通知する。

次に、ステップＳ４０２において、符号化順序制御部１１６は符号量制御部１１４から通知される仮想バッファの占有量が、破綻回避処理を示唆する所定の閾値Ｔ_hより大きいかどうか比較する。この比較の結果、仮想バッファの占有量が閾値Ｔ_hより大きい場合には、ステップＳ４０３に進む。そして、ステップＳ４０３において、符号化順序制御部１１６は、次のピクチャの符号化を行う際にＢ、Ｒ、Ｇのプレーン順にフレームメモリ１０１から読み出して各プレーンを符号化するように動き探索部１０２及びイントラ予測部１０３に通知する。一方、仮想バッファの占有量が閾値Ｔ_h以下である場合には、ステップＳ４０４に進む。そして、ステップＳ４０４において、符号化順序制御部１１６は、次のピクチャの符号化を行う際にＧ、Ｒ、Ｂのプレーン順にフレームメモリ１０１から読み出して各プレーンを符号化するように動き探索部１０２及びイントラ予測部１０３に通知する。

これにより、動き探索部１０２及びイントラ予測部１０３は、符号化順序制御部１１６の指示に従ってＢ、Ｒ、Ｇの順、あるいはＧ、Ｒ、Ｂの順でピクチャの符号化を行う。以降の処理は前述と同様のため説明は省略する。

ここで、色成分の符号化順を符号化の状態、特に、発生符号量に基づく仮想バッファの占有量に応じて入れ替える理由について説明する。仮想バッファの占有量が大きく破綻回避処理を行う可能性が低い場合にはＢ、Ｒ、Ｇの順に符号化を行う。この場合、前述の通り、先に符号化するＢ、Ｒの符号化情報がＧにフィードフォワードされてＧの符号化処理が最適化されるため、Ｇの高画質化が期待できる。なお、他の色成分に対してＧの高画質化を狙うのは、Ｒ、Ｇ、Ｂのうち視覚的に最も目立つ色成分であるからである。人間の視覚的な感度は色成分よりも輝度成分に敏感であり、輝度成分をＢやＲよりも多く含むＧを高画質化することは、画像全体としての視覚的画質を向上させることにつながる。

一方、仮想バッファの占有量が小さく破綻回避処理を行う可能性が高い場合にはＧ、Ｒ、Ｂの順に符号化を行う。この順に変更して符号化処理を行う理由について、図５を用いて説明する。

図５に示すように、値５０、５１を境界としてピクチャ内の色成分の処理が切り替わっている。図５に示す例では、Ｇは最初に符号化されるため、後から符号化されるＲ、Ｂに比べ、破綻回避処理を行う線分３３が示す臨界値を越える可能性が低い。そのため、視覚的に目立ちやすいＧに対して破綻回避処理を回避しやすくなり、他の色成分のとき（例えば範囲３７）に破綻回避処理を行った場合でも画像全体としての視覚的な画質劣化を小さくすることができる。

以上のように本実施形態によれば、符号化の状態、特に、発生符号量に基づいて変動する仮想バッファの占有量と閾値との関係に応じて各色成分の符号化順を制御するようにした。これにより、破綻回避処理を行う可能性が低く順調な符号化が行えている期間では、従来よりも高画質化することができる。また、符号化状態が変化して破綻回避処理を行う可能性が高くなった場合でも画質劣化を小さくすることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、本実施形態に係る動画像符号化装置の構成は図１と同様であるため、説明は省略する。本実施形態においては、符号量制御部１１４で検出して符号化順序制御部１１６に送信する情報が異なる点以外は第１の実施形態と同様である。第１の実施形態では、符号量制御部１１４は仮想バッファの占有量を検出して符号化順序制御部１１６にその情報を送信した。これに対して本実施形態では、符号量制御部１１４は発生符号量と目標符号量との差分を検出して符号化順序制御部１１６にその情報を送信する。以下、図７のフローチャートを用いて本実施形態に係る処理について説明する。

図７は、本実施形態における符号量制御部１１４及び符号化順序制御部１１６によって符号化を制御する処理手順の一例を示すフローチャートである。
まず、図７のステップＳ７０１において、符号量制御部１１４は、設定したピクチャの目標符号量Ｔ_picをピクチャの実際の発生符号量Ｓ_picから減算する。そして、符号量制御部１１４は、差分（Ｓ_pic−Ｔ_pic）を符号化順序制御部１１６に通知する。

次に、ステップＳ７０２において、符号化順序制御部１１６は、符号量制御部１１４から通知される差分（Ｓ_pic−Ｔ_pic）が所定の閾値Ｔ_h'より小さいかどうか比較する。この比較の結果、差分（Ｓ_pic−Ｔ_pic）が閾値Ｔ_h'より小さい場合は、ステップＳ７０３に進む。そして、ステップＳ７０３において、符号化順序制御部１１６は、次のピクチャの符号化を行う際に、Ｂ、Ｒ、Ｇのプレーン順にフレームメモリ１０１から読み出して各プレーンを符号化するように動き探索部１０２及びイントラ予測部１０３に通知する。一方、差分（Ｓ_pic−Ｔ_pic）が閾値Ｔ_h'以上である場合は、ステップＳ７０４に進む。そして、ステップＳ７０４において、符号化順序制御部１１６は、次のピクチャの符号化を行う際に、Ｇ、Ｒ、Ｂのプレーン順にフレームメモリ１０１から読み出して各プレーンを符号化するように動き探索部１０２及びイントラ予測部１０３に通知する。

ここで、色成分の符号化順を、符号化の状態、特に、発生符号量Ｓ_picと目標符号量Ｔ_picとの差分に応じて入れ替える理由について説明する。目標符号量Ｔ_picに対して発生符号量Ｓ_picが大きくなっている状況では、量子化制御部１１５の量子化制御によって各ブロックの発生符号量を抑え切れておらず、仮想バッファの占有量が想定よりも多く減少していることを示している。このように発生符号量Ｓ_picが目標符号量Ｔ_picに対して大きい場合には、仮想バッファの占有量が多い場合であっても、その後、仮想バッファの占有量が大きく減少する可能性がある。そこで、今後、破綻回避処理を行うことを想定し、Ｇ、Ｒ、Ｂの順に符号化制御を行い、他の色成分のときに破綻回避処理を行った場合であっても画像全体としての視覚的な画質劣化を小さくすることができる。

以上のように本実施形態によれば、符号化の状態、特に、発生符号量Ｓ_picと目標符号量Ｔ_picとの差分と閾値との関係に基づいて各色成分の符号化順を制御するようにした。これにより、破綻回避処理を行う可能性が低く順調な符号化が行えている期間では、従来よりも高画質化することができる。また、符号化状態が変化して破綻回避処理を行う可能性が高くなった場合でも画質劣化を小さくすることができる。なお、本実施形態と第１の実施形態とを組み合わせてもよい。すなわち、仮想バッファの占有量が閾値Ｔ_hより小さい場合あるいは差分（Ｓ_pic−Ｔ_pic）が閾値Ｔ_h'以上の場合に、Ｇ、Ｒ、Ｂの順に符号化を行い、それ以外の場合にはＢ、Ｒ、Ｇの順に符号化を行うようにしてもよい。

（第３の実施形態）
以下、本発明の第３の実施形態について、図６を用いて説明する。図６は、本実施形態に係る動画像符号化装置６００の構成例を示すブロック図である。図６において、主要被写体色成分検出部１１７が含まれている点以外は、第１の実施形態と同様である。

主要被写体色成分検出部１１７には、撮像して得られた４：４：４フォーマットの動画像のＲＧＢ信号が入力され、主要被写体の認識処理が行われる。ここで、主要被写体を認識する方法については特に問わないが、例えば特開２００１−３４７５６号公報に示されるような予めデータベースに登録されているテンプレートとのマッチングによる方法などが挙げられる。続いて、抽出された主要被写体の主要な色成分がＲ、Ｇ、Ｂのうち何であるかを検出する。例えば、被写体が人物である場合は肌色が占める割合が多くなるため、比率の最も高いＲが主要な色成分として検出される。そして、検出された色成分情報は符号化順序制御部１１６に送信される。

本実施形態における符号量制御部１１４及び符号化順序制御部１１６によって符号化を制御する処理手順は、図４と同様であるが、以下の点で異なっている。符号化順序制御部１１６は、仮想バッファの占有量が閾値Ｔ_hよりも大きい場合には、主要被写体色成分検出部１１７で検出した色成分の処理が最後になるように符号化順を制御する。一方、仮想バッファの占有量が閾値Ｔ_h以下である場合には、符号化順序制御部１１６で検出した色成分の処理が最初になるように符号化順を制御する。

以上のように本実施形態によれば、符号化対象の画像の特徴に基づいて、主要被写体で目立つ色成分の画質を優先して符号化順を制御するようにした。これにより、破綻回避処理を行う可能性が低く順調な符号化が行えている期間では、従来よりも主要被写体を高画質化することができる。また、符号化状態が変化して破綻回避処理を行う可能性が高くなった場合でも主要被写体の画質劣化を小さくすることができる。なお、本実施形態では、仮想バッファの占有量に応じて符号化順序を入れ替える例を説明したが、第２の実施形態のように発生符号量と目標符号量との差分に応じて入れ替えてもよい。また、仮想バッファの占有量と、発生符号量と目標符号量との差分との両方を用いてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１４ 符号量制御部
１１６ 符号化順序制御部

Claims (10)

1. 複数の色成分から構成される画像信号を色成分ごとに符号化する符号化手段と、
   前記符号化手段によって発生した符号量の情報に基づいて前記符号化手段に対して符号量制御を行う制御手段とを有し、
   前記符号化手段は、同じ画像内の他の色成分に係る符号化情報を用いて、後に行う他の色成分の符号化を行うものであって、
   前記制御手段は、前記発生した符号量の情報に基づいて前記符号化手段における前記複数の色成分の符号化順を制御することを特徴とする符号化装置。
2. 前記制御手段は、前記発生した符号量の情報に基づいて変動する仮想バッファの占有量と閾値との関係に応じて前記符号化順を変更することを特徴とする請求項１に記載の符号化装置。
3. 前記制御手段は、前記発生した符号量の情報に基づく符号化対象のピクチャの実際の発生符号量と目標符号量との差分と閾値との関係に応じて前記符号化順を変更することを特徴とする請求項１に記載の符号化装置。
4. 前記制御手段は、前記発生した符号量の情報に基づいて変動する仮想バッファの占有量と閾値との関係、及び、前記発生した符号量の情報に基づく符号化対象のピクチャの実際の発生符号量と目標符号量との差分と閾値との関係に応じて前記符号化順を変更することを特徴とする請求項１に記載の符号化装置。
5. 前記複数の色成分は、赤、緑、青を含み、
   前記制御手段は、前記符号化手段の符号化が順調に行えている期間では、前記複数の色成分のうち緑の成分を後から符号化するよう前記符号化手段を制御することを特徴とする請求項１乃至４の何れか１項に記載の符号化装置。
6. 前記複数の色成分は、赤、緑、青を含み、
   前記制御手段は、前記複数の色成分のうち緑の成分を後から符号化する順序のときに、符号化の状態の変化に応じて、前記緑の成分を先に符号化する順序に変更するよう前記符号化手段を制御することを特徴とする請求項１乃至４の何れか１項に記載の符号化装置。
7. 前記画像信号における主要被写体の色成分を検出する色成分検出手段をさらに有し、
   前記制御手段は、前記符号化手段の符号化が順調に行えている期間では、前記主要被写体に含まれる最も比率が高い色成分を後から符号化するよう前記符号化手段を制御することを特徴とする請求項１乃至４の何れか１項に記載の符号化装置。
8. 前記画像信号における主要被写体の色成分を検出する色成分検出手段をさらに有し、
   前記制御手段は、前記主要被写体に含まれる最も比率が高い色成分を後から符号化する順序のときに、符号化の状態の変化に応じて、前記主要被写体に含まれる最も比率が高い色成分を先に符号化する順序に変更するよう前記符号化手段を制御することを特徴とする請求項１乃至４の何れか１項に記載の符号化装置。
9. 複数の色成分から構成される画像信号を色成分ごとに符号化する符号化工程と、
   前記符号化工程において発生した符号量の情報に基づいて前記符号化工程に対して符号量制御を行う制御工程とを有し、
   前記符号化工程においては、同じ画像内の他の色成分に係る符号化情報を用いて、後に行う他の色成分の符号化を行うものであって、
   前記制御工程においては、前記発生した符号量の情報に基づいて前記符号化工程における前記複数の色成分の符号化順を制御することを特徴とする符号化方法。
10. 複数の色成分から構成される画像信号を色成分ごとに符号化する符号化工程と、
    前記符号化工程において発生した符号量の情報に基づいて前記符号化工程に対して符号量制御を行う制御工程とをコンピュータに実行させ、
    前記符号化工程においては、同じ画像内の他の色成分に係る符号化情報を用いて、後に行う他の色成分の符号化を行うものであって、
    前記制御工程においては、前記発生した符号量の情報に基づいて前記符号化工程における前記複数の色成分の符号化順を制御することを特徴とするプログラム。

Images