JP2009081830A - 動画像圧縮符号化における符号化処理方法及び符号化処理装置 - Google Patents

Abstract

【課題】従来の符号化モードを決定する方式では符号量を考慮した決定になっていなかったため、選択した符号化モードで符号化した際、他の符号化モードで符号化した場合よりも多くの符号量を発生させてしまうこともあり、高画質化、高圧縮化の妨げになっていた。
【解決手段】複数の符号化モードの各々で量子化処理済ＤＣＴ（discrete cosine transform）係数を生成するところまで符号化処理を進め（１１０〜１１３）、各符号化モードでの生成符号量の情報をもとに符号量が最小となる符号化モードを決定し（１２０）、当該決定した符号化モードのＤＣＴ係数を選択して可変長符号化する（１２１，２０９）。
【選択図】図１

Description

本発明は、デジタルカメラ、カメラ付き携帯電話等の動画撮影機能を持つ機器や、画像コンテンツを作成又は使用する際の動画像圧縮符号化技術に関するものである。

近年、高能率符号化を行うＭＰＥＧ（moving picture experts group）等の動画像圧縮符号化技術の実用化が急速に進み、ビデオカメラや携帯電話等に普及している。

ＭＰＥＧ等の符号化技術においては、様々な符号化モードが規格において定義されている。例えば、ＭＰＥＧ−４においては、符号化対象となるフレームの画面内の画像（以後、対象画像）のみを使用し符号化する「イントラ符号化モード」、また、既に符号化が完了したフレーム（以後、参照フレーム）内から対象画像と相関の強い画像領域を検出（以後、動き探索）し、その動き探索後の画像（以後、動き補償画像）と、対象画像との差分値のみを符号化する「インター符号化モード」がその符号化モードに該当する。

また、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４においては、イントラ符号化では画面内の画素を利用した画素予測（以後、イントラ予測）を行うことができ、輝度、色差信号各々において複数のイントラ予測モードが定義されている。インター符号化でも、参照フレームを複数の候補の中から選択することができたり、また、動き補償を行う画像のブロックサイズも最大１６画素×１６画素から最小４画素×４画素まで多くのモードから選択することができたりする。

例えばＭＰＥＧ−４におけるイントラ符号化モード／インター符号化モードのモード判定においては、図１６のような手法が一般的に用いられている。

図１６に示す従来のモード判定手法では、まず、インター符号化モードに用いる動き補償画像を参照フレーム内から検出し、動き補償画像を生成する（Ｓ１００）。その動き補償画像と対象画像を利用し、
ＳＡＤ＝ΣΣ｜対象画像（ｏｒｇ＿ｘ，ｏｒｇ＿ｙ）−動き補償画像（ｒｅｆ＿ｘ，ｒｅｆ＿ｙ）｜
ＡＣＴ＝ΣΣ｜対象画像（ｏｒｇ＿ｘ，ｏｒｇ＿ｙ）−対象画像の平均値｜
により、ＳＡＤ、ＡＣＴをそれぞれ計算する（Ｓ１０１）。

ＳＡＤは、ＭＰＥＧ−４の符号化処理単位であるマクロブロック（１６画素×１６画素）内の全画素を利用して計算される。対象画像及び動き補償画像の左上画素から１画素ずつ差分絶対値を計算し、１６画素×１６画素、計２５６画素の総和がＳＡＤになる。

また、ＡＣＴも、マクロブロックの全画素を利用して計算される。まず、対象画像２５６画素の平均を計算し、その後、対象画像の左上画素から１画素ずつ、その平均との差分絶対値を計算し、計２５６画素の総和がＡＣＴになる。

このＳＡＤ及びＡＣＴが符号化モードを判定する際の評価値となり、ＳＡＤ＜ＡＣＴの場合はインター符号化モードが、ＳＡＤ≧ＡＣＴの場合はイントラ符号化にモードが選択される（Ｓ１０２）。

図１７は、ＳＡＤ及びＡＣＴを利用した符号化器２００の構成図である。図１７によれば、符号化する対象となる対象画像が外部より入力され、動き探索部２０１に入力される。動き探索部２０１には、参照フレーム記憶部２１３から動き探索を行うときに必要となる前フレームの画像データも入力される。それらの画像データを使用し動き探索部２０１は動き探索を行い、動き探索結果を動き補償画像生成部２０２に出力する。動き補償画像生成部２０２は、その結果を受け、参照フレームの中から動き補償画像を生成し減算部２０３に出力する。減算部２０３では、符号化器２００に入力された対象画像と、動き補償画像との差分が計算され符号化モード選択部２０４に差分画像として出力する。

また、符号化器２００に入力された対象画像はＡＣＴ算出部２５０及びＳＡＤ算出部２５１に、動き補償画像生成部２０２で生成された動き補償画像はＳＡＤ算出部２５１に入力され、ＳＡＤ及びＡＣＴが計算され、その結果が、符号化モード判定部２５２に入力される。符号化モード判定部２５２では、それらのうち値が小さい方の符号化モードを選択し、「イントラ符号化モード」もしくは「インター符号化モード」という選択結果を符号化モード選択部２０４に出力する。

符号化モード選択部２０４は、符号化器２００に入力された対象画像、及び減算部２０３で生成された差分画像、及び符号化モード判定部２５２で判定された符号化モードが入力される。

もし、符号化モード判定部２５２で「イントラ符号化モード」と判定された場合、符号化モード選択部２０４は、対象画像を選択する。もし、「インター符号化モード」と判定された場合、差分画像を選択し、ＤＣＴ（discrete cosine transform）処理部２０５に出力する。ＤＣＴ処理部２０５はＤＣＴ処理を行い、結果を量子化処理部２０６に出力し、量子化処理部２０６では、量子化処理が行われ、可変長符号化部２０９及び逆量子化処理部２０７に出力する。逆量子化処理部２０７は入力した量子化処理後のデータ（以後、ＤＣＴ係数）に対し、逆量子化を行い、逆ＤＣＴ処理部２０８に出力し、逆ＤＣＴ処理部２０８では、逆ＤＣＴ処理を行う。その逆ＤＣＴ処理を行ったデータに対し、符号化モード判定部２５２において「インター符号化モード」が選択されている場合は、動き補償画像を加算することになる。その切り替えを、動き補償切替部２１１にて、また加算を加算部２１２にて行う。加算部２１２から出力された画像（以後、再構成画像）は次フレーム以降の参照画像として参照フレーム記憶部２１３に一時的に格納し、以降のフレームにて利用する。

可変長符号化部２０９は量子化処理部２０６にて生成されたＤＣＴ係数に対し、可変長符号化処理を行い、ストリームを生成する。そのストリームは、ストリーム記憶部２１０に一時的に記憶され、その後、符号化器２００から生成ストリームとして出力される。

上記のような、対象画像及び動き補償画像を利用した同様の符号化モード判定技術が特許文献１においても開示されている。
特開２００２−１５９０１２号公報

しかし、上記符号化モード判定手法では、最終的な生成符号量を考慮した符号化モード判定にはなっていないため、選択した符号化モードの方が多くの符号を発生させる可能性がある。例えば、ＳＡＤ＞＞ＡＣＴによりイントラ符号化モードが選択されたとする。しかし、実際の符号化処理を施したストリームの符号量は、「イントラ符号化モードにおける符号量」＞＞「インター符号化モードにおける符号量」となることも十分考えられる。

以下に具体例を用いて説明する。図１８に符号化対象となっている対象画像と、動き探索後の動き補償の画素データを示す。なお、本例では解りやすくするため、対象画像サイズ、動き補償サイズ、ＳＡＤ算出における画像サイズ、ＡＣＴ算出における画像サイズ、ＤＣＴの処理サイズは、全て４画素×４画素を用いて説明するものとする。

今、対象画像及び動き補償画像によるＡＣＴは「１８０」で、ＳＡＤは「２４００」であり、ＳＡＤ＞＞ＡＣＴとなる。しかし、これらの画像を使用した際のイントラ符号化モード、及びインター符号化モードの符号化工程を順に追っていくと、イントラ符号化モードでは、対象画像に対しＤＣＴ処理を行うと係数が全ての周波数帯域に分散することになる（図１９参照）。一方、インター符号化モードでは、まず対象画像と動き補償画像との差分値を求め、それに対しＤＣＴ処理を行うと、ＤＣ成分にのみにデータが発生し、それ以外のＡＣ成分に関しては全て値が「０」となる（図１９参照）。なお、ＤＣＴ処理後は量子化処理が行われることになるが、圧縮率が超低圧縮時である（量子化値＝１）とし、「量子化前データ」＝「量子化後データ」とする。

その後、量子化後データに対して可変長符号化処理が行われる。一般に可変長符号化処理は「０」以外の量子化後データ（以後、非０データ）のみに可変長符号化処理が行われるため、非０データを多く含む符号化モードの方が符号量としては多くなる。この例の場合、非０データの個数は「イントラ符号化モードの非０データ」＞＞「インター符号化モードの非０データ」となり結果として、「イントラ符号化モードの符号量」＞＞「インター符号化モードの符号量」となることが容易に予想できる。

すなわち、ＳＡＤ＞＞ＡＣＴにも関わらず、「イントラ符号化モードの符号量」＞＞「インター符号化モードの符号量」となることも符号化処理では十分発生する可能性がある。

一方、あるビットレートを目指して符号化処理が行われている場合に、あるフレーム（もしくはマクロブロック）において一時的に符号量が増えると、当然、次フレーム（もしくは次マクロブロック）以降で、その増えた符号量を吸収する必要がある。例えば、２ｆｐｓ（frame per second）において２Ｍｂｐｓ（bit per second）で２フレーム分の画像を符号化している場合、以下の２タイプの符号化処理を比較する。

まず、符号化処理Ａとして、１フレーム目に１Ｍｂｉｔの符号を、２フレーム目にも１Ｍｂｉｔの符号を平均的に生成する処理と、また、符号化処理Ｂとして、１フレーム目に１．９９９Ｍｂｉｔの符号を、２フレーム目には２Ｍｂｐｓを目指し０．００１Ｍｂｉｔの符号を生成する処理とを比較する。１フレーム目を比較すると、符号化処理Ｂの方が約２倍の符号量を使用し符号化しているため、当然、画質的に綺麗になると考えられるが、２フレーム目を比較すると、殆ど符号量を確保できない符号化処理Ｂの方が画質的に劣化することが考えられる。言い換えると、符号化処理Ａは２フレームとも平均的な画質を維持しているにも関わらず、符号化処理Ｂにおいては、あるフレームは高画質、次フレームは画質劣化とフレーム間の画質差が非常に大きいため、低品質な動画像になってしまうことにも繋がる。

以上のとおり、従来の符号化モードを決定する方式では符号量を考慮した決定になっていなかったため、選択した符号化モードで符号化した際、他の符号化モードで符号化した場合よりも多くの符号量を発生させてしまうこともあり、高画質化、高圧縮化の妨げになっていた。

本発明は、複数の符号化モードが存在する画像圧縮において、前記複数の符号化モードの各々で量子化処理済ＤＣＴ係数を生成するところまで符号化処理を進め、各符号化モードでの生成符号量の情報をもとに符号量が最小となる符号化モードを決定し、当該決定した符号化モードのＤＣＴ係数を選択して可変長符号化することを特徴とする。

本発明によれば、複数の符号化モードから１つの符号化モードを決定する際に、常に符号量が最小となる符号化モードを正確に選択することができる。しかも、決定した符号化モードのＤＣＴ係数を選択して可変長符号化することとしたので、符号化処理装置の小型化が図れる。

図１は、本発明の実施の形態に係る符号化処理装置のブロック図である。本符号化処理装置１００は、ｎ個（ｎは２以上の整数）の符号化モードの各々に対応して、第１の符号化部１−１（１１０）と、第２の符号化部１−２（１１１）と、第３の符号化部１−３（１１２）と、第ｎの符号化部１−ｎ（１１３）とを備え、更に符号化モード決定部１２０と、ＤＣＴ係数選択部１２１と、再構成画像選択部１２２と、可変長符号化部２０９とを備えている。

図２は、図１中の符号化部１−１（１１０）〜符号化部１−ｎ（１１３）の各々の構成を示しており、図１７のブロック図からＡＣＴ算出部２５０、ＳＡＤ算出部２５１、符号化モード判定部２５２、可変長符号化部２０９及びストリーム記憶部２１０を取り除き、符号量計算部２３０を追加したものである。従来、符号化モード判定部２５２で決定していた符号化モードは、符号化部１１０〜１１３の外部より与えられる。このため、各符号化部１１０〜１１３は、符号化の対象となる対象画像及び前フレームの画像データを入力し、これを外部より入力される予め決まった符号化モードで符号化処理を実行することになる。また、符号化部１１０〜１１３の各々は可変長符号化部２０９を備えず、符号化処理装置１００内に１個だけ可変長符号化部２０９を備える。各符号化部１１０〜１１３からはストリームではなく、代わりに量子化処理部２０６にて生成されたＤＣＴ係数が出力されることになる。これらの量子化処理済のＤＣＴ係数をＤＣＴ係数選択部１２１にて受け、符号化モード決定部１２０にて決定した符号化部から出力されるＤＣＴ係数を選択し、その選択したＤＣＴ係数を可変長符号化部２０９にて可変長符号化処理を行い符号化処理装置１００よりストリームとして出力するようにしている。

なお、各符号化部１１０〜１１３は符号化モード決定部１２０に対し符号量を出力する必要があるが、外部に配置された可変長符号化部２０９の代わりに、ＤＣＴ係数から符号量のみを算出する符号量計算部２３０を新設する必要がある。この符号量計算部２３０は、符号量を計算する機能を持つだけでよいため、可変長符号化部２０９より小型で実現することができる。

また、各符号化部１１０〜１１３にて符号化ストリームを生成するわけではないため、ストリーム記憶部２１０を除くことができる。ストリーム記憶部２１０は、最低１マクロブロック分のストリームを格納できる容量が必要となる。しかし、可変長符号化処理は必ずしも圧縮できるとは限らないため、言い換えると、必ずしも入力画像のデータサイズより生成したストリームの方が小さくなるとは限らないため、ストリーム記憶部２１０はマージンを持った容量で構成されることが多い。しかし、本発明に係る符号化処理装置１００ではストリーム記憶部２１０を取り除くことができるため、大幅な小型化に繋がる。

図３は、ｎ＝２とした符号化処理装置１００のブロック図である。ここでは、第１の符号化部１−１（１１０）に入力される符号化モードは「イントラ符号化モード」、第２の符号化部１−２（１１１）に入力される符号化モードは「インター符号化モード」として符号量を考慮した符号化モードの最適判定について説明する。

第１の符号化部１−１（１１０）は、イントラ符号化モードで動作するため、図２の符号化モード選択部２０４は、対象画像を選択することになる。すなわち、対象画像に対しＤＣＴ処理部２０５及び量子化部２０６を経由して生成されたＤＣＴ係数は、符号化部１−１（１１０）の外部に出力される。一方、逆量子化処理部２０７及び逆ＤＣＴ処理部２０８を経由し、生成された再構成画像も第１の符号化部１−１（１１０）の外部に出力される。

第２の符号化部１−２（１１１）は、インター符号化モードで動作するため、図２の符号化モード選択部２０４は、減算部２０３から出力される差分画像を選択することになる。すなわち、差分画像に対しＤＣＴ処理部２０５及び量子化部２０６を経由して生成されたＤＣＴ係数は、第２の符号化部１−２（１１１）の外部に出力される。一方、逆量子化処理部２０７、逆ＤＣＴ処理部２０８、加算部２１２を経由し、生成された再構成画像も第２の符号化部１−２（１１１）の外部に出力される。

第１の符号化部１−１（１１０）より出力された符号量と、第２の符号化部１−２（１１１）より出力された符号量とは、符号化モード決定部１２０に入力される。この符号化モード決定部１２０では、それぞれの符号量を見て、符号量が最小となる符号化モードで符号処理を行った符号化部を決定し、ＤＣＴ係数選択部１２１及び再構成画像選択部１２２に出力する。ＤＣＴ係数選択部１２１は符号化モード決定部１２０が選択した符号化部の中の量子化処理部２０６から得られた量子化処理済のＤＣＴ係数を可変長符号化部２０９へ供給し、可変長符号化部２０９は可変長符号化処理の結果を符号化処理装置１００よりストリームとして出力する。再構成画像選択部１２２は、符号化モード決定部１２０が選択した符号化部の中の加算部２１２から再構成画像を読み出し、符号化処理装置１００の外部にある参照フレーム記憶部２１３に書き込む。

すなわち、第１の符号化部１−１（１１０）にてイントラ符号化モードで処理され生成されようとするストリームの符号量と、第２の符号化部１−２（１１１）にてインター符号化モードで処理され生成されようとするストリームの符号量とを比較し、符号量が小さくなる符号化モードを選択することで、常に符号量が小さくなる符号化モードを使用しながら符号化処理を実行することができる。

さて、図１及び図２で示す符号化処理装置１００は、可変長符号化部２０９及びストリーム記憶部２１０を複数個備える必要がないため小型で実現できるが、量子化処理部２０６と可変長符号化部２０９との間に符号量計算部２３０による符号量計算を行う必要がある。このため処理時間としては長くなる。これを以下の方法で解決することができる。

ＤＣＴ処理部２０５、量子化処理部２０６、符号量計算部２３０においては処理を行うブロックサイズは同じである。例えば、ＤＣＴ処理部２０５の処理ブロックサイズが８画素×８画素であれば、量子化処理部２０６も符号量計算部２３０も８画素×８画素のサイズで行われる。

図４に示す通り、マクロブロックが１６画素×１６画素で構成される場合は、ブロックの処理は４ブロック分（Ｂ０〜Ｂ３）行われることとなる。これを図５（ａ）に示す通りＤＣＴ処理、量子化処理、符号量計算処理をマクロブロック単位でシーケンシャルに実行してもよいが、図５（ｂ）に示すようにブロック単位のパイプラインで実行することで、処理の高速化を図ることができる。また、図５（ｃ）に示すようにＤＣＴ処理が終った画素から量子化処理を行うことで、更なる高速化を図ることもできる。

本発明は、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４に代表する動画像圧縮符号化技術にて定義されているイントラ予測モードの決定にも利用できる。ここで、イントラ予測について説明する。

イントラ符号化モード処理では、まず周辺ブロックの画像を利用してイントラ予測画像を生成し、対象画像とイントラ予測画像との差分画像を生成し、その差分画像に対しＤＣＴ処理等を行うことになる。当然、対象画像とイントラ予測画像の相関が強い、すなわち差分画像が小さい方が、符号化効率は高くなる。この周辺ブロックの画像を利用したイントラ予測画像の生成方法は、幾らかのモードが定義されている。例えば、予測ブロックサイズが４×４の時の輝度信号の予測は９モードがあげられる。その中には、上隣接のブロックの下端４画素を利用してイントラ予測画像を生成する「イントラ予測モード０」、左隣接のブロックの右端４画素を利用してイントラ予測画像を生成する「イントラ予測モード１」等がある。

また、輝度に関しては、予測ブロックサイズが４×４以外に、１６×１６が４モード、８×８が９モード定義されている。色差に関しては、８×８にて４モード定義されている。

当然、予測ブロックサイズが変われば、また、使用するイントラ予測モードが変われば、生成するイントラ予測画像が異なるため、生成ストリームも違うものになる。すなわち予測ブロックサイズにより、また、イントラ予測モードにより符号量自体が異なってくる。

本発明は、このイントラ予測モードの決定において、常に符号量が最小となるモードを選択しながら符号化処理を行う時にも使用できる。

図６は、符号量が最小となるイントラ予測モードを決定する符号化モード決定部１２０を含む符号化処理装置１００ｃのブロック図である。図７は、図６中の第１の符号化部２−１（１１０ｃ）、第２の符号化部２−２（１１１ｃ）、第３の符号化部２−３（１１２ｃ）、第ｎの符号化部２−ｎ（１１３ｃ）の各々の構成を示す。

図７において、外部より指定される符号化モードがイントラ符号化である場合、イントラ予測画像生成部２２１は、再構成画像一時記憶部２２０に格納されている周辺ブロックを使用し、指定された符号化モード（イントラ予測モード）のイントラ予測画像を生成し、符号化モード選択部２０４ｃに出力する。符号化モード選択部２０４ｃでは符号化モードがイントラ符号化モードであるため、イントラ予測画像生成部２２１から出力されるイントラ予測画像を選択し、それを減算部２０３ｃに出力する。減算部２０３ｃでは、外部より入力された対象画像と、そのイントラ予測画像との差分画像を生成し、ＤＣＴ処理部２０５に出力する。

この場合、図６のように符号化部２−１（１１０ｃ）〜符号化部２−ｎ（１１３ｃ）の各々において異なるイントラ予測モードで処理を行い、最終的に生成されるストリームの符号量でイントラ予測モードを決定することができる。これにより、常に符号量が最小となるイントラ予測モードを選択しながら符号化処理を行うことができる。

また、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４に代表する動画像圧縮符号化技術には、複数の参照フレームを利用した動き補償があるが、本発明は、その参照フレームの決定にも利用できる。複数の参照フレームを利用した動き補償とは、動き補償を行う際に使用するフレームを、前に符号化が完了した数フレームの中から任意のフレームを選択できるものである。

図８は、符号量が最小となる参照フレームを決定する符号化モード決定部１２０を含む符号化処理装置１００ｄのブロック図である。図９は、図８中の第１の符号化部３−１（１１０ｄ）、第２の符号化部３−２（１１１ｄ）、第３の符号化部３−３（１１２ｄ）、第ｎの符号化部３−ｎ（１１３ｄ）の各々の構成を示す。参照フレームの決定は、動き探索部２０１ｄが行うため、そこに対し符号化部１１０ｄ〜１１３ｄの外部から参照フレームを直接指定する。動き補償画像生成部２０２ｄは、動き探索部２０１ｄの結果を受け、参照フレームの中から動き補償画像を生成して符号化モード選択部２０４ｃに出力する。

この場合、図８のように符号化部３−１（１１０ｄ）〜符号化部３−ｎ（１１３ｄ）の各々において異なる参照フレームを利用して動き補償処理を行わせるような構成にすれば、複数の参照フレームを利用して符号化した符号量結果から、最も符号量が小さくなる参照フレームを選択することが可能になる。

また、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４に代表する動画像圧縮符号化技術には、動き補償のブロックサイズをマクロブロック単位で変更できるが、本発明は、その動き補償のブロックサイズ決定にも利用できる。前にも示したが、動き補償のブロックサイズは、１６×１６、８×１６、１６×８、８×８などがある。

図１０は、符号量が最小となる動き補償のブロックサイズを決定する符号化モード決定部１２０を含む符号化処理装置１００ｅのブロック図である。図１１は、図１０中の第１の符号化部４−１（１１０ｅ）、第２の符号化部４−２（１１１ｅ）、第３の符号化部４−３（１１２ｅ）、第ｎの符号化部４−ｎ（１１３ｅ）の各々の構成を示す。動き補償のブロックサイズの決定は、動き探索部２０１ｅが行うため、そこに対し符号化部１１０ｅ〜１１３ｅの外部から動き補償のブロックサイズを直接指定する。動き補償画像生成部２０２ｅは、動き探索部２０１ｅの結果を受け、参照フレームの中から動き補償画像を生成して符号化モード選択部２０４ｃに出力する。

この場合、図１０のように符号化部４−１（１１０ｅ）〜符号化部４−ｎ（１１３ｅ）の各々において異なる動き補償のブロックサイズで動き補償処理を行わせるような構成にすれば、複数の動き補償のブロックサイズにて符号化した符号量結果から、最も符号量が小さくなる参照フレームを選択することが可能になる。

さて、周知のとおり、ＭＰＥＧに代表される動画像圧縮符号化では、フレームの符号化タイプが主にＩピクチャとＰピクチャとＢピクチャとから構成される。ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４ではピクチャを１個又は複数個のスライスに分割し、そのスライス毎に符号化タイプ（Ｉスライス／Ｐスライス／Ｂスライス）を決定することができる。Ｐピクチャ（Ｐスライス）及びＢピクチャ（Ｂスライス）は「イントラ符号化モード」と「インター符号化モード」とをマクロブロック毎に選択し変更することができるが、Ｉピクチャ（Ｉスライス）は全てのマクロブロックを「イントラ符号化モード」にする必要があることが規格で定義されている。

こういった条件の中、図３に示す符号化処理装置１００のように、第１の符号化部１１０及び第２の符号化部１１１においてそれぞれ「イントラ符号化モード」と「インター符号化モード」と設定し、処理を行う装置では、Ｉピクチャ（Ｉスライス）処理中は「インター符号化モード」を設定した第２の符号化部１１１では処理が行う必要がなくなる。

このＩピクチャ（Ｉスライス）を処理する場合、第１及び第２の符号化部１１０，１１１の両方に「イントラ符号化モード」を指定し、これらの符号化部１１０，１１１内の量子化処理部２０６の量子化値を異なる値に変更し処理を行うことも可能である。例えば、第１の符号化部１１０には「イントラ符号化モード」を指定し、その量子化処理部２０６の量子化値にはαを指定する。一方、第２の符号化部１１１にも「イントラ符号化モード」を指定し、その量子化処理部２０６の量子化値にはβを指定する。これらの量子化値α及びβは圧縮率を制御するＱパラメータを意味し、例えばＭＰＥＧ−４では１〜３１の値を取るものである。

図１２は、適応的な量子化値を実現する符号化処理装置１００ｆのブロック図である。図１３は、図１２中の第１の符号化部５−１（１１０ｆ）及び第２の符号化部５−２（１１１ｆ）の各々の構成を示す。量子化値は、符号化部１１０ｆ，１１１ｆの外部から量子化処理部２０６ｆ及び逆量子化処理部２０７ｆへ直接指定される。図１４は、フレームの符号化タイプと量子化値との関係を示す図である。

図１２の符号化処理装置１００ｆは、符号化部５−１（１１０ｆ）及び符号化部５−２（１１１ｆ）を利用して異なる圧縮率のストリームを生成することができるように構成され、かつフレームの符号化タイプに従い、符号化モード指定部１５０が図１４に示す通り適応的に符号化タイプを変更する。また、同じくフレームの符号化タイプに従い、量子化値指定部１５１が図１４に示す通り適応的に量子化値を指定する。これにより、Ｉピクチャ（Ｉスライス）時に使用しないインター符号化モード処理を有効に活用し、目標符号量に対し誤差の少ないイントラ符号化を実現することができる。

上述した通り、圧縮率は量子化値によって決定される。例えば、ｐフレーム目で符号量が多く発生し過ぎた場合、ｐ＋１フレーム目ではその超過した符号量を補うため、圧縮率を上げ符号量の発生を抑える処理（量子化値を変更する処理）が一般に行われている。しかし、この量子化値を数字的にどのくらい変更すれば良いのかということは、実際に、量子化値を設定し、符号化処理を行い、符号量を調査しない限り正確には解らない。前フレームの量子化値と前フレームの発生符号量と次フレームの目標符号量とからおおよその目安値を算出し、次フレームの量子化値を決定することが良く知られているが、必ずしも、設定した次フレームの量子化値で、目標符号量になるとはいえない。この際、上記に示すようなα、βの２種類の量子化値の候補を利用して符号化することで、目標とする符号量により近づかせることができ、より正確な符号量制御を実現することができる。

なお、図１及び図２で示す構成による符号化モード決定と、図６及び図７で示す構成によるイントラ予測モード決定と、図８及び図９で示す構成による参照フレーム決定と、図１０及び図１１で示す構成による動き補償のブロックサイズの決定等、複数の構成を組み合わせることで複数のモード決定効果を得ることができる。例えば、図１及び図２で示す符号化モード決定と、図６及び図７で示すイントラ予測モード決定とを組み合わせることにより、符号量最小となる符号化モード決定かつイントラ予測モード決定を行うことができる。

また、例えば図３のようなイントラ符号化モードを指定された符号化部１１０においてイントラ符号化しか行わない場合は、インター符号化処理にしか使用しない部を外し実装することで、小型に実装できる。図２の符号化部において、インター符号化処理にしか使用しない部分は、主に、動き探索部２０１、動き補償画像生成部２０２、減算部２０３、符号化モード選択部２０４、動き補償画像切替部２１１、加算部２１２が挙げられる。

図１５は、本発明に係る符号化処理装置を用いた撮像システム６０１、例えばデジタルスチルカメラ（ＤＳＣ）の構成ブロック図である。図１５中の信号処理装置６０６は、上記本発明の実施の形態に係る符号化処理装置のいずれかである。

図１５によれば、光学系６０２を通って入射した画像光はセンサ６０３上に結像される。センサ６０３はタイミング制御回路６０９によって駆動されることにより、結像された画像光を蓄積し、電気信号へと光電変換する。センサ６０３から読み出された電気信号は、アナログ・デジタル変換器（ＡＤＣ）６０４によってデジタル信号へと変換された後に、当該信号処理装置６０６を含む画像処理回路６０５に入力される。この画像処理回路６０５においては、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小処理、及び本発明を用いた画像圧縮伸張処理などの画像処理が行われる。画像処理された信号は、記録転送回路６０７においてメディアへの記録あるいは転送が行われる。記録あるいは転送された信号は、再生回路６０８により再生される。この撮像システム６０１の全体は、システム制御回路６１０によって制御されている。

図１５の構成によれば、符号化モードの最適決定に伴って画像処理の高画質化が期待できる。

なお、本発明に係る信号処理装置６０６における画像処理は必ずしも光学系６０２を介してセンサ６０３に結像された画像光に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることは言うまでもない。

以上説明してきたとおり、本発明に係る符号化処理方法及び符号化処理装置は、複数の符号化モードから１つの符号化モードを決定する際に、常に符号量が最小となる符号化モードを正確に選択することができ、動画撮影機能を持つ機器や、画像コンテンツを作成又は使用する際の技術等として有用である。

本発明に係る符号化処理装置のブロック図である。 図１中の符号化部のブロック図である。 ｎ＝２とした符号化処理装置のブロック図である。 ＤＣＴ処理、量子化処理、符号量計算処理を行うブロックサイズを表す図である。 （ａ）〜（ｃ）はＤＣＴ処理、量子化処理、符号量計算処理のタイミング図である。 符号量が最小となるイントラ予測モードを決定する符号化モード決定部を含む符号化処理装置のブロック図である。 図６中の符号化部のブロック図である。 符号量が最小となる参照フレームを決定する符号化モード決定部を含む符号化処理装置のブロック図である。 図８中の符号化部のブロック図である。 符号量が最小となる動き補償のブロックサイズを決定する符号化モード決定部を含む符号化処理装置のブロック図である。 図１０中の符号化部のブロック図である。 適応的な量子化値を実現する符号化処理装置のブロック図である。 図１２中の符号化部のブロック図である。 フレームの符号化タイプと量子化値との関係を示す図である。 本発明に係る符号化処理装置を用いた撮像システムの構成ブロック図である。 従来のモード判定手法のフロー図である。 ＳＡＤ及びＡＣＴを利用した符号化器の構成図である。 符号化対象となっている対象画像と、動き探索後の動き補償の画素データを表す図である。 ＤＣＴ処理を行った結果のデータを表す図である。

符号の説明

１００ 符号化処理装置
１１０〜１１３ 符号化部
１２０ 符号化モード決定部
１２１ ＤＣＴ係数選択部
１２２ 再構成画像選択部
１５０ 符号化モード決定部
１５１ 量子化値決定部
２００ 符号化器
２０１ 動き探索部
２０２ 動き補償画像生成部
２０３ 減算部
２０４ 符号化モード選択部
２０５ ＤＣＴ処理部
２０６ 量子化処理部
２０７ 逆量子化処理部
２０８ 逆ＤＣＴ処理部
２０９ 可変長符号化部
２１０ ストリーム記憶部
２１１ 動き補償画像切替部
２１２ 加算部
２１３ 参照フレーム記憶部
２２０ 再構成画像一時記憶部
２２１ イントラ予測画像生成部
２３０ 符号量計算部
２５０ ＡＣＴ算出部
２５１ ＳＡＤ算出部
２５２ 符号化モード判定部

Claims (18)

1. 複数の符号化モードが存在する画像圧縮において、前記複数の符号化モードから１つの符号化モードを決定する符号化処理方法であって、
   前記複数の符号化モードそれぞれについて、量子化処理済のＤＣＴ係数を生成し、かつ当該ＤＣＴ係数から生成するストリームの符号量を計算するステップと、
   前記全ての符号化モードの中から符号量が最小となる符号化モードを決定するステップと、
   前記決定した符号化モードのＤＣＴ係数を選択するステップと、
   前記選択したＤＣＴ係数を可変長符号化するステップとからなることを特徴とする符号化処理方法。
2. 請求項１に記載の符号化処理方法において、
   前記複数の符号化モードの中に、イントラ符号化モードとインター符号化モードとを含むことを特徴とする符号化処理方法。
3. 請求項１に記載の符号化処理方法において、
   前記複数の符号化モードの中に、異なるイントラ予測モードにてイントラ符号化処理を行う符号化モードを２つ以上含むことを特徴とする符号化処理方法。
4. 請求項１に記載の符号化処理方法において、
   前記複数の符号化モードの中に、異なる動き補償のブロックサイズにてインター符号化処理を行う符号化モードを２つ以上含むことを特徴とする符号化処理方法。
5. 請求項１に記載の符号化処理方法において、
   前記複数の符号化モードの中に、異なる参照フレームを使用してインター符号化処理を行う符号化モードを２つ以上含むことを特徴とする符号化処理方法。
6. 請求項２に記載の符号化処理方法において、
   前記複数の符号化モードをフレームの符号化タイプにより切り替えることを特徴とする符号化処理方法。
7. 請求項６に記載の符号化処理方法において、
   前記複数の符号化モードを、Ｐピクチャ若しくはＰスライス、又はＢピクチャ若しくはＢスライスのときは、イントラ符号化モードとインター符号化モードとを符号化モードと指定し処理を行い、
   Ｉピクチャ又はＩスライスのときは、符号化処理を行う際のパラメータを異なる設定にした２つのイントラ符号化モードを符号化モードと指定し処理を行うことを特徴とする符号化処理方法。
8. 請求項７に記載の符号化処理方法において、
   前記異なるパラメータが、異なる量子化値であることを特徴とする符号化処理方法。
9. 複数の符号化モードが存在する画像圧縮において、前記複数の符号化モードから１つの符号化モードを決定する符号化処理装置であって、
   各々符号化対象となる対象画像、及び符号化に使用する参照フレームの画像を入力し、互いに異なる符号化モードでＤＣＴ処理、量子化処理を施し生成するＤＣＴ係数と、そのＤＣＴ係数から生成するストリームの符号量と、再構成画像とを出力する複数の符号化手段と、
   前記複数の符号化手段の各々で算出した符号量から、符号量が最小となる符号化モードを決定する符号化モード決定手段と、
   前記複数の符号化手段の各々から出力されるＤＣＴ係数の中から、前記符号化モード決定手段で決定した符号化モードのＤＣＴ係数を選択するＤＣＴ係数選択手段と、
   前記ＤＣＴ係数選択手段が選択したＤＣＴ係数を入力し、そのＤＣＴ係数に対し可変長符号化処理を行い生成ストリームとして出力する可変長符号化手段と、
   前記複数の符号化手段の各々から出力される再構成画像の中から、前記符号化モード決定手段で決定した符号化モードの再構成画像を選択し参照フレーム記憶手段に格納する再構成画像選択手段とを備えたことを特徴とする符号化処理装置。
10. 請求項９に記載の符号化処理装置において、
    前記複数の符号化手段の各々には可変長符号化手段を備えず、当該符号化処理装置内に１個だけ前記可変長符号化手段を備えたことを特徴とする符号化処理装置。
11. 請求項９に記載の符号化処理装置において、
    前記複数の符号化手段に入力される符号化モードの中に、イントラ符号化モードとインター符号化モードとを含むことを特徴とする符号化処理装置。
12. 請求項９に記載の符号化処理装置において、
    前記複数の符号化手段に入力される符号化モードの中に、異なるイントラ予測モードにてイントラ符号化処理を行う符号化モードを２つ以上含むことを特徴とする符号化処理装置。
13. 請求項９に記載の符号化処理装置において、
    前記複数の符号化手段に入力される符号化モードの中に、異なる動き補償のブロックサイズにてインター符号化処理を行う符号化モードを２つ以上含むことを特徴とする符号化処理装置。
14. 請求項９に記載の符号化処理装置において、
    前記複数の符号化手段に入力される符号化モードの中に、異なる参照フレームを使用しインター符号化処理を行う符号化モードを２つ以上含むことを特徴とする符号化処理装置。
15. 請求項９に記載の符号化処理装置において、
    前記複数の符号化手段の各々は、量子化処理と、ＤＣＴ係数から生成するストリームの符号量を計算する符号量計算処理とを処理ブロック単位のパイプラインで行うことを特徴とする符号化処理装置。
16. 請求項９に記載の符号化処理装置において、
    前記複数の符号化手段の各々は、ＤＣＴ処理と、量子化処理と、ＤＣＴ係数から生成するストリームの符号量を計算する符号量計算処理とを処理ブロック単位のパイプラインで行うことを特徴とする符号化処理装置。
17. 請求項９に記載の符号化処理装置を有する画像処理回路と、
    画像光を画像信号に変換するセンサと、
    入射された画像光を前記センサ上に結像する光学系と、
    前記画像信号をデジタルデータに変換して前記画像処理回路に出力する変換器とを備えたことを特徴とする撮像システム。
18. 請求項９に記載の符号化処理装置を有する画像処理回路と、
    アナログ値の画像信号が入力され、その画像信号をデジタルデータに変換して前記画像処理回路に出力する変換器とを備えたことを特徴とする信号処理システム。

Images