JP2007511953A - モバイル機器向け動画の圧縮方法 - Google Patents

Abstract

本発明は、動画圧縮技術に関し、特にモバイル機器に使われる動画を簡易に且つ高効率で圧縮する方法に関する。本発明によるモバイル機器向け動画の圧縮方法では、マクロブロックを用いた動き検出過程により動きベクトルを求めないで、動き発生有無のみを判断し、動き発生有無を判断するブロック単位のサイズを任意に選択可能であるため、動画の圧縮を効率よく行うことができる。本発明によるモバイル機器向け動画の圧縮方法では、前に存在するI（Intra）フレームを参照フレームとしてＰ（Predicted）フレームの符号化を行うことにより、ネットワーク伝送時にＰフレームの省略が可能でありかつ別途のバッファリングを不要とするため、ネットワーク支援が容易であり、データ損失に対する優れた適応力という長所を有する。
【選択図】 図２

Description

本発明は、動画圧縮技術に関し、特にモバイル機器向けの動画を簡易に且つ高効率で圧縮する方法に関する。

現在、画像データを効率よく圧縮し格納しようとする努力が絶え間なく進められてきていて、多くの動画圧縮技術が使われており、これに伴い、動画圧縮技術に関する様々な国際標準が確立されている。

ＭＰＥＧ１（Moving Picture Expert Group１）は、伝送速度が１．５Ｍｂｐｓ程度としてＣＤ−ＲＯＭなどの記憶媒体を対象にした規格であり、その画像の符号化アルゴリズムは、適応型離散コサイン変換と動き補償を結合した方式であって、再生機能としては、順方向再生の他、逆方向再生、高速再生、ランダムアクセスが可能である。

ＭＰＥＧ２は、デジタルＴＶ放送、通信、記憶媒体向けカラー動画及びオーディオの符号化／圧縮方式の国際標準であって、画像の伝送速度は４〜１００Ｍｂｐｓ程度としてＭＰＥＧ１より遥かに高画質である。

ＭＰＥＧ４は、伝送速度６４Ｋｂｐｓ以下のデジタル画像及びオーディオの符号化／圧縮方式の国際標準であって、上記ＭＰＥＧ１及びＭＰＥＧ２に比べて超低速、高圧縮率の画像及びビデオの圧縮／符号化の規格であり、ＩＭＴ―２０００のような無線環境での動画圧縮ソリューションとして使われている。そのビットレートは３０Ｋｂｐｓ〜１Ｍｂｐｓの範囲である。

Ｈ.２６１は、ビデオ会議用として開発された標準規格であって、ＭＰＥＧ１並みの性能を持っており、主としてＩＳＤＮ網において使われている。そのビットレートは６４Ｋｂｐｓの整数倍である。

Ｈ.２６３は、ビデオ電話用として開発されＭＰＥＧ４の基盤になったコーデックであって、一般電話網を使うことを想定していて、そのデータ伝送速度をＶ.３４モデムの２８．８ｋｂｐｓ以下と設定した。

Ｈ.２６４は、ビデオ電話、動画携帯電話、ＴＶ向けのために最も最近標準化されたコーデックであって、ＭＰＥＧ４に比べて２倍まで圧縮性能を高めることができる。

図１は、従来の動画圧縮方法のうち最も代表的であるといえるＭＰＥＧによる動画圧縮を示す図である。まず、画面内符号化において、圧縮対象であるＲＧＢ画像がカメラなどの手段から入力されれば（Ｓ１）、明暗情報及び色差情報を併せ持つＵＢ４２０形式の画像に変換される（Ｓ２）。上記画像の形式変換が行われた後、１６×１６のピクセルのマクロブロックに分割され、再び８×８のピクセルブロックにブロック化される。上記８×８のピクセルブロックに対し離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）が行われ（Ｓ３）、上記離散コサイン変換により生成された離散コサイン変換係数に対し量子化過程を行う（Ｓ４）。次いで、量子化された離散コサイン変換係数は最終的にエントロピー符号化される。上記エントロピー符号化方式としては、ハフマン（Huffman）テーブルを用いたハフマン符号化方式を行う（Ｓ５）。

一方、画面間符号化においては、先ず動き検出（Motion Estimation；ＭＥ）過程を行う（Ｓ６）。１６×１６のピクセルのマクロブロックを用いて動きが発生したブロックから動きベクトルを求め（Ｓ８）、上記動きベクトルをハフマン符号化によりエントロピー符号化し（Ｓ１０）、動きベクトルを求めることができない場合、テクスチャマップ情報とテクスチャブロックを得る。動きが発生したブロックとして動きベクトルにて表現することができないブロック、即ち、テクスチャブロックに対してはテクスチャ符号化を行い（Ｓ９）、テクスチャ符号化の後、ＤＣＴ変換（Ｓ１１）、量子化（Ｓ１２）、及びハフマン符号化（Ｓ１３）を行う。

モバイル機器に使うＣＰＵとしては、最近開発された５３３ＭＨｚのＣＰＵが最高性能を持っているが、パーソナルコンピューターに比べてはその性能が大きく劣っており、制限されたバッテリー量を有し且つメモリー容量も相当に不足している。従って、モバイル機器向けの動画を圧縮するためには、効率よい圧縮性能の他、処理速度の遅いＣＰＵ性能でも画像を早く再生でき、メモリーの使用も低減できる圧縮方法が必要である。

一般に、画像は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）が各々８ビットずつの２４ビットの色相にて表現され、グラフィック、アニメーション及びメニュー画面のような単純な画像も２４ビットの色相にて表現される。

しかしながら、２５６色以下の色相を用いて表現可能な単純な静止画も多くあり、そのような単純な静止画を２５６色相にて一律に表現することは非効率であるといえる。

従って、入力される静止画の種類によって適合の色相数を用いて表現する圧縮方法が必要である。

また、従来の動画圧縮方法では、動き検出過程に際して、１６×１６のピクセルのマクロブロック単位で定義する探索領域を対象にして動きベクトルを求めなければならないが、１６×１６ピクセルサイズのマクロブロックを単位とする場合、画面サイズが小さいモバイル機器には不向きであり、これは、再生時の画質の劣化につながる。

従って、モバイル機器向け動画を圧縮するに際し、各静止画に適合な色相範囲にて該静止画を再構成して圧縮可能であり、モバイル機器の画面のピクセル数及びＣＰＵ容量を考慮した動画圧縮方法が必要である。

そこで、本発明は、上記のような従来技術の問題点及び課題を解決するためになされたものであって、その目的は、移動通信向け画像サービスのために製作された画像を効率よく圧縮する方法を提示することである。

上記目的を達成するための本発明の一実施の形態によるモバイル機器向け動画の圧縮方法は、画面間符号化過程において、所定サイズのピクセルブロックを対象として、動きベクトルは求めないで動き発生有無を判断するステップ（ａ）と；上記ステップ（ａ）で判断された動き発生有無を第３マップ情報値にて示すステップ（ｂ）；及び上記ステップ（ｂ）の第３マップ情報値を参照し、動きが発生したピクセルブロック（以下、動きブロック）に対する符号化を行うステップ（ｃ）とを含む。

上記ステップ（ａ）において、好ましくは、上記ピクセルブロックのサイズを任意に選択可能である。

また、好ましくは、上記ステップ（ｃ）においては、動きブロックが低ビットサンプル値を多く含んでいる場合は低ビット動きブロックと分類し、その他の場合は、高ビット動きブロックと分類して符号化を行い、上記高ビット動きブロック及び低ビット動きブロックとに分類した結果を、第４マップ情報値にて示す。

また、好ましくは、上記ステップ（ａ）においては、１フレーム内の全てのピクセルブロックに対し連続して動き発生有無を判断し、上記ステップ（ｃ）の符号化は、上記ステップ（ａ）の動き発生有無の判断が完了した後、上記フレーム内のブロックに対し連続して行う。即ち、一つのピクセルブロックに対する動き発生有無を確認し、該確認されたピクセルブロックに対する符号化を行う方式でフレームを符号化するのではなく、１フレーム内の全てのピクセルブロックに対する動き発生有無の判断が完了した後、上記フレーム内の全てのピクセルブロックに対する符号化を行うのである。

また、好ましくは、上記画面間符号化過程は、前に存在するI（Intra）フレームを参照フレームとしてＰ（Predicted）フレームを符号化するステップ（ｄ）を更に含むことができる。

例えば、画面間符号化過程において、フレーム構成がＩフレーム、Ｐ１フレーム、Ｐ２フレーム、Ｐ３フレームから構成されていれば、Ｐ１フレーム、Ｐ２フレーム及びＰ３フレームともに、上記Ｉフレームを基準として差がある部分に対して符号化すればよい。これは、従来の動画圧縮方法における、Ｐ２フレームとＰ１フレームとの差を、Ｐ３フレームとＰ２フレームとの差を符号化に反映する方法とは異なる特徴である。

上記の如く、Ｐフレームを符号化する際、前に位置したＩフレームを参照フレームとするため、ネットワーク上での伝送途中に前のＰフレームが損傷される場合などにも問題なしに当該フレームを再生することができ、ネットワーク伝送効率が増大する。

本発明によるモバイル機器向け動画の圧縮方法において、画面内符号化過程は、静止画に応じてそれぞれ異なる数の色相にて上記静止画を再構成して圧縮することを特徴とし、上記静止画の領域全体を対象として各ピクセルの（Ｒ、Ｇ、Ｂ）値を求めるステップ（ａ１）と；上記領域全体に多く存在する順に沿って、上記静止画に応じて決められた色相の数分の（Ｒ、Ｇ、Ｂ）値を代表（Ｒ、Ｇ、Ｂ）値と選ぶステップ（ｂ１）；及び上記代表（Ｒ、Ｇ、Ｂ）値に対するインデックス値を設定し、上記代表（Ｒ、Ｇ、Ｂ）値をパレットにて格納するステップ（ｃ１）を含む。

好ましくは、上記画面内符号化過程は、上記ステップ（ｃ１）で設定されるインデックス値を用いてサンプル値及び第１マップ情報値を求めるステップ（ｄ１）；及び上記ステップ（ｄ１）で求めた上記サンプル値を分類し、該分類されたサンプル値同士に圧縮するステップ（ｅ１）を更に含む。

また、好ましくは、上記サンプル値は、前のインデックス値と現インデックス値とが異なる場合に生成され、上記現インデックス値と同じ値を有する。

また、好ましくは、上記第１マップ情報値は、上記インデックス値が変わったかどうかを示し、上記第１マップ情報値によって圧縮対象であるサンプル値が決められる。

また、好ましくは、上記ステップ（ｅ１）では、上記サンプル値を特定ビット数以下で表現可能である場合は低ビットサンプル値と分類し、その他の場合は高ビットサンプル値と分類し、低ビットサンプル値は低ビットサンプル値同士に、高ビットサンプル値は高ビットサンプル値同士に圧縮する。

また、好ましくは、上記サンプル値が特定ビット数以下で表現可能であるかどうかを第２マップ情報値を用いて示す。

以上で説明した本発明のモバイル機器向け動画の圧縮方法によれば、マクロブロックを用いた動き検出過程により動きベクトルを求めないで動き発生有無のみを判断し、動き発生有無を判断するピクセルブロックのサイズを任意に選択可能であるため、動画圧縮を効率よく行うことができる。

また、本発明のモバイル機器向け動画の圧縮方法によれば、前に存在するイントラ（Intra）フレームを参照フレームとしてＰフレーム符号化を行うことにより、ネットワーク伝送時にＰフレームの省略が可能でありかつ別途のバッファリングを不要とするため、ネットワーク支援が容易であり、データ損失に対する優れた適応力という長所を有する。

以下、添付した図面を参照して、本発明の一実施の形態に係るモバイル機器向け動画の圧縮方法について詳細に説明する。

図２は、本発明によるモバイル機器向け動画の圧縮方法の流れを概念的に示す図である。

本発明によるモバイル機器向け動画の圧縮方法によれば、圧縮対象である静止画に応じて決められる数分の色相を用いて上記静止画を再構成し、該再構成された静止画を圧縮する画面内符号化過程を含む。

上記静止画の再構成のために、まず、圧縮対象である静止画の領域全体を対象として全てのピクセルの（Ｒ、Ｇ、Ｂ）値を求め、上記領域全体内における存在頻度数の高い順に、例えば次の表１に示す順に並べる。

次いで、上記静止画の再構成のために決められた色相の数分のピクセルの（Ｒ、Ｇ、Ｂ）値を並べる。例えば、上記表１に示すように配置された静止画を１２８個の色相にて再構成したい場合は、頻度数の最も高い（１００、１１０、１２０）から１２８個のピクセルの（Ｒ、Ｇ、Ｂ）値が並べられる。該並べられた（Ｒ、Ｇ、Ｂ）値を用いてインデックス値２３及びパレット２２を設定するようになる。例えば、次の表２に示すように設定することができる。

パレット２２は、圧縮対象である静止画から代表的に抽出される（Ｒ、Ｇ、Ｂ）値から構成され、インデックス値２３は、上記パレット２２を構成する各（Ｒ、Ｇ、Ｂ）値に対する指標値となる。このような処理により各ピクセルは、上記（Ｒ、Ｂ、Ｂ）値に代わるインデックス値２３にて表現され、このようなインデックス値２３に対応するパレット２２が構成される。上記パレット２２は、復号化時に復元される画像の色相情報として用いるためにそのまま格納される。

一方、モバイル機器向け静止画として使われるために圧縮されるＲＧＢ画像の大半は、単純な静止画であり、単純な静止画であるほど同じデータ値が連続して続くという点を用いて、より効率よく静止画を圧縮することができる。これは、上記インデックス値２３からサンプル値２５及び第１マップ情報値２４を得る過程の際に用いることができる。上記サンプル値２５は、現インデックス値と前インデックス値とを比べてみて、現インデックス値が前インデックス値と異なる値を持っている場合に生成される値であって、上記現インデックス値と同じ値を持つ。また、上記第１マップ情報値２４は、現インデックス値と前インデックス値とを比べ、現インデックス値と前インデックス値とが同じであるかどうかを示す値であって、１ビットを使って上記第１マップ情報値２４を示すことができる。例えば、上記現インデックス値と前インデックス値とが同じである場合は、当該第１マップ情報値２４を“１”、上記現インデックス値と前インデックス値とが異なる場合は、当該第１マップ情報値２４を“０”と示すことができる。逆に、上記現インデックス値と前インデックス値とが同じである場合は当該第１マップ情報値２４を“０”、上記現インデックス値と前インデックス値とが異なる場合は、当該第１マップ情報値２４を“１”とすることができることは言うまでもない。

一方、上記インデックス値２３から上記サンプル値２５及び第１マップ情報値２４を得た後、上記サンプル値２５をより効率よく圧縮するために特定ビット以下で表現可能なサンプル値を低ビットサンプル値２７とし、上記特定ビット以下で表現不可能なサンプル値を高ビットサンプル値２６と分類する。この時、分類された低ビットサンプル値２７及び高ビットサンプル値２６は、各分類されたサンプル値同士に配列され圧縮され、第２マップ情報値２８として上記サンプル値が低ビットサンプル値２７であるか高ビットサンプル値２６であるかを示す。上記第２マップ情報値２８は、圧縮解凍を効率よく行うために用いられる。

上記表３では、インデックス値の変化による第１マップ情報値、サンプル値、低ビットサンプル値、高ビットサンプル値、及び第２マップ情報値を例示している。上記表３では、２ビット以下で表現可能なサンプル値を低ビットサンプル値とし、２ビット以下で表現不可能なサンプル値を高ビットサンプル値とした。また、第２マップ情報値は、低ビットサンプル値の場合は“０”と、高ビットサンプル値の場合は“１”と示される。これは、任意に設定可能な値であって、高ビットサンプル値にあたる第２マップ情報値を“０”と、低ビットサンプル値にあたる第２マップ情報値を“１”と示すこともできる。

上記のように、サンプル値を特定ビット以下で表現可能であるかどうかによって高ビットサンプル値と低ビットサンプル値とに分類した後、高ビットサンプル値は高ビットサンプル値同士に、低ビットサンプル値は低ビットサンプル値同士に配列し圧縮するようになる。

例えば、２ビット以下で表現可能な場合のサンプル値を低ビットサンプル値と、２ビット以下で表現不可能な場合のサンプル値を高ビットサンプル値と分類した場合、低ビットサンプル値の場合は４個の値にて１バイトを構成し、高ビットサンプル値の場合は２個または３個の値を合わせて１バイトを構成するか、或いは３個の値を合わせて２バイトを構成する形式を取る。

本発明によるモバイル機器向け動画の圧縮方法の画面間符号化は、所定のサイズを有するピクセルブロック、例えば４×４ピクセルサイズを有するピクセルブロックを対象として動き検出を行うことができるが、上記ピクセルブロックのサイズは特に限定されることなく、運営者が適宜変えることができる。これは、ＤＣＴ変換を行うためにマクロブロック単位で動き検出を行う従来の動画圧縮方法とは異なる本発明の特徴である。

また、上記ピクセルブロックを対象として動きベクトルを求めないで、動き発生有無のみを判断し、該結果を第３マップ情報値３０を用いて示す。この時、動き発生有無は、同じ位置のピクセルブロックを対象として動きが発生したかどうかを判断する。上記第３マップ情報値は、“０”及び“１”を用いて示すことができるが、動きが発生したブロックに対しては、当該第３マップ情報値として“０”、動きが発生していないピクセルブロックに対しては、当該第３マップ情報値として“１”を設定することができる。また、その逆に設定することも可能である。また、復元時に、より早い復元のために１バイト単位で格納するのが効果的であるため、１バイト単位で上記第３マップ情報値を格納することも可能である。

一方、動きが発生したピクセルブロックを動きブロックというと、上記動きブロックの符号化は、静止画の符号化過程とほぼ同一である。上記動きブロックのサンプル値を求めた後、各サンプル値が２ビット以下で表現可能なサンプル値なのか、２ビット以下で表現不可能なサンプル値なのかを判断し、２ビット以下で表現可能なサンプル値の場合は低ビットサンプル値とし、２ビット以下で表現不可能なサンプル値の場合は高ビットサンプル値とする。

上記動きブロックのサンプル値が主として低ビットサンプル値の場合は、上記動きブロックは低ビット動きブロックと分類され、高ビットサンプル値からなる場合は高ビット動きブロックと分類される。

この時、低ビット動きブロック３３と高ビット動きブロック３４を第４マップ情報値３２を用いて示すが、例えば、低ビット動きブロックの場合は当該第４マップ情報値として“０”を、高ビット動きブロックの場合は当該第４マップ情報値として“１”を設定することができる。

本発明によるモバイル機器向け動画の圧縮方法は、１フレームに対する符号化において、上記フレームに属したピクセルブロックの全てに対して連続して動き検出を行い、上記フレームに対する動き検出が完了した後、上記フレームに対する符号化を一度に行う。この場合、動きが発生したピクセルブロックと動きが発生していないピクセルブロックとを区分する第３マップ情報値と、動きブロックのうち低ビットサンプル値を多く含んでいる低ビット動きブロックなのか或いは高ビットサンプル値を多く含んでいる高ビット動きブロックなのかを区分可能にする第４マップ情報値を用いて効率よく画面間符号化を行うことができるようになる。

即ち、１フレームに対する符号化において、高ビット動きブロックは高ビット動きブロック同士に、低ビット動きブロックは低ビット動きブロック同士に配列し符号化を行うことにより、効率よい符号化が可能となる。

以上、添付した図面を参照して本発明の好適な実施の形態を中心に説明したが、当業者であれば、特許請求の範囲を逸脱することなく種々の変形が可能であることは明白である。

従来のＭＰＥＧ動画圧縮方法を示す図である。 本発明によるモバイル機器向け動画の圧縮方法の流れを概念的に示す図である。

符号の説明

２１：ＲＧＢ画像
２２：パレット
２３：インテックス値
２４：第１マップ情報値
２５：サンプル値
２６：高ビットサンプル値
２７：低ビットサンプル値
２８：第２マップ情報値
２９：動き検出
３０：第３マップ情報値
３１：動きブロック
３２：第４マップ情報値
３３：低ビット動きブロック
３４：高ビット動きブロック

Claims (5)

1. 画面間符号化過程において、
   所定サイズのピクセルブロックを対象として、動きベクトルは求めないで動き発生有無を判断するステップ（ａ）と；
   上記ステップ（ａ）で判断された動き発生有無を第３マップ情報値にて示すステップ（ｂ）；及び
   上記ステップ（ｂ）の第３マップ情報値を参照し、動きブロックに対する符号化を行うステップ（ｃ）と；
   を含むことを特徴とするモバイル機器向け動画の圧縮方法。
2. 上記ステップ（ａ）において、上記ピクセルブロックのサイズは任意に選択可能であることを特徴とする請求項１に記載のモバイル機器向け動画の圧縮方法。
3. 上記ステップ（ｃ）においては、動きブロックが低ビットサンプル値を多く含んでいる場合は低ビット動きブロックと分類し、その他の場合は、高ビット動きブロックと分類して符号化を行い、上記高ビット動きブロック及び低ビット動きブロックとに分類した結果を、第４マップ情報値にて示すことを特徴とする請求項１に記載のモバイル機器向け動画の圧縮方法。
4. 上記ステップ（ａ）においては、１フレーム内の全てのピクセルブロックに対し連続して動き発生有無を判断し、上記ステップ（ｃ）の符号化は、上記ステップ（ａ）の動き発生有無の判断が完了した後、上記フレーム内の全てのピクセルブロックに対し連続して行うことを特徴とする請求項１に記載のモバイル機器向け動画の圧縮方法。
5. 上記画面間符号化過程は、前に存在するI（Intra）フレームを参照フレームとしてＰ（Predicted）フレームを符号化するステップ（ｄ）を更に含むことを特徴とする請求項１に記載のモバイル機器向け動画の圧縮方法。