JP2014241579A - 映像圧縮装置 - Google Patents

Abstract

【課題】圧縮処理における予測精度が高く、動作周波数及びスループットを向上させることができる映像圧縮装置を提供する。
【解決手段】予測画素生成部は、入力原画画素の圧縮対象画素に対し、ラインメモリの所定位置から読み出したローカルデコード画素を上参照画素とし、圧縮対象画素の左に位置する入力原画画素を左参照画素として定義される複数の予測モードの予測画素値を生成する。予測モード決定部は、所定数連続する入力原画画素からなるユニットを処理単位とし、圧縮対象画素値と予測画素値との差分値に基づいて、ユニットにおける予測誤差を算出し、予測誤差が最小となる最小予測モードを選択する。ＤＰＣＭ部は、ラインメモリ内のローカルデコード画素を上参照画素、１サイクル前のローカルデコード画素値を左参照画素として、最小予測モードに対応する最小予測画素値と圧縮対象画素との最小差分値を生成する。
【選択図】図１

Description

本発明の実施形態は、映像圧縮装置に関する。

近年、ディスプレイインターフェース、カメラインターフェースでの画像圧縮やＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）内部のバスにおける画像圧縮では、圧縮器に毎サイクル1画素が入力され、伸長器は毎サイクル1画素を伸張しなければならないため、高スループットが要求されている。このような画像圧縮は回路規模が小さいことが求められるが、Ｈ.２６４等のブロック単位での圧縮では回路規模が大きいため、画素単位での予測値との差分を取るＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）ベースの圧縮が用いられている。ＤＰＣＭベースの圧縮で高圧縮率を実現するためには、予測値の予測精度を上げることが必要であり、多数の予測モードを備えておくことが重要である。

しかしながら、従来技術では、１画素／サイクルのスループットを実現するために、ＤＰＣＭでの多数の予測モードを備えると、圧縮器側の動作周波数が上がらない問題があった。すなわち、1サイクル以内に次の圧縮対象画素の予測モード決定処理に必要なローカルデコード画素を生成しなければならないが、このパスの回路遅延が大きいため、動作周波数が上がりにくかった。

特開２０１２−６５１７６号公報 特開２０１２−１２９９４４号公報

本発明は、上記従来技術の問題に鑑み、圧縮処理における予測精度が高く、かつ、動作周波数およびスループットを向上させることができる映像圧縮装置を提供することを目的とする。

本発明の一実施形態に係る映像圧縮装置は、ラスタスキャン順に入力原画画素を格納する入力原画バッファと、ローカルデコード画素を格納するラインメモリと、前記入力原画画素の中から順次選択した圧縮対象画素に対して、前記ラインメモリの所定位置から読み出したローカルデコード画素を上参照画素とし、前記圧縮対象画素の左に位置する入力原画画素を左参照画素として定義される複数の予測モードの予測画素値をそれぞれ生成する予測画素生成部と、所定数連続する入力原画画素からなるユニットを処理単位とし、このユニット内の前記圧縮対象画素の画素値と前記予測画素値との差分値に基づいて、前記ユニットにおける予測誤差を算出し、前記複数の予測モードの中から前記予測誤差が最小となる最小予測モードを選択する予測モード決定部と、前記ラインメモリ内のローカルデコード画素を上参照画素とし、圧縮対象画素の１サイクル前のローカルデコード画素値を左参照画素として、前記最小予測モードに対応する最小予測画素値を生成し、前記最小予測画素値と圧縮対象画素との最小差分値を生成するＤＰＣＭ部と、前記最小差分値を量子化した量子化データを生成する量子化部と、前記量子化データを伝送符号に変換する符号化部と、前記量子化データを逆量子化した逆量子化データを生成する逆量子化部と、前記逆量子化データと前記最小予測画素値を用いて前記圧縮対象画素に対するローカルデコード画素値を生成し、これを前記ラインメモリに順次格納する逆ＤＰＣＭ部と、を備えることを特徴とする。

本発明の実施形態１に係る映像圧縮装置の全体構成例を示すブロック図。 予測画素生成部が複数の予測モードに対応する予測画素値を生成する方法を説明する図。 予測モード決定部が予測モードを決定する際の処理単位の具体例を示す図。 予測画素生成部と予測モード決定部の具体的構成を説明する図。 映像圧縮装置における処理単位を説明する図（図５（Ａ））及び映像圧縮装置におけるパイプライン処理の動作タイミングチャート（図５（Ｂ））。 従来型の映像圧縮装置における処理の流れを説明する図（図６（Ａ））及び実施形態１の映像圧縮装置における処理の流れを説明する図（図６（Ｂ））。 本発明の実施形態２に係る映像圧縮装置の全体構成例を示すブロック図。 本発明の実施形態３に係る映像圧縮装置の全体構成例を示すブロック図。 映像圧縮装置における擬似的ローカルデコード画素の生成例を示す図。 本発明の実施形態４に係る映像圧縮装置の全体構成例を示すブロック図。 図１０に示す符号化部が出力する圧縮データのデータ構造の例を示す図。 本発明の実施形態５に係る映像圧縮装置の全体構成例を示すブロック図。

以下、本発明の実施形態について図面を用いて詳細に説明する。
＜実施形態１＞
図１は、本発明の実施形態１に係る映像圧縮装置１００の全体構成例を示すブロック図である。映像圧縮装置１００は、入力原画バッファ１０１、ローカルデコード画素収納ラインメモリ１０２、予測画素生成部１０３、予測モード決定部１０４、ＤＰＣＭ部１０５、量子化部１０６、逆量子化部１０７、逆ＤＰＣＭ部１０８、ローカルデコードレジスタ１０９、および符号化部１１０から構成されている。図１の中の破線で囲まれた領域は、後述する４つのパイプラインＰＬ１〜ＰＬ４と各部との対応関係を示している。入力原画バッファ１０１は、圧縮対象となる入力画像（以下、「原画」とも呼ぶ。）を順次読込み、一時格納するメモリである。本実施形態では、ラスタスキャン順に毎サイクル１画素（スループットは１画素／ｃｙｃｌｅ）で読み込まれ、各構成要素は毎サイクル１画素ずつ処理されていく。ラスタスキャンとは、二次元の画像の左上から右下まで水平走査線を高速に走査することによって、画像を得る走査方式である。ローカルデコード画素収納ラインメモリ１０２は、圧縮対象となる画像（原画）の画素（以下、「圧縮対象画素」という。）から生成されたローカルデコード画素を格納するメモリである。ローカルデコード画素の生成方法の詳細については後述する。

予測画素生成部１０３は、圧縮対象画素に対して所定の相対位置にある複数の参照画素に基づいて圧縮対象画素の予測画素値を生成する回路である。本実施形態では、予測画素生成部１０３は、圧縮対象画素の上参照画素としてローカルデコード画素収納ラインメモリ１０２に格納されたローカルデコード画素を使用するとともに、圧縮対象画素の左参照画素として入力原画バッファ１０１から読み出した原画画素を使用し、圧縮対象画素の位置において、後述する複数の予測モードに対応する複数個の予測画素値を生成する。

図２は、予測画素生成部１０３が複数の予測モードに対応する予測画素値を生成する方法を説明する図であり、予測画素値を算出する際に参照する画素および算出式は予測モードによって異なっている。図２の“Ｐｒｅｄ ｍｏｄｅ”の値は予測モードの識別番号、“ｐｒｅｄ”は圧縮対象画素の予測画素値、ボックス内の符号ａ〜ｆは画素値をそれぞれ示している。また、圧縮対象画素の上ラインに位置する５つのローカルデコード画素は上参照画素として用いられ、左側に隣接する原画画素は左参照画素として用いられる。例えば、予測モード識別番号が１の場合には、圧縮対象画素の予測画素値は左側に隣接する原画画素を左参照することで、ｐｒｅｄ＝ｆと算出される。また、予測モード識別番号が２の場合には、予測画素値は真上に位置する圧縮対象画素を上参照することで、ｐｒｅｄ＝ｃと算出される。予測モード識別番号が３の場合には、上ラインのローカルデコード画素の画素値ｃと左側の原画画素の画素値ｆに基づいて予測画素値は、ｐｒｅｄ ＝ （ｃ＋１）/２ ＋ （ｆ/２）と算出される。尚、入力画像の最上部のラインや左端に位置する画素が圧縮対象画素の場合には、その上部や左側に参照できる画素が存在しないため、参照画素として所定の設定値（例えば、全ビットが１の画素値）が用いられるものとする。

予測モード決定部１０４は、連続した複数の水平画素単位で、予測画素生成部１０３で生成した予測画素値に関する予測誤差が最小となる予測モード（以下、「最小予測モード」という。）を選択する回路である。図３は、予測モード決定部１０４が予測モードを決定する際の処理単位の具体例を示す図である。ここでは、予測モード決定部１０４が、原画画素と８通りの予測モードに対応して演算した８個の予測画素を入力とし、最小予測モードを３２画素単位（以下、この処理単位を「ユニット」と呼ぶ。）で処理することが示されている。なお、１ユニットの画素数は、任意に設計変更できる。例えば、画素数が小さい方が予測モードの精度は上がる。しかし、圧縮データ中に予測モード3bitを入れるため、1ユニットの画素数が小さければ頻繁に予測モードが入ることとなる。その結果、使用可能なｂｉｔ数が減り、圧縮効率は落ちる。逆に、大き過ぎると処理は速くなるが、予測モードの精度は悪くなる。このため、１ユニットは３２画素に設定すると好適である。

図４は、図１に示す予測画素生成部１０３と予測モード決定部１０４の具体的構成を説明する図である。また、図４に示す予測モード（Ｐｒｅｄ ｍｏｄｅ）は、図２と共通である。図４では、予測画素生成部１０３が圧縮対象画素について８通りの予測モードに対応する予測画素値を並列に生成して予測モード決定部１０４に出力すると、予測モード決定部１０４が予測画素値と原画画素との差分絶対値和（ＳＡＤ）を３２画素分（１ユニット分）累積加算し、累積値同士を比較している。そして、各ユニットでのＳＡＤが最小の予測モードを、そのユニットに含まれる３２画素の予測モードとすることが示されている。

ＤＰＣＭ部１０５は、予測モード決定部１０４において決定された予測モードを受けて、ローカルデコード画素収納ラインメモリ１０２内のローカルデコード画素を上参照画素とし、圧縮対象画素の１サイクル前のローカルデコード値を左参照画素として、最小予測モードに対応する最小予測画素値を生成し、最小予測画素値と圧縮対象画素との最小差分値を生成すると、その最小差分値を量子化部１０６へ出力する。予測モード決定部１０４の場合とは異なり、ＤＰＣＭ部１０５での最小予測画素値の生成には上参照画素と左参照画素の両方にローカルデコード画素値を使用している。

量子化部１０６は、ＤＰＣＭ部１０５が出力した差分値を量子化し、予測誤差として逆量子化部１０７および符号化部１１０へそれぞれ出力する回路である。量子化の方法としては、所定の値で除算して整数値に変換する方法や、非線形マッピングを用いる方法などがある。これに対し、逆量子化部１０７は、量子化部１０６によって量子化された予測誤差の逆量子化を行い、逆ＤＰＣＭ部１０８へ出力する回路である。逆量子化の方法としては、予測誤差値の量子化時に用いた係数値を量子化後の値に乗算する方法や、非線形マッピングを用いる方法などがある。

一般に、量子化を行う非可逆圧縮では、原画と復号画像は異なるため、エンコーダにおいて予測画素値を原画から生成すると、その予測画素値はデコーダ側では再生できない。同様に、原画を用いて生成した予測画素値と原画画素値の差分値を量子化・逆量子化した値もまた、デコーダ側で再生できない。その結果、デコーダ側とエンコーダ側で誤差が生じ、この誤差はデコーダ側で蓄積されるため、デコーダで再生した画像の画質をエンコーダ側で制御できなくなる。

このようなデコード時の誤差蓄積を避けるため、エンコーダ側では、実際に符号化する予測画素と原画画素の差分値を生成する際、デコーダ側で生成されるデコード画素(エンコーダ内部で生成されるデコード画素値であるので「ローカルデコード画素」と呼ばれる)を用いて予測画素を生成しなければならない。

逆ＤＰＣＭ部１０８は、圧縮対象画素について逆量子化部１０７が出力した逆量子化データと同画素に対応する予測画素値（最小予測画素値）に基づいて圧縮対象画素のローカルデコード画素値を生成し、ローカルデコードレジスタ１０９へ出力する。ローカルデコードレジスタ１０９は、逆ＤＰＣＭ部１０８が出力したローカルデコード画素値をローカルデコード画素収納ラインメモリ１０２に格納する。すなわち、逆ＤＰＣＭ部１０８は、ＤＰＣＭ部１０５とは逆の処理を行う。上記のように、ラスタスキャン順に入力され、ラスタスキャン順に画素単位で圧縮し、予測画素生成時に圧縮対象画素の左に位置する画素を左参照画素として使用する場合には、圧縮対象画素Ｐ１について生成されたローカルデコード画素値は、次サイクルの圧縮対象画素（Ｐ１の１画素左に位置するＰ２）の最小予測画素値を生成するためにＤＰＣＭ部１０５で左参照画素として使用される。

符号化部１１０は、量子化部１０６が出力した予測誤差を可変長または固定長で符号化し、圧縮データとして出力する回路である。本実施形態では、原画画素値を用いて予測画素値を生成して予測モードを決め、実際に符号化する際にはローカルデコード画素値のみを用いて予測画素値を生成するが、符号化部１１０が予測モードおよび量子化パラメータを圧縮データ内に含めてデコーダ側に送信するため、デコーダ側でもエンコード時の予測画素を再生できる。圧縮データの詳細については後述する。

このように、量子化部１０６における量子化後のデータは、逆量子化、逆ＤＰＣＭ処理を行って、ローカルデコード画素値を生成する第１のパスと、符号化部１１０への第２のパスに別れる。第１のパスでは、毎サイクル１画素（スループットは１画素／ｃｙｃｌｅ）を処理しなければならないため、ローカルデコード画素生成のループである、ローカルデコード画素値を用いた予測画素値生成処理、原画画素との差分値生成処理、量子化処理、逆量子化処理および逆ＤＰＣＭ処理を１サイクル以内に終えなければならない。したがって、ローカルデコード画素生成のループはクリティカルパスになり易く、ローカルデコード画素生成ループの回路遅延によって動作周波数が決まることが多い。

図５（Ａ）は、映像圧縮装置１００における処理単位を説明する図であり、３２画素単位で連続する５つのユニット（ｕｎｉｔ０〜４）が例示されている。図５（Ｂ）は、図５（Ａ）のユニットに対するパイプライン処理の動作タイミングチャートである。ここでは、入力原画バッファ１０１への入力を行う第１のパイプラインＰＬ１と、予測画素生成と予測モード決定を行う第２のパイプラインＰＬ２と、ＤＰＣＭ、量子化、逆量子化、逆ＤＰＣＭからなるローカルデコード生成処理を実行する第３のパイプラインＰＬ３と、量子化データの可変長・固定長符号化を行う第４のパイプラインＰＬ４が示されている。４つのＰＬ１〜ＰＬ４における処理はユニット単位でそれぞれ行われる。 例えば、時刻ｔ０〜ｔ１においては、ｕｎｉｔ０についての入力原画バッファ１０１への入力処理が第１のパイプラインＰＬ１で行われているが、このとき第２のパイプラインＰＬ２、第３のパイプラインＰＬ３および第４のパイプラインＰＬ４では処理が行われてない。

時刻ｔ２〜ｔ３においては、ｕｎｉｔ０についてのローカルデコード画素生成処理が第３のパイプラインＰＬ３で行われているが、同時にｕｎｉｔ１について予測画素生成と予測モード決定処理が第２のパイプラインＰＬ２で行われ、ｕｎｉｔ２についての入力原画バッファ１０１への入力処理が第１のパイプラインＰＬ１で行われている。このとき、第４のパイプラインＰＬ４では処理が行われていない。

時刻ｔ３〜ｔ４においては、ｕｎｉｔ０についての可変長・固定長符号化処理が第４のパイプラインＰＬ４で行われているが、ｕｎｉｔ１についてのローカルデコード画素生成処理が第３のパイプラインＰＬ３で行われ、ｕｎｉｔ２について予測画素生成と予測モード決定処理が第２のパイプラインＰＬ２で行われ、ｕｎｉｔ３についての入力原画バッファ１０１への入力処理が第１のパイプラインＰＬ１で行われている。このようなパイプライン処理により高いスループット処理を実現できる。

以下、上記のように構成された映像圧縮装置における一連の動作を説明する。
先ず、入力原画バッファ１０１内に入力画像（原画）がラスタスキャン順で格納する（図５（Ｂ）：ＰＬ１）。
次に、予測画素生成部１０３は、原画画素の中から選択された圧縮対象画素に対して、ローカルデコード画素収納ラインメモリ１０２の所定位置から読み出したローカルデコード画素を上参照画素とし、圧縮対象画素の左に位置する入力原画画素を左参照画素として定義される複数の予測モードの予測画素値をそれぞれ生成する（図５（Ｂ）：ＰＬ２）。

次に、予測モード決定部１０４は、所定数の連続した原画画素からなるユニットを処理単位として、複数の予測モードのうち、圧縮対象画素の画素値と予測画素生成部１０３がユニット単位で生成した予測画素値との予測誤差が最小となる最小予測モードを選択する。例えば、１ユニットが３２画素から構成される場合、予測画素生成部１０３は、画素ごとに８通りの予測モードの予測画素値を演算する。そして、予測モード決定部１０４が予測画素値と原画画素との差分絶対値和（ＳＡＤ）を３２画素分累積加算し、予測モードごとの積算値の比較結果によって最小予測モードを選択する（図５（Ｂ）：ＰＬ２）。同じユニット内の画素は、同一の予測モードに対応付けられる。

次に、ＤＰＣＭ部１０５は、予測モード決定部１０４が決定した予測モードに応じて、上参照画素、左参照画素ともにローカルデコード画素値を使用して予測画素値を生成し、原画画素との差分値を生成し、量子化部１０６へ出力する（図５（Ｂ）：ＰＬ３）。

次に、量子化部１０６は、ＤＰＣＭ部１０５が出力した差分値を所定の量子化パラメータに基づいて量子化し、予測誤差として逆量子化部１０７および符号化部１１０へそれぞれ出力する（図５（Ｂ）：ＰＬ３）。量子化部１０６からパスは二つに分かれる。

第１のパス側では、逆量子化部１０７が、量子化部１０６によって量子化された予測誤差値を逆量子化し、その処理結果を逆ＤＰＣＭ部１０８へ出力する（図５（Ｂ）：ＰＬ３）。

そして、逆ＤＰＣＭ部１０８は、圧縮対象画素について逆量子化部１０７が出力した逆量子化データと同画素に対応する予測画素値に基づいてローカルデコード画素値を生成し、ローカルデコードレジスタ１０９へ格納する。ローカルデコードレジスタ１０９は、このローカルデコード画素値をローカルデコード画素収納ラインメモリ１０２に格納する（図５（Ｂ）：ＰＬ３）。

他方、第２のパス側では、符号化部１１０が、予測モードおよび予測誤差値を含む圧縮データ（伝送ストリーム）を例えばディスプレイインターフェース、カメラインターフェースなどの出力先へ出力する（図５（Ｂ）：ＰＬ４）。

また、図６は、従来型の映像圧縮装置と図１に示す映像圧縮装置１００の処理の流れを対比して説明する図である。図６（Ａ）は、従来型の映像圧縮装置の処理の流れを示しており、予測画素生成からローカルデコード画素生成までが一つのループの中に含まれている。これに対し、図６（Ｂ）は、本実施形態の映像圧縮装置１００の処理の流れを示している。図６（Ａ）の場合とは異なり、ローカルデコード画素生成のループと予測画素生成から予測モード決定までのパスをパイプラインの別ステージに分けることで、上記のローカルデコード画素生成のループ内におけるパスが短くなる。一般に、予測画素生成から予測モード決定までのパスにおける処理時間Ｔ１は、ローカルデコード画素生成における処理時間Ｔ２の半分位の時間を必要とするため、処理時間Ｔ１が上記（Ａ）のループの全処理時間の中で約１／３の割合を占めていた。しかし、上記（Ｂ）のように、本実施形態の場合には、予測画素生成から予測モード決定までがループから分かれ、独立して別のパイプライン（第１のパイプラインＰＬ１）で実行される。ループ内のパスが短くなったことで、ループ内の処理時間は従来の約２／３にすることができる。また、第１のパイプラインＰＬ１で実行される予測モード決定処理においては、左参照画素については入力原画を用いるため、ローカルデコード画素の生成を待つ必要がない構成である。すなわち、第２のパイプラインＰＬ２で実行されるローカルデコード画素生成処理との依存関係がなく、圧縮対象画素の予測モードを先行して決定することができる。

このように、本実施形態に係る映像圧縮装置１００によれば、２次元方向からの予測画素・予測画像を生成し、差分画素値、差分画像を用いる画像圧縮において、予測モードを決める際に、上参照画素としてローカルデコード画素、左参照画素として原画画素値を用いる。1サイクル以内に行わなければいけない処理、すなわち、処理回路の遅延を削減すると同時に、予測モード選択を高い精度で行うことが可能となるため、動作周波数及びスループットを向上させることができ、かつ、高画質での圧縮が可能となる。

＜実施形態２＞
図７は、本発明の実施形態２に係る映像圧縮装置１００の全体構成例を示すブロック図である。同図に示されるように、本実施形態では、実施形態１における第１のパスにおいて、可変長・固定長符号化に繋がる量子化部１０６とは別に、量子化処理と逆量子化処理を同時に行う量子化・逆量子化部１１１が設けられており、ＤＰＣＭ部１０５から直接差分値を入力する。この量子化・逆量子化部１１１は、量子化部１０６と逆量子化部１０７を繋ぐのではなく、量子化・逆量子化結果をテーブル引きにより一度に求める回路である。テーブルには、ＤＰＣＭ部１０５の出力結果である差分値、量子化パラメータの値及び量子化・逆量子化結果の対応関係が定義されているものとする。

上記実施形態１の場合には量子化部１０６と逆量子化部１０７をそのまま繋いでいるため各部で演算処理が必要になるが、本実施形態に係る映像圧縮装置１００によれば、量子化および逆量子化のために演算処理を行う必要は無い。量子化・逆量子化部１１１においてテーブル引きにより量子化・逆量子化結果を一度に求めるため、実施形態１の場合と比べてローカルデコード生成のループにおける回路遅延が小さくなる。その結果、ローカルデコード生成のパスにおける回路遅延が小さくなり、クリティカルパスが改善されるため、動作周波数が向上し、スループットも向上する。

＜実施形態３＞
図８は、本発明の実施形態３に係る映像圧縮装置１００の全体構成例を示すブロック図である。上述した実施形態１においては、予測画素生成時に上参照画素はローカルデコード画素を用い、左参照画素は入力された原画画素をそのまま用いていた。参照画素としてローカルデコード画素を用いると予測精度が上がり、圧縮効率・画質が向上するが、左参照画素としてローカルデコード画素そのものを用いると、上記のようにローカルデコード画素生成における回路遅延が大きく動作周波数が上がらない。

そこで、本実施形態に係る映像圧縮装置１００は、原画画素補正部１１２を設け、原画画素のみから生成した擬似的なローカルデコード画素を予測画素生成部１０３で左参照画素として用いる。原画画素補正部１１２における疑似的なローカルデコード画素の生成方法としては例えば下記のものが有用である。

１．原画画素を量子化・逆量子化した値を出力する。
２．原画画素の下位ビットを特定の値にして出力する、たとえば、量子化パラメータに合わせて下位ビットを０にする。
３．将来にわたって左参照する複数の原画画素の隣接差分値が連続してある閾値以下であれば、左予測が効果的であると見做し、左予測が当たりやすくなるように水平ローパスフィルタをかけて水平方向に平均化した値を出力する。
図９は、図８に示す映像圧縮装置１００における擬似的ローカルデコード画素の生成例を示す図であり、上記３．のケースに該当する。ここでは、入力原画バッファ１０１に格納された原画画素群において原画画素Ｐ［ｉ］が圧縮対象画素として選択される前に、当該画素における予測モードの決定処理において左参照画素として使用する擬似的なローカルデコード画素Ｐ′［ｉ-１］を生成する例を示している。原画画素群の中で原画画素Ｐ［ｉ］の左側に位置するｉ個の画素Ｐ［０］〜Ｐ［ｉ-１］を予測モード決定処理に先行して読込み、隣接する二つの原画画素Ｐ［ｉ］およびＰ［ｉ-１］の間の差分値の絶対値を左側から順番に演算する。そして、演算した各絶対値がいずれも閾値Ｔｂ以下である場合には、予測モード決定時に左参照画素として使用する擬似的なローカルデコード画素Ｐ′［ｉ-１］を例えば水平方向に３つ連続する原画画素Ｐ［ｉ-２］、Ｐ［ｉ-１］およびＰ［ｉ］の平均することで算出している。

原画画素補正部１１２は、ローカルデコード画素生成ループとの依存関係が無いため、パイプライン化することが可能であるから、動作周波数を低下させることは無い。

このように、本実施形態に係る映像圧縮装置１００によれば、予測画素生成部１０３における左参照画素として、原画画素またはローカルデコード画素を使用する代わりに、原画画素補正部１１２が原画のみから生成した擬似的なローカルデコード画素を用いるため、実施形態１の効果を合わせ持ち、かつ、実施形態１よりも圧縮効率・画質が向上する。

＜実施形態４＞
図１０は、本発明の実施形態４に係る映像圧縮装置の全体構成例を示すブロック図である。本実施形態は、実施形態１に対してレート制御部１１３を更に備えた装置構成である。

レート制御部１１３は、符号化部１１０での圧縮データの伝送レートを一定に制御する回路であり、符号化部１１０から入力した符号化量に基づいて圧縮データに含める信号の種類毎に量子化パラメータを切り替える。例えば、符号化部１１０における符号量が大き過ぎ、圧縮データの伝送レートが所定の値を超えてしまった場合には、量子化パラメータの値を大きくすることで、符号量を小さくすることができる。

図１１は、符号化部１１０が出力する圧縮データのデータ構造の例を示す図である。ここでは、原画の一部を構成する３２画素のｕｎｉｔ０を圧縮した場合に、予測モード決定部１０４で決定された予測モードの値を予測モード識別番号として先頭３ビット内に格納し、その後に輝度信号（Ｙ）、色差信号（Ｃｂ）および色差信号（Ｃｒ）の量子化パラメータを各Ｎビット内に格納し、最後に３２画素の画素値をそれぞれ可変長符号化したデータ（予測画素値）を格納した例を示している。レート制御部１１３によって量子化パラメータを任意に設定できる構成のため、信号の種類毎に量子化部１０６における処理内容を変更することができる。例えば、輝度信号（Ｙ）については、原画画素値を８で除算し、色差信号（Ｃｂ）および色差信号（Ｃｒ）については、原画画素値を４で除算して量子化の実行を制御できる。

このように、本実施形態に係る映像圧縮装置によれば、符号化部１１０が予測モードおよび量子化パラメータを圧縮データ内に含めてデコーダ側に送信するため、予測モードおよび量子化パラメータに基づいてデコーダ側でもエンコード時の予測画素を再生できる。また、圧縮データに含める信号の種類毎に量子化レベルを柔軟に変更することもできる。

以下、上記実施形態の幾つかの変形例について説明する。

＜実施形態５＞
図１２は、本発明の実施形態５に係る映像圧縮装置の全体構成例を示すブロック図である。本実施形態の構成は実施形態２と実施形態３を組合せたものであり、実施形態１の装置に量子化・逆量子化部１１１と原画画素補正部１１２を加えたものである。このため、実施形態２および実施形態３の効果を合わせ持つ。

＜変形例＞
なお、上記の各実施形態はそれぞれ以下のように変形することもできる。

例えば、実施形態１の処理をソフトウェアで実装した場合（変形例１）、予測画素生成、予測モード選択は、２次元ＤＰＣＭを含むローカルデコード画素生成とは別スレッドで並列実行できるため、ハードウェアで実装する場合と同様にスループットが向上する。

また、実施形態２の処理をソフトウェアで実装した場合（変形例２）には、変形例１と同様に、予測画素生成、予測モード選択は、２次元ＤＰＣＭを含むローカルデコード画素生成とは別スレッドで並列実行でき、更に、量子化と可変長・固定長符号化処理、量子化・逆量子化と逆ＤＰＣＭのローカルデコード生成処理も別スレッドで並列実行できるため、ハードウェアで実装する場合と同様に全体のスループットが向上する。

同様に、実施形態３の処理をソフトウェアで実装した場合（変形例３）には、変形例１と同様に予測画素生成、予測モード選択は、２次元ＤＰＣＭを含むローカルデコード画素生成とは別スレッドで並列実行できるため、ハードウェアで実装する場合と同様にスループットが向上する。更に、実施形態３と同様に予測効率が上がり画質が向上する。

更に、変形例１の処理をソフトウェアで実装した場合（変形例４）には、変形例１・２と同様の理由でスループットが向上する。また、実施形態３と同様の理由で予測効率が上がり画質も向上する。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…映像圧縮装置、
１０１…入力原画バッファ、
１０２…ローカルデコード画素収納ラインメモリ、
１０３…予測画素生成部、
１０４…予測モード決定部、
１０５…ＤＰＣＭ部、
１０６…量子化部、
１０７…逆量子化部、
１０８…逆ＤＰＣＭ部、
１０９…ローカルデコードレジスタ、
１１０…符号化部、
１１１…量子化・逆量子化部、
１１２…原画画素補正部、
１１３…レート制御部。

Claims (4)

1. ラスタスキャン順に入力原画画素を格納する入力原画バッファと、
   ローカルデコード画素を格納するラインメモリと、
   前記入力原画画素の中から順次選択した圧縮対象画素に対して、前記ラインメモリの所定位置から読み出したローカルデコード画素を上参照画素とし、前記圧縮対象画素の左に位置する入力原画画素を左参照画素として定義される複数の予測モードの予測画素値をそれぞれ生成する予測画素生成部と、
   所定数連続する入力原画画素からなるユニットを処理単位とし、このユニット内の前記圧縮対象画素の画素値と前記予測画素値との差分値に基づいて、前記ユニットにおける予測誤差を算出し、前記複数の予測モードの中から前記予測誤差が最小となる最小予測モードを選択する予測モード決定部と、
   前記ラインメモリ内のローカルデコード画素を上参照画素とし、圧縮対象画素の１サイクル前のローカルデコード画素値を左参照画素として、前記最小予測モードに対応する最小予測画素値を生成し、前記最小予測画素値と圧縮対象画素との最小差分値を生成するＤＰＣＭ部と、
   前記最小差分値を量子化した量子化データを生成する量子化部と、
   前記量子化データを伝送符号に変換する符号化部と、
   前記量子化データを逆量子化した逆量子化データを生成する逆量子化部と、
   前記逆量子化データと前記最小予測画素値を用いて前記圧縮対象画素に対するローカルデコード画素値を生成し、これを前記ラインメモリに順次格納する逆ＤＰＣＭ部と、
   を備えることを特徴とする映像圧縮装置。
2. ラスタスキャン順に入力原画画素を格納する入力原画バッファと、
   ローカルデコード画素を格納するラインメモリと、
   前記入力原画画素の中から順次選択した圧縮対象画素に対して、前記ラインメモリの所定位置から読み出したローカルデコード画素を上参照画素とし、前記圧縮対象画素の左に位置する入力原画画素を左参照画素として定義される複数の予測モードの予測画素値をそれぞれ生成する予測画素生成部と、
   所定数連続する入力原画画素からなるユニットを処理単位とし、このユニット内の前記圧縮対象画素の画素値と前記予測画素値との差分値に基づいて、前記ユニットにおける予測誤差を算出し、前記複数の予測モードの中から前記予測誤差が最小となる最小予測モードを選択する予測モード決定部と、
   前記ラインメモリ内のローカルデコード画素を上参照画素とし、圧縮対象画素の１サイクル前のローカルデコード画素値を左参照画素として、前記最小予測モードに対応する最小予測画素値を生成し、前記最小予測画素値と圧縮対象画素との最小差分値を生成するＤＰＣＭ部と、
   前記最小差分値を量子化した第１の量子化データを生成する量子化部と、
   前記量子化データを伝送符号に変換する符号化部と、
   前記最小予測画素値と前記圧縮対象画素との差分値を量子化して第２の量子化データを生成するとともに、この第２の量子化データを逆量子化した逆量子化データを生成する量子化・逆量子化部と、
   前記逆量子化データと前記最小予測画素値を用いて前記圧縮対象画素に対するローカルデコード画素値を生成し、これを前記ラインメモリに順次格納する逆ＤＰＣＭ部と、
   を備えることを特徴とする映像圧縮装置。
3. 前記予測画素生成部および前記予測モード決定部における処理と、前記ＤＰＣＭ部、前記量子化部、前記逆量子化部および前記逆ＤＰＣＭ部における処理とを別のパイプラインによりそれぞれ処理することを特徴とする請求項１記載の映像圧縮装置。
4. 前記入力原画バッファから圧縮対象画素の位置を基準に読み出した画素に対して補正処理を行い、補正画素を前記予測画素生成部へ出力する原画画素補正部を更に備えることを特徴とする請求項１乃至請求項３のいずれか一項記載の映像圧縮装置。

Images