JP2007295023A - 動画像処理装置及び方法、並びにコンピュータプログラム - Google Patents

Abstract

【課題】例えばＤＶＤ／ＨＤＤレコーダでフレーム画像から構成される動画像を符号化する際、予測用画像をフレームメモリの帯域幅に好適に収める。
【解決手段】動画像処理装置（１）は、フレーム画像に含まれる画素のうち、少なくとも１画素を基準画素として選択する基準選択手段（２２）と、この基準画素に係る画素値を内部メモリに格納する内部メモリ格納手段（２５１）と、この画素値とフレーム画像に含まれる他の画素に係る画素値の各々との差分値を算出する差分算出手段（２３）と、この差分値を圧縮する圧縮手段（２４）と、該圧縮された差分値をフレームメモリに格納するフレームメモリ格納手段（２５２）とを備える。そして、該格納された差分値を伸長する伸長手段（２６）と、該伸張された差分値に、基準画素に係る画素値を付加することでフレーム画像を復元する付加手段（２７）とを備える。
【選択図】図２

Description

本発明は、例えばＤＶＤ／ＨＤＤレコーダ、符号化変換装置、符号化方式変換装置等の動画像処理装置及び方法、並びにコンピュータをそのような動画像処理装置として機能させるコンピュータプログラムの技術分野に関する。

この種の動画像処理装置における符号化方式として、例えば動き補償フレーム間予測に基づく画像圧縮方式が採用されている。この方式によると、入力された動画像と、フレームメモリに格納されている予測用参照画像とから動きベクトルを検出する。その動きベクトルにより予測用参照画像が動き補償され、予測画像が生成される。そして、この予測画像と入力された動画像との差分が圧縮されたデータと、動きベクトルのデータとが、夫々可変長符号化及び多重化され、符号化データが出力されることとなる。

この圧縮の際、フレームメモリに格納される予測用参照画像のデータには、その有限性から容量的な制限が課される。換言すれば、フレームメモリの使用可能な帯域には制限が課せられる。従って、フレームメモリを好適に用いるには、この帯域の制限を満たすように予測用参照画像を格納する必要がある。

この問題を解決すべく、例えば以下の如き圧縮技術が提案されている（特許文献１及び２参照）。具体的には、フレームメモリ格納前のデータに対して、メモリアクセス幅を考慮した直交変換によって（特許文献１参照）、或いは予測符号化によって（特許文献２参照）、動画像データが圧縮され、もって必要とされるフレームメモリの帯域の制限が満たされる技術が提案されている。

特開２０００−１３８０１号公報 特開２００４−２５４３４４号公報

しかしながら、例えば前述の特許文献１又は２に開示されている技術には、以下のような問題が生じ得る。特許文献１によると、直交変換の変換係数が比較的大きく、圧縮効率に改善の余地がある。他方で、かかる圧縮効率を改善すべく、特許文献２に示される如き周辺ブロックの画素値から算出した予測値を用いると、復号化の際に周辺ブロックの情報が必要となり、ランダムアクセス性が損なわれるという技術的問題点が生じうる。

本発明は、例えば上述した問題点に鑑みてなされたものであり、圧縮効率の向上とランダムアクセス性の確保とを両立しながらも、使用帯域幅を削減し、フレームメモリの帯域幅に収めることが可能な動画像処理装置及び方法、並びにコンピュータをそのような動画像処理装置として機能させるコンピュータプログラムを提供することを課題とする。

本発明の請求項１に記載の動画像処理装置は上記課題を解決するために、フレーム画像
に含まれる画素のうち、少なくとも１画素を基準画素として選択する基準選択手段と、該選択された基準画素に係る画素値を内部メモリに格納する内部メモリ格納手段と、前記選択された基準画素に係る画素値と前記フレーム画像に含まれる他の画素に係る画素値の各々との差分値を算出する差分算出手段と、該算出された差分値を圧縮する圧縮手段と、該圧縮された差分値をフレームメモリに格納するフレームメモリ格納手段と、該格納された圧縮に係る差分値を伸長する伸長手段と、該伸張された差分値に、前記内部メモリに格納された前記基準画素に係る画素値を付加することで前記フレーム画像を復元する付加手段とを備える。

本発明の請求項９に記載の動画像処理方法は上記課題を解決するために、フレーム画像に含まれる画素のうち、少なくとも１画素を基準画素として選択する基準選択工程と、該選択された基準画素に係る画素値を内部メモリに格納する内部メモリ格納工程と、前記選択された基準画素に係る画素値と前記フレーム画像に含まれる他の画素に係る画素値の各々との差分値を算出する差分算出工程と、該算出された差分値を圧縮する圧縮工程と、該圧縮された差分値をフレームメモリに格納するフレームメモリ格納工程と、該格納された圧縮に係る差分値を伸長する伸長工程と、該伸張された差分値に、前記内部メモリに格納された前記基準画素に係る画素値を付加することで前記フレーム画像を復元する付加工程とを備える。

本発明の請求項１０に記載のコンピュータプログラムは上記課題を解決するために、コンピュータを、フレーム画像に含まれる画素のうち、少なくとも１画素を基準画素として選択する基準選択手段と、該選択された基準画素に係る画素値を内部メモリに格納する内部メモリ格納手段と、前記選択された基準画素に係る画素値と前記フレーム画像に含まれる他の画素に係る画素値の各々との差分値を算出する差分算出手段と、該算出された差分値を圧縮する圧縮手段と、該圧縮された差分値をフレームメモリに格納するフレームメモリ格納手段と、該格納された圧縮に係る差分値を伸長する伸長手段と、該伸張された差分値に、前記内部メモリに格納された前記基準画素に係る画素値を付加することで前記フレーム画像を復元する付加手段として機能させる。

本発明の作用及び他の利得は次に説明する実施するための最良の形態から明らかにされよう。

以下、発明を実施するための最良の形態としての本発明の実施形態に係る動画像処理装置、動画像処理方法、並びにコンピュータプログラムについて順に説明する。

（動画像処理装置の実施形態）
本実施形態に係る動画像処理装置は上述の課題を解決するために、フレーム画像に含まれる画素のうち、少なくとも１画素を基準画素として選択する基準選択手段と、該選択された基準画素に係る画素値を内部メモリに格納する内部メモリ格納手段と、前記選択された基準画素に係る画素値と前記フレーム画像に含まれる他の画素に係る画素値の各々との差分値を算出する差分算出手段と、該算出された差分値を圧縮する圧縮手段と、該圧縮された差分値をフレームメモリに格納するフレームメモリ格納手段と、該格納された圧縮に係る差分値を伸長する伸長手段と、該伸張された差分値に、前記内部メモリに格納された前記基準画素に係る画素値を付加することで前記フレーム画像を復元する付加手段とを備える。

本実施形態によると、以下のようにしてフレームメモリに格納されたフレーム画像が復元され、例えば、フレーム間予測符号化方式に基づいて動画像データを符号化する際の動き補償に用いられる。

先ず、フレーム画像に含まれる画素のうち、少なくとも１画素が、例えば演算回路等を有する基準選択手段によって、基準画素として選択される。ここに、フレーム画像は、狭義には動画像データを構成するフレーム画像そのものを、広義には例えばフレーム画像を構成するフィールド画像をも含む画像若しくは画像データである。更に、基準画素として選択される画素は、典型的にはフレーム画素の左上角の画素であるが、そこに限られない。例えば、中央の画素、或いは諸条件を考慮した上で選択される画素でよい。

そして、該選択された基準画素に係る画素値が、例えば内部アドレスバス、演算回路等を有する内部メモリ格納手段によって、内部メモリに格納される。

その一方で、前記選択された基準画素に係る画素値と前記フレーム画像に含まれる他の画素に係る画素値の各々との差分値が、例えば演算回路等を有する差分算出手段によって、算出される。

続いて、該算出された差分値が、例えば演算回路等を有する圧縮手段によって、圧縮される。ここでの、圧縮手段による圧縮方式は、典型的には、離散余弦変換（Discrete Cosine Transform：DCT）或いは整数変換（Integer Transform：IT）であるが、大なり小なり圧縮されるのであれば、その方式は特に限定されない。

そして、該圧縮された差分値が、例えばバス、演算回路等を有するフレームメモリ格納手段によって、フレームメモリに格納される。

そして、例えば次のフレーム画像の動き補償の際には、該格納された圧縮に係る差分値が、例えば演算回路等を有する伸長手段によって、伸長される。

このようにして、該伸張された差分値に、前記内部メモリに格納された前記基準画素に係る画素値を付加することで前記フレーム画像が、例えば演算回路等を有する付加手段によって、復元される。

こうして得られたフレーム画像は、例えば次に入力されるフレーム画像と比較され、動きベクトルが検知され、もって動き補償が施される。

以上、本実施形態によれば、内部メモリを有効に利用して好適に圧縮された差分値がフレームメモリに格納される。例えば仮に、基準画素を選択せずに差分値を算出しない場合に比べて、差分値を算出する方が、圧縮対象、典型的には行列の各成分の絶対値が小さいので、圧縮効率が向上し、好適にフレームメモリの帯域削減が可能となる。

本実施形態に係る動画像処理装置の一態様では、前記圧縮手段は、前記算出された差分値を離散余弦変換する変換手段と、該離散余弦変換された差分値を量子化する量子化手段と、該量子化された差分値を可変長符号化することで、前記算出された差分値を圧縮する可変長符号化手段と、を備え、前記伸張手段は、前記可変長符号化された差分値を可変長復号化することで、前記量子化された差分値を復元する可変長復号化手段と、該復元された前記量子化に係る差分値を逆量子化することで、前記離散余弦変換された差分値を復元する逆量子化手段と、該復元された前記離散余弦変換に係る差分値を逆離散余弦変換することで、前記差分値を伸長する逆変換手段とを備える。

この態様によれば、一方で、算出された差分値が、前記圧縮手段において以下の如く圧縮される。

即ち、先ず、前記算出された差分値が、例えば演算回路等を有する変換手段によって、離散余弦変換される。ここに、離散余弦変換とは、余弦関数で構成される基底ベクトルによる直交変換を行う方法を言う。低周波成分へ電力が集中する傾向があり、高周波成分のデータ量が減り画像データの圧縮が行われる。尚、ここで言う低（高）周波での周波数は空間周波数の意味である。

そして、該離散余弦変換された差分値が、例えば演算回路等を有する量子化手段によって、量子化される。ここに、離散余弦変換された差分値は、離散余弦変換の変換係数のことである。

そして、該量子化された差分値を可変長符号化することで、前記算出された差分値が、例えば演算回路等を有する可変長符号化手段によって、圧縮される。ここに、可変長符号化（Variable Length Code：VLC）とは、符号化対象中のシンボルの出現確率に応じて、長さの異なる符号を割当てる方法を言う。出現確率の高いシンボルほど短い符号を割当てられ、全体の符号量を少なくする。符号化対象が一般的な画像の場合、その特性として、離散余弦変換の変換係数のうち周波数が高くなるにつれ、周波成分が０になる可能性も高まるので、比較的高い符号化効率が期待される。

他方で、格納された圧縮に係る差分値が、伸長手段において、以下の如く伸長される。

即ち、先ず、前記可変長符号化された差分値を可変長復号化することで、前記量子化された差分値が、例えば演算回路等を有する可変長復号化手段によって、復元される。ここでの「復元」は、狭義には完全に圧縮前の状態に戻すことを指すが、広義には、圧縮前の状態に比べて大なり小なり情報が削減された状態をも含む概念である。

そして、該復元された前記量子化に係る差分値を逆量子化することで、前記離散余弦変換された差分値が、例えば演算回路等を有する逆量子化手段によって、復元される。

そして、該復元された前記離散余弦変換に係る差分値を逆離散余弦変換することで、前記差分値が、例えば演算回路等を有する逆変換手段によって、伸長される。

このようにして、具体的な手段によって好適に圧縮された差分値が、フレームメモリに格納され、該格納された圧縮に係る差分値が、具体的な手段によって好適に伸張されることとなる。

この変換手段及び逆変換手段を備える態様では、前記変換手段は、離散余弦変換するのに代えて、整数変換し、前記逆変換手段は、逆離散余弦変換するのに代えて、逆整数変換してもよい。

この態様によっても、算出された差分値が、整数変換により好適に圧縮される。他方で、係る圧縮された差分値は、逆整数変換により好適に圧縮される。その他は、上述の変換手段及び逆変換手段を備える態様と同様の構成であり、もって、好適にフレームメモリの帯域削減が可能となる。

上述の可変長符号化する態様では、前記可変長符号化手段は、前記可変長符号化された差分値を示すデータ列のうち、所定符号長閾値を超える部分をカットしてもよい。

この態様によれば、可変長符号化された差分値を示すデータ列のうち、所定符号長閾値を超える部分がカットされる。ここで、所定符号長閾値は、フレームメモリのメモリ帯域幅に合わせて予め或いは動的に設定される値である。これにより、例えば、他のフレーム画像を１枚しか参照しないＰピクチャの動き補償時には、探索範囲を相対的に広げ、他方で、複数枚参照するＢピクチャの動き補償時には、探索範囲を相対的に狭めるようにデータ列をカットすることも可能となる。更に、フレーム画像をフレームメモリへ格納する際には、ブロック単位で固定なので、あまりカットせず、参照する際には、複数ブロックのデータが必要なので、格納時に比べてカットするデータ量を多くしてもよい。以上、本態様によれば、可変長符号化された圧縮後の差分値を、フレームメモリに適応的かつ確実に格納可能となる。

或いは、上述の可変長符号化する態様では、前記圧縮手段は、前記量子化された差分値を構成する成分のうち、所定周波数閾値を超える周波数に相当する成分を０にした後、前記可変長符号化してもよい。

この態様によれば、先ず、量子化された差分値を構成する成分のうち、所定周波数閾値を超える周波数に相当する成分が０にされる。ここで、所定周波数閾値は、人間の視覚によって認識不能な周波数として予め実験或いはシミュレーションにより導出され、設定されるとよい。かかる閾値は、例えば動画像に求められる画質に応じて変更されてもよい。このようにして、高周波成分が０にされた後に、符号化変換されるので、一般的な画像としての特徴を活かして、圧縮率が更に高められる。

本実施形態に係る動画像処理装置の他の態様では、複数のブロックに分割された前記フレーム画像のうち、該複数のブロックの各々について、前記基準選択手段は、当該ブロックに含まれる一の画素を前記基準画素として更に選択し、前記差分算出手段は、該更に選択された基準画素に係る画素値と当該ブロックに含まれる他の画素の各々に係る画素値との差分値を更に夫々算出する。

この態様によれば、前記フレーム画像が複数のブロックに分割される。但し、このブロックのブロックサイズを限定する趣旨ではなく、例えば４（画素）×４（画素）、８×８、１６×１６、４×８、８×１６等のブロックサイズが想定される。そして、これら複数のブロックの各々について、当該ブロックに含まれる一の画素が前記基準画素として更に選択される。この際、基準画素として選択される画素は、特に当該ブロック内の任意の画素であってもよいが、後述の差分値の絶対値が極力小さくなるような画素が選択されると好ましい。そして、この更に選択された基準画素に係る画素値と、当該ブロックに含まれる他の画素の各々に係る画素値との差分値が、前記基準選択手段によって、更に夫々算出される。このようにブロックの各々において基準画素が選択されると、ブロック内での差分値が極力小さくされ、圧縮効率が一層向上する。加えて、ブロック単位で圧縮・伸長が行われるので、一のブロックの独立性が高められ、周辺ブロックへの依存が軽減或いは解消され、もって、ランダムアクセス性を向上可能となる。

このブロック毎に、基準画素が更に選択される態様では、前記内部メモリ格納手段は、前記更に選択された基準画素の各々に係る画素値を前記内部メモリに更に格納するようにしてよい。

この態様によれば、内部メモリの容量が比較的大きい場合には、基準選択手段によって選択された基準画素に係る画素値が、典型的には全て、内部メモリに格納されることとなる。従って、このような比較的単純な処理によって、圧縮効率を一層向上できる。

或いは、このブロック毎に、基準画素が更に選択される態様では、前記フレームメモリ格納手段は、前記選択された基準画素に係る画素値と前記更に選択された基準画素に係る画素値との差分である基準画素間差分値を前記フレームメモリに更に格納するようにしてよい。

この態様によれば、基準画素間差分値がフレームメモリに更に格納されるので、伸長時には、この基準画素間差分値と、内部メモリに格納された基準画素に係る画素値とから、各ブロックで更に選択された基準画素（以下、「サブ基準画素」とも言う）に係る画素値を算出可能である。従って、内部メモリの容量が比較的小さい場合でも、ブロックの各々において基準画素が選択されることの恩恵を享受できる。

（動画像処理方法の実施形態）
本実施形態の動画像処理方法は上記課題を解決するために、フレーム画像に含まれる画素のうち、少なくとも１画素を基準画素として選択する基準選択工程と、該選択された基準画素に係る画素値を内部メモリに格納する内部メモリ格納工程と、前記選択された基準画素に係る画素値と前記フレーム画像に含まれる他の画素に係る画素値の各々との差分値を算出する差分算出工程と、該算出された差分値を圧縮する圧縮工程と、該圧縮された差分値をフレームメモリに格納するフレームメモリ格納工程と、該格納された圧縮に係る差分値を伸長する伸長工程と、該伸張された差分値に、前記内部メモリに格納された前記基準画素に係る画素値を付加することで前記フレーム画像を復元する付加工程とを備える。

本実施形態の動画像処理方法によれば、上述した本実施形態の動画像処理装置の場合と同様に、好適にフレームメモリの帯域削減が可能となる。

尚、本実施形態の動画像処理方法においても、上述した本実施形態の動画像処理装置における各種態様と同様の各種態様を採ることが可能である。

（コンピュータプログラムの実施形態）
本実施形態のコンピュータプログラムは上記課題を解決するために、コンピュータを、フレーム画像に含まれる画素のうち、少なくとも１画素を基準画素として選択する基準選択手段と、該選択された基準画素に係る画素値を内部メモリに格納する内部メモリ格納手段と、前記選択された基準画素に係る画素値と前記フレーム画像に含まれる他の画素に係る画素値の各々との差分値を算出する差分算出手段と、該算出された差分値を圧縮する圧縮手段と、該圧縮された差分値をフレームメモリに格納するフレームメモリ格納手段と、該格納された圧縮に係る差分値を伸長する伸長手段と、該伸張された差分値に、前記内部メモリに格納された前記基準画素に係る画素値を付加することで前記フレーム画像を復元する付加手段として機能させる。

本実施形態のコンピュータプログラムによれば、上述した本実施形態の動画像処理装置の場合と同様に、好適にフレームメモリの帯域削減が可能となる。

尚、本実施形態のコンピュータプログラムにおいても、上述した本実施形態の動画像処理装置における各種態様と同様の各種態様を採ることが可能である。

以上、説明したように、本実施形態の動画像処理装置によれば、基準選択手段、内部メモリ格納手段、差分算出手段、圧縮手段、フレームメモリ格納手段、伸長手段及び付加手段を備え、本実施形態の動画像処理方法によれば、基準選択工程、内部メモリ格納工程、差分算出工程、圧縮工程、フレームメモリ格納工程、伸長工程及び付加工程を備えるので、好適にフレームメモリの帯域削減が可能となる。更に、本実施形態のコンピュータプログラムによれば、コンピュータを基準選択手段、内部メモリ格納手段、差分算出手段、圧縮手段、フレームメモリ格納手段、伸長手段及び付加手段として機能させるので、上述した本実施形態の動画像処理装置を、比較的容易に構築できる。

本実施形態の作用及び他の利得は次に説明する実施例から明らかにされよう。

以下、本発明の実施例を図面に基づいて説明する。

（１）第１実施例
第１実施例に係る動画像処理装置の構成及び動作処理を図１から図８を参照して説明する。

先ず、本実施例に係る動画像処理装置の基本構成について、図１を参照して説明する。ここに、図１は、本発明の第１実施例に係る、動画像処理装置の基本構成を概念的に示すブロック図である。

図１に示すように、動画像処理装置１は、チップ１０、内部メモリ５１及びフレームメモリ５２を備える。

チップ１０は、例えばトランジスタ等の回路素子を半導体チップの上に集積したＩＣ（Integrated Circuit：ＩＣ）チップであり、本発明に係る「動画像処理装置」の主要機能を司る。具体的に例えば、入力された動画像データを符号化して出力可能なチップである。

本発明に係る「内部メモリ」の一例としての内部メモリ５１は、例えばフリップフロップ等の記憶素子からなり、データの読み書き可能な、比較的容量の小さいメモリである。この内部メモリ５１は、文字通りチップ１０の内部に備えられているので、内部バスを介してチップ１０の演算結果を比較的高速に読み書きできる。

本発明に係る「フレームメモリ」の一例としてのフレームメモリ５２は、例えばフリップフロップ等の記憶素子からなり、データの読み出し及び書き込み可能な、比較的容量の大きいメモリである。このフレームメモリ５２は、通常チップ１０の外部に備えられているので、チップ１０がデータの読み書きをする際、例えばフレーム画像を格納する際には、帯域幅の確保がポイントとなる。

以上、図１を用いて説明したように、本実施例に係る動画像処理装置１は、内部メモリ５１を有効に利用することで、フレームメモリ５１の使用帯域幅を好適に削減し、帯域幅を確保することがポイントとなる。

続いて、この動画像処理装置１の詳細な構成ついて、図２から図５を用いて説明を加える。ここに、図２は、第１実施例に係る、動画像処理装置の基本構成及び基本動作を概念的に示すブロック図であり、図３は、第１実施例に係る、動画像処理装置に含まれる圧縮処理を概念的に示すブロック図であり、図４は、第１実施例に係る、動画像処理装置に含まれる伸長処理を概念的に示すブロック図であり、図５は、第１実施例に係る、動画像処理装置によって処理されるデータを概念的に示すデータ図である。

図２に示すように、動画像処理装置１は、ＤＣＴ部１１、量子化部１２、可変長符号化部１３、逆量子化部２０、逆ＤＣＴ部２１、本発明に係る「基準選択手段」の一例としての基準選択部２２、本発明に係る「内部メモリ格納手段」の一例としての内部メモリ格納部２５１、本発明に係る「差分算出手段」の一例としての差分算出部２３、本発明に係る「圧縮手段」の一例としての圧縮部２４、本発明に係る「フレームメモリ」の一例としてのフレームメモリ格納部２５２、本発明に係る「伸長手段」の一例としての伸張部２６、本発明に係る「付加手段」の一例としての付加部２７、及び動き補償部２８を備え、例えば動き補償フレーム間予測符号化方式に基づいて動画像データを符号化する。

減算器３０は、フレーム単位に入力される動画像データと後述する復元されたフレーム画像との差分データを取る。

ＤＣＴ部１１は、例えば演算回路等を有し、減算器３０からの差分データを離散余弦変換（即ち、ＤＣＴ）することで変換係数を得る。

量子化部１２は、例えば演算回路等を有し、離散余弦変換に係る変換係数を量子化する。即ち、変換係数を近似する。

可変長符号化部１３は、例えば演算回路等を有し、量子化された変換係数を、空間周波数の低い側から高い側へとジグザグ状にスキャンして、可変長符号化する。こうして符号化された出力データは、例えば順次伝送路へと送信され、受信側で復号化されることで動画像が再生される。

このようにして符号化が行われる際に、以下の逆量子化部２０以降の部位によってフレーム間予測符号化方式における動き補償が行われる。

逆量子化部２０は、例えば演算回路等を有し、量子化された変換係数を元の変換係数に戻す。

逆ＤＣＴ部２１は、例えば演算回路等を有し、逆量子化によって得られた元の変換係数を、逆離散余弦変換することで、元のフレーム画像を得る。

基準選択部２２は、例えば演算回路等を有し、フレーム画像に含まれる画素のうち、少なくとも１画素を基準画素３３として選択する。例えば、フレーム画像の左上の画素を基準画素３３として選択する（図５（ａ）参照）。

内部メモリ格納部２５１は、例えば内部アドレスバス、演算回路等を有し、選択された基準画素３３に係る画素値を、内部メモリ５１に格納する。例えば、選択された基準画素３３に係る画素値が「２００」の場合には、「２００」を格納する。

差分算出部２３は、例えば演算回路等を有し、選択された基準画素３３に係る画素値とフレーム画像に含まれる他の画素３２に係る画素値の各々との差分値を算出して画素３１に係る画素値として格納する。例えば、選択された基準画素３３に係る画素値が「２００」であり、他の画素に係る画素値が「２１０」である場合には、２１０−２００＝１０であるから、「１０」を差分値として算出する。この際、元の画素値に比べて差分値の方が小さくなるので、データ量が削減されることになる。尚、基準画素３３については、２００−２００＝０であるから、差分値は０である（図５（ｂ）参照）。

圧縮部２４は、例えば図３に示すように、本発明に係る「変換手段」の一例としての変換部２４１、本発明に係る「量子化手段」の一例としての量子化部２４２、本発明に係る「可変長符号化手段」の一例としての可変長符号化部２４３を備え、算出された差分値を圧縮する。

図３において変換部２４１は、例えば演算回路等を有し、算出された差分値に対して、離散余弦変換を施すことで変換係数を得る。この離散余弦変換は、例えば縦横８×８画素のブロック単位で施される（図５（ｃ）参照）。

量子化部２４２は、例えば演算回路等を有し、離散余弦変換された差分値（即ち変換係数）を、ブロック単位で量子化する（図５（ｄ）参照）。

可変長符号化部２４３は、例えば演算回路等を有し、量子化された差分値（即ち変換係数）を可変長符号化する。具体的には、量子化された差分値（即ち変換係数）を、空間周波数の低い側（典型的には、ブロックの左上）から高い側（典型的には、ブロックの右下）へとジグザグ状にスキャンして、可変長符号化する。ここで一般的なフレーム画像の場合、空間周波数が高いほど、変換係数の絶対値は小さい傾向にある。即ち、量子化された差分値（即ち変換係数）のブロックの右下には０が連続する可能性が比較的高い（図５（ｄ）参照）。従って、可変長符号化が有効に作用することとなる。このようにして、圧縮部２４において、算出された差分値が好適に圧縮される。尚、圧縮効率を一層高めるためには、量子化された差分値を構成する成分のうち、所定周波数閾値を超える周波数に相当する成分を強制的に０にしてもよい。

再び図２に戻り、フレームメモリ格納部２５２は、例えばバス及び演算回路等を有し、圧縮された差分値をフレームメモリ５２に格納する。

伸張部２６は、例えば図４に示すように、本発明に係る「可変長復号化手段」の一例としての可変長復号化部２６１、本発明に係る「逆量子化手段」の一例としての逆量子化部２６２、本発明に係る「逆変換手段」の一例としての逆変換部２６３を備え、フレームメモリ５２に格納されている圧縮された差分値を伸張する。

可変長復号化部２６１は、例えば演算回路等を有し、フレームメモリ５２に格納されている圧縮された差分値、即ち可変長符号化された差分値を可変長復号化することで、量子化された差分値を復元する。

逆量子化部２６２は、例えば演算回路等を有し、この復元された量子化に係る差分値を逆量子化することで、離散余弦変換された差分値を復元する。

逆変換部２６３は、例えば演算回路等を有し、この復元された離散余弦変換に係る差分値を逆離散余弦変換する。このようにして、伸張部２６において、フレームメモリ５２に格納されている圧縮された差分値が伸張される。

再び図２に戻り、付加部２７は、例えば演算回路等を有し、伸張された差分値に、内部メモリ格納部２５１に格納された基準画素３３に係る画素値を付加することで、フレーム画像を復元する。例えば、伸張された差分値が「１０」であり、基準画素３３に係る画素値が「２００」である場合には、１０＋２００＝２１０であるから、「２１０」が元のフレーム画像の画素値であることが判る。

動き補償部２８は、例えば演算回路等を有し、復元されたフレーム画像を動きベクトルに応じて動き補償を行う。

ここで、動きベクトルは、入力されたフレーム画像と復元されたフレーム画像とから図示しない動き検出部によって検出されるものである。

以上、図２から図５を用いて説明したように、例えば動き補償フレーム間予測符号化の際、フレーム画像に含まれる画素の中から基準画素３３が選択され、係る基準画素３３と他の画素との差分値が算出された上で、データが圧縮される。従って、圧縮効率が高まり、フレームメモリ５２に格納すべきデータ量が削減され、もってフレームメモリ５２の使用帯域幅が削減可能となる。

加えて、上述した離散余弦変換等の処理はブロック単位で行われるので、ランダムアクセス性に優れている。このメリットについて、図６と図７とを比較して説明を加える。ここに、図６は、比較例に係るフレーム画像の概念図（周辺ブロックから予測を行う場合）であり、図７は、本実施例に係るフレーム画像の概念図（周辺ブロックから予測を行わない場合）である。

図６の比較例では、あるフレーム画像のうちブロックＡをフレーム間予測符号化する場合に、周辺ブロック（例えばブロックＢ、ブロックＣ及びブロックＤ）を利用することを示す。この場合、圧縮効率は高まるが、復元時に周辺ブロックの情報が必要となり、参照時のランダムアクセス性が損なわれる虞がある。

他方、図６の本実施例では、あるフレーム画像のうちブロックＡをフレーム間予測符号化する場合に、周辺ブロックを参照せずともよいことを示す。この際、周辺ブロックを利用しない分の圧縮効率は、差分値を取ることで、補われる。

以上、図６と図７とを比較して説明したように、本実施例は、比較例に比べて、周辺ブロックへの依存性が少ないので、ランダムアクセス性に優れているといえる。

更に加えて、可変長符号化部２４３が可変長符号化後のデータ列をカットすれば、図８に示す如く、データ列をメモリ帯域幅に確実に合わせた上で、フレームメモリ５２に転送することができる。ここに、図８は、第１実施例に係る、可変長符号化後のデータ列をカットする様子を示す概念図である。

図８において、上段のデータ列は、比較例に係る、カットされない場合のデータ列を示す。他方で、下段のデータ列は、本実施例に係る、カットされる場合のデータ列を示す。具体的には、下段のデータ列は、可変長符号化された差分値を示すデータ列のうち、所定符号長閾値を超える部分がカットされている。

以上、図８によると、データ列をメモリ帯域幅に確実に合わせた上で、フレームメモリ５２に転送することができるので実践上有効である。

以上、図１から図８を用いて説明したように、本実施例に係る動画像処理装置１によると、圧縮効率の向上とランダムアクセス性の確保とを両立しながらも、フレームメモリ５２の使用帯域幅を削減できる。この際、可変長符号化後のデータ列をカット可能なので、データ列を帯域幅に確実に合わせた上で、フレームメモリ５２にデータを転送することができ、実践上非常に有効である。

（２）第２実施例
続いて、第２実施例に係る動画像処理装置１について、図５に代えて図９を参照して説明する。ここに、図９は、第２実施例に係る、動画像処理装置によって処理されるデータを概念的に示すデータ図である。尚、本実施例を実現する動画像処理装置１の基本構成は図２に示す動画像処理装置１と同様でよいので、同一の構成には同一の符号を付し、その説明は適宜省略する。ただし、圧縮部２４及び伸長部２６での圧縮方式及び伸張方式は、本実施例に合わせて適宜異なり得る。

図９において、本実施例に係る動画像処理装置１は特に、図５では８×８画素のブロック単位で施される離散余弦変換ＤＣＴに代えて、４×４画素のブロック単位で整数変換ＩＴが施される（図９（ｃ）参照）。

以上、図９を用いて説明したように、本実施例によると、圧縮時の変換方式はＤＣＴに限られることなく、ブロックのサイズも８×８に限られることなく、圧縮効率の向上とランダムアクセス性の確保とを両立しながらも、フレームメモリ５２の使用帯域幅を削減できる。

（３）第３実施例
続いて、第３実施例に係る動画像処理装置１について、図５に代えて図１０を参照して説明する。ここに、図１０は、第３実施例に係る、動画像処理装置によって処理されるデータを概念的に示すデータ図である。尚、本実施例を実現する動画像処理装置１の基本構成は図２に示す動画像処理装置１と同様でよいので、同一の構成には同一の符号を付し、その説明は適宜省略する。

本実施例に係る動画像処理装置１は特に、内部メモリ５１の容量が比較的小さい場合でも有効な実施例であり、図１０（ａ）に示すようなサブ基準画素３４をブロック毎に更に選択して、フレームメモリ５２に格納することで、格納時の使用帯域幅の更なる削減を図る。

具体的には、図１０において、図１０（ａ）は、１６×１６画素のフレーム画像を４×４画素のブロック単位に分割し、各ブロック毎に、サブ基準画素３４が更に選択されている様子を示す。そして、基準画素３３については、その画素値が内部メモリ５１に格納される。サブ基準画素３４については、その画素値と基準画素３３の画素値との差分値（即ち、本発明に係る「基準画素間差分値」の一例）がフレームメモリ５２に格納される。内部メモリ５１は容量に余裕がないからである。その他の画素３２については、その画素値と基準画素３３の画素値或いはサブ基準画素３４の画素値との差分値がフレームメモリ５２に格納される。

このようにサブ基準画素３４が選択される場合とそうでない場合とでは、以下のように差分値が異なる。

先ず、図１０（ｂ）は、フレーム画像の一例としてのグラデーション画像である。

そして図１０（ｃ）は、図１０（ｂ）に示すフレーム画像の画素値を示す。この際、例えば左上の画素値を基準画素３３として選択すると、基準画素３３に係る画素値は「２００」となる。

ここで図１０（ｄ）は、比較例に係る、サブ基準画素３４が選択されない場合の、基準画素３３に係る画素値と他の画素に係る画素値との差分値を示す。

ここで図１０（ｅ）は、本実施例に係る、サブ基準画素３４が選択される場合の、基準画素３３に係る画素値と他の画素３２に係る画素値との差分値、及びサブ基準画素３４に係る画素値と他の画素３２に係る画素値との差分値を示す。

これら図１０（ｄ）に係る差分値と図１０（ｅ）に係る差分値とを比較すると、図１０（ｄ）に係る差分値に比べて、図１０（ｅ）に係る差分値の方が、サブ基準画素３４に係る画素値の分、小さい。従って、フレームメモリ５２に格納されるデータ量が一段と削減され、格納時の使用帯域幅が更に削減される。このように削減されるデータ量が、更に格納されることとなるサブ基準画素３４に係る画素値に比べて、小さい場合には特に有利であると言える。

以上、図１０を用いて説明したように、本実施例に係る動画像処理装置１によると、サブ基準画素３４を設けると共に、内部メモリ５１とフレームメモリ５２とを適宜使い分けることで、内部メモリ５１の容量が比較的小さい場合でも、複数の基準画素があることのメリットを享受できる。

（４）第４実施例
続いて、第４実施例に係る動画像処理装置１について、図１０（ａ）に代えて図１１を参照して説明する。ここに、図１１は、第４実施例に係る、動画像処理装置によって処理されるデータを概念的に示すデータ図である。尚、本実施例を実現する動画像処理装置１の基本構成は図２に示す動画像処理装置１と同様でよいので、同一の構成には同一の符号を付し、その説明は適宜省略する。

本実施例に係る動画像処理装置１は、第３実施例と比べて特に、内部メモリ５１の容量が比較的大きい場合に有効な実施例である。

具体的には、図１１において、１６×１６画素のフレーム画像を４×４画素のブロック単位に分割し、各ブロック毎に、基準画素３３が更に選択されている様子を示す。そして、各ブロック毎の基準画素３３については、その画素値が容量に余裕のある内部メモリ５１に格納される。その他の画素３２については、その画素値と基準画素３３の画素値との差分値がフレームメモリ５２に格納される。

以上、図１１を用いて説明したように、本実施例に係る動画像処理装置１によると、内部メモリ５１の容量が比較的大きい場合には、比較的簡単な処理によって、複数の基準画素があることのメリット（即ち、圧縮効率を一段と向上）を享受できる。

又、上述の各実施例に示す動作処理は、基準選択工程と内部メモリ格納工程と差分算出工程と圧縮工程とフレームメモリ格納工程と伸長工程と付加工程を備えた動画像処理方法に基づいて動画像処理装置１を動作させることによって実現してもよい。或いは、コンピュータにコンピュータプログラムを読み込ませて、このコンピュータが基準選択手段と内部メモリ格納手段と差分算出手段と圧縮手段とフレームメモリ格納手段と伸長手段と付加手段として機能するように、コンピュータプログラムを実行させることで実現してもよい。

以上、上述した各実施例に係る、動画像処理装置１によると、圧縮効率の向上とランダムアクセス性の確保とを両立しながらも、フレームメモリの帯域幅を好適に削減可能となる。

尚、本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨、或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う動画像処理装置及び方法、並びにコンピュータプログラムもまた、本発明の技術的範囲に含まれるものである。例えば、第１の符号化方式に基づくデータを第２の符号化方式に基づくデータに変換するトランスコーディングを実行する際にフレームメモリを用いる場合にも有用である。

本発明の第１実施例に係る、動画像処理装置の基本構成を概念的に示すブロック図である。 第１実施例に係る、動画像処理装置の基本構成及び基本動作を概念的に示すブロック図である。 第１実施例に係る、動画像処理装置に含まれる圧縮処理を概念的に示すブロック図である。 第１実施例に係る、動画像処理装置に含まれる伸長処理を概念的に示すブロック図である。 第１実施例に係る、動画像処理装置によって処理されるデータを概念的に示すデータ図である。 比較例に係るフレーム画像の概念図（周辺ブロックから予測を行う場合）である。 本実施例に係るフレーム画像の概念図（周辺ブロックから予測を行わない場合）である。 第１実施例に係る、可変長符号化後のデータ列をカットする様子を示す概念図である。 第２実施例に係る、動画像処理装置によって処理されるデータを概念的に示すデータ図である。 第３実施例に係る、動画像処理装置によって処理されるデータを概念的に示すデータ図である。 第４実施例に係る、動画像処理装置によって処理されるデータを概念的に示すデータ図である。

符号の説明

１ 動画像処理装置
１０ チップ
５１ 内部メモリ
５２ フレームメモリ
１１ ＤＣＴ部
１２ 量子化部
１３ 可変長符号化部
２０ 逆量子化部
２１ 逆ＤＣＴ部
２２ 基準選択部
２３ 差分算出部
２４ 圧縮部
２５１ 内部メモリ格納部
２５２ フレームメモリ格納部
２６ 伸張部
２７ 付加部
２８ 動き補償部
３０ 減算器
２４１ 変換部
２４２ 量子化部
２４３ 可変長符号化部
２６１ 可変長復号化部
２６２ 量子化部
２６３ 逆変換部

Claims (10)

1. フレーム画像に含まれる画素のうち、少なくとも１画素を基準画素として選択する基準選択手段と、
   該選択された基準画素に係る画素値を内部メモリに格納する内部メモリ格納手段と、
   前記選択された基準画素に係る画素値と前記フレーム画像に含まれる他の画素に係る画素値の各々との差分値を算出する差分算出手段と、
   該算出された差分値を圧縮する圧縮手段と、
   該圧縮された差分値をフレームメモリに格納するフレームメモリ格納手段と、
   該格納された圧縮に係る差分値を伸長する伸長手段と、
   該伸張された差分値に、前記内部メモリに格納された前記基準画素に係る画素値を付加することで前記フレーム画像を復元する付加手段と
   を備えることを特徴とする動画像処理装置。
2. 前記圧縮手段は、
   前記算出された差分値を離散余弦変換する変換手段と、
   該離散余弦変換された差分値を量子化する量子化手段と、
   該量子化された差分値を可変長符号化することで、前記算出された差分値を圧縮する可変長符号化手段とを備え、
   前記伸張手段は、
   前記可変長符号化された差分値を可変長復号化することで前記量子化された差分値を復元する可変長復号化手段と、
   該復元された前記量子化に係る差分値を逆量子化することで前記離散余弦変換された差分値を復元する逆量子化手段と、
   該復元された前記離散余弦変換に係る差分値を逆離散余弦変換することで前記差分値を伸長する逆変換手段とを備える
   ことを特徴とする請求項１に記載の動画像処理装置
3. 前記変換手段は、離散余弦変換するのに代えて、整数変換し、
   前記逆変換手段は、逆離散余弦変換するのに代えて、逆整数変換する
   ことを特徴とする請求項２に記載の動画像処理装置。
4. 前記可変長符号化手段は、前記可変長符号化された差分値を示すデータ列のうち、所定符号長閾値を超える部分をカットする
   ことを特徴とする請求項２又は３に記載の動画像処理装置。
5. 前記圧縮手段は、前記量子化された差分値を構成する成分のうち、所定周波数閾値を超える周波数に相当する成分を０にした後、前記可変長符号化する
   ことを特徴とする請求項２から４に記載の動画像処理装置。
6. 複数のブロックに分割された前記フレーム画像のうち、該複数のブロックの各々について、
   前記基準選択手段は、当該ブロックに含まれる一の画素を前記基準画素として更に選択し、
   前記差分算出手段は、該更に選択された基準画素に係る画素値と当該ブロックに含まれる他の画素の各々に係る画素値との差分値を更に夫々算出する
   ことを特徴とする請求項１から５のいずれか一項に記載の動画像処理装置。
7. 前記内部メモリ格納手段は、前記更に選択された基準画素の各々に係る画素値を前記内部メモリに更に格納する
   ことを特徴とする請求項６に記載の動画像処理装置。
8. 前記フレームメモリ格納手段は、前記選択された基準画素に係る画素値と前記更に選択された基準画素に係る画素値との差分である基準画素間差分値を前記フレームメモリに更に格納する
   ことを特徴とする請求項６に記載の動画像処理装置。
9. フレーム画像に含まれる画素のうち、少なくとも１画素を基準画素として選択する基準選択工程と、
   該選択された基準画素に係る画素値を内部メモリに格納する内部メモリ格納工程と、
   前記選択された基準画素に係る画素値と前記フレーム画像に含まれる他の画素に係る画素値の各々との差分値を算出する差分算出工程と、
   該算出された差分値を圧縮する圧縮工程と、
   該圧縮された差分値をフレームメモリに格納するフレームメモリ格納工程と、
   該格納された圧縮に係る差分値を伸長する伸長工程と、
   該伸張された差分値に、前記内部メモリに格納された前記基準画素に係る画素値を付加することで前記フレーム画像を復元する付加工程と
   を備えることを特徴とする動画像処理方法。
10. コンピュータを、
    フレーム画像に含まれる画素のうち、少なくとも１画素を基準画素として選択する基準選択手段と、
    該選択された基準画素に係る画素値を内部メモリに格納する内部メモリ格納手段と、
    前記選択された基準画素に係る画素値と前記フレーム画像に含まれる他の画素に係る画素値の各々との差分値を算出する差分算出手段と、
    該算出された差分値を圧縮する圧縮手段と、
    該圧縮された差分値をフレームメモリに格納するフレームメモリ格納手段と、
    該格納された圧縮に係る差分値を伸長する伸長手段と、
    該伸張された差分値に、前記内部メモリに格納された前記基準画素に係る画素値を付加することで前記フレーム画像を復元する付加手段と
    として機能させることを特徴とするコンピュータプログラム。

Images