JP2008109701A - ディジタル信号変換方法およびディジタル信号変換装置 - Google Patents

Abstract

【課題】 ハイブリッド圧縮符号化方法により圧縮符号化された入力情報信号に解像度の変換処理を施した後、再符号化処理を行うときには動きベクトルを推定しなければならないが、推定のための演算量が非常に多くなってしまう。
【解決手段】 復号部２１０は、動きベクトル（ｍｖ）検出を伴って圧縮符号化されているＭＰＥＧ符号化データのビットストリームに対して動き補償（Motion Compensation：ＭＣ）を伴った復号を施す。解像度変換部１６０は、復号部２１０からの復号出力に解像度変換処理を施す。符号化部２２０は、解像度変換部１６０からの変換出力画像に、上記ＭＰＥＧ符号化データに付加されている動きベクトルｍｖに基づいた動き検出を伴って圧縮符号化処理を施し、解像度を変換したビデオ符号化データのビットストリームを出力する。
【選択図】 図２２

Description

本発明は、離散コサイン変換（ＤＣＴ）などの直交変換を用いて圧縮符号化されたディジタル信号の変換処理に関し、特に、フォーマットが互いに異なる圧縮ビデオ信号の間で解像度を変換するディジタル信号変換方法およびディジタル信号変換装置に関するものである。

従来、静止画データや動画データ等を効率よく圧縮符号化するための符号化方式として、直交変換符号化の一種である離散コサイン変換（ＤＣＴ：Discrete Cosine Transform ）が用いられている。このような直交変換されたディジタル信号を取り扱う際に、解像度や変換基底を変更することが必要とされることがある。

例えば、家庭用のディジタルビデオのフォーマットの一つである、解像度が７２０×４８０画素とされた第１の直交変換されたディジタル信号から、いわゆるＭＰＥＧ１フォーマットの解像度が３６０×２４０画素とされた第２の直交変換されたディジタル信号に変換する場合には、上記の第１の信号に対して逆直交変換を行って空間領域の信号に復元した後に、必要とされる補間や間引き等の変換処理を行い、再び直交変換を施して上記の第２の信号に変換している。

このように、直交変換されたディジタル信号は、一旦逆変換されて原信号に戻された後に所要の変換操作が行われ、その後再び直交変換されることが多い。

図２８は、ＤＣＴ変換されたディジタル信号に対して上記のような解像度変換を施すための従来のディジタル信号処理装置の構成例を示している。

この従来のディジタル信号変換装置は、家庭用ディジタルビデオ信号のフォーマットの一つである、いわゆる「ＤＶフォーマット」のビデオ信号（以下ではＤＶビデオ信号という。）が第１のフォーマットのディジタル信号として入力され、いわゆる ＭＰＥＧ
（Moving Picture Experts Group）のフォーマットに従うビデオ信号（以下ではＭＰＥＧビデオ信号という。）を第２のフォーマットのディジタル信号として出力するようにされている。

デフレーミング部５１は、ＤＶビデオ信号のフレーミングを解くためのものである。このデフレーミング部５１では、いわゆるＤＶフォーマットに従ってフレーミングされているＤＶビデオ信号が、可変長符号に戻される。

可変長復号（ＶＬＤ）部５２は、デフレーミング部５１で可変長符号に戻されたビデオ信号を可変長復号する。ＤＶフォーマットにおける圧縮データは、そのデータ量が原信号に対して約１／５になるように固定レートで圧縮されており、データ圧縮効率を高めるために可変長符号化されている。可変長復号部５２は、この可変長符号化に応じた復号を行う。

逆量子化（ＩＱ）部５３は、可変長復号部５２で復号されたビデオ信号を逆量子化する。

逆重み付け（ＩＷ）部５４は、逆量子化部５３で逆量子化されたビデオ信号に施された重み付けの逆操作である逆重み付けを行う。

ここで、重み付けとは、人間の視覚特性が高域のひずみに対してあまり敏感でない性質を利用して、ビデオ信号の高域成分ほどＤＣＴ係数の値が小さくなるようにすることをいう。これにより、値が０になる高域係数の数が多くなり、可変長符号化の効率を向上させることができる。また、その結果として、ＤＣＴ変換の演算量を低減することができる場合もある。

逆離散コサイン変換（ＩＤＣＴ）部５５は、逆重み付け部５４で逆重み付けされたビデオ信号に逆ＤＣＴ（逆離散コサイン変換）を施して、ＤＣＴ係数を空間領域のデータ、すなわち画素データに戻す。

そして、解像度変換部５６で、逆離散コサイン変換部５５で画素データに戻されたビデオ信号に対して所要の解像度変換が施される。

次に、離散コサイン変換（ＤＣＴ）部５７は、解像度変換部５６により解像度変換されたビデオ信号に、離散コサイン変換（ＤＣＴ）が施され、再び直交変換係数（ＤＣＴ係数）に変換される。

重み付け（Ｗ）部５８は、ＤＣＴ係数に変換された解像度変換後のビデオ信号に重み付けを行う。この重み付けについては前述した通りである。

量子化（Ｑ）部５９は、重み付け部５８で重み付けされたビデオ信号を量子化する。

そして、可変長符号化（ＶＬＣ）部６０で、量子化部５９で量子化されたビデオ信号を可変長符号化して、ＭＰＥＧビデオ信号として出力する。

ここで、上述した「ＭＰＥＧ」は、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ29（ International Organization for Standardization / International Electrotechnical Commission, Joint Technical Committee 1 /Sub Committee 29：国際標準化機構／国際電気標準会議 合同技術委員会１／専門部会２９）の動画圧縮符号化の検討組織（Moving Picture Image Coding Experts Group）の略称であり、ＭＰＥＧ１標準としてISO11172が、ＭＰＥＧ２標準としてISO13818がある。これらの国際標準において、マルチメディア多重化の項目でISO11172-1およびISO13818-1が、映像の項目でISO11172-2およびISO13818-2が、また音声の項目でISO11172-3およびISO13818-3が、それぞれ標準化されている。

画像圧縮符号化規格としてのISO11172-2またはISO13818-2においては、画像信号を、ピクチャ（フレームまたはフィールド）単位で、画像の時間および空間方向の相関を利用して圧縮符号化を行っており、空間方向の相関の利用はＤＣＴ符号化を用いることで実現している。

なお、このＤＣＴ等の直交変換は、この他にも、ＪＰＥＧ（Joint Photographic Coding Experts group） 等の種々の画像情報圧縮符号化に広く採用されている。

一般に直交変換は、時間領域あるいは空間領域の原信号を周波数領域等の直交変換された領域に変換することにより、圧縮効率が高く再現性に優れた圧縮符号化を可能にするものである。

また、上述した「ＤＶフォーマット」は、ディジタルビデオ信号のデータ量を約１／５にまで圧縮して磁気テープにコンポーネント記録するためのものであり、家庭用ディジタルビデオ装置や業務用のディジタルビデオ装置の一部に用いられているものである。このＤＶフォーマットは、離散コサイン変換（ＤＣＴ）と可変長符号化（ＶＬＣ）と組み合わせることにより、ビデオ信号の効率的な圧縮を実現している。

従来技術として、特許文献１〜４が知られている。

特開平０８−０６５６６３号公報 特開平０９−２１９８６１号公報 特開平０５−１１１００５号公報 特開平０７−２０３４４３号公報

ところで、離散コサイン変換（ＤＣＴ）などの直交変換およびその逆変換には、多くの計算量を要するのが通常であるため、上述したようなビデオ信号の解像度変換を効率良く行えないという問題がある。また、計算量の増加に伴って誤差が蓄積されるため、信号が劣化するという問題もある。

本発明は、このような問題を解決するためになされたものであり、異なるフォーマットに変換するために解像度変換などの処理が施された信号のデータ量の算出処理量を低減することによって、解像度変換等の変換処理を効率良く行うことができ、しかも信号の劣化が少ないディジタル信号変換方法およびディジタル信号変換装置を提供することを目的とする。

上記の課題を解決するために提案する本発明では、動き検出を伴って圧縮符号化されている入力情報信号に対して動き補償を伴った復号を施し、この復号信号に信号変換処理を施し、この変換信号に、上記入力情報信号の動きベクトル情報に基づいた動き検出を伴って圧縮符号化処理を施す。

本発明によれば、動き検出を伴って圧縮符号化されている入力情報信号に対して動き補償を伴った復号を施し、この復号信号に信号変換処理を施し、この変換信号に、上記入力情報信号の動きベクトル情報に基づいた動き検出を伴って圧縮符号化処理を施す。この信号変換処理として解像度変換処理を適用するときには、この解像度変換処理に応じて上記動きベクトル情報をスケール変換して得られる情報に基づいた動き補償を伴った圧縮符号化処理を上記変換信号に施す。特に、圧縮符号化時に必要とする動きベクトル情報を、解像度変換率に応じてスケール変換し、狭い範囲でサーチして推定しているので、動きベクトル推定時の計算量を大幅に削減でき、装置の小型化及び変換処理時間の短縮化を達成できる。

以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。

なお、以下では、まず本発明に係るディジタル信号変換装置の構成について説明し、次にその構成を参照しながら本発明に係るディジタル信号変換方法について説明する。

図１は、本発明の第１の実施の形態となるディジタル信号変換装置の主要部の一構成例を示し、信号変換としては解像度変換を例示しているが、これに限定されず、フォーマット変換やフィルタ処理等の種々の信号変換に適用できることは勿論である。

このディジタル信号変換装置は、前述したいわゆる「ＤＶフォーマット」のビデオ信号（以下ではＤＶ信号という。）が第１のディジタル信号として入力され、ＭＰＥＧ（Moving Picture Experts Group）のフォーマットに従うビデオ信号（以下ではＭＰＥＧビデオ信号という。）を第２のディジタル信号として出力するものである。

デフレーミング部１１は、ＤＶビデオ信号のフレーミングを解くためのものである。このデフレーミング部１１では、所定のフォーマット（いわゆるＤＶフォーマット）に従ってフレーミングされているＤＶビデオ信号が、可変長符号に戻される。

可変長復号（ＶＬＤ）部１２は、デフレーミング部１１で可変長符号に戻されたビデオ信号を可変長復号する。

逆量子化（ＩＱ）部１３は、可変長復号部１２で可変長復号されたビデオ信号を逆量子化する。

逆重み付け（ＩＷ）部１４は、逆量子化部１４で逆量子化されたビデオ信号に施された重み付けの逆操作である、逆重み付けを行う。

そして、信号変換処理の一例として解像度変換を行う場合には、解像度変換部１６で、逆重み付け部１４で逆重み付けされたビデオ信号に対して、直交変換領域（周波数領域）で所要の解像度変換が施される。

重み付け（Ｗ）部１８は、解像度変換後のビデオ信号に重み付けを行う。

量子化（Ｑ）部１９は、重み付け部１８で重み付けされたビデオ信号を量子化する。

そして、可変長符号化（ＶＬＣ）部２０で、量子化部１９で量子化されたビデオ信号を可変長符号化して、ＭＰＥＧビデオ信号として出力する。

以上説明した、図１に例示の本発明に係るディジタル信号変換装置の各部の構成は、図２８に例示した従来のディジタル信号変換装置の各部と同様とすることができる。

しかし、この本発明に係るディジタル信号変換装置は、解像度変換部１６の前後に逆コサイン変換（ＩＤＣＴ）部およびコサイン変換（ＤＣＴ）部が配されていない点が従来のディジタル信号変換装置と異なっている。

すなわち、従来のディジタル信号変換装置は、入力される第１のフォーマットのディジタル信号の直交変換係数を逆直交変換して空間領域（周波数軸上）のデータに戻した後に所要の変換操作を行うようにされているため、再び直交変換して直交変換係数に戻す操作を行っていた。

これに対して、本発明に係るディジタル信号変換装置は、入力される第１のフォーマットのディジタル信号の直交変換係数に対する所要の変換操作を、直交変換係数領域（周波数領域）で行い、解像度変換等の変換処理を行うための手段の前後に逆直交変換手段および直交変換手段を備えていないことを特徴とする。

次に、解像度変換部１６における解像度変換処理の原理について、図２および図３を用いて説明する。

図２において、入力直交変換行列生成部１では、入力ディジタル信号５に対して予め施された直交変換を表す直交変換行列Ｔs_（ｋ）の逆行列Ｔs_（ｋ） ^−１を生成し、変換行列生成部３に送っている。出力直交変換行列生成部２では、出力ディジタル信号に対して施される逆直交変換を示す逆変換行列Ｔd_（Ｌ） ^−１に対応する直交変換行列Ｔd_（Ｌ）を生成し、変換行列生成部３に送っている。変換行列生成部３では、解像度変換等の変換処理を周波数領域で行うための変換行列Ｄを生成し、信号変換部４に送る。この信号変換部４は、直交変換により例えば周波数領域に変換された入力ディジタル信号５を、例えば周波数領域等の直交変換された領域のままで変換処理して、出力ディジタル信号６とするものである。

すなわち、図３に例示するように、元の時間領域（あるいは空間領域）の信号（原信号Ａ）を、上記直交変換行列Ｔs_（ｋ）により例えば周波数領域に変換して周波数信号Ｂ_１ （上記入力ディジタル信号５に相当）とし、これを上記信号変換部４により例えばＮ／Ｌに縮小（又は拡大）して周波数信号Ｂ_２ （上記出力ディジタル信号６に相当）とし、この周波数信号Ｂ_２ を上記逆変換行列Ｔd_（Ｌ） ^−１により逆直交変換して、時間領域の信号Ｃを得るようにしている。

ここで、図３に示す例では、１次元の原信号Ａを、長さｋの変換ブロック毎に直交変換し、得られた周波数領域の変換ブロックの隣接するｍ個のブロック、すなわち長さＬ（＝ｋ×ｍ）の連続する周波数信号を、長さＮ（ただし、Ｎ＜Ｌ）の１つのブロックに変換する場合、すなわち全体をＮ／Ｌに縮小する場合を示している。

以下の説明では、長さｎの直交変換基底ベクトル＜ｅ _１,ｅ _２,…,ｅ _ｎ＞を各行に配列した行列（直交変換行列）をＴ_（ｎ） 、その逆変換行列をＴ_（ｎ） ^−１ のように記述する。なお、ｘは、ｘのベクトル表現を示す。このとき、いずれの行列もｎ次の正方行列である。一例として、ｎ＝８のときの１次元ＤＣＴ変換行列Ｔ_（８） を、次の式（１）に示す。

上記図３において、既に直交変換行列Ｔs_（ｋ）により周波数領域に直交変換された入力ディジタル信号５について、その直交変換ブロックの大きさ、すなわち基底の長さがｋであるとき、上記入力直交変換行列生成部１により逆直交変換行列Ｔs_（ｋ） ^−１を生成し、また、上記出力直交変換行列生成部２により基底の長さがＬ（＝ｋ×ｍ）の直交変換行列Ｔd_（Ｌ）を生成する。

このとき、入力直交変換行列生成部１により生成される逆直交変換行列Ｔs_（ｋ） ^−１は、入力ディジタル信号５を生成する際の直交変換処理（の逆処理）に対応し、出力直交変換行列生成部２により生成される直交変換行列Ｔd_（Ｌ）は、信号変換部１４で変換された出力ディジタル信号を復号する際、すなわち時間領域に変換する際の逆直交変換処理（の逆処理）に対応し、これらの直交変換行列生成部１、２共に、任意の長さの基底ベクトルを生成することができるものとする。

なお、これらの直交変換行列生成部１、２は、同一の直交変換行列生成部であってもよく、この場合、直交変換行列Ｔs_（ｋ）とＴd_（Ｌ）とは、基底の長さのみ異なる同一種の直交変換行列になる。直交変換行列生成部は、異なる直交変換方式毎に存在するものである。

次に、変換行列生成部３においては、入力直交変換行列生成部１により生成された上記逆直交変換行列Ｔs_（ｋ） ^−１を、次の式（２）に示すように、対角上にｍ個配置して、Ｌ次の正方行列Ａを作成する。また、出力ディジタル信号６の基底の長さをＮとするとき、上記直交変換行列Ｔd_（Ｌ）の低周波基底ベクトルＮ個を取り出し、Ｎ行Ｌ列から成る行列Ｂを作成する。

ただし、ｅ _１,ｅ _２,…,ｅ _Ｎは、Ｔd_（Ｌ）を以下のように基底ベクトルで表したとき、低周波のＮ個を取り出したものである。

そして、
Ｄ＝α・Ｂ・Ａ ・・・（５）
を計算し、Ｎ行Ｌ列の行列Ｄを作成する。この行列Ｄが、上記縮小率（又は拡大率）Ｎ／Ｌに解像度を変換する変換行列になる。なお、αはスカラー値又はベクトル値で、レベル補正等のための係数である。

上記図２の信号変換部４において、図３に示すように、周波数領域の入力ディジタル信号Ｂ_１ のブロックｍ個をひとまとめにし、Ｌの大きさのメタブロック（１メタブロック＝ｍブロック）に分割する。入力ディジタル信号Ｂ_１ の長さがＬの倍数でない場合には、信号を補う等により、例えば０等のダミーデータを充填（スタッフィング）すること等により、Ｌの倍数になるようにする。このようにしてできたメタブロックをＭi （ｉ＝０，１，２，・・・）とする。

なお、以上の解像度変換処理の原理については、本出願人が１９９８年６月１６日に出願したＰＣＴ／ＪＰ９８／０２６５３に詳細に記載されている。

次に、第１の実施の形態のディジタル信号変換方法について、上述したディジタル信号変換装置の構成を参照しながら説明する。

図４Ａ〜Ｃは、本発明に係る実施の形態のディジタル信号変換により、ＤＶビデオ信号がＭＰＥＧビデオ信号に変換される際の処理を模式的に示している。この処理は、図１に示した本発明に係る実施の形態のディジタル信号処理装置においては、主に解像度変換部１６で行われるものである。

なお、以下では、１次元のＤＣＴ係数ブロックを例として用いて説明するが、２次元のＤＣＴ係数に対する処理も同様である。

まず、図４Ａに示すように、第１のフォーマットのディジタル信号の、各々が８つのＤＣＴ係数からなる、互いに隣接するブロック（ｉ）およびブロック（ｉ＋１）から、それぞれの低域側のＤＣＴ係数を４つずつ取出す。すなわち、ブロック（ｉ）の８つのＤＣＴ係数ａ０，ａ１，ａ２，ａ３，・・・，ａ７のうちの、低域側の４つのＤＣＴ係数ａ０，ａ１，ａ２，ａ３のみを取り出して、ＤＣＴ係数の数が１／２にされた部分ブロックをつくる。同様に、ブロック（ｉ＋１）の８つのＤＣＴ係数ｂ０，ｂ１，ｂ２，ｂ３，・・・，ｂ７のうちの、低域側の４つのＤＣＴ係数ｂ０，ｂ１，ｂ２，ｂ３のみを取り出して、ＤＣＴ係数の数が１／２にされた部分ブロックをつくる。ここで、低域側のＤＣＴ係数を取り出すのは、ビデオ信号を周波数変換すると、ＤＣおよびＡＣの低周波数にエネルギーが集中するという性質に基づいている。

そして、各々が４つのＤＣＴ係数からなる上記の各部分ブロックに対して、それぞれ４ポイントの逆離散コサイン変換（４-point ＩＤＣＴ）を施して、縮小された画素データを得る。これらを、図４Ｂの画素データｐ０，ｐ１，ｐ２，ｐ３、及び画素データｐ４，ｐ５，ｐ６，ｐ７としてそれぞれ示す。

次に、それぞれ逆離散コサイン変換が施された上記の縮小された画素データからなる各部分ブロックどうしを結合して、元のブロックと同じ大きさのブロックを生成する。すなわち、画素データｐ０，ｐ１，ｐ２，ｐ３と、画素データｐ４，ｐ５，ｐ６，ｐ７とを結合して、８つの画素データからなる新たなブロックを生成する。

そして、上記の８つの画素データからなる新たなブロックに、８ポイントの離散コサイン変換（８-point ＤＣＴ） を施し、図４Ｃに示すように、８つのＤＣＴ係数ｃ０，ｃ１，ｃ２，ｃ３，・・・，ｃ７からなる１つのブロック（ｊ）を生成する。

以上のような手順により、所定のブロック単位あたりの直交変換係数（ＤＣＴ係数）の数を半分に間引きして、解像度が異なるフォーマットのビデオ信号に変換することができる。また例えばＤＣＴ係数の数を１／４に間引きたい時には、上述の処理を連続して２回行なうことで実現できる。

上記の解像度変換処理は、例えば、ＤＶフォーマットからＭＰＥＧ１フォーマットに変換する際に適用することができる。

ここで、図５を参照しながら、ＤＶフォーマットとＭＰＥＧフォーマットとの関係、及びこれらの間のフォーマット変換について説明する。

つまり、図５に示すようにビデオ信号がＮＴＳＣ方式である場合には、ＤＶフォーマットは、解像度が７２０画素×４８０画素，輝度信号のサンプリング周波数と２つの色差信号のサンプリング周波数の比が４：１：１の圧縮ビデオ信号であり、ＭＰＥＧ１フォーマットは、解像度が３６０画素×２４０画素，輝度信号のサンプリング周波数と２つの色差信号のサンプリング周波数との比が４：２：０の圧縮ビデオ信号である。従って、この場合には、上述した本発明に係る解像度変換処理により、輝度（Ｙ）信号の水平・垂直方向のＤＣＴ係数の数を１／２に、また色差（Ｃ）信号の垂直方向のＤＣＴ係数の数を、それぞれ１／４にすればよい。

なお、４：２：０は、奇数ラインと偶数ラインとが、交互に４：２：０と４：０：２とになるため、一方の値を代表させて表している。

また、ビデオ信号がＰＡＬ方式である場合には、ＤＶフォーマットは、解像度が７２０画素×５７６画素，輝度信号のサンプリング周波数と２つの色差信号のサンプリング周波数との比が４：２：０の圧縮ビデオ信号であり、ＭＰＥＧ１フォーマットは、解像度が３６０画素×２８８画素，輝度信号のサンプリング周波数と２つの色差信号のサンプリング周波数との比が４：２：０の圧縮ビデオ信号である。従って、この場合には、上述した本発明に係る解像度変換処理により、Ｙ信号の水平・垂直方向のＤＣＴ係数の数をそれぞれ１／２に、またＣ信号の水平・垂直方向のＤＣＴ係数の数をそれぞれ１／２にすればよい。

また、上記の解像度変換処理は、例えば、ＤＶフォーマットからＭＰＥＧ２フォーマットに変換する際にも同様に適用することができる。

ビデオ信号がＮＴＳＣ方式である場合には、ＭＰＥＧ２フォーマットは、解像度が７２０画素×４８０画素，輝度信号のサンプリング周波数と２つの色差信号のサンプリング周波数との比が４：２：０の圧縮ビデオ信号である。従って、この場合には、Ｙ信号に対しては変換処理を行わず、Ｃ信号の垂直方向のＤＣＴ係数の数を１／２に、またＣ信号の水平方向のＤＣＴ係数の数を２倍にすればよい。なお、この拡大の方法については後述する。

また、ビデオ信号がＰＡＬ方式である場合には、ＭＰＥＧ２フォーマットは、解像度が７２０画素×５７６画素，輝度信号のサンプリング周波数と２つの色差信号のサンプリング周波数との比が４：２：０の圧縮ビデオ信号である。従って、この場合には、Ｙ信号およびＣ信号のいずれに対しても変換処理を行う必要がない。

図６は、以上説明した解像度変換処理のための基本的な計算手順を表している。

すなわち、入力される第１のフォーマットのディジタル信号の互いに隣接する２つのブロックからそれぞれ取り出された４つのＤＣＴ係数ａ０，ａ１，ａ２，ａ３と４つのＤＣＴ係数ｂ０，ｂ１，ｂ２，ｂ３とを連結して作成された、８つのＤＣＴ係数からなるブロックに、各々が（４×４）行列として与えられる２つの逆離散コサイン変換行列（ＩＤＣＴ４）を対角に含み、他の成分が０である（８×８）行列が乗じられる。

そして、これらの積には、さらに（８×８）行列として与えられる離散コサイン変換行列（ＤＣＴ８）が乗じられ、８つのＤＣＴ係数ｃ０，ｃ１，ｃ２，ｃ３，．．，ｃ７からなる新たなブロックが得られる。

ここで、本発明に係るディジタル信号変換方法においては、解像度変換処理をＤＣＴ領域（周波数領域）で行うようにしたため、その前後の逆ＤＣＴおよびＤＣＴが不要になったことに加え、上記の２つの（４×４）逆離散コサイン変換行列（ＤＣＴ４）を対角に含む（８×８）行列と、上記の（８×８）の離散コサイン変換行列との積を、変換行列Ｄとして予め求めておくことにより、演算量を効果的に低減することができる。

次に、前述した第１のフォーマットのディジタル信号であるＤＶビデオ信号を、第２のフォーマットのディジタル信号であるＭＰＥＧ１ビデオ信号に変換する場合の処理について、さらに詳細に説明する。

上記のＤＶフォーマットには、画像の動き検出結果に応じて切り換えられる「静止モード」と「動きモード」とがある。これらのモードは、例えば、ビデオセグメント内の各（８×８）行列のＤＣＴの前に、動き検出により判別され、その結果に応じてどちらか一方のモードでＤＣＴが行われる。上記の動き検出には種々の方法が考えられ、具体的には、フィールド間の差分の絶対値の和を所定のしきい値と比較する方法などがある。

「静止モード」は、ＤＶフォーマットの基本モードとされ、ブロック内の（８×８）画素に対して（８×８）ＤＣＴが施される。

なお、上記の（８×８）ブロックは、１個のＤＣ成分と６３個のＡＣ成分から構成される。

また、「動きモード」は、被写体が動いているときなどにＤＣＴすると、インターレース走査のためにエネルギが分散して圧縮効率が低下してしまうことを避けるために用いられる。この動きモードでは、（８×８）ブロックを、第１フィールドの（４×８）ブロックと第２フィールドの（４×８）ブロックとに分割し、各（４×８）ブロックの画素データに対して（４×８）ＤＣＴを施すことにより、垂直方向の高周波成分の増加を抑えて圧縮率の低下を防ぐことができる。

なお、上記の各（４×８）ブロックは、１個のＤＣの成分と３１個のＡＣ成分から構成される。

このように、ＤＶフォーマットにおいては、静止モードと動きモードとで、ブロックの構成が異なるため、以降の処理を同様に行えるようにするために、動きモードのブロックに対しては、各（４×８）のＤＣＴ後、各ブロックの同じ次数の係数どうしで和および差を求めて（８×８）ブロックを構成する。この処理により、動きモードのブロックも、静止モードのブロックと同様に１個のＤＣ成分と６３個のＡＣ成分から構成されているようにみなすことができる。

ところで、ＤＶフォーマットのビデオ信号をＭＰＥＧ１フォーマットのビデオ信号に変換する際には、ＭＰＥＧ１フォーマットには３０フレーム／秒のビデオ信号しか扱わなく、フィールドの概念がないため、一方のフィールドのみを分離する必要がある。

図７Ａは、ＤＶフォーマットの「動きモード（２×４×８ＤＣＴモード）」によるＤＣＴ係数をＭＰＥＧ１フォーマットのＤＣＴ係数に変換する際に、フィールドを分離する処理を模式的に示している。

（８×８）のＤＣＴ係数ブロック３１の上半分の（４×８）ブロック３１ａは第１フィールドの係数と第２フィールドの係数との和（Ａ＋Ｂ）であり、上記（８×８）のＤＣＴ係数ブロック３１の下半分の（４×８）ブロック３１ｂは上記２つのフィールドの各係数の差（Ａ−Ｂ）である。

従って、（８×８）のＤＣＴ係数ブロック３１の上半分の（４×８）ブロック３１ａと下半分の（４×８）ブロック３１ｂとを加算して、その和を１／２にすれば、第１フィールド（Ａ）のＤＣＴ係数のみからなる（４×８）ブロック３５ａを得ることができる。同様に（４×８）ブロック３１ａと下半分の（４×８）ブロック３１ｂとを減算して、その差を１／２にすれば、第２フィールド（Ｂ）の離散コサイン係数のみからなる（４×８）ブロック３５ｂを得ることができる。すなわち、上記の処理により、フィールドが分離された（８×８）ブロック３５を得ることができる。

そして、これらのいずれか一方のフィールド、例えば第１フィールドのＤＣＴ係数に対して、前述した解像度変換処理が施される。

図７Ｂは、「静止モード（８×８ＤＣＴモード）」でフィールドを分離する処理を模式的に示している。

（８×８）のＤＣＴ係数ブロック３２は、第１フィールド（Ａ）のＤＣＴ係数と第２フィールド（Ｂ）のＤＣＴ係数が混合されている。そこで、これを以下に述べる処理でフィールド分離して、第１フィールド（Ａ）のみからなる（４×８）ブロック３５ａを得ることができ、同様に（４×８）ブロック３１ａと下半分の（４×８）ブロック３１ｂとを減算すれば第２フィールド（Ｂ）のみからなる（４×８）ブロック３５ｂを得るための変換処理を行う必要がある。

図８は、「静止モード」におけるフィールド分離処理の手順を表している。

まず、８つのＤＣＴ係数ｄ０，ｄ１，ｄ２，ｄ３，・・・，ｄ７からなる入力に８次の逆離散コサイン変換行列（ＩＤＣＴ８）が乗じられて、画素データに戻される。

次に、フィールド分離のための（８×８）行列が乗じられることにより、（８×８）ブロックの上下が、それぞれ（４×８）ブロックの第１フィールドおよび第２フィールドに分けられる。

そして、各々が（４×４）行列として与えられる２つの離散コサイン変換行列（ＤＣＴ４）を対角に含む（８×８）行列がさらに乗じられる。

これにより、第１フィールドの４つのＤＣＴ係数ｅ０，ｅ１，ｅ２，ｅ３と、第２フィールドの４つのＤＣＴ係数ｆ０，ｆ１，ｆ２，ｆ３とからなる、８つのＤＣＴ係数が得られる。

そして、これらのいずれか一方のフィールド、例えば第１フィールドのＤＣＴ係数に対して、前述した解像度変換処理が施される。

ここで、本発明に係るディジタル信号変換方法においては、解像度変換をＤＣＴ領域（周波数領域）で行うようにしたため、その前後の逆ＤＣＴおよびＤＣＴが不要になったことに加え、図６の２つの（４×４）逆離散コサイン変換行列（ＩＤＣＴ４）を対角に含む（８×８）行列と、上記の（８×８）の離散コサイン変換行列との積を予め求めておくことにより、計算量を効果的に低減することができる。

以上説明した解像度変換処理は画像を縮小する場合についてであり、以下では画像を拡大する場合の解像度変換処理について、第２の実施の形態として説明する。

図９Ａ〜Ｃは、本発明に係るディジタル信号変換方法により、ＤＶビデオ信号がＭＰＥＧ２ビデオ信号に変換される際の様子を模式的に示している。

なお、以下の説明においても、１次元のＤＣＴ係数を例として説明するが、２次元のＤＣＴ係数についても同様に処理することができる。

まず、図９Ａに示す８つの直交係数（ＤＣＴ係数ｇ０〜ｇ７）からなるブロック（ｕ）に対して、８ポイントの逆離散コサイン変換（８-point ＩＤＣＴ）を施して、８つの画素データ（ｈ０〜ｈ７）に戻す。

次に、８つの画素データからなるブロックを２分割して、それぞれ４つの画素データからなる２つの部分ブロックを生成する。

次に、各々が４つのＤＣＴ係数からなる上記２つの部分ブロックに対して、それぞれ４ポイントのＤＣＴ（４-point ＤＣＴ）を施して、各々が４つのＤＣＴ係数からなる２つの部分ブロック（ｉ０〜ｉ３及びｊ０〜ｊ３）を生成する。

そして、図９Ｃに示すように、上記４つの画素データからなる２つの部分ブロックの各々に対して、その高域側に４つのＤＣＴ係数として０を詰めて、各々が８つのＤＣＴ係数からなるブロック（ｖ）およびブロック（ｖ＋１）を生成する。

以上のような手順により、フォーマットが互いに異なる圧縮ビデオ信号の間での解像度変換が、直交変換領域で行われる。

図１０は、このときの変換処理の手順を表している。

まず、８つのＤＣＴ係数ｇ０，ｇ１，ｇ２，ｇ３，・・・，ｇ７からなる入力に８次の逆離散コサイン変換（ＩＤＣＴ）行列が乗じられて、８つの画素データに戻される。

次に、８つの画素データからなるブロックを２分割して、それぞれ４つの画素データからなる２つの部分ブロックを生成する。

次に、各々が４つのＤＣＴ係数からなる上記２つの部分ブロックそれぞれに対して、（４×４）行列として与えられる４ポイントの離散コサイン変換行列と（４×４）行列として与えられる０行列を上下に含む（４×８）行列を乗じることにより、８つのＤＣＴ係数を含んだ２つの部分ブロック（ｉ０〜ｉ７及びｊ０〜ｊ７）が生成される。

このように処理することにより、１つのブロックから２つのブロックのＤＣＴ係数が得られるので、解像度を周波数領域で拡大することができる。

なお、ＮＴＳＣの場合、ＤＶフォーマットをＭＰＥＧ２フォーマットに変換するには、図５に示すように輝度信号Ｙの水平・垂直方向には変換を行なう必要はなく、色差信号Ｃの水平方向には２倍に拡大し、色差信号Ｃの垂直方向には１／２に縮小する必要がある。従って、上述の拡大処理は、ＤＶフォーマットからＭＰＥＧ２のフォーマットに変換する際の、色差信号Ｃの水平方向の解像度変換に用いられることになる。

図１１は、本発明の第３の実施の形態に係るディジタル信号変換装置の主要部の一構成例を示している。なお、上述の第１の実施の形態と同じ構成には同じリファレンス番号を付けてある。図１と異なるところは、重み付け部１８と逆重み付け部１４が重み付け処理部２１にまとめられているところである。

つまり重み付け処理（ＩＷ＊Ｗ）部２１は、入力される第１のフォーマットのディジタル信号であるＤＶビデオ信号に施されている重み付けの逆操作である逆重み付けと、出力される第２のフォーマットのディジタル信号であるＭＰＥＧビデオ信号のための重み付けとを、併せて行う。

このような構成によれば、入力される第１のフォーマットのビデオ信号に対する逆重み付け処理と、出力される第２のフォーマットのビデオ信号に対する重み付け処理とを併せて行うことができるため、上記の逆重み付け処理と重み付け処理とを別々に行う場合よりも計算量を低減することができる。

なお、図１１に例示した第３の実施の形態におけるディジタル信号変換装置では、重み付け処理部２１が解像度変換部１６の後段に配されているが、重み付け処理部を解像度変換部１６の前段に配するようにしてもよい。

図１２は、このような、重み付け処理部２２が解像度変換部１６の前段に配された、本発明の第４の実施の形態におけるディジタル信号変換装置を示している。この図に示すディジタル信号処理装置の各部の構成も、図１１に示したディジタル信号変換装置の各部と同様とすることができる。

ここで、第１のフォーマットのディジタル信号に対する逆重み付けと、第２のディジタル信号に対する重み付けとを併せて行う重み付け処理や、上記の重み付け処理を離散コサイン変換（ＤＣＴ）などの直交変換の前後いずれでも行うことができるのは、これらの演算操作が線形操作であることに基づいている。

以下、本発明に係る第５の実施の形態におけるディジタル信号変換方法及び装置の実施の形態について図１３を参照しながら説明する。

このディジタルビデオ信号変換装置は、図１３に示すように、上記ＤＶビデオ信号を復号する復号部８と、この復号部８からの復号出力にフォーマット変換のための解像度変換処理を施す解像度変換部１６と、この解像度変換部１６からの変換出力の所定ブロック単位毎に順方向フレーム間差分符号化を施すか否かを上記動きモード／静止モード情報に応じて判断する判断部７と、この判断部７からの判断結果に基づいて上記解像度変換部１６からの変換出力を符号化して上記ＭＰＥＧビデオ信号を出力する符号化部９とを備えてなる。

なお、以下では、これらの各部により構成されるディジタルビデオ信号変換装置について述べるが、各構成部が本発明に係るディジタル信号変換方法の各工程の処理を実施するのはもちろんである。

このディジタルビデオ信号変換装置に入力されるＤＶビデオ信号には、上記静止モード／動きモードを示す情報であるモードフラグ（例えば１ビット）が各ＤＣＴブロックに予め付加されている。

このディジタルビデオ信号変換装置では、このモードフラグを基に判断部７が解像度変換部１６からの変換出力の所定ブロック単位毎に順方向フレーム間差分符号化を施すか否かを判断する。この動作についての詳細は後述する。

デフレーミング部１１は、上記静止モード／動きモードを示すモードフラグを抽出し、判断部７に供給する。

デシャフリング部１５は、ＤＶ符号化側で固定長化の単位であるビデオセグメント内の情報量を均一化するために行われたシャフリングを解く。

判断部７は、加算器２７と、Ｉ（Ｉピクチャ）／Ｐ（Ｐピクチャ）判断部＆決定部２８とからなる。加算器２７は、後述するフレームメモリ（ＦＭ）部２４に格納された参照用のＤＣＴ係数を負として上記解像度変換出力に加算する。加算器２７からの加算出力が供給されるＩ／Ｐ判断＆決定部２８には、デフレーミング部１１からの上記静止モード／動きモードを示すモードフラグも供給される。

このＩ／Ｐ判断＆決定部２８の動作の詳細について説明する。解像度変換部１６からの変換出力は、８×８個のＤＣＴ係数を単位としている。この８×８個のＤＣＴ係数ブロックを輝度信号には４つ、色差信号には２つ配分し、計６つのＤＣＴ係数ブロックから一つの上記所定ブロックを構成している。この所定ブロックをマクロブロックと呼ぶことにする。

ところで、Ｐピクチャは単純に前のフレームとの差分をとることを前提としている。静止画の場合は差分をとると情報量は減るが、逆に動いている画の場合、差分をとると情報量は増えてしまう。このため、上記静止モード／動きモードを示すモードフラグを見て、動いていると判断すれば、情報量が増えるので、上記マクロブロックをＩピクチャのままとし、静止していると判断すれば差分を採ってＰピクチャとすれば効率の良い符号化ができる。

Ｉ／Ｐ判断＆決定部２８は、例えば上記６つのＤＣＴ係数ブロックについて上記デフレーミングから送られてくるモードフラグが全て上記動きモードを示すときには、上記マクロブロックについてはＩピクチャにする。また、例えば上記６つのＤＣＴブロック中で１つだけしか動きモードを示すフラグを検出することができなかったときには、上記マクロブロックについてはＰピクチャにする。

また、上記６つのＤＣＴブロック中、４つ以上のＤＣＴブロックに動きフラグが付加されていればマクロブロックとしてはＩピクチャにしてもよい。また、６つのＤＣＴブロック中、全てに静止モードを示すフラグが付加されているときにマクロブロックをＰピクチャにするようにしてもよい。

このＩ／Ｐ判断＆決定部２８でＩ／Ｐピクチャと決定されたマクロブロック単位の各ＤＣＴ係数は、符号化部９に供給される。

符号化部９は、重み付け（Ｗ）部１８と、量子化（Ｑ）部１９と、逆量子化（ＩＱ）部２６と、逆重み付け（ＩＷ）部２５と、ＦＭ部２４と、可変長符号化（ＶＬＣ）部２０と、バッファメモリ２３と、レート制御部２９とを備えてなる。

重み付け（Ｗ）部１８は、判断部７を介した上記変換部１６からの変換出力であるＤＣＴ係数に重み付けを行う。

量子化（Ｑ）部１９は、重み付け（Ｗ）部１８で重み付けされたＤＣＴ係数を量子化する。そして、可変長符号化（ＶＬＣ）部２０で、量子化部１９で量子化されたＤＣＴ係数を可変長符号化してＭＰＥＧ符号化データとしてバッファメモリ２３に供給する。

バッファメモリ２３は、上記ＭＰＥＧ符号化データの転送速度を一定にし、ビットストリームとして出力する。レート制御部２９は、バッファメモリ２３におけるバッファ容量の増減の変化情報により量子化（Ｑ）部１９における情報発生量の増減、すなわち量子化ステップを制御する。

逆量子化（ＩＱ）部２６は、量子化（Ｑ）部１９からの量子化ＤＣＴ係数を逆量子化し、逆重み付け（ＩＷ）部２５に供給する。逆重み付け（ＩＷ）部２５は、逆量子化（ＩＱ）部２６からのＤＣＴ係数に重み付けの逆操作である逆重み付けを行う。この逆重み付け（ＩＷ）部２５で逆重み付けされたＤＣＴ係数は、ＦＭ部２４に参照用のＤＣＴ係数として格納される。

以上説明したように、図１３に示したディジタルビデオ信号変換装置は、デフレーミング部１１から送られてくる上記動きモード／静止モードを示すモードフラグに応じて判断部７が、Ｉ／Ｐ判断＆決定部２８を使って、マクロブロック毎にＩ又はＰピクチャを判断するので、本来、ＩピクチャのみからなるＤＶ信号を、Ｉピクチャ又はＰピクチャを使ったＭＰＥＧピクチャに変換することができ、ＭＰＥＧビデオ信号の特徴である圧縮率の向上という利点を生かすことができる。

次に、本発明の第６の実施の形態に係るディジタル信号変換方法及び装置について説明する。

この第６の実施の形態に係るディジタルビデオ信号変換装置は、上記図１３に示した判断部７を図１４に示す判断部３０に置き換えた構成のディジタルビデオ信号変換装置である。

すなわち、上記ＤＶ信号に一部復号処理を施して、直交変換領域の信号、例えばＤＣＴ係数を得る復号部８と、この復号部８からのＤＣＴ係数にフォーマット変換のための信号変換処理を施す変換部１６と、この変換部１６からの変換出力の所定ブロック単位毎に順方向フレーム間差分符号化を施す否かを、上記変換出力のフレーム間差分の絶対値の最大値に応じて判断する判断部３０と、この判断部３０からの判断結果に基づいて上記変換部１６からの変換出力に符号化を施して上記ＭＰＥＧビデオ信号を出力する符号化部９とを備えてなる。

判断部３０は、変換部１６からの変換出力である変換ＤＣＴ係数とＦＭ部２４からの参照用ＤＣＴ係数との差をとったときのＡＣ係数の絶対値の最大値をみて、この最大値と所定のしきい値とを比較し、比較結果に基づいて上記マクロブロック毎にＩ／Ｐピクチャを割り当てる。

判断部３０は、差分算出部３１と、最大値検出部３２と、比較部３３と、Ｉ／Ｐ決定部３５とを備えてなる。

差分算出部３１は、変換部１６からの変換ＤＣＴ係数とＦＭ部２４からの参照用ＤＣＴ係数との差分をとる。この差分算出部３１からの差分出力は最大値検出部３２に供給されると共にＩ／Ｐ決定部３５にも供給される。

最大値検出部３２は、上記差分出力のＡＣ係数の絶対値の最大値を検出する。基本的に、上記ＤＣＴ係数に変換されている情報量が多いとＡＣ係数も大となるし、一方情報量が少ないとＡＣ係数は小となる。

比較部３３は、上記最大値検出部３２からの絶対値の最大値を端子３４から供給される所定のしきい値と比較する。この所定のしきい値を適切に選んでいれば、上記ＡＣ係数の絶対値の最大値の大小により上記ＤＣＴ係数に変換された情報量の多い／少ないが判断できる。

Ｉ／Ｐ決定部３５は、上記比較部３３からの比較結果を用い、上記差分算出部３１からのＤＣＴ係数の差分、すなわち情報量の差分が大であるか、小であるかを判断し、差分が大きいと判断したときには、変換部１６からの変換ＤＣＴ係数ブロックからなるマクロブロックをＩピクチャに割り付け、差分が小さいと判断したときには差分算出部３１からのマクロブロックをＰピクチャを割り付ける。

つまり、しきい値より上記最大値の絶対値が大であれば、上記差分の情報量が大であると判断し、上記マクロブロックをＩピクチャとする。また、しきい値より上記最大値の絶対値が小であれば、上記差分の情報量が小であると判断し、上記マクロブロックをＰピクチャとする。

これにより、この第６の実施の形態となるディジタルビデオ信号変換装置も、本来、ＩピクチャのみからなるＤＶ信号を、Ｉピクチャ又はＰピクチャを使ったＭＰＥＧピクチャに変換することができ、ＭＰＥＧビデオ信号の特徴である圧縮率の向上という利点を生かすことができる。

なお、上記図１３及び図１４に示したディジタルビデオ信号変換装置では、ＮＴＳＣ方式のＤＶ信号と、ＭＰＥＧ１ビデオ信号とを入力、出力としたが、ＰＡＬ方式の各信号に適用してもよい。

また、上記の解像度変換処理は、例えば、ＤＶフォーマットからＭＰＥＧ２フォーマットに変換する際にも同様に適用することができる。

また、上記変換部１６による解像度変換処理としては、主として縮小の向きに解像度変換を行う例について述べたが、拡大も可能である。すなわち、一般に、周波数領域の入力ディジタル信号に対して、高周波成分を追加することで、任意の倍率で解像度を拡大することができる。

例えば、ＭＰＥＧ２ビデオ信号をディジタル放送サービスに適用するときに、プロファイル（機能）／レベル（解像度）によってその信号を分類しているが、例えば、米国のディジタルＨＤＴＶで用いられるメイン・プロファイル／ハイ・レベル（ＭＰ＠ＨＬ）のビデオ信号に、上記ＤＶ信号を変換する場合等に解像度の拡大を適用できる。

また、第６の実施の形態の処理を、ソフトウェアで行なうようにしてもよい。

次に、図１５を用いて、本発明の第７の実施の形態に係るディジタル信号変換方法及び装置について説明する。なお、上述の実施の形態と同じ構成には同じリファレンス番号を付けてある。
レート制御部４０は、デフレーミング部１１からの量子化器番号（Ｑ_NO）およびクラス番号（Class）に基づいて、量子化部１９におけるデータ量制御を行う。

図１６は、第７の実施の形態においてディジタル信号変換方法により、ＤＶビデオ信号がＭＰＥＧビデオ信号に変換される際に、各フレームのマクロブロック（ＭＢ）毎に量子化スケールが設定される基本的な手順を示している。

ステップＳ１では、まず、マクロブロック毎に、量子化番号（Ｑ_NO）およびクラス番号（Class）が取得される。この量子化番号（Ｑ_NO）は、０から１５までの値で示されており、マクロブロック内の６個のＤＣＴブロック全てに共通である。また、クラス番号（Class）は、０から３までの値で示されており、６つのＤＣＴブロック毎に与えられている。

次に、ステップＳ２で、以下の手順でＤＣＴブロック毎に量子化パラメータ（ｑ_param）が計算される。

量子化テーブルｑ_table[４] ＝ {９，６，３，０}
量子化パラメータｑ_param ＝ Ｑ_NO ＋ ｑ_table[class]

つまり、量子化テーブルとしては４通りの値（９、６、３、０）を有し、それぞれの値はクラス番号０、１、２、３に対応する。例えば、クラス番号が２で、量子化器番号が８であるときには、クラス番号２に対応する量子化テーブル値３と量子化器番号８が加算され、量子化パラメータは１１となる。

次に、ステップＳ３で、マクロブロック内の６つのＤＣＴブロックの量子化パラメータ（ｑ_param）の平均が算出される。

そして、ステップＳ４では、以下の手順でＭＰＥＧのマクロブロックの量子化スケール（quantizer_scale）が求められ、処理を終了する。

量子化テーブルｑ_table[25]
＝ {32，16，16，16，16，８，８，８，８，４，
４，４，２，２，２，２，２，２，２，２，
２，２，２，２}
quantizer_scale ＝ q_table[q_pram]

つまり、量子化テーブルとしては２５通りの値（３２〜２）を有し、それぞれの値は上述のように計算された量子化パラメータに対応する。つまり量子化パラメータ値０に対応する量子化テーブルは３２であり、量子化パラメータ値１に対応する量子化テーブルは１６であり、量子化パラメータ値５に対応する量子化テーブルは８である。例えば、上述のように求められた量子化パラメータの平均値が１０であるときには、量子化パラメータ値１０に対応する４という値が量子化スケール値となる。以上の手順により、各フレーム内で、マクロブロック毎の、量子化パラメータ（ｑ_param）に基づいて、ターゲットレートに依存するＭＰＥＧの量子化スケール（quantizer_scale）が計算される。なお、上述のクラス番号と量子化テーブルとの対応関係および量子化パラメータと量子化テーブルとの関係は経験的に求められたものである。

上記の処理は、図１５に例示した本発明に係るディジタル信号変換装置においては、デフレーミング部１１から送られる量子化番号（Ｑ_NO）およびクラス番号（Class）に基づいて、レート制御部４０において行われるものである。

図１７は、上述の手順により設定された量子化スケールを用いて、次のフレームに対してフィードバックをかける基本的な手順を示している。

ステップＳ１１では、まず、前述の手順により設定されたビットレートにおける、フレームあたりのターゲットビット数が設定される。

次に、ステップＳ１２で、フレームあたりの総発生ビット数が積算される。

次に、ステップＳ１３で、上記のターゲットビット数と総発生ビット数との差分（diff）が計算される。

そして、ステップＳ１４で、上記の計算結果に基づいて、量子化スケールが調整される。

上記の各ステップにおける計算は、以下のように表される。

diff ＝ cont * diff（cont：定数）
ｑ_param ＝ ｑ_param ± ｆ(diff)
quantizer_scale ＝ ｑ_table[ｑ_param]

つまり、ステップＳ１３で求められた差分値diffに定数contが乗じられることにより正規化が行われる。この正規化された差分値に経験的に求められた関数をかけて、量子化パラメータと加減算されたものを量子化パラメータとされる。この量子化パラメータ値に対応する値を上述の２５通りの値をもつ量子化テーブルから選び出して次のフレームの量子化スケールとする。

以上の手順により、調整された量子化パラメータ（ｑ_param）に基づいて新しい量子化スケール（quantizer_scale） が計算され、それを次のフレームに用いるフレーム間のフィードバックが行われる。

次に、第８の実施の形態として、本発明に係るディジタル信号変換方法およびディジタル信号変換装置について説明する。上述の実施の形態においてはＤＶフォーマットからＭＰＥＧフォーマットに変換する例を示したが、以下の実施の形態ではＭＰＥＧフォーマットからＤＶフォーマットに変換する例について説明する。

まず図１８を用いて、従来におけるＭＰＥＧフォーマットからＤＶフォーマットに変換する装置について説明する。

図１８に示すディジタルビデオ信号変換装置は、ＭＰＥＧ２ビデオデータを復号するＭＰＥＧデコーダ７０と、ＤＶビデオデータを出力するＤＶエンコーダ８０からなる。

ＭＰＥＧデコーダ７０において、上記ＭＰＥＧ２ビデオデータのビットストリームが供給されるパーサ（Parser）７１は、上記ＭＰＥＧ２フォーマットにしたがってフレーミングされて来た量子化ＤＣＴ係数のビットストリームのヘッダを検出し、可変長符号化された量子化ＤＣＴ係数を可変長復号（ＶＬＤ）部７２に供給すると共に、動きベクトル（ｍｖ）を抽出して動き補償（Motion Compensation：ＭＣ）部７７に供給する。

可変長復号（ＶＬＤ）部７２は、可変長符号化された上記量子化ＤＣＴ係数を可変長復号し、逆量子化（ＩＱ）部７３に供給する。

逆量子化部７３は、可変長復号部７２で復号された上記量子化ＤＣＴ係数に、符号化側で用いた量子化ステップを乗算して逆量子化処理を施し、ＤＣＴ係数を得て、逆離散コサイン変換（ＩＤＣＴ）部７４に供給する。

この逆離散コサイン変換部７４は、逆量子化部７３からのＤＣＴ係数に逆ＤＣＴを施して、ＤＣＴ係数を空間領域のデータ、すなわち画素データに戻す。具体的には、逆ＤＣＴによって、８×８画素ブロック毎にそれぞれの画素値（輝度Ｙ、色差Ｃｒ、Ｃｂ）が算出される。ただし、ここでの画素値はＩピクチャでは実際の画素値そのものの値であるが、ＰピクチャとＢピクチャでは対応する画素値間の差分値となる。

動き補償部７７は、フレームメモリ（ＦＭ）部７６の二つのフレームメモリＦＭに格納されている画像情報とパーサ７１で抽出した動きベクトルｍｖとを用いて動き補償出力を生成し、この動き補償出力を加算器７５に供給する。

加算器７５は逆離散コサイン変換部７４からの上記差分値に上記動き補償出力を加算し、復号画像データをＤＶエンコーダ８０の離散コサイン変換（ＤＣＴ）部８１及びフレームメモリ部７６に供給する。

ＤＶエンコーダ８０において、離散コサイン変換部８１は上記復号画像データにＤＣＴ処理を施して再び直交変換領域のデータ、すなわちＤＣＴ係数に変換し、量子化（Ｑ）部８２に供給する。

量子化部８２は、上記ＤＣＴ係数を、視覚特性を考慮したマトリックステーブルを用いて量子化し、上記ＤＶフォーマットのＩピクチャとして可変長符号化（ＶＬＣ）部８３に供給する。

可変長符号化部８３は、上記ＤＶフォーマットのＩピクチャに可変長符号化処理を施して圧縮し、フレーミング部８４に供給する。

フレーミング部８４は、上記可変長符号化処理が施されたＤＶフォーマットデータをフレーミングし、ＤＶビデオデータのビットストリームとして出力する。

ところで、離散コサイン変換（ＤＣＴ）等の直交変換及びその逆変換には、多くの計算量を要するのが通常であるため、上述したようなビデオデータのフォーマット変換が効率良く行えないという問題がある。また、計算量の増加に伴って誤差が蓄積されるため、信号が劣化するという問題もある。

そこでこの問題を解決するためのディジタルビデオ信号変換装置を第８の実施の形態として図１９を用いて説明する。

図１９に示すディジタル信号変換装置は、前述したＭＰＥＧのフォーマットに従うＭＰＥＧビデオ信号が第１のディジタル信号として入力され、ＤＶ信号を第２のディジタル信号として出力するものである。

パーサ１１１は、ビットストリームとして入力される、第１のフォーマットのディジタル信号であるＭＰＥＧビデオ信号のヘッダを参照して、動きベクトルｍｖや量子化スケールなどの画像の動き情報を抽出する。

上記の動きベクトルｍｖは、動き補償（ＭＣ）部１１５に送られて動き補償が行われる。また、上記の量子化スケール（quantizer_scale） は、後述する評価部１２３に送られる。

可変長復号（ＶＬＤ）部１１２は、パーサ１１１で必要な情報が取り出されたＭＰＥＧビデオ信号のビットストリームを可変長復号する。

逆量子化（ＩＱ）部１１３は、可変長復号部１１２で復号されたＭＰＥＧビデオ信号を逆量子化する。

そして、逆量子化部１１３で逆量子化されたＭＰＥＧビデオ信号は、加算部１２５に入力される。この加算部１２５には、パーサ１１１からの動きベクトルｍｖに対する動き補償の結果も、動き補償部１１５から入力される。

また、加算部１２５からの出力は、後述する信号変換部１１６に送られると共に、フレームメモリ１１４を介して上記の動き補償部１１５に入力される。信号変換部１１６では、加算部１２５を介して入力される上記のビデオ信号に対して、直交変換領域（周波数領域）で解像度変換などの所要の信号変換処理が施される。

そして、信号変換部１１６で所要の信号変換処理が施されたビデオ信号は、シャフリング部１１７でシャフリングされ、バッファ１１８とクラシファイ（Classify）部１２２とに送られる。

バッファ１１８に送られたビデオ信号は、量子化（Ｑ）部１１９に送られて量子化され、可変長符号化（ＶＬＣ）部１２０で可変長符号化され、さらにフレーミング部１２１でフレーミングされて、ＤＶビデオ信号のビットストリームとして出力される。

一方、クラシファイ部１２２では、シャフリング部１１７でシャフリングされたビデオ信号をクラス分けして、その結果をクラス情報として評価部１２３に送る。

評価部１２３では、クラシファイ部１２２からのクラス情報と、パーサ１１１からの量子化スケール（quantizer_scale） とに基づいて、量子化部１１９での量子化番号を決める。

このような構成によれば、第２のフォーマットのビデオ信号として出力されるＤＶビデオ信号のデータ量を、第１のフォーマットのビデオ信号として入力されるＭＰＥＧビデオ信号に含まれるデータ量情報に基づいて決めることができるため、信号変換を行って生成した第２のフォーマットのビデオ信号に対して、さらにそのデータ量を決定するための処理が簡略化することができる。

なお、以上説明した第７、８の実施の形態は、たとえば、第１のフォーマットのディジタル信号または第２のフォーマットのディジタル信号の一方が、ＭＰＥＧ１のビデオ信号であり、他方がＭＰＥＧ２のビデオ信号である場合にも適用することができる。

次に、図２０を用いて第９の実施の形態として、本発明に係るディジタル信号変換方法およびディジタル信号変換装置について説明する。

ＭＰＥＧ２のフォーマットに従うＭＰＥＧビデオデータを、上記ＤＶフォーマットにしたがうＤＶビデオデータに変換するディジタルビデオ信号変換装置であり、共にＰＡＬ方式のデータを想定している。

ビデオ信号がＰＡＬ方式である場合には、ＭＰＥＧ２フォーマット及びＤＶフォーマットは、解像度が７２０画素×５７６画素，輝度信号のサンプリング周波数と２つの色差信号のサンプリング周波数との比が４：２：０の圧縮ビデオ信号であるので、Ｙ信号およびＣ信号のいずれに対しても特に解像度の変換処理を行う必要がない。

図２０において、ＭＰＥＧデコーダ１００は、パーサ（Parser）１１１と、可変長復号（ＶＬＤ）部１１２と、逆量子化（ＩＱ）部１１３と、加算器１２５と、逆離散コサイン（ＩＤＣＴ）部１３１と、フレームメモリ（ＦＭ）部１３２と、動き補償（ＭＣ）部１１５と、離散コサイン変換（ＤＣＴ）部１３０とを備えてなる。ここで、フレームメモリＦＭ部１３２は、二つの予測メモリとして用いられるように構成されている。

この中で、詳細は後述するが、逆離散コサイン変換部１３１は、可変長復号部１１２と逆量子化部１１３により一部復号されたＩピクチャとＰピクチャに逆離散コサイン変換処理を施す。動き補償部１１５は、逆離散コサイン変換出力に基づいて、動き補償出力を生成する。離散コサイン変換部１３０は、上記動き補償出力を離散コサイン変換する。加算器１２５は、可変長復号部１１２と逆量子化部１１３により一部復号されたＰピクチャ及びＢピクチャに、離散コサイン変換部１３０からの動き補償出力を加算する。

以下、全体的な動作について説明する。先ず、パーサ１１１は、ビットストリームとして入力される、上記ＭＰＥＧ２ビデオデータのヘッダを参照して、上記ＭＰＥＧ２フォーマットにしたがってフレーミングされて来た量子化ＤＣＴ係数を可変長符号に戻して可変長復号部１１２に供給すると共に、動きベクトル（ｍｖ）を抽出して動き補償部１１５に供給する。

可変長復号部１１２は、可変長符号に戻された上記量子化ＤＣＴ係数を可変長復号し、逆量子化部１１３に供給する。

逆量子化部１１３は、可変長復号化部１１２で復号された上記量子化ＤＣＴ係数に、符号化側で用いた量子化ステップを乗算して逆量子化処理を施し、ＤＣＴ係数を得て、加算器１２５に供給する。この可変長復号部１１２及び逆量子化部１１３により得られるＤＣＴ係数は、逆離散コサイン変換されて画素データに戻されることの無い出力、すなわち、一部復号されたデータとして、加算器１２５に供給される。

加算器１２５には、離散コサイン変換部１３０で直交変換された動き補償部１１５からの動き補償出力も供給されている。そして、加算器１２５は直交変換領域において上記一部復号されたデータに上記動き補償出力を加算し、この加算出力を、ＤＶエンコーダ１１０に供給すると共に、逆離散コサイン変換部１３１に供給する。

逆離散コサイン変換部１３１は、上記加算出力の内のＩピクチャ及びＰピクチャに逆離散コサイン変換処理を施し、空間領域のデータにする。この空間領域のデータが、動き補償に用いる参照画像データとなる。この動き補償のための参照画像データは、フレームメモリ部１３２に格納される。

そして、動き補償部１１５はフレームメモリ部１３２に格納された参照画像データと、パーサ１１１で抽出された動きベクトルｍｖを用いて動き補償出力を生成し、この動き補償出力を離散コサイン変換部１３０に供給する。

離散コサイン変換部１３０では、上記空間領域で処理された動き補償出力を上述したように再度直交変換領域に戻してから加算器１２５に供給する。

加算器１２５は逆量子化部１１３からの一部復号されたＰ及びＢピクチャの差分信号のＤＣＴ係数に、上記離散コサイン変換部１３０からの動き補償出力のＤＣＴ係数を加算する。そして、この加算器１２５からの加算出力は、直交変換領域での一部復号データとしてＤＶエンコーダ１１０及び逆離散コサイン変換部１３１に供給される。

なお、逆量子化部１１３からの一部復号されたＩピクチャは、フレーム内符号化画像信号であるので、動き補償の加算処理は不要であり、そのまま上記逆離散コサイン変換部１３１に供給されると共に、ＤＶエンコーダ１１０にも供給される。

ＤＶエンコーダ１１０は、量子化（Ｑ）部１４１と、可変長符号化（ＶＬＣ）部１４２と、フレーミング部１４３とからなる。

量子化部１４１は、ＭＰＥＧデコーダ１００からのＩピクチャ、Ｐピクチャ及びＢピクチャの直交変換領域のままのデコード出力、すなわちＤＣＴ係数を量子化し、可変長符号化部１４２に供給する。

可変長符号化部１４２は上記量子化ＤＣＴ係数に可変長符号化処理を施し、フレーミング部１４３に供給する。フレーミング部１４３は可変長符号化部１４２からの圧縮符号化データをフレーミングし、ＤＶビデオデータのビットストリームとして出力する。

このように、変換するＭＰＥＧ２ビデオデータがＩピクチャであるとき、ＭＰＥＧデコーダ１００は、ＭＰＥＧ２ビデオデータを可変長復号部１１２及び逆量子化部１１３により直交変換領域まで一部復号し、ＤＶエンコーダ１１０で量子化部１４１及び可変長符号化部１４２により一部符号化する。同時に、Ｐ／Ｂピクチャの参照画像とするため、Ｉピクチャに逆離散コサイン変換部１３１で逆離散コサイン変換を施してフレームメモリ部１３２に格納する。

また、変換するＰピクチャ及びＢピクチャであるときには、上述したように、動き補償出力を生成する処理のみ逆離散コサイン変換部１３１を用いて空間領域で行い、可変長復号部１１２及び逆量子化部１１３で一部復号されたＰピクチャ及びＢピクチャである差分信号に加えてフレームを構成する部分は離散コサイン変換部１３０による離散コサイン変換領域で行う。そして、その後ＤＶエンコーダ１１０で部分エンコードする。

特に、Ｐピクチャの場合、動きベクトルｍｖで示された位置のマクロブロックを逆離散コサイン変換部１３１で逆離散コサイン変換されたＩピクチャから動き補償部１１５での動き補償処理により持ってくる。そのマクロブロックに離散コサイン変換部１３０で離散コサイン変換処理を施し、離散コサイン変換領域にて、差分信号である上記ＰピクチャのＤＣＴ係数に加算器１２５を使って加算する。これは、空間領域での足し算結果に離散コサイン変換を施したものは、離散コサイン変換したもの同士の足し算した結果と等価であることに基づいている。そして、その結果をＤＶエンコーダ１１０で部分エンコードする。同時に、次のＢピクチャの参照のために、加算器１２５からの加算出力に逆離散コサイン変換部１３１で逆離散コサイン変換を施し、フレームメモリ部１３２に格納しておく。

Ｂピクチャの場合には、動きベクトルｍｖで示された位置のマクロブロックを逆離散コサイン変換部１３１で逆離散コサイン変換されたＰピクチャから持ってくる。そして、そのマクロブロックに離散コサイン変換部１３０で離散コサイン変換を施し、離散コサイン変換領域にて、差分信号であるＢピクチャＤＣＴ係数を足し算する。ここで、双方向の場合は、二つの参照フレームより持ってきて平均をとる。

その結果をＤＶエンコーダ１１０で部分エンコードする。なお、Ｂピクチャは、参照フレームにはならないので、逆離散コサイン変換部１３１で逆離散コサイン変換を施すことはない。

上述のような第９の実施の形態によると、Ｉピクチャをデコードするには、従来、逆離散コサイン変換（ＩＤＣＴ）と離散コサイン変換（ＤＣＴ）処理が共に必要であったのが、本実施の形態のディジタルビデオ信号変換装置では、参照用にＩＤＣＴを必要とするのみとなる。

また、Ｐピクチャをデコードするには、ＤＣＴと参照用のＩＤＣＴ処理を必要とするが、Ｂピクチャをデコードするには従来、ＤＣＴ及びＩＤＣＴを共に必要としたのに比較し、ＤＣＴのみで参照用のＩＤＣＴを不要とする。

一般的なＭＰＥＧ２データ、例えばＧＯＰの数Ｎ＝１５、順方向予測のピクチャ間隔Ｍ＝３の場合を例にとると、Ｉピクチャは１個、Ｐピクチャは４個、Ｂピクチャは１０個である。ＤＣＴとＩＤＣＴの計算量をほぼ同じとみなすと、上記１５フレーム当たりのＭＰＥＧ２データは、重み付けを省略したとき、従来では、
２×ＤＣＴ×（１／１５）＋２×ＤＣＴ×（４／１５）
＋２×ＤＣＴ×（１０／１５）＝２×ＤＣＴ
となるのに対し、上記図２０に示したディジタルビデオ信号変換装置では、
１×ＤＣＴ×（１／１５）＋２×ＤＣＴ×（４／１５）
＋１×ＤＣＴ×（１０／１５）＝１．２６６６×ＤＣＴ
となり、大幅に計算量を削減できる。この式におけるＤＣＴは計算量を示す。

すなわち、上記図２０に示したディジタルビデオ信号変換装置は、ＭＰＥＧ２ビデオデータからＤＶビデオデータにフォーマット変換するためのデータ算出処理量を大幅に削減することができる。

次に、第１０の実施の形態におけるディジタルビデオ信号変換装置の他の実施の形態について図２１を参照しながら説明する。

この第１０の実施の形態も、ＭＰＥＧ２のフォーマットに従うＭＰＥＧビデオデータを、上記ＤＶフォーマットにしたがうＤＶビデオデータに変換するディジタルビデオ信号変換装置であるが、ＭＰＥＧ２のビデオデータは高解像度、例えば１４４０画素×１０８０画素の圧縮ビデオ信号を想定している。

例えば、ＭＰＥＧ２ビデオ信号をディジタル放送サービスに適用するときに、プロファイル（機能）／レベル（解像度）によってその信号を分類しているが、例えば、米国のディジタルＨＤＴＶで用いられるメイン・プロファイル／ハイ・レベル（ＭＰ＠ＨＬ）のビデオ信号は上述したように高解像度であり、これを上記ＤＶビデオデータに変換する場合である。

このため、図２１に示すディジタルビデオ信号変換装置では、図２０に示したＭＰＥＧデコーダ１００とＤＶエンコーダ１１０との間に、上記変換処理を行うための信号変換部１４０を備えている。

この信号変換部１４０は、上記ＭＰＥＧ符号化データに施されているＤＣＴ符号化で用いられた直交変換行列に対応する逆直交変換行列と、時間領域での信号変換出力信号を得るためのＩＤＣＴ符号化に用いる逆直交変換行列に対応する直交変換行列とに基づいて生成された変換行列によりＭＰＥＧデコーダ１００からのＤＣＴ変換領域のＤＣＴ係数に解像度変換処理を施す。

この信号変換部１４０からの解像度変換出力であるＤＣＴ係数は、上記ＤＶエンコーダ１１０に供給される。

ＤＶエンコーダ１１０は、解像度変換出力のＤＣＴ係数に量子化と可変長符号化を施し、フレーミングした後、上記ＤＶビデオデータのビットストリームとして出力する。

このように、このディジタルビデオ信号変換装置は、ＭＰＥＧ２ビデオ信号内のメイン・プロファイル／ハイ・レベル（ＭＰ＠ＨＬ）のビデオ信号を、信号変換部１４０で解像度変換してから、ＤＶエンコーダで符号化してＤＶビデオデータとしている。

このとき、上記図２０に示したディジタルビデオ信号変換装置と同様に、Ｉピクチャについては、従来、ＩＤＣＴとＤＣＴの処理が共に必要であったのが、この第１０の実施の形態のディジタルビデオ信号変換装置では、参照用にＩＤＣＴするのみである。

ＰピクチャについてはＤＣＴと参照用にＩＤＣＴを施すことになり従来と変わりが無いが、Ｂピクチャについては従来、ＤＣＴ及びＩＤＣＴを共に必要としたのに比較し、ＤＣＴのみで参照用のＩＤＣＴを不要である。

すなわち、上記図２１に示したディジタルビデオ信号変換装置も、高解像度のＭＰＥＧ２ビデオデータからＤＶビデオデータにフォーマット変換するためのデータ算出処理量を大幅に削減することができる。

なお、上記信号変換部１４０による解像度変換処理としては、主として縮小の向きに解像度変換を行う例について述べたが、拡大も可能である。すなわち、一般に、周波数領域の入力ディジタル信号に対して、高周波成分を追加することで、任意の倍率で解像度を拡大することができる。例えば、ＭＰＥＧ１ビデオデータを上記ＤＶビデオデータにフォーマット変換する場合等である。

また、上記処理ををソフトウェアで行なうようにしてもよい。

ところで上述のＭＰＥＧフォーマットやＤＶフォーマットの圧縮方式では、静止画データや動画データ等を効率よく圧縮符号化するためには、直交変換符号化と、予測符号化とを組み合わせたハイブリッド圧縮符号化方法が用いられている。

ところで、ハイブリッド圧縮符号化方法により圧縮符号化された入力情報信号に解像度の変換処理を施した後、再び直交変換を施すと共に再び動き補償を伴った予測符号化を施すときには、再予測符号化処理を行うための工程においても動きベクトルを推定しなければならない。

解像度の変換処理を施すことなく全く同じ解像度で再予測符号化するのであれば、予測符号化時の動きベクトルを用いれば良いが、解像度を変換すると、変換歪みが変わってくるので、その分上記再予測符号化工程で用いる動きベクトルも変化してしまうためである。

そこで、上記再予測符号化工程においては、動きベクトルを推定する必要があるが、この動きベクトルの推定の演算量は非常に多くなってしまっていた。

この問題を解決するのが、第１１の実施の形態によるディジタル信号変換装置である。第１１の実施の形態に係るディジタル信号変換方法及び装置は、直交変換符号化と予測符号化とを組み合わせたハイブリッド圧縮符号化により圧縮符号化された入力情報信号に、時間領域又は直交変換領域で例えば解像度変換のような信号変換処理を施し、再び直交変換領域に戻し又は直交変換領域のまま再圧縮符号化を施すものである。

上記ハイブリッド圧縮符号化の具体例としては、ＩＴＵ−Ｔ（国際電気通信連合−電気通信標準化部門）にて勧告されたＨ．２６１やＨ．２６３、またＭＰＥＧ、ＤＶ等の符号化規格が挙げられる。

Ｈ．２６１は、低ビットレートを対象とした映像符号化規格であり、ＩＳＤＮによるテレビ会議・テレビ電話を主たる用途に開発された。また、Ｈ．２６３は、ＧＳＴＮテレビ電話システムのためにＨ．２６１を改良した符号化方式である。

以下、第１１の実施の形態について図２２を参照しながら説明する。この実施の形態は、ＭＰＥＧのフォーマットにしたがうＭＰＥＧ符号化データが入力され、このＭＰＥＧ符号化データに信号変換処理として解像度変換処理を施してから解像度変換されたＭＰＥＧ符号化データとして出力するディジタルビデオ信号変換装置である。

このディジタルビデオ信号変換装置は、図２２に示すように、動きベクトル（ｍｖ）検出を伴って圧縮符号化されているＭＰＥＧ符号化データのビットストリームに対して動き補償ＭＣを用いた復号を施す復号部２１０と、この復号部２１０からの復号出力に解像度変換処理を施す解像度変換部１６０と、この解像度変換部１６０からの変換出力画像に、上記ＭＰＥＧ符号化データに付加されている動きベクトルｍｖに基づいた動き検出を伴って圧縮符号化処理を施し、解像度を変換したビデオ符号化データのビットストリームを出力する符号化部２２０とを備えてなる。

なお、以下では、これらの各部により構成されるディジタルビデオ信号変換装置について述べるが、各構成部が本発明に係るディジタル信号変換方法の各工程の処理を実施するのはもちろんである。

復号部２１０は、可変長復号（ＶＬＤ）部１１２と、逆量子化（ＩＱ）部１１３と、逆離散コサイン変換（ＩＤＣＴ）部１５０と、加算器１５１と、動き補償（ＭＣ）部１５２と、フレームメモリ（ＦＭ）部１５３とを備えてなる。ここで、ＦＭ部１５３は、二つの予測メモリとして用いるフレームメモリＦＭにより構成されている。

ＶＬＤ部１１２は、上記ＭＰＥＧ符号化データ、すなわち付加情報である動きベクトルと量子化ＤＣＴ係数が可変長符号化された符号化データを、可変長符号化に応じて復号すると共に、動きベクトルｍｖを抽出する。ＩＱ部１１３は、ＶＬＤ部１１２で復号された量子化ＤＣＴ係数に、符号化側で用いた量子化ステップを乗算して逆量子化処理を施し、ＤＣＴ係数を得る。

ＩＤＣＴ部１５０は、ＩＱ部１１３からのＤＣＴ係数に逆ＤＣＴを施して、ＤＣＴ係数を空間領域のデータ、すなわち画素データに戻す。具体的には、逆ＤＣＴによって、８×８画素ブロック毎にそれぞれの画素値（輝度Ｙ、色差Ｃｒ、Ｃｂ）が算出される。ただし、ここでの画素値はＩピクチャでは実際の画素値そのものの値であるが、ＰピクチャとＢピクチャでは対応する画素値間の差分値となる。

ＭＣ部１５２は、ＦＭ部１５３の二つのＦＭに格納されている画像情報に、ＶＬＤ部１１２で抽出した動きベクトルｍｖを用いて動き補償処理を施し、この動き補償出力を加算器１５１に供給する。

加算器１５１は、ＩＤＣＴ部１５０からの差分値にＭＣ部１５２からの動き補償出力を加算し、復号画像信号を出力する。解像度変換部１６０は、上記復号画像信号に対して所要の解像度変換処理を施す。この解像度変換部１６０からの変換出力は、符号化部２２０に供給される。

符号化部２２０は、スケール変換部１７１と、動き推定ＭＥ部１７２と、加算器１７３と、ＤＣＴ部１７５と、レート制御部１８３と、量子化（Ｑ）部１７６と、可変長符号化（ＶＬＣ）部１７７と、バッファメモリ１７８と、ＩＱ部１７９と、ＩＤＣＴ部１８０と、加算器１８１と、ＦＭ部１８２と、ＭＣ部１７４とを備えてなる。

スケール変換部１７１は、解像度変換部１６０で用いた解像度変換率に応じてＶＬＤ部１１２が抽出した動きベクトルｍｖをスケール変換する。例えば、解像度変換部１６０での解像度変換率が１／２であった場合には、動きベクトルｍｖの１／２にスケール変換する。

ＭＥ部１７２は、スケール変換部１７１からのスケール変換情報を用い、解像度変換部１６０からの変換出力の狭い範囲を探すことにより、変換された解像度での最適な動きベクトルを推定する。

ＭＥ部１７２で推定された動きベクトルは、ＭＣ部１７４による動き補償時に用いられる。また、ＭＥ部１７２で動きベクトルを推定するときに用いた上記解像度変換部１６０からの変換出力画像は加算器１７３に供給される。

加算器１７３は、後述する参照画像と解像度変換部１６０からの変換出力との差分を採り、ＤＣＴ部１７５に供給する。

ＤＣＴ部１７５は、ＭＣ部１７４で動き補償することによって得た参照画像と上記変換出力画像との差分を、８×８のブロックサイズで離散コサイン変換する。なお、Ｉピクチャについては画面（フレーム）内符号化であるのでフレーム間の差分を採らずに、そのままＤＣＴ演算を行う。

量子化（Ｑ）部１７６は、ＤＣＴ部１７５からのＤＣＴ係数を、視覚特性を考慮したマトリックステーブルを用いて量子化する。ＶＬＣ部１７７は、Ｑ部１７６からの量子化ＤＣＴ係数を可変長符号化により圧縮する。

バッファメモリ１７８は、ＶＬＣ部１７７で可変長符号化により圧縮された符号化データの転送速度を一定にするためのメモリである。このバッファメモリ１７８から解像度変換されたビデオ符号化データが一定の転送レートでビットストリームとして出力される。

レート制御部１８３は、バッファメモリ１７８におけるバッファ容量の増減の変化情報によりＱ部１７６における情報発生量の増減、すなわち量子化ステップを制御する。

ＩＱ部１７９は、ＩＤＣＴ部１８０と共に局部復号部を構成し、Ｑ部１７６からの量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数をＩＤＣＴ部１８０に供給する。ＩＤＣＴ部１８０は、ＩＱ部１７９からのＤＣＴ係数を逆ＤＣＴ変換し、画素データに戻して加算器１８１に供給する。

加算器１８１は、ＩＤＣＴ部１８０からの逆ＤＣＴ出力である画素データにＭＣ部１７４からの動き補償出力を加算する。加算器１８１からの加算出力となる画像情報はＦＭ部１８２に供給される。このＦＭ部１８２に格納された画像情報にはＭＣ部１７４で動き補償処理が施される。

ＭＣ部１７４は、ＦＭ部１８２に格納されている画像情報に対してＭＥ部１７２で推定された最適な動きベクトルを用いて、動き補償処理を施し、参照画像となる動き補償出力を加算器１７３に供給する。

加算器１７３は、上述したように、解像度変換部１６０からの変換出力画像と上記参照画像との差分を採ってＤＣＴ部１７５に供給する。

ＤＣＴ部１７５、Ｑ部１７６、ＶＬＣ部１７７及びバッファメモリ１７８は、上述したように動作し、最終的にこのディジタルビデオ信号変換装置から解像度変換されたビデオ符号化データが一定の転送レートでビットストリームとして出力される。

このディジタルビデオ信号変換装置では、符号化部２２０のＭＥ部１７２で動きベクトルを推定するときに、全く情報が無い状態から推定するのではなく、基の圧縮されたビデオ信号のマクロブロックについている動きベクトルを、解像度変換部１６０での解像度変換率に応じてスケール変換部１７１でスケール変換し、このスケール変換部１７１からのスケール変換情報を基に解像度変換部１６０からの変換出力画像の狭い範囲をサーチして動き補償用の動きベクトルを推定している。このため、ＭＥ部１７２での計算量を大幅に削減することができるので、装置の小型化及び変換処理時間の短縮化を達成できる。

次に、第１２の実施の形態について説明する。この実施の形態も、ＭＰＥＧビデオ信号に解像度変換処理を施して出力するディジタルビデオ信号変換装置である。

このディジタルビデオ信号変換装置は、図２３に示すように、上記ハイブリッド符号化が施されているＭＰＥＧ符号化データに対して、ＭＣを用いた予測復号処理のみを施すことにより直交変換符号化が施されたままの直交変換領域の復号データを得る復号部２１１と、この復号部２１１からの直交変換領域の復号データに解像度変換処理を施す解像度変換部２６０と、この解像度変換部２６０からの変換出力に、上記ＭＰＥＧ符号化データの動きベクトル情報に基づいた動き検出を用いて動き補償予測を伴った圧縮符号化処理を施す符号化部２２１とを備えてなる。

なお、以下でも、これらの各部により構成されるディジタルビデオ信号変換装置について述べるが、各構成部が本発明に係るディジタル信号変換方法の各工程の処理を実施するのはもちろんである。

このディジタルビデオ信号変換装置は、上記図２２に示した装置と比較すると、復号部２１０でＩＤＣＴ部１５０を、また符号化部２２０でＤＣＴ部１７５とＩＤＣＴ部１８０を不要とする。すなわち、このディジタルビデオ信号変換装置は、ＤＣＴ領域のままの復号データに解像度変換処理を施し、この変換出力を符号化する。

ＤＣＴ等の直交変換及びその逆変換には一般的に多くの計算量を要する。このため、上述したような解像度の変換が効率良く行えない可能性がある。また、計算量の増加に伴って誤差が蓄積されるため、信号が劣化する可能性もある。

そこで、図２３に示したディジタルビデオ信号変換装置は、図２２におけるＩＤＣＴ部１５０と、ＤＣＴ部１７５と、ＩＤＣＴ部１５０を省略し、さらに解像度変換部１６０の機能を変更している。

また、ＤＣＴ領域において解像度変換部１６０からの変換ＤＣＴ係数から後述する精細度を算出し、この精細度を用いて動きベクトルを推定するために、図２２に示したスケール変換部１７１の代わりに精細度算出部２００を用いている。

図２３に示す解像度変換部２６０には、ＶＬＤ部２１２で復号された量子化ＤＣＴ係数をＩＱ部２１３で逆量子化して得たＤＣＴ係数にＭＣ部２５２からの動き補償出力を加算器２５１で加算した加算出力（ＤＣＴ係数）が供給される。

この解像度変換部２６０は、上記ＭＰＥＧ符号化データに施されているＤＣＴ符号化で用いられた直交変換行列に対応する逆直交変換行列と、時間領域での信号変換出力信号を得るためのＩＤＣＴ符号化に用いる逆直交変換行列に対応する直交変換行列とに基づいて生成された変換行列により復号部２１１からのＤＣＴ変換領域のＤＣＴ係数に解像度変換処理を施す。

この解像度変換部２６０からの解像度変換出力であるＤＣＴ係数は、精細度算出部２００に供給される。精細度算出部２００は、解像度変換部２６０からのＤＣＴ係数の輝度成分からマクロブロック単位での空間の精細度（Activity）を算出する。具体的には、ＤＣＴ係数のＡＣ値の最大値を用いて、画像の特徴を算出する。例えば、高周波成分が少なければ、平坦な画であることを示す。

ＭＥ部２７２は、精細度算出部２００が算出した精細度に基づいて、変換された解像度での最適な動きベクトルを推定する。すなわち、ＭＥ部２７２は、ＶＬＤ２１２で抽出した動きベクトルｍｖを、精細度算出部２００で算出した精細度に基づいて変換し、動きベクトルｍｖを推定し、この推定した動きベクトルｍｖをＭＥ部２７２に供給する。ここで、ＭＥ部２７２は、直交変換領域のままで動きベクトルを推定する。この直交変換領域でのＭＥについては後述する。

解像度変換部２６０からの解像度変換ＤＣＴ係数は、精細度算出部２００及びＭＥ部２７２を介して加算器２７３に供給される。

加算器２７３は、後述する参照ＤＣＴ係数と解像度変換部２６０からの変換ＤＣＴ係数との差分を採り、量子化（Ｑ）部２７６に供給する。

Ｑ部２７６は、上記差分値（ＤＣＴ係数）を量子化し、量子化ＤＣＴ係数をＶＬＣ部２７７及びＩＱ部２７９に供給する。

また、レート制御部２８３は、精細度算出部２００からの精細度情報と、バッファメモリ２７８でのバッファ容量の増減の変化情報によりＱ部２７６における情報発生量の増減、すなわち量子化ステップを制御する。

ＶＬＣ部２７７は、Ｑ部２７６からの量子化ＤＣＴ係数を可変長符号化により圧縮符号化し、バッファメモリ２７８に供給する。バッファメモリ２７８は、ＶＬＣ部２７７で可変長符号化により圧縮された符号化データの転送速度を一定にし、解像度変換されたビデオ符号化データを一定の転送レートでビットストリームとして出力する。

ＩＱ部２７９は、Ｑ部２７６からの量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数を加算器２８１に供給する。加算器２８１は、ＩＱ部２７９からの逆Ｑ出力であるＤＣＴ係数にＭＣ部２７４からの動き補償出力を加算する。加算器２８１からの加算出力となるＤＣＴ係数情報はＦＭ部２８２に供給される。このＦＭ部２８２に格納されたＤＣＴ係数情報にはＭＣ部２７４で動き補償処理が施される。

ＭＣ部２７４は、ＦＭ部２８２に格納されているＤＣＴ係数情報に対してＭＥ部２７２で推定された最適な動きベクトルを用いて、動き補償処理を施し、参照ＤＣＴ係数となる動き補償出力を加算器２８１に供給する。

加算器２７３は、上述したように、解像度変換部２６０からの変換ＤＣＴ係数と上記参照ＤＣＴ係数との差分を採ってＱ部２７６に供給する。

そして、Ｑ部２７６、ＶＬＣ部２７７及びバッファメモリ２７８は、上述したように動作し、最終的にこのディジタルビデオ信号変換装置から解像度変換されたビデオ符号化データが一定の転送レートで出力される。

ここで、ＭＣ部２７４は、ＭＥ部２７２で推定された最適な動きベクトルと、ＦＭ２８２に格納されている参照ＤＣＴ係数とを用い、ＭＥ部２７２と同様に直交変換領域のままで動き補償を行う。

直交変換領域でのＭＥ及びＭＣについて図２４〜図２６を参照しながら説明する。図２４において、実線は圧縮しようとしている画像Ａのマクロブロックを表し、点線は参照用の画像Ｂのマクロブロックを表す。動きベクトルを用いて圧縮しようとしている画像Ａと参照用画像Ｂとを図２４のように重ねあわせると、マクロブロックの境界線が一致しない場合が起こる。図２４の場合では、現在圧縮しようとしているマクロブロックＢ'は、参照用の画像Ｂの４つのマクロブロックＢ_１、Ｂ_２、Ｂ_３、Ｂ_４に跨っている。従って、マクロブロックＢ'に一体一で対応する参照用画像Ｂのマクロブロックは存在しないことになってしまい、マクロブロックＢ'が位置しているところの参照用画像ＢのＤＣＴ係数を得ることがきない。そこでマクロブロックＢ'が跨っている参照用画像Ｂの４つのマクロブロックのＤＣＴ係数を変換処理することによって、マクロブロックＢ'が位置している部分の参照用画像ＢのＤＣＴ係数を得る必要がある。

図２５は、この変換処理の手順を模式的に示したものである。参照用画像ＢのマクロブロックＢ_１の左下部分がマクロブロックＢ'と重なっている部分であるが、マクロブロックＢ’から見れば右上部分が重なった部分であるので、マクロブロックＢ_１のＤＣＴ係数を、後述する変換によって、マクロブロックＢ_１３を生成する。同様に参照用画像ＢのマクロブロックＢ_２の右下部分がマクロブロックＢ'と重なっている部分であるが、マクロブロックＢ’から見れば左上部分が重なった部分であるので、マクロブロックＢ_２のＤＣＴ係数を後述する変換によって、マクロブロックＢ_２４を生成する。同様の処理をマクロブロックＢ_３とＢ_４に施すことによってマクロブロックＢ_３１とＢ_４２を生成する。こうして生成された４つのマクロブロックＢ_１３、Ｂ_２４、Ｂ_３１、Ｂ_４２を組み合わせることにより、マクロブロックＢ'が位置している部分の参照用画像ＢのＤＣＴ係数を得ることができる。

つまり、次の式（６）、（７）のように表すことができる。

Ｂ’＝ Ｂ_１３＋Ｂ_２４＋Ｂ_３１＋Ｂ_４２ ・・・ （６）
ＤＣＴ(Ｂ') ＝ ＤＣＴ(Ｂ_１３)＋ＤＣＴ(Ｂ_２４)
＋ＤＣＴ(Ｂ_３１)＋ＤＣＴ(Ｂ_４２) ・・・（７）

次にマクロブロックのＤＣＴ係数の変換について図２６を用いて説明する。図２６は、空間領域における例えばＢ_４のような、オリジナルブロックから計算によって部分的なＢ_４２を求めるときの数学的なモデルを示している。具体的には、上部左側のＢ_４を抽出し、０で補間し、下部右側に動かしている。ブロックＢ_４から以下の式（８）の計算により得られたＢ_４２を示しているのである。

ここで、Ｉ_ｈとＩ_ｗは、ブロックＢ_４から抽出したｈ及びｗの列及び行からなるサイズｈ×ｈ及びｗ×ｗのそれぞれの行列の識別符号である。図２６に示すように、Ｂ_４に先ず合成されるプリマトリクスＨ_１は、最初のｈ列を取り出すと共に、底部に変換し、Ｂ_４に後で合成されるＨ_２は始めのｗ行を取り出すと共に、右側に変換する。

上記式（８）を基に、Ｂ_４２のＤＣＴを直接、Ｂ_４のＤＣＴから次の式（９）により計算できる。

ＤＣＴ(Ｂ_４２)＝ＤＣＴ(Ｈ_１)×ＤＣＴ(Ｂ_４)×ＤＣＴ(Ｈ_２) ・・・（９）
これを、全てのサブブロックに当てはめ、合計すると、次の式（１０）に示すように、オリジナルのブロックＢ_１〜Ｂ_４のＤＣＴから直接に新しいブロックＢ’のＤＣＴ係数を得ることができる。

ここで、Ｈ_ｉ１とＨ_ｉ２のＤＣＴを予め計算し、メモリに格納してテーブルメモリを構成しておいてもよい。このようにして、直交変換領域でもＭＥ及びＭＣが可能である。

そして、符号化部２２１では、ＭＥ部２７２で動きベクトルを推定するときに、全く情報が無い状態から推定するのではなく、元の圧縮されたビデオ信号のマクロブロックについている動きベクトルを、解像度変換部２６０の変換出力から精細度算出部２００が算出した精細度に応じて狭い範囲でサーチして推定している。

以上説明したように、この他の実施の形態となるディジタルビデオ信号変換装置の復号部２１１では、動き検出を伴う予測符号化と直交変換符号化とを含むハイブリッド符号化が施されたＭＰＥＧ符号化データに動き補償を伴う予測復号処理、すなわちＶＬＤ後にＩＱし、そこで動き補償をし、ＤＣＴ領域のままの復号データを得、このＤＣＴ領域の復号データに解像度変換を施しているので、直交変換された領域で解像度変換が直接に行え、時間領域や空間領域への復号（逆直交変換）が不要となり、計算が簡略化され、計算誤差の小さい高品質の変換が行える。さらに、符号化部２２１では、ＭＥ部２７２で動きベクトルを推定するときに、全く情報が無い状態から推定するのではなく、基の圧縮されたビデオ信号のマクロブロックについている動きベクトルを、解像度変換出力から算出した精細度に応じて狭い範囲でサーチして動きベクトルを推定している。このため、ＭＥ部２７２での計算量を大幅に削減することができるので、装置の小型化及び変換処理の短縮化を達成できる。

次に、第１３の実施の形態について説明する。この例も、ＭＰＥＧ符号化データに解像度変換処理のような信号変換処理を施してビデオ符号化データを出力するディジタルビデオ信号変換装置である。

このディジタルビデオ信号変換装置は、図２７に示すように、上記ハイブリッド符号化が施されているＭＰＥＧ符号化データに対して、一部復号処理を施して直交変換領域のデータを得る復号部３４０と、この復号部３４０からの直交変換領域のデータに解像度変換処理を施す変換部３４３と、この変換部３４３からの変換出力に、上記ＭＰＥＧ符号化データの動きベクトル情報に基づいた動きベクトルを付加して圧縮符号化処理を施す符号化部３５０とを備えてなる。

復号部３４０は、ＶＬＤ部３４１と、ＩＱ部３４２とを備えてなる。このＶＬＤ部３４１とＩＱ部３４２は、上記図２１に示したＶＬＤ部１１２とＩＱ部１１３と同様の構成であり、同様に動作する。この復号部３４０で特徴的なのは、ＭＣを行っていない点である。

すなわち、ＰピクチャとＢピクチャはＭＣをしないで、差分情報となるＤＣＴ係数に対して、変換部３４３で解像度の変換を行う。解像度変換により得られた変換ＤＣＴ係数は、レート制御部３４８でレートが制御されるＱ部３４５により量子化され、ＶＬＣ部３４６で可変長復号された後、バッファメモリ３４７で一定レートとされて出力される。

このとき、符号化部３５０の動きベクトル変換部３４４では、ＶＬＤ部３４１で抽出された動きベクトルｍｖを解像度変換率に応じて再スケーリングし、ＶＬＣ部３４６に供給する。

ＶＬＣ部３４６は、Ｑ部３４５からの量子化ＤＣＴ係数に再スケーリングされた動きベクトルｍｖを付加して可変長符号化処理を施し、符号化データをバッファメモリ３４７に供給する。

このように、図２７に示したディジタルビデオ信号変換装置は、復号部３４０及び符号化部３５０でＭＣを行わないので、計算が簡略化でき、ハードウェア負担を軽減できる。

上述の各ディジタルビデオ信号変換装置でレート変換を行ってもよい。つまり解像度をそのままで、転送レートを４Ｍｂｐｓから２Ｍｂｐｓに変換するときに適用してもよい。

なお、上記各実施の形態としては、いずれも装置構成を挙げたが、本発明に係るディジタル信号変換方法をソフトウェアとして用いることにより、上記各装置を構成するようにしてもよい。

以上説明した本発明の実施の形態によれば、動き検出を伴って圧縮符号化されている入力情報信号に対して動き補償を伴った復号を施し、この復号信号に信号変換処理を施し、この変換信号に、上記入力情報信号の動きベクトル情報に基づいた動き検出を伴って圧縮符号化処理を施す。この信号変換処理として解像度変換処理を適用するときには、この解像度変換処理に応じて上記動きベクトル情報をスケール変換して得られる情報に基づいた動き補償を伴った圧縮符号化処理を上記変換信号に施す。特に、圧縮符号化時に必要とする動きベクトル情報を、解像度変換率に応じてスケール変換し、狭い範囲でサーチして推定しているので、動きベクトル推定時の計算量を大幅に削減でき、装置の小型化及び変換処理時間の短縮化を達成できる。

また、本発明の実施の形態は、動き検出を伴う予測符号化と直交変換符号化とを含む圧縮符号化が施されている入力情報信号に対して、一部復号処理を施して直交変換領域の復号信号を得、この直交変換領域の復号信号に信号変換処理を施し、この変換信号に、上記入力情報信号の動きベクトル情報に基づいた動き検出を用いて動き補償予測を伴った圧縮符号化処理を施す。このとき、信号変換処理として、解像度変換処理を適用するときには、この解像度変換処理から得られる精細度に応じて上記動きベクトル情報を変換して得られる情報に基づいた動き補償を伴って、圧縮符号化処理を上記変換信号に施すので、圧縮符号化時に必要とする動きベクトル情報を狭い範囲でサーチして推定でき、計算量を大幅に削減できるので、装置の小型化及び変換処理時間の短縮化を達成できる。また、直交変換領域で信号変換処理を行えるので、逆直交変換処理を不要とし、時間領域や空間領域への復号（逆直交変換）が不要となり、計算が簡略化され、計算誤差の小さい高品質の変換が行える。

また、本発明の実施の形態は、動き検出を伴う予測符号化と直交変換符号化とを含む圧縮符号化が施されている入力情報信号に対して、一部復号処理を施して直交変換領域の復号信号を得、この直交変換領域の復号信号に信号変換処理を施し、この変換信号に、上記入力情報信号の動きベクトル情報に基づいて変換した動きベクトル情報を付加して圧縮符号化処理を施す。このため、信号変換処理として解像度変換処理を適用するときには、この解像度変換処理に応じて上記動きベクトル情報をスケール変換して得られる情報を付加した圧縮符号化処理を上記変換信号に施すことになる。

すなわち、圧縮符号化時に付加する動きベクトル情報を狭い範囲でサーチして推定できるので、動きベクトル推定時の計算量を大幅に削減できる。また、直交変換領域で信号変換処理を行えるので、逆直交変換処理を不要とできる。また、復号時及び符号化時に動き補償処理を用いていないので、計算量のさらなる削減を可能とする。

なお、本発明は、上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

本発明の第１の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 直交変換領域における解像度変換の原理について説明するための図である。 直交変換領域における解像度変換の原理について説明するための図である。 図４Ａ〜図４Ｃは、本発明の第１の実施の形態に係るディジタル信号変換により、ＤＶビデオ信号がＭＰＥＧビデオ信号に変換される際の様子を模式的に示す図である。 ＤＶフォーマットとＭＰＥＧフォーマットの関係を説明するための図である。 解像度変換処理のための基本的な計算手順を説明するための図である。 図７Ａ，図７Ｂは、ＤＶフォーマットの「静止モード」と「動きモード」とについて説明するための図である。 「静止モード」における変換処理の手順を説明するための図である。 図９Ａ〜図９Ｃは、本発明の第２の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 画像を拡大する場合の変換処理の手順を説明するための図である。 本発明の第３の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 本発明の第４の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 本発明の第５の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 本発明の第６の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 本発明の第７の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 本発明の第７の実施の形態において、ＤＶビデオ信号がＭＰＥＧビデオ信号に変換される際に、各フレームのマクロブロック（ＭＢ）毎に量子化スケールが設定される基本的な手順を示すフローチャートである。 本発明の第７の実施の形態において、設定された量子化スケールを用いて、次のフレームに対してフィードバックをかける基本的な手順を示すフローチャートである。 従来において、ＭＰＥＧビデオ信号をＤＶビデオ信号に変換するディジタル信号変換装置の構成例を示すブロック図である。 本発明の第８の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 本発明の第９の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 本発明の第１０の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 本発明の第１１の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 本発明の第１２の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 本発明の第１２の実施の形態おいて、直交変換領域での動き補償、動き推定処理を説明するための図であり、マクロブロックＢが参照用画像の複数のマクロブロックに跨った様子を示す図である。 本発明の第１２の実施の形態おいて、直交変換領域での動き補償、動き推定処理を説明するための図であり、参照用マクロブロックの変換処理を示す図である。 本発明の第１２の実施の形態おいて、直交変換領域での動き補償、動き推定処理を説明するための図であり、参照用マクロブロックの変換手順を示す図である。 本発明の第１３の実施の形態に係るディジタル信号変換装置の構成例を示すブロック図である。 従来のディジタル信号変換装置の構成例を示すブロック図である。

符号の説明

８，２１０ 復号部、 ９，２２０ 符号化部、 １１ デフレーミング部、 １２，１１２ 可変長復号部、 １３，２６，１１３ 逆量子化部、 １４，２５ 逆重み付け部、 １６ 解像度変換部、 １８ 重み付け部、 １９，１４１ 量子化部、 ２０，１４２ 可変長符号化部、 ２１ レート変換部、 ２４ フレームメモリ部、 ２９ レート制御部、 １００ ＭＰＥＧデコーダ、 １１０ ＤＶＤエンコーダ、 １１５，１５２，１７４ 動き補償部、 １３０ 離散コサイン変換部、 １３１ 逆離散コサイン変換部、 １４３ フレーミング部、 １６０ 解像度変換部、 １７１ 動きベクトル変換部、 １７２ 動き推定部

Claims (7)

1. 動き検出を伴って圧縮符号化されている入力情報信号に対して動き補償を伴った復号を施す復号工程と、
   上記復号工程からの復号信号に信号変換処理を施す信号変換処理工程と、
   上記信号変換処理工程からの変換信号に、上記入力情報信号の動きベクトル情報に基づいた動き検出を伴って圧縮符号化処理を施す符号化処理工程と
   を備えることを特徴とするディジタル信号変換方法。
2. 上記信号変換処理工程は、上記復号信号に解像度変換処理を施すこと
   を特徴とする請求項１記載のディジタル信号変換方法。
3. 上記符号化処理工程は、上記解像度変換処理に応じて上記動きベクトル情報をスケール変換して得られる情報に基づいた圧縮符号化処理を上記変換信号に施すこと
   を特徴とする請求項２記載のディジタル信号変換方法。
4. 上記信号変換処理工程は、上記復号信号にレート変換処理を施すことを特徴とする請求項１記載のディジタル信号変換方法。
5. 上記信号変換処理工程は、上記信号変換処理前の信号に含まれるデータ量情報を利用して、上記信号変換処理後の信号のデータ量を直交変換領域で制御すること
   を特徴とする請求項１記載のディジタル信号変換方法。
6. 動き検出を伴って圧縮符号化されている入力情報信号に対して動き補償を伴った復号を施す復号手段と、
   上記復号手段からの復号信号に信号変換処理を施す信号変換処理手段と、
   上記信号変換処理手段からの変換信号に、上記入力情報信号の動きベクトル情報に基づいた動き検出を伴って圧縮符号化処理を施す符号化処理手段とを備えること
   を特徴とするディジタル信号変換装置。
7. 上記信号変換処理手段は、上記信号変換処理前の信号に含まれるデータ量情報を利用して、上記信号変換処理後の信号のデータ量を直交変換領域で制御すること
   を特徴とする請求項６記載のディジタル信号変換装置。

Images