JP2007096431A

JP2007096431A - 任意の変換比率を有するデジタル・ビデオ・フォーマット下方変換装置及び方法

Info

Publication number: JP2007096431A
Application number: JP2005279652A
Authority: JP
Inventors: Mi Michael Bi; ビ・ミ・マイケル; Toshihide Akiyama; 利秀秋山
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-09-27
Filing date: 2005-09-27
Publication date: 2007-04-12
Also published as: CN1972450A; US20070071103A1; EP1768421A2

Abstract

【課題】任意の変換比率を有するデジタル・ビデオ・フォーマット下方変換装置を提供する。
【解決手段】本明細書に記載する発明は、可変的な変換比率を有するデジタル・ビデオ・フォーマット下方変換のための効率的な動き補償装置である。本装置は、変換サイズが可変である多数の直交変換を用いて導かれ、効果的な計算アーキテクチャを用いて実装された補間および間引きフィルタにより特徴付けられる。計算アーキテクチャは、直交変換カーネル選択手段、周波数成分計算手段、係数重み付け手段、および画素再構成手段を含む。補間および間引きフィルタ処理の両方に対して簡単なアーキテクチャが発明された。その結果、シフトおよび加算／減算動作が劇的に減少し、これらがデジタル・ビデオ・システムのビデオ・フォーマット下方変換のＬＳＩの実装に適するようになった。
【選択図】図５

Description

本発明は、任意の変換比率を有するデジタル・ビデオ・フォーマット下方変換装置及び方法に関する。本発明は、デジタル・ビデオデコーダ用のデジタル・ビデオ・フォーマット下方変換の実装に適用できる。本発明の典型的な応用例として、ＨＤＴＶ復号化、ＤＶＤデコーダ、テレビ会議、およびピクチャ・イン・ピクチャ（ＰＩＰ、子画面表示）システムが含まれる。

低解像度デジタル・ビデオデコーダは近年、学界および産業界でかなり注目されている。デジタル・ビデオ復号化システムにおいて、フォーマット下方変換は、復号化された最大解像度ビデオシーケンスを間引くことにより実現できる。この方法を用いて高品質のビデオを再構成することができる。しかし、復号化されたビデオシーケンスの間引きにより、最大解像度ビデオの復号化はより複雑になる。計算量、メモリ・サイズおよびメモリ帯域幅やクロック・レート等、この方法により生じるその他の制約を軽減すべく、画像の間引きはデコーダの初期段階、例えば復号化ループ内で実施されなければならない。

特許文献１に、動き補償を伴なうフォーマット下方変換に提供するデジタル・ビデオデコーダが開示されている。動き補償は、最大解像度画像への補間、動き補償、動き補償された出力の間引きという順序で実現される。

特許文献２、直接離散的余弦変換（ＤＣＴ）マッピングを用いて画像解像度を変更する技術が論じられており、それにより最初に元ＤＣＴ係数を画素に変換する必要なしに元解像度のＤＣＴ係数値が新解像度の変換済み係数値にマッピングされる。

デジタル・ビデオ・フォーマット下方変換に効果的な方法が発明されて、１９９９年６月８日に日本で出願された。すなわち特許文献３、公開番号ＪＰ２０００−３５０２０７、出願人松下電器産業（株）による「低解像度ビデオ復号化のための一般化直交変換方法」である。図１に、このビデオ・フォーマット下方変換方法のブロック図を示す。システムの動作および直交カーネルの詳細が上述の特許出願において議論されている。このアーキテクチャでは、フレーム・バッファに格納された低解像度画素の補間と間引きが、最大画素動き補償の前後で行われる。この補間と間引きは直交変換の基底関数を用いて行われる。補間および間引きフィルタは、デジタル・ビデオのフォーマット下方変換システムの画像間引きがもたらす誤差伝播の制御において極めて重要な役割を果たす。図１に示すデジタル・ビデオのフォーマット下方変換システムにおいて、これらのフィルタは、多数の直交変換カーネルを用いて実現される。間引き比率が８：３であるビデオ下方変換に用いる直交変換カーネルの一実施形態を図２Ａから図２Ｇに示す。これらのカーネルに基づく補間および間引きフィルタ動作の直接的な計算アーキテクチャを図３に示す。カーネルの係数が簡単であるため、当該システムの実装は従来のデジタル・ビデオ・フォーマット下方変換方法よりも比較的容易である。シミュレーションの結果から、この方法が誤差伝播の制御にも極めて有効であることがわかる。
欧州特許出願第ＥＰ０７０７４２６号明細書欧州特許出願第ＥＰ０７８６９０２Ａ号明細書特願平第１１−１６０８７６号明細書米国特許第４７６８１５９号明細書

従来技術に記載された直交変換を用いるデジタル・ビデオ・フォーマット下方変換方法は、高品質の下方変換ビデオを生成する。しかし、変換比率は従来技術に記載された方法に固定される。マルチメディアの応用および現行通信装置、特にさまざまな解像度のスクリーンを備えた移動端子の普及および多様化により、可変な解像度デジタル・ビデオ・フォーマット下方変換に対するニーズが高まっている。高解像度の符号化ビットストリームを効率的に復号化して、復号化された縮小画像を解像度が異なる各種の通信端子に表示するために、イン・ループ可変サイズ・ビデオ・フォーマットの下方復号化アルゴリズムが必要とされている。本発明が解決すべき課題は、変換サイズが異なる直交変換を用いて補間および間引きフィルタの組を導き、補間および間引きフィルタ処理用の効率的な計算アーキテクチャを確立して、可変変換比率を備えたデジタル・ビデオ・フォーマット下方変換システム用の効果的な動き補償を実現することである。

特願平第１１−１６０８７６号明細書に離散的フーリエ変換の効率的な計算方法が開示されている。上述の課題を解決すべく、デジタル・ビデオ・フォーマット下方変換システムが用いる補間および間引きフィルタを実装する効果的な計算アーキテクチャが発明されている。

符号化されたビデオの元解像度は、さまざまな比率を有するビデオ表示装置の目標解像度と異なる場合がある。本発明は、全ての可能な整数解像度比率に用いられる直交カーネルを用いる。本発明は、直交変換カーネルを定義し、さらに好ましい実施の形態では、特定の解像度変化に対する適当なカーネルの選択を定義する。本計算アーキテクチャは、３個の装置、すなわち周波数成分計算手段、係数重み付け手段、および画素再構成手段を含む。直交変換カーネルを直接実装する場合に比べて、必要な計算動作が少なくて済む。

周波数成分計算手段を用いて、入力を周波数領域に変換して変換係数を生成する。係数重み付け手段を用いて、変換係数を受信し、重み付け変換係数を生成する。重み付けされた変換係数は最終的に空間領域に変換されて、元画素とは異なる解像度のフィルタ済み画素を生成する。当該間引き／補間パラメータ生成器を用いて、整数解像度変換比率８：ｒを決定し、適当な直交カーネルを選択すると共に間引き／補間パラメータを生成して前記周波数成分計算手段、係数重み付け手段、および画素再構成手段へ提供する。

本発明は、高品質のビデオ・フォーマット下方変換ソリューションを提供する。本発明の計算量は、従来の低解像度ビデオ復号化方法、または従来技術で言及されるデジタル・ビデオ・フォーマット下方変換方法の直接的な実装により必要とされる場合と比べ、はるかに少なくて済む。補間フィルタおよび間引きフィルタ用に設計された装置は同一アーキテクチャである。補間および間引きに必要なシフトおよび加算動作の数は、下方変換比率が８：３でありビデオ・フォーマット下方変換よりも各々４６％および２１％減らすことができる。

本発明にかかる装置は、デジタル・ビデオ・フォーマット下方変換における動き補償を目的として、デジタル・ビデオ・フォーマット下方変換のための効率的な動き補償を実行する装置であって、
元画素のブロックを受信する入力端子を有し、前記元画素を周波数領域に変換して、変換係数を提供する周波数成分計算手段と、
前記変換係数を受信し、各前記変換係数に所定の定数値の１個を乗算して、重み付け変換係数を生成する係数重み付け手段と、
前記重み付け変換係数を受信する入力端子と、前記元画素とは解像度が異なるフィルタ済み画素を生成する出力端子とを有する画素再構成手段と、
元解像度（Ｒｏ）を受信する第１の入力端子と、目標解像度（Ｒｔ）を受信する第２の入力端子と、２個の出力端子とを有する間引き／補間パラメータ生成器であって、比率８：ｒが解像度比率Ｒｏ：Ｒｔに最も近いように、整数値ｒを整数の組｛２、３、４、５、６、７｝から識別することにより、変換カーネル・インジケータ（整数値ｒ）を導き、自身の２個の出力端子を介して前記変換カーネル・インジケータ（前記整数値ｒ）および間引き／補間パラメータを提供する間引き／補間パラメータ生成器と、
前記変換カーネル・インジケータ（前記整数値ｒ）を受信する入力端子と、２個の出力端子を有し、先頭のｒ行をＫ１から、および先頭のｒ列をＫ２から各々抽出することにより、直交変換カーネルＫ１［ｒ］、Ｋ２［ｒ］を所定の変換カーネルＫ１、Ｋ２から生成する変換カーネルＫ１、Ｋ２生成器であって、前記変換カーネルＫ１、Ｋ２が、以下で定義されるカーネルを有する一般化された直交変換に従い提供されることを特徴とする変換カーネルＫ１、Ｋ２生成器と、
［数１］

前記変換カーネル・インジケータ（前記整数値ｒ）を受信する入力端子と、２個の出力端子を有し、所定の候補カーネルから解像度比率８：ｒの場合に定義された変換カーネルを選ぶことにより、所定の変換カーネルＫ３、Ｋ４の一群から直交変換カーネルＫ３［ｒ］、Ｋ４［ｒ］を選択する変換カーネルＫ３、Ｋ４生成器であって、変換カーネル候補Ｋ３［ｒ］、Ｋ４［ｒ］が以下で定義されるカーネルを有する一般化された直交変換に従い提供されることを特徴とする変換カーネルＫ３、Ｋ４生成器と、
［数２］
ｒ＝７

［数３］
ｒ＝６

［数４］
ｒ＝５

［数５］
ｒ＝４

［数６］
ｒ＝３

［数７］
ｒ＝２

を含む装置である。
次に、本発明の装置の動作について説明する。
まず、補間および間引きフィルタ処理を行なう当該計算アーキテクチャの動作について以下に述べる。間引き／補間パラメータ生成器は、復号化ビデオの元解像度Ｒｏ、およびビデオ表示装置の目標解像度Ｒｔを受信する。比率８：ｒが解像度比率Ｒｏ：Ｒｔに最も近いように、整数値ｒを整数の組｛２、３、４、５、６、７｝から識別することにより整数解像度変換比率ｒ（８：ｒ）が導かれる。直交変換カーネル（Ｋ１［ｒ］、Ｋ２［ｒ］、Ｋ３［ｒ］、およびＫ４［ｒ］）が、所定の直交変換カーネルの一群から取得される。次いで間引き／補間パラメータが生成されて周波数成分計算手段、係数重み付け手段、および画素再構成手段へ送られる。元画素は、当該周波数成分計算手段により周波数領域に変換されて変換係数を生成する。当該係数重み付け手段により、当該変換係数に一組の所定の定数が乗算されて、重み付け変換係数を生成する。重み付け変換係数は、当該画素再構成手段により周波数領域から空間領域に変換されて、当該元画素とは解像度が異なるフィルタ済み画素を提供する。

当該周波数成分計算手段の動作について以下に説明する。元画素のブロックの逆シーケンスが、上位または下位アドレスの逆順に生成される。画素選択手段により、当該画素シーケンス、逆シーケンス、変換係数、およびビットシフト済み係数シーケンスから１対の選択画素シーケンスが選ばれる。画素選択手段により動作指示シーケンスが生成されて加算または減算動作を指示する。当該動作指示シーケンスに基づいて選択画素シーケンスの当該対の和または差が計算されて、当該変換係数を生成する。各変換係数は、１ビット以上シフトされて当該ビットシフト済み係数シーケンスを生成する。

当該周波数成分計算手段はまた、本明細書に記載されている別の方法を用いても動作可能である。データ・アドレス逆転手段は、当該元画素のブロックの逆データの組を上位または下位アドレス逆順で提供する。データ選択手段は、当該元画素および当該逆データの組を受信して、動作指示の組および２個の選択データの組を提供する。計算器は、当該選択データの各々の対の和または差を計算して処理済みデータを生成する。１個以上のカスケードされた演算装置が、当該処理済みデータを受信し、それらを代数的に操作して当該変換係数を提供する。

当該係数重み付け手段の動作について以下に説明する。各変換係数に、当該係数メモリに格納された当該所定の定数値の１個が乗算される。当該乗算手段の出力または当該変換係数は、係数バイパス制御信号に基づいて切替えられて、当該重み付け変換係数を提供する。当該係数バイパス制御信号は、デジタル・ビデオのフォーマット下方変換システム用の変換カーネルに基づいて決定される。

当該画素再構成手段の動作について以下に説明する。当該重み付け変換係数は、１ビット以上シフトされて当該ビットシフト済みベクトルを生成する。係数選択手段により、当該係数ベクトル、当該ビットシフト済みベクトル、フィルタ済み画素、および逆画素ベクトルから１対の選択係数ベクトルが選ばれる。当該係数選択手段により、動作指示ベクトルが生成されて、加算または減算動作を示す。当該動作指示ベクトルに基づいて、係数サンプルの当該対の和または差が計算されて、当該フィルタ済み画素を生成する。アドレス逆転手段により、フィルタされた係数のブロックの逆画素ベクトルが上位または下位アドレスの逆順に生成される。

当該画素再構成手段はまた、１個以上のカスケードされた演算装置を用いても実現可能である。当該周波数成分計算手段および画素再構成手段として用いる演算装置の動作について以下に説明する。シフターは、入力データを１ビット以上シフトさせてビットシフト済みデータの組を生成する。データセレクタは、当該入力データおよび当該ビットシフト済みデータの組を受信して、動作指示の組および２個の選択データの組を提供する。計算器は、当該動作指示に基づいて、２個の選択データの組を加算または減算する。

周波数成分計算手段の入力端子は、フレーム・バッファの出力端子に接続可能であり、画素再構成手段の出力端子は、動き補償手段に補間済み画素を提供することができる。

周波数成分計算手段の入力端子は、動き補償手段の出力端子に接続可能であり、画素再構成手段の出力端子は、加算手段に間引き済み画素を提供することができる。

本発明のこれらおよび他の目的並びに特徴は、好適な実施形態と合わせて以下の記載から明らかになるが、参照する添付図面の全てを通じて同一部品は同一参照番号で示す。

図４の実施形態は、デジタル・ビデオ・フォーマット下方変換の効率的な動き補償システムのブロック図を示す。本システムは、構文パーサおよび可変長復号化手段２１０、補間手段２２０、逆動き補償手段２３０、間引き手段２４０、およびフレーム・バッファ２５０を含む。補間手段２２０および間引き手段２４０は、逆動き補償手段２３０の前後で用いられる。

ビデオ・ビットストリーム２０１は、最初に構文パーサおよび可変長復号化手段２１０により復号化されて復号化動作パラメータ２１１が得られる。フレーム・バッファ２５０は、低解像度ビデオ画像を格納する。低解像度基準画素２５１は、補間手段２２０によるフレーム・バッファ２５０から取得され、補間されて逆動き補償手段２３０用の補間済み画素２２１を生成する。逆動き補償手段２３０は、補間済み画素２２１および復号化動作パラメータ２１１に基づいて動き補償を実行して、に動き補償済み画素２３１を得る。動き補償済み画素２３１は次いで、間引き手段２４０により間引かれて間引き済み画素２４１を生成する。

本実施形態の効果は、下方変換ビデオ用の逆動き補償の精度が、補間および間引き手段を導入することにより向上できる点である。各ビデオフレームのフォーマット下方変換処理が誤差を導くため、復号化誤差の伝播を制御することは極めて重要である。適切に設計された補間および間引き手段は、各復号化フレームの誤差を最小化する効率的な誤差制御エンジンである。

図５に示す別の実施形態は、図４に示す補間および間引き手段で用いる方法を説明する。これは６個の構成要素、すなわち、周波数成分計算手段３００、係数重み付け手段３１０、画素再構成手段３２０、間引き／補間パラメータ生成器３３０、変換カーネルＫ１、Ｋ２３４０、変換カーネルＫ３、Ｋ４の候補３５０を含む。

本実施形態の動作について以下に説明する。補間および間引きフィルタ処理用の当該計算アーキテクチャの動作について以下に説明する。間引き／補間パラメータ生成器３３０は復号化ビデオの元解像度３３３Ｒｏおよびビデオ表示装置の目標解像度３３４Ｒｔを受信する。比率８：ｒが解像度比率Ｒｏ：Ｒｔに最も近いように、整数値ｒ３３２を整数の組｛２、３、４、５、６、７｝から識別することにより整数解像度変換比率３３２ｒ（８：ｒ）が導かれる。直交変換カーネル（Ｋ１［ｒ］、Ｋ２［ｒ］、Ｋ３［ｒ］、およびＫ４［ｒ］）が、所定の変換カーネルＫ１、Ｋ２生成器３４０、および所定の変換カーネルＫ３、Ｋ４生成器３５０から取得される。Ｋ１［ｒ］、Ｋ２［ｒ］は、先頭のｒ行をＫ１から、および先頭のｒ列をＫ２から抽出することにより、図２Ａで定義された変換カーネルＫ１、Ｋ２から導かれる。Ｋ３［ｒ］、Ｋ４［ｒ］は、図２Ｇで図２Ｂにおいて定められる候補カーネルから、解像度比率８：ｒについて定義された変換カーネルを選択することにより生成される。間引き／補間パラメータ３３１は次いで、生成されて周波数成分計算手段３００、係数重み付け手段３１０、および画素再構成手段３２０へ提供される。フレーム・バッファ２５０から取得された元画素３０１は、周波数成分計算手段３００により変換係数３０２に変換される。変換係数３０２には、係数重み付け手段３１０を用いて所定の値が乗算されて重み付け変換係数３１１を生成する。重み付け変換係数３１１は、画素再構成手段３２０により空間領域に変換されて、元画素３０１とは解像度が異なるフィルタ済み画素３２１を生成する。

図１２に示す別の実施形態により、図５の実施形態で述べた変換カーネル・インジケータの生成を説明する。最初に、値ｒ_ｃｕｒｒ、ｒ_ｐａｓｔは各々７、８に設定される。次いで、値ｒｄｉｆｆｃｕｒｒ、ｒｄｉｆｆｐａｓｔが各々、
［数１］

により計算される。ｒｄｆｉｆｆｃｕｒｒがｒｄｉｆｆｐａｓｔより小さい場合、ｒ_ｐａｓｔ、ｒ_ｃｕｒｒは、ｒ_ｐａｓｔ＝ｒ_ｃｕｒｒかつｒ_ｃｕｒｒ＝ｒ_ｃｕｒｒ−１に割り当てられる。それ以外の場合、ｒ_ｃｕｒｒが変換カーネル・インジケータとして出力される。ｒ_ｐａｓｔ＝ｒ_ｃｕｒｒかつｒ_ｃｕｒｒ＝ｒ_ｃｕｒｒ−１の割り当てが完了した後で、ｒ_ｃｕｒｒの値が調べられる。ｒ_ｃｕｒｒが２であれば、ｒ_ｃｕｒｒは変換カーネル・インジケータとして出力され、それ以外の場合、ｒｄｆｉｆｆｃｕｒｒおよびｒｄｉｆｆｐａｓｔは更新されたｒ_ｃｕｒｒ、ｒ_ｐａｓｔを用いて再計算される。上述の処理は、変換カーネル・インジケータ（整数値ｒ）が得られて出力されるまで繰り返される。

図６に示す別の実施形態は、図５に示す周波数成分計算手段３００の実装を説明する。本装置は、アドレス逆転手段４００、画素選択手段４１０、加算器／減算器４２０、およびビットシフト手段４３０を含む。

本実施形態の動作について以下に説明する。アドレス逆転手段４００により、元画素４０１のブロックの逆シーケンス４０２が、上位または下位アドレスの逆順に生成される。画素選択手段４１０により、元画素４０１、逆シーケンス４０２、変換係数４２１、およびビットシフト済み係数シーケンス４３１から１対の選択画素シーケンス４１２、４１３が選ばれる。画素選択手段４１０により動作指示シーケンス４１１が生成されて加算または減算動作を指示する。動作指示シーケンス４１１に基づいて選択画素シーケンス対４１２、４１３の和または差が計算されて、変換係数４２１を生成する。各変換係数４２１は、ビットシフト手段４３０により１ビット以上シフトされてビットシフト済み係数シーケンス４３１を生成する。

図７に示す別の実施形態は、図５に示す係数重み付け手段３１０の詳細を説明する。本装置は、係数メモリ５００、乗算手段５１０、およびマルチプレクサ５２０を含む。

本実施形態の動作について以下に説明する。各変換係数５１１に、係数メモリ５００に格納された所定の定数値の１個が乗算される。乗算手段５１０の出力と変換係数５１１は、係数バイパス制御信号５２２に基づいて多重化されて、重み付け変換係数５２１を提供する。係数バイパス制御信号は、デジタル・ビデオのフォーマット下方変換システム用の変換カーネルに基づいて決定される。

図８に示す別の実施形態は、図５に示す画素再構成手段３２０の詳細を説明する。本装置は、ビットシフト手段６００、係数選択手段６１０、および加算器／減算器６２０を含む。

本実施形態の動作について以下に説明する。重み付け変換係数６０１は、ビットシフト手段６００により１ビット以上シフトされてビットシフト済みベクトル６０２を生成する。信号選択手段６１０により、重み付け変換係数６０１、ビットシフト済みベクトル６０２、およびフィルタ済み画素６２１から１対の選択係数ベクトル６１２、６１３が選ばれる。係数選択手段６１０により、動作指示ベクトル６１１もまた生成されて、加算または減算動作を示す。動作指示ベクトル６１１に基づいて、選択係数ベクトル６１２、６１３の和または差が計算されて、フィルタ済み画素６２１を生成する。

図５〜図８に示す実施形態の直接効果は、画像補間および間引き装置が、一般化された直交変換の特性に従い導かれた効率的な計算アーキテクチャを用いて実現できる点である。同一装置を、直交変換に基づいて導かれた補間および間引きフィルタ処理の両方に用いることができる。中間計算結果は、信号選択手段にフィードバックされ、同一回路を用いた更なる処理に供される。このように、図５〜図８に示す実施形態の別の効果は、デジタル・ビデオのフォーマット下方変換システムに必要な回路の規模を縮小可能なことである。

図９に示す実施形態は、補間および間引きフィルタ処理の実施態様のための別の装置を説明する。本装置は、前処理手段７１０、２組のカスケードされた演算装置７２０、７４０、および係数重み付け手段７３０を含む。

本実施形態の動作について以下に説明する。前処理手段７１０により元画素７０１が処理されて、処理済みデータ７１１を生成する。１組のカスケードされた演算装置７２０により、処理済みデータ７１１が更に処理されて、図５に示す変換係数３０２と同一の変換係数７２１を生成する。係数重み付け手段７３０は、図５に示す実施形態に記載されているのと同一の動作を変換係数７２１に対し実行して、重み付け変換係数７３１を提供する。他の組のカスケードされた演算装置が重み付け変換係数７３１を受信し、これらを処理してフィルタ済み画素７４１を生成する。

図１０に示す実施形態は、図９に示す実施形態で用いる前処理手段の詳細を説明する。本実施形態は、データセレクタ８１０、データ・アドレス逆転手段８２０、および加算器／減算器８３０を含む。

本実施形態の動作について以下に説明する。元画素８０１のブロックの逆データの組８２１は、データ・アドレス逆転手段８２０により、上位または下位アドレスの逆順に生成される。データセレクタ８１０は、元画素８０１および逆データの組８２１から１対のデータ８１２、８１３を選択して、動作インジケータ８１１を生成する。動作インジケータ８１１は、１個の値が加算動作を示し、もう１個の値が減算動作を示す２値データである。加算器／減算器８３０は、動作インジケータ８１１に基づいて、選択されたデータ対８１２、８１３の和／差を計算して処理済みデータ８３１を生成する。

図１１に示す別の実施形態は、カスケードされた演算装置の詳細を説明する。演算装置１９００から演算装置Ｎ９１０（ただしＮ≧１）はカスケード式に相互接続されている。第Ｎ演算装置９１０は、シフター９２０、データセレクタ９３０、および加算器／減算器９４０を含む。

第ｎ（ｎ≧１）演算装置９１０の動作について以下に説明する。第（ｎ−１）演算装置の出力（またはｎ＝１の場合、前処理手段７１０の出力）である入力ｒ_ｎ−１は、シフター９２０により１ビット以上シフトされてビットシフト済みデータｓ_ｎを生成する。データセレクタ９３０は、ｒ_ｎ−１、ｓ_ｎおよび動作インジケータ（ｏｐ_ｎ）から１対のデータ（ｄ_１ｎ、ｄ_２ｎ）を選択する。動作インジケータ（ｏｐ_ｎ）は、１個の値が加算動作示し、もう１個の値が減算動作を示す２値データである。加算器／減算器９４０は、ｏｐ_ｎの値に基づいてｄ_１ｎ、ｄ_２ｎの和／差を計算して、第ｎ演算装置９１０の出力ｒ_ｎを生成する。

図９〜図１１に示す実施形態の効果は、補間および間引きフィルタ処理を実行する代替的な方法を提供する点である。図５〜図８に示す実施形態と同様に、直交変換に基づいて導かれた補間および間引きフィルタ処理の両方に同じアーキテクチャを用いることができる。しかし、各実施形態にはフィードバックループが存在しない。従って、ハードウェア要件を増大させる代わりに補間および間引き回路により生じた待ち時間を最小化することができる。本特許明細書の図２Ａおよび図２Ｆに示す直交変換カーネルを用いるビデオ・フォーマット下方変換の目的で、図９〜図１１に示す実施形態に記載されている装置に基づいて構築された計算アーキテクチャを図１３に示す。

本発明は、高品質のビデオ・フォーマット下方変換ソリューションを提供する。本発明の計算量は、従来の低解像度ビデオ復号化方法、または従来技術で言及されるデジタル・ビデオ・フォーマット下方変換方法の直接的な実装により必要とされる程度よりもはるかに少なくて済む。補間フィルタおよび間引きフィルタ用に設計された装置は同一アーキテクチャである。補間および間引きに必要なシフトおよび加算動作の数は、下方変換比率が８：３でありビデオ・フォーマット下方変換よりも各々４６％および２１％減らすことができる。

この発明は任意の変換比率を有するデジタル・ビデオ・フォーマット下方変換装置及び方法に適用される。

従来技術に記載されている低解像度ビデオデコーダのブロック図を示す。下方変換比率が８：７〜８：２である低解像度ビデオ復号化用のカーネルＫ_１、Ｋ_２の式を示す。下方変換比率が８：７である低解像度ビデオ復号化用のカーネルＫ_３、Ｋ_４の式を示す。下方変換比率が８：６である低解像度ビデオ復号化用のカーネルＫ_３、Ｋ_４の式を示す。下方変換比率が８：５である低解像度ビデオ復号化用のカーネルＫ_３、Ｋ_４の式を示す。下方変換比率が８：４である低解像度ビデオ復号化用のカーネルＫ_３、Ｋ_４の式を示す。下方変換比率が８：３である低解像度ビデオ復号化用のカーネルＫ_３、Ｋ_４の式を示す。下方変換比率が８：２である低解像度ビデオ復号化用のカーネルＫ_３、Ｋ_４の式を示す。８：３のデジタルビデオ下方変換用の変換カーネルの直接的な計算アーキテクチャで、補間フィルタの計算アーキテクチャを示す。８：３のデジタルビデオ下方変換用の変換カーネルの直接的な計算アーキテクチャで、間引きフィルタの計算アーキテクチャを示す。低解像度デジタル・ビデオ・フォーマット下方変換システム用の効率的な動き補償装置のブロック図を示す。各種の補間および間引き比率８：ｒ、ｒ＝２、３、・・・、７を有する画素補間および間引きフィルタ処理のブロック図を示す。周波数成分計算手段のブロック図を示す。係数重み付け手段のブロック図を示す。画素再構成手段のブロック図を示す。カスケードされた演算装置を用いる補間および間引きフィルタ処理のブロック図を示す。前処理手段のブロック図を示す。カスケードされた演算装置のブロック図を示す。変換カーネル・インジケータ（整数値ｒ）の生成を示す。比率が８：３であるデジタル・ビデオのフォーマット下方変換に用いる補間フィルタの計算アーキテクチャを示す。比率が８：３であるデジタル・ビデオのフォーマット下方変換に用いる間引きフィルタの計算アーキテクチャを示す。

符号の説明

２０１ビデオ・ビットストリーム
２１０構文パーサおよび可変長復号化手段
２１１復号化動作パラメータ
２２０補間手段
２２１補間済み画素
２３０逆動き補償手段
２３１動き補償済み画素
２４０間引き手段
２４１間引き済み画素
２５０フレーム・バッファ
２５１低解像度基準画素
２５２復号化ビデオ画素
３００周波数成分計算手段
３０１元画素
３０２変換係数
３１０係数重み付け手段
３１１重み付け変換係数
３２０画素再構成手段
３２１フィルタ済み画素
３３０間引き／補間パラメータ生成器
３３１間引き／補間パラメータ
３３２変換カーネル・インジケータ
３３３元解像度（Ｒ_ｏ）
３３４目標解像度（Ｒ_ｔ）
３４０変換カーネルＫ１、Ｋ２生成器
３５０変換カーネルＫ３、Ｋ４生成器
４００アドレス逆転手段
４０１元画素
４０２逆シーケンス
４１０画素選択手段
４１１動作指示シーケンス
４１２，４１３選択画素シーケンス対
４２０加算器／減算器
４２１変換係数
４３０ビットシフト手段
４３１ビットシフト済み係数シーケンス
５００係数メモリ
５１０乗算手段
５１１変換係数
５２０マルチプレクサ
５２１重み付け変換係数
５２２係数バイパス制御信号
６００ビットシフト手段
６０１重み付け変換係数
６０２ビットシフト済みベクトル
６１０係数選択手段
６１１動作指示ベクトル
６１２選択係数ベクトル１
６１３選択係数ベクトル２
６２０加算器／減算器
６２１フィルタ済み画素
７０１元画素
７１０前処理手段
７１１処理済みデータ
７２０カスケードされた演算装置
７２１変換係数
７３０係数重み付け手段
７３１重み付け変換係数
７４０カスケードされた演算装置
７４１フィルタ済み画素
８０１元画素
８１０データセレクタ
８１１動作インジケータ
８１２，８１３データ対
８２０データ・アドレス逆転手段
８３０加算器／減算器
８３１処理済みデータ
９００演算装置１
９１０演算装置Ｎ
９２０シフタ
９３０データセレクタ
９４０加算器／減算器

Claims

デジタル・ビデオ・フォーマット下方変換における動き補償を目的として、デジタル・ビデオ・フォーマット下方変換のための効率的な動き補償を実行する装置であって、
元画素のブロックを受信する入力端子を有し、前記元画素を周波数領域に変換して、変換係数を提供する周波数成分計算手段と、
前記変換係数を受信し、各前記変換係数に所定の定数値の１個を乗算して、重み付け変換係数を生成する係数重み付け手段と、
前記重み付け変換係数を受信する入力端子と、前記元画素とは解像度が異なるフィルタ済み画素を生成する出力端子とを有する画素再構成手段と、
元解像度（Ｒｏ）を受信する第１の入力端子と、目標解像度（Ｒｔ）を受信する第２の入力端子と、２個の出力端子とを有する間引き／補間パラメータ生成器であって、比率８：ｒが解像度比率Ｒｏ：Ｒｔに最も近いように、整数値ｒを整数の組｛２、３、４、５、６、７｝から識別することにより、変換カーネル・インジケータ（整数値ｒ）を導き、自身の２個の出力端子を介して前記変換カーネル・インジケータ（前記整数値ｒ）および間引き／補間パラメータを提供する間引き／補間パラメータ生成器と、
前記変換カーネル・インジケータ（前記整数値ｒ）を受信する入力端子と、２個の出力端子を有し、先頭のｒ行をＫ１から、および先頭のｒ列をＫ２から各々抽出することにより、直交変換カーネルＫ１［ｒ］、Ｋ２［ｒ］を所定の変換カーネルＫ１、Ｋ２から生成する変換カーネルＫ１、Ｋ２生成器であって、前記変換カーネルＫ１、Ｋ２が、以下で定義されるカーネルを有する一般化された直交変換に従い提供されることを特徴とする変換カーネルＫ１、Ｋ２生成器と、
［数１］

前記変換カーネル・インジケータ（前記整数値ｒ）を受信する入力端子と、２個の出力端子を有し、所定の候補カーネルから解像度比率８：ｒの場合に定義された変換カーネルを選ぶことにより、所定の変換カーネルＫ３、Ｋ４の一群から直交変換カーネルＫ３［ｒ］、Ｋ４［ｒ］を選択する変換カーネルＫ３、Ｋ４生成器であって、変換カーネル候補Ｋ３［ｒ］、Ｋ４［ｒ］が以下で定義されるカーネルを有する一般化された直交変換に従い提供されることを特徴とする変換カーネルＫ３、Ｋ４生成器と、
［数２］
ｒ＝７

［数３］
ｒ＝６

［数４］
ｒ＝５

［数５］
ｒ＝４

［数６］
ｒ＝３

［数７］
ｒ＝２

を含む装置。
前記直交変換カーネルＫ１［ｒ］、Ｋ２［ｒ］が、先頭のｒ行を前記Ｋ１から、および先頭のｒ列を前記Ｋ２から抽出することにより生成される、請求項１に記載の変換カーネルＫ１、Ｋ２生成器。
前記周波数成分計算手段の前記入力端子が前記フレーム・バッファの前記出力端子に接続されていて、前記画素再構成手段の前記出力端子が前記動き補償手段に前記補間済み画素を提供する、請求項１に記載の補間手段。
前記周波数成分計算手段の前記入力端子が逆動き補償手段の出力端子に接続されていて、前記画素再構成手段の前記出力端子が前記間引き済み画素を提供する、請求項１に記載の間引き手段。
前記周波数成分計算手段が、
前記元画素のブロックの逆シーケンスを上位アドレスの逆順に提供するアドレス逆転手段と、
各々の前記変換係数を１ビット以上シフトさせてビットシフト済み係数シーケンスを生成するビットシフト手段と、
前記元画素、前記逆シーケンス、前記変換係数、およびビットシフト済み係数シーケンスを受信して、動作指示シーケンス、第１の選択画素シーケンス、および第２の選択画素シーケンスを提供する画素選択手段と、
前記動作指示シーケンス、前記第１の選択画素シーケンス、および第２の選択画素シーケンスを受信するとともに、一方が前記第１の選択画素シーケンスから、他方が前記第２の選択画素シーケンスからの画素サンプル対の各々の和または差の少なくとも一つを、前記動作指示シーケンスに基づいて計算して前記変換係数を生成する計算器とを更に含む、請求項１に記載の補間および間引き手段。
前記周波数成分計算手段が、
前記元画素のブロックの逆シーケンスを下位アドレスの逆順に提供するアドレス逆転手段と、
各々の前記変換係数を１ビット以上シフトさせてビットシフト済み係数シーケンスを生成するビットシフト手段と、
前記元画素、前記逆シーケンス、前記変換係数、およびビットシフト済み係数シーケンスを受信して、動作指示シーケンス、第１の選択画素シーケンス、および第２の選択画素シーケンスを提供する画素選択手段と、
前記動作指示シーケンス、前記第１の選択画素シーケンス、および第２の選択画素シーケンスを受信するとともに、一方が前記第１の選択画素シーケンスから、他方が前記第２の選択画素シーケンスからの画素サンプル対の各々の和または差の少なくとも一つを、前記動作指示シーケンスに基づいて計算して前記変換係数を生成する計算器とを更に含む、請求項１に記載の補間および間引き手段。
前記係数重み付け手段が、
所定の定数値を格納する係数メモリと、
前記変換係数を受信する入力端子を有し、前記変換係数の１個に対し、前記係数メモリに格納された前記所定の定数値の１個を乗算する乗算手段と、
係数バイパス制御信号に基づいて、前記乗算手段の出力あるいは前記変換係数のいずれかを選択し、前記重み付け変換係数を提供するマルチプレクサとを更に含む、請求項１に記載の補間および間引き手段。
前記画素再構成手段が、
各々の前記重み付け変換係数を１ビット以上シフトさせてビットシフト済みベクトルを生成するビットシフト手段と、
前記重み付け変換係数、前記ビットシフト済みベクトル、および前記フィルタ済み画素を受信し、動作指示ベクトル、および２個の選択係数ベクトルすなわち第１の選択係数ベクトルと第２の選択係数ベクトルを提供する係数選択手段と、
前記動作インジケータ・ベクトル、前記第１の選択係数ベクトル、および前記第２の選択係数ベクトルを受信するとともに、一方が前記第１の選択係数ベクトルから、他方が前記第２の選択係数ベクトルから選ばれた係数サンプル対の各々の和または差の少なくとも一つを、前記動作指示ベクトルに基づいて計算して前記フィルタ済み画素を生成する計算器とを更に含む、請求項１に記載の補間および間引き手段。
前記周波数成分計算手段が、
前記元画素を受信し、これらを代数的に操作して処理済みデータを提供する前処理手段と、
入力端子および出力端子を有する１個以上のカスケードされた演算装置とを含む、請求項１に記載の補間および間引き手段。
前記第１のカスケードされた演算装置の前記入力端子が、前記前処理手段に接続されている、請求項９に記載の装置。
第ｍ番目（ｍ＞１）のカスケードされた演算装置の前記入力端子が、第（ｍ−１）番目のカスケードされた演算装置に接続されている、請求項９に記載の装置。
最後尾のカスケードされた演算装置の前記出力端子が、前記係数重み付け手段へ前記変換係数を提供する、請求項９に記載の装置。
前記前処理手段が、
前記元画素のブロックの逆データの組を上位アドレスの逆順に提供するデータ・アドレス逆転手段と
前記元画素および前記逆データの組を受信し、動作指示の組、第１の選択データの組、および第２の選択データの組を提供するデータ選択手段と、
前記動作指示の組、前記第１の選択データの組、および第２の選択データの組を受信するとともに、一方が前記第１の選択データの組から、他方が前記第２の選択データの組からのデータ対の各々の和／差を、前記動作指示の組に基づいて計算して前記処理済みデータを生成する計算器とを更に含む、請求項９に記載の装置。
前記前処理手段が、
前記元画素のブロックの逆データの組を下位アドレスの逆順に提供するデータ・アドレス逆転手段と
前記元画素および前記逆データの組を受信し、動作指示の組、第１の選択データの組、および第２の選択データの組を提供するデータ選択手段と、
前記動作指示の組、前記第１の選択データの組、および前記第２の選択データの組を受信するとともに、一方が前記第１の選択データの組から、他方が前記第２の選択データの組からのデータ対の各々の和／差を、前記動作指示の組に基づいて計算して前記処理済みデータを生成する計算器とを更に含む、請求項９に記載の装置。
前記画素再構成手段が、入力端子および出力端子を有する１個以上のカスケードされた演算装置を更に含む、請求項１に記載の装置。
前記第１のカスケードされた演算装置の前記入力端子が、前記係数重み付け手段に接続されている、請求項１５に記載の装置。
第ｍ番目（ｍ＞１）のカスケードされた演算装置の前記入力端子が、第（ｍ−１）番目のカスケードされた演算装置に接続されている、請求項１５に記載の装置。
最後尾のカスケードされた演算装置の前記出力端子が、前記フィルタ済み画素を提供する、請求項１５に記載の装置。
第ｎ番目（ｎ≧１）のカスケードされた演算装置が、
入力データ（ｒ_ｎ−１）を１ビット以上シフトさせてビットシフト済みデータの組（Ｓ_ｎ）を生成するシフターと、
前記入力データ（ｒ_ｎ−１）および前記ビットシフト済みデータの組（Ｓ_ｎ）を受信し、動作指示の組（ｏｐ_ｎ）、第１の選択データの組、および第２の選択データの組を提供するデータセレクタと、
前記動作指示の組（ｏｐ_ｎ）、前記第１の選択データの組、および前記第２の選択データの組を受信するとともに、一方が前記第１の選択データの組から、他方が前記第２の選択データの組から選ばれた２個の前記選択データの組（ｄ_１ｎ、ｄ_２ｎ）を、前記動作指示の組（ｏｐ_ｎ）に基づいて加算／減算して、前記カスケードされた演算装置（ｒ_ｎ）の出力を提供する計算器とを含む、請求項９または請求項１５のいずれかに記載の装置。
前記変換カーネル・インジケータ（前記整数値ｒ）が以下の、
ｒ_ｃｕｒｒ＝７およびｒ_ｐａｓｔ＝８に設定するステップと、
［数８］

および

を計算するステップと、
ｒｄｉｆｆｃｕｒｒとｒｄｉｆｆｐａｓｔを比較して、ｒｄｉｆｆｃｕｒｒ＜ｒｄｉｆｆｐａｓｔならば「ｙｅｓ」、それ以外の場合は「ｎｏ」を出力するステップと、
前記ステップの比較の出力が「ｙｅｓ」ならば、ｒ_ｐａｓｔをｒ_ｃｕｒｒで置き換え、ｒ_ｃｕｒｒを（ｒ_ｃｕｒｒ−１）で置き換えるステップと、
ｒ_ｃｕｒｒの値が２であるか否かを検査して、ｒ_ｃｕｒｒ＝２ならば「ｙｅｓ」を出力し、それ以外の場合は「ｎｏ」を出力するステップと、
前記変換カーネル・インジケータ（前記整数値ｒ）をｒ_ｃｕｒｒに割り当てて、前記変換カーネル・インジケータを出力するステップと、
前記比較の出力が「ｎｏ」ならば前記割り当てステップへ飛ぶステップと、
前記検査の出力が「ｎｏ」ならば、前記計算ステップへ飛ぶステップとにより得られる、請求項１に記載の装置。
一般化された直交変換を用いてデジタル・ビデオ・フォーマット下方変換用の効率的な動き補償を実行する装置であって、
復号化動作パラメータを提供する出力端子を有し、ビデオ・ビットストリームを復号化する構文パーサおよび可変長復号化手段と、
低解像度基準画素を提供する出力端子を有し、再構成された低解像度画像を格納するフレーム・バッファと、
前記フレーム・バッファから取得された前記低解像度基準画素を、高解像度空間へマッピングし、逆動き補償で用いるべく補間済み画素を提供する補間手段と、
動き補償を実行し、前記補間済み画素を受信する第１の入力端子と、前記構文パーサおよび可変長復号化手段により提供される復号化動作パラメータを受信する第２の入力端子と、高解像度動き補償済み画素を提供する出力端子とを有する逆動き補償手段と、
前記高解像度動き補償済み画素を低解像度空間へマッピングして間引き済み画素を提供する間引き手段とを含み、前記補間手段および間引き手段のうち少なくとも一つが請求項１〜２０のいずれか一項に記載の装置を含む装置。
デジタル・ビデオ・フォーマット下方変換における動き補償を目的として、デジタル・ビデオ・フォーマット下方変換のための効率的な動き補償を実行する方法であって、
元画素のブロックを受信し、前記元画素を周波数領域に変換して、変換係数を提供する周波数成分計算ステップと、
前記変換係数を受信し、各前記変換係数に所定の定数値の１個を乗算して、重み付け変換係数を生成する係数重み付けステップと、
前記重み付け変換係数を受信し、前記元画素とは解像度が異なるフィルタ済み画素を生成する画素再構成ステップと、
元解像度（Ｒｏ）を受信すると共に、目標解像度（Ｒｔ）を受信する間引き／補間パラメータ生成ステップであって、比率８：ｒが解像度比率Ｒｏ：Ｒｔに最も近いように、整数値ｒを整数の組｛２、３、４、５、６、７｝から識別することにより、変換カーネル・インジケータ（整数値ｒ）を導き、前記変換カーネル・インジケータ（前記整数値ｒ）および間引き／補間パラメータを提供する間引き／補間パラメータ生成ステップと、
前記変換カーネル・インジケータ（前記整数値ｒ）を受信し、先頭のｒ行をＫ１から、および先頭のｒ列をＫ２から各々抽出することにより、直交変換カーネルＫ１［ｒ］、Ｋ２［ｒ］を所定の変換カーネルＫ１、Ｋ２から生成する変換カーネルＫ１、Ｋ２生成ステップであって、前記変換カーネルＫ１、Ｋ２が、以下で定義されるカーネルを有する一般化された直交変換に従い提供されることを特徴とする変換カーネルＫ１、Ｋ２生成ステップと、
［数１］

前記変換カーネル・インジケータ（前記整数値ｒ）を受信し、所定の候補カーネルから解像度比率８：ｒの場合に定義された変換カーネルを選ぶことにより、所定の変換カーネルＫ３、Ｋ４の一群から直交変換カーネルＫ３［ｒ］、Ｋ４［ｒ］を選択する変換カーネルＫ３、Ｋ４生成ステップであって、変換カーネル候補Ｋ３［ｒ］、Ｋ４［ｒ］が以下で定義されるカーネルを有する一般化された直交変換に従い提供されることを特徴とする変換カーネルＫ３、Ｋ４生成ステップと、
［数２］
ｒ＝７

［数３］
ｒ＝６

［数４］
ｒ＝５

［数５］
ｒ＝４

［数６］
ｒ＝３

［数７］
ｒ＝２

を含む方法。