JP2000041258A - 低解像度ビデオ・デコーダで画質を改善するための方法及び装置 - Google Patents

低解像度ビデオ・デコーダで画質を改善するための方法及び装置

Info

Publication number
JP2000041258A
JP2000041258A JP10326803A JP32680398A JP2000041258A JP 2000041258 A JP2000041258 A JP 2000041258A JP 10326803 A JP10326803 A JP 10326803A JP 32680398 A JP32680398 A JP 32680398A JP 2000041258 A JP2000041258 A JP 2000041258A
Authority
JP
Japan
Prior art keywords
prediction
video
resolution
data
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10326803A
Other languages
English (en)
Inventor
Larry Pearlstin
ラリー パールステイン
John Henderson
ジョン ヘンダーソン
Jack Farrar
ジャック ファーラー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JP2000041258A publication Critical patent/JP2000041258A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

(57)【要約】 【課題】 低解像度ビデオ・デコーダによって生成され
た画像の画質を向上させ、低解像度画像を発生する新規
かつ改善されたビデオ・デコーダを得る。 【解決手段】 低解像度基準フレームを表わす基準フレ
ーム・データを記憶するためのメモリと、記憶してある
基準フレーム・データと前記記憶してある基準フレーム
・データより高解像度の基準フレーム・データに適用す
るように符号化された動きベクトルの関数として予測画
像データを生成するための動き補償予測モジュールと、
予測誤差の発生する可能性に関して前記動きベクトルを
分析するための予測分析回路とを備えている。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はビデオ・データを復
号するための方法及びその装置に関し、さらに詳しく
は、低解像度ビデオ・デコーダによって生成された画像
の画質を改善するための方法及びその装置と、符号化ビ
デオ・データから低解像度画像を作成するための改善さ
れたビデオ・デコーダに関する。
【０００２】
【従来の技術】デジタル信号を用いたビデオ・データの
伝送が広く一般化している。効率的にビデオ情報を伝送
するためには、データ圧縮を用いることが多い。
【０００３】国際標準化機構（ＩＳＯ）では、高品位テ
レビ（ＨＤＴＶ）等のデジタル・ビデオ信号の符号化及
び伝送を想定してＭＰＥＧと呼ばれる規格を策定した。
ＭＰＥＧ規格の一つであるＭＰＥＧ２は国際標準化機構
動画エキスパートグループ勧告草案Ｈ．２６２（Intern
ational Standards Organization - Moving PictureExp
erts Group, Drafts of Recommendation H.262）、ＩＳ
Ｏ／ＩＥＣ H１３１８−１、１３１８−２（１９９４年
１１月）に記載されている。
【０００４】ＭＰＥＧ２や同様の符号化システムは、一
連のデジタル画像を表現するのに必要なデジタルデータ
の量を低減するために、ディスクリートコサイン変換符
号化及び動き補償予測技術、例えば動きベクトルの使用
に依存している。動き補償予測は後続予測フレーム等を
復号時に再構成するための一つのフレーム、例えばアン
カー・フレームを表わすために送信されるビデオ・デー
タの使用に関する。
【０００５】一般に、動きベクトルは動き補償ビデオ符
号化を実現するために共通に使用される。動きベクトル
を用いると、予測フレーム内に正方形や長方形等の画素
グループを表現することができる。動きベクトルは現在
のビデオ・フレームの生成においてビデオ復号中に使用
すべき基準フレームでの画素グループを識別する情報を
含む。動きベクトルは復号しようとするビデオ・データ
の現在のマクロブロックの位置に対して相対的に解釈さ
れる垂直方向と水平方向のオフセットを含む。動きベク
トルに含まれるオフセットは現在のフレームを生成する
ために使用すべき基準フレームの画素データを識別す
る。ＭＰＥＧ２では、マクロブロックが１６×１６画素
のグループに相当する。本出願において、術語「マクロ
ブロック」はＭＰＥＧ２における意味と一致するものと
する。術語「ブロック」又は「画素ブロック」は画素の
グループを表わすこととし、通常は４画素のグループに
相当するＭＰＥＧ２ブロックに制限されない。
【０００６】今日のＮＴＳＣテレビジョン放送で共通に
使用される解像度を大幅に越えた解像度で少なくとも幾
つかのビデオ画像が送信されると予想される。例えば解
像度１０８０×１９２０画素のテレビジョン放送は高品
位テレビジョン信号と呼ばれることが多いが、これは現
行のＮＴＳＣテレビジョン画像の解像度を越えているた
めである。ＮＴＳＣテレビジョン信号と同一又は同様の
解像度を有する画像の送信に関係するテレビジョン放送
は共通して標準品位テレビジョン放送（ＳＤＴＶ）と呼
ばれる。
【０００７】ＨＤＴＶ信号で記憶し処理すべきデータ量
はＳＤＴＶ信号のそれに比べて相当に大きくなり得る。
リアルタイムでＨＤＴＶ信号を復号するのに必要とされ
るメモリ量及び処理能力のため、ＨＤＴＶデコーダはＳ
ＤＴＶデコーダに比べて相当に高価になり得る。
【０００８】一般にＳＤＴＶデコーダとコスト的に匹敵
するビデオ・デコーダ及びディスプレイ装置を用いてＨ
ＤＴＶビデオ信号を復号し表示できるようにするために
低解像度ビデオ・デコーダの使用が示唆されている。低
解像度ビデオ・デコーダは、ダウンサンプリング・ビデ
オ・デコーダと呼ばれることもあり、ビデオ画像を表わ
すために用いられるデータ量を低減するので、ＨＤＴＶ
信号を復号するために必要とされるメモリ量及び処理能
力も低減できる。低解像度デコーダを用いたＨＤＴＶ信
号の復号により、符号化ＨＤＴＶ信号からＳＤＴＶ解像
度画像の生成が行なえる。
【０００９】図１をここで参照すると、周知の各種低解
像度ビデオ・デコーダの代表例が示してある。低解像度
ビデオ・デコーダは（オプションで）プリパーサ１１
２、シンタックス・パーサ及び可変長デコーダ回路１２
０、逆量子化回路１２２、逆ＤＣＴ回路１２４を含む。
逆ＤＣＴ回路１２４の出力はダウンサンプラ１２６の入
力に接続される。ダウンサンプラ１２６は、例えば動き
ベクトルを用いて符号化された後続フレームを生成する
際に基準フレームとして使用するために、処理されるビ
デオ画像の解像度、即ちビデオ・メモリ１１４に記憶さ
れる復号ビデオ・データの量を低減するために使用され
る。基準フレーム・メモリ１１４に加えて、ビデオ・デ
コーダ１００はスイッチ１２９、加算器１２８、一対の
動き補償予測モジュール１３１と選択／平均予測回路１
３４も含む。動き補償予測モジュール１３１は単方向予
測を実行する。双方向予測を実行するには、例えばＢフ
レームを処理する場合、両方の動き補償予測モジュール
１３１を使用し２つのモジュール１３１の出力を選択／
平均予測回路１３４で合成する。動き補償予測モジュー
ル１３１の片方は単方向予測、例えばＰフレームを処理
する際に使用して選択／平均予測回路１３４は使用すべ
き適切なモジュール１３４の出力を選択する。基準フレ
ーム・データから生成され選択／平均予測回路１３４に
よって出力された画素データは受信した復号ビデオ・デ
ータと加算器１２８によって合成されて動き補償予測を
用いて符号化されたビデオ・フレームの完全な表現を生
成する。
【００１０】ＨＤＴＶの動きベクトルは完全なＨＤＴＶ
解像度ビデオ画像に適用することを意図しており、メモ
リ１１４に記憶されているようなダウンサンプリングし
たビデオ画像に適用することを意図していないため、動
き補償予測モジュール１３１は加算器１２８でデータを
合成する前に低解像度予測を実行して、動き補償予測モ
ジュール１３１によって生成されたデータがダウンサン
プラ１２６から出力されるデータと同じ低解像度となる
ようにしなければならない。ＨＤＴＶデジタル・ビデオ
・データを復号することができる各種低解像度ビデオ・
デコーダに付いての詳細な説明は、本明細書で参照に含
めている米国特許第５，６１４，９５２号を参照された
い。
【００１１】
【発明が解決しようとする課題】低解像度ビデオ・デコ
ーダはコスト面でＨＤＴＶデコーダに比べて大きな利点
を有しているが、このようなデコーダで生成された画像
はＨＤＴＶ画像に対して行なったダウンサンプリングの
量に相当する解像度の低下に関してだけでなく、動きベ
クトルの使用によって得られた画質の劣化に関しても苦
しめられることがある。低解像度ビデオ・デコーダによ
る動きベクトルの使用は幾つかの場合で予測誤差に起因
する重大な画像の劣化の可能性をもたらす。このような
予測誤差はその大部分が最大解像度基準フレームで使用
するように符号化された動きベクトルを低解像度例えば
ダウンサンプリングした基準フレームに適用したことに
由来するものである。
【００１２】つまり、既知のダウンサンプリング・デコ
ーダの使用によってシーン内容と動きベクトル条件の特
定の組み合わせである種の邪魔な画質アーチファクトが
発生することがある。
【００１３】低解像度デコーダを使用して高画質の復号
ビデオ画像を作成するには、重大でやっかいな予測誤差
を生じさせ画質劣化を招く恐れのあるシーン条件及び動
きベクトルを識別するための方法ならびに装置の必要性
がある。さらに、低解像度ビデオ・デコーダによる動き
ベクトルの処理又は使用に起因する画質の劣化の度合を
排除又は最小限に押えることができるような方法及び装
置の必要性もある。
【００１４】
【課題を解決するための手段】本発明は低解像度ビデオ
・デコーダで生成された画像の画質を改善するための方
法ならびにその装置と、符号化ビデオ・データから低解
像度画像を作成する改善されたビデオ・デコーダに関す
る。
【００１５】本発明の様々な特徴及び実施例は画像の特
定部分を低解像度デコーダにおいて基準データとして使
用した場合に、重大な画質の劣化を招く恐れのある画像
内の条件の識別に関する。例えば、本発明の方法及び装
置は、長い高コントラストの垂直又は水平エッジを発生
することのある定常画像領域例えば黒縁の画素ブロック
等を検出することに関する。このようなエッジは、多く
の場合、ダウンサンプリング・デコーダが予測において
エッジ又はその付近に配置されたデータを使用すると重
大な予測誤差を発生させることがある。
【００１６】本発明の一つの実施例によれば、個々の基
準フレームを検証して定常ブロック領域とこれに関連し
たエッジを検出する。このような実施例において、低解
像度デコーダのフレームメモリに記憶されている各々の
基準フレームについて、記憶している基準フレームの定
常ブロック画像領域および／または、検出された水平お
よび／または垂直エッジに関する情報もメモリに記憶す
る。
【００１７】記憶している定常ブロック領域情報は対応
する基準フレームデータを使用して予測を行なう場合の
予測誤差の危険度を評価するために使用する。これは
又、例えばフィルタリング又は外挿の形で予測誤差低減
処理を考慮すべきエッジを識別するためにも使用する。
【００１８】別の実施例において、例えばレターボック
ス化で使用される黒縁等の一連のフレームを通して反復
的に出現する定常ブロック領域を検出する。検出処理は
検出される各々のフレームの一部だけを検証するか、又
は一つの特定実施例においては内部符号化フレームだけ
の内容を検証することによる。内部符号化フレームを定
常ブロック領域について検証するのは、これらのフレー
ムが一般に内部符号化フレームより少ない復号処理を必
要とするためで、待機中の処理資源をこの目的に利用で
きるようにする。多数の例えば一連のフレームで一貫し
て発生する検出定常ブロック領域情報はメモリに記憶す
る。記憶した定常ブロック領域情報は予測誤差検出や各
種の処理演算に使用される。
【００１９】基準として使用するフレームでの定常ブロ
ック領域および／または水平と垂直のエッジのようなシ
ーン条件の検出に加えて、本発明は、大きな予測誤差が
発生する危険度、またこのような誤差が発生した場合に
当該誤差が重大なピクチャ劣化を起す危険度を評価する
ことにも関する。一つの実施例において、マクロブロッ
クが予測を用いて再構成されることから予測誤差の危険
度をマクロブロック単位で分析する。
【００２０】重大な予測誤差が発生する危険度を評価す
ることは、動きベクトルの検証、予測分析、オプション
で再構成されたピクチャの分析等に関係する。
【００２１】重大な予測誤差、例えばマクロブロックの
長さ方向を横切って目立つ線を発生させるような誤差の
危険度が高いと評価されたマクロブロックは、想定した
予測誤差の影響を最小限に押えるか排除するように処理
される。予測誤差を排除するための技術としては、外挿
とエッジ・フィルタリング等がある。
【００２２】本発明の一つの実施例において、２つのピ
クチャ・サンプリング軸の少なくとも一方に沿って、低
解像度でフレームの一部分を復号し他の部分をより大き
な、例えば最大解像度で復号する新規なビデオ・デコー
ダに関する。一つの実施例において、画像の部分、例え
ば黒縁等の定常ブロック領域を識別する。定常ブロック
領域（垂直又は水平方向のエッジの幾つかの画素線内
等）の画像又は縁の付近の部分（水平又は垂直方向のエ
ッジ等）は、エッジに直交するサンプリング軸に沿っ
て、基準として高解像度で復号、記憶される。画像の残
りの部分は、例えばダウンサンプリングの適用により低
解像度で復号される。定常ブロック領域が一連のフレー
ム内で識別されると、検出した定常画像領域内部でその
領域の縁に隣接していない画素は、幾つかの実施例にお
いて、復号しようとする画像の他の部分よりもダウンサ
ンプリングされる。他の領域よりもさらに定常ブロック
領域をダウンサンプリングする技術は復号されつつある
フレームを表現するために使用されるデータ量をさらに
低減する。そのため、他の部分より高解像度で画像のあ
る部分を復号することに伴う増加メモリ要求をオフセッ
トし易くする。
【００２３】フレームのある部分を他の部分より高解像
度で復号する本発明のデコーダはハイブリッド・ダウン
サンプリング・デコーダとして説明できる。
【００２４】本発明の復号方法及び装置の幾多のさらな
る特徴及び利点は後述の詳細な説明で議論する。
【００２５】
【発明の実施の形態】本発明は低解像度ビデオ・デコー
ダを使用して生成したビデオ画像の画質を改善するため
の方法及び装置と、改善された低解像度ビデオ・デコー
ダに関する。
【００２６】さらに詳しくは、本発明の各種の特徴及び
実施例は画像の特定部分を基準データとして低解像度デ
コーダで使用した場合に画質の劣化を招く恐れのある、
画像内の条件を識別することに関する。本発明のその他
の特徴及び実施例は重大な予測誤差が低解像度復号演算
中に重大な予測誤差の発生時期を判定するための方法及
び装置に関する。本発明の他の特徴及び実施例はダウン
サンプリング・ビデオ・デコーダにおける動きベクトル
の使用で発生するピクチャの劣化の度合を小さくするこ
とに関する。
【００２７】本発明のさらなる特徴及び実施例は従来の
最大解像度ビデオ・デコーダと低解像度ビデオ・デコー
ダの間のハイブリッドとして動作する新規なビデオ・デ
コーダに関する。本発明のハイブリッド・デコーダはビ
デオ画像のある部分に対しては高解像度復号及び画素デ
ータ記憶を実行し、一方で他の画像部分にはダウンサン
プリング等のデータ縮約演算を適用してこれら他の画像
部分を表現するために必要とされるデータ量を低減す
る。画像の大部分にダウンサンプリングを行ないつつ、
ダウンサンプリングした場合には重大な予測誤差を発生
するような比較的小さな画像部分の解像度を保存するこ
とで、最大解像度ビデオ・デコーダと比較して顕著な処
理及びメモリの節約を達成することができ、同時にダウ
ンサンプリングした基準フレームデータの使用に由来す
る予測誤差の影響を最小限に押えることができる。
【００２８】低解像度デコーダによって適用された低解
像度例えばダウンサンプリング・グリッドと整列しない
長い垂直又は水平方向の高コントラスト・エッジを含む
ビデオ画像は、動きベクトルの使用と関連してこのよう
なシーン条件が発生する場合に問題のあるシーン条件を
構成することが発見された。さらに詳しくは、１）高コ
ントラストの垂直および／または水平方向のエッジ・シ
ーン条件が存在する場合、２）高コントラストの垂直又
は水平方向エッジ上又はそれに隣接する画素データの使
用を必要とする動きベクトルがダウンサンプリング係数
の整数倍ではない場合、動きベクトルの使用により低解
像度デコーダによって生成された低解像度画像において
大きく高度に目立つ劣化が発生することがある。前述の
低解像度画像の劣化は最大解像度基準データの使用で符
号化された動きベクトルを使用する低解像度基準データ
から予測を構成した場合での重大な誤差に由来する。
【００２９】水平方向および／または垂直方向の１つま
たはそれ以上の画素列を含む黒縁は長い水平又は垂直方
向の高コントラスト・エッジの共通の発生源を構成す
る。このような縁とそれによって得られた長い、例えば
行又は列の長さの水平方向および／または垂直方向の高
コントラストのエッジは、各種の共通ビデオ・シーケン
スに頻繁に見られる。例えば動画等でのレターボックス
・フォーマットのビデオ・プレゼンテーションは周知の
低解像度ビデオ・デコーダで処理した場合に重大な予測
誤差を発生することがある黒縁を含むビデオシーケンス
の例である。
【００３０】画素間で大きな変化がないような、例えば
ルミナンス値等の一定したデータ値を有する画素を用い
て画像の一部が表現されているような画像において、高
コントラストの垂直方向および／または水平方向のエッ
ジが頻繁に発生する。例えば、黒縁の場合では、縁の画
素の全部が２４以下のルミナンス値を有している。
【００３１】図２はレターボックス・フォーマットのＨ
ＤＴＶフレームを示す模式図であり、レターボックス・
フォーマットで表現したＨＤＴＶ画像２００を示す。こ
のフォーマットは現行のＮＴＳＣ及びＨＤＴＶフォーマ
ットを越えるような横幅対高さのアスペクト比を慣例と
して有する映画を表現する際に共通に使用される。図２
に示してあるように、レターボックス・フォーマットで
表現されたＨＤＴＶフレームは通常では上下の黒縁２０
２、２０４を含む。上下の縁２０２，２０４の間で、ピ
クチャ内容が領域２０３で表示される。領域２０２，２
０４が完全に黒だと仮定すると、領域２０２，２０４
は、全ての画素が極端に低いルミナンス値、例えば１６
を有する定常画像領域を表わす。
【００３２】黒縁領域２０２，２０４と画像領域２０３
の間の長い水平方向のエッジ２０６，２０８は通常は高
コントラスト・エッジとなる。このような水平方向の高
コントラスト・エッジは重大なピクチャ劣化の発生を招
く恐れのあるシーン条件を表わす。さらに詳しく説明す
ると高コントラストの水平エッジ領域２０２，２０４と
接する画素を参照する動きベクトルが低解像度ビデオ・
デコーダで処理される場合に重大な予測誤差が発生する
ことがある。
【００３３】意図的な黒縁２０２，２０４はレターボッ
クス・フォーマットで表示されたフレームに追加される
が、例えば幅が１から３画素の意図しない黒縁が符号化
デジタルビデオ・フレームに頻繁に付加されることが分
かった。このような細く意図しない黒縁は何気なく肉眼
で最大解像度画像を観察した場合にはあまり目立たな
い。しかし残念なことにこのような細い縁に関連した水
平方向および／または垂直方向の高コントラスト・エッ
ジはこのような縁のある符号化最大解像度画像を低解像
度ビデオ・デコーダで復号した場合に重大でやっかいな
予測誤差に繋がることがある。
【００３４】レターボックス・フォーマットで表示する
ように符号化されたか、又は思いがけず細く黒縁を付け
て符号化されている動画又はその他のビデオ・シーケン
スでは、黒縁領域の画素値は通常では連続した数百又は
数千フレームにわたって変化しないままかほとんど変化
しないことになる。したがって、このような領域２０
２，２０４と高コントラスト・エッジ２０６，２０８は
非常に多数のフレーム区間にわたって表示され変化しな
いことになる。この事実から、所望なら単一フレームに
対向する複数フレームを処理することにより、定常画像
領域２０２，２０４とエッジ２０６，２０８を識別する
ことができる。さらに、レターボックス・フォーマット
を使用して符号化した動画は、一定強度の縁領域の有無
とオプションでそのロケーションに関する明示的又は暗
示的な情報を含むことがある。この情報を用いて定常画
像領域の識別を支援できる。
【００３５】図３はビデオ画像を符号化する動きベクト
ルの使用を示す模式図である。図３をここで参照する
と、高品位レターボックス・フォーマット・フレームの
一部を符号化するために用いる動きベクトルが矢印３０
２で示されている。動きベクトル３０２を使用すると基
準フレーム例えば完全内部符号化フレームから得られた
ブロックＡ３０１の画素を使用して復号時にブロックＢ
３０３を生成できることを表わすことができる。ブロッ
クＡ３０１は水平方向の高コントラスト縁３０６に隣接
して配置されていることに注意する。
【００３６】動きベクトル３０２を用いて符号化した画
像に対して最大解像度復号演算を行なうと、重大な予測
誤差の発生なしに満足できる画質の復号画像が得られ
る。しかし、同じ符号化フレームを低解像度ビデオ・デ
コーダで復号した場合にはこれが当てはまらないことが
ある。動きベクトル３０２によって参照されるアンカー
・フレームを復号する際に使用されるダウンサンプリン
グ・グリッドが水平方向のエッジ３０６と整列していな
いと仮定すると、エッジ３０６のぼやけが起こる。
【００３７】図４は動きベクトルを使用して符号化され
た画像の復号にダウンサンプリング・デコーダを使用し
た場合に発生することがある画質の劣化を示す模式図で
ある。図４をここで参照すると、ダウンサンプリング演
算は最大解像度アンカー・フレームに見られる水平方向
のエッジ３０６の直前のロケーションに対応した低解像
度画像のグレーの画素列４０６を発生させることが分か
る。グレーの画素列４０６は、水平方向のエッジ３０６
より上の最大解像度基準フレームの黒い画素列の少なく
とも１列を、水平方向のエッジ３０６より下に位置して
いるもっと明るい、例えば白い画素の少なくとも一列と
をダウンサンプリングすることで発生したダウンサンプ
リング画素列を表わす。
【００３８】図４の例の場合では、動きベクトルを低解
像度デコーダで用いてダウンサンプリング基準フレーム
から予測フレームを構成した場合に重大な予測誤差が発
生することに注意する。つまり、暗い画素列はそこに配
置されたはずの白い画素の代わりにブロックＢの最上部
に配置される。ブロックＢの最上部の全長にわたる水平
方向のまっすぐな線に見られる暗い画素列は基準フレー
ムのダウンサンプリングの結果としてブロックＢに導入
された予測誤差である。この予測誤差は特に目立つもの
で、多くの観察者には邪魔である。前述したように、例
えば１ないし３列の黒い画素の形の黒縁が多くのビデオ
・フレームに見られることがある。
【００３９】図５は第１のＨＤＴＶフレームを示す模式
図であり、フレーム５００の斜線部分で表わしてある黒
い画素の３画素幅の縁を有するビデオ・フレームを示
す。
【００４０】図６は第２のＨＤＴＶフレームを示す模式
図であり、ビデオ・シーケンスにおいてフレーム５００
に続くフレーム６００を示す。フレーム５とフレーム６
の間の差はフレーム５００の上部左手隅の位置の開始位
置からフレーム６００の下部中央部分への人の画像の移
動である。
【００４１】図７は図６に示した第２のＨＤＴＶフレー
ムが動きベクトルの使用により図５に示した第１のＨＤ
ＴＶフレームの関数としてどのように符号化できるかを
示す模式図である。図７は図６のフレーム６００が符号
化の目的で基準フレームとして使用されるフレーム５０
０の上部左隅から得られた動きベクトル７０２と画素ブ
ロック５０２とを用いて、どのように符号化できるかを
示す。画素ブロック５０２はフレーム５００の３画素幅
の黒縁からの画素を含まないことに注意する。基準フレ
ームから得られた画素ブロック５０２を用いることで、
基準フレーム５００と動きベクトル７０２を用いる復号
中に画素ブロック６０２を正確に構成できる。
【００４２】図８は図７に示した動きベクトルの低解像
度基準フレームへの適用を示す模式図である。図８は水
平と垂直方向に２倍のダウンサンプリングを実行しこれ
に最大解像度動きベクトルを適用する低解像度デコーダ
によって生成された基準フレームへの動きベクトル７０
２の適用を示す。２倍のダウンサンプリングによって図
５に示した第１と第２の黒縁画素列がフレームメモリに
記憶される前に単一の列へ合成される。さらに、第３の
内側の黒い画素の縁の列が白い画素の第４の内側の縁の
列と合成されることになる。つまり、ダウンサンプリン
グ演算によって下の基準フレームの解像度の半分の解像
度の基準フレーム、黒い外側の縁の画素列、グレーの内
側の縁の画素列が得られる。このダウンサンプリングし
た低解像度基準フレームが基準の目的で使用するために
周知のダウンサンプリング・デコーダ・システムに記憶
されることになる。
【００４３】図８に示してあるように、動きベクトル７
０２によって指定された基準画素のブロックは画素ブロ
ックの左と上部エッジに沿って暗い、例えばグレーの画
素の列を含む。垂直と水平方向に２倍のダウンサンプリ
ングを行なう低解像度デコーダを用いる最大解像度符号
化されたフレーム６００の復号の時点でこれらの画素を
使用することにより図９に示したフレーム９００が得ら
れる。なお、図９は図８に示した低解像度基準フレーム
へ図７に示した動きベクトルの適用から生成した低解像
度復号ビデオ・フレームを示す模式図である。
【００４４】フレーム９００はフレーム６００の半分の
解像度であることに注意する。しかし人の画像の上部と
左側に位置する黒っぽいバー９０２，９０４の形をとっ
た重大な予測誤差にも注意する。見苦しい黒っぽいバー
９０２，９０４を発生させた予測誤差は、高コントラス
トの垂直及び水平エッジに隣接する画素を参照した動き
ベクトルとの組み合わせで高コントラストの水平及び垂
直エッジを有する画像に対してのダウンサンプリング・
ビデオ・デコーダを使用した結果であることに注意す
る。また予測誤差は黒縁画素のエッジと整列すべきダウ
ンサンプリング・グリッドの失敗の関数であることに注
意する。
【００４５】図１０は本発明の代表的実施例によって実
現される低解像度デコーダを示すブロック図である。図
１０をここで参照すると、本発明の代表的実施例にした
がって実現された低解像度デコーダ１０００が示してあ
る。デコーダ１０００は図１の周知のデコーダ１００と
同様な多数の回路を含む。このような同様な回路は図１
と図１０において同じ参照番号を用いている。簡略化の
ため、周知のデコーダ１００の要素と同一又は同様のデ
コーダ１０００の要素については詳細な説明を繰り返さ
ない。
【００４６】低解像度デコーダ１０００はオプションの
プリパーサ１１２、符号化データ・バッファ１１２、シ
ンタックス・パーサ及びＶＬＤ回路１２０、逆量子化回
路１２２、逆ディスクリートコサイン変換（ＩＤＣＴ）
回路１２４、ダウンサンプラ１２６、加算器１２８、ス
イッチ１２９、フレーム・メモリ１１４を含む。さら
に、デコーダ１０００はアーチファクト検出除去回路１
０３７、制御自在なドリフト減少フィルタ１００６を含
む一対の動き補償予測モジュール１０３５、選択／平均
予測回路１３４に加えて一対の分析／外挿予測回路１０
３６、定常画像領域／水平垂直エッジ検出回路１００２
を含む。
【００４７】オプションのプリパーサ１１２は、例えば
符号化デジタルＨＤＴＶ信号等復号しようとするデジタ
ル・ビデオ・データを受信して受信データの一部を選択
的に破棄する。プリパーサ１１２の出力は符号化データ
・バッファ１１６に接続してあり、これの出力はシンタ
ックス・パーサ及びＶＬＤ回路１２０の入力に接続され
る。プリパーサ１１２が存在しない場合、符号化デジタ
ル・ビデオ・データは符号化データ・バッファ１１６へ
直接接続される。シンタックス・パーサ及びＶＬＤ回路
１２０の出力は逆量子化回路１２２の入力へ接続され
る。逆量子化回路１２２は、さらに逆ＤＣＴ回路１２４
へ接続される。逆ＤＣＴ回路１２４は、例えばダウンサ
ンプラ１２６によって水平及び垂直の両方向でダウンサ
ンプリングした復号ビデオ・データを出力する。ダウン
サンプラ１２６の出力はスイッチ１２９の第１の入力
と、加算器１２８の第１の入力へ接続される。
【００４８】加算器１２８は予測フレーム例えば相互符
号化フレームを復号する場合に使用する。加算器１２８
の第２の入力は、基準フレーム・メモリ１１４から得ら
れた１つまたはそれ以上の動きベクトルと１つまたはそ
れ以上の基準フレームの使用により生成されたビデオ・
データを受信するために選択／平均予測回路１３４の出
力へ接続されている。加算器１２８の出力は復号しよう
とする予測フレームを表わす復号ビデオ・データであ
る。加算器１２８から出力される復号ビデオ・データは
符号化予測フレームに含まれる復号内部符号化データ
と、１つまたはそれ以上の動きベクトル及び先行してダ
ウンサンプリングした基準フレームデータの使用によっ
て得られたビデオ・データとの組み合わせを含む。
【００４９】加算器１２８は動きベクトルの使用により
生成されたフレームに対応する復号ビデオ・データを出
力するので、出力ビデオ・データは基準シーン（フレー
ム）内容や、動きベクトルで使用した１つまたはそれ以
上の基準フレームの画像領域によってダウンサンプリン
グ・デコーダで時として発生するような前述のような予
測誤差を含むことがある。加算器１２８の出力はスイッ
チ１２９の第２の入力に接続される。
【００５０】スイッチ１２９の出力は基準フレーム・メ
モリ１１４の入力に接続してある。スイッチ１２９は内
部符号化フレームを復号している場合にはダウンサンプ
ラ１２６によって出力された内部符号化ビデオ・データ
を出力し、予測フレームを復号している場合には選択／
平均予測回路１３４によって出力された予測フレーム画
像データを出力するように動作する。スイッチ１２９に
よるデータ出力はフレーム・メモリ１１４に記憶され
る。フレーム・メモリ１１４に記憶された復号フレーム
は基準フレームとして使用するために記憶されており、
また表示のためにテレビジョン受信器のディスプレイ装
置１００１例えば表示管（picture tube）へも出力され
る。記憶してある予測フレームはアーチファクト検出除
去回路１０３７で処理して、基準フレームデータとして
使用するか表示される前に予測誤差の影響を低減するこ
とができる。
【００５１】デコーダ１０００は低解像度デコーダで発
生する予測誤差の発生を検出するためとこのような誤差
の影響を低減するための新規な要素を含む。デコーダ１
０００の新規な回路は定常画像領域／水平垂直エッジ検
出回路１００２、動きベクトル分析、予測分析、選択的
外挿機能を行なう一対の分析／外挿予測モジュール１０
３６、アーチファクト検出除去回路１０３７、ドリフト
減少フィルタ１００６を含む。
【００５２】ドリフト減少フィルタ１００６は予測を用
いて生成されたビデオ・データに対してフィルタリング
演算を実行することにより予測の使用から発生したドリ
フトの影響を最小限に押えるために使用される周知のフ
ィルタ・カーネルを含む。
【００５３】本発明の定常画像領域／水平垂直エッジ検
出回路１００２はフレーム・メモリ１０１４の出力に接
続した基準フレームデータ入力を備える。後述するよう
に検出回路１００２は、低解像度デコーダで予測誤差を
発生させることがあるような記憶フレームのシーン条
件、例えば定常画像領域および／または水平ならびに垂
直方向のエッジを検出するために使用する。検出回路１
００２の出力は分析／外挿予測回路１０３６の入力に接
続してあり、分析／外挿予測回路１０３６は予測モジュ
ール１０３６で生成したビデオ・データも入力信号とし
て受信する。このようにすると、分析／外挿予測回路１
０３６には定常画像領域／水平垂直エッジ検出回路１０
０２で検出されたシーン条件情報が供給される。検出回
路１００２は検出回路１００２で実行される検出演算の
結果を記憶するための基準フレーム情報メモリ１００４
を含む。
【００５４】分析／外挿予測回路１０３６の対の各々一
つは予測データを選択／平均予測回路１３４へ供給する
前に動き補償予測モジュール１０３５の別の一つの出力
の処理を担当する。回路１０３６は画質に重大な劣化を
起し易い予測誤差の識別を担当して、このような誤差の
影響を低減するための処理演算を実行する。一つの実施
例においてモジュール１０３６は対応する動き補償予測
モジュール１０２５の予測フィルタ１００６を制御して
分析／外挿予測回路１０３６によるピクチャ変更の候補
として識別されたマクロブロックに対して単一モード・
フィルタ・カーネルを使用する。
【００５５】アーチファクト検出除去回路１０３７は低
解像度基準データに適用される最大解像度基準データで
使用するように符号化された動きベクトルの適用から得
られる予測誤差等の影響を低減するためにフレーム・メ
モリ１０１４に記憶されたフレームの処理を担当する。
アーチファクト検出除去回路１０３７はフレーム・メモ
リ１０１４から処理のためのフレーム・データを、また
分析／外挿予測回路１０３６から予測誤差に関する情報
を受信する。検出した予測誤差の影響を低減又は排除す
るためのフレーム・データの処理の後で、処理済みフレ
ーム・データは未処理データの代わりに基準フレーム・
メモリ１０１４に記憶される。したがって、少なくとも
一つの実施例において、予測フレームを表わすデータが
基準フレームデータとして使用されるか又はディスプレ
イ装置１００１へ出力される前に、アーチファクト検出
除去回路１０３７で処理される。
【００５６】定常画像領域／水平垂直エッジ検出回路１
００２の動作について詳細に説明する。検出回路１００
２は同一又は実質的に同一の強度を有する。例えば同一
又は同様のルミナンス値を用いて表わされるフレーム内
の隣接画素の四角いブロックを検出するように動作す
る。この種のブロックは、水平又は垂直方向のどちらか
でサイズが大きい。特にいずれかの方向でフレーム長さ
の１／３又はそれ以上にわたって延在する場合は、これ
に関連して水平方向又は垂直方向に長いエッジを有する
ことになる。前述したようにこのようなエッジは低解像
度デコーダによって適用されるダウンサンプリング・グ
リッドと整列しない場合に予測エラーを発生させること
がある。
【００５７】一つの実施例において、定常画像ブロック
を検出するには、画素列を列ごとに検証する。評価され
る画素列についてのルミナンス値の平均と偏差を求め
る。列が全て同じ値を有するか又はほとんど同じ値を有
する画素を含む場合、その列について計算した平均から
の偏差は非常に小さくなる。一つの実施例において、画
素ルミナンス値のサンプル標準偏差がある列について５
より小さい場合、その列は定常ブロック領域を構成する
といわれる。隣接する列も同じ分析技術を適用して定常
ブロック領域を構成することが分かった場合、これの平
均とすでに分析した先行する画素列の平均とを比較す
る。定常ブロック領域を構成する２つの隣接する列につ
いての平均の間の差があらかじめ選択した値以内であれ
ば、隣接する列は同じ定常ブロック領域の一部をなすも
のと決定される。あらかじめ選択した値が例えば画素ル
ミナンス値の考えられる全範囲の３％を表わすように選
択される。２つの隣接する定常画像領域の平均の間の差
があらかじめ選択した差の値を越えることが分かった場
合、２つの列は別の定常ブロック領域に対応すると決定
される。
【００５８】図１１（ａ）はルミナンス値０から２５５
までのスケール上に画素列又は行の各画素についてのル
ミナンス値をプロットすることで得られた代表的なプロ
ットを示す特性図である。ここで図１１（ａ）を参照す
ると、正常な、例えば非レターボックス又は非辺縁画像
の画素のランダム選択した列についての画素ルミナンス
値の代表的プロットが示してある。画素値の列は、０か
ら２５５まで延在する可能な画素ルミナンス値の範囲全
体にわたって変化し、幾つかの値はわずかに共通してい
るが、多くの値は表示される画像によってさまざまであ
る。このような画素値の列の平均は、例えばこの平均か
ら非常に大きな標準偏差、例えば５０では、１２０にな
ることがある。
【００５９】図１１（ｂ）は全て黒又は全て黒に近い画
素の列又は行から得られた画素値の行又は列の代表的な
プロットを示す特性図であり、画像の黒縁から取った画
素列についてのルミナンス値をプロットした場合に得ら
れる種類のプロットを示す。図１１（ｂ）では画素値の
ほとんど全てが値０を有しており、平均からの偏差が非
常に小さい、例えばサンプル標準偏差が０．５であるこ
とに注意する。変化する画素強度の列のルミナンス値と
比較的一定の画素強度の平均と偏差特性の間の差は前述
の定常ブロック検出法を有効なものにする。
【００６０】前述したように画素列におけるルミナンス
値を検証することによって定常ブロック領域を検出する
方法は、例えば黒い垂直辺縁領域を検出するために画素
の縦列に適用することもできる。前述の統計的分析は列
又は縦列全体に基づいて又はその区間に対して適用する
ことができる。
【００６１】一つの実施例において、画素ルミナンス強
度確率濃度関数（ＰＤＦ）例えば前述した平均と標準偏
差の、局在と拡散の推定は列、縦列、又はそれらの区間
に基づいた分析について計算される。
【００６２】「定常ブロック領域」はこのような実施例
では値の拡散が非常に小さい、例えばあらかじめ選択し
た閾値以下で、サンプルＰＤＦ局在が全て互いに接近し
ているような１つまたはそれ以上の画素セグメントがあ
る場所に存在すると決定される。つまり、特定の定常領
域におけるセグメントの対の全てについて、セグメント
の対における２つのセグメントについての平均推定値の
間の絶対差がセット閾値以下である。識別された定常ブ
ロック領域についての情報が、本発明によれば基準フレ
ーム情報メモリ１００４に記憶される。
【００６３】一つの実施例において復号演算によって生
成された各フレームは定常画像領域／水平垂直エッジ検
出回路１００２によって定常ブロック領域について完全
に分析され、メモリ１００４に各々の識別された定常ブ
ロック領域に関する情報が記憶される。このような実施
例において、基準フレーム情報メモリ１００４はフレー
ム・メモリ１１４に記憶された各フレームについての定
常ブロック領域情報を含む。
【００６４】フレーム内の定常ブロック領域を検出する
ための処理条件とこうした検出演算の結果を記憶するた
めの記憶条件はこうした演算の目標が複数フレームに反
復して発生する定常ブロック領域の発見に簡略化される
場合には大幅に減少し得る。前述のように、画像の周囲
に黒い画素の縁を作るレターボックス・フォーマットと
ビデオ符号化は通常は数百から数千フレームにわたって
同じロケーションに発生する縁を作る。したがって、こ
れらの定常画像領域を特定した場合、複数フレームにわ
たる定常画像領域分析を実行して、複数フレーム間に処
理を分散するのが妥当である。
【００６５】複数フレームにわたって発生する定常画像
領域を検索する場合、前述したのと同じ列及び縦列画素
分析技術を複数フレームに適用する。しかし、このよう
な実施例においては、各フレームの一部だけを定常画像
領域について分析し、例えば隣接する部分は次のフレー
ムで分析する。複数フレームの分析で反復して同じ定常
画像領域の検出が得られた場合にだけ、検出した定常画
像領域が復号しているフレームに存在していると宣言さ
れる。このような実施例において、基準フレーム情報メ
モリ１００４は全ての記憶基準フレームに適切であると
見なされる宣言された定常画像領域の一組を記憶するた
めに使用する。さらに、メモリ１００４は異なるフレー
ムの部分に関係する一時的定常画像領域検出結果を記憶
するために使用される。これらの一時的結果は、例えば
一時的結果が複数フレームの分析を通して確認されるか
又は排除されるあらかじめ選択したフレーム時間数のあ
とで、宣言された定常画像領域情報を定期的に更新する
ために用いられる。情報メモリ１００４に記憶された宣
言定常画像領域情報を定期的に更新することにより、画
像辺縁又はレターボックスで頻回に発生する変化が情報
メモリ１００４に記憶された、宣言された定常画像領域
情報に反映される。
【００６６】前述の方法で識別された定常ブロック領域
は、境界がダウンサンプリング・デコーダで使用される
ダウンサンプリング・グリッドと整列していないと仮定
した予測基準として用いた場合の重大なピクチャ劣化を
発生させることがあると考えられる。
【００６７】検出した特定の定常ブロック領域が予測誤
差による劣化を発生する相対的確率は、検出領域の境界
を横断して測定した画素の差の大きさを検証することに
より評価することができ、少なくとも一つの実施例にお
いては評価される。これらの「強い」エッジ、例えば画
素ルミナンス値の比較的大きな差のある境界は、「弱
い」エッジより画像劣化を起し易い。エッジ強度は多く
の方法で、例えば境界のどちらかの側で、境界の長さに
沿って画素の対の絶対差を加算することにより、推定す
ることができる。「強い」エッジはあらかじめ選択した
閾値に対して前述したようにエッジ強度を比較すること
で決定できる。識別された定常ブロック領域のエッジ強
度に関する情報はＭＣＰモジュール１０３５で使用する
領域を識別するデータと一緒に基準フレーム情報メモリ
１００４に記憶できる。定常ブロック領域を識別する前
述の技術に加えて、ビデオ・フレームにおいて定常ブロ
ック領域とこれに対応する水平及び垂直エッジの有無と
ロケーションを識別するために使用できる方法が他にも
多く存在する。
【００６８】前述のように、考えられる定常ブロック領
域の共通した発生源の一つはレターボックスの実施であ
り、そのためピクチャのアクティブな部分は符号化画素
アレイを完全に満たさない。この実施は一般に図２に示
してあるように各ビデオ・フレームの上下にある黒いバ
ーの符号化に関係する。一つの実施例において、検出回
路１００２は垂直方向の表示サイズに関して送信された
情報を検証することでレターボックス化についての情報
を取得する。さらに別の実施例において検出回路１００
２は毎秒２４フレームの標準フィルム送り速度でピクチ
ャを符号化するビットストリームへレターボックス辺縁
の有無と範囲を識別するための前述した検出方法を特に
目標としており、処理される画像がデジタルビデオでは
なくフィルムとして表示するためにもともと作成された
画像に対応することを示唆することがある。
【００６９】前述の説明は、動き補償予測を行なう際に
低解像度デコーダで使用した場合に目障りな予測誤差を
発生することがある基準フレームでのシーン条件例えば
長い水平方向および／または垂直方向の高コントラスト
エッジを検出するための方法ならびに装置に焦点を絞っ
ていた。しかし、基準フレームにおいて単にこのような
エッジが存在することで、そのフレームを基準フレーム
として使用した場合に復号時に重大な予測誤差が発生す
ることを必ずしも意味しない。前述したようなエッジ強
度は重大な予測誤差が実際に発生する際影響を与える一
つの要因である。
【００７０】本発明の一つの特徴は復号されつつある予
測フレームの再構成中に重大な予測誤差が発生すること
がある場合を検出することに関する。ＭＰＥＧビデオ処
理において、復号中のフレーム再構成はマクロブロック
単位で頻繁に実行されることから、一つの実施例では重
大な予測誤差が発生する可能性の識別がマクロブロック
単位で分析／外挿予測回路１０３６によって行なわれる
マクロブロック単位での重大な予測誤差の検出以外に、
予測誤差を復元するステップもマクロブロック単位で行
なうことができる。
【００７１】例えば分析／外挿予測回路１０３６の各々
で実行されて発生し易い重大な予測誤差を検出する各種
のステップは動きベクトル検証と予測分析を含む。
【００７２】本発明によれば、動きベクトル検証は予測
で使用される動きベクトルの垂直方向および／または水
平方向の構成要素が復号演算を行なうダウンサンプリン
グ・デコーダで使用される水平方向と垂直方向のダウン
サンプリング比各々の整数倍かどうかの決定に関する。
対応するダウンサンプリング比の整数倍ではない検証済
み動きベクトル構成要素は検証済み動きベクトルを使用
して再構成されるマクロブロックが予測誤差を発生する
「危険がある」ことを表わす。こうしたマクロブロック
は一つの実施例において他の危険因子が存在しない場合
に予測誤差の「危険度が低い」ものとして分類される。
【００７３】危険のあるマクロブロックについての予測
を作成する際に使用すべき基準画素のどれかが上記で定
義したように定常ブロック領域の辺縁に隣接している場
合、予測誤差の危険度はさらに大きく例えば中程度の危
険度であると見なされる。基準画素が完全に検出された
定常ブロック領域の内側又は外側に存在するが、予測を
形成するために使用する基準フレーム内部の検出定常ブ
ロック領域の辺縁にあるか又はその非常に近くにある画
素を含むマクロブロックは、予測誤差の危険度がさらに
大きく、危険度が高いものと見なされる。
【００７４】つまり、前述したような方法で動きベクト
ル分析を実行することにより、本発明の分析／外挿予測
回路１０３６は動きベクトルを使用して再構成されるマ
クロブロックに予測誤差危険度の様々な度合を割り当て
る。本発明の別の実施例によって予測誤差の影響を最小
限に押えるためにマクロブロックに対して実行される処
理は、もしあれば、任意のマクロブロックについて存在
することが分かった予測誤差の決定した危険度の関数で
ある。
【００７５】前述したように、予測分析は再構成される
マクロブロックに付随する重大な予測誤差の危険度を評
価する際に実行される別のステップである。本発明の予
測分析ステップの一部として、予測は従来の方法で、受
信した１つまたはそれ以上の動きベクトルにしたがって
形成される。予測誤差について中程度又は高度な危険度
であると見なされたマクロブロックに対しては、実行さ
れる予測が分析されて、さらに重大な画像劣化が発生し
易いかどうかを決定する。この決定は、一つの実施例に
おいて、画素が予測を形成するために使用される基準フ
レームの検出された定常ブロック領域の境界で画素値に
よって主として決定された予測マクロブロックの境界に
ある強いエッジを検索することにより行なわれる。強い
エッジの検出例えば３０％又はそれ以上のエッジを横断
する画素ルミナンス値の平均差は重大な予測誤差を表わ
す。
【００７６】幾つかの実施例において、危険度が中程度
又は高度の再構成マクロブロックを分析してフレーム復
号演算の一部として以前に再構成された周辺画素の状況
におけるアーチファクトを検出する。フレームは通常上
から下へ左から右へと復号されることに注意する。つま
りマクロブロック単位での再構成マクロブロックのエッ
ジの分析は上部と左のマクロブロック・エッジに制限さ
れるのが一般的である。これ以外にもフレーム全体の完
全な再構成の後でこのような分析を実行することがで
き、これによって４つのマクロブロックエッジ全部を考
慮できる。
【００７７】図１３はマクロブロック再構成演算の一部
として画像の代表的な部分的再構成を示している。考慮
されるマクロブロックの再構成境界１３０２でのエッジ
強度を測定分析する。マクロブロック境界にある強いエ
ッジは再構成アーチファクトを表わすものと判定され、
マクロブロックはアーチファクト除去の対象になる。し
かし、再構成により小さい又は弱い境界の検出が得られ
る場合、重大な予測誤差の危険があるとして以前に分類
されたマクロブロックは予測誤差の有意でないか又は小
さい危険度があるものとして再分類される。したがっ
て、オプションのアーチファクト検出処理はダウンサン
プリング・デコーダにおける重大な予測誤差の危険度の
あるマクロブロックの識別をさらに正確にする方法を提
供する。
【００７８】マクロブロックが重大な予測誤差について
の危険度にしたがって分類されると、予想される予測誤
差の発生を最小限に押えるか又は排除するために分類し
たマクロブロックに対して１つまたはそれ以上の処理演
算を実行すべきかどうかの決定を行なうことができる。
後述の各種のフィルタリング及び画像処理演算は予測誤
差の影響を最小限に押えることを意図したものである
が、こうした誤差による画質に関して重大な劣化が起こ
りそうにないマクロブロック又は予測誤差が発生しそう
にないマクロブロックに適用した場合にはマイナスの影
響が出ることがある。この理由から、一つの実施例にお
いて後述の予測誤差抑制処理演算の適用は重大な（高度
な）予測誤差危険度があると分類された、例えば前述の
分類技術を用いて分類されたマクロブロックに限定され
る。
【００７９】予測誤差について高い危険があると分類さ
れたマクロブロックでは、強いエッジが予測しているマ
クロブロックの境界で検出された場合、一つの実施例に
おいて強いエッジは水平のエッジについてマクロブロッ
ク内部の隣接する画素列から、また垂直のエッジについ
てマクロブロック内部の隣接する画素縦列から外挿する
ことにより除去する。外挿演算は分析／外挿予測回路１
０３６によって行なわれる。外挿される予測、例えばエ
ッジでの画素の外挿列又は縦列の予測を用いて通常の方
法でマクロブロックを再構成する。本発明の外挿技術の
使用が図１２（ａ）及び図１２（ｂ）に示してある。
【００８０】図１２（ａ）に示した外挿法から得られる
マクロブロックを示す模式図であり、予測誤差に対応す
る強いエッジを表わすと決定された画素列１２０２によ
る予測マクロブロックを示す。図１２（ｂ）は図１２
（ａ）に示した外挿法から得られるマクロブロックを示
す模式図であり、画素列１２０２によって表わされるエ
ッジの強度を低減するように本発明の外挿処理を適用す
ることで発生したマクロブロック１２００’を表わす。
図１２（ｂ）においてエッジ画素列１２０２は画素列１
２０４の画素のコピー１２０４’で置き換えられてお
り、これによって処理済みマクロブロック１２００’の
エッジ強度を低減していることに注意する。
【００８１】アーチファクト検出除去回路１０３７によ
って行なわれるフィルタリングの使用では前述の外挿処
理に予測誤差の影響を低減するための別の方法を提供す
る。アーチファクト検出除去回路１０３７は分析／外挿
予測回路１０３６から得られた再構成フレームにおける
重大な予測誤差のロケーション及び確認可能な発生に関
する情報に加えて基準フレーム・メモリ１０１４に記憶
されている完全に再構成したフレームにアクセスでき
る。アーチファクト検出除去回路１０３７を使用する実
施例では、分析／外挿予測回路１０３６の外挿能力は除
外されて回路１０３６の代わりに使用できるもっと簡単
な分析回路１０３６’で良い。
【００８２】図１３は画像の再構成部分の状況での再構
成マクロブロックを示す模式図であり、再構成マクロブ
ロックがアーチファクト除去の対象になる場合を示して
いる。線１３０１の左に２つの画素縦列１３０２，１３
０４を含む再構成画像がある。線１３０１の右には検出
したエッジを表わす画素縦列１３０６とこれに隣接する
画素縦列１３０８がある。再構成マクロブロックがアー
チファクト除去の対象になる本発明の実施例では、エッ
ジは何らかの形のインパルス排除の使用により、例えば
アーチファクト検出除去回路１０３７に含まれる１つま
たはそれ以上のフィルタを使用して実現されるエッジを
横断した中央値フィルタリングの使用により、低減又は
排除される。このような一つの実施例において、モジュ
ール１０３６又は１０３６’によって識別されたエッジ
に直交する画素の列又は縦列から得られた画素値は回路
１０３７で検証されて中央値画素値を決定する。決定し
た中央値に対応する画素の画素値を用いて処理している
マクロブロックのエッジにある画素値を置き換える。
【００８３】この、回路１０３７によって行なわれる演
算は、次のように表現することができる：画素縦列１３
０４，１３０６，１３０８の各々の画素について、|B
(i)-med[A(i)+B(i)+C(i)]|>TならB(i)=median [A(i)+B
(i)+C(i)]にセットしそれ以外ではB(i)=B(i)にセットす
るここでＡ（ｉ）、Ｂ（ｉ）、Ｃ（ｉ）は各々対応する
縦列１３０４，１３０６，１３０８にあるｉ番目の画素
の値を表わし、Ｔはエッジにある画素値を置き換える前
に超過していなければならない閾値ルミナンス値であ
る。
【００８４】各種実施例においてアーチファクト検出除
去回路１０３７によって実現される別のフィルタリング
・アプローチはエッジ画素に隣接する２個の画素の平均
値で各画素を置き換えるものである。このようなエッジ
・フィルタリング演算は次のように表現することができ
る：画素縦列１３０４，１３０６，１３０８の各々の画
素について、|B(i)-med[A(i)+B(i)+C(i)]|>TならB(i)=
[A(i)+C(i)/2]にセットしそれ以外ではB(i)=B(i)にセッ
トするここで値Ａ（ｉ）、Ｂ（ｉ）、Ｃ（ｉ）、Ｔは前
述の通りである。
【００８５】上記のエッジ・フィルタリング技術をダウ
ンサンプリング・デコーダで使用する場合、回路例えば
アーチファクト検出除去回路１０３７によるエッジ・フ
ィルタリングの適用を制御するために使用される分析回
路１０３６等がドリフト減少フィルタ１００６によって
使用されるフィルタ・カーネルを制御する能力を含むよ
うにしてフィルタ・カーネルが単一モードとなるように
強制する、例えば動きベクトルによって重大な予測誤差
の中程度又は高度な危険があると分類させるようなマク
ロブロックについて一つの局部的極大を有することでア
ーチファクト検出除去回路１０３７による処理が行なわ
れるようにする。本発明により課せられるこのフィルタ
リング制限は、エッジによって予測に「リンギング」を
発生せず、ダウンサンプリングした基準フレームの定常
ブロック領域境界による劣化を検出除去する前述の方法
の適用を複雑にしないように保証する。
【００８６】前述の予測誤差検出及び低減技術に代わる
方法はフレームの各部分に対して異なる度合でダウンサ
ンプリングを適用するデコーダの使用である。このよう
なデコーダでは、定常ブロック領域に隣接する境界を含
むマクロブロックを、問題とする水平方向又は垂直方向
の境界に直交する軸で、比較的高解像度例えば最大解像
度で復号することができる。ダウンサンプリングした場
合に予測誤差を発生させることがある長い水平方向およ
び／または垂直方向のエッジ等の領域で基準フレームの
高解像度を維持することによって、ダウンサンプリング
による予測誤差を低減又は排除することができる。一つ
のデコーダ実施例において、定常ブロック領域のある水
平境界を含むこれらのマクロブロックは垂直方向に最大
解像度で復号される。復号マクロブロックは、復号した
解像度で例えばフレーム・メモリ１１４に記憶する。こ
のようにすると、定常ブロック領域のエッジ上にあるか
又はその付近に位置する基準画素から行なった予測は、
基準フレームが全体をダウンサンプリングされた場合に
含むよりも大幅に少ない予測誤差の度合を含むことにな
るが、これはエッジでの高解像度がフレーム・メモリ１
１４に保持されていることによる。このような実施例に
おいて、フレームを構成するマクロブロックの大半は未
だ低解像度で復号記憶され、一方で少数のマクロブロッ
クがサンプリングする２軸の少なくとも一方に沿って高
解像度で復号される。
【００８７】一つの実施例において、マクロブロックは
これらが隣接する水平方向又は垂直方向エッジに対して
平行な方向で、ダウンサンプリングされるが、エッジに
対して直交する方向にではない。このようにすると、一
つの次元でのみ最大解像度が維持される。制御されたダ
ウンサンプリングに対するこのアプローチは水平方向又
は垂直方向のエッジに沿って配置されたマクロブロック
が例えば水平方向と垂直方向の両方で最大解像度で記憶
される場合よりも少ないメモリで済む。
【００８８】復号中にフレームに対して選択的にダウン
サンプリングを適用することができるダウンサンプリン
グ・デコーダは、本明細書において「ハイブリッド・ダ
ウンサンプリング・デコーダ」と称し、図１４に示して
ある。
【００８９】図１４は本発明の実施例によって実現され
たハイブリッド・ダウンサンプリング・デコーダを示す
ブロック図である。デコーダ１４００等のハイブリッド
・ダウンサンプリング・デコーダでは、画像を表わすマ
クロブロックの大半は、ほとんどのマクロブロックが通
常条件下で定常ブロック領域に隣接しないことから、通
常では低解像度で復号される。
【００９０】したがって、デコーダ１４００等のハイブ
リッド・ダウンサンプリング・デコーダは各々の基準フ
レームの大部分が低解像度例えばダウンサンプリングし
たフォーマットで記憶できることから最大解像度デコー
ダより大幅に少ないメモリを用いて実現できる。つま
り、本発明のハイブリッド・ダウンサンプリング・デコ
ーダではダウンサンプリング・デコーダの少ないメモリ
の利点を多く享受できる。さらに、ハイブリッド・ダウ
ンサンプリング・デコーダは基準として使用するフレー
ムの少なくともある部分の最大解像度を保持しない従来
のダウンサンプリング・デコーダに対して有意に改善さ
れた画質を提供することができる。
【００９１】一つの実施例において、ハイブリッド・デ
コーダ１４００は基準フレームの定常ブロック境界に位
置するマクロブロックを最大解像度で復号する以外に、
画像の他の領域より大幅に低解像度で定常ブロック領域
内の領域を復号する。つまり、このような実施例では、
定義上比較的一定している定常ブロック領域が他の画像
部分と比較して相対的に少ないデータを使用して表現さ
れる。定常ブロック領域のダウンサンプリング増大に伴
うメモリの節約は最大解像度で定常ブロック領域に接す
るマクロブロックを表わす情報を記憶するのに必要なメ
モリ増加をオフセットするのに役立つ。別の実施例にお
いて、一つの軸に沿って最大解像度で復号されるマクロ
ブロックは、ピクチャで復号されたマクロブロックの大
半の解像度と比較して、もう一方の軸に沿って解像度を
大幅に減少して復号される。
【００９２】ハイブリッド・デコーダ１４００は図１及
び図１０に示したデコーダのそれと多くの類似点を備え
ていることに注意する。図１，図１０，図１４で同一参
照番号を付けた構成要素は同一又は類似の要素を表わし
ているのでここでは詳細な説明を繰り返さない。
【００９３】ハイブリッド・デコーダ１４００はオプシ
ョンのプリパーサ１１２、符号化データ・バッファ１１
２、シンタックス・パーサ及びＶＬＤ回路１２０、定常
画像領域／水平垂直エッジ検出回路１００２、基準フレ
ーム・メモリ１４１４を含む。さらに、解像度制御モジ
ュール１４５０を含む。解像度制御モジュール１４５０
はシンタックス・パーサ及びＶＬＤ回路１２０の対応す
る出力に接続した動きベクトル情報入力と、定常画像領
域／水平垂直エッジ検出回路１００２の出力に接続した
定常画像領域／エッジ情報入力を備える。解像度制御モ
ジュール１４５０は定常画像領域／水平垂直エッジ検出
回路１００２から出力された定常画像領域および／また
はエッジ情報の関数として、受信した画像のどの部分例
えばマクロブロックを最大解像度で復号記憶し、またど
れを低解像度で記憶すべきかを決定する。解像度制御信
号もまたシンタックス・パーサ及びＶＬＤ回路１２０に
よって解像度制御モジュール１４５０と動き補償予測モ
ジュール１４３５へ供給されたフレームの種類および／
または動きベクトル情報の関数として生成できる。例え
ば、基準フレームとしては使用されない双方向符号化フ
レームの場合、解像度制御モジュールは、一つの実施例
において、ダウンサンプラ１４２６を制御してフレーム
全体をダウンサンプリングする。ダウンサンプリングは
そのフレームが基準目的で使用されないことの知識によ
ってフレーム全体に対して行なわれるので、上記で詳述
した種類又は予測誤差を発生することはない。
【００９４】基準フレーム例えばＩ及びＰフレームとし
て使用されることがあるフレームを処理する場合、定常
画像領域及び水平／垂直エッジに関する情報を用いて画
像のどの選択部分をダウンサンプリングして低解像度の
形で記憶すべきかを決定する。
【００９５】低解像度で記憶すべき画像の部分に対応す
るデータを処理する場合に別々に動作するように逆量子
化回路１４２２と逆ＤＣＴ回路１４２４が制御される実
施例において、解像度制御モジュール１４５０で生成さ
れた解像度制御信号はダウンサンプラ１４２６以外に回
路１４２２，１４２４にも供給される。解像度制御信号
は多解像度動き補償予測モジュール１４３５と選択／平
均予測回路１４３４にも供給されて、これらの回路に画
像のどの部分を高解像度例えば最大解像度で処理しまた
保持（記憶）すべきか、及びどの部分を１つまたはそれ
以上の異なる低解像度で処理し記憶すべきかを伝える。
【００９６】解像度制御モジュール１４５０から出力さ
れる解像度制御信号に応答して、ダウンサンプラ１４２
６は画像のある部分例えば識別された定常画像領域内部
の領域を他の部分例えば検出した水平又は垂直エッジ付
近に位置するか又は隣接する画像領域よりもダウンサン
プリングする。
【００９７】図１４の実施例において、複数フレームで
反復して検出された定常ブロック領域を識別する一組の
定常ブロック情報とエッジ情報は、画像のどの部分をダ
ウンサンプリングしどの部分が少なくとも一つのサンプ
リング軸に沿って高解像度で記憶されるかを制御するた
めに使用される基準フレーム情報メモリ１００４に記憶
される。
【００９８】前述のように、解像度制御モジュール１４
５０は複数フレームに発生すると分かった定常画像領域
を識別する定常ブロック情報を受信して、付随するエッ
ジ情報と一緒にこの情報を使用して画像のどの部分をダ
ウンサンプリングすべきかまたどのフレーム部分を復号
して高解像度で記憶すべきかを決定する。このようにす
ると、解像度制御モジュール１４５０は検出した定常画
像領域に付随する水平又は垂直エッジに沿ったマクロブ
ロックが、少なくともエッジに直交する方向において高
解像度で復号され、一方で他の画像領域は適用したダウ
ンサンプリングの度合に対応した低解像度で復号される
ことを保証する。ダウンサンプラ１４３３は解像度制御
モジュール１４５０により選択的に制御されて最大解像
度で復号すべき画像領域がメモリ１１４に記憶する前に
ダウンサンプリングされないように保証する。
【００９９】本発明の低解像度デコーダは、例えばデコ
ーダ１４００がＳＤＴＶ信号を処理する場合にダウンサ
ンプリングを無効化すると仮定すると、高品位テレビジ
ョン信号を低解像度で、又標準品位テレビジョン信号を
高解像度で復号するために使用できる。
【０１００】本発明のデコーダ装置について、主として
プリント回路基板上に構成された１つまたはそれ以上の
集積回路を使用して実現される実施例に関連して説明し
た。しかし本明細書で説明した復号方法は、汎用コンピ
ュータ、例えばペンティアム（TM）プロセッサ付きマル
チメディア装備パーソナル・コンピュータ等で実行され
る一連のソフトウェア命令として実現することもできる
ことは理解されるべきである。
【０１０１】さらに、ダウンサンプリングはデータ縮約
の主要な方法として説明したが、例えば選択的データ破
棄および／またはデータ圧縮技術を含む別のデータ縮約
技術をダウンサンプリングの代わりに使用しても良い。
【０１０２】
【発明の効果】本発明によって、低解像度ビデオ・デコ
ーダで生成された画像の画質を改善するための方法なら
びにその装置を得ることができる。
【図面の簡単な説明】
【図１】周知の低解像度ビデオ・デコーダを示すブロッ
ク図である。
【図２】レターボックス・フォーマットのＨＤＴＶフレ
ームを示す模式図である。
【図３】ビデオ画像を符号化する動きベクトルの使用を
示す模式図である。
【図４】動きベクトルを使用して符号化された画像の復
号にダウンサンプリング・デコーダを使用した場合に発
生することがある画質の劣化を示す模式図である。
【図５】第１のＨＤＴＶフレームを示す模式図である。
【図６】第２のＨＤＴＶフレームを示す模式図である。
【図７】図６に示した第２のＨＤＴＶフレームが動きベ
クトルの使用により図５に示した第１のＨＤＴＶフレー
ムの関数としてどのように符号化できるかを示す模式図
である。
【図８】図７に示した動きベクトルの低解像度基準フレ
ームへの適用を示す模式図である。
【図９】図８に示した低解像度基準フレームへ図７に示
した動きベクトルの適用から生成した低解像度復号ビデ
オ・フレームを示す模式図である。
【図１０】本発明の代表的実施例によって実現される低
解像度デコーダを示すブロック図である。
【図１１】ルミナンス値０から２５５までのスケール上
に画素列又は行の各画素についてのルミナンス値をプロ
ットすることで得られた代表的なプロットを示す特性図
及び全て黒又は全て黒に近い画素の列又は行から得られ
た画素値の行又は列の代表的なプロットを示す特性図で
ある。
【図１２】マクロブロックに適用した本発明の外挿法を
示す模式図及び図１２（ａ）に示した外挿法から得られ
るマクロブロックを示す模式図である。
【図１３】画像の再構成部分の状況での再構成マクロブ
ロックを示す模式図である。
【図１４】本発明の実施例によって実現されたハイブリ
ッド・ダウンサンプリング・デコーダを示すブロック図
である。
【符号の説明】
１１２…プリパーサ（オプション）、１２０…シンタッ
クス・パーサ及びＶＬＤ回路、１２２、１４２２…逆量
子化回路、１２４、１４２４…逆ＤＣＴ回路、１２６、
１４２６…ダウンサンプラ、１３４、１４３４…選択／
平均予測回路、１００１…ディスプレイ装置、１００２
…定常画像領域／水平垂直エッジ検出回路、１００４…
基準フレーム情報メモリ、１００６…ドリフト減少フィ
ルタ、１０１４、１４１４…メモリ、１０３５、１４３
５…動き補償予測モジュール、１０３６…分析／外挿予
測回路、１０３７…アーチファクト検出除去回路、１４
５０…解像度制御モジュール。
フロントページの続き (72)発明者 ファーラー ジャック アメリカ合衆国 08550 ニュージャージ 州 プリンセトン ジャンクション市 ダ グラス ドライブ ６

Claims (27)

    【特許請求の範囲】
  1. 【請求項１】動き補償予測演算を実行して予測誤差が発
    生する確率を評価し、前記動き補償予測演算には第１の
    解像度の基準フレームで使用するため、少なくとも一部
    が前記第１の解像度より低い第２の解像度で記憶された
    低解像度基準フレームで、符号化された動きベクトルの
    使用を含むステップと、予測誤差の前記評価した確率の
    関数として前記動き補償予測演算を実行することで生成
    したデータの少なくとも一部を処理するステップとを含
    むことを特徴とするビデオ処理法。
  2. 【請求項２】請求項１記載のビデオ処理法において、予
    測誤差の確率を評価する前記ステップは、前記動きベク
    トルを検証して前記動きベクトルの垂直成分が前記低解
    像度基準フレームを発生するために使用される垂直ダウ
    ンサンプリング係数の整数倍か判定するステップを含む
    ことを特徴とするビデオ処理法。
  3. 【請求項３】請求項１記載のビデオ処理法において、予
    測誤差の確率を評価する前記ステップは、前記動きベク
    トルを検証して前記動きベクトルの水平成分が前記低解
    像度基準フレームを発生するために使用される水平ダウ
    ンサンプリング係数の整数倍か判定するステップを含む
    ことを特徴とするビデオ処理法。
  4. 【請求項４】請求項２記載のビデオ処理法において、予
    測誤差の確率を評価する前記ステップは、前記動きベク
    トルを検証して前記動きベクトルの水平成分が前記低解
    像度基準フレームを発生するために使用される水平ダウ
    ンサンプリング係数の整数倍か判定するステップを含む
    ことを特徴とするビデオ処理法。
  5. 【請求項５】請求項３記載のビデオ処理法において、前
    記処理ステップは前記低解像度基準フレームの水平エッ
    ジのロケーションに関して記憶している情報を使用する
    ステップを含むことを特徴とするビデオ処理法。
  6. 【請求項６】請求項２記載のビデオ処理法において、予
    測フレームを形成する際に使用するため前記動きベクト
    ルによって指定された前記基準フレームの画素ブロック
    が前記基準フレーム内部に位置する水平又は垂直エッジ
    と接するか判定するステップをさらに含むことを特徴と
    するビデオ処理法。
  7. 【請求項７】請求項６記載のビデオ処理法において、前
    記判定ステップは、前記低解像度基準フレームを検証し
    て前記低解像度基準フレームに含まれる黒縁を検出する
    ステップを含むことを特徴とするビデオ処理法。
  8. 【請求項８】請求項６記載のビデオ処理法において、前
    記判定ステップは、画素ルミナンス値が一般に一定して
    いる低解像度基準フレーム内部の定常画像領域を識別す
    るステップを含むことを特徴とするビデオ処理法。
  9. 【請求項９】請求項５記載のビデオ処理法において、前
    記動き補償予測演算を実行することによって生成された
    データの少なくとも一部を処理する前記ステップは、前
    記動きベクトルを使用して予測演算を実行することによ
    り生成された画素ブロックのエッジ列に対して外挿演算
    を実行するステップを含むことを特徴とするビデオ処理
    法。
  10. 【請求項１０】請求項５記載のビデオ処理法において、
    前記動き補償予測演算を実行することによって生成され
    たデータの少なくとも一部を処理する前記ステップは、
    低解像度基準フレームの使用による予測誤差の結果とし
    て復号画像に含まれる水平又は垂直エッジに対してフィ
    ルタリング演算を実行するステップを含むことを特徴と
    するビデオ処理法。
  11. 【請求項１１】請求項１記載のビデオ処理法において、
    前記動き補償予測演算を実行することによって生成され
    たデータの少なくとも一部を処理する前記ステップは、
    前記動きベクトルを使用して予測演算を実行することに
    より生成された画素ブロックのエッジ列に対して外挿演
    算を実行するステップを含むことを特徴とするビデオ処
    理法。
  12. 【請求項１２】請求項１記載のビデオ処理法において、
    前記動き補償予測演算を実行することによって生成され
    たデータの少なくとも一部を処理する前記ステップは、
    低解像度基準フレームの使用による予測誤差の結果とし
    て復号画像に含まれる水平又は垂直エッジに対してフィ
    ルタリング演算を実行するステップを含むことを特徴と
    するビデオ処理法。
  13. 【請求項１３】符号化ビデオ・データを、前記ビデオ・
    データが符号化された解像度より低い解像度で復号する
    方法であって、 第１の解像度の基準画像で使用されるように符号化さ
    れ、前記第１の解像度より低い第２の解像度の基準画像
    で使用する動きベクトルの適用に起因する予測誤差を検
    出するステップと、 ビデオ・データ処理演算を実行して前記動きベクトル及
    び前記基準画像を使用して作成した復号画像で検出され
    た予測誤差の影響を低減するステップと、 を含むことを特徴とするビデオ・データの復号方法。
  14. 【請求項１４】請求項１３記載のビデオ・データの復号
    方法において、前記ビデオ・データ処理演算を実行する
    前記ステップは、前記動きベクトルを使用して予測演算
    を実行することにより生成された画素ブロックのエッジ
    列に対して外挿演算を実行するステップを含むことを特
    徴とするビデオ・データの復号方法。
  15. 【請求項１５】請求項１３記載のビデオ・データの復号
    方法において、前記ビデオ・データ処理演算を実行する
    前記ステップは予測誤差の結果として復号画像に含まれ
    る水平又は垂直エッジに対してフィルタリング演算を実
    行するステップを含むことを特徴とするビデオ・データ
    の復号方法。
  16. 【請求項１６】請求項１５記載のビデオ・データの復号
    方法において、前記フィルタリング演算は平均フィルタ
    リング演算であることを特徴とするビデオ・データの復
    号方法。
  17. 【請求項１７】請求項１３記載のビデオ・データの復号
    方法において、検出された予測誤差に起因することにな
    るピクチャ劣化の度合を評価するステップをさらに含む
    ことを特徴とするビデオ・データの復号方法。
  18. 【請求項１８】請求項１７記載のビデオ・データの復号
    方法において、長さが少なくとも１６画素の垂直又は水
    平線を発生することになる予測誤差を重大な予測誤差と
    評価することを特徴とするビデオ・データの復号方法。
  19. 【請求項１９】請求項１８記載のビデオ・データの復号
    方法において、前記動きベクトルを使用して発生した復
    号画像に検出された予測誤差の影響を低減するためにビ
    デオ・データ処理演算を実行するステップは予測誤差に
    由来する垂直又は水平線を除去するビデオ処理演算を実
    行することに関係することを特徴とするビデオ・データ
    の復号方法。
  20. 【請求項２０】請求項１８記載のビデオ・データの復号
    方法において、前記動きベクトルを使用して発生した復
    号画像に検出された予測誤差の影響を低減するためにビ
    デオ・データ処理演算を実行するステップは重大な予測
    誤差に起因する前記垂直又は水平線の視認性を低減する
    ためのビデオ処理演算を実行することに関係することを
    特徴とするビデオ・データの復号方法。
  21. 【請求項２１】低解像度基準フレームを表わす基準フレ
    ーム・データを記憶するためのメモリと、記憶してある
    基準フレーム・データと前記記憶してある基準フレーム
    ・データより高解像度の基準フレーム・データに適用す
    るように符号化された動きベクトルの関数として予測画
    像データを生成するための動き補償予測モジュールと、
    予測誤差の発生する可能性に関して前記動きベクトルを
    分析するための予測分析回路とを備えることを特徴とす
    るビデオ・デコーダ。
  22. 【請求項２２】請求項２１記載のビデオ・デコーダにお
    いて、前記動き補償予測モジュールはドリフト低減フィ
    ルタを含み、前記予測分析回路は前記ドリフト低減フィ
    ルタの動作を制御するための手段を含むことを特徴とす
    るビデオ・デコーダ。
  23. 【請求項２３】請求項２２記載のビデオ・デコーダにお
    いて、前記予測分析回路に接続されて予測誤差の影響を
    低減するためのフィルタをさらに含むことを特徴とする
    ビデオ・デコーダ。
  24. 【請求項２４】請求項２２記載のビデオ・デコーダにお
    いて、前記予測分析回路に接続されて予測誤差の影響を
    低減するための外挿回路をさらに含むことを特徴とする
    ビデオ・デコーダ。
  25. 【請求項２５】請求項２１記載のビデオ・デコーダにお
    いて、前記予測分析回路に接続されて予測誤差の影響を
    低減するためのフィルタをさらに含むことを特徴とする
    ビデオ・デコーダ。
  26. 【請求項２６】請求項２１記載のビデオ・デコーダにお
    いて、前記予測分析回路に接続されて予測誤差の影響を
    低減するための外挿回路をさらに含むことを特徴とする
    ビデオ・デコーダ。
  27. 【請求項２７】請求項２１記載のビデオ・デコーダにお
    いて、前記ビデオ・デコーダは復号ビデオを表示するた
    めのディスプレイ装置を含むテレビジョン受像機の一部
    をなすことを特徴とするビデオ・デコーダ。
JP10326803A 1997-11-20 1998-11-17 低解像度ビデオ・デコーダで画質を改善するための方法及び装置 Pending JP2000041258A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/974,908 1997-11-20
US08/974,908 US6148033A (en) 1997-11-20 1997-11-20 Methods and apparatus for improving picture quality in reduced resolution video decoders

Publications (1)

Publication Number Publication Date
JP2000041258A true JP2000041258A (ja) 2000-02-08

Family

ID=25522505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10326803A Pending JP2000041258A (ja) 1997-11-20 1998-11-17 低解像度ビデオ・デコーダで画質を改善するための方法及び装置

Country Status (2)

Country Link
US (1) US6148033A (ja)
JP (1) JP2000041258A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001086963A1 (de) * 2000-05-08 2001-11-15 Micronas Munich Gmbh Videosignal-decoder und verfahren zur beseitigung von bildstörungen in einem videobild
JP2009232450A (ja) * 2008-03-24 2009-10-08 Fujitsu Ltd 画像処理方法、画像処理装置及び透かし検出システム
WO2011121716A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 動画像符号化方法、復号化方法、符号化装置および復号化装置
JP2013524659A (ja) * 2010-04-07 2013-06-17 リニア アルジェブラ テクノロジーズ リミテッド ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2311182A (en) * 1996-03-13 1997-09-17 Innovision Plc Improved gradient based motion estimation
US6339656B1 (en) * 1997-12-25 2002-01-15 Matsushita Electric Industrial Co., Ltd. Moving picture encoding decoding processing apparatus
US6768774B1 (en) * 1998-11-09 2004-07-27 Broadcom Corporation Video and graphics system with video scaling
US6570579B1 (en) * 1998-11-09 2003-05-27 Broadcom Corporation Graphics display system
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US8090619B1 (en) 1999-08-27 2012-01-03 Ochoa Optics Llc Method and system for music distribution
US7209900B2 (en) 1999-08-27 2007-04-24 Charles Eric Hunter Music distribution systems
US6952685B1 (en) 1999-08-27 2005-10-04 Ochoa Optics Llc Music distribution system and associated antipiracy protection
US20060212908A1 (en) * 1999-08-27 2006-09-21 Ochoa Optics Llc Video distribution system
US6510178B1 (en) * 1999-12-15 2003-01-21 Zenith Electronics Corporation Compensating for drift in the down conversion of high definition sequences to lower resolution sequences
US20010042910A1 (en) * 2000-01-06 2001-11-22 Eng Klan Teng Vertical ball grid array integrated circuit package
US9252898B2 (en) * 2000-01-28 2016-02-02 Zarbaña Digital Fund Llc Music distribution systems
JP2002094994A (ja) * 2000-09-19 2002-03-29 Nec Corp 動画再生処理装置および動画再生処理方法
JP2002190020A (ja) * 2000-12-20 2002-07-05 Monolith Co Ltd 映像効果方法および装置
US6898245B2 (en) * 2001-03-26 2005-05-24 Telefonaktiebolaget Lm Ericsson (Publ) Low complexity video decoding
US6909750B2 (en) * 2001-05-01 2005-06-21 Koninklijke Philips Electronics N.V. Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
US7020352B2 (en) * 2001-05-25 2006-03-28 Seiko Epson Corporation Photo extraction techniques
US7960005B2 (en) 2001-09-14 2011-06-14 Ochoa Optics Llc Broadcast distribution of content for storage on hardware protected optical storage media
CN100452883C (zh) 2001-12-17 2009-01-14 微软公司 处理视频图像的方法
US20040223084A1 (en) * 2003-05-08 2004-11-11 Stanger Leon J. Methods and apparatus for border processing in video distribution systems
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7606308B2 (en) 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
JP4922839B2 (ja) * 2007-06-04 2012-04-25 三洋電機株式会社 信号処理装置、映像表示装置及び信号処理方法
KR101419885B1 (ko) 2008-04-10 2014-07-16 (주)휴맥스 적응적 복호화 장치 및 방법
KR101379185B1 (ko) * 2009-04-14 2014-03-31 에스케이 텔레콤주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9235313B2 (en) * 2012-01-11 2016-01-12 Google Inc. Efficient motion estimation for remote desktop sharing
US8774536B1 (en) 2012-07-03 2014-07-08 Google Inc. Efficient processing of streams of images within a moving window session
US10123028B2 (en) 2014-09-17 2018-11-06 Mediatek Inc. Syntax parsing apparatus with multiple syntax parsing circuits for processing multiple image regions within same frame or processing multiple frames and related syntax parsing method
GB2539241B (en) * 2015-06-11 2019-10-23 Advanced Risc Mach Ltd Video processing system
KR20170042431A (ko) * 2015-10-08 2017-04-19 삼성전자주식회사 디스플레이 모양에 따라 영상 데이터를 불균일하게 인코딩/디코딩하도록 구성되는 전자 장치
CN110572676B (zh) * 2019-09-27 2023-12-12 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5684538A (en) * 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
US5854858A (en) * 1995-06-07 1998-12-29 Girod; Bernd Image signal coder operating at reduced spatial resolution
US6061400A (en) * 1997-11-20 2000-05-09 Hitachi America Ltd. Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001086963A1 (de) * 2000-05-08 2001-11-15 Micronas Munich Gmbh Videosignal-decoder und verfahren zur beseitigung von bildstörungen in einem videobild
JP2009232450A (ja) * 2008-03-24 2009-10-08 Fujitsu Ltd 画像処理方法、画像処理装置及び透かし検出システム
WO2011121716A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 動画像符号化方法、復号化方法、符号化装置および復号化装置
US9100650B2 (en) 2010-03-30 2015-08-04 Kabushiki Kaisha Toshiba Video encoding method, decoding method, and apparatus
JP2013524659A (ja) * 2010-04-07 2013-06-17 リニア アルジェブラ テクノロジーズ リミテッド ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ

Also Published As

Publication number Publication date
US6148033A (en) 2000-11-14

Similar Documents

Publication Publication Date Title
JP2000041258A (ja) 低解像度ビデオ・デコーダで画質を改善するための方法及び装置
JPH11243543A (ja) 低解像度ビデオ・デコーダにおいて、予測誤差をもたらすシーン内容を検出し、検出された情報を使用するための方法及び装置
JP2000041242A (ja) ビデオ画像の異なる部分を異なる解像度で復号する方法及び装置
US7075993B2 (en) Correction system and method for enhancing digital video
JP4707754B2 (ja) 画像クロッピングのためのビットストリーム編集を用いたコスト低減デコーダ
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US6931062B2 (en) Decoding system and method for proper interpolation for motion compensation
EP2640074A1 (en) System and method for adaptive frame re-compression in video processing system
US20090262837A1 (en) Moving Image Decoding Apparatus and moving image decoding method
JP2009527175A (ja) 表示される画像における圧縮アーティファクトの低減、エンコードパラメータの解析
US8265138B2 (en) Image processing apparatus, method and integrated circuit used in liquid crystal display by processing block velocity of noisy blocks
US6909750B2 (en) Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
US6539058B1 (en) Methods and apparatus for reducing drift due to averaging in reduced resolution video decoders
US6243140B1 (en) Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US20020037045A1 (en) Variable resolution decoder
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
US20030043916A1 (en) Signal adaptive spatial scaling for interlaced video
JP2005521310A (ja) ビデオ信号後処理方法
JP2007027882A (ja) 解像度変換復号装置
JP3196753B2 (ja) 画像表示方法及び画像表示装置
EP1617673A1 (en) Means and method for motion estimation in digital Pal-Plus encoded videos
JP2007274114A (ja) 画像符号化装置及び画像符号化方法
KR20090020957A (ko) 적응형 색공간변환 방법
KR20090106669A (ko) 압축 영상 복원에 있어서 모스키토 노이즈 제거 방법 및장치