JP2006217560A - 参考フレームバッファメモリのサイズとアクセス量を減らす方法 - Google Patents

参考フレームバッファメモリのサイズとアクセス量を減らす方法 Download PDF

Info

Publication number
JP2006217560A
JP2006217560A JP2005091933A JP2005091933A JP2006217560A JP 2006217560 A JP2006217560 A JP 2006217560A JP 2005091933 A JP2005091933 A JP 2005091933A JP 2005091933 A JP2005091933 A JP 2005091933A JP 2006217560 A JP2006217560 A JP 2006217560A
Authority
JP
Japan
Prior art keywords
reference frame
size
frame buffer
buffer memory
reducing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005091933A
Other languages
English (en)
Inventor
Tzyh-Chiang Chen
自強 陳
Chien-Fa Chen
建發 陳
Chih-Chang Chen
志昌 陳
Fang-Chu Chen
芳祝 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of JP2006217560A publication Critical patent/JP2006217560A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【課題】 ビデオコーデックにおけるバッファフレームメモリサイズとアクセス量減少の方法の提供。
【解決手段】 本方法はビデオ符号化標準に従うコーデックに適用される。圧縮解除手順における圧縮ブロックの検討により、バッファフレームのブロックデータタイプが圧縮データタイプであるか復号生データタイプであるかが判断される。これはこの圧縮解除ブロックの符号化タイプと対応参考フレームの位置、或いは付与されたトポロジーパターンとフレームメモリの容量によりなされる。本発明はバッファフレームメモリサイズのみならずビデオブロックの復号に係る計算量を減少する。こうして、ビデオデコーダのメモリサイズと参考フレームのアクセス及び計算量の間の折衷を達成する。
【選択図】 図3

Description

本発明はコーデック(codec)に係り、特にビデオコーデックにおける参考フレームバッファメモリのサイズとアクセス量を減らす方法に関する。
ビデオ圧縮符号化方法中、ビデオフレームの符号化方式の違いにより、フレームはI−frame(intra−coded frame)とインターコーデッドフレーム(inter−coded frame)に分けられ、そのうち、インターコーデッドフレーム符号化フレームはまたその予測の方向の違いによりP−frame(predictive frame)とB−frame(bi−directional predictive frame)に分けられる。そのうち、I−frameの符号化は参考フレーム自身の画素を予測対象とするか予測せず、この部分のデータ量の圧縮はこのフレーム自身の空間関係を利用する。P−frame符号化ブロックは前向きのフレームを参考とし動き探索(motion estimation)を実行して、一つの関係する動きベクトル(motion vector;MV)及びその余剰信号(residual)を発生し、最後にその発生する動きベクトル及び余剰信号を符号化することによりデータ圧縮の目的を達成する。B−frameは前面のフレームを参考とするほか、その後ろのフレームを動き探索の対象として参考としうる。あるビデオ圧縮標準にあっては、更に前向きにn個のフレームの予測を許容し、例えばH.264は前向きに5個のフレームを参考とし、これによりフレーム間予測ブロックを符号化/復号化する時、そのうちのフレームバッファは前のn枚のフレームのデータにアクセスする必要がある。伝統的な方法は各フレームを再構成データ(reconstructed data)方式で保存する方法であるが、これは相当に大きなメモリコストとデータアクセス量の増加を形成する。
H.264(又はMPEGアドバンストビデオ符号化(advanced video coding of MPEG−4 part 10))をITU−Tとするビデオ符号化エキスパートグループ(video coding experts group;VCEG)とISOのMPEGの合作により、いわゆるジョイントビデオチーム(joint video team;JVT)が標準化する最新符号化/復号化標準が組成された。このビデオ標準の目的は、高圧縮率のビデオ会議、デジタル保存媒体、テレビブロードキャスティング及びインターネットのビデオ符号化と通信(internet streaming and communication)を含むビデオアプリケーションに符合するようにすることにある。
伝統的なビデオ圧縮標準、例えばH.261、H.263、MPEG−1とMPEG−2と比較すると、圧縮データアプリケーション上の差異のほか、ビデオ符号化方法上、H.264とそれ以前のビデオ符号化方法は以下のような違いがあり、それは、イントラコーディング中にフレーム内予測(intra prediction)を加え、離散余弦変換(dicrete cosine transform;DCT)を整数(integer)変換に改変し、フレーム間の動き探索中に、多種類のブロックサイズで求めた最良の動きベクトルを包含し及び前向きに最多で5個のフレームの参考を許容する。しかし、周知の技術では、参考フレームの保存は直接各フレームの再構成データを保存し、これにより、H.264デコーダを動き探索に応用してフレーム間で符号化予測を行なうには、5個の参考フレームの関係サーチ領域にアクセスして、最も相似の参考ブロックを探し出さねばならず、このため参考フレーム装置の非常に大きなメモリ量の増加を形成し、さらにデータ読み書き量の増加を形成し、またエンコーダ運転時に大量のパワー消耗を必要とする。
1996年、Yogeshwarによる特許文献1により圧縮ビデオデコーダ及びその復号方法が提出された。図1に示されるように、この復号技術によると、チャネルバッファ領域101にあってすでに圧縮されたビデオデータを受け取り、並びに圧縮ビデオデコーダによりそれを圧縮解除する。この圧縮解除データの一部分を再圧縮してイントラフレームデータとなして、参考フレーム(reference frame)となす。このイントラフレームデータを動き補償した後、さらにイントラフレームデータより参考フレームを選択する。最後にこの参考フレーム中の対象領域(region of interest)103を圧縮解除する。
Yogeshwarの技術はフレームブロックを再量子化するため、ビデオ品質の低下を形成する。対象領域中で処理されるブロックは復号が必要な被参考領域をキャプチャするのに用いられる。
1999年、Millerの提出した特許文献2にはMPEGデコーダ中にあってメモリとメモリ周波数幅要求を減らす方法と装置が記載されている。図2はこの伝統的なメモリとメモリ周波数幅要求を減らす方法のフローチャートである。Millerは運転の第1モード(a first mode of operation)中にあって、優先的にメモリを参考フレームの保存のために分配する(ステップ201)。その後、運転の第2モード中にあって、更にメモリをその他の機能に分配する(ステップ210)。参考フレームメモリの減少により形成される画像品質の低下は、周波数帯域コードにより補償される。この周波数帯域コードが運転の第2モードにあって参考フレームメモリと接続される。そのうちの圧縮方法はダウンサンプリング(downsampling)と変換符号化を包含する。
しかし、Millerの方法は参考フレームアクセスの問題を検討しておらず、その方法はまた解析度(resolution)とピーク信号対雑音比(peak signal−to−noise ratio;PSNR)の低下を含む画像品質の低下を形成する。また、MillerとYogeshwarの方法はいずれもメモリの増加とメモリアクセス量の問題を考慮しておらず、またブロック保存形態判定のメカニズムを包含しない。
米国特許第6222886号明細書 米国特許第6633608号明細書
本発明は上述の伝統的なビデオデコーダの発生するメモリ容量が大きく動き探索或いは動き補償時の参考フレーム読み書き量が大きい欠点を克服する。その主要な目的は、一種の参考フレームバッファメモリのサイズとアクセス量を減らす方法を提供することにあり、それはビデオ符号化/復号化標準に符合するビデオコーデックに適用される。このビデオコーデックは少なくとも対策決定ユニットと参考フレームバッファ(この参考フレームバッファは外部保存ユニット、或いは内部保存ユニット、或いは内部と外部のいずれにも設けられた保存ユニットとされうる)を包含する。このビデオコーデックはこの参考フレームバッファに保存された一つ或いは複数の参考フレーム参考として動き探索或いは動き補償を行なう。この方法は以下のステップを包含する。即ち、(a)複数の圧縮ブロックを包含する復号したいフレームを受信するステップ、(b)各圧縮ブロックのバッファ単位のサイズを定義するステップ、(c)各保存ユニットのデータ保存形態を設定するステップ、(d)各バッファ単位をその対応するデータ保存形態により、この参考フレームバッファ中に保存し、さらにステップ(a)に戻り、続けて次の復号したいフレームを処理するステップ。
本発明の最大の特色は、各圧縮ブロックを保存して参考フレームとする前に、四種類の圧縮データ保存方法と五種類のブロックデータ保存形態の判断方式を使用し、及び、異なる特性のビデオセグメントに基づくか或いはメモリの余剰の保存量を予測することで、適合する判断方式と圧縮データ保存方法を決定し、メモリ保存量と計算量を適当に調整することにある。
四種類の圧縮データ保存方法は以下のとおりである。(A)復号前の信号と対応する予測ブロックの予測形式(prediction mode)或いはフレーム間予測ブロックの動きベクトル)のビットストリームを直接参考フレームバッファ中に保存する。(B)予測パラメータとエントロピー復号後の余剰信号をフレームバッファ中に保存する。(C)予測パラメータと量子化解除後の余剰信号をフレームバッファ中に保存する。(D)予測パラメータと逆変換後の余剰信号をフレームバッファ中に保存する。
五種類のブロックデータ判断方式は以下のとおりである。(1)各小符号化ブロックを保存単位とし、ブロック内の小符号化ブロックをフレーム内予測方式で符号化するかフレーム間予測時に近端フレーム(near−end frame)を参考として予測符号化する時、この小符号化ブロックのデータを参考フレームバッファ中で判定してフレーム内予測ブロックの予測形式と余剰信号を保存するかフレーム間予測ブロックの動きベクトルと余剰信号を保存し、そうでなく、小符号化ブロックが遠端不隣接フレーム(far−end frame)を参考とする時は、この小符号化ブロックを判定して数値データを保存する。(2)フレーム中のブロックを保存単位をし、ブロックのデータ保存形態を判定する前に、もしブロック内の任意の小符号化ブロックが遠端不隣接フレームを参考とするなら、全体のブロックを還元数値データで保存し、全体ブロック内の小符号化ブロックをいずれもフレーム内予測方式で符号化するかフレーム間予測時に近端隣接フレームを参考として符号化予測し、このブロックを判定してその関係フレーム内予測ブロックの予測形式と余剰信号或いはフレーム間予測ブロックの動きベクトルと余剰信号を保存する。(3)一つのトポロジーパターンを構築し、それは復号するフレーム中の各ブロック中の設定データ保存形態を包含するものとする。復号するフレームのデータ保存形態を判定する時、各小符号化ブロックを保存単位とし、判断方式(1)の各小符号化ブロックの小符号化ブロックの判定結果をトポロジーパターン中の対応ブロックと結合させ、トポロジーパターンが保存還元数値データとされるなら、判断方式(1)の判断結果を保存圧縮データとなし、結合結果を保存還元数値データとなす。反対に、トポロジーパターン中の標示が保存圧縮データとされれば、判断方式(1)のデータ保存形態を圧縮データと判定し、即ち結合結果を保存圧縮データとなす。(4)判断方式(3)のようなトポロジーパターンを構築し、復号するフレームのデータ保存形態を判定する時、ブロックを保存単位とし、判断方式(2)の各ブロックの判定結果をトポロジーパターン中の対応ブロックと結合し、ブロック保存が圧縮データとされるか或いは還元数値データとされる時の判定方法は判断方式(3)と同じである。(5)与えられたメモリ容量を制限条件とし、適時に全体の復号するフレームを還元数値データ形態として保存し、バッファのメモリ量はこの設定されたメモリ容量内に制限される。フレームバッファ中の部分フレームが占めるメモリ容量が設定されたメモリ容量に符合する時、この復号するフレームの全体或いは部分フレームを還元数値データでバッファ中に保存し、そうでなれば、上述の判断方式(1)〜(4)の判定結果で復号するフレーム中のブロックデータを保存する。
実験結果が示すところによると、Foremanシーケンスを使用して方法A、方法B、方法C及び方法Dで判断方式(1)を組み合わせて参考フレームデータ形態を判断保存する結果、伝統的な参考フレームバッファ中の5枚の参考フレーム還元数値データの方法に対して、平均してただ2.2、2.3、2.4と3.8枚の還元数値データを保存するだけでよく、それぞれ最多でも3.6、3.9、4.2、4.8枚の還元数値データの保存量を必要とする。このほか、もし判断方式(1)から判断方式(4)を運用してブロックデータ保存形態を判断し、並びに方法Aで参考フレームデータを保存するなら、平均してただ2.2、2.5、3.2と3.3枚の還元数値データ、最多で3.6、3.9、4.1と4.2枚の還元数値データの保存量のみ必要とする。計算量方面では、方法Aに判断方式(1)と判断方式5)を組み合わせると、方法Aに判断方式(1)を組み合わせて参考フレームデータを保存する場合の計算量に較べて、約15倍以上の計算量を減らすことができる。
これにより、本発明は確実に有効にフレームバッファの記憶量とデータ読み書き量を減らすことができ、メモリ容量の適合性を達成し、メモリ容量が許容する情況で、部分参考フレームは還元数値データで保存され、その後、これら参考フレームデータが復号したいブロックに参考にされる時は、この部分の参考フレームデータを圧縮解除するための計算量を節約できる。
請求項1の発明は、参考フレームバッファメモリのサイズとアクセス量を減らす方法において、この方法はビデオエンコード/デコード標準に符合するビデオエンコーダ/デコーダに適用され、該ビデオエンコーダ/デコーダは少なくとも対策決定ユニットと参考フレームバッファを具え、該ビデオエンコーダ/デコーダは参考フレームバッファに保存された一つ或いは複数の参考フレームを参考として動き探索或いは動き補償を行ない、この方法は、
(a)複数の圧縮ブロックを具えた複数の復号するフレームを受け取るステップ、
(b)各圧縮ブロック中の保存単位のサイズを定義するステップ、
(c)各保存単位をその対応するデータ保存形態に基づき、参考フレームバッファ中に保存し、更に(a)のステップに戻り、続いて次に復号するフレームを処理するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項2の発明は、請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(b)のステップで、各圧縮ブロック中の保存単位を1ブロックと定義することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項3の発明は、請求項2記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ブロックサイズは16×16ピクセルとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項4の発明は、請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(b)のステップ中の各圧縮ブロックは複数の小符号化ブロックを包含し、各圧縮ブロック中の保存単位を一つの小符号化ブロックと定義することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項5の発明は、請求項4記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、小符号化ブロックのサイズは16×8、8×16、8×8、8×4、4×8、4×4ピクセルのいずれかとすることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項6の発明は、請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c)のステップが更に以下のサブステップ、即ち、
(c1)メモリ容量制限条件があるかを判断し、無ければ(c4)のステップにジャンプし、有れば(c2)のステップに進むステップ、
(c2)該メモリ容量制限条件に基づき、還元数値データ補間が可能であるかを判断し、不可能であれば(c4)のステップにジャンプし、可能であれば(c3)のステップに進むステップ、
(c3)還元数値データ補間のステップ、
(c4)各保存単位のデータ保存形態を決定するステップ、
(c5)トポロジーパターンに基づき更なる設定を行なう必要があるかを判断し、必要がなければ(d)のステップにジャンプし、必要があれば(c6)のステップに進むステップ、
(c6)トポロジーパターンに基づき各保存単位のデータ保存形態を設定するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項7の発明は、請求項6記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c2)のステップが更に以下のサブステップ、即ち、
現在の第0枚から第(N−1)枚の参考フレームのメモリ少量メモリ容量M0,N-1 gaめ設定されたメモリ容量サイズの臨界値以下であるかを判断し、臨界値より大きければ、(c4)のステップにジャンプし、臨界値以下であれば、(c3)のステップにジャンプするステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項8の発明は、請求項7記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、臨界値は(N−L−1)個のフレームの還元数値データとされ、Lは節約を要するフレーム枚数を表示することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項9の発明は、請求項6記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c3)のステップは以下のサブシステム、即ち、
(c31)復号するフレームの全体フレームを還元数値データ保存形態での保存に設定するかを決定し、イエスならば(c33)のステップにジャンプし、ノーならば(c32)のステップに進むステップ、
(c32)復号するフレームの一部のデータ保存形態を還元数値データ形態での保存に設定し、更に(c5)のステップにジャンプするステップ、
(c33)復号するフレームの全体フレームを還元数値データ形態での保存に設定し、並びに(d)のステップにジャンプするステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項10の発明は、請求項6記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c4)のステップでの決定動作は以下のサブシステム、即ち、
(c41)保存単位が1つのブロックであれば、その包含する小符号化ブロックにより設定するかを判断し、イエスであれば(c43)のステップにジャンプし、ノーであれば(c42)のステップに進むステップ、
(c42)保存単位中の少なくとも一つの小符号化ブロックを包含する参考フレームが遠端不隣接フレームであるかを判断し、イエスであれば(c47)のステップにジャンプし、ノーであれば(c43)のステップに進むステップ、
(c43)保存単位がフレーム間予測とされるかを判断し、イエスであれば(c45)のステップにジャンプし、ノーであれば(c44)のステップに進むステップ、
(c44)保存単位のデータ保存形態を予測形式と余剰信号形態での保存に設定し、(c5)のステップにジャンプするステップ、
(c45)保存単位の参考フレームが隣接近端フレームであるかを判断し、ノーであれば(c47)のステップにジャンプし、イエスであれば(c46)のステップに進むステップ、
(c46)保存単位のデータ保存形態を動きベクトルと余剰信号形態での保存に設定し、並びに(c5)のステップにジャンプするステップ、
(c47)保存単位のデータ保存形態を還元数値データ形態での保存に設定するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項11の発明は、請求項10記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測形式と余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項12の発明は、請求項10記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、動きベクトルと余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項13の発明は、請求項10記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、余剰信号はトポロジー復号後の余剰信号或いは量子化解除後の余剰信号或いは逆変換後の余剰信号のいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項14の発明は、請求項6記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c5)のステップのトポロジーパターンは復号するフレーム中の各ブロックの設定データ保存形態であることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項15の発明は、請求項6記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c6)のステップが以下のサブステップ、即ち、
(c61)トポロジーパターンに基づき、各保存単位の設定済みのデータ保存形態とトポロジーパターン中の対応ブロックの設定データ保存形態がいずれも圧縮データ形態での保存であるかを判断し、ノーであれば(c63)のステップにジャンプし、イエスであれば(c62)のステップに進むステップ、
(c62)保存単位のデータ保存形態を圧縮データ形態での保存に設定し、更に(d)のステップにジャンプするステップ、
(c63)保存単位のデータ保存形態を還元数値データ形態での保存に設定するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項16の発明は、請求項15記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、圧縮データ形態は予測形式と余剰信号形態或いは動きベクトルと余剰信号形態の二組のうちのいずれか一組とされたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項17の発明は、請求項16記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測形式と余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項18の発明は、請求項16記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、動きベクトルと余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項19の発明は、請求項16記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、余剰信号はトポロジー復号後の余剰信号或いは量子化解除後の余剰信号或いは逆変換後の余剰信号のいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項20の発明は、請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、参考フレームバッファ中に保存された第0枚の参考フレームが還元数値データ形態或いは予測形式と余剰信号形態で保存されることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項21の発明は、請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(d)のステップ中、各保存単位を参考フレームバッファに保存する動作の前に、各保存単位の対応するデータ保存形態に基づき、処理を行ない、この処理はトポロジー復号処理、或いはトポロジー復号と量子化解除処理、或いはトポロジー復号と量子化解除と逆変換、或いはトポロジー復号と量子化解除と逆変換処理と動き補償のいずれか一種類とすることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項22の発明は、請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(d)のステップ中、参考フレームバッファが外部保存ユニットと内部保存ユニットを包含する時、各保存単位はその対応するデータ保存形態に基づき、データ保存形態が還元数値データ形態であれば、外部保存ユニット中に保存し、そうでなければ内部保存ユニット中に保存することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項23の発明は、請求項22記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(b)のステップの前に、
(b0)内部保存ユニット中の余剰信号データと対応する予測パラメータ及び外部保存ユニット中の還元数値データに基づき、還元関係図を構築し、更に対策決定ユニットを利用して還元関係図に基づき動き探索及び動き補償に必要な参考フレームを再構築するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項24の発明は、請求項23記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測パラメータが予測形式或いは動きベクトルのいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項25の発明は、請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ビデオエンコード/デコード標準がH.264とされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項26の発明は、請求項25記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ビデオエンコーダ/デコーダが参考フレームバッファに保存された5個の参考フレームを参考として動き探索或いは動き補償を行なうことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
本発明が提供する参考フレームバッファメモリのアクセス量とサイズを減らす方法は、四種類の圧縮データ保存方法と五種類の参考フレームブロック保存形態の判断技巧を使用し、十分に有限な与えられたメモリ容量を利用するため、本発明は固定メモリ容量の制限条件下で、弾性的に復号するフレームの圧縮データ保存方法と判断技巧を選択できる。バッファ中のフレームが占めるメモリ量が予め設定された条件に符合する時、全体或いは部分フレームを還元数値データで参考フレームに保存し、こうして、メモリ容量の適合性を達成し、メモリ容量が許容する情況下では、参考フレームを還元数値データで保存し、また、参考フレームデータを復号するフレームが参考とする時は、一部の参考フレームデータの圧縮解除の計算量を減らし、効率的にメモリと計算量を適合させる設計を達成する。これにより、本発明は確実に参考フレーム装置のメモリ設計コストを減らし、更に伝統的な復号方法のビデオ品質を確保する。
図3は本発明の参考フレームバッファメモリのアクセス量とサイズを減少する方法のフローチャートである。この方法は、ビデオ符号化/複合化標準に符合するビデオデコーダに適用され、このビデオデコーダは参考フレームバッファに保存された一つ或いは複数の参考フレームを参考として動き探索或いは動き補償を行なう。図3に示されるように、まず、ステップ301で、復号するフレームを受け取り、この復号するフレームは複数の、既に圧縮されたブロックを包含するものとする。続いて、ステップ302で、既に圧縮された各ブロックの保存単位のサイズを定義する。続いて、ステップ303で、各保存単位のデータ保存形態を設定する。最後に、ステップ304で、各保存単位をその対応するデータ保存形態に基づき、参考フレームバッファ中に保存し、更に、ステップ301に戻り、続いて次に復号するフレームを処理する。
図4は図3をビデオデコーダに応用した構造表示図である。図4に示されるように、このビデオデコーダ400は、少なくともトポロジー復号ユニット401、量子化解除ユニット402、逆変換ユニット403、対策決定ユニット404、フレーム内予測或いはフレーム間予測と動き補償ユニット406、及び参考フレームバッファ405を包含する。本発明の方法は対策決定ユニット404と参考フレームバッファ405に応用され、そのうち、参考フレームバッファ405は外部保存ユニット405b、或いは内部保存ユニット405a、或いは内部と外部それぞれに設けられた保存ユニットとされる。システムのメモリ容量或いは計算量の制限に基づき、対策決定ユニット404は各圧縮済みブロックを参考フレームとして保存する前に、四種類の圧縮データ保存方法と五種類のブロックデータ保存形態判断方式のなかから、一つの適合する判断方式と圧縮データ保存方法を決定し、さらにブロックを外部保存ユニット405b或いは内部保存ユニット405aに保存する。
以下にH.264ビデオ符号化標準を例とし、本発明のビデオエンコーダ/デコーダへの応用の運転フローを説明する。
図5は本発明をH.264ビデオエンコーダに応用した構造表示図である。図5に示されるように、このビデオエンコーダ500は部分デコーダ510を具え、これにより本発明の方法はまたこのビデオエンコーダ500の対策決定ユニット404と参考フレームバッファ405に適用され、そのうち、参考フレームバッファ405は外部保存ユニット405b、内部保存ユニット405a、或いは内部と外部に設けられた保存ユニットとされうる。デコータ500の対策決定ユニット404は、システムのメモリ容量或いは計算量の制限により、適合する判断方式或いは圧縮データ保存方法を決定し、更にブロックを外部保存ユニット405b或いは内部保存ユニット405aに保存する。
図6は四つの異なるビデオシーケンスをH.264ビデオデコーダで圧縮解除し、動き探索する時、復号するフレーム中のブロックが前向きに5枚のフレームを参考とする確率を示す。図6に示されるように、図中、第4枚の参考フレームRef(4)は復号するフレームに最も近隣の参考フレームを表示し、第3枚の参考フレームRef(3)、第2枚の参考フレームRef(2)、第1枚の参考フレームRef(1)と第0枚の参考フレームRef(0)の順に復号するフレームから遠くなる参考フレームを表示する。
図6に示されるように、前向き予測(forward prediction)のブロックを復号する時、その動きベクトルが最も近隣の第4枚の参考フレームRef(4)を指向する確率は70%以上であり、その他のフレームを参考とする確率は、それと復号するフレームとの距離が長くなるほど減少する。これから分かるように、一つのブロックの参考フレームが復号するフレームと近隣のフレームとされる時、このブロックのデータは動きベクトル及び余剰信号を用いて保存されうる。反対に、ブロックの参考フレームが復号するフレームに隣接しない遠端フレームとされる時、ブロックの復号後の還元数値データを以て保存される。こうして、大量にこれらの参考フレームを保存するためのメモリが減らされる。なぜなら保存される参考フレーム中の大部分のブロックは圧縮されたデータ形態でメモリに保存されるためである。その次に、ビデオデコーダの圧縮過程について説明すると、ブロックがフレーム間予測符号化により動き探索を行なう時、外部メモリより参考フレームの関係領域データをビデオエンコーダ/デコーダに送り、最も適合する動きベクトルをサーチしなければならず、この動作は大量のデータアクセス量を形成し、さらにビデオデコーダに大量にパワー消耗させる。しかし、もしこのときの参考フレームが圧縮データで保存されたものであれば、ビデオエンコーダ/デコーダと外部メモリのアクセスのデータ量を大量に減らすことができ、データ伝送のパワー消耗を減らすことができる。
さらに、もし部分参考フレームを圧縮データで保存する必要があれば、ブロックの参考フレーム位置、例えば近端隣接フレームであるか或いは遠端不隣接フレームであるかを考慮するほか、順調にそのうちの参考とされるフレームを再構築できるか否かを考慮しなければならない。図7は復号するフレーム中の前向き予測ブロックを復号し、且つn個の参考フレームを参考とする時の、参考フレームバッファ405中の参考フレームの配列情況を示す。前向き予測ブロックが所有する動きベクトルは前向きのn個のフレーム中で誤差が最小のブロックを参考とすることで発生し、また参考フレームの部分データは動きベクトルと余剰信号で保存されるため、そのうち一つの復号するフレーム中のブロックが参考とする参考フレームが圧縮データで保存される時、応用時に、この参考フレーム中の関係領域の圧縮データが復号されることで、参考データとして応用されうる。これによりこの領域のデータを了解するためには、保存フレーム中にあって少なくとも一つの参考フレームが完全な還元数値画像として存在しなければならず、これによりこのブロックが保存フレーム中の任意のフレームを参考とする時、順調に数枚の参考フレーム中の関係領域のデータを再構築できる。しかし、動きベクトルの方向は前向き予測に制限されるため、フレームが還元数値データ或いはフレーム内予測圧縮データとして保存される位置は、復号するフレームより最も離れた保存位置とされなければ、全ての参考フレーム中の関係画像データを順調に再構築できない。
このほか、考慮しなければならないのは、ブロックが参考フレーム中においてフレーム間予測の動きベクトル及び余剰信号で保存される時、このブロックの動きベクトルが近端隣接フレームを指向しなければ、このブロックデータは第1枚の参考フレームRef(1)位置に発生しうる(図7)。その復号時に参考とされるフレームデータは既に保存フレーム中になく、このため順調にこのブロックの復号ができなくなる。このように参考フレームデータが回復不能となる情況を防止するため、ブロックの参考フレームが隣接フレームである時、このブロックは参考フレームバッファ405中で動きベクトルと余剰信号データで保存可能である。反対に、参考フレームが隣接フレームでなければ、このブロックは参考フレームバッファ405中で還元数値データで保存され、こうしてこの復号順序の問題を解決する。
総合すると、本発明の提出する方法は、参考フレームバッファ405中の位置が第0枚の参考フレームRef(0)(図7に示される参考フレーム順序のとおり)であれば、還元数値データ或いはフレーム内圧縮データ(即ちフレーム内予測形式と余剰信号)を保存し、バッファ中のその他のフレームのデータ保存形態であれば、このフレーム中のブロックが隣接フレームを参考とするか否かによりそれぞれ還元数値データ或いは動きベクトル及び余剰信号で保存する。もしブロックが隣接フレームを参考とするなら、このブロックはバッファ中にあって動きベクトル及び余剰データ形態で保存される。もしブロックが不隣接フレームを参考とするなら、このブロックは還元数値データで保存される。こうして、バッファ中の参考フレームのメモリが減少し、ブロックの参考隣接フレームの位置を考慮するだけでなく、参考フレームの復号順序の問題を解決する。
図8は、H.264ビデオデコーダ中の、参考フレームバッファが5個の参考フレームを保存する情況を示す。図8に示されるように、第0枚の参考フレームRef(0)は必ず還元数値データ或いはフレーム内予測圧縮データで保存される。参考フレームRef(1)〜参考フレームRef(4)のブロックデータは、その圧縮時に参考とするフレームにより決定される。隣接する前の一つのフレームを参考とするか或いはフレーム内予測形式で符号化される時、圧縮後のデータが保存される。遠端不隣接フレームを参考として符号化される時、還元数値データが保存される。これにより、圧縮データ自身が良好な圧縮効率を具え、並びに大部分の参考フレームデータがいずれも圧縮データ形態で保存され、これにより、この保存方法はデコーダのフレームバッファのメモリ量を減らす目的を達成する。
本発明によると、図3のステップ302中、各圧縮済みブロック中の保存単位サイズはブロックと小符号化ブロック(この二つの大小関係は以下に説明する)の二種類に定義される。
図9は図3中の各保存単位のデータ保存形態設定のフローチャートである。まず、ステップ901で、メモリ容量制限条件の有無を判断する。もし無ければ、ステップ904にジャンプする。もし、有れば、ステップ902に進み、ステップ902でこのメモリ容量制限条件に基づき、還元数値データを補間するか判断する。もしノーであれば、ステップ904にジャンプする。もしイエスであれば続いてステップ903に進む。ステップ903で還元数値データを補間する。ステップ904で、各保存単位のデータ保存形態を決定する。ステップ905で、トポロジーパターンを根拠とする必要があるかを判断し、更なる設定を行ない、もしノーであれば、ステップ304にジャンプする。最後に、ステップ906で、このトポロジーパターンに基づき、更に各保存単位のデータ保存形態を設定し、更にステップ304にジャンプする。
図10は図9の還元数値データ補間のステップを説明するフローチャートである。図10に示されるように、まず、ステップ1001で、復号するフレームの全体フレームを還元数値データ形態で保存する設定とするかを決定する。もしイエスであれば、ステップ1003にジャンプし、ノーであればステップ1002に進む。ステップ1002で、この復号するフレームの一部分のデータ保存形態を還元数値データ形態で保存するよう設定し、更にステップ904にジャンプする。最後に、ステップ1003で、復号するフレームの全体フレームを還元数値データ形態で保存する設定を行ない、並びにステップ304にジャンプする。
図11は図9中の各保存単位のデータ保存形態決定のステップを説明するフローチャートである。図11に示されるように、まず、ステップ1101で、保存単位がブロックとされるなら、それが包含する小符号化ブロックにより設定する必要があるかを判断し、ノーであればステップ1103にジャンプする。イエスであれば、続けてステップ1102を実行する。ステップ1102で、この保存単位中の少なくとも一つの小符号化ブロックを包含する参考フレームが遠端不隣接フレームであるかを判断し、イエスであれば、ステップ1107にジャンプし、ノーであれば、ステップ1103に進む。ステップ1103中、この保存単位がフレーム間予測であるかを判断し、イエスであればステップ1105にジャンプし、ノーであれば、続いてステップ1104に進む。ステップ1104で、この保存単位のデータ保存形態を予測形式と余剰信号形態で保存し、並びにステップ905にジャンプする。ステップ1105で、この保存単位の参考フレームが隣接近端フレームであるかを判断し、ノーであればステップ1107にジャンプし、イエスであればステップ1106に進む。ステップ1106で、この保存単位のデータ保存形態を動きベクトルと余剰信号形態保存に設定し、並びにステップ905にジャンプする。最後に、ステップ1107で、この保存単位のデータ保存形態を還元数値データ形態保存に設定し、並びにステップ905にジャンプする。
図12は図9の、トポロジーパターンに基づくデータ保存形態設定のフローチャートである。図12に示されるように、まず、ステップ1201で、このトポロジーパターンに基づき、各保存単位に設定されたデータ保存形態とトポロジーパターン中の対応するブロックの設定データ保存形態がいずれも圧縮データ形態での保存であるかを判断する。もしノーであれば、ステップ1203にジャンプし、イエスであれば、ステップ1202に進む。この保存単位のデータ保存形態が圧縮データ形態での保存に設定されていれば、ステップ304にジャンプする。最後にステップ1203で、この保存単位のデータ保存形態が還元数値データ形態での保存に設定し、ステップ304にジャンプする。
上述の本発明の提供する参考フレームバッファメモリのアクセス量とサイズを減らす方法において、本発明は五種類のブロックデータ保存形態判断方式を使用する。H.264ビデオ復号過程にあって、各ブロックはデコーダの選択の違いにより、16×8、8×16、8×8、8×4、4×8、或いは4×4の異なるサイズの小符号化ブロックに分割される。以下に一つずつこの五種類のブロックデータ保存形態判断方式について説明する。
判断方式(1): 復号するフレームを判定及び定義する時、各小符号化ブロックを保存単位とし、ブロック内の小符号化ブロックをフレーム内予測方式で符号化するか或いはフレーム間予測時に近端隣接フレームを参考とし予測符号化する時、この小符号化ブロックのデータを参考フレームバッファ中に関係フレーム内予測ブロックの予測形式と余剰信号或いはフレーム間予測ブロックの動きベクトルと余剰信号で保存する。そうでなく、小符号化ブロックが遠端不隣接フレームを参考とする時、この小符号化ブロックのビデオデータを還元数値データとして保存する。
判断方式(2): フレーム中のブロックを保存単位とし、復号するフレーム中の16×16画素ブロック内の任意の小符号化ブロックが遠端不隣接フレームを参考とするなら、全体の16×16画素ブロックを還元数値データで保存し、全体のブロック内の小符号化ブロックをいずれもフレーム内予測方式で符号化するか或いはフレーム間予測時に近端隣接フレームを参考とし予測符号化し、この16×16ブロックはその関係フレーム内予測ブロックの予測形式と余剰信号或いはフレーム間予測ブロックの動きベクトルと余剰信号で保存される。
図13は判断方式(3)或いは(4)の復号するフレームの保存データ形態表示図である。
判断方式(3):一つのトポロジーパターンを構築し、それは復号するフレーム中の各ブロック中の設定データ保存形態を包含するものとする。図13に示されるように、一枚の50%の保存還元数値データのトポロジーパターン1300を構築する場合を例とすると、それは、第1個のブロックが復号された還元数値データを保存し、第2個のブロックが圧縮データ(動きベクトルと余剰信号)を保存し、第3個のブロックが還元数値データを保存し、第4個のブロックが圧縮後データを保存するよう設定され、この順序により一枚の50%還元数値データ保存のトポロジーパターンが構築される。復号するフレームのデータ保存形態を判定する時、本判断方式によると、各小符号化ブロックを保存ユニットとし、判断方式(1)の各小符号化ブロックの判定結果とトポロジーパターン中の対応ブロックを結合させ、トポロジーパターンが還元数値データを保存し、判断方式(1)の判定結果が圧縮データ保存であるなら、結合結果は還元数値データの保存である。反対に、トポロジーパターン中の表示が圧縮データ保存であり、判断方式(1)のデータ保存形態が圧縮データと判定されるなら、結合結果は圧縮データ保存である。
判断方式(4): 判断方式(3)のトポロジーパターンを構築し、復号するフレームのデータ保存形態を判定する時、ブロックを保存単位とし、判断方式(2)の各ブロックの判定結果とトポロジーパターン中の対応ブロックを結合させ、データ保存形態を圧縮データ或いは還元数値データとする判定方法は判断方式(3)と同じである。
判断方式(5): 与えられたメモリ容量を制限条件とし、適時に全体のフレームを補間して還元数値データ形態で保存し、内部保存ユニット405aと外部保存ユニット405bのメモリ量をこの与えられたメモリ容量内に制限する。また即ち、現在の第0枚から第(N−1)枚の参考フレームのメモリ容量M0,N-1 を予め設定されたメモリ容量サイズの臨界値以下に制限し、その臨界値は(N−L−1)個のフレームの還元数値データとなし、Lは節約を要するフレーム枚数を表示する。
図8に示されるフレーム保存順序のように、与えられたメモリ量が4つのフレームの還元数値データとされる場合を例とすると、メモリ量の還元数値データを保存するフレーム数が単位とされ、Mijは第i枚参考フレームから第j枚参考フレームのメモリ量を表示し、即ち参考フレームバッファ405中の参考フレームが占めるメモリ容量がM0,4 ≦3枚のフレームに符合する時、この復号するフレームの全体或いは部分フレームを還元数値データで保存し、そうでなければ、上述の判断方式(1)〜(4)の判定結果で復号するフレーム中のブロックデータを保存する。
上述の五種類のデータ保存形態の判断方式は、ビデオ復号過程中の参考フレームバッファ405が占めるメモリ量と復号過程中に復号が必要な参考フレーム中のブロックデータの計算量を調整するためのものである。このデータ保存形態を考慮するほか、本発明は更にデコーダメモリを節約し復号計算量を減少して適切な平衡点を取るため、四種類の圧縮データ保存方法(図4参照)を使用し、H.264ビデオエンコーダ/デコーダに応用する。以下にこの四種類の圧縮データ保存方法について説明する。
方法A: トポロジー復号前のブロック余剰信号と対応する予測パラメータ(即ちフレーム内予測ブロックの予測形式或いはフレーム間予測ブロックの動きベクトル)のビットストリームを参考フレームバッファ405中に保存し、この方法を利用して保存したブロック余剰信号を圧縮後のビットストリームとなし、ゆえにその占めるメモリ量は極めて小さいが、却って比較的多くのブロック復号計算量を必要とする。
方法B: トポロジー復号ユニット401を通過したトポロジー復号後の余剰信号は、大部分が0でなく低周波部分に存在するため、簡易処理或いは配列の後に参考フレームバッファ405中に保存し(この時対応する予測パラメータは既に参考フレームバッファ405中に保存されている)、余剰信号の復号計算量を減らし、メモリ量を節約する。
方法C: 量子化解除ユニット402を通過した後の量子化解除後の余剰信号を、簡単処理或いは配列した後、参考フレームバッファ405中に保存し(この時、対応する予測パラメータは既に参考フレームバッファ405中に保存され)、メモリ量節約とブロック復号計算量減少を達成する。
方法D: 逆変換ユニット403を通過した逆変換後の余剰信号を、簡易処理或いは配列の後、参考フレームバッファ405中に保存するし(この時、対応する予測パラメータは既に参考フレームバッファ405中に保存され)。この方法はメモリ量の節約は少ないが、再度復号が必要な参考フレームブロックデータについては、余分の計算コストが最少である。
H.264ビデオエンコーダ/デコーダ中の対策決定ユニット404は、この調整の機能が付与されて、システムが必要とするメモリ量と計算量に基づき、採用する適当なブロックデータ保存形態判断技巧に合った適当な保存ブロック圧縮データの方法を決定する。
有効にメモリ必要量と計算量の要求を調整するため、以下に異なる判断技巧に異なる圧縮データ保存方法を組み合わせての、異なるメモリ保存量と計算量の要求の発生について検討する。
図14はForemanシーケンスを使用し、方法A、方法B、方法Cと方法Dに判断方式(1)で決定される参考フレームデータ保存形態を組み合わせたメモリ量比較表である。
図14に示されるように、Foremanシーケンスを使用し、方法A、方法B、方法Cと方法Dに判断方式(1)の参考フレームデータ保存形態判断を組み合わせた結果、伝統的な参考フレームバッファ中に5枚の参考フレーム還元数値データを保存する方法に対して、平均して2.2、2.3、2.4と3.8枚の還元数値データの保存量、最多で3.6、3.9、4.2と4.8の還元数値データの保存量のみ必要とする。
図15に示されるように、Foremanシーケンスを使用し、判断方式(1)〜判断方式(5)を運用してブロックデータ保存形態を判断し、並びに方法Aで参考フレームデータを保存する時、平均して2.2、2.5、3.2と3.3枚の還元数値データの保存、それぞれ最多で3.6、3.9、4.1と4.2枚の還元数値データの保存量のみ必要とし、並びに各一つのフレームに対して行なう必要のある余剰データ復号計算量は、その統計方式を一つの16×16画素ブロックを累計単位とすると、図15に示されるように、一つのブロックを復号する時、判断方式(1)〜判断方式(4)でそれぞれ平均して38.0、33.0、5.4と4.4個の16×16画素ブロックの復号を必要とする。上述の結果から、判断方式(1)が発生するメモリ量減少量は最多であるが、しかしその必要とする復号(圧縮解除)計算量は最大であり、判断方式(4)が現出する計算量は比較的小さいが、そのメモリ量減少量は比較的少ないことが分かる。
この実験結果中の各技巧が現出するメモリ使用量を観察し、方法Aに判断方式(1)を組み合わせた実験結果を例とすると、5枚のフレームを保存するメモリ量は平均して2.2個の数値データフレームを必要とし、且つあるビデオ信号セグメントに対しては、最多で約3.6枚の還元数値データフレームを費やして5枚の参考フレームを保存しなくてはならない。これから分かるように、あるビデオセグメントが必要とするメモリ量がこの最大必要容量に不足すると、与えられた有限メモリ容量の浪費を形成する。このため本発明の提供する判断方式(5)は、参考フレームバッファメモリ量を設定容量内に制限し、並びに判断方式(1)〜判断方式(4)のブロック保存形態判断結果を組み合わせて使用できる。
図15に示されるように、方法A下で判断方式(1)〜判断方式(4)を組み合わせて参考フレームデータを保存する場合と、判断方式(5)を組合せて参考フレームデータを保存する場合のメモリ量を比較すると、判断方式(5)で判定する参考フレームブロック保存結果を組み合わせた場合、効率的なメモリ容量運用が示され、且つこのメモリ容量を制限するメカニズムが加えられた後、大量に参考ブロック圧縮個数が減らされ、これにより計算量を減らせる。方法Aに判断方式(1)と判断方式(5)を組み合わせた場合、方法Aに判断方式(1)を組み合わせて参考フレームデータを保存する場合の計算量と比較すると、約15倍以上の計算量を減らすことができる。
このほか、ビデオエンコーダ/デコーダ中で、動き探索或いは動き補償のエンコーダ/デコーダと外部保存ユニットのデータ読み書き量を減らすため、ビデオエンコーダ/デコーダの参考フレームブロックデータは図16に示されるように表示される。仮に一枚のフレームが、ブロックデータ保存形態の技巧判定が提出された後に、その包含するp%のブロックが圧縮データを内部保存ユニット405a中に保存し、(1−p%)のブロックが還元数値データを外部保存ユニット405b中に保存するものとする。図8の参考フレーム保存順序によれば、位置がRef(1)〜Ref(4)のp%圧縮データブロックをプロセッサの内部保存ユニット405aに保存し、Ref(1)〜Ref(4)の(1−p%)の還元数値データを外部保存ユニット405bに保存し、且つ第0枚の参考フレームRef(0)の保存方式はp%ブロックが還元数値データをプロセッサの内部保存ユニット405aに保存し、(1−p%)ブロックが還元数値データをプロセッサの外部保存ユニット405bに保存するものとされる。こうして、一枚の復号フレームはプロセッサと外部保存ユニット405bのアクセスにおいて、ただ(1−p%)ブロックの復号数値データを外部保存ユニット405bに書き出すだけでよく、反対に関係ブロックを復号する時は、ただ外部保存ユニット405bより(1−p%)の還元数値データを読み取るだけでよく、並びに、復号するフレームより最も離れた第0枚の参考フレームRef(0)は、p%のブロックが還元数値データでプロセッサの内部保存ユニット405a中に保存される。これにより、第1枚の参考フレームRef(1)が全て還元数値データとされる時、第0枚の参考フレームRef(0)位置に置き換えられる。ただ((1−p%)×p%)のブロックデータのみ外部保存ユニット405bより読み込む必要があり、ただ(p%)×(p%)のブロックのみプロセッサの内部保存ユニット405aにあって読み書きすればよく、これによりエンコーダ/デコーダと外部保存ユニット405bとのデータ読み書き量を減らすことができ、またビデオデコーダの作業時のパワー消耗を減らすことができる。仮に一つのビデオシーケンスが圧縮データで保存される70%のブロックと、還元数値データで保存される30%のブロックを有し、5個の参考フレームがいずれも還元数値データで外部保存ユニット405bに保存されるなら、復号する各フレームのブロックに対して整数動き補償を行なう時、プロセッサと外部保存ユニット405bは一枚の還元数値データの読み取りと一枚の還元数値データの書き込みを必要とし、本発明の方法で参考フレームデータを保存するならば、ただ0.3枚の還元数値データフレームのみ読み取りと書き込みすればよく、第1枚の参考フレームRef(1)を第0枚の参考フレームRef(0)に置き換える動作上、ただ0.21枚の還元数値データフレームを図16のように書き込めばよい。その後、更に内部及び外部保存ユニットの圧縮データ及び還元数値データに基づき図8のように関係図を設計し、対策決定ユニット404が関係図に基づき動き探索及び動き補償に必要な参考フレームを再構築し、こうして外部保存ユニット405bに対するアクセス量を減らす。
図17はp=70%及びデコーダへの応用の情況下で、本発明の判断方式(5)を利用して或いは利用しないで発生する全体画像補間と不補間の還元数値データの内部或いは外部保存ユニットのメモリアクセス量、及び伝統的な5個の参考フレームを還元数値データで外部保存ユニットに保存(伝統的な方法1)する方法のメモリアクセス量の比較図である。p=70%の情況下では、図から分かるように、本発明を応用したデコーダは、不補間の情況下で、5個の参考フレームを還元数値データで外部保存ユニット405bに保存する伝統的な方法1と比較すると、プロセッサと外部保存ユニット405bの約60%のデータアクセス量を節約できる。補間の情況下では、5個の参考フレームを還元数値データで外部保存ユニット405bに保存する伝統的な方法1と比較すると、プロセッサと外部保存ユニット405bの約39%のデータアクセス量を節約できる。
図18はp=70%及びデコーダへの応用の情況下で、本発明の判断方式(5)を利用して或いは利用しないで発生する全体画像補間と不補間の還元数値データの内部或いは外部保存ユニットのメモリアクセス量、及び伝統的な直接還元数値データを外部保存ユニットに保存(伝統的な方法2)のメモリアクセス量の比較図である。5個の参考フレームを還元数値データで外部保存ユニットに保存(伝統的な方法1)する方法のメモリアクセス量の比較図である。伝統的な、直接還元数値データを外部保存ユニット405bに保存する方法は、一枚のフレームを動き探索予測符号化し、サーチ範囲が+16/−16枚参考フレームとされる全面サーチ方式で5枚の参考フレームをサーチする場合、最少で45枚のフレームのデータ量の読み出しと一枚のフレームの書き込みが必要である。
p=70%の情況下では、図から分かるように、本発明を応用したデコーダは、不補間の情況下で、伝統的な方法2と比較すると、プロセッサと外部保存ユニット405bの約70%のデータアクセス量を節約できる。補間の情況下では、伝統的な方法2と比較すると、プロセッサと外部保存ユニット405bの約38%のデータアクセス量を節約できる。これにより、本発明は大量にビデオエンコーダ/デコーダのデータアクセス量とパワー消耗を減らすことができる。
本発明が提供する参考フレームバッファメモリのアクセス量とサイズを減らす方法は、四種類の圧縮データ保存方法と五種類の参考フレームブロック保存形態の判断技巧を使用し、十分に有限な与えられたメモリ容量を利用するため、本発明は固定メモリ容量の制限条件下で、弾性的に復号するフレームの圧縮データ保存方法と判断技巧を選択できる。バッファ中のフレームが占めるメモリ量が予め設定された条件に符合する時、全体或いは部分フレームを還元数値データで参考フレームに保存し、こうして、メモリ容量の適合性を達成し、メモリ容量が許容する情況下では、参考フレームを還元数値データで保存し、また、参考フレームデータを復号するフレームが参考とする時は、一部の参考フレームデータの圧縮解除の計算量を減らし、効率的にメモリと計算量を適合させる設計を達成する。これにより、本発明は確実に参考フレーム装置のメモリ設計コストを減らし、更に伝統的な復号方法のビデオ品質を確保する。
伝統的な圧縮ビデオデコーダの表示図である。 伝統的なメモリとメモリ周波数幅要求を減らす方法のフローチャートである。 本発明の参考フレームバッファメモリのアクセス量とサイズを減少する方法のフローチャートである。 図3をビデオデコーダに応用した構造表示図である。 本発明をH.264ビデオデコーダに応用した構造表示図である。 四つの異なるビデオシーケンスをH.264デコーダで復号し、動き探索を行なう時、復号するフレーム中のブロックが前向きに5枚のフレームを参考とする確率の表示図である。 復号するフレーム中の前向き予測ブロックを復号し、且つn個の参考フレームを参考とする時、参考フレームバッファ中の参考フレームの配列情況表示図である。 H.264ビデオデコーダ中の、参考フレームバッファが5個の参考フレームを保存する情況表示図である。 図3中の各保存単位のデータ保存形態設定のフローチャートである。 図9の還元数値データ補間のステップを説明するフローチャートである。 図9中の各保存単位のデータ保存形態決定のステップを説明するフローチャートである。 図9の、トポロジーパターンに基づくデータ保存形態設定のフローチャートである。 判断方式(3)或いは(4)の復号するフレームの保存データ形態表示図である。 Foremanシーケンスを使用し、方法A、方法B、方法Cと方法Dに判断方式(1)で決定される参考フレームデータ保存形態を組み合わせたメモリ量比較表である。 Foremanシーケンスを使用し、判断方式(1)〜判断方式(5)のブロックデータ保存形態判断を運用し、並びに方法Aで参考フレームデータを保存する時に発生するメモリ量と計算量の比較表である。 ビデオエンコーダ/デコーダ中で、動き探索或いは動き補償のエンコーダ/デコーダと外部保存ユニットのデータ読み書き量を減らすための、ビデオエンコーダ/デコーダの参考フレームブロックデータ保存表示図である。 p=70%でデコーダに応用される情況下で、本発明の判断方式(5)を利用した場合と利用しない場合に発生する全体画像補間と不補間の還元数値データの内部或いは外部保存ユニットにおけるメモリアクセス量と、伝統的な5個の参考フレームを還元数値データで外部保存ユニットに保存する場合のメモリアクセス量の比較図である。 p=70%及びデコーダへの応用の情況下で、本発明の判断方式(5)を利用して或いは利用しないで発生する全体画像補間と不補間の還元数値データの内部或いは外部保存ユニットのメモリアクセス量、及び伝統的な直接還元数値データを外部保存ユニットに保存(伝統的な方法2)のメモリアクセス量の比較図である。
符号の説明
101 チャネルバッファ領域
103 対象領域
201 メモリを分配し高解析度の参考フレームを保存
210 メモリを分配し圧縮した参考フレーム及びイメージ中イメージのナビゲーションに用いる
301 複数の圧縮ブロックを包含する復号するフレームを受け取る
302 各圧縮ブロック中の保存単位サイズを定義する
303 各保存単位のデータ保存形態を設定する
304 各保存単位を対応するデータ保存形態に基づき参考フレームバッファ中に保存する
401 トポロジー復号ユニット 402 量子化解除ユニット
403 逆変換ユニット 404 対策決定ユニット
405a 内部保存ユニット 405b 外部保存ユニット
405 参考フレームバッファ
406 フレーム内予測或いはフレーム間予測と動き補償ユニット
500 ビデオエンコーダ 510 デコーダ
901 メモリ容量制限条件があるかを判断
902 メモリ容量制限条件に基づき、還元数値データ補間可能かを判断
903 還元数値データ補間
904 各保存単位のデータ保存形態を決定
905 トポロジーパターンに基づき更なる設定を行なう必要があるかを判断
906 トポロジーパターンに基づき、各保存単位のデータ保存形態を設定
1001 復号するフレームの全体フレームを還元数値データ形態での保存に設定するか否かを決定
1002 復号するフレームの一部のデータ保存形態を還元数値データ形態での保存に設定する
1003 復号するフレームの全体のフレームを還元数値データ形態での保存に設定する1101 保存単位がブロックであるなら、その包含する小符号化ブロックにより設定する必要があるかを判断する
1102 保存単位中の少なくとも一つの小符号化ブロックを包含する参考フレームが遠端不隣接フレームであるかを判断する
1103 この保存単位がフレーム間予測とされるかを判断する
1104 この保存単位のデータ保存形態を予測形式と余剰信号形態での保存に設定する1105 この保存単位の参考フレームが隣接近端フレームであるかを判断する
1106 この保存単位のデータ保存形態を動きベクトルと余剰信号形態での保存に設定する
1107 この保存単位のデータ保存形態を還元数値データ形態での保存に設定する
1201 トポロジーパターンに基づき、各保存単位の設定済みのデータ保存形態とトポロジーパターン中の対応ブロックの設定データ保存形態がいずれも圧縮データ形態での保存であるかを判断する
1202 この保存単位のデータ保存形態を圧縮データ形態での保存に設定
1203 この保存単位のデータ保存形態を還元数値データ形態での保存に設定
1300 トポロジーパターン

Claims (26)

  1. 参考フレームバッファメモリのサイズとアクセス量を減らす方法において、この方法はビデオエンコード/デコード標準に符合するビデオエンコーダ/デコーダに適用され、該ビデオエンコーダ/デコーダは少なくとも対策決定ユニットと参考フレームバッファを具え、該ビデオエンコーダ/デコーダは参考フレームバッファに保存された一つ或いは複数の参考フレームを参考として動き探索或いは動き補償を行ない、この方法は、
    (a)複数の圧縮ブロックを具えた複数の復号するフレームを受け取るステップ、
    (b)各圧縮ブロック中の保存単位のサイズを定義するステップ、
    (c)各保存単位をその対応するデータ保存形態に基づき、参考フレームバッファ中に保存し、更に(a)のステップに戻り、続いて次に復号するフレームを処理するステップ、
    を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  2. 請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(b)のステップで、各圧縮ブロック中の保存単位を1ブロックと定義することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  3. 請求項2記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ブロックサイズは16×16ピクセルとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  4. 請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(b)のステップ中の各圧縮ブロックは複数の小符号化ブロックを包含し、各圧縮ブロック中の保存単位を一つの小符号化ブロックと定義することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  5. 請求項4記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、小符号化ブロックのサイズは16×8、8×16、8×8、8×4、4×8、4×4ピクセルのいずれかとすることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  6. 請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c)のステップが更に以下のサブステップ、即ち、
    (c1)メモリ容量制限条件があるかを判断し、無ければ(c4)のステップにジャンプし、有れば(c2)のステップに進むステップ、
    (c2)該メモリ容量制限条件に基づき、還元数値データ補間が可能であるかを判断し、不可能であれば(c4)のステップにジャンプし、可能であれば(c3)のステップに進むステップ、
    (c3)還元数値データ補間のステップ、
    (c4)各保存単位のデータ保存形態を決定するステップ、
    (c5)トポロジーパターンに基づき更なる設定を行なう必要があるかを判断し、必要がなければ(d)のステップにジャンプし、必要があれば(c6)のステップに進むステップ、
    (c6)トポロジーパターンに基づき各保存単位のデータ保存形態を設定するステップ、
    を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  7. 請求項6記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c2)のステップが更に以下のサブステップ、即ち、
    現在の第0枚から第(N−1)枚の参考フレームのメモリ少量メモリ容量M0,N-1 gaめ設定されたメモリ容量サイズの臨界値以下であるかを判断し、臨界値より大きければ、(c4)のステップにジャンプし、臨界値以下であれば、(c3)のステップにジャンプするステップ、
    を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  8. 請求項7記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、臨界値は(N−L−1)個のフレームの還元数値データとされ、Lは節約を要するフレーム枚数を表示することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  9. 請求項6記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c3)のステップは以下のサブシステム、即ち、
    (c31)復号するフレームの全体フレームを還元数値データ保存形態での保存に設定するかを決定し、イエスならば(c33)のステップにジャンプし、ノーならば(c32)のステップに進むステップ、
    (c32)復号するフレームの一部のデータ保存形態を還元数値データ形態での保存に設定し、更に(c5)のステップにジャンプするステップ、
    (c33)復号するフレームの全体フレームを還元数値データ形態での保存に設定し、並びに(d)のステップにジャンプするステップ、
    を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  10. 請求項6記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c4)のステップでの決定動作は以下のサブシステム、即ち、
    (c41)保存単位が1つのブロックであれば、その包含する小符号化ブロックにより設定するかを判断し、イエスであれば(c43)のステップにジャンプし、ノーであれば(c42)のステップに進むステップ、
    (c42)保存単位中の少なくとも一つの小符号化ブロックを包含する参考フレームが遠端不隣接フレームであるかを判断し、イエスであれば(c47)のステップにジャンプし、ノーであれば(c43)のステップに進むステップ、
    (c43)保存単位がフレーム間予測とされるかを判断し、イエスであれば(c45)のステップにジャンプし、ノーであれば(c44)のステップに進むステップ、
    (c44)保存単位のデータ保存形態を予測形式と余剰信号形態での保存に設定し、(c5)のステップにジャンプするステップ、
    (c45)保存単位の参考フレームが隣接近端フレームであるかを判断し、ノーであれば(c47)のステップにジャンプし、イエスであれば(c46)のステップに進むステップ、
    (c46)保存単位のデータ保存形態を動きベクトルと余剰信号形態での保存に設定し、並びに(c5)のステップにジャンプするステップ、
    (c47)保存単位のデータ保存形態を還元数値データ形態での保存に設定するステップ、
    を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  11. 請求項10記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測形式と余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  12. 請求項10記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、動きベクトルと余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  13. 請求項10記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、余剰信号はトポロジー復号後の余剰信号或いは量子化解除後の余剰信号或いは逆変換後の余剰信号のいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  14. 請求項6記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c5)のステップのトポロジーパターンは復号するフレーム中の各ブロックの設定データ保存形態であることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  15. 請求項6記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(c6)のステップが以下のサブステップ、即ち、
    (c61)トポロジーパターンに基づき、各保存単位の設定済みのデータ保存形態とトポロジーパターン中の対応ブロックの設定データ保存形態がいずれも圧縮データ形態での保存であるかを判断し、ノーであれば(c63)のステップにジャンプし、イエスであれば(c62)のステップに進むステップ、
    (c62)保存単位のデータ保存形態を圧縮データ形態での保存に設定し、更に(d)のステップにジャンプするステップ、
    (c63)保存単位のデータ保存形態を還元数値データ形態での保存に設定するステップ、
    を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  16. 請求項15記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、圧縮データ形態は予測形式と余剰信号形態或いは動きベクトルと余剰信号形態の二組のうちのいずれか一組とされたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  17. 請求項16記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測形式と余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  18. 請求項16記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、動きベクトルと余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  19. 請求項16記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、余剰信号はトポロジー復号後の余剰信号或いは量子化解除後の余剰信号或いは逆変換後の余剰信号のいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  20. 請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、参考フレームバッファ中に保存された第0枚の参考フレームが還元数値データ形態或いは予測形式と余剰信号形態で保存されることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  21. 請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(d)のステップ中、各保存単位を参考フレームバッファに保存する動作の前に、各保存単位の対応するデータ保存形態に基づき、処理を行ない、この処理はトポロジー復号処理、或いはトポロジー復号と量子化解除処理、或いはトポロジー復号と量子化解除と逆変換、或いはトポロジー復号と量子化解除と逆変換処理と動き補償のいずれか一種類とすることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  22. 請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(d)のステップ中、参考フレームバッファが外部保存ユニットと内部保存ユニットを包含する時、各保存単位はその対応するデータ保存形態に基づき、データ保存形態が還元数値データ形態であれば、外部保存ユニット中に保存し、そうでなければ内部保存ユニット中に保存することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  23. 請求項22記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、(b)のステップの前に、
    (b0)内部保存ユニット中の余剰信号データと対応する予測パラメータ及び外部保存ユニット中の還元数値データに基づき、還元関係図を構築し、更に対策決定ユニットを利用して還元関係図に基づき動き探索及び動き補償に必要な参考フレームを再構築するステップ、
    を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  24. 請求項23記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測パラメータが予測形式或いは動きベクトルのいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  25. 請求項1記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ビデオエンコード/デコード標準がH.264とされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
  26. 請求項25記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ビデオエンコーダ/デコーダが参考フレームバッファに保存された5個の参考フレームを参考として動き探索或いは動き補償を行なうことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
JP2005091933A 2005-02-01 2005-03-28 参考フレームバッファメモリのサイズとアクセス量を減らす方法 Pending JP2006217560A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW94103052A TWI277013B (en) 2005-02-01 2005-02-01 Method for reducing buffered-frame memory sizes and accesses in a video codec

Publications (1)

Publication Number Publication Date
JP2006217560A true JP2006217560A (ja) 2006-08-17

Family

ID=36756658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005091933A Pending JP2006217560A (ja) 2005-02-01 2005-03-28 参考フレームバッファメモリのサイズとアクセス量を減らす方法

Country Status (3)

Country Link
US (1) US7936826B2 (ja)
JP (1) JP2006217560A (ja)
TW (1) TWI277013B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524652A (ja) * 2010-04-07 2013-06-17 リグオリ,ヴィンチェンツォ メモリ要求低減ビデオ送信システム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983335B2 (en) * 2005-11-02 2011-07-19 Broadcom Corporation AVC I—PCM data handling and inverse transform in a video decoder
KR100793286B1 (ko) * 2007-05-02 2008-01-10 주식회사 코아로직 버퍼 메모리의 사용량이 작은 디지털 영상 코덱 및 그 제어방법
CN100566427C (zh) * 2007-07-31 2009-12-02 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
US8521006B2 (en) * 2010-05-06 2013-08-27 Intel Corporation Boundary detection in media streams
US9161056B2 (en) * 2010-11-24 2015-10-13 Texas Instruments Incorporated Method for low memory footprint compressed video decoding
US8767823B2 (en) 2011-03-30 2014-07-01 Industrial Technology Research Institute Method and apparatus for frame memory compression
TWI601094B (zh) * 2012-07-09 2017-10-01 晨星半導體股份有限公司 影像處理裝置與影像處理方法
US10104397B2 (en) 2014-05-28 2018-10-16 Mediatek Inc. Video processing apparatus for storing partial reconstructed pixel data in storage device for use in intra prediction and related video processing method
WO2016142002A1 (en) * 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
US10798396B2 (en) 2015-12-08 2020-10-06 Samsung Display Co., Ltd. System and method for temporal differencing with variable complexity
WO2017104010A1 (ja) * 2015-12-16 2017-06-22 三菱電機株式会社 動画像符号化装置および動画像符号化方法
KR20180047763A (ko) * 2016-11-01 2018-05-10 삼성전자주식회사 처리 장치들 및 그 제어 방법들

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0122741B1 (ko) * 1992-09-23 1997-11-17 배순훈 병렬 구조를 갖는 기억 장치
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5682204A (en) * 1995-12-26 1997-10-28 C Cube Microsystems, Inc. Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level
DE69614500T2 (de) * 1996-02-27 2001-11-22 St Microelectronics Srl Speicherverminderung für das Grundprofil und die Hauptebene eines MPEG-2-Dekoders
US6222886B1 (en) * 1996-06-24 2001-04-24 Kabushiki Kaisha Toshiba Compression based reduced memory video decoder
US6633608B1 (en) * 1999-05-27 2003-10-14 Sarnoff Corporation Method and apparatus for adapting memory resource utilization in an information stream decoder
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US20060062311A1 (en) * 2004-09-20 2006-03-23 Sharp Laboratories Of America, Inc. Graceful degradation of loop filter for real-time video decoder
KR100681242B1 (ko) * 2004-12-16 2007-02-09 삼성전자주식회사 동영상 복호화 방법, 동영상 복호화 장치 및 이를 가지는시스템 온 칩 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524652A (ja) * 2010-04-07 2013-06-17 リグオリ,ヴィンチェンツォ メモリ要求低減ビデオ送信システム

Also Published As

Publication number Publication date
US20060171685A1 (en) 2006-08-03
TW200629172A (en) 2006-08-16
US7936826B2 (en) 2011-05-03
TWI277013B (en) 2007-03-21

Similar Documents

Publication Publication Date Title
JP2006217560A (ja) 参考フレームバッファメモリのサイズとアクセス量を減らす方法
CN102084655B (zh) 通过过滤器选择进行的视频编码
CN101267562B (zh) 具有编码和解码模式的视频处理系统和装置及其方法
EP1065883B1 (en) Image predictive decoding method
CN100574448C (zh) 图像信息编码装置和方法、图像信息解码装置和方法
TW202025778A (zh) 用加權平均進行區塊式雙向預測
US20030095603A1 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
JP4746550B2 (ja) 画像符号化装置
JP2007067731A (ja) 符号化方法
KR20060105409A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
JP2006304307A5 (ja)
JP2009530960A (ja) 照明変化補償動き予測符号化および復号化方法とその装置
US20050129125A1 (en) Method and apparatus for pitcure compression using variable block of arbitrary size
US8542735B2 (en) Method and device for coding a scalable video stream, a data stream, and an associated decoding method and device
US20080089418A1 (en) Image encoding apparatus and memory access method
WO2020181504A1 (zh) 视频编码的方法与装置,以及视频解码的方法与装置
KR20050012706A (ko) 화상 복호 장치 및 화상 복호 방법
JP4401341B2 (ja) 符号化方法
JP2007067526A (ja) 画像処理装置
JP2010010917A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
US8218639B2 (en) Method for pixel prediction with low complexity
JP2003189309A (ja) 圧縮動画像の再符号化方法及び装置
JP5401909B2 (ja) トランスコード装置およびトランスコード方法
JP5061355B2 (ja) 画像符号化方法、装置およびプログラムならびに画像処理機器

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080704

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080709

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090603

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090707