JP2008136124A - 動画復号化装置、動画復号化方法、圧縮動画データ構造および動画符号化方法 - Google Patents
動画復号化装置、動画復号化方法、圧縮動画データ構造および動画符号化方法 Download PDFInfo
- Publication number
- JP2008136124A JP2008136124A JP2006322183A JP2006322183A JP2008136124A JP 2008136124 A JP2008136124 A JP 2008136124A JP 2006322183 A JP2006322183 A JP 2006322183A JP 2006322183 A JP2006322183 A JP 2006322183A JP 2008136124 A JP2008136124 A JP 2008136124A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- decoding
- data
- encoded image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】第1のデコーダは、GOPの各フレーム処理において、複数の連続したフレーム間予測符号化画像(Sピクチャ)の共通の参照画像となるフレーム内符号化画像(Iピクチャ)の復号化を行う。第2のデコーダは、GOPの各フレーム処理において、Sピクチャの復号化を行う。GOPの各フレーム処理において、第1および第2のデコーダは並行して動作し、かつ、第1のデコードの方が第2のデコーダよりも先行して復号化を行う。
【選択図】図4
Description
[圧縮動画データのフォーマット]
まず、本実施形態に係る復号化処理に適した動画データの圧縮フォーマットについて説明する。図1は、時系列的に並んだ一連のフレームf1,f2,f3,・・によって構成された動画データの圧縮フォーマットの説明図である。動画データは、GOP(Group of Picture)と呼ばれる単位グループの集合として規定されるが、それぞれのGOPは、以下にその構成要件を示すように、標準化技術であるMPEG等とは異なる特殊な圧縮フォーマット(データ構造)を有する。
(1)複数の連続したフレーム間予測符号化画像を主体に構成されていること
ここで、「フレーム間予測符号化画像」とは、フレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に用いて、所定の処理単位毎に符号化されたフレームを指す。同図の例において、最初のGOP内のすべてのフレームf1〜f5は、フレーム間予測符号化画像S1〜S5として符号化されている。本要件(1)により、基本的に、復号化時におけるGOPの各フレーム処理として、フレーム間予測符号化画像S1〜S5の復号化が繰り返されることになる。
ここで、「フレーム内符号化画像」とは、フレーム内符号化方式のみを用いて、所定の処理単位毎に符号化されたフレームを指す(以下、適宜「Iピクチャ」(Intra Picture)と略称する)。同図の例において、最初のGOP内の単一フレームf1は、フレーム内符号化画像I1として符号化されており、予測符号化画像S1〜S5は、フレーム内符号化画像I1を共通の参照元としている。また、フレームf1については、フレーム内符号化画像I1のみならず、フレーム間予測符号化画像S1も存在するが、前者は、フレーム間予測符号化画像S1〜S5の参照画像としての役割のみを担っている。換言すれば、フレーム内符号化画像I1は、復号化時に表示フレームとしては用いられない隠しフレームであり、これに代わる表示用フレームとして、フレーム間予測符号化画像S1が用いられる。本要件(2)は、復号化時に、後述するように、GOPの各フレーム処理としてフレーム内符号化画像I1の復号化を繰り返すことの必要条件となる。なお、本構成要件(2)との関係でいえば、フレーム内符号化画像I1を隠しフレームにすることは必須ではなく、表示用フレームとしてもよい。
同図の例において、フレーム間予測符号化画像S1〜S5と、これらの参照画像であるフレーム内符号化画像I1は、同一のGOPに属する。本要件(3)により、それぞれのGOPの独立性・編集性が担保される。
つぎに、上述したようなフォーマットを有する圧縮動画データの生成手順について概略的に説明する。まず、処理対象となる原動画データ(ストリーム)にGOPが設定される。例えば、ストリームを時系列的に分割することによって、ストリーム中に複数のGOPを設定してもよいし、ストリーム全体を単一のGOPとしてもよい。つぎに、それぞれのGOPに関して、GOP内の時系列的に並んだ一連のフレームの中から、所定の選択規則にしたがって、Iピクチャ化すべき単一フレームf1が選択される。この選択規則はどのようなものであってもよく、例えば、同図に示したようにGOPの先頭フレームf1を選択してもよいし、フレーム間予測誤差の平準化の観点から略中央のフレームf3を選択してもよい。また、このような固定的な選択手法に代えて、例えば、GOP内の画像の特性を考慮して、Iピクチャ化すべきフレームを動的に設定してもよいし、上述したようにフレームf1〜f5とは異なる参照画像を生成することも可能である。そして、Iピクチャ化すべきフレームf1に関して、既知のフレーム内符号化方法(その具体的な手法は問わない)を適用し、ブロック単位で符号化することによって、フレーム内符号化画像I1、すなわち、Iピクチャの符号化データが生成される。
図2は、動画復号化装置の一例としてのグラフィックLSIのブロック構成図である。このグラフィックLSI1は、CPUやROMといった外部装置とのインターフェース2,3と、データ転送回路4と、動画復号化回路5と、メモリ6,7と、描画回路8と、表示回路9とを主体に構成されており、これらは内部バスを介して接続されている。CPUによって発行された実行情報(パラメータやコマンド等)は、CPU I/F2を介してグラフィックLSI1内に取り込まれ、内部レジスタ(図示せず)に格納される。そして、このレジスタに格納された実行情報に基づいて、データ転送回路4や描画回路8等の制御が行われる。また、外付けのROMより読み出された圧縮画像データは、ROM I/F3を介してグラフィックLSI1内に入力データとして取り込まれ、適宜復号化された後に、ワークメモリ6に一旦格納される。入力データが可逆圧縮データ(キャラクタ等の静止画)の場合、入力データは、ROM I/F3によってデータ転送回路4に転送された後、データ転送回路4による復号化処理を経て、ワークメモリ6に転送される。これに対して、入力データが非可逆圧縮データ(動画)の場合、入力データは、ROM I/F3によって動画復号化回路5に転送され、動画復号化回路5による復号化処理を経て、ワークメモリ6に転送される。描画回路8は、ワークメモリ6に格納されたデータを読み出し、レジスタより読み出された実行情報に応じた描画処理を行った上で、処理後のデータをフレームメモリ7に書き込む。表示回路9は、外部の表示装置であるLCDの表示走査と同期して、フレームメモリ7に格納されたデータを読み出し、これをLCDに出力する。
上述した第1の実施形態では、現在のフレームにおけるIピクチャI1の復号化の終了と、次のフレームにおけるIピクチャI1の復号化の開始との間に、第1のデコーダ5aの待機状態が生じていた。これに対して、本実施形態の特徴は、第1のデコーダ5aを待機させることなく、現在のフレームとは別のフレームの処理を開始・実行させる点である。図10は、第2の実施形態に係る復号化処理のタイミングチャートである。第1のデコーダ5aは、GOPの各フレーム処理において、第2のデコーダ5bによる現在のフレームの処理が終了するよりも前に、次のフレームの処理を開始する。なお、このような同じストリーム内における次フレームの処理に代えて、この期間内で、異なるストリームのフレームの処理をパイプライン的に行ってもよい。
上述した第1の実施形態では、図1に示したように、GOP内の全フレームをSピクチャとし、これらの共通の参照画像となるIピクチャを隠しフレームとした。これに対して、本実施形態の特徴は、Iピクチャを隠しフレームとせず、表示フレームとして用いる点である。
2 CPU I/F
3 ROM I/F
4 データ転送回路
5 動画復号化回路
6 ワークメモリ
7 フレームメモリ
8 描画回路
9 表示回路
5a 第1のデコーダ
5b 第2のデコーダ
5c 調停部
Claims (15)
- あるフレーム内符号化画像を共通の参照画像とした複数の連続したフレーム間予測符号化画像を主体に単位グループが構成された圧縮動画データを復号化する動画復号化装置において、
前記単位グループのそれぞれのフレーム処理において、前記複数の連続したフレーム間予測符号化画像にとっての共通の参照画像である前記フレーム内符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第1の復号化データを順次生成する第1のデコーダと、
前記単位グループのそれぞれのフレーム処理において、前記第1のデコーダと並行して動作し、前記記憶部から読み出された前記第1の復号化データに基づいて、前記フレーム間予測符号化画像の復号化をブロック単位で行うことによって、前記記憶部に格納すべき第2の復号化データを順次生成する第2のデコーダとを有し、
前記単位グループのそれぞれのフレーム処理において、前記第1のデコーダは、前記第2のデコーダよりも先行して復号化を行うことを特徴とする動画復号化装置。 - 前記第1のデコーダの処理進捗を管理し、前記フレーム間予測符号化画像内の処理対象となるブロックに関して、当該ブロックに対応する動きベクトル探索範囲の復号化が終了したことを条件として、当該ブロックの復号化の開始を前記第2のデコーダに指示する調停部をさらに有することを特徴とする請求項1に記載された動画復号化装置。
- 前記調停部は、前記単位グループのそれぞれのフレーム処理において、前記記憶部に格納された前記第1の復号化データのうち、前記フレーム内符号化画像上における前記動きベクトル探索範囲の移動に伴い、前記動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、前記第2の復号化データに順次置き換えることを特徴とする請求項2に記載された動画復号化装置。
- 前記第1のデコーダは、前記単位グループのそれぞれのフレーム処理において、前記第2のデコーダによる現在のフレームの処理が終了するよりも前に、当該現在のフレームとは別のフレームの処理を開始することを特徴とする請求項1から3のいずれかに記載された動画復号化装置。
- 前記動画復号化装置は、グラフィックLSIであって、
前記記憶部は、前記グラフィックLSIに内蔵されたメモリであることを特徴とする請求項1から4のいずれかに記載された動画復号化装置。 - あるフレーム内符号化画像を共通の参照画像とした複数の連続したフレーム間予測符号化画像を主体に単位グループが構成された圧縮動画データを復号化する動画復号化方法において、
前記単位グループのそれぞれのフレーム処理において、前記複数の連続したフレーム間予測符号化画像にとっての共通の参照画像である前記フレーム内符号化画像の復号化をブロック単位で行うことによって、第1の復号化データを順次生成する第1のステップと、
前記単位グループのそれぞれのフレーム処理において、前記第1の復号化データに基づいて、前記フレーム間予測符号化画像の復号化をブロック単位で行うことによって、第2の復号化データを順次生成する第2のステップとを有し、
前記第1の復号化データの生成および前記第2の復号化データの生成は並行して行われ、かつ、前記第1の復号化データの生成の方が前記第2の復号化データの生成よりも先行して行われることを特徴とする動画像復号化方法。 - 前記第2のステップは、
前記第1の復号化データの生成進捗を管理するステップと、
前記フレーム間予測符号化画像内の処理対象となるブロックに関して、当該ブロックに対応する動きベクトル探索範囲に関する前記第1の復号化データの生成が終了したことを条件として、当該ブロックに関する前記第2の復号化データの生成を開始するステップと
を含むことを特徴とする請求項6に記載された動画復号化方法。 - 前記第1のステップは、
前記第1の復号化データを記憶部に順次格納するステップを含み、
前記第2のステップは、
前記記憶部に格納された前記第1の復号化データを読み出すステップと、
前記記憶部に格納された前記第1の復号化データのうち、前記フレーム内符号化画像上における前記動きベクトル探索範囲の移動に伴い、前記動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、前記第2の復号化データに順次置き換えるステップと
を含むことを特徴とする請求項6または7に記載された動画復号化方法。 - 前記第1のステップは、
現在のフレームにおける前記第2の復号化データを生成が終了するよりも前に、次のフレームにおける前記第1の復号化データを生成を開始するステップを含むことを特徴とする請求項6から8のいずれかに記載された動画復号化方法。 - 時系列的に並んだ一連のフレームによって構成された単位グループを有する圧縮動画データ構造において、
前記単位グループ内の単一フレームは、フレーム内符号化方法によって符号化されたフレーム内符号化画像であり、
前記単位グループ内の少なくとも前記単一フレーム以外の残りの複数フレームは、前記フレーム内符号化画像を共通の参照画像とし、フレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に適用することによって符号化されたフレーム間予測符号化画像であることを特徴とする圧縮動画データ構造。 - 前記単一フレームに関しては、前記フレーム内符号化画像のみならず、前記フレーム間予測符号化画像も存在し、
前記フレーム内符号化画像については復号化時の表示用フレームとしては用いず、前記フレーム内符号化画像に代わる復号化時の表示用フレームとして、前記単一フレームに関する前記フレーム間予測符号化画像を用いる旨の情報が付加されていることを特徴とする請求項10に記載された圧縮動画データ構造。 - 処理対象となる動画データを符号化して圧縮動画データを生成する動画符号化方法において、
時系列的に並んだ一連のフレームによって構成された単位グループを前記動画データに設定する第1のステップと、
前記単位グループ内の単一フレームをフレーム内符号化画像として、フレーム内符号化方法によって符号化する第2のステップと、
前記単位グループ内の少なくとも前記単一フレーム以外の残りの複数フレームを、前記フレーム内符号化画像を共通の参照画像としたフレーム間予測符号化画像として、フレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に適用することによって符号化する第3のステップと
を有することを特徴とする動画符号化方法。 - 前記第3のステップは、
前記フレーム内符号化画像を共通の参照画像としたフレーム間予測符号化画像として、前記単一フレームをフレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に適用することによって符号化するステップと、
前記フレーム内符号化画像については復号化時の表示用フレームとしては用いず、前記フレーム内符号化画像に代わる復号化時の表示用フレームとして、前記単一フレームに関する前記フレーム間予測符号化画像を用いる旨の情報を前記圧縮動画データに付加するステップと
を含むことを特徴とする請求項12に記載された動画符号化方法。 - 圧縮動画データを復号化する動画復号化装置において、
フレーム間予測符号化画像を復号化する際に、前記フレーム間予測符号化画像にとっての参照画像であるフレーム内符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第1の復号化データを順次生成する第1のデコーダと、
前記第1のデコーダと並行して動作し、前記記憶部から読み出された前記第1の復号化データに基づいて、前記フレーム間予測符号化画像の復号化をブロック単位で行うことによって、前記記憶部に格納すべき第2の復号化データを順次生成する第2のデコーダと、
前記第2のデコーダよりも先行して復号化を行う前記第1のデコーダの処理進捗を管理し、前記フレーム間予測符号化画像内の処理対象となるブロックに関して、当該ブロックに対応する動きベクトル探索範囲の復号化が終了したことを条件として、当該ブロックの復号化の開始を前記第2のデコーダに指示する調停部と
を有することを特徴とする動画復号化装置。 - 前記調停部は、前記記憶部に格納された前記第1の復号化データのうち、前記フレーム内符号化画像上における前記動きベクトル探索範囲の移動に伴い、前記動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、前記第2の復号化データに順次置き換えることを特徴とする請求項14に記載された動画復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006322183A JP4461303B2 (ja) | 2006-11-29 | 2006-11-29 | 動画復号化装置および動画復号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006322183A JP4461303B2 (ja) | 2006-11-29 | 2006-11-29 | 動画復号化装置および動画復号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008136124A true JP2008136124A (ja) | 2008-06-12 |
JP4461303B2 JP4461303B2 (ja) | 2010-05-12 |
Family
ID=39560625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006322183A Expired - Fee Related JP4461303B2 (ja) | 2006-11-29 | 2006-11-29 | 動画復号化装置および動画復号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4461303B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0795571A (ja) * | 1993-09-27 | 1995-04-07 | Oki Electric Ind Co Ltd | 画像符号化装置、画像復号化装置及び多地点間データ伝送方法 |
JP2004200760A (ja) * | 2002-12-16 | 2004-07-15 | Neucore Technol Inc | 画像処理方法および装置 |
JP2006014113A (ja) * | 2004-06-29 | 2006-01-12 | Fujitsu Ltd | 画像復号装置及び画像符号化装置 |
-
2006
- 2006-11-29 JP JP2006322183A patent/JP4461303B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0795571A (ja) * | 1993-09-27 | 1995-04-07 | Oki Electric Ind Co Ltd | 画像符号化装置、画像復号化装置及び多地点間データ伝送方法 |
JP2004200760A (ja) * | 2002-12-16 | 2004-07-15 | Neucore Technol Inc | 画像処理方法および装置 |
JP2006014113A (ja) * | 2004-06-29 | 2006-01-12 | Fujitsu Ltd | 画像復号装置及び画像符号化装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4461303B2 (ja) | 2010-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4889573B2 (ja) | 画像処理装置 | |
JP5309700B2 (ja) | 動画像復号装置および符号化装置 | |
JP5043012B2 (ja) | キャッシュ・ローカリティを保存するビデオ符号化/復号化方法 | |
JP2015019303A (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
JP5011017B2 (ja) | 画像復号化装置 | |
JP4710887B2 (ja) | 画像処理装置、及び、画像処理装置の制御方法 | |
JP2824425B2 (ja) | 複数経路を介してmpegビデオビットストリームを復号化する装置 | |
JP2009111932A (ja) | 動画像復号化装置 | |
JP2007293533A (ja) | プロセッサシステム及びデータ転送方法 | |
JP5694674B2 (ja) | 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法 | |
JP2011066843A (ja) | 並列符号化装置及びプログラム並びに画像データの符号化方法 | |
JP4461303B2 (ja) | 動画復号化装置および動画復号化方法 | |
WO2006057182A1 (ja) | 復号化回路、復号化装置、及び復号化システム | |
JP2011097197A (ja) | メモリアクセス制御装置 | |
US8538178B2 (en) | Image processing device and image processing method | |
JP7017542B2 (ja) | 映像復号装置および映像復号方法 | |
JP2009071365A (ja) | 動画像復号装置およびその方法 | |
JP2009130599A (ja) | 動画像復号装置 | |
JP5100561B2 (ja) | 画像処理装置および画像処理方法 | |
JP2009100206A (ja) | 画像符号化データ復号化装置 | |
JP5967866B2 (ja) | 符号化装置、符号化方法及びプログラム | |
JP4830691B2 (ja) | 映像信号処理方法及び装置、並びに映像信号復号方法 | |
JP2007336068A (ja) | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 | |
JP2006246384A (ja) | デコードプログラム、デコード方法およびデコーダ | |
JP2006217166A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4461303 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140226 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |