JP2008048178A - 復号処理装置及び復号処理方法並びに復号処理プログラム - Google Patents

復号処理装置及び復号処理方法並びに復号処理プログラム Download PDF

Info

Publication number
JP2008048178A
JP2008048178A JP2006222072A JP2006222072A JP2008048178A JP 2008048178 A JP2008048178 A JP 2008048178A JP 2006222072 A JP2006222072 A JP 2006222072A JP 2006222072 A JP2006222072 A JP 2006222072A JP 2008048178 A JP2008048178 A JP 2008048178A
Authority
JP
Japan
Prior art keywords
macroblock
decoding
decoding processing
pixels
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006222072A
Other languages
English (en)
Other versions
JP4735471B2 (ja
Inventor
Arihito Tokimoto
有人 時本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006222072A priority Critical patent/JP4735471B2/ja
Publication of JP2008048178A publication Critical patent/JP2008048178A/ja
Application granted granted Critical
Publication of JP4735471B2 publication Critical patent/JP4735471B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】効率よく復号処理を行う復号処理装置を提供する。
【解決手段】同一のフレーム内における周辺画素の復号結果を参照して当該復号対象となるマクロブロックの復号処理を行うCPU31と、復号結果を記憶するメインメモリ34とを有するソフトウェア処理系30であって、復号処理が行われたマクロブロックを構成する所定数の画素のうち同一フレーム内における任意のマクロブロックに参照されうる参照画素をCPU31により設定された参照画素の復号結果を参照情報として記憶するL2キャッシュ33をさらに備え、CPU31は、復号対象となるマクロブロックに応じて上記参照情報をL2キャッシュ33から読み出し、読み出した参照情報を参照して当該復号対象となるマクロブロックの復号処理を行う。
【選択図】 図2

Description

本発明は、符号化された動画像データを復号する復号処理装置、復号処理方法、及び、復号処理プログラムに関するものである。
近年、画像情報の冗長性を利用して、離散コサイン変換等の直交変換及び動き補償により画像を圧縮するMPEG等の方式に準拠した装置が、放送局などにおける情報配信、及び、一般家庭等における情報受信の双方において普及しつつある。
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方に、また、標準解像度画像及び高精細画像の双方に、それぞれ対応しているため、プロフェッショナル用途及びコンシューマー用途のアプリケーションに広く用いられている。具体的に、MPEG2では、例えば720×480画素による標準解像度・飛び越し操作方式の画像データを4〜8[Mbps]のビットレートに圧縮し、また、1920×1088画素による高解像度・飛び越し操作方式の画像データを18〜22[Mbps]のビットレートに圧縮して、高画質且つ高圧縮率を実現することができる。
しかしながらMPEG2は、放送用に適合した高画質符号化方式であり、MPEG1より符号量の少ない高圧縮率の符号化方式に対応していない。これに対して、近年の携帯端末の普及によってMPEG1よりも符号量の少ない高圧縮率の符号化方式のニーズの高まりが予測される。このためMPEG4(ISO/IEC 14496-2)による符号化方式の規格が1998年12月に国際標準規格として承認された。
一方では、テレビ会議用の画像符号化を当初の目的としたH.264(ITU-T/Q6/16 VCEG)の規格化が進んでいる。H.264は、MPEG2やMPEG4等の従来の符号化方式と比べて符号化・復号処理により多くの演算量が要求される。しかし、H.264では、MPEG2やMPEG4に比べてより高い符号化効率を実現できることが知られている。また、MPEG4の活動の一環として、H.264でサポートされていない機能をH.264に取り入れ、より高い符号化効率を実現する符号化方式の標準化がJVT(Joint Video Team)で行われている。2003年3月には、H.264/AVC(Advanced Video Coding)が国際標準規格として認められた。この規格は、MPEG−4 Part10とも称される。以降この規格を便宜上AVC規格と称する。また、非特許文献1には、この規格に基づく処理内容が記載されている。
AVC規格に準拠した符号化方式の具体例の画像情報符号化装置について説明する。図15は、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置100のブロック図である。図15に示すように画像情報符号化装置100は、A/D(Analog/digital)変換器101と、画像並び換えバッファ102と、加算器103と、直交変換部104と、量子化部105と、可逆符号化部106と、蓄積バッファ107と、逆量子化部108と、逆直交変換部109と、デブロックフィルタ110と、フレームメモリ111と、イントラ予測部112と、動き予測・補償部113と、レート制御部114とにより構成されている。
A/D変換器101は、入力された画像信号をデジタル信号に変換する。画像並び換えバッファ102は、この画像情報符号化装置100が出力する画像圧縮情報GOP(Group of Picture)構造に応じてフレームを並び替える。ここで、画像並び換えバッファ102において、イントラ(画面内)符号化を行う画像は、そのフレーム全体の画像情報が直交変換器104に供給される。直交変換器104は、離散コサイン変換又はカルーネン・レーベ変換等の直交変換を画像情報に施して、得られた変換係数を量子化部105に供給する。量子化部105は、直交変換部104から供給された変換係数に対して量子化処理を施す。
可逆符号化部106は、量子化された変換係数に対して可変長符号化・算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ107に供給して蓄積させる。この符号化された変換係数は画像圧縮情報として出力される。
ここで、量子化部105の挙動は、レート制御部114によって制御される。また、量子化部105は、量子化後の変換係数を逆量子化部108に供給する。逆量子化部108は、量子化された変換係数を逆量子化して逆直交変換部109に供給する。逆直交変換部109は、逆量子化された変換係数に逆直交変換処理を施して復号画像情報を生成してデブロックフィルタ110に供給する。デブロックフィルタ110は、復号画像情報からブロック歪みを除去し、フレームメモリ111に供給して蓄積させる。
一方、画像並び換えバッファ102は、インター(画面間)符号化が行われる画像に関する参照画像情報を生成する。動き予測・補償部113は、この参照画像情報を加算器103に供給する。加算器103は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部113は、同時に動きベクトル情報を可逆符号化部106に供給する。
可逆符号化部106は、この動きベクトル情報に対して可変長符号化または算術符号化などの可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理についてはイントラ符号化処理が施される画像圧縮情報と同様であるためその説明を省略する。
続いて、画像情報符号化装置100が出力する圧縮画像情報を復号する画像情報複号処理装置200の概略構成を図16に示す。図16に示すように画像情報復号処理装置200は、蓄積バッファ201と、可逆復号化部202と、逆量子化部203と、逆直交変換部204と、加算器205と、デブロックフィルタ206と、画面並べ替えバッファ207と、D/A変換器208と、イントラ予測部209と、フレームメモリ210と、動き予測・補償部211とにより構成されている。
蓄積バッファ201は、入力された画像圧縮情報を一時的に記憶した後に可逆復号化部202に供給する。可逆復号化部202は、画像圧縮情報の形式に基づいて画像圧縮情報に可変長復号又は算術復号などの処理を施し、量子化された変換係数を逆量子化部203に供給する。また、可逆復号化部202は、当該フレームがイントラ符号化されたものである場合に画像圧縮情報のヘッダ部に格納されたイントラ予測情報も復号してその情報をイントラ予測部209に供給し、当該フレームがインター符号化されたものである場合に画像圧縮情報のヘッダ部に格納された動きベクトル情報も復号してその情報を動き予測・補償部211に供給する。
逆量子化部203は、可逆復号化部202から供給された変換係数に逆量子化処理を施し、その変換係数を逆直交変換部204に供給する。逆直交変換部204は、画像圧縮情報の形式に基づいて係数変換に逆離散コサイン変換又は逆カルーネン・レーベ変換などの逆直交変換を施す。
加算器205は、逆直交変換部204から供給される変換係数に、イントラ予測部209から出力される予測画像による予測値、若しくは、動き予測・補償部211から出力される予測画像による予測値を加算してデブロックフィルタ206に供給する。
デブロックフィルタ206は、加算器205から供給される画像情報のブロック歪みを除去して画面並べ替えバッファ207へ供給する。画面並べ替えバッファ207は、デブロックフィルタ206から供給される画像データのフレームをGOP構造に応じて並べ替えてD/A変換器208に供給する。D/A変換器208は、画面並べ替えバッファ207から供給されるデータをアナログ信号に変換して出力する。
フレームメモリ210は、デブロックフィルタ206から出力される画像データを参照画像情報として記憶する。動き予測・補償部211は、可逆復号化部202から通知される動きベクトル情報に応じた参照画像情報をフレームメモリ210から読み出し、その参照画像情報に動き補償処理を施して予測画像による予測値を生成し、この予測値を加算器205に供給する。また、イントラ予測部209は、可逆復号化部202から通知されるイントラ予測情報に応じた参照画像情報をフレームメモリ210から読み出し、その参照画像情報にイントラ予測処理を施して予測画像による予測値を生成し、この予測値を加算器205に供給する。
AVCなどの符号化規格では、1つの画面(フレーム)内を所定画素数のブロックに分割し、当該ブロック単位で符号化処理及び復号処理が行われる。この画素ブロックのことをマクロブロックという。
続いて、イントラ予測処理について詳述する。
上述したAVC規格による符号化・復号処理において、画素情報の輝度成分に関してはHigh Profileを除くと、4×4画素ブロック単位に予測を行うイントラ4×4予測モードと16×16画素ブロック(マクロブロック)単位で予測を行うイントラ16×16予測モードとの2つの予測方式が用いられている。
一方、色差成分に関しては、Cb,Crそれぞれの8×8ブロック単位で予測を行う。この予測符号化処理は、イントラ16×16予測モードと同様であって、この予測モードを8×8ブロック単位に変更したものである。
これらの予測モードのうち、イントラ4×4予測モードでは、図17に示すように、予測値を生成する4×4画素a〜pの予測対象ブロックに対して、近傍13個の画素A〜Mの一部が予測値の生成に供する予測画素に設定され、この予測画素により予測値が生成される。ここで、予測画素A〜Mは、予測対象ブロックの走査開始端側で垂直方向に隣接する4個の画素A〜Dと、この4個の画素A〜Dの走査終了端側の画素Dに続く4個の画素E〜Hと、予測対象ブロックの走査開始端側で水平方向に隣接する4個の画素I〜Lと、この水平方向に隣接する4個の画素I〜Lのうち走査開始端側の画素Iの上方に位置する画素Mとにより形成される。
イントラ4×4予測モードでは、これら13個の予測画素A〜Mと、予測値の生成に供する4×4個の画素a〜pとの相対的な関係によって、図18及び図19に示すように、モード0〜モード8の予測モードが設定されている。例えばモード0及びモード1では、予測値の生成に使用する13個の予測画素A〜Mのうち、それぞれ垂直方向及び水平方向に隣接する予測画素A〜D及びI〜Lにより予測値を生成する。
より具体的には、図20(A)に示すようにモード0は、垂直方向に隣接する予測画素A〜Dにより予測値を生成するモードである。また、図20(B)に示すようにモード1は、水平方向に隣接する予測画素I〜Lより予測値を生成するモードである。また、図20(C)に示すようにモード2は、13個の予測画素A〜Mのうち、このブロックの垂直方向及び水平方向に隣接する画素A〜D及びI〜Lにより予測画を生成するモードである。また、図20(D)に示すようにモード3は、13個の予測画素A〜Mのうち、水平方向に連続する画素A〜Hにより予測値を生成するモードである。また、図20(E)に示すようにモード4は、13個の予測画素A〜Mのうち4×4個の画素a〜pによるブロックに隣接する画素A〜D・画素I〜Mによって予測値を生成するモードである。また、図20(F)に示すようにモード5は、13個の予測画素A〜Mのうち、4×4個の画素a〜pによるブロックに隣接する画素A〜D・画素I〜K・画素Mにより予測値を生成するモードである。また、図20(G)に示すようにモード6は、13個の予測画素A〜Mのうち、4×4個の画素a〜pによるブロックに隣接する画素A〜C・画素I〜Mにより予測値を生成するモードである。また、図20(H)に示すようにモード7は、13個の予測画素A〜Mのうち、4×4個の画素a〜pによるブロックの上方に隣接する4個の画素A〜Dと、この4個の画素A〜Dに続く4個の画素E〜Gとにより予測値を生成するモードである。さらに、図20(I)に示すようにモード8は、13個の予測画素A〜Mのうち4×4個の画素によるブロックの左方に隣接する4個の画素I〜Lにより予測値を生成するモードである。
これに対して、イントラ16×16予測モードでは、図21に示すように、予測値を生成する16×16個の画素P(0,15)〜P(15,15)によるブロックBに対して、このブロックBの上方に隣接する画素P(0,−1)〜P(15,−1)及びこのブロックBの左方に隣接する画素P(−1,0)〜P(−1,15)が予測画素に設定され、これらの予測画素により予測値が生成される。
また、イントラ16×16予測モードでは、図22に示すように、モード0〜モード3の予測モードが設定されている。モード0では、図23(A)に示すように、ブロックBの上方に隣接する各画素P(0,−1)〜P(15,−1)の画素値によりブロックBの垂直方向に連続する各画素の予測値が生成される。また、モード1では、図23(B)に示すように、ブロックBの左方に隣接する各画素P(−1,0)〜P(−1,15)の画素値によりブロックBの水平方向に連続する各画素の予測値が生成される。また、モード2では、図23(C)に示すように、画素P(0,−1)〜P(15,−1)及びP(−1,0)〜P(−1,15)による画素値の平均値によりブロックBを構成する各画素の予測値が生成される。また、モード3では、図23(D)に示すように斜め方向の演算処理により各画素の予測値が生成される。
なお、8×8画素のマクロブロックが処理対象となる色差信号では、ブロックサイズが輝度信号と異なるが処理工程が同様であるから、その説明を省略する。
以上説明した画像情報符号処理装置100及び画像情報復号処理装置200については、例えば特許文献1などに記載されている。
ところで、上述したようにイントラ予測を行うには、予測対象のマクロブロックの周辺画素が必要なので、これら周辺画素の属するマクロブロックの画像情報も必要となる。
このようなイントラ予測を専用ハードウェアで実装する一般的なイントラ予測ハードウェア処理系300は、図24(A)に示すように、参照画像情報が記憶されているメインメモリ301と、イントラ予測を行うイントラ予測回路302とから構成される。また、イントラ予測回路302には、SRAM(Static Random Access Memory)などのローカルメモリ303が内蔵されている。
例えば、図24(B)に示すようにマクロブロックAの右方及び下方の画素列は、マクロブロックB,C,Dの周辺画素としてイントラ予測を行う場合に必要となる。したがって、マクロブロックB,C,Dのイントラ予測を高速で行うため、イントラハードウェア処理系300では、マクロブロックAのうちイントラ予測に必要となる2つの画素列のみをローカルメモリ303に保持する。
「Draft Errata List with Revision-Marked Corrections for H.264/AVC」, JVT-1050, Thomas Wiegand et al., Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, 2003 特開2006―94081号公報
ところで、上述したJVTで標準化が行われている符号化方式などの復号処理をソフトウェア上で実装する場合には汎用プロセッサで実装できるので、各処理ブロックを組み込みプロセッサなどの専用ハードウェアで実装する場合に対して、例えばバージョンアップなどのシステムの設計仕様を容易に変更できるといった利点がある。
イントラ予測処理をソフトウェアにより実装する一般的なソフトウェア処理系400は、例えば図25に示すように、CPU(Central Processing Unit)401と、L1キャッシュ402と、L2キャッシュ403と、メインメモリ404とから構成される。
ソフトウェア処理系400では、復号されたマクロブロック単位の画像をメモリマッピングされたアドレスで管理する。すなわち、マクロブロックは、L1キャッシュ402とL2キャッシュ403とメインメモリ404とにおいて共通のアドレスで管理されている。
よって、ソフトウェア処理系400において、例えば、図24(B)に示したようにマクロブロックB,C,Dをイントラ予測する場合には、イントラ予測に必要となる周辺画素を含む周辺マクロブロック(例えば、マクロブロックA)をメモリマップで管理された領域から読み出す必要がある。
ここで、イントラ予測に用いられる周辺マクロブロックの復号された画像データを含め、復号処理に必要なデータを記憶するのに十分な記憶領域がL2キャッシュ403にない場合には、上述した周辺マクロブロックをCPU401へ読み出す際にキャッシュミスを起こして、単位時間当たりにメインメモリ404から周辺マクロブロックが読み出される頻度が多くなる。
このようにして、メインメモリへのアクセス数が多くなると、メインメモリ404からL2キャッシュ403を繋ぐバス帯域において周辺画素ブロックデータの占有率が高くなり、イントラ予測処理だけでなくデコード処理全体の処理速度が低下してしまうこととなる。
本発明は、このような実情に鑑みて提案されたものであり、効率よく復号処理を行う復号処理装置、復号処理方法、復号処理プログラムを提供することを目的とする。
上述した課題を解決するための手段として、本発明に係る復号処理装置は、動画像データを、所定数の画素から構成されるマクロブロック単位でフレーム内を行列状に分割して符号化されているマクロブロックに対して、同一のフレーム内における周辺画素の復号結果を参照して当該復号対象となるマクロブロックの復号処理を行う復号処理手段と、上記復号処理手段により復号処理が行われた復号結果を記憶する第1の記憶手段とを有する復号処理装置であって、上記復号処理手段により復号処理が行われたマクロブロックを構成する所定数の画素のうち、同一フレーム内における任意のマクロブロックに参照されうる参照画素を設定する設定手段と、上記設定手段により設定された上記参照画素の復号結果を、参照情報として記憶する第2の記憶手段とを備え、上記復号処理手段は、復号対象となるマクロブロックに応じて上記参照情報を上記第2の記憶手段から読み出し、上記読み出した参照情報を参照して当該復号対象となるマクロブロックの復号処理を行うことを特徴とする。
また、本発明に係る復号処理方法は、動画像データを、所定数の画素から構成されるマクロブロック単位でフレーム内を行列状に分割して符号化されているマクロブロックに対して、同一のフレーム内における周辺画素の復号結果を参照して復号処理を行い、当該復号結果を記憶する第1の記憶手段を有する復号処理装置の復号処理方法であって、復号されたマクロブロックを構成する所定数の画素のうち、同一フレーム内における任意のマクロブロックに参照されうる参照画素を設定する設定工程と、上記設定工程により設定された上記参照情報の復号結果を、参照情報として第2の記憶手段に記憶する記憶工程と、復号対象となるマクロブロックの周辺画素に応じた上記参照情報を上記第2の記憶手段から読み出す読み出し工程と、上記読み出し工程で読み出した参照情報を参照して上記復号対象となるマクロブロックの復号処理を行う復号処理工程とを備えることを特徴とする。
また、本発明に係る復号処理プログラムは、動画像データを、所定数の画素から構成されるマクロブロック単位でフレーム内を行列状に分割して符号化されているマクロブロックに対して、同一のフレーム内における周辺画素の復号結果を参照して復号処理を行い、当該復号結果を記憶する第1の記録手段を有するコンピュータにより実行される復号処理プログラムであって、復号されたマクロブロックを構成する所定数の画素のうち、同一フレーム内における任意のマクロブロックに参照されうる参照画素を設定する設定工程と、上記設定工程により設定された上記参照情報の復号結果を、参照情報として第2の記憶手段に記憶させる記憶工程と、復号対象となるマクロブロックの周辺画素に応じた上記参照情報を上記第2の記憶手段から読み出す読み出し工程と、上記読み出し工程で読み出した参照情報を参照して上記復号対象となるマクロブロックの復号処理を行う復号処理工程とを備えることを特徴とする。
本発明は、復号されたマクロブロックを構成する所定数の画素のうち、同一フレーム内における任意のマクロブロックに参照されうる参照画素の復号結果を参照情報として第2の記憶手段に記憶し、上記復号対象となるマクロブロックの周辺画素に応じた上記参照情報を上記第2の記憶手段から読み出して復号処理を行う。このようにして、本発明は、同一フレームに位置する復号されたマクロブロックの全画素の復号結果を記憶する第1の記憶媒体から、復号対象のマクロブロックの周辺画素の復号結果を検索して読み出すのに比べて、周辺画素の読み出し速度が速くなり、全体として復号処理を高速に行うことができる。
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
(1)画像情報復号処理装置の構成及び動作
まず、本実施の形態における画像情報復号処理装置の概略構成を図1に示す。図1に示すように、画像情報復号処理装置10は、蓄積バッファ11と、可逆復号化部12と、逆量子化部13と、逆直交変換部14と、加算器15と、デブロックフィルタ16と、画面並べ替えバッファ17と、D/A変換器18と、イントラ予測部19と、フレームメモリ20と、動き・補償部21とにより構成されている。
蓄積バッファ11は、入力された画像圧縮情報を一時的に記憶した後に可逆復号化部12に供給する。可逆復号化部12は、画像圧縮情報の形式に基づいて画像圧縮情報に可変長復号又は算術復号などの処理を施し、量子化された変換係数を逆量子化部13に供給する。また、可逆復号化部12は、当該フレームがイントラ符号化されたものである場合に画像圧縮情報のヘッダ部に格納されたイントラ予測情報をも復号してその情報をイントラ予測部19に供給し、当該フレームがインター符号化されたものである場合に画像圧縮情報のヘッダ部に格納された動きベクトル情報をも復号してその情報を動き予測・補償部21に供給する。
逆量子化部13は、可逆復号化部12から供給された変換係数に逆量子化処理を施し、その変換係数を逆直交変換部14に供給する。逆直交変換部14は、画像圧縮情報の形式に基づいて係数変換に逆離散コサイン変換又は逆カルーネン・レーベ変換などの逆直交変換を施す。
加算器15は、逆直交変換部14から供給される変換係数に、イントラ予測部19から出力される予測画像による予測値、若しくは、動き予測・補償部21から出力される予測画像による予測値を加算してデブロックフィルタ16に供給する。
デブロックフィルタ16は、加算器15から供給される画像情報のブロック歪みを除去して画面並べ替えバッファ17へ供給する。画面並べ替えバッファ17は、デブロックフィルタ16から供給される画像データのフレームをGOP(Group Of Picture)構造に応じて並べ替えてD/A変換器18に供給する。D/A変換器18は、画面並べ替えバッファ17から供給されるデータをアナログ信号に変換して出力する。
フレームメモリ20は、デブロックフィルタ16から出力される画像データを参照画像情報として記憶する。動き予測・補償部21は、可逆復号化部12から通知される動きベクトル情報に応じた参照画像情報をフレームメモリ20から読み出し、その参照画像情報に動き補償処理を施して予測画像による予測値を生成し、この予測値を加算器15に供給する。また、イントラ予測部19は、可逆復号化部12から通知されるイントラ予測情報に応じた参照画像情報をフレームメモリ20から読み出し、その参照画像情報にイントラ予測処理を施して予測画像による予測値を生成し、この予測値を加算器15に供給する。なお、フレームメモリ20が記憶する参照画像情報は、1つの画面を所定数のブロックに分割した複数画素から構成されるマクロブロック単位で管理されている。
(2)画像情報復号処理装置における本発明の適用部分
以上のように、本実施形態に係る画像情報復号処理装置10の概略構成について説明したが、以下ではイントラ予測部19におけるフレームメモリ20に記憶されている参照画像情報の読み出し処理に注目して詳細に説明する。なお、以下では、フレームメモリ20に記憶される参照画像情報としてのマクロブロックを参照マクロブロックと呼び、イントラ予測部19によって予測画像の予測値が出力されるマクロブロックをカレントマクロブロックと呼ぶ。また、イントラ予測情報が含まれているマクロブロックをイントラマクロブロックと呼び、動きベクトル情報が含まれているマクロブロックをインターマクロブロックと呼ぶ。
(2−1)第1のソフトウェア処理系
まず、イントラ予測部19が行うイントラ予測処理をソフトウェアで実装する第1のソフトウェア処理系30の構成を図2に示す。
第1のソフトウェア処理系30は、図2に示すように、CPU31と、L1キャッシュ32と、L2キャッシュ33と、メインメモリ34とから構成されている。
CPU31は、イントラ予測処理以外に、画像復号処理装置1による復号処理全体を行う。また、CPU31は、L1キャッシュ32とL2キャッシュ33とからなる2段階のキャッシュ構造を有している。
メインメモリ34は、上述した参照画像情報を記憶するフレームメモリ20の役割を果たすとともに、復号処理を行うために必要なデータを一時的に保持する汎用メモリである。
以上のような構成からなるソフトウェア処理系30において、参照マクロブロックをCPU31が読み出す場合、CPU31は、まずL1キャッシュ32にアクセスし、L1キャッシュ32にその参照マクロブロックが存在しなければL2キャッシュ33にアクセスし、さらにその参照マクロブロックがL2キャッシュ33にも存在しなければ最終的にメインメモリ34にアクセスする。したがって、CPU31が必要なデータを高速に読み出すためには、このようなデータがメインメモリ34よりもL2キャッシュ33上に記憶されている必要がある。
イントラ予測処理に必要なデータとしては、図3に示すように、カレントマクロブロックに対して左横・左斜上・上・右斜上の周辺マクロブロックを参照マクロブロックとして参照する必要がある。
但し、これら周辺マクロブロックの中にインターマクロブロックが存在する場合には、カレントマクロブロック内に記憶されているフラグconstrained_intra_flagの値に応じて、このインターマクロブロックを参照してカレントマクロブロックのイントラ予測処理を行うか否かが決まる。例えば、フラグconstrained_intra_flagが1の場合には、インターマクロブロックを参照しない。また、周辺マクロブロックとカレントマクロブロックとが別スライスに属する場合には、このような周辺マクロブロックをイントラ予測処理で参照しない。
また、このような符号化規格では、参照マクロブロックの全ての画素を用いて予測対象のマクロブロックの予測値を生成するものではない。換言すれば、参照マクロブロックの一部の画素がイントラ予測処理に使用される。本実施形態では、参照マクロブロックと区別するために、このような画素を参照画素データと呼ぶ。
具体的に、AVC規格では様々なサイズのマクロブロックで1画面を分割するが、本実施形態では具体例として、輝度成分Yのマクロブロックサイズを図4(A)に示すように16×16画素サイズとし、色差成分Cb,Crのマクロブロックサイズを図4(B)に示すよう8×8画素サイズとする。
ここで、輝度成分Yに関しては、参照マクロブロックのうち、下端水平ラインY_Hの16画素と右端垂直ラインY_Vの16画素とが参照画素データとしてイントラ予測処理に用いられる。色差成分Cb,Crに関してはCb成分とCr成分のそれぞれにおいて、参照マクロブロックのうち下端垂直ラインCb_V,Cr_Vの8画素と右端水平ラインCb_H,Cr_Hの8画素とが参照画素データとしてイントラ処理に用いられる。
例えば、1画素当たりのデータサイズが1バイトとすると、輝度成分Yが32バイトで、色差成分Cb,Crがそれぞれ16バイトで、これらを合計した64バイトの画素データがイントラ予測の際に1つの参照マクロブロックから最低限読み出す必要のあるデータとなる。
ここで、輝度成分Yにおける16×16画素のマクロブロックにおいて、図4(A)に示すように、下端水平ラインY_Hと右端垂直ラインY_Vとの両方に属する重複画素Y_Dが1つ存在する。また、色差成分Cbにおける8×8画素のマクロブロックにおいて、下端水平ラインCb_Hと右端垂直ラインCb_Vとの両方に属する重複画素Cb_Dが1つ存在する。同様に、色差成分Crにおける8×8画素のマクロブロックにおいて、下端水平ラインCr_Hと右端垂直ラインCr_Vとの両方に属する重複画素Cr_Dが1つ存在する。これら3つの重複画素Y_D,Cb_D,Cr_Dについては、それぞれ下端水平ライン及び右端垂直ラインで個々の記憶領域を割り当てて管理する必要がない。よって、輝度成分Yに関する参照画素データでは、下端水平ラインY_Hを重複画素Y_Dを除いた15画素とする。同様にして、色差成分Cb、Crに関する参照画素データでは、下端水平ラインCb_H,Cr_Hを7画素とする。このようにして、イントラ予測の際に1つの参照マクロブロックから読み出させるのに最低限必要となる画素データは、輝度成分が31バイトとし、色差成分が30バイトとして合計で61バイトとなる。
ソフトウェア処理系30では、マクロブロック毎に、このような合計61バイトのデータを参照画素データとして、L2キャッシュ33内の記憶領域に管理する。
このようにイントラ予測に必要な画素のみをL2キャッシュ33の記憶領域で記憶させることにより、L2キャッシュの記憶容量を削減することができる。
ここで、L2キャッシュ33の記憶領域が2のべき乗単位でデータサイズを管理するので、合計61バイトの周辺画素データをL2キャッシュ33で管理する場合には、キャッシュの構造上、図5に示すように、最低限64バイトの記憶領域が割り当てられ、1マクロブロック当たりの参照画素データに3バイト分のマージンデータ領域が存在することとなる。第1のソフトウェア処理系20では、このような3バイト分のマージンデータ領域に、イントラ予測の際に当該周辺画素データをCPU21へ読み出す必要があるか否かを判断するための情報を割り当てる。
具体的にマージンデータ領域には、当該マクロブロックがイントラマクロブロック又はインターマクロブロックのどちらであるかを示す1ビットのイントラ/インターフラグと、当該マクロブロックがフィールド構造又はフレーム構造のどちらであるかを示す1ビットのフィールド/フレームフラグと、当該マクロブロックがスキップマクロブロックであるか否かを示す1ビットのスキップフラグと、フレーム内における当該マクロブロックのスライス位置を示す2バイトのスライスポインタとが格納される。
また、これらのフラグ情報は、周辺画素データに先立ってCPU31に読み出される。このため、L1キャッシュ32には、参照画素データ内におけるフラグ情報のアドレス位置が記憶されているものとする。
なお、図5では、これら3つのフラグを輝度成分Yの重複画素データY_Dに相当するマージンデータ領域に、2バイトのスライスポインタを色差成分Cb,Crの重複画素データCb_D,Cr_Dに相当するマージンデータ領域にそれぞれ格納されるが、このような場合に限定せず所望とするマージンデータ領域に種々の情報を割り当てるようにしてもよい。
また、AVC規格にはAFF(Adaptive flame field)という適応型の符号化処理を行うモードがあり、このようなモードで符号化処理が施されたマクロブロックに対しては、2つのマクロブロックを1組としてイントラ予測処理が行われる。さらに、このようなマクロブロックがAFF形式の場合には、1組のマクロブロックがフィールド構造又はフレーム構造の何れかに応じてこのマクロブロック内における参照画素データの位置が異なる。
図6に示すように、予測対象の1組のマクロブロック(以下カレントペアーと呼ぶ。)の上方に、このカレントペアーに参照される1組のマクロブロック(以下参照ペアーと呼ぶ。)が位置するものとし、参照マクロブロック内における参照画素データの位置を次に示す4つの条件に場合分けて説明する。
ここで、図6に示す各マクロブロックは、輝度成分Yに関するものであって、そのサイズが16×16画素とする。また、AFF形式における1組当たり2つのマクロブロックのうち、上部にあたるものをトップマクロブロックとし、下部にあたるものをボトムマクロブロックと呼ぶ。
図6(A)は、カレントペアー41及び参照ペアー42がともにフレーム構造の場合に、カレントペアー41を構成する2つのマクロブロックのイントラ予測に必要となる参照画素データを示したものである。カレントペアー41におけるトップマクロブロック41aのイントラ予測に必要な参照画素データは、参照ペアー42のボトムマクロブロック42bにおける16行目の水平ラインの画素列である。また、カレントペアー41におけるボトムマクロブロック41bのイントラ予測に必要な参照画素データは、カレントペアー41のトップマクロブロック41aにおける16行目の水平ラインの画素列である。
図6(B)は、カレントペアー51及び参照ペアー52がともにフィールド構造の場合に、カレントペアー51を構成する2つのマクロブロックのイントラ予測に必要となる参照画素データを示したものである。カレントペアー51におけるトップマクロブロック51aのイントラ予測を行うのに必要な参照画素データは、参照ペアー52のトップマクロブロック52aにおける16行目の水平ラインの画素列である。また、カレントペアー51におけるボトムマクロブロック51bのイントラ予測を行うのに必要な参照画素データは、参照ペアー52のボトムマクロブロック52bにおける16行目の水平ラインの画素列である。
図6(C)は、カレントペアー61がフレーム構造で参照ペアー62がフィールド構造の場合に、カレントペアー61を構成する2つのマクロブロックに参照される参照画素データを示したものである。カレントペアー61におけるトップマクロブロック61aのイントラ予測を行うのに必要な参照画素データは、参照ペアー62のボトムマクロブロック62bにおける16行目の水平ラインの画素列である。また、カレントペアー61におけるボトムマクロブロック61bのイントラ予測を行うのに必要な参照画素データは、カレントペアー61のトップマクロブロック61aにおける16行目の水平ラインの画素列である。
図6(D)は、カレントペアー71がフィールド構造で参照ペアー72がフレーム構造の場合に、カレントペアー71を構成する2つのマクロブロックに参照される参照画素データを示したものである。カレントペアー71におけるトップマクロブロック71aのイントラ予測を行うのに必要な参照画素データは、参照ペアー72のボトムマクロブロック72bにおける15行目の水平ラインの画素列である。また、カレントペアー71におけるボトムマクロブロック71bのイントラ予測を行うのに必要な参照画素データは、参照ペアー72のトップマクロブロック72bにおける16行目の水平ラインの画素列である。
このように、マクロブロックがAFF形式の場合では、各マクロブロックの構造に応じてカレントマクロブロックが参照する参照画素データの位置が異なる。このため、ソフトウェア処理系30は、マクロブロックがAFF形式の場合に、1組のマクロブロックペアー毎に2つの参照画素データとそれらのマージンデータ領域とを設定する。
図7(A)は、輝度成分Yに関するマクロブロックペアーがフレーム構造の場合に設定される参照画素データの位置を示す図である。上述したようにフレーム構造の場合には、トップマクロブロックの下端水平ラインの画素列が参照されない。よって、トップマクロブロックに関しては、右端垂直ラインY_V11のみが参照画素データに設定される。また、ボトムマクロブロックに関しては、右端垂直ラインY_V12、及び、15,16行目の2つ下端水平ラインY_H11,Y_H12が参照画素データとして設定される。
図7(B)は、輝度成分Yに関するマクロブロックペアーがフィールド構造の場合に設定される参照画素データの位置を示す図である。上述したようにフィールド構造の場合には、トップマクロブロックの下端水平ラインの画素列も参照画素データとして用いられる。よって、トップマクロブロックは、右端垂直ラインY_V21と下端水平ラインY_H21とが参照画素データとして設定される。同様にして、ボトムマクロブロックは、右端垂直ラインY_V22と下端水平ラインY_H22とが参照画素データとして設定される。
また、色差成分Cb,Crに関する参照画素データは、ブロックサイズが輝度成分Yと異なるが、カレントペアーに参照される参照画素データの位置に関して同様の関係を有する。
すなわち、色差成分Cbに関するマクロブロックペアーがフィールド構造の場合には、図8(A)に示すように、トップマクロブロックの右端垂直ラインCb_V11と、ボトムマクロブロックの右端垂直ラインCb_V12と、ボトムマクロブロックの7,8行目の2つの下端水平ラインCb_H11,Cb_H12とが、参照画素データとして設定される。同様に、色差成分Crに関するマクロブロックがフィールド構造の場合には、トップマクロブロックの右端垂直ラインCr_V11と、ボトムマクロブロックの右端垂直ラインCr_V12と、ボトムマクロブロックの7,8行目の2つの下端水平ラインCr_H11,Cr_H12とが、参照画素データとして設定される。
よって、マクロブロックペアーがフィールド構造の場合には、図8(B)に示すように、輝度成分Y及び色差成分Cb,Crを合計して128バイトの参照画素データがL2キャッシュ33の記憶領域に記憶されることとなる。
なお、上述したように、マクロブロックペアーを1単位として参照画素データを設定した場合にも、右端垂直ラインと下端垂直ラインとが重複する画素が存在するので、これら重複画素のデータに上述したフラグ情報を設定する。
具体的には、トップマクロブロックに関するフラグ情報は、下端水平ラインY_H11,Cb_H11,Cr_H11の合計3バイトのマージンデータ領域に設定される。また、ボトムマクロブロックに関するフラグ情報は、下端水平ラインY_H12,Cb_H12,Cr_H12の合計3バイトのマージンデータ領域に設定される。
一方、色差成分Cbに関するマクロブロックペアーがフレーム構造の場合には、図9(A)に示すように、トップマクロブロックの右端垂直ラインCb_V21と、トップマクロブロックの下端水平ラインCb_H21と、ボトムマクロブロックの右端垂直ラインCb_V22と、ボトムマクロブロックの下端水平ラインCb_H22とが参照画素データとして設定される。同様に、色差成分Crに関するマクロブロックがフレーム構造の場合には、トップマクロブロックの右端垂直ラインCr_V21と、トップマクロブロックの下端水平ラインCr_H21と、ボトムマクロブロックの右端垂直ラインCr_V12と、ボトムマクロブロックの下端水平ラインCr_H22とが参照画素データとして設定される。
よって、マクロブロックペアーがフィールド構造の場合には、図9(B)に示すように、輝度成分Y及び色差成分Cb,Crを合計して128バイトの参照画素データがL2キャッシュ33の記憶領域に記憶されることとなる。
なお、上述したように、マクロブロックペアーを1単位として参照画素データを設定した場合にも、右端垂直ラインと下端垂直ラインとが重複する画素が存在するので、これら重複画素のデータに上述したフラグ情報を設定する。
具体的には、トップマクロブロックに関するフラグ情報は、下端水平ラインY_H21,Cb_H21,Cr_H21の合計3バイトのマージンデータ領域に設定される。また、ボトムマクロブロックに関するフラグ情報は、下端水平ラインY_H22,Cb_H22,Cr_H22の合計3バイトのマージンデータ領域に設定される。
次に、ソフトウェア処理系30による参照画素データを用いた予測画生成処理について図10を参照して説明する。ここで、CPU31は、予測画生成処理プログラムに従って、周辺マクロブロックの復号された画素データを用いてカレントマクロブロックの予測処理を行う。
なお、ソフトウェア処理系30では、カレントマクロブロックの予測処理に必要となる参照マクロブロックが、全て復号されていることを前提として以下の処理を実行する。また、カレントマクロブロックがAFF形式の場合には、カレントペアーを1単位としてイントラ予測処理を行うものとする。
ステップS10において、CPU31は、カレントマクロブロックの予測画生成処理が完了した後に、カレントマクロブロックの参照画素データをL2キャッシュ33に記憶させるカレントアドレス番号を設定する。ここで、復号処理後にL2キャッシュ33上に記憶されるカレントマクロブロックの参照画素データを、カレント参照画素データと呼び、当該カレントマクロブロックが参照する参照画素データと明確に区別する。また、マクロブロックがAFF形式の場合、CPU31は、マクロブロック毎にカレントアドレス番号を設定する。
ステップS11において、CPU31は、カレントマクロブロックがスキップマクロブロックか否かを判断する。ここで、CPU31は、スキップマクロブロックであると判断するとステップS12へ進み、スキップマクロブロックではないと判断するとステップS15へ進む。
ステップS12において、CPU31は、カレントマクロブロックに応じたフラグ情報をL1キャッシュ32に書き込む。ここで、フラグ情報は、イントラ/インターフラグと、フィールド/フレームフラグと、スキップフラグと、スライスポインタとからなる。
ステップS13において、CPU21は、カレントマクロブロックに含まれるベクトル情報が指し示す復号された画像データを、L2キャッシュ33及びメインメモリ34へアクセスして読み出す。そしてCPU31は読み出された復号画像データをカレントマクロブロックの予測画像とし、算出器15へ出力する。
ステップS14において、CPU31は、ステップS13により復号したカレントマクロブロックからカレント参照画素データとなる画素を選択し、L1キャッシュ32に記憶されているフラグ情報を付加したカレント参照画素データを、L2キャッシュ33の記憶領域に書き込む。この処理工程が完了すると、CPU31は、まだ復号されていないマクロブロックをカレントマクロブロックに設定して、予測画生成処理プログラムを実行する。
一方、カレントマクロブロックがスキップマクロブロックでない場合、予測画生成処理プログラムは、ステップS11からステップS15へ進む。
ステップS15において、CPU21は、カレントマクロブロックがイントラマクロブロックであるか否かを判断する。ここで、CPU31は、イントラマクロブロックであると判断するとステップS16へ進み、イントラマクロブロックでない、すなわちインターマクロブロックであると判断するとステップS24へ進む。
ステップS16において、CPU31は、カレントマクロブロックがAFF形式であるか否かを判断する。ここで、CPU31は、AFF形式でないと判断するとステップS17へ進み、AFF形式であると判断するとステップS21へ進む。
ステップS17及びステップS20において、CPU31は、周辺マクロブロックの中から、カレントマクロブロックをイントラ予測するのに必要な参照マクロブロックの参照画素データに含まれるフラグ情報をL2キャッシュ33から読み出す。そして、CPU31は、読み出したフラグ情報に基づいて、これらの参照画素データがイントラ予測処理に有効であるか否かを判断する。
具体的に、CPU31は、スライスヘッダに基づいて、カレントマクロブロックのスライス番号と参照画素データのスライス番号が異なる場合に、この参照画素データを無効にする。また、CPU31は、カレントマクロブロックに含まれるフラグconstrained_intra_flagが1の場合にイントラ/インターフラグによりインターマクロブロックであると判断して、当該参照画素データを無効にする。
カレントマクロブロックがAFF形式でない場合には、図11(A)に示すように、カレントマクロブロックの左横・左斜上・上・右斜上の参照マクロブロックがカレントマクロブロックのイントラ予測に用いられる。したがって、ステップS18では、CPU31は、これらの4つの参照マクロブロックのうち、有効であると判断されたマクロブロックのアドレスを設定して、ステップS19へ進む。
一方、カレントマクロブロックがAFFの場合、カレントペアーのトップマクロブロックTopが参照する可能性のある参照マクロブロックは、図11(B)に示すように、カレントペアーに対して左横に位置する参照ペアーのトップマクロブロックTopL・ボトムマクロブロックBttmLと、カレントペアーに対して左斜上に位置する参照ペアーのトップマクロブロックTopLA・ボトムマクロブロックBttmLAと、カレントペアーに対して上に位置する参照ペアーのトップマクロブロックTopA・ボトムマクロブロックBttmAと、カレントペアーに対して右斜上に位置するトップマクロブロックTopRA・ボトムマクロブロックBttmRAとの合計8個である。
また、カレントペアーのボトムマクロブロックBttmが参照する可能性のある参照マクロブロックは、図11(C)に示すように、カレントペアーのトップマクロブロックTopと、カレントペアーに対して左横に位置するトップマクロブロックTopL・ボトムマクロブロックBttmLと、カレントペアーに対して左斜上に位置するボトムマクロブロックBttmLAと、カレントペアーに対して上に位置するボトムマクロブロックBttmAと、カレントペアーに対して右斜上に位置するボトムマクロブロックBttmRAの合計6個である。このように、ボトムマクロブロックBttmが参照する参照マクロブロックは、トップマクロブロックTopが参照する参照マクロブロックに含まれている。
よって、ステップS21では、カレントペアーのトップマクロブロックTopがイントラマクロブロックの場合、CPU31は、図12(A)に示すように、合計8個のマクロブロックのうち、有効であると判断されたマクロブロックのアドレスを設定する。また、トップマクロブロックTopがイントラマクロブロックでない場合、すなわち、トップマクロブロックTopがインターマクロブロック又はスキップマクロブロックである場合、CPU31は、図12(B)に示すように、ボトムマクロブロックBttmのみが参照する合計6個の参照マクロブロックのうち、有効であると判断されたマクロブロックのアドレスを設定する。よって、イントラ予測に必要最低限の参照マクロブロックをL2キャッシュ33から読み出すことができる。
ステップS19及びステップS22において、CPU31は、それぞれステップS18及びステップS21で設定したアドレスに対応する参照画素データをL2キャッシュ33から読み出す。
ステップS23において、CPU31は、ステップS19及びステップS22で有効と判断された参照画素データを用いてカレントマクロブロックのイントラ予測を行って、復号したマクロブロックを算出器15へ出力して、ステップS24へ進む。
また、カレントマクロブロックがインターマクロブロックであると判断されてステップS24に進んだ場合には、CPU31は、動きベクトル情報に基づいてカレントマクロブロックにインター予測処理を施して、動き予測・補償部21から算出器15へ復号されたマクロブロック単位の画像情報を出力して、ステップS25へ進む。
ステップS25において、CPU31は、カレントマクロブロックに含まれるフラグ情報に基づいて、イントラ/インターフラグとフィールド/フレームフラグとスキップフラグとスライスポインタとからなるフラグ情報をステップS10で設定したカレントアドレスに対応するL1キャッシュ32の記憶領域に書き込んでステップS26へ進む。
ステップS26において、CPU31は、ステップS13により復号したカレントマクロブロックからカレント参照画素データとなる画素を選択し、L1キャッシュ32に記憶されているフラグ情報を付加したカレント参照画素データを、カレントアドレスに対応するL2キャッシュ33の記憶領域に書き込む。ここで、上述したように、カレントマクロブロックがAFFの場合には、カレントペアーのマクロブロックがフィールド構造又はフレーム構造によって、マクロブロック内の画素データのうち、参照画素データとして書き込まれるデータが異なる。
この処理工程が完了すると、CPU31は、まだ復号されていないマクロブロックをカレントマクロブロックに設定して、予測画生成処理プログラムを実行する。
このように、ソフトウェア処理系30では、メインメモリ34にアクセスすることなく、イントラ予測処理に必要な画素データをL2キャッシュ33から参照画素データとして読み出す。このため、ソフトウェア処理系30では、参照画素データをCPU31へ読み出す際にキャッシュミスの頻度を低減するので処理速度を向上することができる。また、ソフトウェア処理系30では、イントラ予測処理に必要な画素データを、マクロブロック毎に参照画素データとして管理しているので、1画素単位で管理する場合に比べて、L2キャッシュ33が必要な記憶容量をより小さくすることができる。さらに、ソフトウェア処理系30では、参照画素データに含まれるフラグ情報に基づいて参照画素データのイントラ予測における有効性を判断し、必要な参照画素データを効率よく選択してCPU31へ読み出すので、イントラ予測処理の処理速度を速くすることができる。
(2−2)第2のソフトウェア処理系
第2のソフトウェア処理系80は、図13に示すように、CPU81と、L1キャッシュ82と、L2キャッシュ83と、メインメモリ84とに加えて、SIMD(Single Instruction/Multiple Data)プロセッサ85と、ローカルメモリ86と、DMA(Direct Memory Access)コントローラ87とから構成されている。
SIMDプロセッサ85は、1つの命令で複数のデータ処理を行うプロセッサである。第2のソフトウェア処理系80では、イントラ予測部19が行う処理を主にSIMDプロセッサ85上で行うものとする。
ローカルメモリ86は、SIMDプロセッサ85のワーキングメモリとしての役割をはたし、DMAコントローラ87を介してL2キャッシュ83へ直接アクセス可能となっている。
以上のような構成からなる第2のソフトウェア処理系80において、SIMDプロセッサ85が使用するデータを読み出す場合には、まずローカルメモリ86にアクセスし、ローカルメモリ86に演算処理に必要なデータが存在しない場合にはDMAコントローラ87を介してL2キャッシュ83へアクセスし、さらに当該データがL2キャッシュ83に存在しなければ、最終的にメインメモリ84にアクセスする。
また、第2のソフトウェア処理系80では、第1のソフトウェア処理系20と同様に、復号されたマクロブロックの画像データから、カレントマクロブロックのイントラ予測処理に用いられる可能性がある画素データを参照画素データとしてL2キャッシュ83上に保持する。そして、第2のソフトウェア処理系80において、SIMDプロセッサ85は、DMAコントローラ87を介してL2キャッシュ83から参照画素データを読み出して、カレントマクロブロックのイントラ予測処理を行う。
なお、L2キャッシュ83上に記憶される参照画素データは、第1のソフトウェア処理系20におけるL2キャッシュ33上に記憶されるものと同様なので、その説明を省略する。
次に、第2のソフトウェア処理系80による参照画素データを用いた予測画像の生成処理に関して図14を参照して詳細に説明する。ここで、CPU81は、予測画生成処理プログラムに従って、以下に示す処理を実行する。
ステップS30において、CPU81は、カレントマクロブロックの復号処理が完了した後に、カレントマクロブロックの参照画素データをL2キャッシュ83上に記憶させるカレントアドレスを設定する。さらに、CPU81は、カレントマクロブロックのイントラ予測とカレント参照画素データの書込処理とを行わせる制御命令をSIMDプロセッサ85に供給する。そして、CPU81から供給される制御命令に従って、SIMDプロセッサ85が以下に示す処理工程を行うものとする。
ステップS31において、SIMDプロセッサ85は、カレントマクロブロックがスキップマクロブロックであるか否かを判断する。ここで、SIMDプロセッサ85は、スキップマクロブロックであると判断するとステップS32へ進み、スキップマクロブロックではないと判断するとステップS35へ進む。
ステップS32において、SIMDプロセッサ85は、カレントマクロブロックに応じたフラグ情報を、カレントアドレスに対応するL2キャッシュ83の記憶領域に書き込む。ここで、フラグ情報は、イントラ/インターフラグと、フィールド/フレームフラグと、スキップフラグと、スライスポインタとからなる。
ステップS33において、SIMDプロセッサ85は、カレントマクロブロックに含まれるベクトル情報が指し示す復号された画像データを、L2キャッシュ83、メインメモリ84の順にアクセスして読み出す。
なお、ステップS32及びステップS33は、処理順序の入れ替えや並列処理などを行うようにしても良い。
ステップS34において、SIMDプロセッサ85は、ステップS33で復号したカレントマクロブロックを構成する画素データのうち、カレント参照画素データを設定する。そして、SIMDプロセッサ85は、マージンデータ領域にフラグ情報を付加したカレント参照画素データを、DMAコントローラ87によりL2キャッシュ83へ転送させ、カレントアドレスに応じた記憶領域に書き込む。この処理工程が完了すると、CPU81は、まだ復号されていないマクロブロックをカレントマクロブロックに設定して、予測画生成処理プログラムを実行する。
一方、カレントマクロブロックがスキップマクロブロックでない場合、予測画生成処理プログラムは、ステップS31からステップS35へ進む。
ステップS35において、SIMDプロセッサ85は、カレントマクロブロックがイントラマクロブロックであるか否かを判断する。ここで、SIMDプロセッサ85は、イントラマクロブロックであると判断するとステップS36へ進み、イントラマクロブロックではない、すなわちインターマクロブロックであると判断するとステップS43へ進む。
ここで、SIMDプロセッサ85では、インターマクロブロックに対してインター予測処理を行わない。また、カレントペアーの場合には、1つでもイントラマクロブロックがあればステップS36へ進む。
ステップS36において、SIMDプロセッサ85は、カレントマクロブロックがAFF形式であるか否かを判断する。ここで、SIMDプロセッサ85は、AFF形式でないと判断するとステップS37へ進み、AFF形式であると判断するとステップS40へ進む。
ステップS37及びステップS40において、SIMDプロセッサ85は、周辺マクロブロックの中から、イントラ予測するのに必要な参照マクロブロックの参照画素データに含まれるフラグ情報を、DMAコントローラ87を介してL2キャッシュ83から読み出す。そして、SIMDプロセッサ85は、読み出したフラグ情報に基づいて、これらの参照画素データがイントラ予測処理に有効であるか否かを判断してそれぞれステップS38及びステップS41へ進む。
ここで、具体的な判断処理に関しては、図10のステップS17及びステップS20と同様なので、その説明を省略する。
ステップS38では、SIMDプロセッサ85は、図10のステップS18と同様に、図11に示す4つの参照マクロブロックのうち、有効と判断されたマクロブロックに対応するアドレスを読み出して、ステップS39へ進む。
一方、ステップS41では、カレントペアーのトップマクロブロックTopがイントラマクロブロックの場合、SIMDプロセッサ85は、図12(A)に示すように、図10のステップS21と同様に、合計8個のマクロブロックのうち、有効と判断されたマクロブロックのアドレスを設定する。また、トップマクロブロックTopがイントラマクロブロックでない場合、すなわち、トップマクロブロックTopがインターマクロブロック又はスキップマクロブロックである場合、SIMDプロセッサ85は、図10のステップS21と同様に、図12(B)に示すように、ボトムマクロブロックBttmのみが参照する合計6個の参照マクロブロックのうち、有効と判断されたマクロブロックのアドレスを設定する。
ステップS39及びステップS42において、SIMDプロセッサ85は、それぞれステップS38及びステップS41で設定したアドレスに対応する参照画素データに含まれるフラグ情報をL2キャッシュ83から読み出す。そして、SIMDプロセッサ85は、有効と判断した参照画素データをL2キャッシュ83から読み出して、ステップS43へ進む。
ステップS43において、SIMDプロセッサ85は、カレントマクロブロックに含まれるフラグ情報に基づいて、イントラ/インターフラグとフィールド/フレームフラグとスキップフラグとスライスポインタとからなるフラグ情報を、DMAコントローラ87によりL2キャッシュ83にDMA転送させ、カレントアドレスが指し示す記憶領域に書き込む。
ステップS44において、SIMDプロセッサ85は、ステップS39及びステップS42で有効と判断された参照画素データを用いてカレントマクロブロックのイントラ予測を行う。
また、ステップS44において、ステップS35でインターマクロブロックと判断されたマクロブロックは、CPU81又はインター予測処理を専用で行うプロセッサなどにより復号処理が施される。そして、復号処理が施されたインターマクロブロックはローカルメモリ76に供給される。
ステップS45において、SIMDプロセッサ85は、ステップS44で復号したカレントマクロブロックを構成する画素データのうち、カレント参照画素データを設定する。そして、SIMDプロセッサ85は、マージンデータ領域にフラグ情報を付加したカレント参照画素データを、DAMコントローラ87によりL2キャッシュ83へ転送させ、カレントアドレスに応じた記憶領域に書き込む。この処理工程が完了すると、CPU81は、まだ復号されていないマクロブロックをカレントマクロブロックに設定して、予測画生成処理プログラムを実行する。
このようにソフトウェア処理系80では、復号処理のうちイントラ予測処理をSIMDプロセッサ85で行わせるので、それ以外に必要な復号処理をCPU81が行う。このため、ソフトウェア処理系80では、第1のソフトウェア処理系20のようにプロセッサが復号処理全体を行う場合に比べてプロセッサの演算処理量を軽減して、より高速に圧縮画像信号を復号することができる。
画像情報復号処理装置の概略構成を示すブロック図である。 第1のソフトウェア処理系の概略構成を示す図である。 イントラ予測処理に必要となるマクロブロックの配置を示す図である。 図4(A)は、輝度成分におけるマクロブロックのブロックサイズを示す図であり、図4(B)は、色差成分におけるマクロブロックのブロックサイズを示す図である。 L2キャッシュに記憶される参照画素データのデータ構成を示す図である。 トップマクロブロックとボトムマクロブロックが参照する画素データの位置を示す図である。 図7(A)は、輝度成分に関するマクロブロックペアーがフレーム構造の場合に設定される参照画素データの位置を示す図であり、図7(B)は、輝度成分に関するマクロブロックペアーがフィールド構造の場合に設定される参照画素データの位置を示す図である。 図8(A)は、色差成分に関するマクロブロックペアーがフレーム構造の場合に設定される参照画素データの位置を示す図であり、図8(B)は、参照画素データのデータ構成を示す図である。 図9(A)は、色差成分に関するマクロブロックペアーがフィールド構造の場合に設定される参照画素データの位置を示す図であり、図9(B)は、参照画素データのデータ構成を示す図である。 第1のソフトウェア処理系が行う予測画生成処理プログラムの処理工程を示すフローチャートである。 図11(A)はAFF形式ではないカレントマクロブロックに対応する参照マクロブロックの位置関係を示す図であり、図11(B)はAFF形式のトップマクロブロックに対応する参照マクロブロックの位置関係を示す図であり、図11(C)はAFF形式のボトムマクロブロックに対応する参照マクロブロックの位置関係を示す図である。 図12(A)はAFF形式のトップマクロブロックに対応する参照マクロブロックの位置関係を示す図であり、図12(B)はAFF形式のボトムマクロブロックに対応する参照マクロブロックの位置関係を示す図である。 第2のソフトウェア処理系の概略構成を示すブロック図である。 第2のソフトウェア処理系が行う予測画生成処理プログラムの処理工程を示すフローチャートである。 画像情報符号化装置の概略構成を示すブロック図である。 画像情報復号処理装置の概略構成を示すブロック図である。 イントラ4×4予測モードにおける予測画素の設定の説明に供する図である。 イントラ4×4予測モードの説明に供する図である。 イントラ4×4予測モードを示す図表である。 イントラ4×4予測モードの各モードの説明に供する図である。 イントラ16×16予測モードの予測画素の説明に供する図である。 イントラ16×16予測モードを示す図表である。 イントラ16×16予測モードの説明に供する図である。 図24(A)はイントラ予測ハードウェア処理系の概略構成を示すブロック図であり、図24(B)は予測対象のマクロブロックに対する周辺画素の位置関係を示す図である。 イントラ予測処理を行う従来のソフトウェア処理系の概略構成を示す図である。
符号の説明
10 画像情報復号処理装置、11 蓄積バッファ、12 可逆復号化部、13 逆量子化部、14 逆直交変換部、15 加算器、16 デブロックフィルタ、17 画面並べ替えバッファ、18 D/A変換器、19 イントラ予測部、20 フレームメモリ、21 動き・補償部、30 第1のソフトウェア処理系、80 第2のソフトウェア処理系、31、81 CPU、32、82 L1キャッシュ、33、83 L2キャッシュ、34、84 メインメモリ、85 SIMDプロセッサ、86 ローカルメモリ、87 DMAコントローラ

Claims (6)

  1. 動画像データを、所定数の画素から構成されるマクロブロック単位でフレーム内を行列状に分割して符号化されているマクロブロックに対して、同一のフレーム内における周辺画素の復号結果を参照して当該復号対象となるマクロブロックの復号処理を行う復号処理手段と、上記復号処理手段により復号処理が行われた復号結果を記憶する第1の記憶手段とを有する復号処理装置であって、
    上記復号処理手段により復号処理が行われたマクロブロックを構成する所定数の画素のうち、同一フレーム内における任意のマクロブロックに参照されうる参照画素を設定する設定手段と、
    上記設定手段により設定された上記参照画素の復号結果を参照情報として記憶する第2の記憶手段とを備え、
    上記復号処理手段は、復号対象となるマクロブロックに応じて上記参照情報を上記第2の記憶手段から読み出し、上記読み出した参照情報を参照して当該復号対象となるマクロブロックの復号処理を行うことを特徴とする復号処理装置。
  2. 上記第1の記憶手段は上記復号処理手段の処理を行うプロセッサのメインメモリであり、上記第2の記憶手段は上記復号処理手段の処理を行うプロセッサのキャッシュメモリであることを特徴とする請求項1記載の復号処理装置。
  3. 上記動画像データは、復号対象となるマクロブロックに対して左横、左斜め上、上及び右斜め上のマクロブロックの復号結果を参照することが規定された規格で符号化されており、当該符号化されているマクロブロックにはマクロブロック情報として、フレーム内予測又はフレーム間予測のいずれかで符号化されていることを示すイントラ/インターフラグと、フレーム構造又はフィールド構造のいずれかで符号化されていることを示すフレーム/フィールドフラグと、スキップモードであるか否かを示すスキップフラグと、フレーム内におけるマクロブロックのスライス位置を示すスライス番号が含まれており、
    上記設定手段は、マクロブロックの右端垂直方向と下端水平方向とからなる2方向の画素列と、上記マクロブロック情報とを上記参照情報として設定し、
    上記第2の記憶手段は、上記参照情報を記憶する際に、上記右端垂直方向の画素列と上記下端水平方向の画素列とが重複する画素のうち、一方の上記重複する画素の復号結果に代えて上記マクロブロック情報を記憶することを特徴とする請求項1記載の復号処理装置。
  4. 上記復号処理手段の処理を行うプロセッサは、フレーム内予測で符号化されているマクロブロックの復号処理専用のプロセッサであることを特徴とする請求項3記載の復号処理装置。
  5. 動画像データを、所定数の画素から構成されるマクロブロック単位でフレーム内を行列状に分割して符号化されているマクロブロックに対して、同一のフレーム内における周辺画素の復号結果を参照して復号処理を行い、当該復号結果を記憶する第1の記憶手段を有する復号処理装置の復号処理方法であって、
    復号されたマクロブロックを構成する所定数の画素のうち、同一フレーム内における任意のマクロブロックに参照されうる参照画素を設定する設定工程と、
    上記設定工程により設定された上記参照情報の復号結果を、参照情報として第2の記憶手段に記憶する記憶工程と、
    復号対象となるマクロブロックの周辺画素に応じた上記参照情報を上記第2の記憶手段から読み出す読み出し工程と、
    上記読み出し工程で読み出した参照情報を参照して上記復号対象となるマクロブロックの復号処理を行う復号処理工程とを備えることを特徴とする復号処理方法。
  6. 動画像データを、所定数の画素から構成されるマクロブロック単位でフレーム内を行列状に分割して符号化されているマクロブロックに対して、同一のフレーム内における周辺画素の復号結果を参照して復号処理を行い、当該復号結果を記憶する第1の記録手段を有するコンピュータにより実行される復号処理プログラムであって、
    復号されたマクロブロックを構成する所定数の画素のうち、同一フレーム内における任意のマクロブロックに参照されうる参照画素を設定する設定工程と、
    上記設定工程により設定された上記参照情報の復号結果を、参照情報として第2の記憶手段に記憶させる記憶工程と、
    復号対象となるマクロブロックの周辺画素に応じた上記参照情報を上記第2の記憶手段から読み出す読み出し工程と、
    上記読み出し工程で読み出した参照情報を参照して上記復号対象となるマクロブロックの復号処理を行う復号処理工程とを備えることを特徴とする復号処理プログラム。
JP2006222072A 2006-08-16 2006-08-16 復号処理装置及び復号処理方法並びに復号処理プログラム Expired - Fee Related JP4735471B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006222072A JP4735471B2 (ja) 2006-08-16 2006-08-16 復号処理装置及び復号処理方法並びに復号処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006222072A JP4735471B2 (ja) 2006-08-16 2006-08-16 復号処理装置及び復号処理方法並びに復号処理プログラム

Publications (2)

Publication Number Publication Date
JP2008048178A true JP2008048178A (ja) 2008-02-28
JP4735471B2 JP4735471B2 (ja) 2011-07-27

Family

ID=39181488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006222072A Expired - Fee Related JP4735471B2 (ja) 2006-08-16 2006-08-16 復号処理装置及び復号処理方法並びに復号処理プログラム

Country Status (1)

Country Link
JP (1) JP4735471B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001433A1 (ja) * 2008-06-30 2010-01-07 富士通マイクロエレクトロニクス株式会社 メモリ装置及びそれを制御するメモリコントローラ
JP2010252294A (ja) * 2009-03-25 2010-11-04 Mitsubishi Electric Corp 画像復号装置
JP2012512566A (ja) * 2008-12-12 2012-05-31 クゥアルコム・インコーポレイテッド デコードされたピクチャのインテリジェントなバッファリング
CN103329526A (zh) * 2011-08-17 2013-09-25 史克威尔·艾尼克斯控股公司 运动图像分配服务器、运动图像再现设备、控制方法、程序和记录介质
US8897373B2 (en) 2012-04-12 2014-11-25 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, and recording medium
US8988501B2 (en) 2012-02-23 2015-03-24 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image playback apparatus, control method, and recording medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006166308A (ja) * 2004-12-10 2006-06-22 Victor Co Of Japan Ltd 復号化装置及び復号化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006166308A (ja) * 2004-12-10 2006-06-22 Victor Co Of Japan Ltd 復号化装置及び復号化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CSNG200501259004, ワットカナッド・ウィラポーン、木村基、藤田玄、尾上孝雄、白川功, "動画像マルチデコーダ用動き補償機構のVLSIアーキテクチャ", 電子情報通信学会技術研究報告, Vol.104,No.735, p.37−43, JP *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101226394B1 (ko) * 2008-06-30 2013-01-24 후지쯔 세미컨덕터 가부시키가이샤 메모리 장치
WO2010001433A1 (ja) * 2008-06-30 2010-01-07 富士通マイクロエレクトロニクス株式会社 メモリ装置及びそれを制御するメモリコントローラ
CN102292774A (zh) * 2008-06-30 2011-12-21 富士通半导体股份有限公司 存储器装置以及控制该存储器装置的存储器控制器
US8493400B2 (en) 2008-06-30 2013-07-23 Fujitsu Semiconductor Limited Memory device and memory control for controlling the same
JP5126360B2 (ja) * 2008-06-30 2013-01-23 富士通セミコンダクター株式会社 メモリ装置及びそれを制御するメモリコントローラ
US9253496B2 (en) 2008-12-12 2016-02-02 Qualcomm Incorporated Intelligent decoded picture buffering
JP2012512566A (ja) * 2008-12-12 2012-05-31 クゥアルコム・インコーポレイテッド デコードされたピクチャのインテリジェントなバッファリング
JP2010252294A (ja) * 2009-03-25 2010-11-04 Mitsubishi Electric Corp 画像復号装置
CN103329526A (zh) * 2011-08-17 2013-09-25 史克威尔·艾尼克斯控股公司 运动图像分配服务器、运动图像再现设备、控制方法、程序和记录介质
US8873636B2 (en) 2011-08-17 2014-10-28 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium
US9008187B2 (en) 2011-08-17 2015-04-14 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium
CN103329526B (zh) * 2011-08-17 2016-11-09 史克威尔·艾尼克斯控股公司 运动图像分配服务器和控制方法
US8988501B2 (en) 2012-02-23 2015-03-24 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image playback apparatus, control method, and recording medium
US9491433B2 (en) 2012-02-23 2016-11-08 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image playback apparatus, control method, and recording medium
US8897373B2 (en) 2012-04-12 2014-11-25 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, and recording medium
US9868060B2 (en) 2012-04-12 2018-01-16 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, and recording medium
US10004983B2 (en) 2012-04-12 2018-06-26 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image reproduction apparatus, control method, and recording medium

Also Published As

Publication number Publication date
JP4735471B2 (ja) 2011-07-27

Similar Documents

Publication Publication Date Title
KR102398644B1 (ko) 인트라 예측 정보 부호화 방법 및 장치
JP6490276B2 (ja) 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置
US11770556B2 (en) Method and apparatus for processing intra prediction mode
JP4325708B2 (ja) データ処理装置、データ処理方法およびデータ処理プログラム、符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
US8229001B2 (en) Method and system for calculating flag parameter of image block
KR100695141B1 (ko) 영상처리시스템에 있어서 메모리 억세스장치 및 방법, 데이터 기록장치 및 방법과 데이터 독출장치 및 방법
JP2004140473A (ja) 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
JP4735471B2 (ja) 復号処理装置及び復号処理方法並びに復号処理プログラム
JP2004328634A (ja) 画像復号化装置及び方法
JP4774315B2 (ja) 画像復号化装置及び画像復号化方法
JPWO2008120434A1 (ja) 復号化回路、復号化方法、符号化回路及び符号化方法
JP5396711B2 (ja) 動画像復号装置、動画像復号方法及びプログラム
KR20140029363A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP2007258882A (ja) 画像復号装置
US20060227876A1 (en) System, method, and apparatus for AC coefficient prediction
TWI520618B (zh) 影像資料處理方法以及影像處理裝置
JP2006166308A (ja) 復号化装置及び復号化方法
JP4515870B2 (ja) 信号処理装置及び映像システム
US8249373B2 (en) Image data decoding apparatus and method for decoding image data
KR101328931B1 (ko) 비디오 복호기 및 복호방법
JP2008042701A (ja) 画像データ処理方法および処理装置
KR100556341B1 (ko) 메모리 대역폭이 감소된 비디오 디코더 시스템
KR100621942B1 (ko) 모바일 멀티미디어 정보 처리 방법
KR100657274B1 (ko) 인트라 예측방법 및 그 방법을 사용한 영상처리장치
JP5061355B2 (ja) 画像符号化方法、装置およびプログラムならびに画像処理機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100910

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110411

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees