JP2009260421A - 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム - Google Patents

動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム Download PDF

Info

Publication number
JP2009260421A
JP2009260421A JP2008103873A JP2008103873A JP2009260421A JP 2009260421 A JP2009260421 A JP 2009260421A JP 2008103873 A JP2008103873 A JP 2008103873A JP 2008103873 A JP2008103873 A JP 2008103873A JP 2009260421 A JP2009260421 A JP 2009260421A
Authority
JP
Japan
Prior art keywords
encoding
field
macroblock
frame
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008103873A
Other languages
English (en)
Inventor
Kimihiko Kazui
君彦 数井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008103873A priority Critical patent/JP2009260421A/ja
Priority to US12/382,749 priority patent/US20090257497A1/en
Priority to EP20090155988 priority patent/EP2109319A1/en
Priority to CNA2009101312457A priority patent/CN101557521A/zh
Publication of JP2009260421A publication Critical patent/JP2009260421A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Abstract

【課題】フィールド間動画像符号化時の画質を向上させることを課題とする。
【解決手段】符号化装置は、決定された符号化手法でマクロブロックを符号化し、決定された符号化手法がフィールド予測符号化のとき、符号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドに対してフィールド間予測符号化を行う。そして、復号化装置は、符号化装置にて符号化された動画像フレーム及び符号化情報を受信し、処理対象フレームの各マクロブロックがフレーム予測またはフィールド予測により符号化されたかを判定し、判定された符号化手法に対応する復号化手法でマクロブロックを復号化し、符号化手法がフィールド予測符号化のとき、復号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドのマクロブロックをフィールド予測復号化する。
【選択図】 図２

Description

この発明は、入力されたインターレス動画像の各フレームを処理対象として、当該処理対象フレームに対してフレーム間予測を行って符号化した符号化動画像データを生成し、生成した符号化動画像データを復号化装置に送信する符号化装置と、前記符号化装置から受け付けた符号化動画像データを復号化して、元のインターレス動画像を得る復号化装置とから構成される動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラムに関する。
従来より、入力された動画像を符号化する符号化装置と、符号化装置により符号化されたデータを受信して復号する復号化装置とから構成される動画像処理システムが広く利用されている。この動画像処理システムで送受信される動画像の情報量は非常に大きく、メディア蓄積やネットワーク伝送をそのままで行うことはコストが非常に高くなる。このため、動画像を可逆もしくは非可逆方式で圧縮符号化する技術開発や標準化が従来から広く行われてきた。その代表例が、MPEG（Moving Picture Experts Group）で標準化されたMPEG-1、MPEG-2、MPEG-4、MPEG-4 AVC/H.264である。
これらの標準では、フレーム間動き予測符号化を採用している。そして、このフレーム間動き予測符号化は、フレーム間で相関度が高い部分を検索し、両者の位置差分（動きベクトル）及び両者の画素値差分（予測誤差）を符号化するものである。一般的に、動画像では、フレーム間の相関度が高いため、画素差分値が元の画素値と比較して小さくなり、高い圧縮効率が実現できる。
また、これらの標準（MPEG-1を除く）では、動画像がインターレス形式の場合に対応したフレーム間予測符号化、具体的には、フレーム予測とフィールド予測の動的選択を採用している。フレーム予測の場合、処理単位であるマクロブロック及び参照フレームは共に、フレーム構造（一ライン毎に偶フィールドと奇フィールドとが交互に出現する）となる。一方、フィールド予測の場合は、処理単位であるマクロブロック及び参照フレームは共にフィールド構造（どちらか一方のフィールド）のみからなる。
ここで、インターレス形式、フレーム予測、フィールド予測とのそれぞれについて説明する。まず、インターレス形式の動画像とは、図８−１に示すように、奇数ラインの集合であるフィールド（トップフィールド）と、偶数ラインの集合であるフィールド（ボトムフィールド）とを交互に描画する形式であり、図８−２に示すように、トップフィールドとボトムフィールドとを交互に描画したものをフレームという。
次に、フレーム予測とは、図９−１に示すように、処理対象となっている処理フレーム（処理対象フレーム）の処理対象マクロブロックに対応する、当該処理フレームとは異なる時刻のフレーム（例えば、２フレーム前）上の予測画素を参照し、処理対象のマクロブロックと予測画素の差分（誤差）画像を符号化する。具体的には、図９−２に示すように、処理フレームの各処理マクロブロックについて、参照フレームを参照して算出した差分と画像の動き量を推定する動きベクトルとを用いて符号化する。
そして、フィールド予測とは、図１０−１に示すように、処理対象となっている処理フィールド（処理対象フィールド）の処理対象マクロブロックに対応する、当該処理フィールドとは異なる時刻のフィールド（例えば、２フィールド前）上の予測画素を参照し、処理対象のマクロブロックと予測画素の差分（誤差）画像を符号化する。具体的には、図１０−２に示すように、処理フィールドの各処理マクロブロックについて、参照フィールドを参照して算出した差分と画像の動き量を推定する動きベクトルとを用いて符号化する。
このようなマクロブロック単位でのフレーム予測・フィールド予測の適応切り替えを行う様々な技術が開示されている（特許文献１参照）が、最近では、MPEG-4 AVC/H.264で採用されているMBAFF（Macroblock-adaptive Frame-Field）と呼ばれる符号化方法が多く利用されている。この方法は、図１１−１に示すように、同一フレーム内において符号化の単位を縦方向に連続する２つのマクロブロック（マクロブロックペアと呼ぶ）とし、２つのフレーム予測マクロブロック、もしくは２つのフィールド予測マクロブロック（一つのトップフィールドマクロブロックと、一つのボトムフィールドマクロブロック）のいずれかをマクロブロックペア毎に選択する。
このMBAFFでは、フレーム画像内のマクロブロックの動き予測方式をマクロブロック単位でフレーム予測もしくはフィールド予測に変更することを可能にしている。なお、フレーム予測は、静止に近い画像の符号化に、フィールド予測は、動きが大きい画像の符号化にそれぞれ適している。一般に、画像の中には静止部分と動部分が混在するので、図１１−２に示すように、マクロブロック単位で予測方式を切り替えることで符号化効率を向上することが可能になる。
特開平５−９１５００号公報
しかしながら、上記した従来の技術では、同一フレーム内に閉じたフィールド予測が出来ないために、動き予測の効率が悪いという課題があった。具体的には、動き予測符号化方式では、フレーム間／フィールド間予測符号化の原則として、参照ピクチャは必ず処理ピクチャより先に符号化及び局所復号化されている必要があり、また、相関度の高いピクチャを予測画像とすることで予測効率を向上することが出来る。そして、この相関度は、処理ピクチャと参照ピクチャとの時間間隔に逆比例するため、出来る限り時間の近いフレームもしくはフィールドを参照することが望ましい。
そして、MBAFF方式で処理する場合、フレーム予測マクロブロックペアは、上記の原則から時間的に近い（例えば前後）フレーム（符号化順番的には先）を参照する。また、フィールド予測マクロブロックペアの内、時間的に先のフィールドに属するマクロブロックは、同様に上記の原則から時間的に前後のフレーム（符号化順番的には先）のフィールドを参照する。残りのフィールド予測マクロブロックペアの時間的に後のフィールドに属するマクロブロックは、同一フレーム内の時間的に前のフィールドを参照フィールドとすることが出来れば、予測効率を上げることができる。ところが、従来のMBAFF方式では、図１１−３に示すように、マクロブロックペアの処理順番は画面左上から右下になっており、画面内の処理順番的に先の位置のマクロブロックが、処理順番的に後の位置の画素を参照することが出来ないため、同一フレーム内の時間的に前のフィールドを参照フィールドとすることが出来ない。その結果、動き予測の効率が悪い。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、フィールド間予測を用いた動画像符号化時の動き予測効率を向上させることが可能である動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、本システムは、処理対象の動画像フレームに対し、動き探索により動きベクトルを推定し、推定された動きベクトルに基づいて、処理対象フレームの各マクロブロックに対してフレーム予測符号化を行うか、フィールド予測符号化を行うかを決定する予測符号化決定手段と、前記予測符号化決定手段により決定された符号化方法でマクロブロックを符号化する第一の符号化手段と、前記予測符号化決定手段により決定された符号化方法がフィールド予測符号化のとき、前記第一の符号化手段により符号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドに対してフィールド予測符号化を行う第二の符号化手段と、前記第一の符号化手段および第二の符号化手段により符号化された処理対象の動画像フレームにおける各マクロブロックの符号化方法を符号化情報として付加して送信する符号化データ送信手段と、を備えた符号化装置と、前記符号化装置にて符号化された動画像フレーム及び符号化情報を受信し、前記処理対象フレームの各マクロブロックがフレーム予測により符号化されたか、フィールド予測により符号化されたかを判定する符号化判定手段と、前記符号化判定手段により判定された符号化方法に対応する復号化方法で符号化されたマクロブロックを復号化する第一の復号化手段と、前記符号化判定手段により判定された符号化方法がフィールド予測符号化のとき、前記第一の復号化手段により復号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドのマクロブロックをフィールド予測復号化する第二の復号化手段と、を備えた復号化装置と、から構成される。
本発明によれば、同一フレーム内の時間的に前のフィールドを参照フィールドとしてフィールド予測を実施することができ、動き予測の効率を向上させることが可能である。
以下に添付図面を参照して、この発明に係る動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラムの実施例を詳細に説明する。なお、以下では、本実施例に係る動画像処理システムの概要および特徴、動画像処理システムの構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。
本実施例では、フレーム内においてトップフィールドが時間的に先で、ボトムフィールドが時間的に後、ということを前提にして説明するが、ボトムフィールドが時間的に前の場合にはトップフィールドとボトムフィールドを読み替えることで対応可能である。なお、MPEG-2でもマクロブロック単位で動き予測方式をフレーム予測もしくはフィールド予測に切り替えることができるが、MPEG-4 AVC/H.264のMBAFFはMPEG-2とは異なり、フレーム内で上下に隣接するマクロブロックペアと呼ばれる２個のマクロブロック単位で行うことにより、フィールド予測時の動き予測単位をマクロブロックサイズ（16x16）にして、符号化効率を向上している。一方、MPEG-2の場合は16x8になる。
［動画像処理システムの概要および特徴］
最初に、図１−１と図１−２とを用いて、実施例１に係る動画像処理システムの概要および特徴を説明する。図１−１と図１−２とは、実施例１に係る動画像処理システムの特徴を説明するための図である。
実施例１では、入力された動画像を符号化したビットストリームを送信する符号化装置と、符号化装置から送信されたビットストリームを受信して復号化する復号化装置とが、ネットワークを介して相互に通信可能に接続された動画像処理システムについて説明する。
この動画像処理システムは、上記したように、入力された動画像を符号化したビットストリームを送信し、符号化装置から送信されたビットストリームを受信して復号化することを概要とするものであり、特に、フィールド間動画像符号化時の画質を向上させることが可能であることに主たる特徴がある。
具体的には、図１−１に示すように、画面左上から右下に向かってフレーム内で上下に隣接する２個のマクロブロック単位であるマクロブロックペアを符号化する場合に、フレーム予測を用いて符号化するマクロブロックペアを示すフレーム予測マクロブロックペアについては通常通り符号化を実施し、フィールド予測を用いて符号化するマクロブロックペアを示すフィールド予測マクロブロックペアについては、例えば、トップフィールドマクロブロックのみを先に符号化する。そして、１フレーム内の画面左上から右下まで一度符号化を実施した後に、図１−２に示すように、フィールド予測マクロブロックの残りのボトムフィールドマクロブロックについて、それぞれのボトムフィールドマクロブロックが対応するトップフィールドマクロブロックを参照画像の一つとして符号化を実施する。
その後、このようにして符号化されたビットストリームを受信した復号化装置は、符号化処理手法と同様に、先に、１フレーム内の画面左上から右下まで、フレーム予測マクロブロックとフィールド予測マクロブロックにおけるトップフィールドマクロブロックとのそれぞれについて復号化した後に、フィールド予測マクロブロックの残りのボトムフィールドマクロブロックについて、それぞれのボトムフィールドマクロブロックが対応するトップフィールドマクロブロックを参照画像の一つとして復号化を実施する。
このようにすることで、実施例１に係る動画像処理システムは、画面内の処理順番的に先の位置のマクロブロックが、処理順番的に後の位置の画素を参照することができ、つまり、同一フレーム内の時間的に前のフィールドを参照フィールドとしてフィールド予測を実施することができ、動き予測の効率を向上させることができる結果、フィールド間動画像符号化時の画質を向上させることが可能である。
［動画像処理システムの構成］
次に、図２〜図４を用いて、図１−１と図１−２とに示した動画像処理システムの構成を説明する。この動画像処理システムは、符号化装置と復号化装置とから構成されるので、それぞれの装置構成を具体的に説明する。
（符号化装置の構成）
まず、図２を用いて動画像処理システムにおける符号化装置の構成について説明する。図２は、実施例１に係る動画像処理システムにおける符号化装置の構成を示すブロック図である。
この符号化装置は、FrameMemory１０と、減算器１１と、DCT/Q１２と、RateContorol１３と、VLC１４と、IQ/IDCT１５と、加算器１６と、FrameMemory１７と、DeblockingFilter１８と、MCintraPred.１９と、ME２０と、OrederControl２１とから構成される。
FrameMemory１０は、入力動画像を一旦保存するフレームメモリである。具体的に例を挙げれば、FrameMemory１０は、外部ネットワークや外部装置（例えば、CDやHDDなどの記憶装置など）から入力された入力動画像を１フレームずつ一時記憶する。
減算器１１は、入力動画像中の符号化対象マクロブロックと、予測画像との差分を取り、予測誤差画像を生成する。具体的に例を挙げれば、減算器１１は、FrameMemory１０とMCintraPred.１９とDCT/Q１２とにそれぞれ接続され、後述するMCintraPred.１９により生成されたFrameMemory１０に格納された１フレームである入力動画像中の符号化対象マクロブロックに対する予測画像との差分を取った予測誤差画像を生成し、生成した予測誤差画像をDCT/Q１２に出力する。
DCT/Q１２は、予測誤差画像に対してDCT（離散コサイン変換）演算及び量子化演算を行なう。具体的に例を挙げれば、DCT/Q１２は、RateContorol１３とVLC１４とIQ/IDCT１５とに接続され、後述するRateContorol１３から入力された量子化値を用いて、減算器１１から入力された予測誤差画像に対してDCT演算及び量子化演算を行ない、その結果をVLC１４とIQ/IDCT１５とにそれぞれ出力する。
RateContorol１３は、レート制御部である。具体的に例を挙げれば、RateContorol１３は、FrameMemory１０に格納された１フレームである入力動画像からDCT/Q１２で実施される量子化演算に用いる符号化後のビット数と画質を制御する量子化値を決定して、決定した量子化値をDCT/Q１２に出力する。
VLC１４は、可変長符号化部であり、具体的には、DCTおよび量子化演算された予測誤差画像に対し、ラン・レベル変換等の可逆符号化を行い、符号化動画像を生成する。具体的に例を挙げれば、VLC１４は、DCT/Q１２によりDCTおよび量子化演算された予測誤差画像に対し、ラン・レベル変換等の可逆符号化を行って符号化動画像データを生成し、生成した符号化動画像データを図３に示すようなビットストリームとして復号化装置に送信する。なお、図３は、符号化装置により生成される符号化動画像データの例を示す図である。
ここで、図３に示した符号化動画像データについて説明する。図３に示した２００は、SPS（Sequence Parameter Set)であり、画面サイズやピクチャ種別（フレーム、フィールド、MBAFF等）といった、複数ピクチャ（シーケンス）で共通のパラメータが記述される。２０１は、PPS（Picture Parameter Set）であり、エントロピー符号化モード等、ピクチャ毎の符号化モードが記述される。２０２は、スライスであり、一つのピクチャ（フレーム、もしくはフィールド）には一つないし複数のフィールドが含まれる。２０３は、MBAFFフラグであり、このシーケンス内のフレームをMBAFFモードで符号化するか否かが記述される。MPEG-4 AVC/H.264ではmb_adaptive_frame_field_flagに相当する。２０４は、SMOF（Separate MB Order Flag）であり、MBAFFモード時に、同一フレーム内でのフィールド間参照を行なうか否かを記述する。否の場合には、MPEG-4 AVC/H.264と同じMBAFF符号化を行うことを意味する。
そして、２０５は、スライスヘッダであり、参照フレームリスト等が記述される。２０６は、マクロブロックペアがフレームモードで符号化されたか、フィールドモードで符号化されたかを識別するフラグである。MPEG-4 AVC/H.264ではmb_field_decoding_flagに相当する。２０７は、フレームマクロブロックペアのマクロブロック、もしくはフィールドマクロブロックペアのトップフィールドマクロブロックのデータであり、符号化モード（イントラ・インター）、参照フレーム識別子、動きベクトル、量子化係数、量子化DCT係数等が記述される。２０８は、後述するフローで説明する「前半」処理部分と「後半」処理部分との境界を示すフラグである。２０９は、フィールドマクロブロックペアのボトムフィールドマクロブロックのデータであり、符号化モード（イントラ・インター）、参照フレーム識別子、動きベクトル、量子化係数、量子化DCT係数等が記述される。
図２に戻り、IQ/IDCT１５は、DCT/Q１２と加算器１６とに接続される逆量子化部及びIDCT（逆離散コサイン変換）部であり、DCT・量子化演算された予測誤差画像に対して逆量子化及びIDCT演算演算を行なう。加算器１６は、IQ/IDCT１５とFrameMemory１７とに接続され、逆量子化及びIDCT演算された予測誤差画像に、後述するMCintraPred.１９により入力されたイントラ予測画像またはインター予測画像を加算して局所復号化画像を生成し、生成した局所復号化画像をFrameMemory１７に格納する。
FrameMemory１７は、局所復号化画像を保存するフレームメモリであり、具体的に例を挙げれば、加算器１６とDeblockingFilter１８とMCintraPred.１９とME２０とに接続され、加算器１６により生成されて入力された局所復号化画像を受け付けて保存する。
DeblockingFilter１８は、FrameMemory１７に保存される局所復号化画像に対して、マクロブロック境界にローパスフィルタ（デブロッキングフィルタ）を適用して、局所復号化画像中のブロック歪を除去するデブロッキングフィルタである。
MCintraPred.１９は、FrameMemory１７に保存される局所復号化画像から予測画素生成する。具体的に例を挙げれば、MCintraPred.１９は、減算器１１とFrameMemory１７とME２０とに接続され、マクロブロックをイントラ符号化する場合には、FrameMemory１７に蓄積された同一フレーム内のすでに符号化・局所復号化した画素からイントラ予測画像を生成する。また、MCintraPred.１９は、マクロブロックをインター符号化する場合には、FrameMemory１７に蓄積された参照フレーム・フィールドと、ME２０により推定されて入力された動きベクトルからインター予測画像を生成する。
ME２０は、動きベクトルを推定する。具体的に例を挙げれば、ME２０は、FrameMemory１０とFrameMemory１７とMCintraPred.１９とOrederControl２１とに接続され、FrameMemory１０に蓄積された処理対象のフレームもしくはフィールドと、FrameMemory１７に蓄積された符号化・局所復号化済みのフレームもしくはフィールドとの間で動きベクトル推定演算を行い、動きベクトルを算出する。そして、ME２０は、算出した動きベクトルをMCintraPred.１９とOrederControl２１とに出力する。
OrederControl２１は、マクロブロック処理順序を決定する。具体的に例を挙げれば、OrederControl２１は、FrameMemory１７とME２０とに接続され、ME２０の動きベクトル推定結果を元に、各マクロブロックペアをフレームもしくはフィールドのいずれかで予測符号化するかを決定し、また、その処理順番及び画像中のマクロブロックアドレスを決定する。そして、OrederControl２１は、各処理順番におけるマクロブロックのマクロブロックアドレスをFrameMemory１０及びFrameMemory１７に通知する。なお、OrederControl２１における詳細な処理については、処理の流れで説明する。
（復号化装置の構成）
次に、図４を用いて動画像処理システムにおける復号化装置の構成について説明する。図４は、実施例１に係る動画像処理システムにおける復号化装置の構成を示すブロック図である。
この復号化装置は、VLD５０と、IQ/IDCT５１と、加算器５２と、FrameMemory５３と、DeblockingFilter５４と、MCintraPred.５５と、OrederControl５６とから構成される。VLD５０は、IQ/IDCT５１と、MCintraPred.５５とOrederControl５６とに接続され、符号化装置から受信した符号化動画像（図３参照）に対してラン・レベル変換等の可逆復号化を行い、DCT・量子化演算された予測誤差画像を生成する可変長復号化部である。また、VLD５０は、各マクロブロックペアの種別（フレームもしくはフィールド）を符号化動画像から取得する。
IQ/IDCT５１は、VLD５０と加算器５２とに接続される逆量子化部及びIDCT（逆離散コサイン変換）部あり、具体的に例を挙げれば、VLD５０により生成されて入力されたDCT・量子化演算された予測誤差画像に対して逆量子化及びIDCT演算を行なう。加算器５２は、FrameMemory５３とMCintraPred.５５とに接続され、VLD５０により生成されて入力された逆量子化及びIDCT演算された予測誤差画像に対して、後述するMCintraPred.５５により入力されたイントラ予測画像またはインター予測画像を加算して復号化画像を生成し、生成した復号化画像をFrameMemory５３に格納する。
FrameMemory５３は、生成された復号化画像を保存するフレームメモリであり、具体的に例を挙げれば、加算器５２とDeblockingFilter５４とMCintraPred.５５とOrederControl５６とに接続され、加算器５２により生成されて入力された復号化画像を受け付けて保存する。DeblockingFilter５４は、FrameMemory５３に保存される復号化画像に対して、マクロブロック境界にローパスフィルタ（デブロッキングフィルタ）を適用して、復号化画像中のブロック歪を除去するデブロッキングフィルタである。
MCintraPred.５５は、FrameMemory５３に格納される復号化画像から予測画素を生成する。具体的に例を挙げれば、MCintraPred.５５は、VLD５０と加算器５２とFrameMemory５３とに接続され、マクロブロックをイントラ復号化する場合には、FrameMemory５３に蓄積された同一フレーム内のすでに復号化した画素からイントラ予測画像を生成する。また、MCintraPred.５５は、マクロブロックをインター復号化する場合には、FrameMemory５３に蓄積された参照フレーム・フィールドと、VLD５０で復号された動きベクトルからインター予測画像を生成する。そして、MCintraPred.５５は、生成したイントラ予測画像またはインター予測画像を加算器５２に出力する。
OrederControl５６は、マクロブロック処理順序を決定する。具体的に例を挙げれば、OrederControl５６は、VLD５０とFrameMemory５３とに接続され、VLD５０で復号されたマクロブロックペアの種別からその処理順番及び画像中のマクロブロックアドレスを決定する。そして、OrederControl５６は、各処理順番におけるマクロブロックのマクロブロックアドレスをFrameMemory５３に通知する。
［動画像処理システムによる処理］
次に、図５と図６とを用いて、動画像処理システムによる処理を説明する。なお、ここでは、実施例１に係る動画像処理システムにおけるフレーム処理とマクロブロック処理順番決定処理とについてそれぞれ説明する。なお、符号化装置と復号化装置とでは、基本的に符号化するのか復号化するのか違いだけであり、処理のおおまかな流れは同じであるので、ここでは、符号化装置を例にして説明する。
（フレーム処理の流れ）
まず、図５を用いて、動画像処理システムにおけるフレーム処理の流れについて説明する。図５は、実施例１に係る動画像処理システムにおけるフレーム処理の流れを示すフローチャートである。
図５に示すように、画像が入力されると（ステップＳ１００肯定）、符号化装置は、参照フレーム・フィールドのリストを生成する初期化を実施する（ステップＳ１０１）。
続いて、符号化装置は、処理フレームと、参照フレーム・フィールドとの間で動きベクトル推定を行う（ステップＳ１０２）。具体的には、符号化装置は、動きベクトル推定を行うことで、マクロブロックペアをフレーム予測符号化するか、もしくはフィールド予測符号化するかを決定する。
そして、符号化装置は、全てのフレームマクロブロックペアと、全てのトップフィールドマクロブロックの符号化処理を行なう「前半」処理を実施する（ステップＳ１０３）。具体的には、符号化装置は、全てのフレームマクロブロックペアと、全てのトップフィールドマクロブロックの符号化処理を行なって生成した可変長符号化及び局所復号化画像のFrameMemory１７に書き込む。
続いて、符号化装置は、残りの全てのボトムフィールドマクロブロックについて、それぞれのボトムフィールドマクロブロックに対応するトップフィールドマクロブロックを参照画像の一つとした符号化処理（「後半」処理）を行なって符号化動画像を生成する（ステップＳ１０４）。その後、符号化装置は、生成された符号化動画像に対して、マクロブロックの境界に適用されるローパスフィルタであるデブロッキングフィルタを用いてデブロッキングフィルタ処理を実施して（ステップＳ１０５）、復号化装置に送信する。なお、H.264においては、フレーム・フィールド間予測に使用される画像はデブロッキングフィルタ適用後の画像であるが、本実施例においては、同一フレーム内のボトムフィールドからトップフィールドへの参照時に限り、デブロッキングフィルタ適用前の画像とする。
ここで、復号化装置における復号化装置についても簡単に説明すると、復号化装置は、図５のステップＳ１０２の処理は実施しない。具体的には、復号化装置は、符号化動画像データを受け付けると、ステップＳ１０１において、フレーム予測・フィールド予測の情報は符号化動画像から抽出する。そして、復号化装置は、ステップＳ１０３において、全てのフレームマクロブロックペアと、全てのトップフィールドマクロブロックの復号化処理を行ない、ステップＳ１０４において、復号化画像をFrameMemory５３に書き込む。その後、復号化装置は、デブロッキングフィルタを用いてデブロッキングフィルタ処理を実施する。なお、デブロキングフィルタの処理は、「前半」及び「後半」の符号化・復号化処理が終わって、フレーム全体の符号化・復号化処理が完了してから行なう。
（マクロブロック処理順番決定処理の流れ）
次に、図６を用いて、動画像処理システムにおけるマクロブロック処理順番決定処理の流れについて説明する。図６は、実施例１に係る動画像処理システムにおけるマクロブロック処理順番決定処理の流れを示すフローチャートである。なお、ステップＳ２０１〜ステップＳ２０６の処理は、フレーム符号化もしくは復号化処理の「前半」で行なわれる処理であり、ステップＳ２０６〜ステップＳ２１０の処理は、フレーム符号化もしくは復号化処理の「後半」で行なわれる処理である。また、各マクロブロックをフレーム予測で符号化するのかフィールド予測で符号化するのかを決定する手法については、後述するので、ここでは詳細な説明は省略する。
図６に示すように、符号化装置（復号化処理の場合には「復号化装置」、以下同様）は、pair_count、mb_count、mb2_countを初期化する（ステップＳ２００）。具体的には、符号化装置は、pair_count、mb_count、mb2_countはそれぞれ、処理したマクロブロックペアの累積数、符号化（もしくは復号化）したマクロブロックの累積数、及び処理をペンディングして「後半」で符号化を行なうマクロブロックの累積数である。
そして、符号化装置は、pair_count番目のマクロブロックペアが、フレーム予測されるかフィールド予測されるかを判定する分岐処理を行う（ステップＳ２０１）。なお、MB_pair(num)は、num番目のマクロブロックペアの予測種別を表す。
続いて、pair_count番目のマクロブロックペアがフレーム予測の場合（ステップＳ２０１肯定）、符号化装置は、上側マクロブロックの処理時に用いる情報を生成し（ステップＳ２０２）、下側マクロブロックの処理時に用いる情報を生成する（ステップＳ２０３）。ここで、SEND_Frame(num、x、y)は、FrameMemory１０及びFrameMemory１７（復号化処理にはFrameMemory５３）対して、num番目のフレーム予測マクロブロックの画面内アドレスが(x、y)であることを通知することを意味している。また、MB_WIDTHはフレーム内の横方向のマクロブロック数である。
その後、pair_count番目のマクロブロックペアがフィールド予測の場合（ステップＳ２０１否定）、符号化装置は、トップフィールドマクロブロックの処理時に必要となる情報を生成する（ステップＳ２０４）。ここで、SEND_Field(num、x、y)は、FrameMemor１０及びFrameMemory１７（復号化処理にはFrameMemory５３）に対して、num番目のフィールド予測マクロブロックの画面内アドレスが(x、y)であることを通知することを意味している。
続いて、符号化装置は、ボトムフィールドマクロブロックの処理時に必要となる情報を生成する（ステップＳ２０５）。なお、ステップＳ２０５では、pair_count番目のマクロブロックペアがフィールド予測の場合のトップフィールドマクロブロックペアの処理時に生成する情報である。また、SAVE(num、x、y)は、OrederControl２１（復号化処理にはOrederControl５６）の内部にあるメモリ領域に対して、num番目のフィールド予測ボトムマクロブロックの画面内アドレス(x、y)を保存することを意味している。
その後、符号化装置は、フレーム符号化（もしくは復号化処理）の「前半」で処理が行なわれるべきマクロブロックがまだ存在するかどうかの判定を行う（ステップＳ２０６）。なお、MB_HEIGHTは、フレーム内の縦方向のマクロブロック数である。
そして、「前半」で処理が行なわれるべきマクロブロックがまだ存在しない場合（ステップＳ２０６肯定）、符号化装置は、フレーム符号化（もしくは復号化処理）の「後半」に先立ち行なわれる初期化を行う（ステップＳ２０７）。なお、NUM_MB2は、「前半」にて処理がペンディングされ「後半」で符号化（もしくは復号化）を行なうボトムフィールドマクロブロックの総数である。
すると、符号化装置は、「後半」のmb2_count番目に符号化（もしくは復号化）処理するボトムフィールドマクロブロックのアドレス情報を取得する（ステップＳ２０８）。この処理におけるRESTORE(num、&x、&y)は、OrederControl２１（復号化処理にはOrederControl５６）の内部にあるメモリ領域に対して、num番目のフィールド予測ボトムフィールドマクロブロックの画面内アドレスを問い合わせ、その結果が(&x、&y)に格納されることを意味している。
その後、符号化装置は、mb2_count番目に符号化（もしくは復号化処理）するボトムフィールドマクロブロックのアドレス情報の通知を行い（ステップＳ２０９）、フレーム符号化（もしくは復号化処理）の「後半」で処理が行なわれるべきボトムフィールドマクロブロックがまだ存在するかどうかの判定を行い（ステップＳ２１０）「後半」で処理が行なわれるべきボトムフィールドマクロブロックが存在しなくなった場合に、処理を終了する。
［フレーム予測に用いる参照フレームについて］
MPEG-4 AVC/H.264では、複数のフレーム・フィールドの中から、動き予測に用いるフレーム・フィールドをマクロブロック単位で選択することができる。スライス単位での選択可能なフレーム・フィールドの一覧を参照フレームリスト、マクロブロック単位の選択情報を参照フレーム識別子と呼ぶ。
SMOFがOffの場合は、参照フレームリストはMPEG-4 AVC/H.264のもの(RefPicList0[],RefPicList1[])そのものを用いる。一方、SMOFがOnの場合には、「前半」処理時に、RefPicList0[]及びRefPicList1[]そのものを参照フレームリストし、「後半」処理時に、前方向参照フレームリストであるRefPicList0[]を更新する。具体的には最初のエントリに、処理フレームへの参照値を入れる。続くエントリは、元のリストを一つずつシフトする。
また、ボトムフィールドマクロブロックにおいては、前方向参照インデックスを“0”とすることで、参照フィールドを同一フレーム内のトップフィールドとすることができる。“0”以外にすると、他のフレーム内のフィールドを参照することになる。
［フィールド・フレーム判定］
ここでは、マクロブロックペアをフィールド予測で符号化するのか、または、フレーム予測で符号化するのかを判定するフィールド・フレーム判定について説明する。この例では処理フレームがBピクチャ（両方向参照）の場合を示す。Pピクチャ（前方向参照）の場合は、後方向の動きベクトルを除いたものになる。
この状態において、図５のステップＳ１０１及びステップＳ１０２の処理にて、処理フレームの動きベクトル推定を行なう。この時、各マクロブロックペアについて、以下の値を計算する。なお、複数の参照可能フレーム・フィールドから参照するフレーム・フィールドを選択する方法、および参照するフレーム・フィールドと処理フレームから最適動きベクトルを推定する方法は、一般的に利用されている公知の方法を適用するものとする。
フレーム予測時の上側及び下側マクロブロックの前方向参照フレームインデックス（refIdxL0_Frame_Upper、refIdxL0_Frame_Lower）と、フレーム予測時の上側及び下側マクロブロックの後方向参照フレームインデックス（refIdxL1_Frame_Upper、refIdxL1_Frame_Lower）と、フレーム予測時の上側及び下側マクロブロックの前方向動きベクトル（mvL0_Frame_Upper、mvL0_Frame_Lower）と、フレーム予測時の上側及び下側マクロブロックの後方向動きベクトル（mvL1_Frame_Upper、mvL1_Frame_Lower）と、フレーム予測時の上側及び下側マクロブロックの動き予測誤差（差分絶対値の総和）（cost_Frame_Upper、cost_Frame_Lower）と、フィールド予測時のトップフィールド及びボトムフィールドマクロブロックの前方向参照フレームインデックス（refIdxL0_Field_Top、refIdxL0_Field_Bottom）と、フィールド予測時のトップフィールド及びボトムフィールドマクロブロックの後方向参照フレームインデックス（refIdxL1_Field_Top、refIdxL1_Field_Bottom）と、フィールド予測時のトップフィールド及びボトムフィールドマクロブロックの前方向動きベクトル（mvL0_Field_Top、mvL0_Field_Bottom）と、フィールド予測時のトップフィールド及びボトムフィールドマクロブロックの後方向動きベクトル（mvL1_Field_Top、mvL1_Field_Bottom）と、フィールド予測時のトップフィールド及びボトムフィールドマクロブロックの動き予測誤差（差分絶対値の総和）（cost_Field_Top、cost_Field_Bottom）とを計算する。
そして、「（cost_Frame_Upper+cost_Frame_Lower）＜＝（cost_Field_Top+cost_Field_Bottom）」の条件が満たされる場合、処理マクロブロックペアをフレーム構造にする。さもなくばフィールド構造にする。
［実施例１による効果］
このように、実施例１によれば、符号化装置は、処理対象の動画像フレームに対し、動き探索により動きベクトルを推定し、推定された動きベクトルに基づいて、処理対象フレームの各マクロブロックに対してフレーム予測符号化を行うか、フィールド予測符号化を行うかを決定し、決定された符号化手法でマクロブロックを符号化し、決定された符号化手法がフィールド予測符号化のとき、符号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドに対してフィールド間予測符号化を行い、符号化された処理対象の動画像フレームにおける各マクロブロックの符号化手法を符号化情報として付加して送信する。そして、復号化装置は、符号化装置にて符号化された動画像フレーム及び符号化情報を受信し、処理対象フレームの各マクロブロックがフレーム予測により符号化されたか、フィールド予測により符号化されたかを判定し、判定された符号化手法に対応する復号化手法で符号化されたマクロブロックを復号化し、判定された符号化手法がフィールド予測符号化のとき、復号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドのマクロブロックをフィールド予測復号化する。そのため、画面内の処理順番的に先の位置のマクロブロックが、処理順番的に後の位置の画素を参照することができ、つまり、同一フレーム内の時間的に前のフィールドを参照フィールドとしてフィールド予測を実施することができ、動き予測の効率を向上させることができる結果、フィールド間動画像符号化時の画質を向上させることが可能である。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）符号化手法、（２）システム構成等、（３）プログラム、にそれぞれ区分けして異なる実施例を説明する。
（１）符号化手法
例えば、本実施例では、フレーム内においてトップフィールドが時間的に先で、ボトムフィールドが時間的に後、ということを前提にして説明したが、本発明はこれに限定されるものではなく、ボトムフィールドが時間的に前の場合にはトップフィールドとボトムフィールドを読み替えることで対応可能である。
（２）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、画像の入力処理など）の全部または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
（３）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムを他の実施例として説明する。
まず、符号化プログラムを実行するコンピュータシステムの例について説明する。図７−１は、符号化プログラムを実行するコンピュータシステムの例を示す図である。図７−１に示すように、コンピュータシステム１００は、ＲＡＭ１０１と、ＨＤＤ１０２と、ＲＯＭ１０３と、ＣＰＵ１０４とから構成される。ここで、ＲＯＭ１０３には、上記の実施例と同様の機能を発揮するプログラム、つまり、図７−１に示すように、予測符号化決定プログラム１０３ａと、第一の符号化プログラム１０３ｂと、第二の符号化プログラム１０３ｃと、符号化データ送信プログラム１０３ｄとがあらかじめ記憶されている。
そして、ＣＰＵ１０４には、これらのプログラム１０３ａ〜１０３ｃを読み出して実行することで、図７−１に示すように、予測符号化決定プロセス１０４ａと、第一の符号化プロセス１０４ｂと、第二の符号化プロセス１０４ｃと、符号化データ送信プロセス１０４ｄとなる。なお、予測符号化決定プロセス１０４ａは、図２に示した、OrederControl２１に対応し、同様に、第一の符号化プロセス１０４ｂと、第二の符号化プロセス１０４ｃと、符号化データ送信プログラム１０３ｄとは、VLC１４に対応する。また、ＨＤＤ１０２には、入力動画像や局所復号化画像などが保存される。
ところで、上記したプログラム１０３ａ〜１０３ｄは、必ずしもＲＯＭ１０３に記憶させておく必要はなく、例えば、コンピュータシステム１００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらに、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータシステム１００に接続される「他のコンピュータシステム」に記憶させておき、コンピュータシステム１００がこれらからプログラムを読み出して実行するようにしてもよい。
次に、復号化プログラムを実行するコンピュータシステムの例について説明する。図７−２は、復号化プログラムを実行するコンピュータシステムの例を示す図である。図７−２に示すように、コンピュータシステム２００は、ＲＡＭ２０１と、ＨＤＤ２０２と、ＲＯＭ２０３と、ＣＰＵ２０４とから構成される。ここで、ＲＯＭ２０３には、上記の実施例と同様の機能を発揮するプログラム、つまり、図７−２に示すように、符号化判定プログラム２０３ａと、第一の復号化プログラム２０３ｂと、第二の復号化プログラム２０３ｃとがあらかじめ記憶されている。
そして、ＣＰＵ２０４には、これらのプログラム２０３ａ〜２０３ｄを読み出して実行することで、図７−２に示すように、符号化判定プロセス２０４ａと、第一の復号化プロセス２０４ｂと、第二の復号化プロセス２０４ｃとなる。なお、符号化判定プロセス２０４ａは、図４に示したOrederControl５６などに対応し、同様に、第一の復号化プロセス２０４ｂと、第二の復号化プロセス２０４ｃとは、図４に示したIQ/IDCT５１や加算器５２などに対応する。また、ＨＤＤ２０２には、生成された復号化画像などが保存される。
ところで、上記したプログラム２０３ａ〜２０３ｃは、必ずしもＲＯＭ２０３に記憶させておく必要はなく、例えば、コンピュータシステム２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム２００の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらに、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータシステム２００に接続される「他のコンピュータシステム」に記憶させておき、コンピュータシステム２００がこれらからプログラムを読み出して実行するようにしてもよい。
実施例１に係る動画像処理システムの特徴を説明するための図である。 実施例１に係る動画像処理システムの特徴を説明するための図である。 実施例１に係る動画像処理システムにおける符号化装置の構成を示すブロック図である。 符号化装置により生成される符号化動画像データの例を示す図である。 実施例１に係る動画像処理システムにおける復号化装置の構成を示すブロック図である。 実施例１に係る動画像処理システムにおけるフレーム処理の流れを示すフローチャートである。 実施例１に係る動画像処理システムにおけるマクロブロック処理順番決定処理の流れを示すフローチャートである。 符号化プログラムを実行するコンピュータシステムの例を示す図である。 復号化プログラムを実行するコンピュータシステムの例を示す図である。 従来技術におけるフレーム構造とフィールド構造とを説明するための図である。 従来技術におけるフレーム構造とフィールド構造とを説明するための図である。 従来技術におけるフレーム予測を説明するための図である。 従来技術におけるフレーム予測を説明するための図である。 従来技術におけるフィールド予測を説明するための図である。 従来技術におけるフィールド予測を説明するための図である。 MBAFFを説明するための図である。 MBAFFを説明するための図である。 MBAFFを説明するための図である。
符号の説明
１０ FrameMemory
１１ 減算器
１２ DCT/Q
１３ RateContorol
１４ VLC
１５ IQ/IDCT
１６ 加算器
１７ FrameMemory
１８ DeblockingFilter
１９ MCintraPred.
２０ ME
２１ OrederControl
５０ VLD
５１ IQ/IDCT
５２ 加算器
５３ FrameMemory
５４ DeblockingFilter
５５ MCintraPred.
５６ OrederControl
１００ コンピュータシステム
１０１ ＲＡＭ
１０２ ＨＤＤ
１０３ ＲＯＭ
１０３ａ 予測符号化決定プログラム
１０３ｂ 第一の符号化プログラム
１０３ｃ 第二の符号化プログラム
１０３ｄ 符号化データ送信プログラム
１０４ ＣＰＵ
１０４ａ 予測符号化決定プロセス
１０４ｂ 第一の符号化プロセス
１０４ｃ 第二の符号化プロセス
１０４ｄ 符号化データ送信プロセス
２００ コンピュータシステム
２０１ ＲＡＭ
２０２ ＨＤＤ
２０３ ＲＯＭ
２０３ａ 符号化判定プログラム
２０３ｂ 第一の復号化プログラム
２０３ｃ 第二の復号化プログラム
２０４ ＣＰＵ
２０４ａ 符号化判定プロセス
２０４ｂ 第一の復号化プロセス
２０４ｃ 第二の復号化プロセス

Claims (7)

  1. 処理対象の動画像フレームに対し、動き探索により動きベクトルを推定し、推定された動きベクトルに基づいて、処理対象フレームの各マクロブロックに対してフレーム予測符号化を行うか、フィールド予測符号化を行うかを決定する予測符号化決定手段と、
    前記予測符号化決定手段により決定された符号化手法でマクロブロックを符号化する第一の符号化手段と、
    前記予測符号化決定手段により決定された符号化手法がフィールド予測符号化のとき、前記第一の符号化手段により符号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドに対してフィールド予測符号化を行う第二の符号化手段と、
    前記第一の符号化手段および第二の符号化手段により符号化された処理対象の動画像フレームにおける各マクロブロックの符号化手法を符号化情報として付加して送信する符号化データ送信手段と、を備えた符号化装置と、
    前記符号化装置にて符号化された動画像フレーム及び符号化情報を受信し、前記処理対象フレームの各マクロブロックがフレーム予測により符号化されたか、フィールド予測により符号化されたかを判定する符号化判定手段と、
    前記符号化判定手段により判定された符号化手法に対応する復号化手法で符号化されたマクロブロックを復号化する第一の復号化手段と、
    前記符号化判定手段により判定された符号化手法がフィールド予測符号化のとき、前記第一の復号化手段により復号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドのマクロブロックをフィールド予測復号化する第二の復号化手段と、を備えた復号化装置と、
    から構成される動画像処理システム。
  2. 処理対象の動画像フレームに対し、動き探索により動きベクトルを推定し、推定された動きベクトルに基づいて、処理対象フレームの各マクロブロックに対してフレーム予測符号化を行うか、フィールド予測符号化を行うかを決定する予測符号化決定手段と、
    前記予測符号化決定手段により決定された符号化手法でマクロブロックを符号化する第一の符号化手段と、
    前記予測符号化決定手段により決定された符号化手法がフィールド予測符号化のとき、前記第一の符号化手段により符号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドに対してフィールド予測符号化を行う第二の符号化手段と、
    前記第一の符号化手段および第二の符号化手段により符号化された処理対象の動画像フレームにおける各マクロブロックの符号化手法を符号化情報として付加して送信する符号化データ送信手段と、
    を備えたことを特徴とする符号化装置。
  3. 符号化された動画像フレーム及び符号化手法を示す符号化情報を受信し、前記処理対象フレームの各マクロブロックがフレーム予測により符号化されたか、フィールド予測により符号化されたかを判定する符号化判定手段と、
    前記符号化判定手段により判定された符号化手法に対応する復号化方法で符号化されたマクロブロックを復号化する第一の復号化手段と、
    前記符号化判定手段により判定された符号化手法がフィールド予測符号化のとき、前記第一の復号化手段により復号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドのマクロブロックをフィールド予測復号化する第二の復号化手段と、
    を備えたことを特徴とする復号化装置。
  4. 処理対象の動画像フレームに対し、動き探索により動きベクトルを推定し、推定された動きベクトルに基づいて、処理対象フレームの各マクロブロックに対してフレーム予測符号化を行うか、フィールド予測符号化を行うかを決定する予測符号化決定工程と、
    前記予測符号化決定工程により決定された符号化手法でマクロブロックを符号化する第一の符号化工程と、
    前記予測符号化決定工程により決定された符号化手法がフィールド予測符号化のとき、前記第一の符号化工程により符号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドに対してフィールド予測符号化を行う第二の符号化工程と、
    前記第一の符号化手段および第二の符号化工程により符号化された処理対象の動画像フレームにおける各マクロブロックの符号化手法を符号化情報として付加して送信する符号化データ送信工程と、
    を含んだことを特徴とする符号化方法。
  5. 処理対象の動画像フレームに対し、動き探索により動きベクトルを推定し、推定された動きベクトルに基づいて、処理対象フレームの各マクロブロックに対してフレーム予測符号化を行うか、フィールド予測符号化を行うかを決定する予測符号化決定手順と、
    前記予測符号化決定手順により決定された符号化手法でマクロブロックを符号化する第一の符号化手順と、
    前記予測符号化決定手順により決定された符号化手法がフィールド予測符号化のとき、前記第一の符号化手順により符号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドに対してフィールド予測符号化を行う第二の符号化手順と、
    前記第一の符号化手順および第二の符号化手順により符号化された処理対象の動画像フレームにおける各マクロブロックの符号化手法を符号化情報として付加して送信する符号化データ送信手順段と、
    をコンピュータに実行させることを特徴とする符号化プログラム。
  6. 符号化された動画像フレーム及び符号化手法を示す符号化情報を受信し、前記処理対象フレームの各マクロブロックがフレーム予測により符号化されたか、フィールド予測により符号化されたかを判定する符号化判定工程と、
    前記符号化判定工程により判定された符号化手法に対応する復号化方法で符号化されたマクロブロックを復号化する第一の復号化工程と、
    前記符号化判定工程により判定された符号化手法がフィールド予測符号化のとき、前記第一の復号化工程により復号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドのマクロブロックをフィールド予測復号化する第二の復号化工程と、
    を含んだことを特徴とする復号化方法。
  7. 符号化された動画像フレーム及び符号化手法を示す符号化情報を受信し、前記処理対象フレームの各マクロブロックがフレーム予測により符号化されたか、フィールド予測により符号化されたかを判定する符号化判定手順と、
    前記符号化判定手順により判定された符号化手法に対応する復号化方法で符号化されたマクロブロックを復号化する第一の復号化手順と、
    前記符号化判定手順により判定された符号化手法がフィールド予測符号化のとき、前記第一の復号化手順により復号化された同一フレーム内の第一フィールドのマクロブロックを参照画像の一つとして、同一フレーム内の第二フィールドのマクロブロックをフィールド予測復号化する第二の復号化手順と、
    をコンピュータに実行させることを特徴とする復号化プログラム。
JP2008103873A 2008-04-11 2008-04-11 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム Withdrawn JP2009260421A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008103873A JP2009260421A (ja) 2008-04-11 2008-04-11 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
US12/382,749 US20090257497A1 (en) 2008-04-11 2009-03-23 Moving image processing system, encoding device, and decoding device
EP20090155988 EP2109319A1 (en) 2008-04-11 2009-03-24 Moving image encoding-decoding system with macroblock-level adaptive frame/field processing
CNA2009101312457A CN101557521A (zh) 2008-04-11 2009-04-10 运动图像处理系统、编码设备和解码设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008103873A JP2009260421A (ja) 2008-04-11 2008-04-11 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム

Publications (1)

Publication Number Publication Date
JP2009260421A true JP2009260421A (ja) 2009-11-05

Family

ID=40848199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008103873A Withdrawn JP2009260421A (ja) 2008-04-11 2008-04-11 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム

Country Status (4)

Country Link
US (1) US20090257497A1 (ja)
EP (1) EP2109319A1 (ja)
JP (1) JP2009260421A (ja)
CN (1) CN101557521A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179964B1 (en) * 2007-09-07 2012-05-15 Zenverge, Inc. Efficient transcoding between formats using macroblock buffer
KR101670954B1 (ko) * 2009-07-28 2016-10-31 삼성전자주식회사 대용량의 영상을 효율적으로 전송하는 영상 부호화 장치 및 영상 복호화 장치
US9237356B2 (en) * 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US20130121410A1 (en) * 2011-11-14 2013-05-16 Mediatek Inc. Method and Apparatus of Video Encoding with Partitioned Bitstream
CN111447451A (zh) * 2020-03-23 2020-07-24 西安万像电子科技有限公司 图像编码、解码方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5539466A (en) * 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
JP3092280B2 (ja) 1991-07-30 2000-09-25 ソニー株式会社 画像信号の高能率符号化及び復号化装置
JPH0556397A (ja) * 1991-08-23 1993-03-05 Sony Corp 画像信号記録再生方式
US5666461A (en) * 1992-06-29 1997-09-09 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
US6094225A (en) * 1997-12-02 2000-07-25 Daewoo Electronics, Co., Ltd. Method and apparatus for encoding mode signals for use in a binary shape coder
US6992692B2 (en) * 2002-05-31 2006-01-31 Polycom, Inc. System and method for providing video quality improvement
FR2851111B1 (fr) * 2003-02-10 2005-07-22 Nextream France Dispositif de codage d'un flux de donnees video

Also Published As

Publication number Publication date
US20090257497A1 (en) 2009-10-15
CN101557521A (zh) 2009-10-14
EP2109319A1 (en) 2009-10-14

Similar Documents

Publication Publication Date Title
JP4724351B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP5081305B2 (ja) フレーム間予測符号化の方法および装置
JP6120707B2 (ja) 動画像符号化装置およびその動作方法
Yu et al. Overview of AVS-video: tools, performance and complexity
WO2006073116A1 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP5795525B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
KR20120140592A (ko) 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
TW200952499A (en) Apparatus and method for computationally efficient intra prediction in a video coder
KR20090095317A (ko) 영상 부호화 및 복호화 방법 및 장치
JP2006025429A (ja) 符号化方法およびこの方法を実施するための回路装置
TW201204055A (en) Power efficient motion estimation techniques for video encoding
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
KR20110036886A (ko) 움직임 추정 반복 탐색의 개선 방법 및 시스템, 다음 탐색 영역의 중심점 결정 방법 및 시스템, 지역적 최소값의 회피 방법 및 시스템
JP2009027759A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP2017069866A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP5004180B2 (ja) 動画像符号化装置および復号装置
EP2380354A1 (en) Video processing method and apparatus with residue prediction
JP2009260421A (ja) 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
JP5209572B2 (ja) 画像符号化装置及び画像復号装置
JP4760552B2 (ja) 動きベクトル復号化方法および復号化装置
KR100723840B1 (ko) 영상 움직임 추정 장치
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
Chiu et al. Self-derivation of motion estimation techniques to improve video coding efficiency
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
KR100801974B1 (ko) 저비용 움직임 추정 장치 및 움직임 추정 방법

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110705