JP2007049553A - 動画像符号化方法、装置及びプログラム - Google Patents

動画像符号化方法、装置及びプログラム Download PDF

Info

Publication number
JP2007049553A
JP2007049553A JP2005233448A JP2005233448A JP2007049553A JP 2007049553 A JP2007049553 A JP 2007049553A JP 2005233448 A JP2005233448 A JP 2005233448A JP 2005233448 A JP2005233448 A JP 2005233448A JP 2007049553 A JP2007049553 A JP 2007049553A
Authority
JP
Japan
Prior art keywords
prediction mode
prediction
motion vector
residual signal
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005233448A
Other languages
English (en)
Other versions
JP4197695B2 (ja
Inventor
Wataru Asano
渉 浅野
Shinichiro Koto
晋一郎 古藤
Naoto Date
直人 伊達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005233448A priority Critical patent/JP4197695B2/ja
Priority to US11/384,389 priority patent/US7916788B2/en
Priority to CNA2006100917514A priority patent/CN1913632A/zh
Publication of JP2007049553A publication Critical patent/JP2007049553A/ja
Application granted granted Critical
Publication of JP4197695B2 publication Critical patent/JP4197695B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】少ない演算量でフレーム予測モードとするかフィールド予測モードとするかの選択を的確に行って高効率の動画像符号化を可能とする。
【解決手段】フレーム予測モード及びフィールド予測モードにそれぞれ対応して入力画像信号の対象ブロックに対する動きベクトルを求め、該動きベクトルに従って両予測モードでの予測画像信号についての予測残差信号を求め、両予測モードでの予測残差信号の各々についてライン間の類似性を表す特徴量に基づき、ライン間の類似性を大きくする方の予測モードを選択してフレーム間符号化を行う。
【選択図】 図１

Description

本発明は、動画像符号化方法、装置及びプログラムに関する。
ＭＰＥＧ−２、Ｈ．２６４のような動画像符号化の国際標準においては、インタレース画像を符号化する際に動き補償予測モードとしてフレーム構造の予測モード（フレーム予測モード）とフィールド構造の予測モード（フィールド予測モード）のいずれかを選択することができる。符号化の単位（ＭＰＥＧではピクチャという）としてフレームを用いることをフレーム構造と呼び、符号化の単位としてフィールドを用いることをフィールド構造と呼ぶ。
例えば、画像の動きが少ない場合、２つのフィールド間の相関が強いため、動き補償予測にフレーム予測モードを用いる方が有利である。一方、画像の動きが激しい場合、フィールド間の相関が弱いため、動き補償予測にフィールド予測モードを用いる方が有利となる。効率の高い符号化を行うには、動き補償予測モードを適切に選択する必要がある。特許文献１は、フレーム予測モードとフィールド予測モードのうち画像信号の垂直相関係数が大きい方のモードを選択する方法を開示している。非特許文献２には、フレーム予測モードとフィールド予測モードのうち予測残差信号の絶対値和が小さい方のモードを選択する方法が開示されている。
特開２００４−２６６４８９号公報 MPEG Software Simulation Group，"Test Model 5 (aka TM5)"、［ｏｎｌｉｎｅ］、平成１２年５月３１日、［平成１７年２月９日検索］、インターネット＜URL：http://www.mpeg.org/MPEG/MSSG/tm5/＞
動き補償予測モードの評価に画像信号の垂直相関係数を用いる方法は、画像信号を直接符号化するフレーム内符号化では有効であるが、予測残差信号を符号化するフレーム間符号化では予測モードの的確な選択が難しい。
一方、動き補償予測モードの評価に予測残差信号を用いる方法は、フレーム間符号化においても予測モードの的確な選択が可能となる。しかし、予測残差信号の絶対値和によって評価を行うため、ライン間の類似性は評価されない。そのため、予測残差信号を直交変換符号化する際の符号化効率に影響する予測残差信号の高域成分が考慮されないので、必ずしも好適な予測モードが選択されるとは限らない。
動画像符号化における処理の大部分を占める動きベクトル検出処理の演算量を削減することを目的として、最初に粗い動きベクトル探索を行い、次に細かい動きベクトル探索を行う「階層探索」と呼ばれる手法が知られている。階層探索では、粗い動きベクトル探索を行った時点ではフレーム構造の場合とフィールド構造の場合とで予測残差信号の絶対値和に差が現れないことが多い。このためフレーム構造とフィールド構造の両方で細かい動きベクトル探索を行う必要があり、演算量が大きくなってしまう。
本発明は、少ない演算量でフレーム予測モードとするかフィールド予測モードとするかの選択を的確に行って高効率の動画像符号化可能とすることを目的とする。
本発明の一つの観点によると、入力動画像の符号化すべき対象ブロックに対してフレーム構造の第１予測モード及びフィールド構造の第２予測モードのいずれかを選択してフレーム間予測符号化を行う動画像符号化方法において、前記第１予測モード及び第２予測モードにそれぞれ対応して前記対象ブロックと参照画像信号との間の第１動きベクトル及び第２動きベクトルを求めるステップと、前記第１動きベクトル及び第２動きベクトルに従って第１予測残差信号及び第２予測残差信号を求めるステップと、前記第１予測残差信号及び第２予測残差信号の各々におけるライン間の類似性を表す第１特徴量及び第２特徴量を求めるステップと、前記第１特徴量及び第２特徴量に基づいて前記第１予測モード及び第２予測モードのうち前記類似性を大きくする方のモードを選択するステップ、及び選択された予測モードに従って前記フレーム間符号化を行うステップを具備する動画像符号化方法を提供する。
本発明の他の観点によると、入力動画像の符号化すべき対象ブロックに対してフレーム構造の第１予測モード及びフィールド構造の第２予測モードのいずれかを選択してフレーム間予測符号化を行う動画像符号化方法において、前記第１予測モード及び第２予測モードにそれぞれ対応して前記対象ブロックと参照画像信号との間の第１動きベクトル及び第２動きベクトルを求めるステップと、前記第１動きベクトル及び第２動きベクトルに従って第１予測残差信号及び第２予測残差信号を求めるステップと、前記第１予測残差信号及び第２予測残差信号の各々におけるライン間の類似性を表す第１特徴量及び第２特徴量を求めるステップと、前記入力画像信号の対象ブロックのフレーム構造及びフィールド構造の各々におけるライン間の類似性を表す第３特徴量及び第４特徴量を求めるステップと、前記第１特徴量乃至第４特徴量に基づいて前記第１予測モード及び第２予測モードのうちいずれかのモードを選択するステップ、及び選択された予測モードに従って前記フレーム間符号化を行うステップを具備する動画像符号化方法を提供する。
本発明によれば、動き補償予測符号化においてフレーム予測モード及びフィールド予測モードから、より符号化効率の高い予測モードを選択できる。さらに、予測モードをフレーム予測モードとすべきかフィールド予測モードとすべきかを判定するための演算量が削減される。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
図１に示されるように、本発明の一実施形態に係る動画像符号化装置は、入力画像メモリ１０１、減算器１０２、直交変換／量子化部１０３、エントロピー符号化部１０４、動き補償予測部１０５、逆直交変換／逆量子化部１０６、加算器１０７及び参照画像メモリ１０８を有する。
入力画像メモリ１０１は、符号化すべき動画像の入力画像信号１０を一時記憶する。動き補償予測部１０５は、参照画像メモリ１０８に蓄えられている符号化済の局部復号画像信号を参照画像信号として用いて、決められた探索範囲内において最適な動きベクトルを探索し、該最適動きベクトルを用いて動き補償予測を行う。動き補償予測部１０５は、さらにフレーム構造及びフィールド構造における予測残差信号のライン間の類似性を表す特徴量を求め、該特徴量に従ってフレーム予測及びフィールド予測のうちいずれの動き補償予測モードで符号化を行うかの選択を行う。フレーム構造で予測を行うモードをフレーム予測モードと呼び、フィールド構造で予測を行うモードをフィールド予測モードと呼ぶ。
次に、動き補償予測部１０５は探索した最適動きベクトル及び選択した予測モードで示される領域の局部復号画像信号を参照画像メモリ１０８から読み出すことにより、予測画像信号１１を生成する。動き補償予測部１０５からは、さらに動きベクトル情報１４及び選択した予測モードを示す予測モード情報１５が出力される。
減算器１０２は、入力画像メモリ１０１からの入力画像信号と参照画像メモリ１０８からの予測画像信号１１との減算を行って両者の差分、すなわち予測残差信号１２を生成する。直交変換／量子化部１０３は、予測残差信号１２に対して直交変換及び量子化を行って量子化直交変換係数１３を生成する。エントロピー符号化部１０４は、量子化直交変換係数１３、動きベクトル情報１４及び予測モード情報１５に対してエントロピー符号化を行い、符号列１６を生成する。
逆直交変換／逆量子化部１０６は、直交変換／量子化部１０３からの量子化直交変換係数１３に対して逆量子化と逆直交変換を行って予測残差信号を再生する。加算器１０７は、再生された予測残差信号と参照画像メモリ１０８からの予測画像信号とを加算して局部復号画像信号を生成する。局部復号画像信号は、次の動き補償予測のために参照画像信号として参照画像メモリ１０８に格納される。
次に、動き補償予測部１０５について詳しく説明する。図２は、動き補償予測部１０５の第１の具体例を示している。図２に示す動き補償予測部１０５は、フレーム動きベクトル探索部２０１、フィールド動きベクトル探索部２０２、予測残差フレーム特徴量抽出部２０３、予測残差フィールド特徴量抽出部２０４及びフレーム／フィールド選択部２０５を有する。
フレーム動きベクトル探索部２０１は、入力画像メモリ１０１から符号化すべき対象ブロックの画像信号データを受け取り、参照画像メモリ１０８から動きベクトル探索範囲の画像信号データを受け取って、フレーム構造での動きベクトル探索、すなわちフレーム予測モードに対応した動きベクトル探索を行うことによって、フレーム予測モードで符号化を行ったときの予測残差信号（フレーム予測残差信号という）を求める。より詳しくは、フレーム動きベクトル探索部２０１ではフレーム構造で探索された最適動きベクトルを用いて動き補償を行って得られる予測画像信号と対象ブロックの入力画像信号との差分をフレーム予測残差信号として生成する。
予測残差フレーム特徴量抽出部２０３は、フレーム予測残差信号からフレーム予測残差信号のライン間の類似性を表す特徴量（予測残差フレーム特徴量という）を抽出する。
一方、フィールド動きベクトル探索部２０２は、入力画像メモリ１０１から対象ブロックの画像信号データを受け取り、参照画像メモリ１０８から動きベクトル探索範囲の画像信号データを受け取って、フィールド構造での動きベクトル探索、すなわちフィールド予測モードに対応した動きベクトル探索を行うことによって、フィールド予測モードで符号化を行ったときの予測残差信号（フィールド予測残差信号という）を求める。すなわち、フィールド動きベクトル探索部２０２ではフィールド構造で探索された最適動きベクトルを用いて動き補償を行って得られる予測画像信号と対象ブロックの入力画像信号との差分をフィールド予測残差信号として生成する。
予測残差フィールド特徴量抽出部２０４は、フィールド予測残差信号からフィールド予測残差信号のライン間の類似性を表す特徴量（予測残差フィールド特徴量という）を抽出する。
フレーム／フィールド選択部２０５は、予測残差フレーム特徴量と予測残差フィールド特徴量とを比較し、その比較結果に従ってフレーム予測モードまたはフィールド予測モードのいずれかを対象ブロックの動き補償予測モードとして選択する。
次に、図３のフローチャート用いて図２に示した動き補償予測部１０５の処理手順について説明する。
まず、入力画像メモリ１０１から入力画像信号の対象ブロックのデータを読み込む（ステップＳ１０１）。同様に、参照画像メモリ１０８から参照画像信号データを読み込む（ステップＳ１０２）。次に、フレーム構造での動きベクトル探索を行ってフレーム予測残差信号を求める（ステップＳ１０３）。同様に、フィールド構造での動きベクトル探索を行ってフィールド予測残差信号を求める（ステップＳ１０４）。ステップＳ１０３とステップＳ１０４の処理の順序は逆でもよいし、ステップＳ１０３とステップＳ１０４の処理を同時に行ってもよい。
次に、フレーム予測残差信号からフレーム予測モードでのライン間の類似性を表す予測残差フレーム特徴量として、例えばフレーム予測残差信号のライン間相関を表す特徴量を抽出する（ステップＳ１０５）。同様に、フィールド予測残差信号からフィールド予測モードでのライン間の類似性を表す特徴量として、フィールド予測残差信号のライン間相関を抽出する（ステップＳ１０６）。ライン間相関としては、例えば次式で表されるライン間差分絶対値和Ｓを用いる。
Figure 2007049553
ここで、Ｌ（ｘ，ｙ）は位置（ｘ，ｙ）における画素の値であり、この例のようにＳを求める対象が予測残差信号であれば差分値である。Ｓを求める対象が入力画像信号の場合、Ｌ（ｘ，ｙ）は輝度値である。ｈ及びｖはそれぞれ対象ブロックのｘ方向及びｙ方向の画素数であり、例えばｈ＝１６，ｖ＝３２である。ａｂｓ｛ ｝は、絶対値を求める関数を表す。
次に、ステップＳ１０５及びＳ１０６で求められたフレーム予測残差信号及びフィールド予測残差信号の各々の特徴量を例えば値の大小について比較し、その比較結果に従って対象ブロックの動き補償予測モードをフレーム予測モード及びフィールド予測モードのいずれかから選択する（ステップＳ１０７）。このようにフレーム予測モード及びフィールド予測モードでの予測残差信号について、ライン間の類似性を表す特徴量、例えばライン間相関を求めると、予測残差信号の絶対値和を用いる場合と異なり、予測残差信号の高域成分が特徴量によく反映される。従って、ステップＳ１０５及びステップＳ１０６で算出された特徴量に基づいて、ステップＳ１０７においてフレーム予測モード及びフィールド予測モードのうちライン間の類似性が高い方の予測モードを選択することによって、符号化効率をより高くとることが可能となる。
さらに、ステップＳ１０３及びＳ１０４での動きベクトル探索を細かい精度で行わなくとも、フレーム予測残差信号とフィールド予測残差信号との間の特徴量に顕著な差が現れる。従って、動きベクトル探索の精度を粗くすることができるので、動きベクトル探索に必要な演算量が削減される。
次に、図４を用いて動き補償予測部１０５の第２の具体例について説明する。図４に示す動き補償予測部１０５では、図２に示した第１の具体例の動き補償予測部に対して、入力画像フレーム特徴量抽出部２０６及び入力画像フィールド特徴量抽出部２０７が追加されている。
入力画像フレーム特徴量抽出部２０６は、入力画像メモリ１０１から対象ブロックの画像信号データを受け取り、フレーム構造での入力画像信号のライン間の類似性を表す特徴量（入力画像フレーム特徴量という）を抽出する。入力画像フィールド特徴量抽出部２０７は、入力画像メモリ１０１から対象ブロックの画像信号データを受け取り、フィールド構造での入力画像信号のライン間の類似性を表す特徴量（入力画像フィールド特徴量という）を抽出する。フレーム／フィールド選択部２０８は、入力画像フレーム特徴量、入力画像フィールド特徴量、予測残差フレーム特徴量及び予測残差フィールド特徴量を受け取り、これらを比較してフレーム予測モードまたはフィールド予測モードのいずれかを対象ブロックの動き補償予測モードとして選択する。
フレーム／フィールド選択部２０８は、図５に示されるように、まず入力画像フレーム／フィールド判定部３０１により入力画像フレーム特徴量と入力画像フィールド特徴量の値の大小を比較し、フレーム予測モードとすべきかフィールド予測モードとすべきかの判定を行う。一方、予測残差フレーム／フィールド判定部３０２により予測残差フレーム特徴量と予測残差フィールド特徴量の値の大小を比較し、フレーム予測モードとすべきかフィールド予測モードとすべきかの判定を行う。
次に、入力画像フレーム／フィールド判定部３０１の判定結果と予測残差フレーム／フィールド判定部３０２の判定結果を用いて、総合フレーム／フィールド判定部３０３により最終的な判定を行い、その最終判定結果に従って選択部３０４で動き補償予測モードの選択を行う。例えば、入力画像フレーム／フィールド判定部３０１及び予測残差フレーム／フィールド判定部３０２のいずれか一方がフィールド予測モードとすべきかの判定を行った場合はフィールド予測モードを選択し、いずれもがフレーム予測モードとすべきと判定した場合はフレーム予測モードを選択する。選択方法のより詳細な例については、後に説明する。
次に、図６のフローチャート用いて図４に示した動き補償予測部１０５の処理手順について説明する。
まず、入力画像メモリ１０１から入力画像信号の対象ブロックのデータを読み込む（ステップＳ１０１）。同様に、参照画像メモリ１０８から参照画像信号データを読み込む（ステップＳ１０２）。次に、フレーム構造での動きベクトル探索を行ってフレーム予測残差信号を求める（ステップＳ１０３）。同様に、フィールド構造での動きベクトル探索を行ってフィールド予測残差信号を求める（ステップＳ１０４）。ステップＳ１０３とステップＳ１０４の処理の順序は逆でもよいし、ステップＳ１０３とステップＳ１０４の処理を同時に行ってもよい。
次に、フレーム予測残差信号からフレーム予測モードでのライン間の類似性を表す予測残差フレーム特徴量として、例えばフレーム予測残差信号のライン間相関を表す特徴量を抽出する（ステップＳ１０５）。同様に、フィールド予測残差信号からフィールド予測モードでのライン間の類似性を表す特徴量として、フィールド予測残差信号のライン間相関を表す特徴量を抽出する（ステップＳ１０６）。ライン間相関を表す特徴量としては、例えば数式（１）で表されるライン間差分絶対値和Ｓを用いる。
次に、入力画像信号の対象ブロックのフレーム構造でのライン間の相関を表す入力画像フレームメモリ特徴量を抽出する（ステップＳ１０８）。同様に、入力画像信号の対象ブロックのフィールド構造でのライン間の相関を表す入力画像フィールド特徴量を抽出する（ステップＳ１０９）。ステップＳ１０８とステップＳ１０９の処理の順序は逆でもよいし、ステップＳ１０８とステップＳ１０９の処理を同時に行ってもよい。また、ステップＳ１０８及びＳ１０９の処理は、入力画像信号の対象ブロック読み込み後であり、かつステップＳ１１０のフレーム／フィールド選択の処理前であれば、どの時点で行っても構わない。
最後に、ステップＳ１０５及びＳ１０６で抽出された予測残差フレーム特徴量及び予測残差フィールド特徴量と入力画像フレーム特徴量及び入力画像フィールド特徴量とを比較し、対象ブロックの予測モードをフレーム予測モードまたはフィールド予測モードのいずれかに選択する（ステップＳ１１０）。具体的には、ステップＳ１１０ではステップＳ１０５で抽出された予測残差フレーム特徴量とステップＳ１０６で抽出された予測残差フィールド特徴量に基づいてフレーム予測モード及びフィールド予測モードのうち予測残差のライン間の類似性が高い方の予測モードを調べ、さらにステップＳ１０７で抽出された入力画像フレーム特徴量とステップＳ１０８で抽出された入力画像フィールド特徴量に基づいてフレーム予測モード及びフィールド予測モードのうち入力画像のライン間の類似性が高い方の予測モードを調べる。
この結果、予測残差のライン間の類似性が高い方の予測モード、入力画像のライン間の類似性が高い方の予測モードの少なくとも一方がフィールド予測モードである場合にはフィールド予測モードを選択する。一方、予測残差のライン間の類似性が高い方の予測モード、入力画像のライン間の類似性が高い方の予測モードの両方がフレーム予測モードである場合にはフレーム予測モードを選択する。
このように予測残差信号のライン間の類似性を表す特徴量に加えて、入力画像信号のライン間の類似性を表す特徴量を併用してフレーム予測モード／フィールド予測モードの選択を行うと、入力画像信号のフレーム内のフィールド間の動き量と、参照画像信号のフレーム内のフィールド間の動き量が異なる場合でも、的確な動き補償予測モードの選択が可能となる。さらに、入力画像信号と参照画像信号との差が大きいために、フレーム間符号化ではなくフレーム内符号化が選択された場合においても、符号化効率の高い予測モードの選択を行うことができる。
図７は、図６のフレーム／フィールド選択部２０８の変形例であり、図６中の入力画像フレーム／フィールド判定部３０１及び予測残差フレーム／フィールド判定部３０２が加算部４０１及び４０２に置き換えられている。このようにしても、簡易的ではあるが図４に示したフレーム／フィールド選択部２０８と同様の効果を得ることができる。
次に、図８を用いて動き補償予測部１０５の第３の具体例について説明する。図８に示す動き補償予測部１０５では、図２に示した第１の具体例の動き補償予測部１０５に動きベクトル再探索部２０９が追加されている。動きベクトル再探索部２０９は、フレーム動きベクトル探索部２０１とフィールド動きベクトル探索部２０２で求められた動きベクトルのうち、フレーム／フィールド選択部２０５で選択された予測モードでの動きベクトルを中心に、前段の動きベクトル探索部２０１及び２０２より細かい精度で動きベクトルの再探索を行う。
次に、図９のフローチャート用いて図８に示した動き補償予測部１０５の処理手順について説明する。
まず、入力画像メモリ１０１から入力画像信号の対象ブロックを読み込む（ステップＳ１０１）。同様に、参照画像メモリ１０８から参照画像信号を読み込む（ステップＳ１０２）。次に、フレーム構造での動きベクトル探索を行ってフレーム予測残差信号を求める（ステップＳ１０３）。同様に、フィールド構造での動きベクトル探索を行ってフィールド予測残差信号を求める（ステップＳ１０４）。ステップＳ１０３とステップＳ１０４の処理の順序は逆でもよいし、ステップＳ１０３とステップＳ１０４の処理を同時に行ってもよい。
次に、フレーム予測残差信号からフレーム予測モードでのライン間の類似性を表す予測残差フレーム特徴量として、例えばライン間相関を表す特徴量を抽出する（ステップＳ１０５）。同様に、フィールド予測残差信号からフィールド構造でのライン間の類似性を表す特徴量として、例えばライン間相関を表す特徴量を抽出する（ステップＳ１０６）。ライン間相関を表す特徴量としては、例えば数式（１）で表されるライン間差分絶対値和Ｓを用いる。
次に、フレーム予測モード及びフィールド予測モードでの予測残差信号の特徴量を例えば値の大小について比較し、その比較結果に従って対象ブロックの予測モードをフレーム予測モード及びフィールド予測モードのいずれかから選択する（ステップＳ１０７）。
最後に、ステップＳ１０３で求められたフレーム動きベクトルとステップＳ１０４で求められたフィールド動きベクトルのうち、ステップＳ１０７で選択された予測モードに対応する動きベクトルを中心に、ステップＳ１０３及びＳ１０４での動きベクトル探索より細かい精度で動きベクトルの再探索を行う（ステップＳ１１１）。なお、ステップＳ１０７で選択された予測モードに対応する動きベクトルとは、フレーム予測モードが選択された場合はフレーム構造における動きベクトルであり、フィールド予測モードが選択された場合はフィールド構造における動きベクトルである。
従来では、ステップＳ１０７のフレーム／フィールド選択前に細かい動きベクトルが必要であったのに対して、本発明の実施形態に従えばステップＳ１０７のフレーム／フィールド選択前の動きベクトル探索にはそれほど精度を要しない。一方、ステップＳ１０７で選択された予測モードに対しては高精度の動きベクトルが必要になるので、フレーム／フィールド選択後に動きベクトルの再探索を行う。こうして再探索された動きベクトルを用いて、選択された予測モードで動き補償予測を行う。このようにすることで、フレーム／フィールド選択と動きベクトルの正確さを保ちつつ、動きベクトルの探索点数を減らして演算量を効果的に削減することが可能となる。
動き補償予測部１０５の第４の具体例として、図１０に示すように図４に示した第２の具体例の動き補償予測部１０５に動きベクトル再探索部２０９を追加してもよいことは言うまでもない。
なお、上述した各実施形態で行われる動き補償予測の処理は、専用のハードウェア回路によって行うようにしてもよいし、ＣＰＵがプログラムに従って動作することにより動き補償予測の処理が行われるように構成してもよい。また、コンピュータにこのような処理を実行させるためのプログラムをインターネット等の通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。
本発明の一実施形態に係る動画像符号化装置のブロック図 図１中の動き補償予測部の第１の具体例を示すブロック図 図２の動き補償予測部の処理手順を示すフローチャート 図１中の動き補償予測部の第２の具体例を示すブロック図 図４中のフレーム／フィールド選択部の一例を示すブロック図 図４の動き補償予測部の処理手順を示すフローチャート 図４中のフレーム／フィールド選択部の他の例を示すブロック図 図１中の動き補償予測部の第３の具体例を示すブロック図 図８の動き補償予測部の処理手順を示すフローチャート 図１中の動き補償予測部の第４の具体例を示すブロック図
符号の説明
１０・・・入力画像信号
１１・・・予測画像信号
１２・・・予測残差信号
１３・・・量子化直交変換係数
１４・・・動きベクトル情報
１５・・・予測モード情報
１６・・・符号列
１０１・・・入力画像メモリ
１０２・・・減算器
１０３・・・直交変換／量子化部
１０４・・・エントロピー符号化部
１０５・・・動き補償予測部
１０６・・・逆量子化／逆直交変換部
１０７・・・加算器
１０８・・・参照画像メモリ
２０１・・・フレーム動きベクトル探索部
２０２・・・フィールド動きベクトル探索部
２０３・・・予測残差フレーム特徴量抽出部
２０４・・・予測残差フィールド特徴量抽出部
２０５・・・フレーム／フィールド選択部
２０６・・・入力画像フレーム特徴量抽出部
２０７・・・入力画像フィールド特徴量抽出部
２０８・・・フレーム／フィールド選択部
２０９・・・動きベクトル再探索抽出部
３０１・・・入力画像フレーム／フィールド判定部
３０２・・・予測残差フレーム／フィールド判定部
３０３・・・総合フレーム／フィールド判定部
３０４・・・選択部

Claims (10)

  1. 入力動画像の符号化すべき対象ブロックに対してフレーム構造の第１予測モード及びフィールド構造の第２予測モードのいずれかを選択してフレーム間予測符号化を行う動画像符号化方法において、
    前記第１予測モード及び第２予測モードにそれぞれ対応して前記対象ブロックと参照画像信号との間の第１動きベクトル及び第２動きベクトルを求めるステップと、
    前記第１動きベクトル及び第２動きベクトルに従って第１予測残差信号及び第２予測残差信号を求めるステップと、
    前記第１予測残差信号及び第２予測残差信号の各々におけるライン間の類似性を表す第１特徴量及び第２特徴量を求めるステップと、
    前記第１特徴量及び第２特徴量に基づいて前記第１予測モード及び第２予測モードのうち前記類似性を大きくする方のモードを選択するステップ、及び
    選択された予測モードに従って前記フレーム間符号化を行うステップを具備する動画像符号化方法。
  2. 入力動画像の符号化すべき対象ブロックに対してフレーム構造の第１予測モード及びフィールド構造の第２予測モードのいずれかを選択してフレーム間予測符号化を行う動画像符号化方法において、
    前記第１予測モード及び第２予測モードにそれぞれ対応して前記対象ブロックと参照画像信号との間の第１動きベクトル及び第２動きベクトルを求めるステップと、
    前記第１動きベクトル及び第２動きベクトルに従って第１予測残差信号及び第２予測残差信号を求めるステップと、
    前記第１予測残差信号及び第２予測残差信号の各々におけるライン間の類似性を表す第１特徴量及び第２特徴量を求めるステップと、
    前記入力画像信号の対象ブロックのフレーム構造及びフィールド構造の各々におけるライン間の類似性を表す第３特徴量及び第４特徴量を求めるステップと、
    前記第１特徴量乃至第４特徴量に基づいて前記第１予測モード及び第２予測モードのうちいずれかのモードを選択するステップ、及び
    選択された予測モードに従って前記フレーム間符号化を行うステップを具備する動画像符号化方法。
  3. 入力動画像の符号化すべき対象ブロックに対してフレーム構造の第１予測モード及びフィールド構造の第２予測モードのいずれかを選択してフレーム間予測符号化を行う動画像符号化装置において、
    前記第１予測モード及び第２予測モードにそれぞれ対応して前記対象ブロックと参照画像信号との間の第１動きベクトル及び第２動きベクトルを求める手段と、
    前記第１動きベクトル及び第２動きベクトルに従って第１予測残差信号及び第２予測残差信号を求める手段と、
    前記第１予測残差信号及び第２予測残差信号の各々におけるライン間の類似性を表す第１特徴量及び第２特徴量を求める手段と、
    前記第１特徴量及び第２特徴量に基づいて前記第１予測モード及び第２予測モードのうち前記類似性を大きくする方のモードを選択する選択手段、及び
    選択された予測モードに従って前記フレーム間符号化を行う符号化手段を具備する動画像符号化装置。
  4. 入力動画像の符号化すべき対象ブロックに対してフレーム構造の第１予測モード及びフィールド構造の第２予測モードのいずれかを選択してフレーム間予測符号化を行う動画像符号化装置において、
    前記第１予測モード及び第２予測モードにそれぞれ対応して前記対象ブロックと参照画像信号との間の第１動きベクトル及び第２動きベクトルを求める手段と、
    前記第１動きベクトル及び第２動きベクトルに従って第１予測残差信号及び第２予測残差信号を求める手段と、
    前記第１予測残差信号及び第２予測残差信号の各々におけるライン間の類似性を表す第１特徴量及び第２特徴量を求める手段と、
    前記入力画像信号の対象ブロックのフレーム構造及びフィールド構造の各々におけるライン間の類似性を表す第３特徴量及び第４特徴量を求める手段と、
    前記第１特徴量乃至第４特徴量に基づいて前記第１予測モード及び第２予測モードのうちいずれかのモードを選択する選択手段、及び
    選択された予測モードに従って前記フレーム間符号化を行う符号化手段を具備する動画像符号化装置。
  5. 前記選択された予測モードの下で、第１動きベクトル及び第２動きベクトルを求める手段より細かい精度で第３動きベクトルを求める手段をさらに具備し、前記符号化手段は前記第３動きベクトルを用いて前記フレーム間符号化を行う請求項３または４のいずれか１項記載の動画像符号化装置。
  6. 前記第１特徴量及び第２特徴量を求める手段は、前記第１予測残差信号及び第２予測残差信号の各々のライン間相関を前記第１特徴量及び第２特徴量として求める請求項３または４のいずれか１項記載の動画像符号化装置。
  7. 前記第３特徴量及び第４特徴量を求める手段は、前記入力画像信号の対象ブロックのフレーム構造及びフィールド構造の各々におけるライン間相関を求める請求項４記載の動画像符号化装置。
  8. 前記選択手段は、前記第１特徴量及び第２特徴量に基づくライン間の類似性を大きくする方のモードを判定する第１判定手段と、前記第３特徴量及び第４特徴量に基づくライン間の類似性を大きくする方のモードを判定する第２判定手段とを有し、前記第１判定手段及び第２の判定手段によりそれぞれ判定されたモードの少なくとも一方が第２予測モードである場合には第２予測モードを選択し、前記第１判定手段及び第２の判定手段によりそれぞれ判定されたモードの両方が第１予測モードである場合には第１予測モードを選択する請求項４記載の動画像符号化装置。
  9. フレーム構造の第１予測モード及びフィールド構造の第２予測モードにそれぞれ対応して前記対象ブロックと参照画像信号との間の第１動きベクトル及び第２動きベクトルを求める処理と、
    前記第１動きベクトル及び第２動きベクトルに従って第１予測残差信号及び第２予測残差信号を求める処理と、
    前記第１予測残差信号及び第２予測残差信号の各々におけるライン間の類似性を表す第１特徴量及び第２特徴量を求める処理と、
    前記第１特徴量及び第２特徴量に基づいて前記第１予測モード及び第２予測モードのうち前記類似性を大きくする方のモードを選択する処理、及び
    選択された予測モードに従って前記対象ブロックのフレーム間符号化を行う処理を含む動画像符号化処理をコンピュータに行わせるためのプログラム。
  10. フレーム構造の第１予測モード及びフィールド構造の第２予測モードにそれぞれ対応して前記対象ブロックと参照画像信号との間の第１動きベクトル及び第２動きベクトルを求める処理と、
    前記第１動きベクトル及び第２動きベクトルに従って第１予測残差信号及び第２予測残差信号を求める処理と、
    前記第１予測残差信号及び第２予測残差信号の各々におけるライン間の類似性を表す第１特徴量及び第２特徴量を求める処理と、
    前記入力画像信号の対象ブロックのフレーム構造及びフィールド構造の各々におけるライン間の類似性を表す第３特徴量及び第４特徴量を求める処理と、
    前記第１特徴量乃至第４特徴量に基づいて前記第１予測モード及び第２予測モードのうちいずれかのモードを選択する処理、及び
    選択された予測モードに従って前記対象ブロックのフレーム間符号化を行う処理を含む動画像符号化処理をコンピュータに行わせるためのプログラム。
JP2005233448A 2005-08-11 2005-08-11 動画像符号化方法、装置及びプログラム Expired - Fee Related JP4197695B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005233448A JP4197695B2 (ja) 2005-08-11 2005-08-11 動画像符号化方法、装置及びプログラム
US11/384,389 US7916788B2 (en) 2005-08-11 2006-03-21 Motion picture encoding method and device
CNA2006100917514A CN1913632A (zh) 2005-08-11 2006-06-12 运动画面编码方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005233448A JP4197695B2 (ja) 2005-08-11 2005-08-11 動画像符号化方法、装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2007049553A true JP2007049553A (ja) 2007-02-22
JP4197695B2 JP4197695B2 (ja) 2008-12-17

Family

ID=37722375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005233448A Expired - Fee Related JP4197695B2 (ja) 2005-08-11 2005-08-11 動画像符号化方法、装置及びプログラム

Country Status (3)

Country Link
US (1) US7916788B2 (ja)
JP (1) JP4197695B2 (ja)
CN (1) CN1913632A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787100B2 (ja) * 2006-07-27 2011-10-05 パナソニック株式会社 画像符号化装置
JP4993676B2 (ja) * 2006-09-01 2012-08-08 キヤノン株式会社 画像符号化装置及び画像符号化方法
US8295603B2 (en) * 2007-03-28 2012-10-23 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, image processing system, and image processing method
CN101453656B (zh) * 2007-11-29 2011-06-01 华为技术有限公司 视频编码、解码方法及装置和视频编解码系统
CN101998125B (zh) * 2009-08-19 2013-12-25 宏碁股份有限公司 图像文档传输系统及其方法
CN101783951B (zh) * 2010-03-02 2012-01-04 西安交通大学 基于人类视觉系统的视频编码帧间预测模式快速确定方法
CN113797530B (zh) * 2021-06-11 2022-07-12 荣耀终端有限公司 图像的预测方法、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226327B1 (en) * 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
JP4622077B2 (ja) * 2000-10-11 2011-02-02 ソニー株式会社 画像処理装置及び画像処理方法
JP2004266489A (ja) 2003-02-28 2004-09-24 Kddi Corp 動画像符号化装置
US7280597B2 (en) * 2003-06-24 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. System and method for determining coding modes, DCT types and quantizers for video coding

Also Published As

Publication number Publication date
US7916788B2 (en) 2011-03-29
CN1913632A (zh) 2007-02-14
JP4197695B2 (ja) 2008-12-17
US20070036217A1 (en) 2007-02-15

Similar Documents

Publication Publication Date Title
KR100803611B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US7444026B2 (en) Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith
KR100584495B1 (ko) 비디오 화상 코딩 장치 및 방법
US9351014B2 (en) Moving image encoding and decoding system
JP5406222B2 (ja) 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置
JP5310614B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP4197695B2 (ja) 動画像符号化方法、装置及びプログラム
US20060203912A1 (en) Motion vector detection method, motion vector detection apparatus, computer program for executing motion vector detection process on computer
JP2004229315A (ja) 直交変換−ドメインブロックマッチングを用いる動き推定
JP2002532026A (ja) 動き推定とブロックマッチング・パターンの改良
JP2006245932A (ja) 動画像処理装置、動画像処理方法、及び動画像処理プログラム
KR100970726B1 (ko) 계층적 움직임 추정 방법
JP4494803B2 (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
JP5237814B2 (ja) ビデオ圧縮における適応的動きベクトルサンプリングのための多段リンク方法
CN110324634A (zh) 一种基于运动矢量嵌入失真分解的视频隐写方法
TW200301655A (en) Method of detecting motion vector
US7333543B2 (en) Motion vector estimation method and apparatus thereof
US20020168008A1 (en) Method and apparatus for coding moving pictures
JP3711022B2 (ja) 動画像内の特定物体認識方法及び装置
JP2008301270A (ja) 動画像符号化装置及び動画像符号化方法
JP2003219428A (ja) 動画像符号化装置
JP4154772B2 (ja) 画像情報変換装置および変換方法
JP2004260251A (ja) 動きベクトル検出装置及び動きベクトル検出プログラム
JP2008072608A (ja) 画像符号化装置及び画像符号化方法
JPH10191347A (ja) 動き検出装置、動き検出方法、及び、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080701

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080929

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees