JP2004165703A - 動画像符号化方法及び復号化方法 - Google Patents
動画像符号化方法及び復号化方法 Download PDFInfo
- Publication number
- JP2004165703A JP2004165703A JP2002288017A JP2002288017A JP2004165703A JP 2004165703 A JP2004165703 A JP 2004165703A JP 2002288017 A JP2002288017 A JP 2002288017A JP 2002288017 A JP2002288017 A JP 2002288017A JP 2004165703 A JP2004165703 A JP 2004165703A
- Authority
- JP
- Japan
- Prior art keywords
- pixel block
- information
- motion vector
- reference frame
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】複数の参照フレームを用いる動画像動き補償予測符号化において、動きパラメータの符号化を行わないダイレクトモードの符号化効率の改善を行う高能率の動画像符号化方法を提供する。
【解決手段】入力動画像信号に対して複数の参照フレーム及び該入力動画像信号と該参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、複数の参照フレームの内、最も直前に符号化されたフレームの、符号化対象の位置とフレーム内で同一位置の動きベクトル情報、参照フレーム選択情報及び画素ブロック形状情報の少なくとも１つの符号化情報を用いて動き補償予測を行う。
【選択図】 図１
【解決手段】入力動画像信号に対して複数の参照フレーム及び該入力動画像信号と該参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、複数の参照フレームの内、最も直前に符号化されたフレームの、符号化対象の位置とフレーム内で同一位置の動きベクトル情報、参照フレーム選択情報及び画素ブロック形状情報の少なくとも１つの符号化情報を用いて動き補償予測を行う。
【選択図】 図１
Description
【０００１】
【発明の属する技術の分野】
本発明は、動画像符号化方法及び復号化方法に係り、特に複数の参照フレームを利用する動き補償予測フレーム間符号化方法および復号化方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ４ （ＩＳＯ／ＩＥＣ １４４９６−２）や、ＭＰＥＧ４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｈ．２６４／ＩＳＯ／ＩＥＣ１４４９６−１０）などの動画像符号化方式では、複数の参照フレームや複数の予測モードを用いて、画素ブロック単位に最適な予測モードや参照フレームを選択して符号化することで、予測効率を向上させて高能率な圧縮符号化を実現している。このような符号化方式では、参照フレームや予測モードを識別するため、符号化ブロック毎にこれらを識別する識別情報と動きベクトルの情報（以下、動き補償予測情報と呼ぶ）を符号化する必要がある。
【０００３】
より予測効率を向上させるため、予測モードの種類を増やしたり、動きベクトルの情報をより小さなブロック毎に符号化しようとすると、これらの動き補償予測情報の符号量が増大するというトレードオフが発生し、予測効率の向上と動き補償予測情報の符号量の増加とが相殺して、トータルの符号化効率が向上しないという事態を招いてしまう。
【０００４】
動き補償予測情報の符号量の増大を回避するため、現ブロックの動き補償情報は符号化せずに、既に符号化された周辺画素ブロック又は既に符号化された他のフレームにおける動き補償予測情報を用いて、現ブロックの動き補償予測情報を自動生成する方法などが用いられる。
【０００５】
ＭＰＥＧ４動画像符号化では、ダイレクトモードやスキップドマクロブロックと呼ばれる予測モードにおいて、動き補償情報を符号化せずに、隣接ブロックあるいは近傍フレームから動き補償情報を生成する方式が採用されている。動き補償情報の生成では、フレーム内あるいはフレーム間の画素ブロック毎の動き補償情報の相関を仮定して、一定のルールに従って周辺の動き補償情報から動き補償パラメータの推定を行う。符号化時と復号化時で同一の推定ルールを用いることで、正常に動き補償予測を行い復号化することが可能となる。
【０００６】
ＩＳＯ／ＩＥＣ ＭＰＥＧ−４の動画像符号化標準方式では、ダイレクトモードが符号化モードの一つとして双方向予測フレーム間符号化（Ｂピクチャ）で用いられる。この符号化は、最も時間的に近いフレーム内符号化フレーム（Ｉピクチャ）、またはフレーム間予測符号化フレーム（Ｐピクチャ）のフレーム上の空間的に同じ位置のマクロブロックを予測元として、動き補償予測情報を生成する。この手法により、動きベクトル情報などの付加情報の時間的な冗長度を減らすことができる。具体的には、予測元マクロブロックがフレーム間予測符号化フレーム（Ｐピクチャ）であった場合に、その動きベクトルを予測対象マクロブロックの時間的位置にあわせてスケーリングを行い、動き補償予測情報が生成される。
【０００７】
この手法の問題としては、予測対象マクロブロックが予測元のマクロブロックと予測元のマクロブロックの参照フレームに必ず時間的に挟まれるような位置にあることを前提にしている点が上げられる。従って、予測対象マクロブロックが複数の時間的に過去の参照フレームからのみ予測されている場合や、予測元のマクロブロックが複数の参照フレームを持っている場合には、どのように動き補償予測情報を生成すればよいか明らかではなかった。
【０００８】
【発明が解決しようとする課題】
上述したように、動き補償情報の符号化オーバーヘッド削減のために、動き補償情報の推定を行う場合は、推定ルールの性質、すなわち適切な動き予測情報が自動的に生成出来るか否かに応じて、符号化効率が大きく左右される。動き補償情報の推定が適切でない場合、符号化効率が悪化し、画質劣化や符号量の増大を招くという問題がある。
【０００９】
また、ダイレクトモードを実現する時に、予測対象が複数の時間的に過去からの参照フレームのみで予測画像を作成する方式である場合や、予測元が複数の参照フレームを持っている場合に、適切なダイレクトモードを実現することができないという問題点があった。
【００１０】
本発明では、フレーム間予測の構造や周辺ブロックの動き情報を用いて、適応的に動き補償パラメータの推定を行うことで、フレーム間予測構造や画像の性質によらず安定して効率的な動き補償情報の推定が可能となる高能率な動画像符号化及び復号化方法を提供することを目的とする。
【００１１】
また、本発明は特にダイレクトモードに関して、予測対象が複数の時間的に過去からの参照フレームのみで予測画像を作成する方式である場合や、予測元が複数の参照フレームを持っている場合に、適切なダイレクトモードを実現し、高効率の符号化を可能とする動画像符号化及び復号化方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するため、本発明の第１の態様では動画像符号化側において入力動画像信号に対して複数の参照フレーム及び該入力動画像信号と該参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、前記複数の参照フレームの内、最も直前に符号化されたフレームの、符号化対象の位置とフレーム内で同一位置の符号化情報を用いて動き補償予測を行い、前記符号化情報は、動きベクトル情報、参照フレーム選択情報、及び画素ブロック形状情報の少なくとも１つを用いる。
このことにより、複数の参照フレームを有する動画像符号化方式においても適切なダイレクトモードに基づく効率のよい動き補償の予測を行うことができる。
【００１３】
一方、動画像復号化側では動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、参照フレーム選択情報、及び画素ブロック形状情報を含む符号化情報を復号化するステップと、前記ステップによって復号された参照フレームの内、最も直前に復号化されたフレームの、復号化対象の位置とフレーム内で同一位置の符号化情報に従って予測画像信号を生成するステップと、前記予測誤差信号及び予測画像信号を用いて再生動画像信号を生成するステップを行う。
このことにより、復号側においても、複数の参照フレームを有する動画像符号化方式において適切なダイレクトモードに基づく効率のよい動き補償の予測の再生を行うことができる。
【００１４】
本発明の第２の態様では、入力動画像信号がインターレース信号の場合に入力動画像信号に対して複数の参照フィールド及び該入力動画像信号と該参照フィールドとの間の動きベクトルを用いて動き補償予測フィールド間符号化を行う動画像符号化方法において、前記複数の参照フィールドの内、同じ位相でかつ最も直前に符号化されたフィールドの、符号化対象の位置とフィールド内で同一位置の符号化情報を用いて動き補償予測を行い、前記符号化情報としては、動きベクトル情報、参照フィールド選択情報、及び画素ブロック形状情報の少なくとも１つを用いる。
このことにより、入力動画像信号がインターレース信号の場合にも、複数の参照フィールドを有する動画像符号化方式においても適切なダイレクトモードに基づく効率のよい動き補償の予測を行うことができる。
【００１５】
動画像復号化側では、符号化された動画像信号がインターレース信号の場合に動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、参照フィールド選択情報、及び画素ブロック形状情報を含む符号化情報を復号化するステップと、前記ステップによって復号された参照フィールドの内、同じ位相でかつ最も直前に復号化されたフィールドの、復号化対象の位置とフィールド内で同一位置の符号化情報に従って予測画像信号を生成するステップと、前記予測誤差信号及び予測画像信号を用いて再生動画像信号を生成するステップとを行う。
このことにより、入力動画像信号がインターレース信号の場合にも、復号側で、複数の参照フィールドを有する動画像符号化方式において適切なダイレクトモードに基づく効率のよい動き補償の予測の再生を行うことができる。
【００１６】
このように本発明によると、特にダイレクトモードに関して、予測対象が複数の時間的に過去からの参照フレームのみで予測画像を作成する方式である場合や、予測元が複数の参照フレームを持っている場合に、適切なダイレクトモードを実現し、高効率の符号化を可能とする動画像符号化及び動画像復号化を実現することが可能となる。
【００１７】
また、本発明では複数の参照フレームを用いる動き補償予測動画像符号化又は復号化方法において、符号化対象画素ブロックの動きベクトルまたは参照フレーム選択情報の少なくとも１つを、符号化対象画素ブロックに隣接する符号化対象フレーム内の既に符号化された複数の画素ブロック、あるいは、参照フレームにおける符号化対象画素ブロックと同一位置の画素ブロックの動きベクトル情報または参照フレーム選択情報から決定し、前記動きベクトル情報または参照フレーム選択情報の決定方法が前記複数の参照フレームのうち、所定の参照フレームが、符号化対象フレームより前のフレームか、あるいは後のフレームかに応じて切り替わることを特徴とする。
【００１８】
また、複数の参照フレームを用いる動き補償予測動画像符号化方法又は復号化方法において、符号化対象画素ブロックの動きベクトルまたは参照フレーム選択情報の少なくとも１つを、符号化対象画素ブロックに隣接する符号化対象フレーム内の既に符号化された複数の画素ブロック、あるいは、参照フレームにおける符号化対象画素ブロックと同一位置の画素ブロックの、動きベクトル情報または参照フレーム選択情報から決定し、前記参照フレームにおける前記符号化対象画素ブロックと同一位置の画素ブロックにおいて、符号化対象フレームを跨いだ動き補償が行われているか否かに応じて、前記動きベクトル情報または参照フレーム選択情報の決定方法が切り替わることを特徴とする。
【００１９】
また、複数の参照フレームを用いる動き補償予測動画像符号化方法又は復号化方法において、符号化対象の画素ブロックに隣接する既に符号化された複数の画素ブロックにおける動きベクトルの大きさに応じて、前記隣接する複数の画素ブロックの動きベクトル情報及び参照フレーム選択情報から、符号化対象の画素ブロックの動きベクトル及び参照フレームを決定するか、或いは、参照フレームにおける符号化対象マクロブロックと同一位置の画素ブロックにおける動きベクトル情報及び参照フレーム選択情報から、符号化対象の画素ブロックの動きベクトル及び参照フレームを決定するかを、切り替えることを特徴とする。
【００２０】
【発明の実施の形態】
図１は、本発明の実施形態に係る動画像符号化装置の構成を示すブロック図である。まず、図１の構成の概要について説明する。
入力画像信号は微小画素ブロックに分割され、画素ブロック毎にフレームメモリ２０８に記録された複数の参照フレームを用いて、動きベクトルの検出及び複数の予測モードの中から最適な予測モードの選択が行われ、検出された動きベクトル及び予測モードを用いて予測画像が生成される。予測画像と入力画像との予測誤差信号が減算部２０１によって計算され、直交変換部２０３により予測誤差信号に対して直交変換（例えば、ＤＣＴ変換）が施される。
【００２１】
直交変換係数は量子化部２０４により量子化され、量子化された直交変換係数は予測モード情報、動きベクトル情報、参照フレーム及び予測係数情報などの動き補償予測方法に関する情報とともに、可変長符号化部２１１により可変長符号化される。これらの符号化情報は多重化部２１４により多重化され、出力バッファ２１５を介して符号化データとして出力される。
【００２２】
量子化された直交変換係数は、一方で逆量子化部２０５、逆直交変換部２０６、動き補償予測復号化部２０７により復号化処理が施され、参照フレームとしてフレームメモリ２０８に保存される。符号化制御部２１２は、発生符号量のフィードバックにより量子化特性を制御して発生符号量の制御を行うレート制御や、フレーム間予測構造の制御等、符号化部２１６に対する全体の制御を行う。
【００２３】
次に、図２〜図３を用いて具体的な予測モードの説明を行う。
本実施形態では、画素ブロック毎に複数の参照フレームの中から１つまたは２つの参照フレームを選択し、選択された参照フレームに対して動き補償のための動きベクトルの検出を行い、検出された動きベクトルを用いて、選択した参照フレームから参照画素ブロックを切り出す。参照フレームが２つ選択された画素ブロックでは、２つの参照画素ブロックを切り出し、切り出された参照画素ブロックの線形和により予測信号を生成する。
【００２４】
図２は、時間的に過去の複数フレームからの予測のみを行う例であり、１００は符号化対象のフレームを示しており、１０１から１０３がそれぞれ参照フレームを示している。また、１０４、１０５、１０６はそれぞれ符号化対象の画素ブロックを示している。画素ブロック１０４については、参照フレームが１０１であり、動きベクトル１０７を用いた１フレームの予測であるという予測モード情報が符号化される。画素ブロック１０５については、参照フレームが１０３であり、動きベクトル１０８を用いた１フレームの予測であるという予測モード情報が符号化される。画素ブロック１０６については、参照フレームが１０２と１０１であり、動きベクトル１０９および１１０を用いた２フレームの予測であるという予測モード情報が符号化される。
【００２５】
図３は、時間的に過去及び未来の複数フレームからの予測を行う例であり、１２０は符号化対象のフレームを示しており、１２１から１２３がそれぞれ参照フレームを示している。また、１２４、１２５、１２６はそれぞれ符号化対象の画素ブロックを示している。画素ブロック１２４については、前方参照フレーム１２１に対して、動きベクトル１２７を用いた１フレームの予測であるという予測モード情報が符号化される。画素ブロック１２５については、後方参照フレーム１２３に対して、動きベクトル１２８を用いた１フレームの予測であるという予測モード情報が符号化される。画素ブロック１２６については、前方参照フレーム１２２及び後方参照フレーム１２１を用いて、それぞれ動きベクトル１２９および１３０を用いた２フレームの予測であるという予測モード情報が符号化される。
【００２６】
このように画素ブロック毎に動きベクトル、参照フレーム、予測モードの情報を符号化すると、これらの情報を符号化するオーバーヘッドが大きくなり、符号化効率の向上を妨げる原因となる。そこで、本実施形態では特定の条件を満たす画素ブロックでは、これらの動き補償に関する情報を一切符号化せず、復号化時は隣接画素ブロック、あるいは復号化済みフレームの画素ブロックの動きベクトル、参照フレーム、予測モードの情報から、復号化対象画素ブロックの動きベクトル、参照フレーム、予測モードを決定して復号化を行う特別な符号化モード（以下、ダイレクトモードと呼ぶ）を導入し、符号化効率の向上を図る。
【００２７】
本実施形態では、さらに複数のダイレクトモード、すなわち復号化時における動きベクトル、参照フレーム、予測モードの決定手段を複数有し、これらを所定の条件により適切に切り替えることで、更なる符号化効率の向上が可能となっている。以下、その具体例について説明する。
【００２８】
図４は、本発明の実施形態に関わる符号化装置における予測モード決定手順の概要を示すフローチャートである。各符号化フレームを１つまたは複数の領域（以下、スライスと呼ぶ）に分割し、各スライスをさらに複数の画素ブロックに分割して、画素ブロック単位にダイレクトモードを含む複数の予測モードから１つの予測モードを選択して符号化を行う。
図４では、符号化すべき画素ブロック毎に、通常の予測モードの中から符号化効率が高く符号化コストが最も少ない、すなわち発生符号量が少なく且つ画質の良い予測モードを１つ選択する（ステップＳ１）。
【００２９】
また、各種の条件に従ってダイレクトモードタイプの決定（ステップＳ２）を行い、決定されたダイレクトモードタイプに応じて、動きベクトルや参照フレームなどの動き補償パラメータの生成を行い（ステップＳ３）、生成された動き補償パラメータを用いた予測符号化におけるコスト計算、すなわちダイレクトモードを用いた場合の符号化効率を計算する（ステップＳ４）。
【００３０】
次に、ステップＳ１で選択された予測モードにおける符号化コストと、ステップＳ４で求めたダイレクトモードにおける符号化コストの比較を行って最終的な予測モードを決定し（ステップＳ５）、決定された予測モードを用いて該画素ブロックの動き補償予測符号化を行う（ステップＳ６）。上記の処理をスライス内の全ブロックについて順次行い、スライス内の全てのブロックの符号化が終了すると、次のスライスの符号化へと進む（ステップＳ７）。
【００３１】
次に、図４のフローチャートの各処理の詳細について説明する。
図５は、図４におけるステップＳ１の詳細処理を示すフローチャートであり、画素ブロック毎に図５の処理が行われる。まず、最小符号化コストＭｉｎＣｏｓｔの初期値に最大値を設定（ステップＳ１０）、予測ブロックの形状モードを示すインデックスＢｌｏｃｋＴｙｐｅに０を設定（ステップＳ１１）、参照フレームを識別するインデックスＲｅｆＦｒａｍｅに０を設定する（ステップＳ１２）。
【００３２】
次に、設定されたブロック形状及び参照フレームを用いて動きベクトルの検出を行い（ステップＳ１３）、検出された動きベクトルを用いて予測信号を生成し（ステップＳ１４）、予測信号と符号化対象ブロックの信号から予測誤差信号を生成し（ステップＳ１５）、該予測モードにおける符号化コスト計算を行う（ステップＳ１６）。符号化コストがそれまでの最小コストＭｉｎＣｏｓｔを下回れば、最適なブロック形状のインデックスＢｅｓｔＢｌｏｃｋＴｙｐｅと、最適な参照フレームのインデックスＢｅｓｔＲｅｆＦｒａｍｅの更新を行う（ステップＳ１７，Ｓ１８）。
【００３３】
次に、参照フレームのインデックスを更新して（ステップＳ１９）、全ての参照フレームに対し再度動き検出及びコスト計算を繰り返す（ステップＳ２０）。１つのブロック形状で各々の参照フレームを用いた予測のコスト計算を行った後、ブロック形状を示すインデックスＢｌｏｃｋＴｙｐｅの更新を行い（ステップＳ２１）、再度各々の参照フレームを用いた予測のコスト計算を全ブロック形状について行う（ステップＳ２２）。
【００３４】
図５の処理が終了した時点で、その符号化ブロックに対する最適なブロック形状ＢｅｓｔＢｌｏｃｋＴｙｐｅと、最適な参照フレームＢｅｓｔＲｅｆＦｒａｍｅが決定される。動きベクトル、ブロック形状及び参照フレームの識別情報は、通常の予測モードでは符号化ブロック毎にヘッダ情報として符号化される。
【００３５】
図６〜図１２は、図４におけるダイレクトモードタイプ決定ステップ（Ｓ２）の複数の実施形態の詳細を示すものである。ダイレクトモードでは、通常の予測モードとは異なり、動きベクトル、ブロック形状及び参照フレームの識別情報等は符号化されず、周辺の画素ブロックの動き補償予測情報等を用いて自動生成される。
【００３６】
本実施形態では、ダイレクトモードにおける動き補償パラメータの自動生成方法（以下、ダイレクトタイプ）が複数用意され、それらがフレーム間予測構造の情報や、周辺の画素ブロックの情報に従って適応的に切り替わる。ダイレクトタイプの決定方法や、各ダイレクトモードにおける動き補償パラメータの決定方法はルールとして定義され、符号化時と復号化時において同一のパラメータが生成される。
【００３７】
ダイレクトモードを用いることで、動き補償パラメータを符号化するオーバーヘッドが低減でき、符号化効率の向上が可能となるとともに、複数のダイレクトタイプが適応的に切り替わることで、画像の性質に合わせたダイレクトモードが自動的に選択され、より符号化効率を向上させることが可能となる。
【００３８】
なお、図６〜図１２において、同一のダイレクトタイプ（モード１、モード２及びモード３）はそれぞれ同一の予測方法を示しており、モード１では時間方法の前後の相関、モード２では時間方向の過去の相関、モード３では空間相関をそれぞれ利用して動き補償パラメータの生成を行う。各モードの詳細については、後述する。
【００３９】
図６の実施形態では、符号化対象フレームに対して時間的に後方（未来）の参照フレームが存在するか否か（ステップＳ４０）に応じて、ダイレクトタイプがモード１とモード２に切り替わる。これによりフレーム間予測構造の違い、すなわち過去のフレームからだけの予測か、未来の参照フレームもあるのかの違いを考慮した最適なダイレクトモードのタイプを設定することが可能となる。すなわち、未来に参照フレームがあれば時間方向の前後の相関を利用し、未来の参照フレームがなければ時間的に過去からの相関を用いて、動き補償パラメータの生成が行われる。
【００４０】
図７の実施形態では、現在の符号化フレームに対する０番目の参照フレームＬ１Ｒｅｆ（０）のピクチャ順序ＰｉｃＯｒｄｅｒ（Ｌ１Ｒｅｆ（０））が符号化対象フレームのピクチャ順序ＰｉｃＯｒｄｅｒ（ＣｕｒｒｅｎｔＰｉｃ）よりも大きい場合と、そうでない場合とでダイレクトタイプを切り替える。図７の実施形態は、図６の実施形態とほぼ同等の効果があるが、０番目の参照フレームを未来のフレームに設定するか、あるいは過去のフレームに設定するかで、ダイレクトタイプの設定を柔軟に切り替えることを可能としている。
【００４１】
図８の実施形態では、現在の符号化フレームに対する０番目の参照フレームＬ１Ｒｅｆ（０）のピクチャ順序ＰｉｃＯｒｄｅｒ（Ｌ１Ｒｅｆ（０））が符号化対象フレームのピクチャ順序ＰｉｃＯｒｄｅｒ（ＣｕｒｒｅｎｔＰｉｃ）よりも大きく、且つ０番目の参照フレームにおける符号化対象ブロックと同一の位置のブロック“Ｃｏｌｏｃａｔｅｄ ｂｌｏｃｋ”における参照フレーム“Ｃｏｌｏｃａｔｅｄ ｂｌｏｃｋ Ｒｅｆ”のピクチャ順ＰｉｃＯｒｄｅｒ（Ｃｏｌｏｃａｔｅｄ ｂｌｏｃｋ Ｒｅｆ）が符号化対象フレームのピクチャ順序ＰｉｃＯｒｄｅｒ（ＣｕｒｒｅｎｔＰｉｃ）よりも小さい場合と、そうでない場合とで、ダイレクトタイプを切り替える。前者は、０番目の参照フレームにおける符号化対象ブロックと同一の位置のブロックが符号化対象フレームを時間的に跨いだ予測が行われていることを示している。
【００４２】
図８の実施形態では、図６の実施形態とほぼ同等の効果があるが、このように時間的に前後に存在するフレームにおける画素ブロックの時間方向の相関の有無に応じてダイレクトタイプを切り替えることで、時間相関を利用した適切なダイレクトモードの設定を行うことが可能となる。
【００４３】
図９の実施形態では、すでに符号化済みの同一フレーム内における隣接画素ブロックの動きベクトルの大きさを計算し（ステップＳ５０）、動きベクトルの大きさが所定値を超える場合と超えない場合とで、ダイレクトタイプの切り替えを行う。すなわち、動き量が大きい場合は、空間相関を利用したダイレクトタイプ（モード３）を選択し、動き量が小さい場合は、時間相関を利用したダイレクトタイプ（モード１）とする。動きが大きい場合、隣接画素ブロックとの相関は強いが、フレーム間の同一位置のブロック間での相関は小さくなり、逆に、動きが小さい場合は、フレーム間の同一位置のブロック間での相関が大きくなる。このような動画像の特性に合わせて、ダイレクトモードの自動的な切り替えを行うことで、ダイレクトモードの選択頻度を高め、動きベクトル等の動き補償情報を符号化するための符号化オーバーヘッドを低減し、符号化効率をより向上させることが可能となる。
【００４４】
図１０、図１１及び図１２の実施形態では、図６、図７及び図８の実施形態と図９の実施形態とをそれぞれ組み合わせた構成となっている。このような構成とすることで、時間的に過去からの相関、時間的に前後の相関、及び空間相関のうちの最適な相関を用いたダイレクトタイプが画像の性質に合わせて画素ブロック毎に適応的に選択され、より符号化効率を向上させる効果がある。
【００４５】
図１３は、図４におけるダイレクトモードの動き補償パラメータ決定ステップ（Ｓ３）及びダイレクトモードコスト計算（Ｓ４）の実施形態の詳細を示すものである。上記で説明したダイレクトモードタイプ決定ステップ（Ｓ２）に従って決定されたダイレクトタイプに応じて（ステップＳ９０）、参照フレームの決定（Ｓ９１又はＳ９２又はＳ９３）と、動きベクトルの決定（Ｓ９４又はＳ９５又はＳ９６）を行い、決定された参照フレーム及び動きベクトルを用いて、予測画像の生成（ステップＳ９７）、符号化対象画素ブロックとの予測誤差信号生成（ステップＳ９８）、符号化コストの計算（ステップＳ９９）を順次行う。
【００４６】
次に、各ダイレクトタイプの参照フレーム及び動きベクトルの決定方法の詳細について説明する。
図１４及び図１５は、時間的に前後フレームの相関を用いたダイレクトタイプモード１、図１６及び図１７は、時間的に過去からの相関を用いたダイレクトタイプモード２、図１８及び図１９は、空間相関を用いたダイレクトタイプモード３の参照フレーム及び動きベクトルの決定方法の実施形態をそれぞれ説明する図である。
【００４７】
図１４では、図中の１２が符号化対象フレーム、１３が未来の参照フレーム、１０が過去の参照フレームを示しており、フレーム１０，１１，１２，１３の順がフレームの表示順である。一方、符号化はフレーム１０，１３，１１，１２の順序で行われる。図中１４が符号化対象画素ブロックであり、また１５は後方参照フレーム１３における符号化対象ブロック１４と同一位置の画素ブロックを示している。画素ブロック１５はフレーム１０を参照フレームとし、動きベクトル１６を用いた動き補償予測符号化がなされている。
【００４８】
画素ブロック１４におけるダイレクトモードでは、フレーム１０及びフレーム１３を用いた内挿予測が行われ、その際に動きベクトル１６をフレーム間距離の比に応じてスケーリングした動きベクトル１７及び１８がそれぞれ用いられる。すなわち、動きベクトル１７は動きベクトル１６をＤ２／Ｄ１倍し、動きベクトル１８は動きベクトル１６を−Ｄ３／Ｄ１倍することで得られる。ここで、Ｄ１，Ｄ２，Ｄ３はそれぞれフレーム１０からフレーム１３、フレーム１０からフレーム１２、フレーム１２からフレーム１３のフレーム間距離を示している。
【００４９】
図１５では、図中の３２が符号化対象フレーム、３３が未来の参照フレーム、３０及び３１が過去の参照フレームを示しており、フレーム３０，３１，３２，３３の順がフレームの表示順である。一方、符号化はフレーム３０，３１，３３，３２の順序で行われる。図中３４が符号化対象画素ブロックであり、また３５は後方参照フレーム３３における符号化対象ブロック３４と同一位置の画素ブロックを示している。
【００５０】
画素ブロック３５は、動きベクトル３６及び３７を用いて参照フレーム３０及び３１からそれぞれ参照ブロックを切り出し、それらの線形和による予測信号を用いた符号化がなされている。
画素ブロック３４におけるダイレクトモードでは、画素ブロック３５の２つの動きベクトルのうちどちらか一方を選択し（ここでは、参照フレームまでの距離が小さい動きベクトル３７を用いるものとする）、選択された動きベクトルを図１４の例と同様にスケーリングして、フレーム３１及びフレーム３３を用いた内挿予測が行われる。
【００５１】
図１６では、図中の２３が符号化対象フレーム、２０，２１及び２２が過去の参照フレームを示しており、フレーム２０，２１，２２，２３の順で表示及び符号化が行われる。従って、未来の参照フレームは存在しない。図中２５が符号化対象画素ブロックであり、また２４は直前の参照フレーム２２における符号化対象ブロック２５と同一位置の画素ブロックを示している。
【００５２】
画素ブロック２４は、動きベクトル２７を用いて、フレーム２０を参照フレームとする予測符号化が行われている。
画素ブロック２５におけるダイレクトモードでは、画素ブロック２４と同様の相対関係で参照フレームが決定され、画素ブロック２４の動きベクトルを用いて動き補償予測符号化が行われる。すなわち、画素ブロック２５における動きベクトル２６は動きベクトル２７と同一の動きベクトルであり、画素ブロック２４では２フレーム前のフレーム２０を参照しているので、画素ブロック２５ではそのフレームの２フレーム前、すなわちフレーム２１を参照フレームとして用いる。
【００５３】
図１７では、図中の４３が符号化対象フレーム、４０、４１及び４２が過去の参照フレームを示しており、フレーム４０，４１，４２，４３の順で表示及び符号化が行われる。従って、図１６と同様に未来の参照フレームは存在しない。図中４５が符号化対象画素ブロックであり、また４４は直前の参照フレーム４２における符号化対象ブロック４５と同一位置の画素ブロックを示している。
【００５４】
画素ブロック４４は、動きベクトル４８および４９を用いて、フレーム４０及び４１を参照フレームとする線形和による予測符号化が行われている。
画素ブロック４５におけるダイレクトモードでは、画素ブロック４４と同様の相対関係で参照フレームが決定され、画素ブロック４４の動きベクトル及び予測モードを用いて動き補償予測符号化が行われる。すなわち、画素ブロック４５における動きベクトル４６及び４７は、それぞれ動きベクトル４８及び４９と同一の動きベクトルである。画素ブロック４４では２フレーム前のフレーム４０及び１フレーム前のフレーム４１を参照しているので、画素ブロック４５ではそのフレームの２フレーム前の４１と、１フレーム前の参照フレーム４２を用いた線形和による予測符号化が行われる。
【００５５】
図１８では、図中の４００が符号化対象フレーム、４０１、４０２及び４０３が過去の参照フレームを示しており、フレーム４０３，４０２，４０１，４００の順で表示及び符号化が行われる。従って、図１６、図１７と同様に未来の参照フレームは存在しない。図中４０５が符号化対象画素ブロックであり、また４０４、４０６等は既に符号化された同一フレーム内の画素ブロックを示している。図１８の実施形態におけるダイレクトモードでは、符号化済みの隣接画素ブロックのうち、時間的に近いフレームを参照する画素ブロックの動きベクトルを用いて、予測符号化を行う。
【００５６】
図１８の例では、画素ブロック４０６が直前のフレーム４０１のみを用いて予測符号化を行っており、画素ブロック４０５におけるダイレクトモードでは動きベクトル４１１を用いてフレーム４０１を参照する予測符号化が行われる。
【００５７】
図１９では、図中の５０２が符号化対象フレーム、５０３及び５０４が過去の参照フレームを示しており、５０１が未来の参照フレームを示している。フレーム５０４、５０３，５０２，５０１の順で表示される。一方、符号化はフレーム５０４，５０３，５０１，５０２の順で行われる。図中５０６が符号化対象画素ブロックであり、また５０５、５０７等は既に符号化された同一フレーム内の画素ブロックを示している。
【００５８】
図１９の実施形態におけるダイレクトモードでは、符号化済みの隣接画素ブロックのうち、時間的に近い過去及び未来のフレームをそれぞれ参照する画素ブロックの動きベクトルを用いて、予測符号化を行う。図１８の例では、画素ブロック５０５が直前のフレーム５０３を用いて予測符号化を行っており、また画素ブロック５０７は、直後のフレーム５０１を用いて予測符号化が行われている。従って、画素ブロック５０６におけるダイレクトモードでは、動きベクトル５０８と５１０とを用いてフレーム５０３及び５０１をそれぞれ用いた内挿予測による符号化が行われる。
【００５９】
図２０は、本発明に係る動画像復号化装置の構成を示すブロック図であり、上記説明した本発明の実施形態にかかわる動画像符号化装置で符号化された動画像データを復号化するものである。
【００６０】
入力された符号化データはバッファ３０１、多重化分離部３０２を介して可変長復号化部３０３に入力され、可変長符号の復号化が行われる。可変長復号化部３０３からは、量子化された直交変換係数、予測モード情報、動きベクトル情報、参照フレーム情報及び予測係数情報等が出力される。
【００６１】
量子化された直交変換係数は、逆量子化３０４、逆直交変換３０５が施された後、動き補償予測ブロック毎に、フレームメモリ／予測画像生成部で生成された予測画像との加算を行い、再生画像が生成される。予測画像生成部では、予測モード、動きベクトル、参照フレーム情報及び予測係数情報等を用いて、予測ブロック信号を生成する。また、予測モードがダイレクトモードである場合、上述した符号化装置の場合と同様に、フレーム間予測構造や隣接画素ブロックの動き補償パラメータ等からダイレクトタイプを決定し、決定されたダイレクトタイプに従って参照フレーム及び動きベクトルの生成を行い、生成された動き補償パラメータを用いて予測信号を生成して復号化を行う。
【００６２】
図２１は、本発明の実施形態に係る動画像復号化装置における、画素ブロック毎の予測復号化の処理手順を示したフローチャートである。
スライス内のおける画素ブロック毎に、符号化データから予測モード情報の読み込みを行い （ステップＳ１００）、予測モードがダイレクトモードか否かの判断を行う（ステップＳ１０１）。ダイレクトモードでない通常の予測符号化の場合は、符号化データから参照フレーム、動きベクトル情報等の動き補償パラメータの読み込みを行い（ステップＳ１０２）、該パラメータに従って予測画像の生成を行い（ステップＳ１０５）、生成された予測信号と復号化された予測誤差信号を加算することで、画素ブロックの復号化（ステップＳ１０６）を行う。
【００６３】
一方、予測モードがダイレクトモードの場合は、符号化時と同様に、ダイレクトタイプの決定（ステップＳ１０３）、及び動き補償パラメータの生成（ステップＳ１０４）を行い、生成された動き補償パラメータを用いて、予測画像生成（ステップＳ１０５）及び予測復号化（ステップＳ１０６）を行う。なお、ダイレクトタイプの決定（ステップＳ１０３）及び動き補償パラメータの生成（ステップＳ１０４）は、図６から図１９で示した符号化装置のダイレクトタイプの決定及び動き補償パラメータの生成と全く同様に行われる。
【００６４】
以下、時間相関を利用したダイレクトモードにおける動き補償予測パラメータの生成において、動き補償予測パラメータの予測元となる参照フレームの決定方法について説明する。
【００６５】
（予測元とする参照フレームの基準）
予測対象が、複数の過去からの参照フレームのみで予測画像を作成する方式である場合、選択可能な参照フレームのうち、時間的に最後に符号化された参照フレームの空間的に同じ位置のマクロブロックを予測元とする。
予測元となる参照フレームを選択する基準としては、選択可能な参照フレームのうち、最も参照フレーム情報が短い符号語長で符号化可能なものを選択する基準や、最も小さい参照フレーム番号を選択する基準であってもよい。
【００６６】
（フィールド符号化の場合の予測元とする参照フィールドの基準）
入力動画像信号がインターレース信号であり、フィールド単位で符号化が行われる場合の実施の形態である。インターレース信号の場合、予測元をフィールド内の空間的に同じ位置とすることが望ましい。従って、予測対象が複数の過去からの参照フレーム／フィールドのみで予測画像を作成する方式である場合、選択可能な参照フィールドのうち、時間的に最後に符号化された同じ位相の参照フィールドの空間的に同じ位置のマクロブロックを予測元とすればよい。
【００６７】
予測元となる参照フィールドを選択する基準としては、選択可能な参照フィールドのうち、最も参照フィールド情報が短い符号語長で符号化可能なものを選択する基準や、最も小さい参照フィールド番号を選択する基準であってもよい。
【００６８】
次に、復号化器におけるフレームメモリ／予測画像作成部での動き補償予測情報の生成方法について説明する。
（予測元とする参照フレームの基準）
予測対象が複数の過去からの参照フレームのみで予測画像を作成する方式である場合、選択可能な参照フレームのうち、時間的に最後に復号された参照フレームの空間的に同じ位置のマクロブロックを予測元とする。
【００６９】
予測元となる参照フレームを選択する基準としては、選択可能な参照フレームのうち、最も参照フレーム情報が短い符号語長で符号化可能なものを選択する基準や、最も小さい参照フレーム番号を選択する基準であってもよい。ただし、符号化器と同じ基準が採用されなければならない。
【００７０】
（フィールド符号化の場合の予測元とする参照フィールドの基準）
入力動画像信号がインターレース信号であり、フィールド単位で復号が行われる場合の実施の形態である。インターレース信号の場合、予測元をフィールド内の空間的に同じ位置とすることが望ましい。従って、予測対象が複数の過去からの参照フレーム／フィールドのみで予測画像を作成する方式である場合、選択可能な参照フィールドのうち、時間的に最後に復号された同じ位相の参照フィールドの空間的に同じ位置のマクロブロックを予測元とすればよい。
【００７１】
予測元となる参照フィールドを選択する基準としては、選択可能な参照フィールドのうち、最も参照フィールド情報が短い符号語長で符号化可能なものを選択する基準や、最も小さい参照フィールド番号を選択する基準であってもよい。ただし、符号化器と同じ基準が採用されなければならない。
【００７２】
【発明の効果】
以上説明したように、本発明によればフレーム間予測の構造や、周辺ブロックの動き情報を用いて適応的に動き補償パラメータの推定を行うことで、フレーム間予測構造や画像の性質によらず、安定して効率的な動き補償情報の推定が可能となり、高能率な動画像符号化及び復号化方法を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る動画像符号化装置の構成を示すブロック図
【図２】本発明の実施形態に係る動き補償予測を説明する図
【図３】本発明の実施形態に係る動き補償予測を説明する図
【図４】本発明の実施形態に係る動画像符号化装置の予測モード決定処理のフローチャート
【図５】本発明の実施形態に係る動画像符号化装置の予測モード決定処理のフローチャート
【図６】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図７】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図８】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図９】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図１０】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図１１】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図１２】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図１３】本発明の実施形態に係るダイレクトモードにおける符号化処理のフローチャート
【図１４】本発明の実施形態に係るダイレクトモード予測を説明する図
【図１５】本発明の実施形態に係るダイレクトモード予測を説明する図
【図１６】本発明の実施形態に係るダイレクトモード予測を説明する図
【図１７】本発明の実施形態に係るダイレクトモード予測を説明する図
【図１８】本発明の実施形態に係るダイレクトモード予測を説明する図
【図１９】本発明の実施形態に係るダイレクトモード予測を説明する図
【図２０】本発明の実施形態に係る動画像復号化装置の構成を示すブロック図
【図２１】本発明の実施形態に係る画素ブロック毎の復号化処理のフローチャートを示す図
【符号の説明】
２０３…直交変換部
２０４…量子化部
２０５…逆量子化部
２０６…逆直交変換部
２０８…フレームメモリ／予測画像作成部
２１０…モード選択部
２１１…可変長符号化部
２１２…符号化制御部
２１４…多重化部
２１５…出力バッファ
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…逆直交変換部
３０８…フレームメモリ／予測画像作成部
【発明の属する技術の分野】
本発明は、動画像符号化方法及び復号化方法に係り、特に複数の参照フレームを利用する動き補償予測フレーム間符号化方法および復号化方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ４ （ＩＳＯ／ＩＥＣ １４４９６−２）や、ＭＰＥＧ４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｈ．２６４／ＩＳＯ／ＩＥＣ１４４９６−１０）などの動画像符号化方式では、複数の参照フレームや複数の予測モードを用いて、画素ブロック単位に最適な予測モードや参照フレームを選択して符号化することで、予測効率を向上させて高能率な圧縮符号化を実現している。このような符号化方式では、参照フレームや予測モードを識別するため、符号化ブロック毎にこれらを識別する識別情報と動きベクトルの情報（以下、動き補償予測情報と呼ぶ）を符号化する必要がある。
【０００３】
より予測効率を向上させるため、予測モードの種類を増やしたり、動きベクトルの情報をより小さなブロック毎に符号化しようとすると、これらの動き補償予測情報の符号量が増大するというトレードオフが発生し、予測効率の向上と動き補償予測情報の符号量の増加とが相殺して、トータルの符号化効率が向上しないという事態を招いてしまう。
【０００４】
動き補償予測情報の符号量の増大を回避するため、現ブロックの動き補償情報は符号化せずに、既に符号化された周辺画素ブロック又は既に符号化された他のフレームにおける動き補償予測情報を用いて、現ブロックの動き補償予測情報を自動生成する方法などが用いられる。
【０００５】
ＭＰＥＧ４動画像符号化では、ダイレクトモードやスキップドマクロブロックと呼ばれる予測モードにおいて、動き補償情報を符号化せずに、隣接ブロックあるいは近傍フレームから動き補償情報を生成する方式が採用されている。動き補償情報の生成では、フレーム内あるいはフレーム間の画素ブロック毎の動き補償情報の相関を仮定して、一定のルールに従って周辺の動き補償情報から動き補償パラメータの推定を行う。符号化時と復号化時で同一の推定ルールを用いることで、正常に動き補償予測を行い復号化することが可能となる。
【０００６】
ＩＳＯ／ＩＥＣ ＭＰＥＧ−４の動画像符号化標準方式では、ダイレクトモードが符号化モードの一つとして双方向予測フレーム間符号化（Ｂピクチャ）で用いられる。この符号化は、最も時間的に近いフレーム内符号化フレーム（Ｉピクチャ）、またはフレーム間予測符号化フレーム（Ｐピクチャ）のフレーム上の空間的に同じ位置のマクロブロックを予測元として、動き補償予測情報を生成する。この手法により、動きベクトル情報などの付加情報の時間的な冗長度を減らすことができる。具体的には、予測元マクロブロックがフレーム間予測符号化フレーム（Ｐピクチャ）であった場合に、その動きベクトルを予測対象マクロブロックの時間的位置にあわせてスケーリングを行い、動き補償予測情報が生成される。
【０００７】
この手法の問題としては、予測対象マクロブロックが予測元のマクロブロックと予測元のマクロブロックの参照フレームに必ず時間的に挟まれるような位置にあることを前提にしている点が上げられる。従って、予測対象マクロブロックが複数の時間的に過去の参照フレームからのみ予測されている場合や、予測元のマクロブロックが複数の参照フレームを持っている場合には、どのように動き補償予測情報を生成すればよいか明らかではなかった。
【０００８】
【発明が解決しようとする課題】
上述したように、動き補償情報の符号化オーバーヘッド削減のために、動き補償情報の推定を行う場合は、推定ルールの性質、すなわち適切な動き予測情報が自動的に生成出来るか否かに応じて、符号化効率が大きく左右される。動き補償情報の推定が適切でない場合、符号化効率が悪化し、画質劣化や符号量の増大を招くという問題がある。
【０００９】
また、ダイレクトモードを実現する時に、予測対象が複数の時間的に過去からの参照フレームのみで予測画像を作成する方式である場合や、予測元が複数の参照フレームを持っている場合に、適切なダイレクトモードを実現することができないという問題点があった。
【００１０】
本発明では、フレーム間予測の構造や周辺ブロックの動き情報を用いて、適応的に動き補償パラメータの推定を行うことで、フレーム間予測構造や画像の性質によらず安定して効率的な動き補償情報の推定が可能となる高能率な動画像符号化及び復号化方法を提供することを目的とする。
【００１１】
また、本発明は特にダイレクトモードに関して、予測対象が複数の時間的に過去からの参照フレームのみで予測画像を作成する方式である場合や、予測元が複数の参照フレームを持っている場合に、適切なダイレクトモードを実現し、高効率の符号化を可能とする動画像符号化及び復号化方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するため、本発明の第１の態様では動画像符号化側において入力動画像信号に対して複数の参照フレーム及び該入力動画像信号と該参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、前記複数の参照フレームの内、最も直前に符号化されたフレームの、符号化対象の位置とフレーム内で同一位置の符号化情報を用いて動き補償予測を行い、前記符号化情報は、動きベクトル情報、参照フレーム選択情報、及び画素ブロック形状情報の少なくとも１つを用いる。
このことにより、複数の参照フレームを有する動画像符号化方式においても適切なダイレクトモードに基づく効率のよい動き補償の予測を行うことができる。
【００１３】
一方、動画像復号化側では動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、参照フレーム選択情報、及び画素ブロック形状情報を含む符号化情報を復号化するステップと、前記ステップによって復号された参照フレームの内、最も直前に復号化されたフレームの、復号化対象の位置とフレーム内で同一位置の符号化情報に従って予測画像信号を生成するステップと、前記予測誤差信号及び予測画像信号を用いて再生動画像信号を生成するステップを行う。
このことにより、復号側においても、複数の参照フレームを有する動画像符号化方式において適切なダイレクトモードに基づく効率のよい動き補償の予測の再生を行うことができる。
【００１４】
本発明の第２の態様では、入力動画像信号がインターレース信号の場合に入力動画像信号に対して複数の参照フィールド及び該入力動画像信号と該参照フィールドとの間の動きベクトルを用いて動き補償予測フィールド間符号化を行う動画像符号化方法において、前記複数の参照フィールドの内、同じ位相でかつ最も直前に符号化されたフィールドの、符号化対象の位置とフィールド内で同一位置の符号化情報を用いて動き補償予測を行い、前記符号化情報としては、動きベクトル情報、参照フィールド選択情報、及び画素ブロック形状情報の少なくとも１つを用いる。
このことにより、入力動画像信号がインターレース信号の場合にも、複数の参照フィールドを有する動画像符号化方式においても適切なダイレクトモードに基づく効率のよい動き補償の予測を行うことができる。
【００１５】
動画像復号化側では、符号化された動画像信号がインターレース信号の場合に動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、参照フィールド選択情報、及び画素ブロック形状情報を含む符号化情報を復号化するステップと、前記ステップによって復号された参照フィールドの内、同じ位相でかつ最も直前に復号化されたフィールドの、復号化対象の位置とフィールド内で同一位置の符号化情報に従って予測画像信号を生成するステップと、前記予測誤差信号及び予測画像信号を用いて再生動画像信号を生成するステップとを行う。
このことにより、入力動画像信号がインターレース信号の場合にも、復号側で、複数の参照フィールドを有する動画像符号化方式において適切なダイレクトモードに基づく効率のよい動き補償の予測の再生を行うことができる。
【００１６】
このように本発明によると、特にダイレクトモードに関して、予測対象が複数の時間的に過去からの参照フレームのみで予測画像を作成する方式である場合や、予測元が複数の参照フレームを持っている場合に、適切なダイレクトモードを実現し、高効率の符号化を可能とする動画像符号化及び動画像復号化を実現することが可能となる。
【００１７】
また、本発明では複数の参照フレームを用いる動き補償予測動画像符号化又は復号化方法において、符号化対象画素ブロックの動きベクトルまたは参照フレーム選択情報の少なくとも１つを、符号化対象画素ブロックに隣接する符号化対象フレーム内の既に符号化された複数の画素ブロック、あるいは、参照フレームにおける符号化対象画素ブロックと同一位置の画素ブロックの動きベクトル情報または参照フレーム選択情報から決定し、前記動きベクトル情報または参照フレーム選択情報の決定方法が前記複数の参照フレームのうち、所定の参照フレームが、符号化対象フレームより前のフレームか、あるいは後のフレームかに応じて切り替わることを特徴とする。
【００１８】
また、複数の参照フレームを用いる動き補償予測動画像符号化方法又は復号化方法において、符号化対象画素ブロックの動きベクトルまたは参照フレーム選択情報の少なくとも１つを、符号化対象画素ブロックに隣接する符号化対象フレーム内の既に符号化された複数の画素ブロック、あるいは、参照フレームにおける符号化対象画素ブロックと同一位置の画素ブロックの、動きベクトル情報または参照フレーム選択情報から決定し、前記参照フレームにおける前記符号化対象画素ブロックと同一位置の画素ブロックにおいて、符号化対象フレームを跨いだ動き補償が行われているか否かに応じて、前記動きベクトル情報または参照フレーム選択情報の決定方法が切り替わることを特徴とする。
【００１９】
また、複数の参照フレームを用いる動き補償予測動画像符号化方法又は復号化方法において、符号化対象の画素ブロックに隣接する既に符号化された複数の画素ブロックにおける動きベクトルの大きさに応じて、前記隣接する複数の画素ブロックの動きベクトル情報及び参照フレーム選択情報から、符号化対象の画素ブロックの動きベクトル及び参照フレームを決定するか、或いは、参照フレームにおける符号化対象マクロブロックと同一位置の画素ブロックにおける動きベクトル情報及び参照フレーム選択情報から、符号化対象の画素ブロックの動きベクトル及び参照フレームを決定するかを、切り替えることを特徴とする。
【００２０】
【発明の実施の形態】
図１は、本発明の実施形態に係る動画像符号化装置の構成を示すブロック図である。まず、図１の構成の概要について説明する。
入力画像信号は微小画素ブロックに分割され、画素ブロック毎にフレームメモリ２０８に記録された複数の参照フレームを用いて、動きベクトルの検出及び複数の予測モードの中から最適な予測モードの選択が行われ、検出された動きベクトル及び予測モードを用いて予測画像が生成される。予測画像と入力画像との予測誤差信号が減算部２０１によって計算され、直交変換部２０３により予測誤差信号に対して直交変換（例えば、ＤＣＴ変換）が施される。
【００２１】
直交変換係数は量子化部２０４により量子化され、量子化された直交変換係数は予測モード情報、動きベクトル情報、参照フレーム及び予測係数情報などの動き補償予測方法に関する情報とともに、可変長符号化部２１１により可変長符号化される。これらの符号化情報は多重化部２１４により多重化され、出力バッファ２１５を介して符号化データとして出力される。
【００２２】
量子化された直交変換係数は、一方で逆量子化部２０５、逆直交変換部２０６、動き補償予測復号化部２０７により復号化処理が施され、参照フレームとしてフレームメモリ２０８に保存される。符号化制御部２１２は、発生符号量のフィードバックにより量子化特性を制御して発生符号量の制御を行うレート制御や、フレーム間予測構造の制御等、符号化部２１６に対する全体の制御を行う。
【００２３】
次に、図２〜図３を用いて具体的な予測モードの説明を行う。
本実施形態では、画素ブロック毎に複数の参照フレームの中から１つまたは２つの参照フレームを選択し、選択された参照フレームに対して動き補償のための動きベクトルの検出を行い、検出された動きベクトルを用いて、選択した参照フレームから参照画素ブロックを切り出す。参照フレームが２つ選択された画素ブロックでは、２つの参照画素ブロックを切り出し、切り出された参照画素ブロックの線形和により予測信号を生成する。
【００２４】
図２は、時間的に過去の複数フレームからの予測のみを行う例であり、１００は符号化対象のフレームを示しており、１０１から１０３がそれぞれ参照フレームを示している。また、１０４、１０５、１０６はそれぞれ符号化対象の画素ブロックを示している。画素ブロック１０４については、参照フレームが１０１であり、動きベクトル１０７を用いた１フレームの予測であるという予測モード情報が符号化される。画素ブロック１０５については、参照フレームが１０３であり、動きベクトル１０８を用いた１フレームの予測であるという予測モード情報が符号化される。画素ブロック１０６については、参照フレームが１０２と１０１であり、動きベクトル１０９および１１０を用いた２フレームの予測であるという予測モード情報が符号化される。
【００２５】
図３は、時間的に過去及び未来の複数フレームからの予測を行う例であり、１２０は符号化対象のフレームを示しており、１２１から１２３がそれぞれ参照フレームを示している。また、１２４、１２５、１２６はそれぞれ符号化対象の画素ブロックを示している。画素ブロック１２４については、前方参照フレーム１２１に対して、動きベクトル１２７を用いた１フレームの予測であるという予測モード情報が符号化される。画素ブロック１２５については、後方参照フレーム１２３に対して、動きベクトル１２８を用いた１フレームの予測であるという予測モード情報が符号化される。画素ブロック１２６については、前方参照フレーム１２２及び後方参照フレーム１２１を用いて、それぞれ動きベクトル１２９および１３０を用いた２フレームの予測であるという予測モード情報が符号化される。
【００２６】
このように画素ブロック毎に動きベクトル、参照フレーム、予測モードの情報を符号化すると、これらの情報を符号化するオーバーヘッドが大きくなり、符号化効率の向上を妨げる原因となる。そこで、本実施形態では特定の条件を満たす画素ブロックでは、これらの動き補償に関する情報を一切符号化せず、復号化時は隣接画素ブロック、あるいは復号化済みフレームの画素ブロックの動きベクトル、参照フレーム、予測モードの情報から、復号化対象画素ブロックの動きベクトル、参照フレーム、予測モードを決定して復号化を行う特別な符号化モード（以下、ダイレクトモードと呼ぶ）を導入し、符号化効率の向上を図る。
【００２７】
本実施形態では、さらに複数のダイレクトモード、すなわち復号化時における動きベクトル、参照フレーム、予測モードの決定手段を複数有し、これらを所定の条件により適切に切り替えることで、更なる符号化効率の向上が可能となっている。以下、その具体例について説明する。
【００２８】
図４は、本発明の実施形態に関わる符号化装置における予測モード決定手順の概要を示すフローチャートである。各符号化フレームを１つまたは複数の領域（以下、スライスと呼ぶ）に分割し、各スライスをさらに複数の画素ブロックに分割して、画素ブロック単位にダイレクトモードを含む複数の予測モードから１つの予測モードを選択して符号化を行う。
図４では、符号化すべき画素ブロック毎に、通常の予測モードの中から符号化効率が高く符号化コストが最も少ない、すなわち発生符号量が少なく且つ画質の良い予測モードを１つ選択する（ステップＳ１）。
【００２９】
また、各種の条件に従ってダイレクトモードタイプの決定（ステップＳ２）を行い、決定されたダイレクトモードタイプに応じて、動きベクトルや参照フレームなどの動き補償パラメータの生成を行い（ステップＳ３）、生成された動き補償パラメータを用いた予測符号化におけるコスト計算、すなわちダイレクトモードを用いた場合の符号化効率を計算する（ステップＳ４）。
【００３０】
次に、ステップＳ１で選択された予測モードにおける符号化コストと、ステップＳ４で求めたダイレクトモードにおける符号化コストの比較を行って最終的な予測モードを決定し（ステップＳ５）、決定された予測モードを用いて該画素ブロックの動き補償予測符号化を行う（ステップＳ６）。上記の処理をスライス内の全ブロックについて順次行い、スライス内の全てのブロックの符号化が終了すると、次のスライスの符号化へと進む（ステップＳ７）。
【００３１】
次に、図４のフローチャートの各処理の詳細について説明する。
図５は、図４におけるステップＳ１の詳細処理を示すフローチャートであり、画素ブロック毎に図５の処理が行われる。まず、最小符号化コストＭｉｎＣｏｓｔの初期値に最大値を設定（ステップＳ１０）、予測ブロックの形状モードを示すインデックスＢｌｏｃｋＴｙｐｅに０を設定（ステップＳ１１）、参照フレームを識別するインデックスＲｅｆＦｒａｍｅに０を設定する（ステップＳ１２）。
【００３２】
次に、設定されたブロック形状及び参照フレームを用いて動きベクトルの検出を行い（ステップＳ１３）、検出された動きベクトルを用いて予測信号を生成し（ステップＳ１４）、予測信号と符号化対象ブロックの信号から予測誤差信号を生成し（ステップＳ１５）、該予測モードにおける符号化コスト計算を行う（ステップＳ１６）。符号化コストがそれまでの最小コストＭｉｎＣｏｓｔを下回れば、最適なブロック形状のインデックスＢｅｓｔＢｌｏｃｋＴｙｐｅと、最適な参照フレームのインデックスＢｅｓｔＲｅｆＦｒａｍｅの更新を行う（ステップＳ１７，Ｓ１８）。
【００３３】
次に、参照フレームのインデックスを更新して（ステップＳ１９）、全ての参照フレームに対し再度動き検出及びコスト計算を繰り返す（ステップＳ２０）。１つのブロック形状で各々の参照フレームを用いた予測のコスト計算を行った後、ブロック形状を示すインデックスＢｌｏｃｋＴｙｐｅの更新を行い（ステップＳ２１）、再度各々の参照フレームを用いた予測のコスト計算を全ブロック形状について行う（ステップＳ２２）。
【００３４】
図５の処理が終了した時点で、その符号化ブロックに対する最適なブロック形状ＢｅｓｔＢｌｏｃｋＴｙｐｅと、最適な参照フレームＢｅｓｔＲｅｆＦｒａｍｅが決定される。動きベクトル、ブロック形状及び参照フレームの識別情報は、通常の予測モードでは符号化ブロック毎にヘッダ情報として符号化される。
【００３５】
図６〜図１２は、図４におけるダイレクトモードタイプ決定ステップ（Ｓ２）の複数の実施形態の詳細を示すものである。ダイレクトモードでは、通常の予測モードとは異なり、動きベクトル、ブロック形状及び参照フレームの識別情報等は符号化されず、周辺の画素ブロックの動き補償予測情報等を用いて自動生成される。
【００３６】
本実施形態では、ダイレクトモードにおける動き補償パラメータの自動生成方法（以下、ダイレクトタイプ）が複数用意され、それらがフレーム間予測構造の情報や、周辺の画素ブロックの情報に従って適応的に切り替わる。ダイレクトタイプの決定方法や、各ダイレクトモードにおける動き補償パラメータの決定方法はルールとして定義され、符号化時と復号化時において同一のパラメータが生成される。
【００３７】
ダイレクトモードを用いることで、動き補償パラメータを符号化するオーバーヘッドが低減でき、符号化効率の向上が可能となるとともに、複数のダイレクトタイプが適応的に切り替わることで、画像の性質に合わせたダイレクトモードが自動的に選択され、より符号化効率を向上させることが可能となる。
【００３８】
なお、図６〜図１２において、同一のダイレクトタイプ（モード１、モード２及びモード３）はそれぞれ同一の予測方法を示しており、モード１では時間方法の前後の相関、モード２では時間方向の過去の相関、モード３では空間相関をそれぞれ利用して動き補償パラメータの生成を行う。各モードの詳細については、後述する。
【００３９】
図６の実施形態では、符号化対象フレームに対して時間的に後方（未来）の参照フレームが存在するか否か（ステップＳ４０）に応じて、ダイレクトタイプがモード１とモード２に切り替わる。これによりフレーム間予測構造の違い、すなわち過去のフレームからだけの予測か、未来の参照フレームもあるのかの違いを考慮した最適なダイレクトモードのタイプを設定することが可能となる。すなわち、未来に参照フレームがあれば時間方向の前後の相関を利用し、未来の参照フレームがなければ時間的に過去からの相関を用いて、動き補償パラメータの生成が行われる。
【００４０】
図７の実施形態では、現在の符号化フレームに対する０番目の参照フレームＬ１Ｒｅｆ（０）のピクチャ順序ＰｉｃＯｒｄｅｒ（Ｌ１Ｒｅｆ（０））が符号化対象フレームのピクチャ順序ＰｉｃＯｒｄｅｒ（ＣｕｒｒｅｎｔＰｉｃ）よりも大きい場合と、そうでない場合とでダイレクトタイプを切り替える。図７の実施形態は、図６の実施形態とほぼ同等の効果があるが、０番目の参照フレームを未来のフレームに設定するか、あるいは過去のフレームに設定するかで、ダイレクトタイプの設定を柔軟に切り替えることを可能としている。
【００４１】
図８の実施形態では、現在の符号化フレームに対する０番目の参照フレームＬ１Ｒｅｆ（０）のピクチャ順序ＰｉｃＯｒｄｅｒ（Ｌ１Ｒｅｆ（０））が符号化対象フレームのピクチャ順序ＰｉｃＯｒｄｅｒ（ＣｕｒｒｅｎｔＰｉｃ）よりも大きく、且つ０番目の参照フレームにおける符号化対象ブロックと同一の位置のブロック“Ｃｏｌｏｃａｔｅｄ ｂｌｏｃｋ”における参照フレーム“Ｃｏｌｏｃａｔｅｄ ｂｌｏｃｋ Ｒｅｆ”のピクチャ順ＰｉｃＯｒｄｅｒ（Ｃｏｌｏｃａｔｅｄ ｂｌｏｃｋ Ｒｅｆ）が符号化対象フレームのピクチャ順序ＰｉｃＯｒｄｅｒ（ＣｕｒｒｅｎｔＰｉｃ）よりも小さい場合と、そうでない場合とで、ダイレクトタイプを切り替える。前者は、０番目の参照フレームにおける符号化対象ブロックと同一の位置のブロックが符号化対象フレームを時間的に跨いだ予測が行われていることを示している。
【００４２】
図８の実施形態では、図６の実施形態とほぼ同等の効果があるが、このように時間的に前後に存在するフレームにおける画素ブロックの時間方向の相関の有無に応じてダイレクトタイプを切り替えることで、時間相関を利用した適切なダイレクトモードの設定を行うことが可能となる。
【００４３】
図９の実施形態では、すでに符号化済みの同一フレーム内における隣接画素ブロックの動きベクトルの大きさを計算し（ステップＳ５０）、動きベクトルの大きさが所定値を超える場合と超えない場合とで、ダイレクトタイプの切り替えを行う。すなわち、動き量が大きい場合は、空間相関を利用したダイレクトタイプ（モード３）を選択し、動き量が小さい場合は、時間相関を利用したダイレクトタイプ（モード１）とする。動きが大きい場合、隣接画素ブロックとの相関は強いが、フレーム間の同一位置のブロック間での相関は小さくなり、逆に、動きが小さい場合は、フレーム間の同一位置のブロック間での相関が大きくなる。このような動画像の特性に合わせて、ダイレクトモードの自動的な切り替えを行うことで、ダイレクトモードの選択頻度を高め、動きベクトル等の動き補償情報を符号化するための符号化オーバーヘッドを低減し、符号化効率をより向上させることが可能となる。
【００４４】
図１０、図１１及び図１２の実施形態では、図６、図７及び図８の実施形態と図９の実施形態とをそれぞれ組み合わせた構成となっている。このような構成とすることで、時間的に過去からの相関、時間的に前後の相関、及び空間相関のうちの最適な相関を用いたダイレクトタイプが画像の性質に合わせて画素ブロック毎に適応的に選択され、より符号化効率を向上させる効果がある。
【００４５】
図１３は、図４におけるダイレクトモードの動き補償パラメータ決定ステップ（Ｓ３）及びダイレクトモードコスト計算（Ｓ４）の実施形態の詳細を示すものである。上記で説明したダイレクトモードタイプ決定ステップ（Ｓ２）に従って決定されたダイレクトタイプに応じて（ステップＳ９０）、参照フレームの決定（Ｓ９１又はＳ９２又はＳ９３）と、動きベクトルの決定（Ｓ９４又はＳ９５又はＳ９６）を行い、決定された参照フレーム及び動きベクトルを用いて、予測画像の生成（ステップＳ９７）、符号化対象画素ブロックとの予測誤差信号生成（ステップＳ９８）、符号化コストの計算（ステップＳ９９）を順次行う。
【００４６】
次に、各ダイレクトタイプの参照フレーム及び動きベクトルの決定方法の詳細について説明する。
図１４及び図１５は、時間的に前後フレームの相関を用いたダイレクトタイプモード１、図１６及び図１７は、時間的に過去からの相関を用いたダイレクトタイプモード２、図１８及び図１９は、空間相関を用いたダイレクトタイプモード３の参照フレーム及び動きベクトルの決定方法の実施形態をそれぞれ説明する図である。
【００４７】
図１４では、図中の１２が符号化対象フレーム、１３が未来の参照フレーム、１０が過去の参照フレームを示しており、フレーム１０，１１，１２，１３の順がフレームの表示順である。一方、符号化はフレーム１０，１３，１１，１２の順序で行われる。図中１４が符号化対象画素ブロックであり、また１５は後方参照フレーム１３における符号化対象ブロック１４と同一位置の画素ブロックを示している。画素ブロック１５はフレーム１０を参照フレームとし、動きベクトル１６を用いた動き補償予測符号化がなされている。
【００４８】
画素ブロック１４におけるダイレクトモードでは、フレーム１０及びフレーム１３を用いた内挿予測が行われ、その際に動きベクトル１６をフレーム間距離の比に応じてスケーリングした動きベクトル１７及び１８がそれぞれ用いられる。すなわち、動きベクトル１７は動きベクトル１６をＤ２／Ｄ１倍し、動きベクトル１８は動きベクトル１６を−Ｄ３／Ｄ１倍することで得られる。ここで、Ｄ１，Ｄ２，Ｄ３はそれぞれフレーム１０からフレーム１３、フレーム１０からフレーム１２、フレーム１２からフレーム１３のフレーム間距離を示している。
【００４９】
図１５では、図中の３２が符号化対象フレーム、３３が未来の参照フレーム、３０及び３１が過去の参照フレームを示しており、フレーム３０，３１，３２，３３の順がフレームの表示順である。一方、符号化はフレーム３０，３１，３３，３２の順序で行われる。図中３４が符号化対象画素ブロックであり、また３５は後方参照フレーム３３における符号化対象ブロック３４と同一位置の画素ブロックを示している。
【００５０】
画素ブロック３５は、動きベクトル３６及び３７を用いて参照フレーム３０及び３１からそれぞれ参照ブロックを切り出し、それらの線形和による予測信号を用いた符号化がなされている。
画素ブロック３４におけるダイレクトモードでは、画素ブロック３５の２つの動きベクトルのうちどちらか一方を選択し（ここでは、参照フレームまでの距離が小さい動きベクトル３７を用いるものとする）、選択された動きベクトルを図１４の例と同様にスケーリングして、フレーム３１及びフレーム３３を用いた内挿予測が行われる。
【００５１】
図１６では、図中の２３が符号化対象フレーム、２０，２１及び２２が過去の参照フレームを示しており、フレーム２０，２１，２２，２３の順で表示及び符号化が行われる。従って、未来の参照フレームは存在しない。図中２５が符号化対象画素ブロックであり、また２４は直前の参照フレーム２２における符号化対象ブロック２５と同一位置の画素ブロックを示している。
【００５２】
画素ブロック２４は、動きベクトル２７を用いて、フレーム２０を参照フレームとする予測符号化が行われている。
画素ブロック２５におけるダイレクトモードでは、画素ブロック２４と同様の相対関係で参照フレームが決定され、画素ブロック２４の動きベクトルを用いて動き補償予測符号化が行われる。すなわち、画素ブロック２５における動きベクトル２６は動きベクトル２７と同一の動きベクトルであり、画素ブロック２４では２フレーム前のフレーム２０を参照しているので、画素ブロック２５ではそのフレームの２フレーム前、すなわちフレーム２１を参照フレームとして用いる。
【００５３】
図１７では、図中の４３が符号化対象フレーム、４０、４１及び４２が過去の参照フレームを示しており、フレーム４０，４１，４２，４３の順で表示及び符号化が行われる。従って、図１６と同様に未来の参照フレームは存在しない。図中４５が符号化対象画素ブロックであり、また４４は直前の参照フレーム４２における符号化対象ブロック４５と同一位置の画素ブロックを示している。
【００５４】
画素ブロック４４は、動きベクトル４８および４９を用いて、フレーム４０及び４１を参照フレームとする線形和による予測符号化が行われている。
画素ブロック４５におけるダイレクトモードでは、画素ブロック４４と同様の相対関係で参照フレームが決定され、画素ブロック４４の動きベクトル及び予測モードを用いて動き補償予測符号化が行われる。すなわち、画素ブロック４５における動きベクトル４６及び４７は、それぞれ動きベクトル４８及び４９と同一の動きベクトルである。画素ブロック４４では２フレーム前のフレーム４０及び１フレーム前のフレーム４１を参照しているので、画素ブロック４５ではそのフレームの２フレーム前の４１と、１フレーム前の参照フレーム４２を用いた線形和による予測符号化が行われる。
【００５５】
図１８では、図中の４００が符号化対象フレーム、４０１、４０２及び４０３が過去の参照フレームを示しており、フレーム４０３，４０２，４０１，４００の順で表示及び符号化が行われる。従って、図１６、図１７と同様に未来の参照フレームは存在しない。図中４０５が符号化対象画素ブロックであり、また４０４、４０６等は既に符号化された同一フレーム内の画素ブロックを示している。図１８の実施形態におけるダイレクトモードでは、符号化済みの隣接画素ブロックのうち、時間的に近いフレームを参照する画素ブロックの動きベクトルを用いて、予測符号化を行う。
【００５６】
図１８の例では、画素ブロック４０６が直前のフレーム４０１のみを用いて予測符号化を行っており、画素ブロック４０５におけるダイレクトモードでは動きベクトル４１１を用いてフレーム４０１を参照する予測符号化が行われる。
【００５７】
図１９では、図中の５０２が符号化対象フレーム、５０３及び５０４が過去の参照フレームを示しており、５０１が未来の参照フレームを示している。フレーム５０４、５０３，５０２，５０１の順で表示される。一方、符号化はフレーム５０４，５０３，５０１，５０２の順で行われる。図中５０６が符号化対象画素ブロックであり、また５０５、５０７等は既に符号化された同一フレーム内の画素ブロックを示している。
【００５８】
図１９の実施形態におけるダイレクトモードでは、符号化済みの隣接画素ブロックのうち、時間的に近い過去及び未来のフレームをそれぞれ参照する画素ブロックの動きベクトルを用いて、予測符号化を行う。図１８の例では、画素ブロック５０５が直前のフレーム５０３を用いて予測符号化を行っており、また画素ブロック５０７は、直後のフレーム５０１を用いて予測符号化が行われている。従って、画素ブロック５０６におけるダイレクトモードでは、動きベクトル５０８と５１０とを用いてフレーム５０３及び５０１をそれぞれ用いた内挿予測による符号化が行われる。
【００５９】
図２０は、本発明に係る動画像復号化装置の構成を示すブロック図であり、上記説明した本発明の実施形態にかかわる動画像符号化装置で符号化された動画像データを復号化するものである。
【００６０】
入力された符号化データはバッファ３０１、多重化分離部３０２を介して可変長復号化部３０３に入力され、可変長符号の復号化が行われる。可変長復号化部３０３からは、量子化された直交変換係数、予測モード情報、動きベクトル情報、参照フレーム情報及び予測係数情報等が出力される。
【００６１】
量子化された直交変換係数は、逆量子化３０４、逆直交変換３０５が施された後、動き補償予測ブロック毎に、フレームメモリ／予測画像生成部で生成された予測画像との加算を行い、再生画像が生成される。予測画像生成部では、予測モード、動きベクトル、参照フレーム情報及び予測係数情報等を用いて、予測ブロック信号を生成する。また、予測モードがダイレクトモードである場合、上述した符号化装置の場合と同様に、フレーム間予測構造や隣接画素ブロックの動き補償パラメータ等からダイレクトタイプを決定し、決定されたダイレクトタイプに従って参照フレーム及び動きベクトルの生成を行い、生成された動き補償パラメータを用いて予測信号を生成して復号化を行う。
【００６２】
図２１は、本発明の実施形態に係る動画像復号化装置における、画素ブロック毎の予測復号化の処理手順を示したフローチャートである。
スライス内のおける画素ブロック毎に、符号化データから予測モード情報の読み込みを行い （ステップＳ１００）、予測モードがダイレクトモードか否かの判断を行う（ステップＳ１０１）。ダイレクトモードでない通常の予測符号化の場合は、符号化データから参照フレーム、動きベクトル情報等の動き補償パラメータの読み込みを行い（ステップＳ１０２）、該パラメータに従って予測画像の生成を行い（ステップＳ１０５）、生成された予測信号と復号化された予測誤差信号を加算することで、画素ブロックの復号化（ステップＳ１０６）を行う。
【００６３】
一方、予測モードがダイレクトモードの場合は、符号化時と同様に、ダイレクトタイプの決定（ステップＳ１０３）、及び動き補償パラメータの生成（ステップＳ１０４）を行い、生成された動き補償パラメータを用いて、予測画像生成（ステップＳ１０５）及び予測復号化（ステップＳ１０６）を行う。なお、ダイレクトタイプの決定（ステップＳ１０３）及び動き補償パラメータの生成（ステップＳ１０４）は、図６から図１９で示した符号化装置のダイレクトタイプの決定及び動き補償パラメータの生成と全く同様に行われる。
【００６４】
以下、時間相関を利用したダイレクトモードにおける動き補償予測パラメータの生成において、動き補償予測パラメータの予測元となる参照フレームの決定方法について説明する。
【００６５】
（予測元とする参照フレームの基準）
予測対象が、複数の過去からの参照フレームのみで予測画像を作成する方式である場合、選択可能な参照フレームのうち、時間的に最後に符号化された参照フレームの空間的に同じ位置のマクロブロックを予測元とする。
予測元となる参照フレームを選択する基準としては、選択可能な参照フレームのうち、最も参照フレーム情報が短い符号語長で符号化可能なものを選択する基準や、最も小さい参照フレーム番号を選択する基準であってもよい。
【００６６】
（フィールド符号化の場合の予測元とする参照フィールドの基準）
入力動画像信号がインターレース信号であり、フィールド単位で符号化が行われる場合の実施の形態である。インターレース信号の場合、予測元をフィールド内の空間的に同じ位置とすることが望ましい。従って、予測対象が複数の過去からの参照フレーム／フィールドのみで予測画像を作成する方式である場合、選択可能な参照フィールドのうち、時間的に最後に符号化された同じ位相の参照フィールドの空間的に同じ位置のマクロブロックを予測元とすればよい。
【００６７】
予測元となる参照フィールドを選択する基準としては、選択可能な参照フィールドのうち、最も参照フィールド情報が短い符号語長で符号化可能なものを選択する基準や、最も小さい参照フィールド番号を選択する基準であってもよい。
【００６８】
次に、復号化器におけるフレームメモリ／予測画像作成部での動き補償予測情報の生成方法について説明する。
（予測元とする参照フレームの基準）
予測対象が複数の過去からの参照フレームのみで予測画像を作成する方式である場合、選択可能な参照フレームのうち、時間的に最後に復号された参照フレームの空間的に同じ位置のマクロブロックを予測元とする。
【００６９】
予測元となる参照フレームを選択する基準としては、選択可能な参照フレームのうち、最も参照フレーム情報が短い符号語長で符号化可能なものを選択する基準や、最も小さい参照フレーム番号を選択する基準であってもよい。ただし、符号化器と同じ基準が採用されなければならない。
【００７０】
（フィールド符号化の場合の予測元とする参照フィールドの基準）
入力動画像信号がインターレース信号であり、フィールド単位で復号が行われる場合の実施の形態である。インターレース信号の場合、予測元をフィールド内の空間的に同じ位置とすることが望ましい。従って、予測対象が複数の過去からの参照フレーム／フィールドのみで予測画像を作成する方式である場合、選択可能な参照フィールドのうち、時間的に最後に復号された同じ位相の参照フィールドの空間的に同じ位置のマクロブロックを予測元とすればよい。
【００７１】
予測元となる参照フィールドを選択する基準としては、選択可能な参照フィールドのうち、最も参照フィールド情報が短い符号語長で符号化可能なものを選択する基準や、最も小さい参照フィールド番号を選択する基準であってもよい。ただし、符号化器と同じ基準が採用されなければならない。
【００７２】
【発明の効果】
以上説明したように、本発明によればフレーム間予測の構造や、周辺ブロックの動き情報を用いて適応的に動き補償パラメータの推定を行うことで、フレーム間予測構造や画像の性質によらず、安定して効率的な動き補償情報の推定が可能となり、高能率な動画像符号化及び復号化方法を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る動画像符号化装置の構成を示すブロック図
【図２】本発明の実施形態に係る動き補償予測を説明する図
【図３】本発明の実施形態に係る動き補償予測を説明する図
【図４】本発明の実施形態に係る動画像符号化装置の予測モード決定処理のフローチャート
【図５】本発明の実施形態に係る動画像符号化装置の予測モード決定処理のフローチャート
【図６】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図７】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図８】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図９】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図１０】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図１１】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図１２】本発明の実施形態に係るダイレクトモードタイプ決定処理のフローチャート
【図１３】本発明の実施形態に係るダイレクトモードにおける符号化処理のフローチャート
【図１４】本発明の実施形態に係るダイレクトモード予測を説明する図
【図１５】本発明の実施形態に係るダイレクトモード予測を説明する図
【図１６】本発明の実施形態に係るダイレクトモード予測を説明する図
【図１７】本発明の実施形態に係るダイレクトモード予測を説明する図
【図１８】本発明の実施形態に係るダイレクトモード予測を説明する図
【図１９】本発明の実施形態に係るダイレクトモード予測を説明する図
【図２０】本発明の実施形態に係る動画像復号化装置の構成を示すブロック図
【図２１】本発明の実施形態に係る画素ブロック毎の復号化処理のフローチャートを示す図
【符号の説明】
２０３…直交変換部
２０４…量子化部
２０５…逆量子化部
２０６…逆直交変換部
２０８…フレームメモリ／予測画像作成部
２１０…モード選択部
２１１…可変長符号化部
２１２…符号化制御部
２１４…多重化部
２１５…出力バッファ
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…逆直交変換部
３０８…フレームメモリ／予測画像作成部
Claims (10)
- 入力動画像信号に対して複数の参照フレーム及び該入力動画像信号と該参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、
前記複数の参照フレームの内、最も直前に符号化されたフレームの、符号化対象の位置とフレーム内で同一位置の動きベクトル情報、参照フレーム選択情報及び画素ブロック形状情報の少なくとも１つの符号化情報を用いて動き補償予測を行うことを特徴とする動画像符号化方法。 - 入力動画像信号に対して複数の参照フィールド及び該入力動画像信号と該参照フィールドとの間の動きベクトルを用いて動き補償予測フィールド間符号化を行う動画像符号化方法において、
前記複数の参照フィールドの内、同じ位相でかつ最も直前に符号化されたフィールドの、符号化対象の位置とフィールド内で同一位置の動きベクトル情報、参照フレーム選択情報及び画素ブロック形状情報の少なくとも１つの符号化情報を用いて動き補償予測を行うことを特徴とする動画像符号化方法。 - 動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、参照フレーム選択情報及び画素ブロック形状情報を含む符号化情報を復号化するステップと、
前記ステップによって復号された参照フレームの内、最も直前に復号化されたフレームの、復号化対象の位置とフレーム内で同一位置の前記符号化情報に従って予測画像信号を生成するステップと、
前記予測誤差信号及び予測画像信号を用いて再生動画像信号を生成するステップとを具備することを特徴とする動画像復号化方法。 - 動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、参照フィールド選択情報、及び画素ブロック形状情報を含む符号化情報を復号化するステップと、
前記ステップによって復号された参照フィールドの内、同じ位相でかつ最も直前に復号化されたフィールドの、復号化対象の位置とフィールド内で同一位置の前記符号化情報に従って予測画像信号を生成するステップと、
前記予測誤差信号及び予測画像信号を用いて再生動画像信号を生成するステップとを具備することを特徴とする動画像復号化方法。 - 複数の参照フレームを用いる動き補償予測動画像符号化方法において、
符号化対象画素ブロックの動きベクトルまたは参照フレーム選択情報の少なくとも１つを、符号化対象画素ブロックに隣接する符号化対象フレーム内の既に符号化された複数の画素ブロック、あるいは参照フレームにおける符号化対象画素ブロックと同一位置の画素ブロックの動きベクトル情報または参照フレーム選択情報から決定するステップと、
前記動きベクトル情報または参照フレーム選択情報の決定方法を前記複数の参照フレームのうち、所定の参照フレームが符号化対象フレームより前のフレームかあるいは後のフレームかに応じて切り替えるステップと具備することを特徴とする動画像符号化方法。 - 複数の参照フレームを用いる動き補償予測動画像復号化方法において、
復号化対象画素ブロックの動きベクトルまたは参照フレーム選択情報の少なくとも１つを、符号化対象画素ブロックに隣接する復号化対象フレーム内の既に復号化された複数の画素ブロック、あるいは、参照フレームにおける復号化対象画素ブロックと同一位置の画素ブロックの、動きベクトル情報または参照フレーム選択情報から決定するステップと、
前記動きベクトル情報または参照フレーム選択情報の決定方法を前記複数の参照フレームのうち、所定の参照フレームが復号化対象フレームより前のフレームか、あるいは後のフレームかに応じて切り替えるステップとを具備することを特徴とする動画像復号化方法。 - 複数の参照フレームを用いる動き補償予測動画像符号化方法において、
符号化対象画素ブロックの動きベクトルまたは参照フレーム選択情報の少なくとも１つを、符号化対象画素ブロックに隣接する符号化対象フレーム内の既に符号化された複数の画素ブロック、あるいは、参照フレームにおける符号化対象画素ブロックと同一位置の画素ブロックの、動きベクトル情報または参照フレーム選択情報から決定するステップと、
前記参照フレームにおける前記符号化対象画素ブロックと同一位置の画素ブロックにおいて、符号化対象フレームを跨いだ動き補償が行われているか否かに応じて、前記動きベクトル情報または参照フレーム選択情報の決定方法を切り替えるステップとを具備することを特徴とする動画像符号化方法。 - 複数の参照フレームを用いる動き補償予測動画像復号化方法において、
復号化対象画素ブロックの動きベクトルまたは参照フレーム選択情報の少なくとも１つを、復号化対象画素ブロックに隣接する復号化対象フレーム内の既に符号化された複数の画素ブロック、あるいは参照フレームにおける復号化対象画素ブロックと同一位置の画素ブロックの動きベクトル情報または参照フレーム選択情報から決定するステップと、
前記参照フレームにおける前記復号化対象画素ブロックと同一位置の画素ブロックにおいて、復号化対象フレームを跨いだ動き補償が行われているか否かに応じて、前記動きベクトル情報または参照フレーム選択情報の決定方法を切り替えるステップとを具備する動画像復号化方法。 - 複数の参照フレームを用いる動き補償予測動画像符号化方法において、
符号化対象の画素ブロックに隣接する既に符号化された複数の画素ブロックにおける動きベクトルの大きさに応じて、前記隣接する複数の画素ブロックの動きベクトル情報及び参照フレーム選択情報から、符号化対象の画素ブロックの動きベクトル及び参照フレームを決定するか、或いは、参照フレームにおける符号化対象マクロブロックと同一位置の画素ブロックにおける動きベクトル情報及び参照フレーム選択情報から、符号化対象の画素ブロックの動きベクトル及び参照フレームを決定するかを画素ブロック毎に切り替えることを特徴とする動画像符号化方法。 - 複数の参照フレームを用いる動き補償予測動画像復号化方法において、
復号化対象の画素ブロックに隣接する既に復号化された複数の画素ブロックにおける動きベクトルの大きさに応じて、前記隣接する複数の画素ブロックの動きベクトル情報及び参照フレーム選択情報から、復号化対象の画素ブロックの動きベクトル及び参照フレームを決定するか、或いは、参照フレームにおける復号化対象マクロブロックと同一位置の画素ブロックにおける動きベクトル情報及び参照フレーム選択情報から、復号化対象の画素ブロックの動きベクトル及び参照フレームを決定するかを画素ブロック毎に切り替えることを特徴とする動画像復号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002288017A JP3977716B2 (ja) | 2002-09-20 | 2002-09-30 | 動画像符号化／復号化方法及び装置 |
| US10/657,276 US7177360B2 (en) | 2002-09-20 | 2003-09-09 | Video encoding method and video decoding method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002275565 | 2002-09-20 | ||
| JP2002288017A JP3977716B2 (ja) | 2002-09-20 | 2002-09-30 | 動画像符号化／復号化方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004165703A true JP2004165703A (ja) | 2004-06-10 |
| JP3977716B2 JP3977716B2 (ja) | 2007-09-19 |
Family
ID=31996210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002288017A Expired - Fee Related JP3977716B2 (ja) | 2002-09-20 | 2002-09-30 | 動画像符号化／復号化方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7177360B2 (ja) |
| JP (1) | JP3977716B2 (ja) |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006332950A (ja) * | 2005-05-25 | 2006-12-07 | Nippon Hoso Kyokai <Nhk> | 双方向動きベクトル検出による内挿画像生成装置及びプログラム |
| JP2008503947A (ja) * | 2004-06-24 | 2008-02-07 | トムソン ライセンシング | 符号化されたピクチャデータを形成する方法および装置ならびに符号化されたピクチャデータを復号する方法および装置 |
| JP2009509454A (ja) * | 2005-09-22 | 2009-03-05 | サムスン エレクトロニクス カンパニー リミテッド | 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置 |
| JP2009055519A (ja) * | 2007-08-29 | 2009-03-12 | Sony Corp | 符号化処理装置、符号化処理方法、復号処理装置、及び、復号処理方法 |
| JP2009201112A (ja) * | 2008-02-20 | 2009-09-03 | Samsung Electronics Co Ltd | 直接モード符号化及び復号化方法 |
| WO2010095559A1 (ja) * | 2009-02-20 | 2010-08-26 | ソニー株式会社 | 画像処理装置および方法 |
| JP2011160468A (ja) * | 2005-12-27 | 2011-08-18 | Sharp Corp | 動画像復号装置および動画像符号化装置 |
| WO2011099242A1 (ja) * | 2010-02-12 | 2011-08-18 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
| JP2011199362A (ja) * | 2010-03-17 | 2011-10-06 | Fujitsu Ltd | 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法 |
| WO2011125211A1 (ja) * | 2010-04-08 | 2011-10-13 | 株式会社 東芝 | 画像符号化方法及び画像復号化方法 |
| JP2013009421A (ja) * | 2007-10-16 | 2013-01-10 | Lg Electronics Inc | ビデオ信号処理方法及び装置 |
| WO2013058363A1 (ja) * | 2011-10-20 | 2013-04-25 | ソニー株式会社 | 画像処理装置および方法 |
| JPWO2011125256A1 (ja) * | 2010-04-08 | 2013-07-08 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| CN103227922A (zh) * | 2010-04-08 | 2013-07-31 | 株式会社东芝 | 图像解码方法以及图像解码装置 |
| JP2013219805A (ja) * | 2013-06-03 | 2013-10-24 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2014017853A (ja) * | 2013-09-11 | 2014-01-30 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2014017848A (ja) * | 2010-04-08 | 2014-01-30 | Toshiba Corp | 画像復号化方法、装置、及びプログラム |
| US8644386B2 (en) | 2005-09-22 | 2014-02-04 | Samsung Electronics Co., Ltd. | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method |
| JP2014090459A (ja) * | 2013-12-10 | 2014-05-15 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2014090427A (ja) * | 2004-11-04 | 2014-05-15 | Thomson Licensing | ビデオ符号器におけるｂフレームの高速モード決定のための方法および装置 |
| JP5509398B1 (ja) * | 2014-01-23 | 2014-06-04 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2014131293A (ja) * | 2014-01-23 | 2014-07-10 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2014131295A (ja) * | 2014-01-23 | 2014-07-10 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2014131294A (ja) * | 2014-01-23 | 2014-07-10 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| US8811481B2 (en) | 2007-05-29 | 2014-08-19 | Nec Corporation | Moving picture transcoding apparatus, moving picture transcoding method, and moving picture transcoding program |
| JP2015019426A (ja) * | 2014-10-01 | 2015-01-29 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2015053729A (ja) * | 2014-11-17 | 2015-03-19 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2016129387A (ja) * | 2016-02-17 | 2016-07-14 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2017085616A (ja) * | 2016-12-16 | 2017-05-18 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| WO2017094216A1 (ja) * | 2015-12-04 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 |
| JP2018023126A (ja) * | 2017-08-31 | 2018-02-08 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2018057016A (ja) * | 2017-11-13 | 2018-04-05 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2018129808A (ja) * | 2011-01-25 | 2018-08-16 | サン パテント トラスト | 動画像復号化方法および動画像復号化装置 |
| JP2018186536A (ja) * | 2018-07-02 | 2018-11-22 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2020025308A (ja) * | 2019-10-21 | 2020-02-13 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2021036703A (ja) * | 2019-10-21 | 2021-03-04 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2021036704A (ja) * | 2019-10-21 | 2021-03-04 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP7399332B2 (ja) | 2019-10-21 | 2023-12-15 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050207663A1 (en) * | 2001-07-31 | 2005-09-22 | Weimin Zeng | Searching method and system for best matching motion vector |
| JP2004007379A (ja) * | 2002-04-10 | 2004-01-08 | Toshiba Corp | 動画像符号化方法及び動画像復号化方法 |
| US7742525B1 (en) * | 2002-07-14 | 2010-06-22 | Apple Inc. | Adaptive motion estimation |
| JP4127818B2 (ja) * | 2003-12-24 | 2008-07-30 | 株式会社東芝 | 動画像符号化方法及びその装置 |
| US20050286777A1 (en) * | 2004-06-27 | 2005-12-29 | Roger Kumar | Encoding and decoding images |
| US7792188B2 (en) | 2004-06-27 | 2010-09-07 | Apple Inc. | Selecting encoding types and predictive modes for encoding video data |
| US8111752B2 (en) | 2004-06-27 | 2012-02-07 | Apple Inc. | Encoding mode pruning during video encoding |
| KR20060043118A (ko) * | 2004-10-07 | 2006-05-15 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
| US20060095398A1 (en) * | 2004-11-04 | 2006-05-04 | Vasudev Bhaskaran | Automatic defocussing of displayed multimedia information on client by monitoring static and dynamic properties of the client |
| US20060222251A1 (en) * | 2005-04-01 | 2006-10-05 | Bo Zhang | Method and system for frame/field coding |
| US8270492B2 (en) * | 2006-05-12 | 2012-09-18 | Panasonic Corporation | Moving picture decoding device |
| US7907217B2 (en) * | 2006-10-31 | 2011-03-15 | Siemens Medical Solutions Usa, Inc. | Systems and methods of subtraction angiography utilizing motion prediction |
| CN103501440B (zh) * | 2007-04-12 | 2017-03-01 | 汤姆森特许公司 | 用于视频编码器中的快速几何模式判定的方法和设备 |
| US20080260023A1 (en) * | 2007-04-18 | 2008-10-23 | Chih-Ta Star Sung | Digital video encoding and decoding with refernecing frame buffer compression |
| US8385404B2 (en) * | 2008-09-11 | 2013-02-26 | Google Inc. | System and method for video encoding using constructed reference frame |
| IT1394145B1 (it) * | 2009-05-04 | 2012-05-25 | St Microelectronics Srl | Procedimento e dispositivo per la codifica video digitale, relativo segnale e prodotto informatico |
| KR101611437B1 (ko) * | 2009-10-28 | 2016-04-26 | 삼성전자주식회사 | 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치 |
| EP2654302B1 (en) | 2010-12-13 | 2019-09-04 | Electronics and Telecommunications Research Institute | Inter prediction method |
| CN103430546B (zh) * | 2011-03-09 | 2017-08-04 | 日本电信电话株式会社 | 视频编码装置、视频编码方法以及视频编码程序 |
| GB2557516B (en) * | 2011-09-23 | 2018-11-14 | Kt Corp | Method for inducing a merge candidate block and device using same |
| CN102438146B (zh) * | 2011-12-05 | 2014-04-30 | 晶门科技（深圳）有限公司 | 一种视频质量的提高方法及其实现装置 |
| CN106254878B (zh) | 2015-06-14 | 2020-06-12 | 同济大学 | 一种图像编码及解码方法、图像处理设备 |
| WO2016202189A1 (zh) * | 2015-06-14 | 2016-12-22 | 同济大学 | 图像编码及解码方法、图像处理设备、计算机存储介质 |
| JP2017103744A (ja) * | 2015-12-04 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2318472B (en) * | 1996-10-09 | 2000-11-15 | Sony Uk Ltd | Processing encoded signals |
| US5991447A (en) | 1997-03-07 | 1999-11-23 | General Instrument Corporation | Prediction and coding of bi-directionally predicted video object planes for interlaced digital video |
| US6404813B1 (en) | 1997-03-27 | 2002-06-11 | At&T Corp. | Bidirectionally predicted pictures or video object planes for efficient and flexible video coding |
| KR20010101329A (ko) | 1999-10-29 | 2001-11-14 | 요트.게.아. 롤페즈 | 비디오 인코딩 방법 |
-
2002
- 2002-09-30 JP JP2002288017A patent/JP3977716B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-09 US US10/657,276 patent/US7177360B2/en not_active Expired - Fee Related
Cited By (74)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008503947A (ja) * | 2004-06-24 | 2008-02-07 | トムソン ライセンシング | 符号化されたピクチャデータを形成する方法および装置ならびに符号化されたピクチャデータを復号する方法および装置 |
| JP2014090427A (ja) * | 2004-11-04 | 2014-05-15 | Thomson Licensing | ビデオ符号器におけるｂフレームの高速モード決定のための方法および装置 |
| JP4658686B2 (ja) * | 2005-05-25 | 2011-03-23 | 日本放送協会 | 双方向動きベクトル検出による内挿画像生成装置及びプログラム |
| JP2006332950A (ja) * | 2005-05-25 | 2006-12-07 | Nippon Hoso Kyokai <Nhk> | 双方向動きベクトル検出による内挿画像生成装置及びプログラム |
| JP2009509454A (ja) * | 2005-09-22 | 2009-03-05 | サムスン エレクトロニクス カンパニー リミテッド | 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置 |
| US8644386B2 (en) | 2005-09-22 | 2014-02-04 | Samsung Electronics Co., Ltd. | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method |
| JP5020829B2 (ja) * | 2005-12-27 | 2012-09-05 | シャープ株式会社 | 動画像復号装置および動画像符号化装置 |
| JP2011160468A (ja) * | 2005-12-27 | 2011-08-18 | Sharp Corp | 動画像復号装置および動画像符号化装置 |
| US8811481B2 (en) | 2007-05-29 | 2014-08-19 | Nec Corporation | Moving picture transcoding apparatus, moving picture transcoding method, and moving picture transcoding program |
| JP2009055519A (ja) * | 2007-08-29 | 2009-03-12 | Sony Corp | 符号化処理装置、符号化処理方法、復号処理装置、及び、復号処理方法 |
| US8379726B2 (en) | 2007-08-29 | 2013-02-19 | Sony Corporation | Coding apparatus, coding method, decoding apparatus, and decoding method |
| JP2013009421A (ja) * | 2007-10-16 | 2013-01-10 | Lg Electronics Inc | ビデオ信号処理方法及び装置 |
| JP2015046926A (ja) * | 2007-10-16 | 2015-03-12 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号処理方法及び装置 |
| US10306259B2 (en) | 2007-10-16 | 2019-05-28 | Lg Electronics Inc. | Method and an apparatus for processing a video signal |
| US10820013B2 (en) | 2007-10-16 | 2020-10-27 | Lg Electronics Inc. | Method and an apparatus for processing a video signal |
| US8750369B2 (en) | 2007-10-16 | 2014-06-10 | Lg Electronics Inc. | Method and an apparatus for processing a video signal |
| US8750368B2 (en) | 2007-10-16 | 2014-06-10 | Lg Electronics Inc. | Method and an apparatus for processing a video signal |
| US8761242B2 (en) | 2007-10-16 | 2014-06-24 | Lg Electronics Inc. | Method and an apparatus for processing a video signal |
| US9813702B2 (en) | 2007-10-16 | 2017-11-07 | Lg Electronics Inc. | Method and an apparatus for processing a video signal |
| US8867607B2 (en) | 2007-10-16 | 2014-10-21 | Lg Electronics Inc. | Method and an apparatus for processing a video signal |
| US8804828B2 (en) | 2008-02-20 | 2014-08-12 | Samsung Electronics Co., Ltd | Method for direct mode encoding and decoding |
| KR101505195B1 (ko) * | 2008-02-20 | 2015-03-24 | 삼성전자주식회사 | 직접 모드 부호화 및 복호화 방법 |
| JP2013225892A (ja) * | 2008-02-20 | 2013-10-31 | Samsung Electronics Co Ltd | 直接モード符号化及び復号化装置 |
| JP2009201112A (ja) * | 2008-02-20 | 2009-09-03 | Samsung Electronics Co Ltd | 直接モード符号化及び復号化方法 |
| WO2010095559A1 (ja) * | 2009-02-20 | 2010-08-26 | ソニー株式会社 | 画像処理装置および方法 |
| CN102318347A (zh) * | 2009-02-20 | 2012-01-11 | 索尼公司 | 图像处理设备和方法 |
| JPWO2011099242A1 (ja) * | 2010-02-12 | 2013-06-13 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
| WO2011099242A1 (ja) * | 2010-02-12 | 2011-08-18 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
| JP5442039B2 (ja) * | 2010-02-12 | 2014-03-12 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
| JP2011199362A (ja) * | 2010-03-17 | 2011-10-06 | Fujitsu Ltd | 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法 |
| US9906812B2 (en) | 2010-04-08 | 2018-02-27 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| WO2011125256A1 (ja) * | 2010-04-08 | 2011-10-13 | 株式会社 東芝 | 画像符号化方法及び画像復号化方法 |
| US11889107B2 (en) | 2010-04-08 | 2024-01-30 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| JP2014017848A (ja) * | 2010-04-08 | 2014-01-30 | Toshiba Corp | 画像復号化方法、装置、及びプログラム |
| US11265574B2 (en) | 2010-04-08 | 2022-03-01 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| US10999597B2 (en) | 2010-04-08 | 2021-05-04 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| WO2011125211A1 (ja) * | 2010-04-08 | 2011-10-13 | 株式会社 東芝 | 画像符号化方法及び画像復号化方法 |
| US10779001B2 (en) | 2010-04-08 | 2020-09-15 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| US10715828B2 (en) | 2010-04-08 | 2020-07-14 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| US10560717B2 (en) | 2010-04-08 | 2020-02-11 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| JP5368631B2 (ja) * | 2010-04-08 | 2013-12-18 | 株式会社東芝 | 画像符号化方法、装置、及びプログラム |
| JP5367161B2 (ja) * | 2010-04-08 | 2013-12-11 | 株式会社東芝 | 画像符号化方法、装置、及びプログラム |
| US10542281B2 (en) | 2010-04-08 | 2020-01-21 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| US10091525B2 (en) | 2010-04-08 | 2018-10-02 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| CN103227922A (zh) * | 2010-04-08 | 2013-07-31 | 株式会社东芝 | 图像解码方法以及图像解码装置 |
| US10009623B2 (en) | 2010-04-08 | 2018-06-26 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| JPWO2011125211A1 (ja) * | 2010-04-08 | 2013-07-08 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| CN103227922B (zh) * | 2010-04-08 | 2016-06-01 | 株式会社东芝 | 图像解码方法以及图像解码装置 |
| JPWO2011125256A1 (ja) * | 2010-04-08 | 2013-07-08 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| US9538181B2 (en) | 2010-04-08 | 2017-01-03 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| US9794587B2 (en) | 2010-04-08 | 2017-10-17 | Kabushiki Kaisha Toshiba | Image encoding method and image decoding method |
| JP2018129808A (ja) * | 2011-01-25 | 2018-08-16 | サン パテント トラスト | 動画像復号化方法および動画像復号化装置 |
| CN103891285A (zh) * | 2011-10-20 | 2014-06-25 | 索尼公司 | 图像处理装置和方法 |
| WO2013058363A1 (ja) * | 2011-10-20 | 2013-04-25 | ソニー株式会社 | 画像処理装置および方法 |
| JP2013219805A (ja) * | 2013-06-03 | 2013-10-24 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2014017853A (ja) * | 2013-09-11 | 2014-01-30 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2014090459A (ja) * | 2013-12-10 | 2014-05-15 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2014131296A (ja) * | 2014-01-23 | 2014-07-10 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2014131293A (ja) * | 2014-01-23 | 2014-07-10 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP5509398B1 (ja) * | 2014-01-23 | 2014-06-04 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2014131294A (ja) * | 2014-01-23 | 2014-07-10 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2014131295A (ja) * | 2014-01-23 | 2014-07-10 | Toshiba Corp | 画像符号化方法及び画像復号化方法 |
| JP2015019426A (ja) * | 2014-10-01 | 2015-01-29 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2015053729A (ja) * | 2014-11-17 | 2015-03-19 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| WO2017094216A1 (ja) * | 2015-12-04 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 |
| JP2016129387A (ja) * | 2016-02-17 | 2016-07-14 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2017085616A (ja) * | 2016-12-16 | 2017-05-18 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2018023126A (ja) * | 2017-08-31 | 2018-02-08 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2018057016A (ja) * | 2017-11-13 | 2018-04-05 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2018186536A (ja) * | 2018-07-02 | 2018-11-22 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2021036703A (ja) * | 2019-10-21 | 2021-03-04 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2021036704A (ja) * | 2019-10-21 | 2021-03-04 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP2020025308A (ja) * | 2019-10-21 | 2020-02-13 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| JP7399332B2 (ja) | 2019-10-21 | 2023-12-15 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040057515A1 (en) | 2004-03-25 |
| US7177360B2 (en) | 2007-02-13 |
| JP3977716B2 (ja) | 2007-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3977716B2 (ja) | 動画像符号化／復号化方法及び装置 | |
| KR100774296B1 (ko) | 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치 | |
| JP4767991B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP5061179B2 (ja) | 照明変化補償動き予測符号化および復号化方法とその装置 | |
| JP2004007379A (ja) | 動画像符号化方法及び動画像復号化方法 | |
| JP2004023458A (ja) | 動画像符号化／復号化方法及び装置 | |
| JP2004179687A (ja) | 動画像符号化／復号化方法及び装置 | |
| JP2008199650A (ja) | 動き補償予測画像生成方法及び装置 | |
| JP2001028756A (ja) | コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置 | |
| JP2008154155A (ja) | 動画像符号化装置 | |
| JP2011514773A (ja) | 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置 | |
| JP3940657B2 (ja) | 動画像符号化方法と装置及び動画像復号化方法と装置 | |
| WO2002001883A1 (en) | Image encoder and image encoding method | |
| JP2012169763A (ja) | 画像符号化装置と画像符号化方法およびプログラム | |
| JP2007060694A (ja) | 動画像符号化、復号化方法及び装置 | |
| JP4133346B2 (ja) | 予測タイプの選択によるビデオデータブロックのイントラ符号化 | |
| JP2001128179A (ja) | 動画像符号化装置および方法 | |
| JP2009005217A (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| JP2007060699A (ja) | 動画像符号化方法、装置及びプログラム | |
| KR100774297B1 (ko) | 움직임 벡터 복호화 방법 및 그 장치 | |
| JP2006304350A (ja) | 動画像復号化方法及び装置 | |
| JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP4485409B2 (ja) | 動画像復号装置 | |
| KR100774298B1 (ko) | 움직임 벡터 복호화 방법 및 그 장치 | |
| KR100774300B1 (ko) | 움직임 벡터 복호화 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070619 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070621 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |