JP2011199396A - 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム - Google Patents

動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム Download PDF

Info

Publication number
JP2011199396A
JP2011199396A JP2010061337A JP2010061337A JP2011199396A JP 2011199396 A JP2011199396 A JP 2011199396A JP 2010061337 A JP2010061337 A JP 2010061337A JP 2010061337 A JP2010061337 A JP 2010061337A JP 2011199396 A JP2011199396 A JP 2011199396A
Authority
JP
Japan
Prior art keywords
image
display order
order information
random access
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010061337A
Other languages
English (en)
Other versions
JP2011199396A5 (ja
Inventor
Chunsen Bun
チュンセン ブン
Yoshinori Suzuki
芳典 鈴木
Akira Fujibayashi
暁 藤林
Thiow Keng Tan
ティオ ケン タン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2010061337A priority Critical patent/JP2011199396A/ja
Priority to ES11756230.6T priority patent/ES2655416T3/es
Priority to CA2935201A priority patent/CA2935201C/en
Priority to BR112012023322A priority patent/BR112012023322B1/pt
Priority to NO11756230A priority patent/NO2549758T3/no
Priority to CA3081303A priority patent/CA3081303C/en
Priority to CN201510603845.4A priority patent/CN105187842B/zh
Priority to MX2012010614A priority patent/MX2012010614A/es
Priority to EP17199102.9A priority patent/EP3300369A1/en
Priority to CA3041891A priority patent/CA3041891C/en
Priority to CA2793168A priority patent/CA2793168C/en
Priority to PT151696226T priority patent/PT2942965T/pt
Priority to CA3094541A priority patent/CA3094541C/en
Priority to SG10201501390XA priority patent/SG10201501390XA/en
Priority to CA3094540A priority patent/CA3094540C/en
Priority to EP11756230.6A priority patent/EP2549758B1/en
Priority to RU2015122410/08A priority patent/RU2601134C2/ru
Priority to CA3169174A priority patent/CA3169174A1/en
Priority to PL15169622T priority patent/PL2942965T3/pl
Priority to CN201510165668.6A priority patent/CN104768020B/zh
Priority to SG2012068334A priority patent/SG184079A1/en
Priority to EP15169622.6A priority patent/EP2942965B1/en
Priority to KR1020177015372A priority patent/KR101867461B1/ko
Priority to CN201180013583.6A priority patent/CN102792696B/zh
Priority to KR1020127027048A priority patent/KR101640872B1/ko
Priority to ES15169622.6T priority patent/ES2655919T3/es
Priority to RU2012144029/08A priority patent/RU2568310C2/ru
Priority to AU2011228218A priority patent/AU2011228218B2/en
Priority to PCT/JP2011/055915 priority patent/WO2011115045A1/ja
Priority to NO15169622A priority patent/NO2942965T3/no
Priority to PT117562306T priority patent/PT2549758T/pt
Priority to KR1020167012926A priority patent/KR101747195B1/ko
Priority to PL11756230T priority patent/PL2549758T3/pl
Priority to CA3009695A priority patent/CA3009695C/en
Priority to TW107104188A priority patent/TWI650002B/zh
Priority to TW100109131A priority patent/TWI479895B/zh
Priority to TW106136961A priority patent/TWI619373B/zh
Priority to TW108133969A priority patent/TWI691198B/zh
Priority to TW107140720A priority patent/TWI670965B/zh
Priority to TW108121288A priority patent/TWI678913B/zh
Priority to TW104100275A priority patent/TWI611686B/zh
Publication of JP2011199396A publication Critical patent/JP2011199396A/ja
Priority to US13/618,066 priority patent/US9113171B2/en
Publication of JP2011199396A5 publication Critical patent/JP2011199396A5/ja
Priority to US14/822,657 priority patent/US10178407B2/en
Priority to AU2016200188A priority patent/AU2016200188B2/en
Priority to RU2016133267A priority patent/RU2628260C1/ru
Priority to RU2017127527A priority patent/RU2652438C1/ru
Priority to AU2018202169A priority patent/AU2018202169B2/en
Priority to AU2018202171A priority patent/AU2018202171B2/en
Priority to AU2018202170A priority patent/AU2018202170B2/en
Priority to RU2018111019A priority patent/RU2676408C1/ru
Priority to US16/213,684 priority patent/US10390042B2/en
Priority to US16/213,660 priority patent/US10298953B2/en
Priority to RU2018144129A priority patent/RU2690220C1/ru
Priority to US16/376,966 priority patent/US10715829B2/en
Priority to US16/457,066 priority patent/US10567794B2/en
Priority to AU2019280009A priority patent/AU2019280009B2/en
Priority to AU2019280003A priority patent/AU2019280003B2/en
Priority to AU2021200759A priority patent/AU2021200759B2/en
Priority to AU2021266226A priority patent/AU2021266226B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh

Abstract

【課題】ランダムアクセスの箇所となる画像の前後にある画像を効率よく圧縮符号化し従来技術の欠点に係る不都合（誤動作等）を解消する。
【解決手段】動画像予測符号化装置は、入力された画像を符号化し、ランダムアクセス画像を含む圧縮画像データを生成するとともに画像の表示順番情報に関するデータを符号化する符号化手段と、圧縮画像データを復号することで再生画像を復元する復元手段と、再生画像を参照画像として格納する画像格納手段と、画像格納手段を制御するメモリ管理手段とを具備し、メモリ管理手段は、ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報がランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、画像格納手段内の参照画像のうち、ランダムアクセス画像を除く参照画像について不要と設定することで、画像格納手段をリフレッシュする。
【選択図】図１

Description

本発明は、動画像予測符号化装置、方法、及びプログラム、並びに、動画像予測復号装置、方法、及びプログラムに関する発明である。
動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。
これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割し、各ブロックに対し符号化・復号処理を行う。符号化効率を高めるため、下記のような予測符号化方法が用いられる。画面内の予測符号化では、対象ブロックと同じ画面内の隣接する既再生の画像信号（過去に符号化された画像データを復元したもの）を用いて予測信号を生成し、予測信号を対象ブロックの信号から引き算して得られた差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内の既再生の画像信号を参照して信号の変位を検索し、その変位分を補償して予測信号を生成し、予測信号を対象ブロックの信号から引き算して得られた差分信号を符号化する。このとき動きの検索・補償を行うために参照される既再生の画像を、参照画像という。
また、双方向画面間予測では、表示時間順において対象画像の前に表示される過去の画像だけではなくて、対象画像の後に表示される未来の画像も併せて参照する場合がある（ただし、未来の画像は対象画像よりも先に符号化し、予め再生しておく必要がある）。そして、過去の画像から取得された予測信号と未来の画像から取得された予測信号の両方を平均化することによって、隠されていて新たに現れる物体の信号の予測に有効であるとともに、両方の予測信号に含まれている雑音を軽減する効果がある。
さらに、Ｈ．２６４の画面間予測符号化では、対象ブロックに対する予測信号は、過去に符号化して再生された複数の参照画像を参照し、動き検索しながら誤差の最も少ない画像信号を最適な予測信号として選択する。そして、対象ブロックの画素信号とこの最適な予測信号との差分を求め、差分に対し離散コサイン変換を施し量子化した上でエントロピー符号化する。同時に、対象ブロックに対する最適な予測信号をどの参照画像から取得するかに関する情報（参照インデックス）及び最適な予測信号を参照画像内のどの領域から取得するかに関する情報（動きベクトル）も併せて符号化する。Ｈ．２６４では、再生された４ないし５枚の画像が参照画像としてフレームメモリに格納される。なお、本明細書ではフレームメモリには、いわゆる再生画像バッファ（decoded picture buffer）を含むものとする。
画面間予測符号化は、画像間の相関を活かして効率よく圧縮符号化することができるものの、テレビのチャンネルの切り替えで映像番組を途中から視聴できるようにするためには、画面間の依存性を断ち切る必要がある。動画像の圧縮ビットストリームの中で、画面間の依存性のない箇所を、以下「ランダムアクセスポイント」という。チャンネルの切り替えの他に、動画像を編集する場合及び異なる動画像の圧縮データをつなぐ場合にも、ランダムアクセスポイントは必要となる。Ｈ．２６４ではＩＤＲピクチャを指定し、指定されたＩＤＲピクチャを上述の画面内予測符号化方法で符号化すると同時に、フレームメモリ内に格納されている再生画像を不要と設定して、当該再生画像を参照不可とすることで実質的にフレームメモリを開放する（リフレッシュする）。このような処理は「メモリ・リフレッシュ」と呼ばれ、また場合によっては「フレーム・メモリ・リフレッシュ」又は「バッファ・リフレッシュ」とも呼ばれる。
図１１（Ａ）は、ＩＤＲピクチャを含む動画像の予測構造を示す模式図である。この図１１（Ａ）に示す複数の画像９０１、９０２、…、９０９は、動画像を構成する画像群の一部であり、各画像を「ピクチャ」又は「フレーム」ともいう。各矢印は予測の方向を示す。例えば、画像９０２は、画像９０２に向かう２つの矢印の起点である画像９０３、９０５を参照画像として予測信号を取得する。なお、図１１（Ａ）の画像９０１は、図１１（Ａ）に示されていない過去の画像を参照して符号化されるものとする。次に画像９０２，９０３，９０４を符号化するが、その際、圧縮率を高めるために上述の双方向予測符号化方法を用いる。即ち、先に画像９０５を符号化・再生して、次に、既に再生された画像９０１と９０５を参照して画像９０３を符号化する（図１１（Ａ）では画像９０１からの矢印は省略している）。そして、画像９０２、９０４の各々は、再生された３つの画像９０１、９０５、９０３を参照画像として符号化する（図１１（Ａ）では画像９０１からの矢印は省略している）。同じように画像９０６、９０７、９０８は画像９０５と９０９を参照して符号化する。そして、このようにして符号化（圧縮）された各画像の圧縮データは、図１１（Ｂ）のような順序で伝送もしくは蓄積される。図１１（Ｂ）の圧縮データと図１１（Ａ）の画像とは、Ｐ１、ＩＤＲ５、Ｂ３などの共通の符号によって対応関係を示している。例えば、圧縮データ９１０は、同じ符号Ｐ１を付した画像９０１の圧縮データであり、圧縮データ９１１は、同じ符号ＩＤＲ５を付した画像９０５の圧縮データである。
さて、ランダムアクセスを考慮して、画像９０５をＩＤＲピクチャに指定して画面内予測符号化を行う場合を考える。この場合、Ｈ．２６４におけるＩＤＲのルールによれば、圧縮データ９１１を復号することで画像９０５を再生した直後に（又は圧縮データ９１１の復号を開始する直前でもよいが）、フレームメモリに格納されている全ての参照画像（即ち、画像９０１を含む過去の再生画像）を不要と設定し参照不可にしなければならない。その結果、図１１（Ａ）の画像９０１は参照不可になり、画像９０２、９０３、９０４の符号化では、画像９０１からの参照ができなくなる。このようなＩＤＲピクチャに係る処理は、例えば下記の非特許文献１に記述されている。
国際公開公報ＷＯ２００５／００６７６３Ａ１
Iain E.G. Richardson, "H.264 and MPEG-4 Video Compression", John Wiley & Sons, 2003, section6.4.2.
ＩＤＲピクチャの導入によって、上述の予測に用いられる参照画像が制限されるため、画像の表示順においてＩＤＲピクチャよりも前にある画像（図１１（Ａ）の画像９０２、９０３、９０４）を効率よく符号化することができなくなる。この点を解決するために上記特許文献１には、フレームメモリのリフレッシュのタイミング（即ち、フレームメモリ内の参照画像を不要と設定するタイミング）を、ＩＤＲピクチャよりも後に符号化される画像の符号化実行時まで遅延させる方法が開示されている。フレームメモリのリフレッシュのタイミングを遅延させることにより、図１１（Ａ）の画像９０２、９０３、９０４の符号化実行時に画像９０１がフレームメモリに残っているため、画像９０２、９０３、９０４の符号化において画像９０１を参照できるようになり、効率よく符号化することができる。
特許文献１によれば、メモリ・リフレッシュのタイミングを遅延させる方法として、以下の方法が開示されている。
方法１：ＩＤＲピクチャに、遅延させる画像の枚数に関する情報を付加する。
方法２：メモリ・リフレッシュを実施するタイミングに対応する画像の圧縮データに、メモリ・リフレッシュの実行を指示する信号（フラグ）を付加する。
方法３：ＩＤＲピクチャの後に現れる最初のＰピクチャ（片方向予測画像）をリフレッシュのタイミングとする。
ところが、上記の方法は下記の欠点がある。
欠点１：上記の方法１では、動画像を編集する際に、複数の画像のうち一部の画像を捨てて別の画像をつないだり、別の画像を挿入したりすることが行われるため、ＩＤＲピクチャに付加されていた「遅延させる画像の枚数に関する情報」が適切でなくなり、誤動作を招くという不都合がある。
欠点２：上記の方法２では、同様にフラグを用いる場合でも、動画像の編集によって、対応する画像の圧縮データが削除されると、削除された圧縮データに付加されていたフラグがなくなり、誤動作を招くという不都合がある。
欠点３：上記の方法３では、メモリ・リフレッシュの合図（タイミング）はＰピクチャに限定されてしまうため、他の方法で符号化できなくなるという不都合がある。例えば、シーンの変わり目に、画面内予測（Ｉピクチャ）として符号化することができなくなる。
なお、ここでの「誤動作」とは、メモリ・リフレッシュが適切なタイミングで行われないことに起因し、後続のデータを復号する際に必要となる参照画像がフレームメモリに格納されていない状態となり、その結果、後続の画像が正しく再生できなくなることを意味する。
本発明は、上記の課題を解決し、ランダムアクセスの箇所となる画像の前後にある画像を効率よく圧縮符号化すると同時に、従来技術の欠点に係る不都合を解消することを目的とする。
上記目的を達成するために、本発明に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段と、を具備し、前記メモリ管理手段は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、ことを特徴とする。
上記の符号化手段は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像、を含む１つ以上の符号化対象画像の表示順番情報に関するデータとして、前記符号化対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。
また、上記の符号化手段は、ランダムアクセス画像の次に符号化対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、の各画像については、各画像の表示順番情報に関するデータとして、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。
本発明に係る動画像予測復号装置は、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段と、を具備し、前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。
上記の復元手段は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を復号する復号処理の完了後に最初に復号対象となる画像、を含む１つ以上の復号対象画像の表示順番情報については、当該復号対象画像の表示順番符号化データを復号して得られた、当該復号対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該復号対象画像の表示順番情報を復元することが望ましい。
また、上記の復元手段は、ランダムアクセス画像の次に符号化対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、の各画像についての表示順番情報については、当該各画像の表示順番符号化データを復号して得られた、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該各画像の表示順番情報を復元することが望ましい。
本発明に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記画像格納手段を制御するメモリ管理ステップと、を具備し、前記メモリ管理ステップにおいて前記動画像予測符号化装置は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。
上記の符号化ステップにおいて前記動画像予測符号化装置は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像、を含む１つ以上の符号化対象画像の表示順番情報に関するデータとして、前記符号化対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。
また、上記の符号化ステップにおいて前記動画像予測符号化装置は、ランダムアクセス画像の次に符号化対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、の各画像については、各画像の表示順番情報に関するデータとして、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。
本発明に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記画像格納手段を制御するメモリ管理ステップと、を具備し、前記メモリ管理ステップにおいて前記動画像予測復号装置は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。
上記の復元ステップにおいて前記動画像予測復号装置は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を復号する復号処理の完了後に最初に復号対象となる画像、を含む１つ以上の復号対象画像の表示順番情報については、当該復号対象画像の表示順番符号化データを復号して得られた、当該復号対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該復号対象画像の表示順番情報を復元することが望ましい。
また、上記の復元ステップにおいて前記動画像予測復号装置は、ランダムアクセス画像の次に符号化対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、の各画像についての表示順番情報については、当該各画像の表示順番符号化データを復号して得られた、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該各画像の表示順番情報を復元することが望ましい。
本発明に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段、として動作させ、前記メモリ管理手段は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。
本発明に係る動画像予測復号プログラムは、コンピュータを、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段、として動作させ、前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。
以上のような本発明により、ランダムアクセスの箇所となる画像の前後にある画像を効率よく圧縮符号化すると同時に、従来技術の欠点に係る不都合を解消する。
本発明では、動画像を構成する各画像又は圧縮符号化された画像データに付随される表示順番を示す情報（以下「表示順番情報」という（従来技術における表示時間、時間参照情報、テンポラルリファレンスなどに相当））を利用して、ランダムアクセスの箇所となる画面内予測画像（イントラフレーム）より後に行われるメモリ・リフレッシュのタイミングを設定することにより、表示順番においてランダムアクセス画像の前後にある複数の画像を効率よく圧縮符号化すると同時に、従来技術の欠点に係る不都合を以下のように解消することができる。
即ち、表示順番情報は、各画像には必ず付随するものであるため、新たな情報（フラグ）を送る必要がなく、従来技術の欠点２は解消される。
また、動画像の編集（例えば一部の画像を捨てる、別の画像をつなぐ等）を行う場合でも、動画像を構成する各画像の表示順番情報は適切に設定されるため、誤動作を引き起こすことはなく、従来技術の欠点１は解消される。
さらに、本発明によるメモリ・リフレッシュのタイミングは、Ｐピクチャに限定されず、画像の符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に依存しないため、メモリのリフレッシュの要否にかかわらず符号化効率の最もよい符号化タイプで処理することができ、従来技術の欠点３は解消される。
本発明の実施形態に係る動画像予測符号化装置の構成を示す機能ブロック図である。 本発明の実施形態に係る動画像予測復号装置の構成を示す機能ブロック図である。 本発明の実施形態に係る動画像予測符号化・復号方法を示す流れ図である。 本発明の実施形態に係る動画像予測符号化・復号方法を説明するための模式図である。 本発明の実施形態の変形例に係る動画像予測符号化・復号方法を示す流れ図である。 本発明の実施形態の変形例に係る動画像予測符号化・復号方法を説明するための模式図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。 動画像予測符号化プログラムの構成例を示すブロック図である。 動画像予測復号プログラムの構成例を示すブロック図である。 従来の動画像予測符号化・復号方法の予測構造を示す模式図である。
以下、本発明の実施形態について、図１〜図１０を用いて説明する。
［動画像予測符号化装置について］
図１は本発明の実施形態に係る動画像予測符号化装置１００の構成を示す機能ブロック図である。図１に示すように、動画像予測符号化装置１００は、機能的な構成として、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、入力端子１１３、及びフレームメモリ管理器１１４を備える。各機能ブロックの動作は、後述する動画像予測符号化装置１００の動作の中で説明する。
以下、動画像予測符号化装置１００の動作を述べる。符号化処理の対象となる複数枚の画像から成る動画像の信号は入力端子１０１に入力され、各画像はブロック分割器１０２により、複数の領域に分割される。本実施形態では、各画像は、８×８の画素から成る複数のブロックに分割されるが、これ以外のブロックの大きさ又はブロック形状に分割してもよい。次に、符号化処理の対象となるブロック（以下「対象ブロック」と呼ぶ）を対象として、後述の予測方法により予測信号を生成する。本実施形態では、予測方法として、画面間予測と画面内予測の２種類の予測方法が利用可能とされており、画面間予測では背景技術で述べた双方向画面間予測も利用可能とされている。以下、画面間予測と画面内予測の各々の基本動作を概説する。
画面間予測では、過去に符号化された後に復元された再生画像を参照画像として用いて、この参照画像から、対象ブロックに対する誤差の最も小さい予測信号を与える動き情報（例えば動きベクトル）を求める。この処理は「動き検出」と呼ばれる。また、場合に応じて、対象ブロックを再分割し、再分割された小領域を対象として画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい、小領域の分割方法及び各小領域の動き情報を決定する。本実施形態では、画面間予測は、予測信号生成器１０３により行われ、対象ブロックはラインＬ１０２経由で、参照画像はラインＬ１０４経由で、それぞれ予測信号生成器１０３に入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いる。その詳細は従来の技術であるＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４のいずれかの方法と同じである。決定された小領域の分割方法情報及び各小領域の動き情報は、予測信号生成器１０３からラインＬ１１２経由でエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化された上で、その符号化データはラインＬ１１１経由で出力端子１１２から送出される。また、複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報（リファレンスインデックス）も、予測信号生成器１０３からラインＬ１１２経由でエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化された上で、その符号化データはラインＬ１１１経由で出力端子１１２から送出される。なお、本実施形態では、一例として、４枚ないし５枚の再生画像がフレームメモリ１０４に格納され、参照画像として用いられる。予測信号生成器１０３は、小領域の分割方法、及び各小領域についての参照画像と動き情報に基づいて、フレームメモリ１０４から参照画像を取得し、参照画像及び動き情報から予測信号（画面間予測により得られた予測信号という意味で「画面間予測信号」という）を生成する。このように生成された画面間予測信号は、ラインＬ１０３経由で減算器１０５及び後述の処理に係る加算器１１０に送られる。
一方、画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には、予測信号生成器１０３は、同じ画面内にある既再生の画素信号をフレームメモリ１０４から取得し、既再生の画素信号を外挿することによって予測信号（画面内予測により得られた予測信号という意味で「画面内予測信号」という）を生成する。生成された画面内予測信号は、予測信号生成器１０３からラインＬ１０３経由で減算器１０５に送られる。予測信号生成器１０３における画面内予測信号の生成方法は、従来の技術であるＨ．２６４の方法と同じである。なお、画面内予測における外挿の方法に関する情報は、予測信号生成器１０３からラインＬ１１２経由でエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化された上で、符号化データは出力端子１１２から送出される。
以上、画面間予測と画面内予測の各々の基本動作を概説した。実際には、対象ブロックごとに、上述のように求められた画面間予測信号と画面内予測信号のうち、誤差の最も小さいものが選択され、予測信号生成器１０３からラインＬ１０３経由で減算器１０５に送られる。
ところで、符号化される一枚目の画像については、それより前に画像がないため、当該一枚目の画像内の全ての対象ブロックは画面内予測で処理される。また、テレビのチャンネルの切り替えに備えて、ランダムアクセスポイントとして、ある画像内の全ての対象ブロックを画面内予測で定期的に処理する。このような画像はイントラフレームとよび、Ｈ．２６４ではＩＤＲピクチャと呼ぶ。
減算器１０５は、ラインＬ１０２経由で受け取った対象ブロックの信号から、ラインＬ１０３経由で受け取った予測信号を引き算することで、残差信号を生成する。この残差信号は変換器１０６にて離散コサイン変換され、その各変換係数は量子化器１０７にて量子化される。最後に、量子化された変換係数はエントロピー符号化器１１１により符号化され、得られた符号化データは、予測方法に関する情報とともにラインＬ１１１経由で出力端子１１２より送出される。
一方、後続の対象ブロックに対して画面内予測もしくは画面間予測を行うために、上記量子化された変換係数（対象ブロックの符号化データ）は、逆量子化器１０８にて逆量子化された後に逆変換器１０９にて逆離散コサイン変換され、これにより残差信号が復元される。そして、加算器１１０により、復元された残差信号とラインＬ１０３から送られた予測信号とが加算され、これにより対象ブロックの信号が再生され、得られた再生信号はフレームメモリ１０４に格納される。なお、本実施形態では変換器１０６と逆変換器１０９を用いているが、これらに代わる他の変換処理を用いてもよい。また、場合によっては、変換器１０６と逆変換器１０９がなくてもよい。
ところで、フレームメモリ１０４は有限なものであり、すべての再生画像を格納することは実際には不可能である。そのため、後続の画像の符号化に用いられる再生画像のみがフレームメモリ１０４に格納される。このフレームメモリ１０４を制御するのがフレームメモリ管理器１１４である。フレームメモリ管理器１１４は、フレームメモリ１０４に格納されているＮ枚（例えばＮ＝４）の再生画像の中から、最も古い再生画像を消去することで、参照画像として用いられる直近の再生画像をフレームメモリ１０４に格納できるように制御する。実際にフレームメモリ管理器１１４には、入力端子１１３より各画像の表示順番情報及び画像を符号化するタイプ情報（画面内予測符号化、画面間予測符号化、双方向予測符号化）が入力され、これらの情報に基づいてフレームメモリ管理器１１４が動作する。このとき、各画像の表示順番情報は、フレームメモリ管理器１１４からラインＬ１１４経由でエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化され、この符号化された表示順番情報は、符号化された画像データとともに、ラインＬ１１１経由で出力端子１１２より送出される。なお、表示順番情報は、各画像に付随するものであり、画像の順番を示す情報や、画像を表示する時刻を示す情報（例えば画像の表示参照時間（テンポラルリファレンス））でもいい。本実施形態では、例えば、表示順番情報をそのまま二値符号化により符号化する。また、フレームメモリ管理器１１４による制御方法については後述する。
［動画像予測復号装置について］
次に、本発明に係る動画像予測復号装置について説明する。図２は本発明の実施形態に係る動画像予測復号装置２００の構成を示す機能ブロック図である。図２に示すように、動画像予測復号装置２００は、機能的な構成として、入力端子２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、予測信号生成器２０８、フレームメモリ２０７、出力端子２０６、及びフレームメモリ管理器２０９を備える。各機能ブロックの動作は、後述する動画像予測復号装置２００の動作の中で説明する。なお、復号に係る手段としては、逆量子化器２０３及び逆変換器２０４に限定されるものではなく、これら以外のものを用いてもよい。また、復号に係る手段は、逆変換器２０４を無くし逆量子化器２０３のみで構成してもよい。
以下、動画像予測復号装置２００の動作を述べる。上述した符号化方法で得られた圧縮データは入力端子２０１から入力される。この圧縮データには、対象ブロックの残差信号と、予測信号の生成に関する情報と、量子化パラメータと、画像の表示順番情報と、画像の符号化タイプに関する情報とが含まれている。このうち、予測信号の生成に関する情報としては、例えば画面間予測の場合は、ブロック分割に関する情報（小領域の分割方法情報（例えばブロックのサイズ等））、各小領域の動き情報、及びリファレンスインデックスが含まれ、画面内予測の場合は外挿の方法に関する情報が含まれている。
データ解析器２０２は、入力された圧縮データから、対象ブロックの残差信号、予測信号の生成に関連する情報、量子化パラメータ、画像の表示順番情報、及び画像の符号化タイプに関する情報を抽出する。これらのうち、対象ブロックの残差信号及び量子化パラメータは、ラインＬ２０２経由で逆量子化器２０３に送られ、逆量子化器２０３は量子化パラメータをもとに対象ブロックの残差信号を逆量子化し、さらに、逆変換器２０４は逆量子化の結果を逆離散コサイン変換する。このようにして復元された残差信号はラインＬ２０４経由で加算器２０５に送られる。
一方、抽出された予測信号の生成に関する情報は、ラインＬ２０６ｂ経由で予測信号生成器２０８に送られる。予測信号生成器２０８は、予測信号の生成に関する情報をもとに、フレームメモリ２０７内の複数の参照画像から適当な参照画像を取得し、当該適当な参照画像をもとに予測信号を生成する。生成された予測信号は、ラインＬ２０８経由で加算器２０５に送られ、加算器２０５により上記復元された残差信号に加算され、その結果、対象ブロックの信号が再生される。再生された対象ブロックの信号は、ラインＬ２０５経由で出力端子２０６から出力されると同時に、再生画像としてフレームメモリ２０７に格納される。
フレームメモリ２０７には、後続の画像の復号や再生に用いられる再生画像が格納されている。フレームメモリ管理器２０９は、フレームメモリ２０７に格納されているＮ枚（ここでは一例としてＮ＝４であるが、予め決められた整数でもよい）の再生画像から最も古い再生画像を消去することで、参照画像として用いられる直近の再生画像をフレームメモリ２０７に格納できるように制御する。このフレームメモリ管理器２０９は、ラインＬ２０６ａ経由で入力される対象画像の表示順番情報と画像の符号化タイプに関する情報に基づいて動作する。フレームメモリ管理器２０９による制御方法については、後述する。
なお、ランダムアクセスポイントとなるイントラフレーム（画面内予測画像）について、Ｈ．２６４ではＩＤＲピクチャ（instantaneous decoder refresh）と呼ばれているが、この名称は、ＩＤＲピクチャを符号化もしくは復号した後すぐに（instantaneous）フレームメモリ(decoder buffer)をリフレッシュすることに由来している。これに対し、本発明によれば、ランダムアクセスポイントとなるイントラフレームを符号化又は復号した後すぐに（又は符号化もしくは復号する直前に）、フレームメモリのリフレッシュを実行するのではなく、一時的に待機（もしくは遅延）させた上でフレームメモリのリフレッシュを実行するため、本発明ではこの画像をＤＤＲピクチャ（deferred decoder refresh又はdelayed decoder refresh）と呼ぶ。以下に詳しく説明するように、フレームメモリのリフレッシュのタイミングは、ＤＤＲピクチャの表示順番情報と、処理（符号化又は復号）の対象となる画像（以下「処理対象画像」という）の表示順番情報とを比較することで決定する。
［動画像予測符号化方法及び動画像予測復号方法の特徴的な処理動作］
次に図３と図４を用いて、本発明による動画像予測符号化方法及び動画像予測復号方法の動作を説明する。図３は本実施形態に係る動画像予測符号化・復号方法を示す流れ図であり、以下では、図３を動画像の符号化方法として説明する。ただし、図３は動画像の復号方法にも適用可能である。
まず、図３に用いられる変数の意味を説明する。ＴＲは表示順番情報、ＴＲ＿ＤＤＲはＤＤＲ画像の表示順番情報、ＴＲ＿ＣＵＲは当該時点の処理対象画像の表示順番情報、ＲＰはフレームメモリ１０４のリフレッシュが待機中かどうかを示す状態変数である。ＲＰ＝１の場合は、ＤＤＲピクチャが処理対象となり、その後、フレームメモリ１０４のリフレッシュがまだ実行されていない状態（即ち、フレームメモリ・リフレッシュが待機中の状態）を示しており、ＲＰ＝０の場合は、フレームメモリ１０４のリフレッシュが既に実行済みの状態又はリフレッシュ処理を必要としない状態を示す。
図３において、動画像の符号化が開始するときに、まず、ＴＲ＿ＤＤＲとＲＰを０に初期化する（ステップ３０１）。ステップ３０２では、ＲＰ＝１であり且つＴＲ＿ＣＵＲがＴＲ＿ＤＤＲより大きいかどうかを確認する。この条件が満たされると、フレームメモリ・リフレッシュが待機中であり且つ処理対象の画像が表示順番においてＤＤＲピクチャよりも後の画像であることを意味するので、フレームメモリ１０４のリフレッシュ処理（即ち、フレームメモリ１０４に格納されている参照画像を不要と設定する処理）を実行する（ステップ３０３）。ただし、ここで、不要と設定する参照画像は、表示順番情報ＴＲが直近のＤＤＲピクチャの表示順番情報（ＴＲ＿ＤＤＲ）よりも小さい参照画像のみである。また、直近のＤＤＲピクチャ（又は画面内予測符号化画像）は、不要と設定しない。以上のようなリフレッシュ処理が終わったことで、状態変数ＲＰをＲＰ＝０に設定する。
一方、ステップ３０２で上記の条件が満たされない場合は、ステップ３０４に進み、当該時点の処理対象画像がＤＤＲピクチャであるかどうかを確認する。なお、動画像予測符号化装置１００では、画像の符号化タイプ（ＤＤＲ、画面間予測符号化又は双方向予測符号化）に関する情報は、図１の入力端子１１３経由で、図示しない制御装置から与えられるものとする。ステップ３０４で、当該時点の処理対象画像がＤＤＲピクチャである場合は、ステップ３０５にて当該時点の処理対象画像の表示順番情報ＴＲ＿ＣＵＲをＴＲ＿ＤＤＲに設定し、状態変数ＲＰをＲＰ＝１と設定した上でステップ３０６に進む。一方、ステップ３０４で条件が満たされない場合はステップ３０６に進む。
ステップ３０６では、処理対象画像に相当する再生画像を得る。ここでは、図１で説明した符号化方法で、処理対象画像を符号化して圧縮データを得て、さらに圧縮データを復号して再生画像（処理対象画像に相当する再生画像）を得る。なお、符号化により得られた圧縮データは、動画像予測符号化装置１００の外部へ送出される。又は、圧縮データは動画像予測符号化装置１００内の図示しないメモリに蓄積してもよい。次のステップ３０７では、処理対象画像に相当する再生画像が後続の処理で参照画像として用いられるかどうかを判断する。この判断は、当該画像の符号化タイプに基づいて行われる。なお、本実施形態では、ＤＤＲピクチャ、片方向予測符号化画像、及び特定の双方向予測符号化画像はすべて参照画像とする。ただし、この方法に限るものではない。
ステップ３０７で再生画像が参照画像として用いられないと判断された場合は、再生画像をフレームメモリ１０４に格納せずにステップ３０９に進む。一方、ステップ３０７で再生画像が参照画像として用いられると判断された場合は、ステップ３０８にて、再生画像をフレームメモリ１０４に格納した上で、ステップ３０９に進む。
ステップ３０９では次の画像（未処理の画像）があるか否かを判断し、次の画像があれば、ステップ３０２へ戻り、次の画像に対しステップ３０２〜３０８の処理を繰り返す。このようにして最後の画像までステップ３０２〜３０８の処理を繰り返し、全ての画像の処理が完了すると、図３の処理を終了する。
上述した図３の処理により、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の処理が完了した後、最初に、表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像を処理するときに（実際にはステップ３０６の処理の直前のステップ３０３において）、フレームメモリがリフレッシュされる。なお、フレームメモリのリフレッシュのタイミングは、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の処理が完了した後、最初に、表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像を処理するときであればよく、ステップ３０６の処理の直後であってもよい。
上述した図３の処理は、図１の動画像予測符号化装置１００全体の処理に該当するが、とりわけステップ３０２〜３０５の処理はフレームメモリ管理器１１４により行われる。
なお、図３は、動画像の符号化方法として説明したが、動画像復号方法の処理にも適用できる。復号処理を行う場合、ステップ３０１では、さらに、圧縮符号化された画像のデータ（ビットストリーム）が入力される。当該データから対象画像の表示順番情報や符号化タイプを抽出して、上述と同じ方法でステップ３０２〜３０５の制御を行う。ステップ３０６では対象画像の圧縮されたデータを復号し、画像を復元する処理を行う。ステップ３０７以降の処理は、上述したとおりである。このような処理は、図２の動画像予測復号装置２００全体の処理に該当するが、とりわけステップ３０２〜３０５の処理はフレームメモリ管理器２０９により行われる。
図４は、本実施形態に係る動画像予測符号化・復号方法の処理を説明するための模式図である。図４に示す画像４０１〜４０９は、動画像を構成する画像群の一部であり、画像４０１はｎ枚の画像に先行されている様子を示す。したがって、図４の領域４１８に示すように画像４０１の表示順番情報ＴＲは（ｎ＋１）と表す。また、本実施形態では双方向予測を含む符号化・復号処理を行うため、ＴＲ＝（ｎ＋５）の画像４０２を先に処理した後に、表示順では画像４０２よりも先行する画像４０３、４０４、４０５を処理する様子を示している。同様の理由で、表示順が（ｎ＋３）の画像４０３は、表示順が（ｎ＋２）の画像４０４よりも先に処理される。このような順番は図１１（Ｂ）と同じである。なお、以降で「画像を処理する」とは「画像を符号化又は復号する」ことを意味する。
図４の画像４０１〜４０９の枠内に書かれている英文字は、以下を意味する。即ち、Ｐは片方向予測で符号化される画像、ＤＤＲはＤＤＲピクチャとして符号化される画像、Ｂとｂは双方向予測で符号化される画像を、それぞれ意味する。また、小文字ｂで示されている画像以外（即ち、大文字Ｂ、Ｐ、ＤＤＲで示されている画像）は、全て参照画像として用いられるものとする。図４の領域４２０に示す各画像に対するＲＰの値、及び領域４１９に示すＴＲ＿ＤＤＲの値は、各画像に対する処理が完了した直後の値であり、各画像に対する処理の開始時（即ち、図３のステップ３０２に入るとき）の値ではない。例えば、画像４０２に対する処理の開始時にＲＰ＝０であるが、画像４０２に対する処理の完了直後にはＲＰ＝１となる。
画像４０１の処理では、画像４０１がＤＤＲピクチャではないので、ＲＰ＝０となる。画像４０１に対応するＴＲ＿ＤＤＲは任意の値をとってもよいが、先行の処理によって格納されている値が設定されている。また、大文字Ｐ１で示される画像４０１は参照画像として用いるので、フレームメモリに格納される。
続いて、図３を参照しながら画像４０２の処理を説明する。このとき、図４の最下段における領域４１０に示すように、フレームメモリには、再生された画像Ｐ１が格納されている。画像４０２の処理開始時点ではＲＰ＝０であるため、ステップ３０２で否定判定され、ステップ３０４に進む。画像４０２はＤＤＲピクチャであるため、ステップ３０４で肯定判定され、ステップ３０５にてＲＰ＝１、ＴＲ＿ＤＤＲ＝ｎ＋５と設定される。また、画像４０２は、参照画像として用いられるのでフレームメモリに格納される。
次に画像４０３の処理が開始する時点では、図４の領域４１１に示すように、フレームメモリには画像Ｐ１とＤＤＲ５が格納されている。このときＲＰ＝１であるが、画像４０３の表示順番ＴＲ（ｎ＋３）はＴＲ＿ＤＤＲ（ｎ＋５）よりも小さく且つ画像４０３はＤＤＲピクチャではないので、ステップ３０２、３０４で否定判定され、そのままで符号化又は復号される（ステップ３０６）。また、画像４０３は、参照画像として用いられるため、フレームメモリに格納される。
画像４０４と４０５を処理する際も同じようにフレームメモリのリフレッシュは待機状態（ＲＰ＝１）のままである。また画像４０４と４０５は参照画像として用いられないため、図４の領域４１２、４１３に示すようにフレームメモリには、画像４０４と４０５は格納されず、画像Ｐ１、ＤＤＲ５、Ｂ３が格納されている。
画像４０６の処理が開始する時点ではＲＰ＝１であるが、画像４０６の表示順番情報ＴＲ（ｎ＋９）はＴＲ＿ＤＤＲ（ｎ＋５）よりも大きいので、ステップ３０２で肯定判定され、ステップ３０３にて参照画像を不要と設定することでフレームメモリをリフレッシュし、ＲＰ＝０と設定する。このとき不要と設定する参照画像は、直近のＤＤＲピクチャ４０２を除く、直近のＤＤＲピクチャ４０２よりも表示順番情報ＴＲが小さい参照画像のみである。したがって、図４の領域４１４に示すように、フレームメモリでは、画像Ｐ１と画像Ｂ３の記憶領域が開放され、画像ＤＤＲ５のみが格納されることになる。画像４０６は、図４の領域４１５に示すように、当該画像４０６の処理が完了した後にフレームメモリに格納され、それ以降は、上記と同様にフレームメモリのリフレッシュ制御が行われる。
このように、ＤＤＲピクチャ４０２の処理直後もしくは直前では、フレームメモリにある参照画像（図４では画像Ｐ１）を不要と設定しないため、ＤＤＲピクチャ４０２の後に処理される画像４０３、４０４，４０５の処理において画像Ｐ１を参照することができ、そのため符号化効率の向上に寄与することができる。また、ＤＤＲピクチャ４０２の処理の後にフレームメモリ・リフレッシュを実行する際に、直近のＤＤＲピクチャ４０２（画像ＤＤＲ５）を不要と設定しないため、後続の画像４０７、４０８、４０９の処理において直近のＤＤＲピクチャ４０２（画像ＤＤＲ５）を参照画像として用いることができる。
このように本実施形態は、画像に付随する表示順番情報を利用して、ランダムアクセスの箇所となる画面内予測画像（ＤＤＲピクチャ）の処理の後に行われるメモリ・リフレッシュのタイミングを表示順番情報によって設定することにより、ランダムアクセス画像の前後にある画像を効率よく圧縮符号化することができる。また、従来技術の欠点に係る不都合を以下のように解消することができる。
即ち、表示順番情報は、各画像には必ず付随するものであるため、新たな情報（フラグ）を送る必要がなく、従来技術の欠点２は解消される。また、動画像の編集（例えば一部の画像を捨てる、別の画像をつなぐ等）を行う場合でも、動画像を構成する各画像の表示順番情報は適切に設定されるため、誤動作を引き起こすことはなく、従来技術の欠点１は解消される。さらに、本発明によるメモリ・リフレッシュのタイミングは、Ｐピクチャに限定されず、画像の符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に依存しないため、メモリのリフレッシュの要否にかかわらず符号化効率の最もよい符号化タイプで処理することができ、従来技術の欠点３は解消される。
［変形例について］
上述した実施形態では、画像の表示順番情報が「絶対値」として符号化される場合の処理を説明したが、符号化効率を高めるために、画像の表示順番情報が「差分値」として符号化される実施形態もある。以下では、変形例として、表示順番情報が「差分値」として符号化される実施形態を説明する。
図５は、動画像予測符号化・復号方法の変形例の流れ図を示す。変形例では、画像の表示順番情報は、次のように符号化される。即ち、フレームメモリのリフレッシュの待機中に処理対象となった画像については、その表示順番情報とＤＤＲピクチャの表示順番情報との差分値を符号化する。一方、上記以外の画像については、その表示順番情報を任意の方法で符号化する。例えば、ＤＤＲピクチャの表示順番情報との差分を符号化してもいいし、符号化順において直前の画像の表示順番情報との差分を符号化してもよい。
以下の変形例では、図５を動画像の復号方法として説明するが、もちろん、図５は動画像の符号化方法にも適用可能である。図５のステップ５０１では、動画像予測復号装置２００に、圧縮符号化された画像のデータが入力され、当該データから対象画像の表示順番情報の差分値（ｄｅｌｔａ＿ＴＲ）及び画像の符号化タイプに関する情報を抽出する。同時に、ＴＲ＿ＤＤＲとＲＰを０に初期化する。
次のステップ５０２では、ＲＰ＝１であるかどうか確認する。この条件が満たされると、フレームメモリ・リフレッシュが待機中であることを意味するので、ステップ５０３に進む。ステップ５０３では、当該時点の処理対象画像の表示順番情報ＴＲ＿ＣＵＲを、ＴＲ＿ＤＤＲとｄｅｌｔａ＿ＴＲとの和（加算した値）に設定する。
次に、ステップ５０４にてＴＲ＿ＣＵＲがＴＲ＿ＤＤＲより大きいかどうか確認する。この条件が満たされると、フレームメモリ・リフレッシュ待機中であり且つ処理対象の画像が表示順番においてＤＤＲピクチャよりも後の画像であることを意味するので、フレームメモリ２０７のリフレッシュ処理（即ち、フレームメモリ２０７に格納されている参照画像を不要と設定する処理）を実行する（ステップ５０５）。ただし、ここで、不要と設定する参照画像は、表示順番情報ＴＲが直近のＤＤＲピクチャの表示順番情報（ＴＲ＿ＤＤＲ）よりも小さい参照画像のみである。また、直近のＤＤＲピクチャ（又は画面内予測符号化画像）は、不要と設定しない。以上のようなリフレッシュ処理が終わったことで、状態変数ＲＰをＲＰ＝０に設定する。その後、後述するステップ５０７に進む。また、前述したステップ５０４で否定判定された場合もステップ５０７に進む。
一方、ステップ５０２で否定判定された場合はステップ５０６に進み、ＴＲ＿ＣＵＲを、前に処理された画像の表示順番情報ＴＲ＿ＰＲＥＶとｄｅｌｔａ＿ＴＲとの和（加算した値）に設定して、ステップ５０７に進む。
ステップ５０７では、当該時点の処理対象画像がＤＤＲピクチャであるかどうかを確認する。なお、動画像予測復号装置２００は、画像の符号化タイプ（ＤＤＲ、画面間予測符号化又は双方向予測符号化）に関する情報を、外部から入力された圧縮符号化データから得ることができる。
ステップ５０７で、当該時点の処理対象画像がＤＤＲピクチャである場合は、ステップ５０８にて当該時点の処理対象画像の表示順番情報ＴＲ＿ＣＵＲをＴＲ＿ＤＤＲに設定し、状態変数ＲＰをＲＰ＝１と設定した上でステップ５０９に進む。一方、ステップ５０７で条件が満たされない場合はステップ５０９に進む。
ステップ５０９では、処理対象画像に相当する再生画像を得る。ここでは、図２で説明した復号方法で、処理対象画像の圧縮データを復号することで、処理対象画像に相当する再生画像を得る。なお、ここで得られた再生画像は、例えば、動画像予測復号装置２００の外部へ送出される。次のステップ５１０では、処理対象画像に相当する再生画像が後続の処理で参照画像として用いられるかどうかを判断する。この判断は、当該画像の符号化タイプに基づいて行われる。なお、ここでは、ＤＤＲピクチャ、片方向予測符号化画像、及び特定の双方向予測符号化画像はすべて参照画像とする。ただし、この方法に限るものではない。
ステップ５１０で再生画像が参照画像として用いられないと判断された場合は、再生画像をフレームメモリ２０７に格納せずにステップ５１２に進む。一方、ステップ５１０で再生画像が参照画像として用いられると判断された場合は、ステップ５１１にて、再生画像をフレームメモリ２０７に格納した上で、ステップ５１２に進む。
ステップ５１２では、後続のステップ５０６の処理のために、ＴＲ＿ＣＵＲをＴＲ＿ＰＲＥＶに設定し、ステップ５１３に進む。ステップ５１３では次の画像（未処理の画像）があるか否かを判断し、次の画像があれば、ステップ５０２へ戻り、次の画像に対しステップ５０２〜５１２の処理を繰り返す。このようにして最後の画像までステップ５０２〜５１２の処理を繰り返し、全ての画像の処理が完了すると、図５の処理を終了する。
上述した図５の処理により、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の処理が完了した後、最初に、表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像を処理するときに（実際にはステップ５０９の処理の直前のステップ５０５において）、フレームメモリがリフレッシュされる。なお、フレームメモリのリフレッシュのタイミングは、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の処理が完了した後、最初に、表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像を処理するときであればよく、ステップ５０９の処理の直後であってもよい。
上述した図５の処理は、図２の動画像予測復号装置２００全体の処理に該当するが、とりわけステップ５０２〜５０８はフレームメモリ管理器２０９により行われる。
なお、図５は動画像の復号方法として説明したが、動画像符号化方法の処理にも適用できる。符号化処理を行う場合、ステップ５０３ではｄｅｌｔａ＿ＴＲをＴＲ＿ＣＵＲとＴＲ＿ＤＤＲとの差分から求め、ステップ５０６ではｄｅｌｔａ＿ＴＲをＴＲ＿ＣＵＲとＴＲ＿ＰＲＥＶとの差分から求めた上で、エントロピー符号化する。また、ステップ５０９では対象画像を符号化した上で復号する。このような処理は、図１の動画像予測符号化装置１００全体の処理に該当するが、とりわけステップ５０２〜５０８の処理はフレームメモリ管理器１１４により行われる。
図６は、変形例に係る動画像予測符号化・復号方法の処理を説明するための模式図である。図６に示す画像６０１〜６０９は、動画像を構成する画像群の一部であり、図４で説明した画像４０１〜４０９と同じ処理を示している。ただし、図６では、図４に対し、領域６２１に示すｄｅｌｔａ＿ＴＲが追加されている。この領域６２１からわかるように、対象画像の符号化処理開始時におけるＲＰの値（前の画像のＲＰ値）によって、ｄｅｌｔａ＿ＴＲの求め方が異なる。即ち、画像６０３〜６０６の符号化処理では、ｄｅｌｔａ＿ＴＲは、各画像のＴＲとＴＲ＿ＤＤＲとの差分値として求められる。画像６０７以降の符号化処理では、ｄｅｌｔａ＿ＴＲは、各画像のＴＲとその直前の画像のＴＲとの差分値として求められる。一方、各画像の復号処理において差分値ｄｅｌｔａ＿ＴＲから表示順番情報ＴＲを復元する場合は、差分値の圧縮データを復号して得られた差分値ｄｅｌｔａ＿ＴＲとＴＲ＿ＤＤＲとを加算することで、表示順番情報ＴＲを復元する。それ以降は図４と同じ処理になるので、省略する。
図６では、仮に画像６０３〜６０５が編集により欠落したとしても、画像６０６の表示順番情報ＴＲは、ＴＲ＿ＤＤＲから求めるので、ＴＲ＝ｄｅｌｔａ＿ＴＲ＋ＴＲ＿ＤＤＲ＝４＋（ｎ＋５）＝ｎ＋９として正しく再現でき、フレームメモリのリフレッシュを誤動作なく制御することができる。仮に、すべての画像のｄｅｌｔａ＿ＴＲが、復号順において当該画像の表示順番情報と直前の画像の表示順番情報との差分値として求められるとすると、画像６０３が欠落した場合に、表示順番情報が正しく再生できなくなり、画像６０５のタイミングでフレームメモリのリフレッシュが実行されてしまう（本来、画像６０６のタイミングが正しいタイミングである）。
図６を動画像符号化処理に適用した場合、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の処理完了後に、フレームメモリ・リフレッシュの待機中にある画像（画像６０３〜６０６）の表示順番情報を符号化する際に、当該画像の表示順番情報ＴＲそのものでなく、当該画像の表示順番情報ＴＲとＤＤＲピクチャの表示順番情報ＴＲ＿ＤＤＲとの差分値ｄｅｌｔａ＿ＴＲを符号化することにより、フレームメモリ・リフレッシュのタイミングを正しく復元することができる。このため、たとえフレームメモリ・リフレッシュの待機中にある画像が脱落しても、誤動作を回避でき、エラー耐性が強いという効果がある。
さらに別の例として、差分値ｄｅｌｔａ＿ＴＲを符号化する対象としては、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の後の、最初に表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像（図６では画像６０６）を含む１つ以上の画像であってもよい。即ち、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の後の、最初に表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像（図６では画像６０６）を含む１つ以上の画像について、その表示順番情報を符号化する際に、当該画像の表示順番情報ＴＲそのものでなく、当該画像の表示順番情報ＴＲとＤＤＲピクチャの表示順番情報ＴＲ＿ＤＤＲとの差分値ｄｅｌｔａ＿ＴＲを符号化してもよい。
［動画像予測符号化プログラム、動画像予測復号プログラムについて］
動画像予測符号化装置に係る発明は、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムに係る発明として捉えることができる。同様に、動画像予測復号装置に係る発明は、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムに係る発明として捉えることができる。
動画像予測符号化プログラム及び動画像予測復号プログラムは、例えば、記録媒体に格納されて提供される。なお、記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
図９には、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムのモジュールを示す。図９に示すように、動画像予測符号化プログラムＰ１００は、入力モジュールＰ１０１、符号化モジュールＰ１０２、復元モジュールＰ１０３、画像格納モジュールＰ１０４、及びメモリ管理モジュールＰ１０５を備えている。
また、図１０には、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムのモジュールを示す。図１０に示すように、動画像予測復号プログラムＰ２００は、入力モジュールＰ２０１、復元モジュールＰ２０２、画像格納モジュールＰ２０３、及びメモリ管理モジュールＰ２０４を備えている。
上記のように構成された動画像予測符号化プログラムＰ１００及び動画像予測復号プログラムＰ２００は、図８に示す記録媒体１０に記憶可能であり、後述するコンピュータ３０により実行される。
図７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。コンピュータとしては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。
図７に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像予測符号化プログラムにアクセス可能になり、当該動画像予測符号化プログラムによって、本発明に係る動画像予測符号化装置として動作することが可能になる。同様に、コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像予測復号プログラムにアクセス可能になり、当該動画像予測復号プログラムによって、本発明に係る動画像予測復号装置として動作することが可能になる。
図８に示すように、動画像予測符号化プログラム又は動画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信された動画像予測符号化プログラム又は動画像予測復号プログラムをメモリ１６に格納して実行することができる。
１０…記録媒体、３０…コンピュータ、１００…動画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…入力端子、１１４…フレームメモリ管理器、２００…動画像予測復号装置、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…フレームメモリ、２０８…予測信号生成器、２０９…フレームメモリ管理器、Ｐ１００…動画像予測符号化プログラム、Ｐ１０１…入力モジュール、Ｐ１０２…符号化モジュール、Ｐ１０３…復元モジュール、Ｐ１０４…画像格納モジュール、Ｐ１０５…メモリ管理モジュール、Ｐ２００…動画像予測復号プログラム、Ｐ２０１…入力モジュール、Ｐ２０２…復元モジュール、Ｐ２０３…画像格納モジュール、Ｐ２０４…メモリ管理モジュール。

Claims (14)

  1. 動画像を構成する複数の画像を入力する入力手段と、
    入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、
    生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
    復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
    前記画像格納手段を制御するメモリ管理手段と、を具備し、
    前記メモリ管理手段は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
    ことを特徴とする動画像予測符号化装置。
  2. 前記符号化手段は、
    表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像、を含む１つ以上の符号化対象画像の表示順番情報に関するデータとして、前記符号化対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化する、
    ことを特徴とする請求項１に記載の動画像予測符号化装置。
  3. 前記符号化手段は、
    前記ランダムアクセス画像の次に符号化対象となる画像から、
    表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、
    の各画像については、
    各画像の表示順番情報に関するデータとして、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化する、
    ことを特徴とする請求項１に記載の動画像予測符号化装置。
  4. 動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、
    前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、
    復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
    前記画像格納手段を制御するメモリ管理手段と、を具備し、
    前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
    ことを特徴とする動画像予測復号装置。
  5. 前記復元手段は、
    表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を復号する復号処理の完了後に最初に復号対象となる画像、を含む１つ以上の復号対象画像の表示順番情報については、
    当該復号対象画像の表示順番符号化データを復号して得られた、当該復号対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、
    前記ランダムアクセス画像の表示順番情報とを、
    加算することで、
    当該復号対象画像の表示順番情報を復元する、
    ことを特徴とする請求項４に記載の動画像予測復号装置。
  6. 前記復元手段は、
    前記ランダムアクセス画像の次に符号化対象となる画像から、
    表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、
    の各画像についての表示順番情報については、
    当該各画像の表示順番符号化データを復号して得られた、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、
    前記ランダムアクセス画像の表示順番情報とを、
    加算することで、
    当該各画像の表示順番情報を復元する、
    ことを特徴とする請求項４に記載の動画像予測復号装置。
  7. 後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、
    動画像を構成する複数の画像を入力する入力ステップと、
    入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化ステップと、
    生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
    復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
    前記画像格納手段を制御するメモリ管理ステップと、を具備し、
    前記メモリ管理ステップにおいて前記動画像予測符号化装置は、
    前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
    ことを特徴とする動画像予測符号化方法。
  8. 前記符号化ステップにおいて前記動画像予測符号化装置は、
    表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像、を含む１つ以上の符号化対象画像の表示順番情報に関するデータとして、前記符号化対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化する、
    ことを特徴とする請求項７に記載の動画像予測符号化方法。
  9. 前記符号化ステップにおいて前記動画像予測符号化装置は、
    前記ランダムアクセス画像の次に符号化対象となる画像から、
    表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、
    の各画像については、
    各画像の表示順番情報に関するデータとして、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化する、
    ことを特徴とする請求項７に記載の動画像予測符号化方法。
  10. 後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、
    動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力ステップと、
    前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元ステップと、
    復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
    前記画像格納手段を制御するメモリ管理ステップと、を具備し、
    前記メモリ管理ステップにおいて前記動画像予測復号装置は、
    前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
    ことを特徴とする動画像予測復号方法。
  11. 前記復元ステップにおいて前記動画像予測復号装置は、
    表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を復号する復号処理の完了後に最初に復号対象となる画像、を含む１つ以上の復号対象画像の表示順番情報については、
    当該復号対象画像の表示順番符号化データを復号して得られた、当該復号対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、
    前記ランダムアクセス画像の表示順番情報とを、
    加算することで、
    当該復号対象画像の表示順番情報を復元する、
    ことを特徴とする請求項１０に記載の動画像予測復号方法。
  12. 前記復元ステップにおいて前記動画像予測復号装置は、
    前記ランダムアクセス画像の次に符号化対象となる画像から、
    表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、
    の各画像についての表示順番情報については、
    当該各画像の表示順番符号化データを復号して得られた、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、
    前記ランダムアクセス画像の表示順番情報とを、
    加算することで、
    当該各画像の表示順番情報を復元する、
    ことを特徴とする請求項１０に記載の動画像予測復号方法。
  13. コンピュータを、
    動画像を構成する複数の画像を入力する入力手段と、
    入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、
    生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
    復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
    前記画像格納手段を制御するメモリ管理手段、
    として動作させ、
    前記メモリ管理手段は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
    ことを特徴とする動画像予測符号化プログラム。
  14. コンピュータを、
    動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、
    前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、
    復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
    前記画像格納手段を制御するメモリ管理手段、
    として動作させ、
    前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
    ことを特徴とする動画像予測復号プログラム。
JP2010061337A 2010-03-17 2010-03-17 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム Pending JP2011199396A (ja)

Priority Applications (59)

Application Number Priority Date Filing Date Title
JP2010061337A JP2011199396A (ja) 2010-03-17 2010-03-17 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
ES11756230.6T ES2655416T3 (es) 2010-03-17 2011-03-14 Dispositivo de codificación de predicción de imagen en movimiento, procedimiento de codificación de predicción de imagen en movimiento, programa de codificación de predicción de imagen en movimiento, dispositivo de descodificación de predicción de imagen en movimiento, procedimiento de descodificación de predicción de imagen en movimiento y programa de descodificación de predicción de imagen en movimiento
CA2935201A CA2935201C (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
BR112012023322A BR112012023322B1 (pt) 2010-03-17 2011-03-14 dispositivo de codificação preditiva de imagem em movimento, método de codificação preditiva de imagem em movimento, dispositivo de decodificação preditiva de imagem em movimento e método de decodificação preditiva de imagem em movimento
NO11756230A NO2549758T3 (ja) 2010-03-17 2011-03-14
CA3081303A CA3081303C (en) 2010-03-17 2011-03-14 Refreshing reference picture storage memory after a coding process by clearing access to reference pictures which are not random access pictures
CN201510603845.4A CN105187842B (zh) 2010-03-17 2011-03-14 动态图像预测解码装置、动态图像预测解码方法
MX2012010614A MX2012010614A (es) 2010-03-17 2011-03-14 Dispositivo de codificacion de prediccion de imagen movil, metodo de codificacion de prediccion de imagen movil, programa de codificacion de prediccion de imagen movil, dispositivo de descodificacion de prediccion de imagen movil, metodo de decodificacion de prediccion de imagen movil y programa de descodificacion de prediccion de imagen movil.
EP17199102.9A EP3300369A1 (en) 2010-03-17 2011-03-14 Moving image prediction decoding device, moving image prediction decoding method
CA3041891A CA3041891C (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
CA2793168A CA2793168C (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
PT151696226T PT2942965T (pt) 2010-03-17 2011-03-14 Dispositivo de codificação de previsão de imagem em movimento, método de codificação de previsão de imagem em movimento, programa de codificação de previsão de imagem em movimento, dispositivo de descodificação de previsão de imagem em movimento, método de descodificação de previsão de imagem em movimento, programa de descodificação de previsão de imagem em movimento
CA3094541A CA3094541C (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
SG10201501390XA SG10201501390XA (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
CA3094540A CA3094540C (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
EP11756230.6A EP2549758B1 (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
RU2015122410/08A RU2601134C2 (ru) 2010-03-17 2011-03-14 Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
CA3169174A CA3169174A1 (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
PL15169622T PL2942965T3 (pl) 2010-03-17 2011-03-14 Urządzenie do predykcyjnego kodowania obrazu ruchomego, sposób predykcyjnego kodowania obrazu ruchomego, program do predykcyjnego kodowania obrazu ruchomego, urządzenie do predykcyjnego dekodowania obrazu ruchomego, sposób predykcyjnego dekodowania obrazu ruchomego i program do predykcyjnego dekodowania obrazu ruchomego
CN201510165668.6A CN104768020B (zh) 2010-03-17 2011-03-14 动态图像预测编码装置和方法、动态图像预测解码装置和方法
SG2012068334A SG184079A1 (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
EP15169622.6A EP2942965B1 (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
KR1020177015372A KR101867461B1 (ko) 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
CN201180013583.6A CN102792696B (zh) 2010-03-17 2011-03-14 动态图像预测编码装置、动态图像预测编码方法、动态图像预测解码装置、动态图像预测解码方法
KR1020127027048A KR101640872B1 (ko) 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
ES15169622.6T ES2655919T3 (es) 2010-03-17 2011-03-14 Dispositivo de codificación de predicción de imagen en movimiento, método de codificación de predicción de imagen en movimiento, programa de codificación de predicción de imagen en movimiento, dispositivo de descodificación de predicción de imagen en movimiento, método de descodificación de predicción de imagen en movimiento y programa de descodificación de predicción de imagen en movimiento
RU2012144029/08A RU2568310C2 (ru) 2010-03-17 2011-03-14 Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
AU2011228218A AU2011228218B2 (en) 2010-03-17 2011-03-14 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
PCT/JP2011/055915 WO2011115045A1 (ja) 2010-03-17 2011-03-14 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
NO15169622A NO2942965T3 (ja) 2010-03-17 2011-03-14
PT117562306T PT2549758T (pt) 2010-03-17 2011-03-14 Dispositivo de codificação de previsão de imagem em movimento, método de codificação de previsão de imagem em movimento, programa de codificação de previsão de imagem em movimento, dispositivo de descodificação de previsão de imagem em movimento, método de descodificação de previsão de imagem em movimento, programa de descodificação de previsão de imagem em movimento
KR1020167012926A KR101747195B1 (ko) 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
PL11756230T PL2549758T3 (pl) 2010-03-17 2011-03-14 Urządzenie do predykcyjnego kodowania obrazu ruchomego, sposób predykcyjnego kodowania obrazu ruchomego, program do predykcyjnego kodowania obrazu ruchomego, urządzenie do predykcyjnego dekodowania obrazu ruchomego, sposób predykcyjnego dekodowania obrazu ruchomego i program do predykcyjnego dekodowania obrazu ruchomego
CA3009695A CA3009695C (en) 2010-03-17 2011-03-14 Refreshing reference picture storage memory after a coding process by clearing access to reference pictures which are not random access pictures
TW107104188A TWI650002B (zh) 2010-03-17 2011-03-17 Animation prediction decoding method and animation prediction decoding device
TW100109131A TWI479895B (zh) 2010-03-17 2011-03-17 An animation predictive coding apparatus, an animation prediction coding method, an animation prediction coding program, an animation prediction decoding apparatus, an animation prediction decoding method, and an animation prediction decoding program
TW106136961A TWI619373B (zh) 2010-03-17 2011-03-17 Animation prediction decoding method and animation prediction decoding device
TW108133969A TWI691198B (zh) 2010-03-17 2011-03-17 動態影像預測編碼裝置、動態影像預測解碼裝置、動態影像預測編碼方法、動態影像預測解碼方法、及電腦可讀取之非暫時性記錄媒體
TW107140720A TWI670965B (zh) 2010-03-17 2011-03-17 動態影像預測編碼裝置及動態影像預測編碼方法
TW108121288A TWI678913B (zh) 2010-03-17 2011-03-17 動態影像預測編碼裝置、動態影像預測解碼裝置、動態影像預測編碼方法、及動態影像預測解碼方法
TW104100275A TWI611686B (zh) 2010-03-17 2011-03-17 動畫預測解碼裝置、動畫預測解碼方法、及動畫預測解碼程式
US13/618,066 US9113171B2 (en) 2010-03-17 2012-09-14 Moving image prediction encoding/decoding system
US14/822,657 US10178407B2 (en) 2010-03-17 2015-08-10 Moving image prediction encoding/decoding system
AU2016200188A AU2016200188B2 (en) 2010-03-17 2016-01-13 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
RU2016133267A RU2628260C1 (ru) 2010-03-17 2016-08-12 Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
RU2017127527A RU2652438C1 (ru) 2010-03-17 2017-08-02 Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
AU2018202169A AU2018202169B2 (en) 2010-03-17 2018-03-27 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
AU2018202171A AU2018202171B2 (en) 2010-03-17 2018-03-27 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
AU2018202170A AU2018202170B2 (en) 2010-03-17 2018-03-27 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
RU2018111019A RU2676408C1 (ru) 2010-03-17 2018-03-28 Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
US16/213,684 US10390042B2 (en) 2010-03-17 2018-12-07 Moving image prediction encoding/decoding system
US16/213,660 US10298953B2 (en) 2010-03-17 2018-12-07 Moving image prediction encoding/decoding system
RU2018144129A RU2690220C1 (ru) 2010-03-17 2018-12-13 Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
US16/376,966 US10715829B2 (en) 2010-03-17 2019-04-05 Moving image prediction encoding/decoding system
US16/457,066 US10567794B2 (en) 2010-03-17 2019-06-28 Moving image prediction encoding/decoding system
AU2019280009A AU2019280009B2 (en) 2010-03-17 2019-12-11 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
AU2019280003A AU2019280003B2 (en) 2010-03-17 2019-12-11 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
AU2021200759A AU2021200759B2 (en) 2010-03-17 2021-02-05 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
AU2021266226A AU2021266226B2 (en) 2010-03-17 2021-11-09 Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010061337A JP2011199396A (ja) 2010-03-17 2010-03-17 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014015544A Division JP5753595B2 (ja) 2014-01-30 2014-01-30 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム

Publications (2)

Publication Number Publication Date
JP2011199396A true JP2011199396A (ja) 2011-10-06
JP2011199396A5 JP2011199396A5 (ja) 2013-04-18

Family

ID=44649138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010061337A Pending JP2011199396A (ja) 2010-03-17 2010-03-17 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム

Country Status (17)

Country Link
US (6) US9113171B2 (ja)
EP (3) EP2942965B1 (ja)
JP (1) JP2011199396A (ja)
KR (3) KR101640872B1 (ja)
CN (3) CN104768020B (ja)
AU (9) AU2011228218B2 (ja)
BR (1) BR112012023322B1 (ja)
CA (8) CA3041891C (ja)
ES (2) ES2655416T3 (ja)
MX (1) MX2012010614A (ja)
NO (2) NO2942965T3 (ja)
PL (2) PL2942965T3 (ja)
PT (2) PT2549758T (ja)
RU (6) RU2568310C2 (ja)
SG (2) SG10201501390XA (ja)
TW (7) TWI691198B (ja)
WO (1) WO2011115045A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018033194A (ja) * 2017-12-05 2018-03-01 三菱電機株式会社 符号化装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
MX337078B (es) * 2011-07-02 2016-02-11 Samsung Electronics Co Ltd Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video.
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9432694B2 (en) * 2012-03-06 2016-08-30 Apple Inc. Signal shaping techniques for video data that is susceptible to banding artifacts
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
WO2014002899A1 (ja) * 2012-06-29 2014-01-03 ソニー株式会社 符号化装置および符号化方法
GB2516425B (en) * 2013-07-17 2015-12-30 Gurulogic Microsystems Oy Encoder and decoder, and method of operation
KR102133978B1 (ko) 2013-11-13 2020-07-14 삼성전자주식회사 압축 데이터를 이용하여 패널 셀프 리프레쉬를 수행할 수 있는 타이밍 컨트롤러, 이의 동작 방법, 및 상기 타이밍 컨트롤러를 포함하는 데이터 처리 시스템
EP3371974A4 (en) * 2015-11-06 2019-10-02 Microsoft Technology Licensing, LLC FLEXIBLE REFERENCE IMAGE MANAGEMENT FOR VIDEO CALCULATION AND DECODING
GB2617783B (en) * 2019-03-20 2024-02-07 V Nova Int Ltd Temporal signalling for video coding technology
CN111124337B (zh) * 2019-12-17 2023-08-01 西安万像电子科技有限公司 图像显示方法及系统
CN115336280A (zh) * 2020-03-31 2022-11-11 北京达佳互联信息技术有限公司 用于视频编解码中的高级语法的方法和设备
CN117221604A (zh) * 2020-04-03 2023-12-12 北京达佳互联信息技术有限公司 用于视频编解码中的高级语法的方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248265A (ja) * 2003-01-20 2004-09-02 Matsushita Electric Ind Co Ltd 画像符号化方法
JP2006246277A (ja) * 2005-03-07 2006-09-14 Pioneer Electronic Corp 再符号化装置、再符号化方法、および再符号化用プログラム
JP2007507128A (ja) * 2003-07-09 2007-03-22 松下電器産業株式会社 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2161377C2 (ru) * 1992-12-04 2000-12-27 Сони Корпорейшн Устройство и способ подготовки к записи на носителе информации кодируемого с переменным параметром сигнала, устройство и способ последовательного сигнала, способ воспроизведения шаблонов с носителя информации
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US7209520B2 (en) * 2001-10-17 2007-04-24 Matsushita Electric Industrial Co., Ltd. Moving picture encoding method and moving picture decoding method
CN100515085C (zh) * 2001-11-06 2009-07-15 松下电器产业株式会社 运动图像解码方法
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
ES2420583T3 (es) * 2002-07-11 2013-08-26 Panasonic Corporation Gestión de memoria intermedia de postdescodificador para un flujo de bits MPEG H.264-SVC
JP2005533444A (ja) * 2002-07-16 2005-11-04 ノキア コーポレイション 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
EP1595405B1 (en) * 2003-02-18 2019-12-04 Nokia Technologies Oy Method and device for transmitting media data in nal units over rtp
JP2004260236A (ja) 2003-02-24 2004-09-16 Matsushita Electric Ind Co Ltd 動画像の符号化方法および復号化方法
CA2507825C (en) * 2003-03-03 2013-01-22 Matsushita Electric Industrial Co. Ltd. Picture coding method and picture decoding method
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
CA2572605C (en) * 2004-07-01 2013-04-02 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
US8155186B2 (en) * 2004-08-11 2012-04-10 Hitachi, Ltd. Bit stream recording medium, video encoder, and video decoder
RU2287909C2 (ru) * 2004-12-15 2006-11-20 Московский технический университет связи и информатики Способ преобразования цифрового сигнала изображения и устройство для его реализации
WO2006075635A1 (ja) * 2005-01-17 2006-07-20 Matsushita Electric Industrial Co., Ltd. 画像復号化方法
WO2006078594A1 (en) * 2005-01-19 2006-07-27 Thomson Licensing Method and apparatus for real time parallel encoding
US8422561B2 (en) * 2005-02-09 2013-04-16 March Networks Corporation Method and system for low-subband content discrimination
US8036281B2 (en) * 2005-06-01 2011-10-11 Canon Kabushiki Kaisha Image coding apparatus and image coding method
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
WO2007077942A1 (ja) * 2006-01-05 2007-07-12 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
WO2007080223A1 (en) * 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
US20080165860A1 (en) * 2006-08-31 2008-07-10 Zohair Sahraoui H.264 Data processing
EP2087738B1 (en) * 2006-10-13 2016-04-13 Thomson Licensing Method for reference picture management involving multiview video coding
US20100020879A1 (en) * 2006-12-21 2010-01-28 Thomson Licensing Method for decoding a block of a video image
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5023739B2 (ja) * 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US8699808B2 (en) * 2007-10-15 2014-04-15 Chih-Ta Star Sung Method and apparatus of temporary image frame compression
FR2924296B1 (fr) * 2007-11-28 2010-05-28 Canon Kk Procede et dispositif de traitement d'un flux de donnees multimedia hierarchique transmis sur un reseau avec perte
JP5056560B2 (ja) * 2008-03-17 2012-10-24 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法
JP4935746B2 (ja) * 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
JP2009296078A (ja) 2008-06-03 2009-12-17 Victor Co Of Japan Ltd 符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラム
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP2010245970A (ja) * 2009-04-08 2010-10-28 Sony Corp 再生装置、再生方法、およびプログラム
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
KR20140057533A (ko) * 2011-07-15 2014-05-13 텔레폰악티에볼라겟엘엠에릭슨(펍) 랜덤 액세스 픽처를 청정하게 하기 위해 가장 낮은 계층 식별을 할당하기 위한 인코더 및 방법
US9479774B2 (en) 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
KR102266902B1 (ko) * 2014-01-13 2021-06-18 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248265A (ja) * 2003-01-20 2004-09-02 Matsushita Electric Ind Co Ltd 画像符号化方法
JP2007507128A (ja) * 2003-07-09 2007-03-22 松下電器産業株式会社 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化
JP2006246277A (ja) * 2005-03-07 2006-09-14 Pioneer Electronic Corp 再符号化装置、再符号化方法、および再符号化用プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018033194A (ja) * 2017-12-05 2018-03-01 三菱電機株式会社 符号化装置

Also Published As

Publication number Publication date
AU2018202171B2 (en) 2019-09-12
AU2011228218A1 (en) 2012-10-18
CA3009695C (en) 2020-07-14
EP2942965B1 (en) 2017-12-13
AU2018202170A1 (en) 2018-04-26
TWI678913B (zh) 2019-12-01
US10178407B2 (en) 2019-01-08
KR20170066709A (ko) 2017-06-14
AU2016200188B2 (en) 2018-01-04
CA3094540C (en) 2022-09-20
CN104768020B (zh) 2018-01-16
ES2655416T3 (es) 2018-02-20
TWI691198B (zh) 2020-04-11
US20190238885A1 (en) 2019-08-01
CN105187842A (zh) 2015-12-23
CA2935201A1 (en) 2011-09-22
SG10201501390XA (en) 2015-04-29
US10567794B2 (en) 2020-02-18
PT2549758T (pt) 2018-01-15
US10298953B2 (en) 2019-05-21
CA3081303A1 (en) 2011-09-22
CA2793168A1 (en) 2011-09-22
BR112012023322B1 (pt) 2018-09-25
PL2549758T3 (pl) 2018-03-30
US20150350644A1 (en) 2015-12-03
KR101747195B1 (ko) 2017-06-14
AU2018202170B2 (en) 2019-08-29
AU2011228218B2 (en) 2016-03-31
AU2019280009A1 (en) 2020-01-16
AU2016200188A1 (en) 2016-02-04
RU2568310C2 (ru) 2015-11-20
CA3081303C (en) 2022-06-28
TW201206202A (en) 2012-02-01
AU2021200759A1 (en) 2021-03-04
AU2018202171A1 (en) 2018-04-26
PL2942965T3 (pl) 2018-05-30
CN104768020A (zh) 2015-07-08
US20190327488A1 (en) 2019-10-24
US20190110069A1 (en) 2019-04-11
WO2011115045A1 (ja) 2011-09-22
RU2601134C2 (ru) 2016-10-27
TWI670965B (zh) 2019-09-01
CA3009695A1 (en) 2011-09-22
KR20160058977A (ko) 2016-05-25
CA3169174A1 (en) 2011-09-22
CN105187842B (zh) 2018-06-29
US20130044813A1 (en) 2013-02-21
RU2652438C1 (ru) 2018-04-26
CA3094540A1 (en) 2011-09-22
TW201914301A (zh) 2019-04-01
AU2021266226B2 (en) 2023-01-12
CN102792696B (zh) 2015-10-21
RU2015122410A (ru) 2015-10-27
TW201820865A (zh) 2018-06-01
TW201808005A (zh) 2018-03-01
EP2549758B1 (en) 2017-12-06
TWI619373B (zh) 2018-03-21
US9113171B2 (en) 2015-08-18
SG184079A1 (en) 2012-10-30
TWI479895B (zh) 2015-04-01
KR101640872B1 (ko) 2016-07-19
US20190116378A1 (en) 2019-04-18
ES2655919T3 (es) 2018-02-22
TW201941607A (zh) 2019-10-16
EP2549758A1 (en) 2013-01-23
RU2676408C1 (ru) 2018-12-28
CA3094541C (en) 2022-10-25
NO2942965T3 (ja) 2018-05-12
AU2018202169B2 (en) 2019-09-12
AU2019280009B2 (en) 2021-03-04
RU2628260C1 (ru) 2017-08-15
CA3094541A1 (en) 2011-09-22
NO2549758T3 (ja) 2018-05-05
AU2019280003B2 (en) 2021-01-21
CN102792696A (zh) 2012-11-21
CA2793168C (en) 2016-09-20
KR101867461B1 (ko) 2018-06-14
TW201515441A (zh) 2015-04-16
RU2012144029A (ru) 2014-05-10
EP2942965A2 (en) 2015-11-11
US10390042B2 (en) 2019-08-20
AU2021200759B2 (en) 2021-09-09
MX2012010614A (es) 2013-02-26
PT2942965T (pt) 2018-02-09
AU2018202169A1 (en) 2018-04-26
EP3300369A1 (en) 2018-03-28
EP2942965A3 (en) 2016-03-09
EP2549758A4 (en) 2015-11-25
US10715829B2 (en) 2020-07-14
BR112012023322A2 (pt) 2016-05-24
KR20130016289A (ko) 2013-02-14
TWI650002B (zh) 2019-02-01
CA3041891C (en) 2020-11-10
AU2021266226A1 (en) 2021-12-02
AU2019280003A1 (en) 2020-01-16
TWI611686B (zh) 2018-01-11
CA3041891A1 (en) 2011-09-22
TW202005374A (zh) 2020-01-16
RU2690220C1 (ru) 2019-05-31
CA2935201C (en) 2019-07-02

Similar Documents

Publication Publication Date Title
WO2011115045A1 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP6045222B2 (ja) 動画像予測復号装置、方法及びプログラム
JP5753595B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP7026762B2 (ja) 動画像予測復号方法
JP6229023B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP5977852B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP2018026872A (ja) 動画像予測復号方法及び動画像予測復号装置
JP6967653B2 (ja) 動画像予測復号方法
JP6637151B2 (ja) 動画像予測復号方法
JP2020043613A (ja) 動画像予測復号方法
JP2017073798A (ja) 動画像予測復号装置及び動画像予測復号方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140401