JP2018026872A - 動画像予測復号方法及び動画像予測復号装置 - Google Patents
動画像予測復号方法及び動画像予測復号装置 Download PDFInfo
- Publication number
- JP2018026872A JP2018026872A JP2017200459A JP2017200459A JP2018026872A JP 2018026872 A JP2018026872 A JP 2018026872A JP 2017200459 A JP2017200459 A JP 2017200459A JP 2017200459 A JP2017200459 A JP 2017200459A JP 2018026872 A JP2018026872 A JP 2018026872A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display order
- order information
- decoding
- random access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】ランダムアクセスの箇所となる画像の前後にある画像を効率よく圧縮符号化し従来技術の欠点に係る不都合(誤動作等)を解消する。
【解決手段】動画像予測符号化装置は、入力された画像を符号化し、ランダムアクセス画像を含む圧縮画像データを生成するとともに画像の表示順番情報に関するデータを符号化する符号化手段と、圧縮画像データを復号することで再生画像を復元する復元手段と、再生画像を参照画像として格納する画像格納手段と、を具備し、復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像を符号化するときに用いられる参照画像として、符号化処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する。
【選択図】図1
【解決手段】動画像予測符号化装置は、入力された画像を符号化し、ランダムアクセス画像を含む圧縮画像データを生成するとともに画像の表示順番情報に関するデータを符号化する符号化手段と、圧縮画像データを復号することで再生画像を復元する復元手段と、再生画像を参照画像として格納する画像格納手段と、を具備し、復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像を符号化するときに用いられる参照画像として、符号化処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する。
【選択図】図1
Description
本発明は、動画像予測復号方法及び動画像予測復号装置に関する発明である。
動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではMPEG1〜4やH.261〜H.264の方式が広く用いられている。
これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割し、各ブロックに対し符号化・復号処理を行う。符号化効率を高めるため、下記のような予測符号化方法が用いられる。画面内の予測符号化では、対象ブロックと同じ画面内の隣接する既再生の画像信号(過去に符号化された画像データを復元したもの)を用いて予測信号を生成し、予測信号を対象ブロックの信号から引き算して得られた差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内の既再生の画像信号を参照して信号の変位を検索し、その変位分を補償して予測信号を生成し、予測信号を対象ブロックの信号から引き算して得られた差分信号を符号化する。このとき動きの検索・補償を行うために参照される既再生の画像を、参照画像という。
また、双方向画面間予測では、表示時間順において対象画像の前に表示される過去の画像だけではなくて、対象画像の後に表示される未来の画像も併せて参照する場合がある(ただし、未来の画像は対象画像よりも先に符号化し、予め再生しておく必要がある)。そして、過去の画像から取得された予測信号と未来の画像から取得された予測信号の両方を平均化することによって、隠されていて新たに現れる物体の信号の予測に有効であるとともに、両方の予測信号に含まれている雑音を軽減する効果がある。
さらに、H.264の画面間予測符号化では、対象ブロックに対する予測信号は、過去に符号化して再生された複数の参照画像を参照し、動き検索しながら誤差の最も少ない画像信号を最適な予測信号として選択する。そして、対象ブロックの画素信号とこの最適な予測信号との差分を求め、差分に対し離散コサイン変換を施し量子化した上でエントロピー符号化する。同時に、対象ブロックに対する最適な予測信号をどの参照画像から取得するかに関する情報(参照インデックス)及び最適な予測信号を参照画像内のどの領域から取得するかに関する情報(動きベクトル)も併せて符号化する。H.264では、再生された4ないし5枚の画像が参照画像としてフレームメモリに格納される。なお、本明細書ではフレームメモリには、いわゆる再生画像バッファ(decoded picture buffer)を含むものとする。
画面間予測符号化は、画像間の相関を活かして効率よく圧縮符号化することができるものの、テレビのチャンネルの切り替えで映像番組を途中から視聴できるようにするためには、画面間の依存性を断ち切る必要がある。動画像の圧縮ビットストリームの中で、画面間の依存性のない箇所を、以下「ランダムアクセスポイント」という。チャンネルの切り替えの他に、動画像を編集する場合及び異なる動画像の圧縮データをつなぐ場合にも、ランダムアクセスポイントは必要となる。H.264ではIDRピクチャを指定し、指定されたIDRピクチャを上述の画面内予測符号化方法で符号化すると同時に、フレームメモリ内に格納されている再生画像を不要と設定して、当該再生画像を参照不可とすることで実質的にフレームメモリを開放する(リフレッシュする)。このような処理は「メモリ・リフレッシュ」と呼ばれ、また場合によっては「フレーム・メモリ・リフレッシュ」又は「バッファ・リフレッシュ」とも呼ばれる。
図11(A)は、IDRピクチャを含む動画像の予測構造を示す模式図である。この図11(A)に示す複数の画像901、902、…、909は、動画像を構成する画像群の一部であり、各画像を「ピクチャ」又は「フレーム」ともいう。各矢印は予測の方向を示す。例えば、画像902は、画像902に向かう2つの矢印の起点である画像903、905を参照画像として予測信号を取得する。なお、図11(A)の画像901は、図11(A)に示されていない過去の画像を参照して符号化されるものとする。次に画像902,903,904を符号化するが、その際、圧縮率を高めるために上述の双方向予測符号化方法を用いる。即ち、先に画像905を符号化・再生して、次に、既に再生された画像901と905を参照して画像903を符号化する(図11(A)では画像901からの矢印は省略している)。そして、画像902、904の各々は、再生された3つの画像901、905、903を参照画像として符号化する(図11(A)では画像901からの矢印は省略している)。同じように画像906、907、908は画像905と909を参照して符号化する。そして、このようにして符号化(圧縮)された各画像の圧縮データは、図11(B)のような順序で伝送もしくは蓄積される。図11(B)の圧縮データと図11(A)の画像とは、P1、IDR5、B3などの共通の符号によって対応関係を示している。例えば、圧縮データ910は、同じ符号P1を付した画像901の圧縮データであり、圧縮データ911は、同じ符号IDR5を付した画像905の圧縮データである。
さて、ランダムアクセスを考慮して、画像905をIDRピクチャに指定して画面内予測符号化を行う場合を考える。この場合、H.264におけるIDRのルールによれば、圧縮データ911を復号することで画像905を再生した直後に(又は圧縮データ911の復号を開始する直前でもよいが)、フレームメモリに格納されている全ての参照画像(即ち、画像901を含む過去の再生画像)を不要と設定し参照不可にしなければならない。その結果、図11(A)の画像901は参照不可になり、画像902、903、904の符号化では、画像901からの参照ができなくなる。このようなIDRピクチャに係る処理は、例えば下記の非特許文献1に記述されている。
Iain E.G. Richardson, "H.264 and MPEG-4 Video Compression", John Wiley & Sons, 2003, section6.4.2.
IDRピクチャの導入によって、上述の予測に用いられる参照画像が制限されるため、画像の表示順においてIDRピクチャよりも前にある画像(図11(A)の画像902、903、904)を効率よく符号化することができなくなる。この点を解決するために上記特許文献1には、フレームメモリのリフレッシュのタイミング(即ち、フレームメモリ内の参照画像を不要と設定するタイミング)を、IDRピクチャよりも後に符号化される画像の符号化実行時まで遅延させる方法が開示されている。フレームメモリのリフレッシュのタイミングを遅延させることにより、図11(A)の画像902、903、904の符号化実行時に画像901がフレームメモリに残っているため、画像902、903、904の符号化において画像901を参照できるようになり、効率よく符号化することができる。
特許文献1によれば、メモリ・リフレッシュのタイミングを遅延させる方法として、以下の方法が開示されている。
方法1:IDRピクチャに、遅延させる画像の枚数に関する情報を付加する。
方法2:メモリ・リフレッシュを実施するタイミングに対応する画像の圧縮データに、メモリ・リフレッシュの実行を指示する信号(フラグ)を付加する。
方法3:IDRピクチャの後に現れる最初のPピクチャ(片方向予測画像)をリフレッシュのタイミングとする。
方法1:IDRピクチャに、遅延させる画像の枚数に関する情報を付加する。
方法2:メモリ・リフレッシュを実施するタイミングに対応する画像の圧縮データに、メモリ・リフレッシュの実行を指示する信号(フラグ)を付加する。
方法3:IDRピクチャの後に現れる最初のPピクチャ(片方向予測画像)をリフレッシュのタイミングとする。
ところが、上記の方法は下記の欠点がある。
欠点1:上記の方法1では、動画像を編集する際に、複数の画像のうち一部の画像を捨てて別の画像をつないだり、別の画像を挿入したりすることが行われるため、IDRピクチャに付加されていた「遅延させる画像の枚数に関する情報」が適切でなくなり、誤動作を招くという不都合がある。
欠点2:上記の方法2では、同様にフラグを用いる場合でも、動画像の編集によって、対応する画像の圧縮データが削除されると、削除された圧縮データに付加されていたフラグがなくなり、誤動作を招くという不都合がある。
欠点3:上記の方法3では、メモリ・リフレッシュの合図(タイミング)はPピクチャに限定されてしまうため、他の方法で符号化できなくなるという不都合がある。例えば、シーンの変わり目に、画面内予測(Iピクチャ)として符号化することができなくなる。
欠点1:上記の方法1では、動画像を編集する際に、複数の画像のうち一部の画像を捨てて別の画像をつないだり、別の画像を挿入したりすることが行われるため、IDRピクチャに付加されていた「遅延させる画像の枚数に関する情報」が適切でなくなり、誤動作を招くという不都合がある。
欠点2:上記の方法2では、同様にフラグを用いる場合でも、動画像の編集によって、対応する画像の圧縮データが削除されると、削除された圧縮データに付加されていたフラグがなくなり、誤動作を招くという不都合がある。
欠点3:上記の方法3では、メモリ・リフレッシュの合図(タイミング)はPピクチャに限定されてしまうため、他の方法で符号化できなくなるという不都合がある。例えば、シーンの変わり目に、画面内予測(Iピクチャ)として符号化することができなくなる。
なお、ここでの「誤動作」とは、メモリ・リフレッシュが適切なタイミングで行われないことに起因し、後続のデータを復号する際に必要となる参照画像がフレームメモリに格納されていない状態となり、その結果、後続の画像が正しく再生できなくなることを意味する。
本発明は、上記の課題を解決し、ランダムアクセスの箇所となる画像の前後にある画像を効率よく圧縮符号化すると同時に、従来技術の欠点に係る不都合を解消することを目的とする。
上記目的を達成するために、本発明に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、を具備し、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像を符号化するときに用いられる参照画像として、符号化処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。即ち、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを符号化するときに用いられる参照画像として、符号化処理順および表示順番情報が前記ランダムアクセス画像の符号化処理順および表示順番情報より大きい又は同じである参照画像のみを含むような参照画像情報を含む前記圧縮画像データを復号する。
上記目的を達成するために、本発明に係る動画像予測復号装置は、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、を具備し、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを復号するときに用いられる参照画像として、復号処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。即ち、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを復号するときに用いられる参照画像として、復号処理順および表示順番情報が前記ランダムアクセス画像の復号処理順および表示順番情報より大きい又は同じである参照画像のみを含むような参照画像情報を含む前記圧縮画像データを復号する。
また、本発明に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、を具備し、前記復元ステップにおいて前記動画像予測符号化装置は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像を符号化するときに用いられる参照画像として、符号化処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。即ち、前記復元ステップにおいて前記動画像予測符号化装置は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを符号化するときに用いられる参照画像として、符号化処理順および表示順番情報が前記ランダムアクセス画像の符号化処理順および表示順番情報より大きい又は同じである参照画像のみを含むような参照画像情報を含む前記圧縮画像データを復号する。
また、本発明に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、を具備し、前記復元ステップにおいて前記動画像予測復号装置は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを復号するときに用いられる参照画像として、復号処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。即ち、前記復元ステップにおいて前記動画像予測復号装置は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを復号するときに用いられる参照画像として、復号処理順および表示順番情報が前記ランダムアクセス画像の復号処理順および表示順番情報より大きい又は同じである参照画像のみを含むような参照画像情報を含む前記圧縮画像データを復号する。
また、本発明に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段、として動作させ、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像を符号化するときに用いられる参照画像として、符号化処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。即ち、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを符号化するときに用いられる参照画像として、符号化処理順および表示順番情報が前記ランダムアクセス画像の符号化処理順および表示順番情報より大きい又は同じである参照画像のみを含むような参照画像情報を含む前記圧縮画像データを復号する。
また、本発明に係る動画像予測復号プログラムは、コンピュータを、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段、として動作させ、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを復号するときに用いられる参照画像として、復号処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。即ち、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを復号するときに用いられる参照画像として、復号処理順および表示順番情報が前記ランダムアクセス画像の復号処理順および表示順番情報より大きい又は同じである参照画像のみを含むような参照画像情報を含む前記圧縮画像データを復号する。
上記目的を達成するために、本発明に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段と、を具備し、前記メモリ管理手段は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、ことを特徴とする。
上記の符号化手段は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像、を含む1つ以上の符号化対象画像の表示順番情報に関するデータとして、前記符号化対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。
また、上記の符号化手段は、ランダムアクセス画像の次に符号化対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、の各画像については、各画像の表示順番情報に関するデータとして、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。
本発明に係る動画像予測復号装置は、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段と、を具備し、前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。
上記の復元手段は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を復号する復号処理の完了後に最初に復号対象となる画像、を含む1つ以上の復号対象画像の表示順番情報については、当該復号対象画像の表示順番符号化データを復号して得られた、当該復号対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該復号対象画像の表示順番情報を復元することが望ましい。
また、上記の復元手段は、ランダムアクセス画像の次に復号対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する復号処理の完了後に最初に復号対象となる画像まで、の各画像についての表示順番情報については、当該各画像の表示順番符号化データを復号して得られた、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該各画像の表示順番情報を復元することが望ましい。
本発明に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記画像格納手段を制御するメモリ管理ステップと、を具備し、前記メモリ管理ステップにおいて前記動画像予測符号化装置は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。
上記の符号化ステップにおいて前記動画像予測符号化装置は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像、を含む1つ以上の符号化対象画像の表示順番情報に関するデータとして、前記符号化対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。
また、上記の符号化ステップにおいて前記動画像予測符号化装置は、ランダムアクセス画像の次に符号化対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、の各画像については、各画像の表示順番情報に関するデータとして、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。
本発明に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記画像格納手段を制御するメモリ管理ステップと、を具備し、前記メモリ管理ステップにおいて前記動画像予測復号装置は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。
上記の復元ステップにおいて前記動画像予測復号装置は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を復号する復号処理の完了後に最初に復号対象となる画像、を含む1つ以上の復号対象画像の表示順番情報については、当該復号対象画像の表示順番符号化データを復号して得られた、当該復号対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該復号対象画像の表示順番情報を復元することが望ましい。
また、上記の復元ステップにおいて前記動画像予測復号装置は、ランダムアクセス画像の次に復号対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する復号処理の完了後に最初に復号対象となる画像まで、の各画像についての表示順番情報については、当該各画像の表示順番符号化データを復号して得られた、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該各画像の表示順番情報を復元することが望ましい。
本発明に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段、として動作させ、前記メモリ管理手段は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。
本発明に係る動画像予測復号プログラムは、コンピュータを、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段、として動作させ、前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。
また、本発明に係る動画像予測符号化装置は、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記ランダムアクセス画像を生成する符号化処理が完了した後、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい最初の画像を符号化する直前に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像を、「参照画像として用いられない」と設定することで、前記画像格納手段をリフレッシュするメモリ管理手段と、を具備し、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像を符号化するときに用いられる参照画像として、符号化処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。
また、本発明に係る動画像予測復号装置は、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、前記ランダムアクセス画像を復号する復号処理が完了した後、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい最初の画像を復号する直前に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像を、「参照画像として用いられない」と設定することで、前記画像格納手段をリフレッシュするメモリ管理手段と、を具備し、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを復号するときに用いられる参照画像として、復号処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。
また、本発明に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記ランダムアクセス画像を生成する符号化処理が完了した後、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい最初の画像を符号化する直前に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像を、「参照画像として用いられない」と設定することで、前記画像格納手段をリフレッシュするメモリ管理ステップと、を具備し、前記復元ステップにおいて前記動画像予測符号化装置は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像を符号化するときに用いられる参照画像として、符号化処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。
また、本発明に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記ランダムアクセス画像を復号する復号処理が完了した後、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい最初の画像を復号する直前に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像を、「参照画像として用いられない」と設定することで、前記画像格納手段をリフレッシュするメモリ管理ステップと、を具備し、前記復元ステップにおいて前記動画像予測復号装置は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを復号するときに用いられる参照画像として、復号処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。
また、本発明に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記ランダムアクセス画像を生成する符号化処理が完了した後、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい最初の画像を符号化する直前に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像を、「参照画像として用いられない」と設定することで、前記画像格納手段をリフレッシュするメモリ管理手段、として動作させ、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像を符号化するときに用いられる参照画像として、符号化処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。
また、本発明に係る動画像予測復号プログラムは、コンピュータを、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、前記ランダムアクセス画像を復号する復号処理が完了した後、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい最初の画像を復号する直前に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像を、「参照画像として用いられない」と設定することで、前記画像格納手段をリフレッシュするメモリ管理手段、として動作させ、前記復元手段は、表示順番情報がランダムアクセス画像の表示順番情報よりも大きい画像の圧縮画像データを復号するときに用いられる参照画像として、復号処理順又は表示順番情報において前記ランダムアクセス画像に先行する参照画像が含まれないような参照画像情報を含む前記圧縮画像データを復号する、ことを特徴とする。
以上のような本発明により、ランダムアクセスの箇所となる画像の前後にある画像を効率よく圧縮符号化すると同時に、従来技術の欠点に係る不都合を解消する。
上記の動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記画像格納手段を制御するメモリ管理ステップと、を具備し、前記メモリ管理ステップにおいて前記動画像予測復号装置は、前記ランダムアクセス画像を復号する復号処理が完了した後、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュし、前記表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像は、画像の符号化タイプに依存しない、ことを特徴としてもよい。
上記の動画像予測復号装置は、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段と、を具備し、前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュし、前記表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像は、画像の符号化タイプに依存しない、ことを特徴としてもよい。
本発明では、動画像を構成する各画像又は圧縮符号化された画像データに付随される表示順番を示す情報(以下「表示順番情報」という(従来技術における表示時間、時間参照情報、テンポラルリファレンスなどに相当))を利用して、ランダムアクセスの箇所となる画面内予測画像(イントラフレーム)より後に行われるメモリ・リフレッシュのタイミングを設定することにより、表示順番においてランダムアクセス画像の前後にある複数の画像を効率よく圧縮符号化すると同時に、従来技術の欠点に係る不都合を以下のように解消することができる。
即ち、表示順番情報は、各画像には必ず付随するものであるため、新たな情報(フラグ)を送る必要がなく、従来技術の欠点2は解消される。
また、動画像の編集(例えば一部の画像を捨てる、別の画像をつなぐ等)を行う場合でも、動画像を構成する各画像の表示順番情報は適切に設定されるため、誤動作を引き起こすことはなく、従来技術の欠点1は解消される。
さらに、本発明によるメモリ・リフレッシュのタイミングは、Pピクチャに限定されず、画像の符号化タイプ(Iピクチャ、Pピクチャ、Bピクチャ)に依存しないため、メモリのリフレッシュの要否にかかわらず符号化効率の最もよい符号化タイプで処理することができ、従来技術の欠点3は解消される。
以下、本発明の実施形態について、図1〜図10を用いて説明する。
[動画像予測符号化装置について]
図1は本発明の実施形態に係る動画像予測符号化装置100の構成を示す機能ブロック図である。図1に示すように、動画像予測符号化装置100は、機能的な構成として、入力端子101、ブロック分割器102、予測信号生成器103、フレームメモリ104、減算器105、変換器106、量子化器107、逆量子化器108、逆変換器109、加算器110、エントロピー符号化器111、出力端子112、入力端子113、及びフレームメモリ管理器114を備える。各機能ブロックの動作は、後述する動画像予測符号化装置100の動作の中で説明する。
図1は本発明の実施形態に係る動画像予測符号化装置100の構成を示す機能ブロック図である。図1に示すように、動画像予測符号化装置100は、機能的な構成として、入力端子101、ブロック分割器102、予測信号生成器103、フレームメモリ104、減算器105、変換器106、量子化器107、逆量子化器108、逆変換器109、加算器110、エントロピー符号化器111、出力端子112、入力端子113、及びフレームメモリ管理器114を備える。各機能ブロックの動作は、後述する動画像予測符号化装置100の動作の中で説明する。
以下、動画像予測符号化装置100の動作を述べる。符号化処理の対象となる複数枚の画像から成る動画像の信号は入力端子101に入力され、各画像はブロック分割器102により、複数の領域に分割される。本実施形態では、各画像は、8×8の画素から成る複数のブロックに分割されるが、これ以外のブロックの大きさ又はブロック形状に分割してもよい。次に、符号化処理の対象となるブロック(以下「対象ブロック」と呼ぶ)を対象として、後述の予測方法により予測信号を生成する。本実施形態では、予測方法として、画面間予測と画面内予測の2種類の予測方法が利用可能とされており、画面間予測では背景技術で述べた双方向画面間予測も利用可能とされている。以下、画面間予測と画面内予測の各々の基本動作を概説する。
画面間予測では、過去に符号化された後に復元された再生画像を参照画像として用いて、この参照画像から、対象ブロックに対する誤差の最も小さい予測信号を与える動き情報(例えば動きベクトル)を求める。この処理は「動き検出」と呼ばれる。また、場合に応じて、対象ブロックを再分割し、再分割された小領域を対象として画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい、小領域の分割方法及び各小領域の動き情報を決定する。本実施形態では、画面間予測は、予測信号生成器103により行われ、対象ブロックはラインL102経由で、参照画像はラインL104経由で、それぞれ予測信号生成器103に入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いる。その詳細は従来の技術であるMPEG−2、MPEG−4、H.264のいずれかの方法と同じである。決定された小領域の分割方法情報及び各小領域の動き情報は、予測信号生成器103からラインL112経由でエントロピー符号化器111に送られ、エントロピー符号化器111により符号化された上で、その符号化データはラインL111経由で出力端子112から送出される。また、複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報(リファレンスインデックス)も、予測信号生成器103からラインL112経由でエントロピー符号化器111に送られ、エントロピー符号化器111により符号化された上で、その符号化データはラインL111経由で出力端子112から送出される。なお、本実施形態では、一例として、4枚ないし5枚の再生画像がフレームメモリ104に格納され、参照画像として用いられる。予測信号生成器103は、小領域の分割方法、及び各小領域についての参照画像と動き情報に基づいて、フレームメモリ104から参照画像を取得し、参照画像及び動き情報から予測信号(画面間予測により得られた予測信号という意味で「画面間予測信号」という)を生成する。このように生成された画面間予測信号は、ラインL103経由で減算器105及び後述の処理に係る加算器110に送られる。
一方、画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には、予測信号生成器103は、同じ画面内にある既再生の画素信号をフレームメモリ104から取得し、既再生の画素信号を外挿することによって予測信号(画面内予測により得られた予測信号という意味で「画面内予測信号」という)を生成する。生成された画面内予測信号は、予測信号生成器103からラインL103経由で減算器105に送られる。予測信号生成器103における画面内予測信号の生成方法は、従来の技術であるH.264の方法と同じである。なお、画面内予測における外挿の方法に関する情報は、予測信号生成器103からラインL112経由でエントロピー符号化器111に送られ、エントロピー符号化器111により符号化された上で、符号化データは出力端子112から送出される。
以上、画面間予測と画面内予測の各々の基本動作を概説した。実際には、対象ブロックごとに、上述のように求められた画面間予測信号と画面内予測信号のうち、誤差の最も小さいものが選択され、予測信号生成器103からラインL103経由で減算器105に送られる。
ところで、符号化される一枚目の画像については、それより前に画像がないため、当該一枚目の画像内の全ての対象ブロックは画面内予測で処理される。また、テレビのチャンネルの切り替えに備えて、ランダムアクセスポイントとして、ある画像内の全ての対象ブロックを画面内予測で定期的に処理する。このような画像はイントラフレームとよび、H.264ではIDRピクチャと呼ぶ。
減算器105は、ラインL102経由で受け取った対象ブロックの信号から、ラインL103経由で受け取った予測信号を引き算することで、残差信号を生成する。この残差信号は変換器106にて離散コサイン変換され、その各変換係数は量子化器107にて量子化される。最後に、量子化された変換係数はエントロピー符号化器111により符号化され、得られた符号化データは、予測方法に関する情報とともにラインL111経由で出力端子112より送出される。
一方、後続の対象ブロックに対して画面内予測もしくは画面間予測を行うために、上記量子化された変換係数(対象ブロックの符号化データ)は、逆量子化器108にて逆量子化された後に逆変換器109にて逆離散コサイン変換され、これにより残差信号が復元される。そして、加算器110により、復元された残差信号とラインL103から送られた予測信号とが加算され、これにより対象ブロックの信号が再生され、得られた再生信号はフレームメモリ104に格納される。なお、本実施形態では変換器106と逆変換器109を用いているが、これらに代わる他の変換処理を用いてもよい。また、場合によっては、変換器106と逆変換器109がなくてもよい。
ところで、フレームメモリ104は有限なものであり、すべての再生画像を格納することは実際には不可能である。そのため、後続の画像の符号化に用いられる再生画像のみがフレームメモリ104に格納される。このフレームメモリ104を制御するのがフレームメモリ管理器114である。フレームメモリ管理器114は、フレームメモリ104に格納されているN枚(例えばN=4)の再生画像の中から、最も古い再生画像を消去することで、参照画像として用いられる直近の再生画像をフレームメモリ104に格納できるように制御する。実際にフレームメモリ管理器114には、入力端子113より各画像の表示順番情報及び画像を符号化するタイプ情報(画面内予測符号化、画面間予測符号化、双方向予測符号化)が入力され、これらの情報に基づいてフレームメモリ管理器114が動作する。このとき、各画像の表示順番情報は、フレームメモリ管理器114からラインL114経由でエントロピー符号化器111に送られ、エントロピー符号化器111により符号化され、この符号化された表示順番情報は、符号化された画像データとともに、ラインL111経由で出力端子112より送出される。なお、表示順番情報は、各画像に付随するものであり、画像の順番を示す情報や、画像を表示する時刻を示す情報(例えば画像の表示参照時間(テンポラルリファレンス))でもいい。本実施形態では、例えば、表示順番情報をそのまま二値符号化により符号化する。また、フレームメモリ管理器114による制御方法については後述する。
[動画像予測復号装置について]
次に、本発明に係る動画像予測復号装置について説明する。図2は本発明の実施形態に係る動画像予測復号装置200の構成を示す機能ブロック図である。図2に示すように、動画像予測復号装置200は、機能的な構成として、入力端子201、データ解析器202、逆量子化器203、逆変換器204、加算器205、予測信号生成器208、フレームメモリ207、出力端子206、及びフレームメモリ管理器209を備える。各機能ブロックの動作は、後述する動画像予測復号装置200の動作の中で説明する。なお、復号に係る手段としては、逆量子化器203及び逆変換器204に限定されるものではなく、これら以外のものを用いてもよい。また、復号に係る手段は、逆変換器204を無くし逆量子化器203のみで構成してもよい。
次に、本発明に係る動画像予測復号装置について説明する。図2は本発明の実施形態に係る動画像予測復号装置200の構成を示す機能ブロック図である。図2に示すように、動画像予測復号装置200は、機能的な構成として、入力端子201、データ解析器202、逆量子化器203、逆変換器204、加算器205、予測信号生成器208、フレームメモリ207、出力端子206、及びフレームメモリ管理器209を備える。各機能ブロックの動作は、後述する動画像予測復号装置200の動作の中で説明する。なお、復号に係る手段としては、逆量子化器203及び逆変換器204に限定されるものではなく、これら以外のものを用いてもよい。また、復号に係る手段は、逆変換器204を無くし逆量子化器203のみで構成してもよい。
以下、動画像予測復号装置200の動作を述べる。上述した符号化方法で得られた圧縮データは入力端子201から入力される。この圧縮データには、対象ブロックの残差信号と、予測信号の生成に関する情報と、量子化パラメータと、画像の表示順番情報と、画像の符号化タイプに関する情報とが含まれている。このうち、予測信号の生成に関する情報としては、例えば画面間予測の場合は、ブロック分割に関する情報(小領域の分割方法情報(例えばブロックのサイズ等))、各小領域の動き情報、及びリファレンスインデックスが含まれ、画面内予測の場合は外挿の方法に関する情報が含まれている。
データ解析器202は、入力された圧縮データから、対象ブロックの残差信号、予測信号の生成に関連する情報、量子化パラメータ、画像の表示順番情報、及び画像の符号化タイプに関する情報を抽出する。これらのうち、対象ブロックの残差信号及び量子化パラメータは、ラインL202経由で逆量子化器203に送られ、逆量子化器203は量子化パラメータをもとに対象ブロックの残差信号を逆量子化し、さらに、逆変換器204は逆量子化の結果を逆離散コサイン変換する。このようにして復元された残差信号はラインL204経由で加算器205に送られる。
一方、抽出された予測信号の生成に関する情報は、ラインL206b経由で予測信号生成器208に送られる。予測信号生成器208は、予測信号の生成に関する情報をもとに、フレームメモリ207内の複数の参照画像から適当な参照画像を取得し、当該適当な参照画像をもとに予測信号を生成する。生成された予測信号は、ラインL208経由で加算器205に送られ、加算器205により上記復元された残差信号に加算され、その結果、対象ブロックの信号が再生される。再生された対象ブロックの信号は、ラインL205経由で出力端子206から出力されると同時に、再生画像としてフレームメモリ207に格納される。
フレームメモリ207には、後続の画像の復号や再生に用いられる再生画像が格納されている。フレームメモリ管理器209は、フレームメモリ207に格納されているN枚(ここでは一例としてN=4であるが、予め決められた整数でもよい)の再生画像から最も古い再生画像を消去することで、参照画像として用いられる直近の再生画像をフレームメモリ207に格納できるように制御する。このフレームメモリ管理器209は、ラインL206a経由で入力される対象画像の表示順番情報と画像の符号化タイプに関する情報に基づいて動作する。フレームメモリ管理器209による制御方法については、後述する。
なお、ランダムアクセスポイントとなるイントラフレーム(画面内予測画像)について、H.264ではIDRピクチャ(instantaneous decoder refresh)と呼ばれているが、この名称は、IDRピクチャを符号化もしくは復号した後すぐに(instantaneous)フレームメモリ(decoder buffer)をリフレッシュすることに由来している。これに対し、本発明によれば、ランダムアクセスポイントとなるイントラフレームを符号化又は復号した後すぐに(又は符号化もしくは復号する直前に)、フレームメモリのリフレッシュを実行するのではなく、一時的に待機(もしくは遅延)させた上でフレームメモリのリフレッシュを実行するため、本発明ではこの画像をDDRピクチャ(deferred decoder refresh又はdelayed decoder refresh)と呼ぶ。以下に詳しく説明するように、フレームメモリのリフレッシュのタイミングは、DDRピクチャの表示順番情報と、処理(符号化又は復号)の対象となる画像(以下「処理対象画像」という)の表示順番情報とを比較することで決定する。
[動画像予測符号化方法及び動画像予測復号方法の特徴的な処理動作]
次に図3と図4を用いて、本発明による動画像予測符号化方法及び動画像予測復号方法の動作を説明する。図3は本実施形態に係る動画像予測符号化・復号方法を示す流れ図であり、以下では、図3を動画像の符号化方法として説明する。ただし、図3は動画像の復号方法にも適用可能である。
次に図3と図4を用いて、本発明による動画像予測符号化方法及び動画像予測復号方法の動作を説明する。図3は本実施形態に係る動画像予測符号化・復号方法を示す流れ図であり、以下では、図3を動画像の符号化方法として説明する。ただし、図3は動画像の復号方法にも適用可能である。
まず、図3に用いられる変数の意味を説明する。TRは表示順番情報、TR_DDRはDDR画像の表示順番情報、TR_CURは当該時点の処理対象画像の表示順番情報、RPはフレームメモリ104のリフレッシュが待機中かどうかを示す状態変数である。RP=1の場合は、DDRピクチャが処理対象となり、その後、フレームメモリ104のリフレッシュがまだ実行されていない状態(即ち、フレームメモリ・リフレッシュが待機中の状態)を示しており、RP=0の場合は、フレームメモリ104のリフレッシュが既に実行済みの状態又はリフレッシュ処理を必要としない状態を示す。
図3において、動画像の符号化が開始するときに、まず、TR_DDRとRPを0に初期化する(ステップ301)。ステップ302では、RP=1であり且つTR_CURがTR_DDRより大きいかどうかを確認する。この条件が満たされると、フレームメモリ・リフレッシュが待機中であり且つ処理対象の画像が表示順番においてDDRピクチャよりも後の画像であることを意味するので、フレームメモリ104のリフレッシュ処理(即ち、フレームメモリ104に格納されている参照画像を不要と設定する処理)を実行する(ステップ303)。ただし、ここで、不要と設定する参照画像は、表示順番情報TRが直近のDDRピクチャの表示順番情報(TR_DDR)よりも小さい参照画像のみである。また、直近のDDRピクチャ(又は画面内予測符号化画像)は、不要と設定しない。以上のようなリフレッシュ処理が終わったことで、状態変数RPをRP=0に設定する。
一方、ステップ302で上記の条件が満たされない場合は、ステップ304に進み、当該時点の処理対象画像がDDRピクチャであるかどうかを確認する。なお、動画像予測符号化装置100では、画像の符号化タイプ(DDR、画面間予測符号化又は双方向予測符号化)に関する情報は、図1の入力端子113経由で、図示しない制御装置から与えられるものとする。ステップ304で、当該時点の処理対象画像がDDRピクチャである場合は、ステップ305にて当該時点の処理対象画像の表示順番情報TR_CURをTR_DDRに設定し、状態変数RPをRP=1と設定した上でステップ306に進む。一方、ステップ304で条件が満たされない場合はステップ306に進む。
ステップ306では、処理対象画像に相当する再生画像を得る。ここでは、図1で説明した符号化方法で、処理対象画像を符号化して圧縮データを得て、さらに圧縮データを復号して再生画像(処理対象画像に相当する再生画像)を得る。なお、符号化により得られた圧縮データは、動画像予測符号化装置100の外部へ送出される。又は、圧縮データは動画像予測符号化装置100内の図示しないメモリに蓄積してもよい。次のステップ307では、処理対象画像に相当する再生画像が後続の処理で参照画像として用いられるかどうかを判断する。この判断は、当該画像の符号化タイプに基づいて行われる。なお、本実施形態では、DDRピクチャ、片方向予測符号化画像、及び特定の双方向予測符号化画像はすべて参照画像とする。ただし、この方法に限るものではない。
ステップ307で再生画像が参照画像として用いられないと判断された場合は、再生画像をフレームメモリ104に格納せずにステップ309に進む。一方、ステップ307で再生画像が参照画像として用いられると判断された場合は、ステップ308にて、再生画像をフレームメモリ104に格納した上で、ステップ309に進む。
ステップ309では次の画像(未処理の画像)があるか否かを判断し、次の画像があれば、ステップ302へ戻り、次の画像に対しステップ302〜308の処理を繰り返す。このようにして最後の画像までステップ302〜308の処理を繰り返し、全ての画像の処理が完了すると、図3の処理を終了する。
上述した図3の処理により、ランダムアクセス画像(ここでは直近のDDRピクチャ)の処理が完了した後、最初に、表示順番情報TRがTR_DDRより大きい画像を処理するときに(実際にはステップ306の処理の直前のステップ303において)、フレームメモリがリフレッシュされる。なお、フレームメモリのリフレッシュのタイミングは、ランダムアクセス画像(ここでは直近のDDRピクチャ)の処理が完了した後、最初に、表示順番情報TRがTR_DDRより大きい画像を処理するときであればよく、ステップ306の処理の直後であってもよい。
上述した図3の処理は、図1の動画像予測符号化装置100全体の処理に該当するが、とりわけステップ302〜305の処理はフレームメモリ管理器114により行われる。
なお、図3は、動画像の符号化方法として説明したが、動画像復号方法の処理にも適用できる。復号処理を行う場合、ステップ301では、さらに、圧縮符号化された画像のデータ(ビットストリーム)が入力される。当該データから対象画像の表示順番情報や符号化タイプを抽出して、上述と同じ方法でステップ302〜305の制御を行う。ステップ306では対象画像の圧縮されたデータを復号し、画像を復元する処理を行う。ステップ307以降の処理は、上述したとおりである。このような処理は、図2の動画像予測復号装置200全体の処理に該当するが、とりわけステップ302〜305の処理はフレームメモリ管理器209により行われる。
図4は、本実施形態に係る動画像予測符号化・復号方法の処理を説明するための模式図である。図4に示す画像401〜409は、動画像を構成する画像群の一部であり、画像401はn枚の画像に先行されている様子を示す。したがって、図4の領域418に示すように画像401の表示順番情報TRは(n+1)と表す。また、本実施形態では双方向予測を含む符号化・復号処理を行うため、TR=(n+5)の画像402を先に処理した後に、表示順では画像402よりも先行する画像403、404、405を処理する様子を示している。同様の理由で、表示順が(n+3)の画像403は、表示順が(n+2)の画像404よりも先に処理される。このような順番は図11(B)と同じである。なお、以降で「画像を処理する」とは「画像を符号化又は復号する」ことを意味する。
図4の画像401〜409の枠内に書かれている英文字は、以下を意味する。即ち、Pは片方向予測で符号化される画像、DDRはDDRピクチャとして符号化される画像、Bとbは双方向予測で符号化される画像を、それぞれ意味する。また、小文字bで示されている画像以外(即ち、大文字B、P、DDRで示されている画像)は、全て参照画像として用いられるものとする。図4の領域420に示す各画像に対するRPの値、及び領域419に示すTR_DDRの値は、各画像に対する処理が完了した直後の値であり、各画像に対する処理の開始時(即ち、図3のステップ302に入るとき)の値ではない。例えば、画像402に対する処理の開始時にRP=0であるが、画像402に対する処理の完了直後にはRP=1となる。
画像401の処理では、画像401がDDRピクチャではないので、RP=0となる。画像401に対応するTR_DDRは任意の値をとってもよいが、先行の処理によって格納されている値が設定されている。また、大文字P1で示される画像401は参照画像として用いるので、フレームメモリに格納される。
続いて、図3を参照しながら画像402の処理を説明する。このとき、図4の最下段における領域410に示すように、フレームメモリには、再生された画像P1が格納されている。画像402の処理開始時点ではRP=0であるため、ステップ302で否定判定され、ステップ304に進む。画像402はDDRピクチャであるため、ステップ304で肯定判定され、ステップ305にてRP=1、TR_DDR=n+5と設定される。また、画像402は、参照画像として用いられるのでフレームメモリに格納される。
次に画像403の処理が開始する時点では、図4の領域411に示すように、フレームメモリには画像P1とDDR5が格納されている。このときRP=1であるが、画像403の表示順番TR(n+3)はTR_DDR(n+5)よりも小さく且つ画像403はDDRピクチャではないので、ステップ302、304で否定判定され、そのままで符号化又は復号される(ステップ306)。また、画像403は、参照画像として用いられるため、フレームメモリに格納される。
画像404と405を処理する際も同じようにフレームメモリのリフレッシュは待機状態(RP=1)のままである。また画像404と405は参照画像として用いられないため、図4の領域412、413に示すようにフレームメモリには、画像404と405は格納されず、画像P1、DDR5、B3が格納されている。
画像406の処理が開始する時点ではRP=1であるが、画像406の表示順番情報TR(n+9)はTR_DDR(n+5)よりも大きいので、ステップ302で肯定判定され、ステップ303にて参照画像を不要と設定することでフレームメモリをリフレッシュし、RP=0と設定する。このとき不要と設定する参照画像は、直近のDDRピクチャ402を除く、直近のDDRピクチャ402よりも表示順番情報TRが小さい参照画像のみである。したがって、図4の領域414に示すように、フレームメモリでは、画像P1と画像B3の記憶領域が開放され、画像DDR5のみが格納されることになる。画像406は、図4の領域415に示すように、当該画像406の処理が完了した後にフレームメモリに格納され、それ以降は、上記と同様にフレームメモリのリフレッシュ制御が行われる。
このように、DDRピクチャ402の処理直後もしくは直前では、フレームメモリにある参照画像(図4では画像P1)を不要と設定しないため、DDRピクチャ402の後に処理される画像403、404,405の処理において画像P1を参照することができ、そのため符号化効率の向上に寄与することができる。また、DDRピクチャ402の処理の後にフレームメモリ・リフレッシュを実行する際に、直近のDDRピクチャ402(画像DDR5)を不要と設定しないため、後続の画像407、408、409の処理において直近のDDRピクチャ402(画像DDR5)を参照画像として用いることができる。
このように本実施形態は、画像に付随する表示順番情報を利用して、ランダムアクセスの箇所となる画面内予測画像(DDRピクチャ)の処理の後に行われるメモリ・リフレッシュのタイミングを表示順番情報によって設定することにより、ランダムアクセス画像の前後にある画像を効率よく圧縮符号化することができる。また、従来技術の欠点に係る不都合を以下のように解消することができる。
即ち、表示順番情報は、各画像には必ず付随するものであるため、新たな情報(フラグ)を送る必要がなく、従来技術の欠点2は解消される。また、動画像の編集(例えば一部の画像を捨てる、別の画像をつなぐ等)を行う場合でも、動画像を構成する各画像の表示順番情報は適切に設定されるため、誤動作を引き起こすことはなく、従来技術の欠点1は解消される。さらに、本発明によるメモリ・リフレッシュのタイミングは、Pピクチャに限定されず、画像の符号化タイプ(Iピクチャ、Pピクチャ、Bピクチャ)に依存しないため、メモリのリフレッシュの要否にかかわらず符号化効率の最もよい符号化タイプで処理することができ、従来技術の欠点3は解消される。
[変形例について]
上述した実施形態では、画像の表示順番情報が「絶対値」として符号化される場合の処理を説明したが、符号化効率を高めるために、画像の表示順番情報が「差分値」として符号化される実施形態もある。以下では、変形例として、表示順番情報が「差分値」として符号化される実施形態を説明する。
上述した実施形態では、画像の表示順番情報が「絶対値」として符号化される場合の処理を説明したが、符号化効率を高めるために、画像の表示順番情報が「差分値」として符号化される実施形態もある。以下では、変形例として、表示順番情報が「差分値」として符号化される実施形態を説明する。
図5は、動画像予測符号化・復号方法の変形例の流れ図を示す。変形例では、画像の表示順番情報は、次のように符号化される。即ち、フレームメモリのリフレッシュの待機中に処理対象となった画像については、その表示順番情報とDDRピクチャの表示順番情報との差分値を符号化する。一方、上記以外の画像については、その表示順番情報を任意の方法で符号化する。例えば、DDRピクチャの表示順番情報との差分を符号化してもいいし、符号化順において直前の画像の表示順番情報との差分を符号化してもよい。
以下の変形例では、図5を動画像の復号方法として説明するが、もちろん、図5は動画像の符号化方法にも適用可能である。図5のステップ501では、動画像予測復号装置200に、圧縮符号化された画像のデータが入力され、当該データから対象画像の表示順番情報の差分値(delta_TR)及び画像の符号化タイプに関する情報を抽出する。同時に、TR_DDRとRPを0に初期化する。
次のステップ502では、RP=1であるかどうか確認する。この条件が満たされると、フレームメモリ・リフレッシュが待機中であることを意味するので、ステップ503に進む。ステップ503では、当該時点の処理対象画像の表示順番情報TR_CURを、TR_DDRとdelta_TRとの和(加算した値)に設定する。
次に、ステップ504にてTR_CURがTR_DDRより大きいかどうか確認する。この条件が満たされると、フレームメモリ・リフレッシュ待機中であり且つ処理対象の画像が表示順番においてDDRピクチャよりも後の画像であることを意味するので、フレームメモリ207のリフレッシュ処理(即ち、フレームメモリ207に格納されている参照画像を不要と設定する処理)を実行する(ステップ505)。ただし、ここで、不要と設定する参照画像は、表示順番情報TRが直近のDDRピクチャの表示順番情報(TR_DDR)よりも小さい参照画像のみである。また、直近のDDRピクチャ(又は画面内予測符号化画像)は、不要と設定しない。以上のようなリフレッシュ処理が終わったことで、状態変数RPをRP=0に設定する。その後、後述するステップ507に進む。また、前述したステップ504で否定判定された場合もステップ507に進む。
一方、ステップ502で否定判定された場合はステップ506に進み、TR_CURを、前に処理された画像の表示順番情報TR_PREVとdelta_TRとの和(加算した値)に設定して、ステップ507に進む。
ステップ507では、当該時点の処理対象画像がDDRピクチャであるかどうかを確認する。なお、動画像予測復号装置200は、画像の符号化タイプ(DDR、画面間予測符号化又は双方向予測符号化)に関する情報を、外部から入力された圧縮符号化データから得ることができる。
ステップ507で、当該時点の処理対象画像がDDRピクチャである場合は、ステップ508にて当該時点の処理対象画像の表示順番情報TR_CURをTR_DDRに設定し、状態変数RPをRP=1と設定した上でステップ509に進む。一方、ステップ507で条件が満たされない場合はステップ509に進む。
ステップ509では、処理対象画像に相当する再生画像を得る。ここでは、図2で説明した復号方法で、処理対象画像の圧縮データを復号することで、処理対象画像に相当する再生画像を得る。なお、ここで得られた再生画像は、例えば、動画像予測復号装置200の外部へ送出される。次のステップ510では、処理対象画像に相当する再生画像が後続の処理で参照画像として用いられるかどうかを判断する。この判断は、当該画像の符号化タイプに基づいて行われる。なお、ここでは、DDRピクチャ、片方向予測符号化画像、及び特定の双方向予測符号化画像はすべて参照画像とする。ただし、この方法に限るものではない。
ステップ510で再生画像が参照画像として用いられないと判断された場合は、再生画像をフレームメモリ207に格納せずにステップ512に進む。一方、ステップ510で再生画像が参照画像として用いられると判断された場合は、ステップ511にて、再生画像をフレームメモリ207に格納した上で、ステップ512に進む。
ステップ512では、後続のステップ506の処理のために、TR_CURをTR_PREVに設定し、ステップ513に進む。ステップ513では次の画像(未処理の画像)があるか否かを判断し、次の画像があれば、ステップ502へ戻り、次の画像に対しステップ502〜512の処理を繰り返す。このようにして最後の画像までステップ502〜512の処理を繰り返し、全ての画像の処理が完了すると、図5の処理を終了する。
上述した図5の処理により、ランダムアクセス画像(ここでは直近のDDRピクチャ)の処理が完了した後、最初に、表示順番情報TRがTR_DDRより大きい画像を処理するときに(実際にはステップ509の処理の直前のステップ505において)、フレームメモリがリフレッシュされる。なお、フレームメモリのリフレッシュのタイミングは、ランダムアクセス画像(ここでは直近のDDRピクチャ)の処理が完了した後、最初に、表示順番情報TRがTR_DDRより大きい画像を処理するときであればよく、ステップ509の処理の直後であってもよい。
上述した図5の処理は、図2の動画像予測復号装置200全体の処理に該当するが、とりわけステップ502〜508はフレームメモリ管理器209により行われる。
なお、図5は動画像の復号方法として説明したが、動画像符号化方法の処理にも適用できる。符号化処理を行う場合、ステップ503ではdelta_TRをTR_CURとTR_DDRとの差分から求め、ステップ506ではdelta_TRをTR_CURとTR_PREVとの差分から求めた上で、エントロピー符号化する。また、ステップ509では対象画像を符号化した上で復号する。このような処理は、図1の動画像予測符号化装置100全体の処理に該当するが、とりわけステップ502〜508の処理はフレームメモリ管理器114により行われる。
図6は、変形例に係る動画像予測符号化・復号方法の処理を説明するための模式図である。図6に示す画像601〜609は、動画像を構成する画像群の一部であり、図4で説明した画像401〜409と同じ処理を示している。ただし、図6では、図4に対し、領域621に示すdelta_TRが追加されている。この領域621からわかるように、対象画像の符号化処理開始時におけるRPの値(前の画像のRP値)によって、delta_TRの求め方が異なる。即ち、画像603〜606の符号化処理では、delta_TRは、各画像のTRとTR_DDRとの差分値として求められる。画像607以降の符号化処理では、delta_TRは、各画像のTRとその直前の画像のTRとの差分値として求められる。一方、各画像の復号処理において差分値delta_TRから表示順番情報TRを復元する場合は、差分値の圧縮データを復号して得られた差分値delta_TRとTR_DDRとを加算することで、表示順番情報TRを復元する。それ以降は図4と同じ処理になるので、省略する。
図6では、仮に画像603〜605が編集により欠落したとしても、画像606の表示順番情報TRは、TR_DDRから求めるので、TR=delta_TR+TR_DDR=4+(n+5)=n+9として正しく再現でき、フレームメモリのリフレッシュを誤動作なく制御することができる。仮に、すべての画像のdelta_TRが、復号順において当該画像の表示順番情報と直前の画像の表示順番情報との差分値として求められるとすると、画像603が欠落した場合に、表示順番情報が正しく再生できなくなり、画像605のタイミングでフレームメモリのリフレッシュが実行されてしまう(本来、画像606のタイミングが正しいタイミングである)。
図6を動画像符号化処理に適用した場合、ランダムアクセス画像(ここでは直近のDDRピクチャ)の処理完了後に、フレームメモリ・リフレッシュの待機中にある画像(画像603〜606)の表示順番情報を符号化する際に、当該画像の表示順番情報TRそのものでなく、当該画像の表示順番情報TRとDDRピクチャの表示順番情報TR_DDRとの差分値delta_TRを符号化することにより、フレームメモリ・リフレッシュのタイミングを正しく復元することができる。このため、たとえフレームメモリ・リフレッシュの待機中にある画像が脱落しても、誤動作を回避でき、エラー耐性が強いという効果がある。
さらに別の例として、差分値delta_TRを符号化する対象としては、ランダムアクセス画像(ここでは直近のDDRピクチャ)の後の、最初に表示順番情報TRがTR_DDRより大きい画像(図6では画像606)を含む1つ以上の画像であってもよい。即ち、ランダムアクセス画像(ここでは直近のDDRピクチャ)の後の、最初に表示順番情報TRがTR_DDRより大きい画像(図6では画像606)を含む1つ以上の画像について、その表示順番情報を符号化する際に、当該画像の表示順番情報TRそのものでなく、当該画像の表示順番情報TRとDDRピクチャの表示順番情報TR_DDRとの差分値delta_TRを符号化してもよい。
[動画像予測符号化プログラム、動画像予測復号プログラムについて]
動画像予測符号化装置に係る発明は、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムに係る発明として捉えることができる。同様に、動画像予測復号装置に係る発明は、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムに係る発明として捉えることができる。
動画像予測符号化装置に係る発明は、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムに係る発明として捉えることができる。同様に、動画像予測復号装置に係る発明は、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムに係る発明として捉えることができる。
動画像予測符号化プログラム及び動画像予測復号プログラムは、例えば、記録媒体に格納されて提供される。なお、記録媒体としては、フレキシブルディスク、CD−ROM、DVD等の記録媒体、あるいはROM等の記録媒体、あるいは半導体メモリ等が例示される。
図9には、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムのモジュールを示す。図9に示すように、動画像予測符号化プログラムP100は、入力モジュールP101、符号化モジュールP102、復元モジュールP103、画像格納モジュールP104、及びメモリ管理モジュールP105を備えている。
また、図10には、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムのモジュールを示す。図10に示すように、動画像予測復号プログラムP200は、入力モジュールP201、復元モジュールP202、画像格納モジュールP203、及びメモリ管理モジュールP204を備えている。
上記のように構成された動画像予測符号化プログラムP100及び動画像予測復号プログラムP200は、図8に示す記録媒体10に記憶可能であり、後述するコンピュータ30により実行される。
図7は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図8は、記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。コンピュータとしては、CPUを具備しソフトウエアによる処理や制御を行うDVDプレーヤ、セットトップボックス、携帯電話などを含む。
図7に示すように、コンピュータ30は、フレキシブルディスクドライブ装置、CD−ROMドライブ装置、DVDドライブ装置等の読み取り装置12と、オペレーティングシステムを常駐させた作業用メモリ(RAM)14と、記録媒体10に記憶されたプログラムを記憶するメモリ16と、ディスプレイといった表示装置18と、入力装置であるマウス20及びキーボード22と、データ等の送受信を行うための通信装置24と、プログラムの実行を制御するCPU26とを備えている。コンピュータ30は、記録媒体10が読み取り装置12に挿入されると、読み取り装置12から記録媒体10に格納された動画像予測符号化プログラムにアクセス可能になり、当該動画像予測符号化プログラムによって、本発明に係る動画像予測符号化装置として動作することが可能になる。同様に、コンピュータ30は、記録媒体10が読み取り装置12に挿入されると、読み取り装置12から記録媒体10に格納された動画像予測復号プログラムにアクセス可能になり、当該動画像予測復号プログラムによって、本発明に係る動画像予測復号装置として動作することが可能になる。
図8に示すように、動画像予測符号化プログラム又は動画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号40としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ30は、通信装置24によって受信された動画像予測符号化プログラム又は動画像予測復号プログラムをメモリ16に格納して実行することができる。
10…記録媒体、30…コンピュータ、100…動画像予測符号化装置、101…入力端子、102…ブロック分割器、103…予測信号生成器、104…フレームメモリ、105…減算器、106…変換器、107…量子化器、108…逆量子化器、109…逆変換器、110…加算器、111…エントロピー符号化器、112…出力端子、113…入力端子、114…フレームメモリ管理器、200…動画像予測復号装置、201…入力端子、202…データ解析器、203…逆量子化器、204…逆変換器、205…加算器、206…出力端子、207…フレームメモリ、208…予測信号生成器、209…フレームメモリ管理器、P100…動画像予測符号化プログラム、P101…入力モジュール、P102…符号化モジュール、P103…復元モジュール、P104…画像格納モジュール、P105…メモリ管理モジュール、P200…動画像予測復号プログラム、P201…入力モジュール、P202…復元モジュール、P203…画像格納モジュール、P204…メモリ管理モジュール。
Claims (2)
- 後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、
動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力ステップと、
前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元ステップと、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
前記画像格納手段を制御するメモリ管理ステップと、を具備し、
前記メモリ管理ステップにおいて前記動画像予測復号装置は、前記ランダムアクセス画像を復号する復号処理が完了した後、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュし、
前記表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像は、画像の符号化タイプに依存せず、
前記復元ステップにおいて前記動画像予測復号装置は、
復元済みの所定の基準画像の表示順番情報と、
前記表示順番符号化データを復号して得られる、当該所定の基準画像の表示順番情報と前記画像の表示順番情報との差分値と、
に基づいて、当該画像の表示順番情報を復元する、
ことを特徴とする動画像予測復号方法。 - 動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
前記画像格納手段を制御するメモリ管理手段と、を具備し、
前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュし、
前記表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像は、画像の符号化タイプに依存せず、
前記復元手段は、
復元済みの所定の基準画像の表示順番情報と、
前記表示順番符号化データを復号して得られる、当該所定の基準画像の表示順番情報と前記画像の表示順番情報との差分値と、
に基づいて、当該画像の表示順番情報を復元する、
ことを特徴とする動画像予測復号装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017200459A JP2018026872A (ja) | 2017-10-16 | 2017-10-16 | 動画像予測復号方法及び動画像予測復号装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017200459A JP2018026872A (ja) | 2017-10-16 | 2017-10-16 | 動画像予測復号方法及び動画像予測復号装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016144725A Division JP6229023B2 (ja) | 2016-07-22 | 2016-07-22 | 動画像予測復号方法及び動画像予測復号装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018026872A true JP2018026872A (ja) | 2018-02-15 |
Family
ID=61194342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017200459A Ceased JP2018026872A (ja) | 2017-10-16 | 2017-10-16 | 動画像予測復号方法及び動画像予測復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018026872A (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004248265A (ja) * | 2003-01-20 | 2004-09-02 | Matsushita Electric Ind Co Ltd | 画像符号化方法 |
JP2004260236A (ja) * | 2003-02-24 | 2004-09-16 | Matsushita Electric Ind Co Ltd | 動画像の符号化方法および復号化方法 |
JP2007507128A (ja) * | 2003-07-09 | 2007-03-22 | 松下電器産業株式会社 | 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化 |
US20080192830A1 (en) * | 2007-02-14 | 2008-08-14 | Samsung Electronics Co., Ltd. | Method of encoding and decoding motion picture frames |
JP2009296078A (ja) * | 2008-06-03 | 2009-12-17 | Victor Co Of Japan Ltd | 符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラム |
JP2010041354A (ja) * | 2008-08-05 | 2010-02-18 | Victor Co Of Japan Ltd | 動画像符号化方法、符号化装置及び符号化プログラム |
-
2017
- 2017-10-16 JP JP2017200459A patent/JP2018026872A/ja not_active Ceased
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004248265A (ja) * | 2003-01-20 | 2004-09-02 | Matsushita Electric Ind Co Ltd | 画像符号化方法 |
JP2004260236A (ja) * | 2003-02-24 | 2004-09-16 | Matsushita Electric Ind Co Ltd | 動画像の符号化方法および復号化方法 |
JP2007507128A (ja) * | 2003-07-09 | 2007-03-22 | 松下電器産業株式会社 | 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化 |
US20080192830A1 (en) * | 2007-02-14 | 2008-08-14 | Samsung Electronics Co., Ltd. | Method of encoding and decoding motion picture frames |
JP2009296078A (ja) * | 2008-06-03 | 2009-12-17 | Victor Co Of Japan Ltd | 符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラム |
JP2010041354A (ja) * | 2008-08-05 | 2010-02-18 | Victor Co Of Japan Ltd | 動画像符号化方法、符号化装置及び符号化プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011115045A1 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム | |
JP6045222B2 (ja) | 動画像予測復号装置、方法及びプログラム | |
JP5753595B2 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム | |
JP7026762B2 (ja) | 動画像予測復号方法 | |
JP6229023B2 (ja) | 動画像予測復号方法及び動画像予測復号装置 | |
JP5977852B2 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム | |
JP2018026872A (ja) | 動画像予測復号方法及び動画像予測復号装置 | |
JP6967653B2 (ja) | 動画像予測復号方法 | |
JP6637151B2 (ja) | 動画像予測復号方法 | |
JP2020043613A (ja) | 動画像予測復号方法 | |
JP2017073798A (ja) | 動画像予測復号装置及び動画像予測復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
A045 | Written measure of dismissal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20181127 |