JP2011114572A - 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法 - Google Patents

画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法 Download PDF

Info

Publication number
JP2011114572A
JP2011114572A JP2009268988A JP2009268988A JP2011114572A JP 2011114572 A JP2011114572 A JP 2011114572A JP 2009268988 A JP2009268988 A JP 2009268988A JP 2009268988 A JP2009268988 A JP 2009268988A JP 2011114572 A JP2011114572 A JP 2011114572A
Authority
JP
Japan
Prior art keywords
transition
image
signal
prediction
transition vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009268988A
Other languages
English (en)
Other versions
JP5321426B2 (ja
Inventor
Motoharu Ueda
基晴 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Holdings Inc
Original Assignee
JVCKenwood Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Holdings Inc filed Critical JVCKenwood Holdings Inc
Priority to JP2009268988A priority Critical patent/JP5321426B2/ja
Priority to CN201080053749.2A priority patent/CN102640496B/zh
Priority to PCT/JP2010/006853 priority patent/WO2011064990A1/ja
Priority to DE201011004586 priority patent/DE112010004586T5/de
Publication of JP2011114572A publication Critical patent/JP2011114572A/ja
Priority to US13/481,440 priority patent/US9100664B2/en
Application granted granted Critical
Publication of JP5321426B2 publication Critical patent/JP5321426B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【課題】フレーム内での予測効率を大幅に向上する。
【解決手段】画像符号化装置は、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、相関性の高い信号と符号化対象ブロックの画面内の変移である変移ベクトルを求める変移ベクトル検出部１０３と、変移ベクトルに従い予測信号を生成する変移予測信号生成部１０４とを有する。変移ベクトル検出部１０３は、変移ベクトルにおいて指定される予測信号を水平及び垂直の少なくとも一方の並びを反転させた信号を算出し、反転された予測信号を含めた予測信号の中より最適な予測信号と、予測信号を構成する為に必要な変移ベクトルと反転方向を示す情報を検出する。変移予測信号生成部１０４は、変移ベクトル及び反転方向を示す情報に従って、局部復号画像より予測信号を生成する。
【選択図】図１

Description

本発明は、画像信号の符号化及び復号化技術に関し、対象となる画像信号に対する予測信号を符号化済み画像より生成し、予測信号との差分信号を符号化する画面内予測処理を用いる、画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法に関するものである。
近年、デジタル化された画像・音声コンテンツを、衛星や地上波等の放送波やネットワークを介して配信するサービスが実用化されており、膨大な情報量を持つ画像・音声の情報を効率的に記録・伝送するための高能率符号化が必要となっている。コンテンツの高精細化・多様化に伴い、符号化される画像の数及びデータ量は更に増大しており、将来のコンテンツサービスを想定した、更なる画像信号の高効率な符号化が要求されている。
画像の高能率符号化としては、ＭＰＥＧ２やＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）に代表される、動画像信号の同一フレーム内で空間的に隣接する画素間の相関および、時間的に隣接するフレーム間やフィールド間の相関を利用して情報量を圧縮する方式が用いられている。
ＭＰＥＧ４−ＡＶＣ（文献「ＩＳＯ／ＩＥＣ １４４９６−１０ Advanced Video Coding」）では、画像を複数の２次元ブロックに分割し、ブロック単位で同一フレーム内やフレーム間の相関を用いて予測信号を生成し、予測信号との差分情報を符号化する事で高い符号化効率を実現している。ＭＰＥＧ４−ＡＶＣにおける同一フレーム内の相関を用いた予測処理はイントラ予測と呼ばれ、図２０に示すように、符号化対象であるブロックの予測画像を、対象ブロックに隣接する符号化済み部分の復号画像を用いて生成する。イントラ予測では、隣接する復号画像が図２０に示すような一定の方向に対して相関が高い事を想定した複数（４×４画素ブロック単位で予測を行う場合には９種類）の予測モードで生成した予測画像より、最も符号化対象ブロックと誤差の少ない予測モードを選択し、予測モード情報と合わせて符号化される。
イントラ予測は隣接した領域との相関性のみを利用した予測処理となり、符号化対象ブロックとの境界における相関性が少ない場合には、予測効果が減少する。
画像信号においては、対象としたブロックより離れた位置においても、物体の形状や模様・背景等の類似した画像成分を有する信号が存在する。特許文献１においては対象ブロックより離れた位置における画像との相関性を利用して、予測処理を行う手法が提示されている。具体的には、図２１に示すように対象ブロックより画面内の変移量（以降変移ベクトルと表記する）だけ移動した位置の、符号化済み復号画像と符号化対象ブロックとの誤差を算出し、最も誤差の少ない変移ベクトルで参照される参照画像を予測画像とし、変移ベクトルと合わせて符号化する。
変移ベクトルを伝送する符号量を上回る、相関性が高い予測画像が生成できる場合には、イントラ予測に対して高い符号化効率を実現出来るが、変移ベクトルの伝送量が大きい場合には、十分な予測効率を発揮出来ない。
特許文献２においては、上記変移ベクトルに要する符号量を削減するために、変移ベクトルを伝送せずに特定する手法が提示されている。特許文献２においては、対象ブロックに隣接した符号化済みの復号画像をテンプレートとして用いて、変移ベクトルだけ移動した位置の符号化済み復号画像と、前記対象ブロックに隣接した符号化済みの復号画像との誤差を算出し、最も誤差の少ない変移ベクトルを、符号化対象ブロックの変移ベクトルと見立て、変移ベクトルで参照される参照画像を予測画像とする。この方式においては、復号側では符号化側と同様に、符号化済みの復号画像を用いて変移ベクトルを検出することで、変移ベクトルを受信せずに算出できるため、付加情報による符号量の増大は起こらない。
特開２００５−１５９９４７号公報 特開２００７−０４３６５１号公報
ＭＰＥＧ４−ＡＶＣにおいて、時間的に連続性のある画像信号に対しては、時間方向で異なるフレームの復号済み画像信号を基準に動き補償予測処理を行う事で高い符号化効率を実現出来るが、動き補償予測処理を行う基準フレームは同一フレーム内でのイントラ予測のみを使用して符号化を行う必要があり、符号化対象ブロックとの境界における相関性が低い場合には、予測効果が減少する課題がある。この課題は、動画像信号が時間的に連続性のない場合においても、動き補償予測が機能しないためにイントラ予測の性能限界による、符号化効率の低下となって現れる。
特許文献１および特許文献２で提示されているような、対象ブロックとの変移ベクトルを伝送もしくは自己生成して、対象ブロックと離れた位置における画像相関性を利用する場合には、画像信号に対する隣接領域では無い部分の自己相似性や、同一なテクスチャ成分を有する、異なる物体からの予測を行うために、画面内に存在している物体の形状変化や輝度変化等の影響があり、画像信号が有する自己相似性やテクスチャの相似性を十分に活用できていない。
特許文献１においては、変移ベクトルの符号量を上回る効果を有する予測信号を算出できない場合に、効率が低下する課題を有しており、特許文献２においては、符号化対象ブロックの隣接画像をテンプレートにして変移ベクトルを算出するため、隣接画像と対象ブロックの間で相関性が低い場合や、特許文献１で生成される変移ベクトルで参照される参照ブロックの隣接画像との相関性が低い場合等、精度の高い変移ベクトルを求める事が出来ず、効率が向上しない課題を有している。
そこで、本発明はフレーム内での予測効率を大幅に向上させるために、対象ブロックと離れた位置における画像に対する相関性を、従来の手法よりも有効に活用することができる、フレーム内予測手法を実現させる事を目的とする。
上記目的を達成するため、本発明の画像符号化装置は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う装置であって、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、前記相関性の高い信号と前記符号化対象ブロックの画面内の変移である変移ベクトルを求める、変移ベクトル検出部と、前記変移ベクトルに従い予測信号を生成する、変移予測信号生成部とを有し、前記変移ベクトル検出部は、変移ベクトルにおいて指定される予測信号を水平及び垂直の少なくとも一方の並びを反転させた信号を算出し、反転された予測信号を含めた予測信号の中より最適な予測信号と、予測信号を構成する為に必要な変移ベクトルと反転方向を示す情報を検出すると共に、前記変移予測信号生成部は、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトル及び前記反転方向を示す情報を符号化する。
また、本発明の画像符号化装置は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う装置であって、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと前記局部復号画像より生成される予測信号との画面内の変移である変移ベクトルを求める、周辺復号参照変移ベクトル推定部と、前記変移ベクトルに従い予測信号を生成する、周辺復号参照変移予測信号生成部とを有し、前記周辺復号参照変移ベクトル推定部は、符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の信号との誤差評価を行う事で、前記予測信号と前記変移ベクトルを生成すると共に、符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の位置を、前記変移ベクトルで参照される局部復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で、反転方向を示す情報を生成し、前記周辺復号参照変移予測信号生成部は、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、前記予測信号と前記符号化対象ブロックとの差分信号を符号化する。
また、本発明の画像符号化装置は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う装置であって、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、前記相関性の高い信号と前記符号化対象ブロックの画面内の変移である変移ベクトルを求める、変移ベクトル検出部と、前記変移ベクトルに従い予測信号を生成する、変移予測信号生成部と、予測信号を水平及び垂直の少なくとも一方の並びを反転させる為の、反転方向を示す情報を推定する、テンプレート反転モード推定部とを有し、前記テンプレート反転モード推定部は、符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の位置を、前記変移ベクトルで参照される局部復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で反転方向を示す情報を生成し、前記変移ベクトル検出部は、前記反転方向を示す情報に応じて、変移ベクトルにおいて指定される予測信号を反転させた信号を算出し、変移ベクトル毎に予測信号と符号化対象ブロックとの誤差評価を行う事で変移ベクトルを検出すると共に、前記変移予測信号生成部は、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルを符号化する。
また、本発明の画像復号化装置は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する装置であって、前記符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を水平及び垂直の少なくとも一方に反転させる、反転方向を示す情報を復号する、変移ベクトル／モード復号部と、前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成部とを有し、前記予測信号と、復号された残差信号を加算することで復号画像を算出する。
また、本発明の画像復号化装置は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する装置であって、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像を用いて、復号対象ブロックと前記復号画像より生成した予測信号との画面内の変移である変移ベクトルを求める、周辺復号参照変移ベクトル推定部と、前記変移ベクトルに従い予測信号を生成する、周辺復号参照変移予測信号生成部とを有し、前記周辺復号参照変移ベクトル推定部は、復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の信号との誤差評価を行う事で、前記予測信号と前記変移ベクトルを生成すると共に、復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の位置を、前記変移ベクトルで参照される復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で、反転方向を示す情報を生成し、前記周辺復号参照変移予測信号生成部は、前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成し、前記予測信号と復号された残差信号を加算することで復号画像を算出する。
また、本発明の画像復号化装置は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する装置であって、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトルを復号する、変移ベクトル／モード復号部と、予測信号を水平及び垂直の少なくとも一方の並びを反転させる為の、反転方向を示す情報を推定する、テンプレート反転モード推定部とを有し、前記テンプレート反転モード推定部は、復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の位置を、前記変移ベクトルで参照される復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で反転方向を示す情報を生成すると共に、前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成部を有し、前記予測信号と、復号された残差信号を加算することで復号画像を算出する。
また、本発明の画像符号化方法は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う方法であって、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、前記相関性の高い信号と前記符号化対象ブロックの画面内の変移である変移ベクトルを求める、変移ベクトル検出ステップと、前記変移ベクトルに従い予測信号を生成する、変移予測信号生成ステップとを含み、前記変移ベクトル検出ステップでは、変移ベクトルにおいて指定される予測信号を水平及び垂直の少なくとも一方の並びを反転させた信号を算出し、反転された予測信号を含めた予測信号の中より最適な予測信号と、予測信号を構成する為に必要な変移ベクトルと反転方向を示す情報を検出すると共に、前記変移予測信号生成ステップでは、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトル及び前記反転方向を示す情報を符号化する。
また、本発明の画像符号化方法は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う方法であって、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと前記局部復号画像より生成される予測信号との画面内の変移である変移ベクトルを求める、周辺復号参照変移ベクトル推定ステップと、前記変移ベクトルに従い予測信号を生成する、周辺復号参照変移予測信号生成ステップとを含み、前記周辺復号参照変移ベクトル推定ステップでは、符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の信号との誤差評価を行う事で、前記予測信号と前記変移ベクトルを生成すると共に、符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の位置を、前記変移ベクトルで参照される局部復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で、反転方向を示す情報を生成し、前記周辺復号参照変移予測信号生成ステップでは、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、前記予測信号と前記符号化対象ブロックとの差分信号を符号化する。
また、本発明の画像符号化方法は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う方法であって、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、前記相関性の高い信号と前記符号化対象ブロックの画面内の変移である変移ベクトルを求める、変移ベクトル検出ステップと、前記変移ベクトルに従い予測信号を生成する、変移予測信号生成ステップと、予測信号を水平及び垂直の少なくとも一方の並びを反転させる為の、反転方向を示す情報を推定する、テンプレート反転モード推定ステップとを含み、前記テンプレート反転モード推定ステップでは、符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の位置を、前記変移ベクトルで参照される局部復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で反転方向を示す情報を生成し、前記変移ベクトル検出ステップでは、前記反転方向を示す情報に応じて、変移ベクトルにおいて指定される予測信号を反転させた信号を算出し、変移ベクトル毎に予測信号と符号化対象ブロックとの誤差評価を行う事で変移ベクトルを検出すると共に、前記変移予測信号生成ステップでは、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルを符号化する。
また、本発明の画像復号化方法は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する方法であって、前記符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を水平及び垂直の少なくとも一方に反転させる、反転方向を示す情報を復号する、変移ベクトル／モード復号ステップと、前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成ステップとを含み、前記予測信号と、復号された残差信号を加算することで復号画像を算出する。
また、本発明の画像復号化方法は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する方法であって、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像を用いて、復号対象ブロックと前記復号画像より生成した予測信号との画面内の変移である変移ベクトルを求める、周辺復号参照変移ベクトル推定ステップと、前記変移ベクトルに従い予測信号を生成する、周辺復号参照変移予測信号生成ステップとを含み、前記周辺復号参照変移ベクトル推定ステップでは、復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の信号との誤差評価を行う事で、前記予測信号と前記変移ベクトルを生成すると共に、復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の位置を、前記変移ベクトルで参照される復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で、反転方向を示す情報を生成し、前記周辺復号参照変移予測信号生成ステップでは、前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成し、前記予測信号と復号された残差信号を加算することで復号画像を算出する。
更に、本発明の画像復号化方法は、画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する、画像復号化方法であって、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトルを復号する、変移ベクトル／モード復号ステップと、予測信号を水平及び垂直の少なくとも一方の並びを反転させる為の、反転方向を示す情報を推定する、テンプレート反転モード推定ステップとを含み、前記テンプレート反転モード推定ステップでは、復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の位置を、前記変移ベクトルで参照される復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で反転方向を示す情報を生成すると共に、前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成ステップを含み、前記予測信号と、復号された残差信号を加算することで復号画像を算出する。
本発明における、画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法においては、テクスチャ成分を予測するためのテンプレート信号として用いる、符号化済み復号画像に対する上下や左右の反転させた参照画像を生成し予測画像として用いる事により、従来方式におけるフレーム内での画像信号予測の精度を向上させる事が出来る。また、反転モードに関して、隣接ブロックとの反転モードの相関、変移ベクトルの相関を用いて、予測反転モードを生成する事により、付加情報を少なく実現出来る。これらを用いた予測処理を行う画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法を構成する事により、符号化効率を向上する事が出来る。
本発明の第１実施例の画像符号化装置を示す構成図である。 本発明の第１実施例の画像復号化装置を示す構成図である。 本発明の画面内変移予測を説明する概念図である。 本発明の第１実施例における変移ベクトル検出部の構成図である。 本発明の第１実施例の変移ベクトル検出動作を説明するためのフローチャートである。 本発明の第１実施例の変移ベクトル復号／予測画像生成動作を説明するためのフローチャートである。 本発明の第２実施例の画像符号化装置を示す構成図である。 本発明の第２実施例の画像復号化装置を示す構成図である。 本発明の第２実施例における変移ベクトル検出部の構成図である。 本発明の第２実施例の変移ベクトル検出動作を説明するためのフローチャートである。 本発明の第２実施例の変移ベクトル復号／予測画像生成動作を説明するためのフローチャートである。 本発明の第３実施例の画像符号化装置を示す構成図である。 本発明の第３実施例の画像復号化装置を示す構成図である。 本発明の周辺復号参照変移ベクトル推定を説明する概念図である。 本発明の第３実施例における周辺復号参照変移ベクトル推定部の構成図である。 本発明の第３実施例の周辺復号参照変移ベクトル推定動作を説明するためのフローチャートである。 本発明の第４実施例の画像符号化装置を示す構成図である。 本発明の第４実施例の画像復号化装置を示す構成図である。 本発明の第４実施例の反転モード推定動作を説明するためのフローチャートである。 従来手法のイントラ予測の概念図である。 従来手法の画面内変移予測の概念図である。 ＭＰＥＧ４−ＡＶＣにおける対象ブロックと予測動きベクトル算出に用いる隣接ブロックの関係を示す図である。
次に、発明を実施するための形態について図面を併せ参照して説明する。
まず、本発明の第１実施例である画像符号化装置、画像復号化装置の形態について説明する。
図１は、本発明の第１実施例である画像符号化装置の形態を示す構成図である。図１に示すように、本実施例の形態の画像符号化装置は、入力端子１００、入力画像バッファ１０１、ブロック分割部１０２、変移ベクトル検出部１０３、変移予測信号生成部１０４、減算器１０５、直交変換部１０６、量子化部１０７、逆量子化部１０８、逆直交変換部１０９、加算器１１０、フレーム内復号画像メモリ１１１、変移ベクトル／モード予測部１１２、エントロピー符号化部１１３、ストリームバッファ１１４、出力端子１１５及び符号量制御部１１６から構成される。
変移ベクトル検出部１０３、変移予測信号生成部１０４、及び変移ベクトル／モード予測部１１２を設けた点と、これらの処理ブロックにおける動作が、本発明の第１実施例における特徴であり、他の処理ブロックに関してはＭＰＥＧ４−ＡＶＣ等の画像符号化装置におけるフレーム内符号化処理を構成する処理ブロックとなる。
入力端子１００より入力されたデジタル画像信号は、入力画像バッファ１０１に格納される。入力画像バッファ１０１に格納されたデジタル画像信号は、ブロック分割部１０２に供給され、１６×１６画素で構成される２次元マクロブロック単位で符号化対象ブロックとして切り出される。ブロック分割部１０２は、切り出した符号化対象ブロックを、変移ベクトル検出部１０３、減算器１０５に供給する。減算器１０５は、入力画像バッファ１０１から供給された符号化対象ブロックと、後述する変移予測信号生成部１０４より供給される予測画像ブロックとの差分を演算し、結果を差分ブロックとして直交変換部１０６に供給する。
直交変換部１０６は、差分ブロックに対して水平８画素×垂直８画素単位にＤＣＴ変換を行うことで、直交変換された周波数成分信号に相当するＤＣＴ係数を生成する。また、直交変換部１０６は、生成したＤＣＴ係数を２次元マクロブロック単位に纏めて、量子化部１０７に出力する。量子化部１０７は、ＤＣＴ係数を周波数成分毎に異なった値で除算することにより量子化処理を施す。量子化部１０７は、量子化処理されたＤＣＴ係数を、逆量子化部１０８及びエントロピー符号化部１１３に供給する。逆量子化部１０８は、量子化部１０７より入力した量子化処理されたＤＣＴ係数に対して、量子化時に除算された値を乗算することで逆量子化を行い、逆量子化された結果を復号されたＤＣＴ係数として、逆直交変換部１０９に出力する。逆直交変換部１０９は、逆ＤＣＴ処理を行い、復号された差分ブロックを生成する。逆直交変換部１０９は、復号された差分ブロックを加算器１１０に供給する。加算器１１０は、変移予測信号生成部１０４より供給される予測画像ブロックと、逆直交変換部１０９より供給される、復号された差分ブロックを加算し、局部復号ブロックを生成する。加算器１１０で生成された局部復号ブロックは、フレーム内復号画像メモリ１１１に逆ブロック変換された形で格納される。
変移ベクトル検出部１０３は、ブロック分割部１０２より入力された符号化対象ブロックの画像信号と、フレーム内復号画像メモリ１１１に格納されている復号画像信号との間で変移ベクトルと復号画像の反転を指示するモード（以降、反転モードと表記する）を算出する。変移ベクトル検出部１０３は、変移ベクトル／モード予測部１１２より供給される、対象ブロックに対する変移ベクトル及び反転モードの予測値を入力し、変移ベクトル検出処理を行う。変移ベクトル検出部１０３の詳細動作に関しては、後述する。
変移ベクトル検出部１０３は、検出した変移ベクトル値と反転モード値を、変移予測信号生成部１０４及び変移ベクトル／モード予測部１１２に、変移ベクトルと反転モードそれぞれの予測値との差分情報をエントロピー符号化部１１３に出力する。変移予測信号生成部１０４は、変移ベクトル検出部１０３より入力した変移ベクトル値と反転モード値を元に、フレーム内復号画像メモリ１１１より予測画像を生成し、減算器１０５及び加算器１１０に出力する。変移予測信号生成部１０４の詳細動作に関しては後述する。
変移ベクトル／モード予測部１１２は、変移ベクトル検出部１０３より入力された変移ベクトル値及び反転モード値を格納し、続く符号化対象ブロックの変移ベクトル及び反転モード値を生成する機能を有する。変移ベクトル／モード予測部１１２の詳細動作に関しては後述する。
エントロピー符号化部１１３は、量子化部１０７より供給された量子化処理されたＤＣＴ係数と、変移ベクトル検出部１０３より供給された、変移ベクトル値と反転モード値の予測差分値を用いて、変移ベクトル情報及び反転モード情報と、量子化されたＤＣＴ係数の可変長符号化を行う。可変長符号化を施した情報は、ストリームバッファ１１４に出力される。
ストリームバッファ１１４に蓄えられた符号化ストリームは、出力端子１１５を介して、記録媒体もしくは伝送路に出力される。符号化ストリームの符号量制御に関しては、符号量制御部１１６に、ストリームバッファ１１４に蓄えられているビットストリームの符号量が供給され、目標とする符号量との間で比較がとられ、目標符号量に近づけるために量子化部１０７の量子化の細かさ（量子化スケール）が制御される。
続いて、本発明の第１実施例である画像符号化装置により生成された符号化ビットストリームを復号する、画像復号化装置の形態について説明する。
図２は、本発明の第１実施例である画像復号化装置の形態を示す構成図である。図２に示すように、本実施の形態の画像復号化装置は、入力端子２００、ストリームバッファ２０１、エントロピー復号部２０２、変移ベクトル／モード復号部２０３、変移予測信号生成部２０４、逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８及び出力端子２０９から構成される。
変移ベクトル／モード復号部２０３及び変移予測信号生成部２０４を設けた点と、これらの処理ブロックにおける動作が、本発明の第１実施例における特徴であり、他の処理ブロックに関してはＭＰＥＧ４−ＡＶＣ等の画像符号化装置におけるフレーム内復号化処理を構成する処理ブロックとなる。
入力端子２００より入力された符号化ビットストリームは、ストリームバッファ２０１に格納される。格納された符号化ビットストリームは、ストリームバッファ２０１よりエントロピー復号部２０２に供給され、エントロピー復号部２０２は、入力されたビットストリームより、符号化された変移ベクトル差分情報と反転モード差分情報、及び量子化されたＤＣＴ係数に関して可変長復号を行い、逆量子化部２０５に量子化されたＤＣＴ係数を、変移ベクトル／モード復号部２０３に変移ベクトル差分情報と反転モード差分情報を出力する。逆量子化部２０５、逆直交変換部２０６、加算器２０７及びフレーム内復号画像メモリ２０８に関しては、第１実施例の動画像符号化装置の局部復号処理と同様の処理が行われる。フレーム内復号画像メモリ２０８に蓄えられた復号画像は、出力端子２０９を介して、表示装置に復号画像信号として表示される。
変移ベクトル／モード復号部２０３は、エントロピー復号部２０２より入力された変移ベクトル差分情報と反転モード差分情報と、以前に復号された対象ブロックの変移ベクトル値及び反転モード値より、変移ベクトル予測値及び反転モード予測値を算出し、前記変移ベクトル差分情報と反転モード差分情報と加算する事で、符号化対象ブロックの変移ベクトル値及び反転モード値を復号し、変移予測信号生成部２０４に出力する機能を有する。変移ベクトル／モード復号部２０３の詳細動作は後述する。
変移予測信号生成部２０４は、変移ベクトル／モード復号部２０３より出力された変移ベクトル値及び反転モード値を元に、フレーム内復号画像メモリ２０８より予測画像を生成し、加算器２０７に出力する。変移予測信号生成部２０４の詳細動作に関しては後述する。
続いて、図３を用いて本発明の画面内変移予測の手法を説明する。第１実施例における本発明のポイントは、従来手法に比べてより画像信号が有する自己相似性やテクスチャの相似性を十分に活用するために、参照画像を上下・左右等に反転させたブロックを予測対象信号として追加し、反転モードと共に符号化する事で、より符号化ブロックとの相関性の高い予測ブロックを生成している点である。
図３の上部における、反転無しテンプレートが従来の画面内変移ベクトル算出を用いた予測において使用される参照画像（符号化済み復号画像）である。それに対して、復号画像を上下・左右・上下左右に反転された参照画像を、対象ブロックの左上の画素を基準に配置したイメージ図が、上下反転テンプレート・左右反転テンプレート・上下左右反転テンプレートで示されている。
具体的には、これらの参照画像に対する変移ベクトルの算出及び予測画像ブロックの生成を、対象ブロックを基準に変移ベクトルで示された位置に移動した符号化済み復号画像より、参照ブロックを取得し、参照ブロックを上下・左右・上下左右に反転することにより生成できる。図３の下側に記述した、反転無しモード予測ブロック、上下反転モード予測ブロック、左右反転モード予測ブロック、上下左右反転モード予測ブロックが、変移ベクトルＤＶにより参照される各々の反転モードの予測ブロック信号となる。
変移ベクトルの算出時には、予測誤差の評価対象の画素を上下・左右・上下左右反転した位置で取り、予測誤差を評価する事で復号画像からのデータ取得を増加させる事なく、且つフィルタ処理等の画像変換に有する演算の増加も必要なく、参照候補となるテンプレートを生成している。
図１における変移ベクトル検出部１０３は、図３に示した概念の変移ベクトル及び反転モードの算出を行う機能を有しており、その構成図を図４に示し説明する。
変移ベクトル検出部１０３は、図４に示されるように、シーケンス部４００、対象画像バッファ４０１、モード予測値・変移ベクトル予測値バッファ４０２、メモリアクセス部４０３、変移参照画像バッファ４０４、反転無しモード誤差算出器４０５、左右反転モード誤差算出器４０６、上下反転モード誤差算出器４０７、上下左右反転モード誤差算出器４０８、最適変移ベクトル更新部４０９、モード差分・変移ベクトル差分算出器４１０、最適ベクトル／評価値格納部４１１より構成される。
ブロック分割部１０２より対象画像バッファ４０１に、符号化対象ブロックが入力され格納される。メモリアクセス部４０３は、フレーム内復号画像メモリからシーケンス部４００が管理する、変移ベクトル値に合わせて参照ブロックを取得し、変移参照画像バッファ４０４に格納する。
対象画像バッファ４０１からは、対象ブロックの上部から下部に対して順番に水平方向の画像信号が、反転無しモード誤差算出器４０５及び左右反転モード誤差算出器４０６に供給される。また、同時に対象画像バッファ４０１からは、対象ブロックの下部から上部に対して順番に水平方向の画像信号が、上下反転モード誤差算出器４０７及び上下左右反転モード誤差算出器４０８に供給される。
一方、変移参照画像バッファ４０４からは、反転無しモード誤差算出器４０５、左右反転モード誤差算出器４０６、上下反転モード誤差算出器４０７及び上下左右反転モード誤差算出器４０８に対して、参照ブロックの上部から下部に対して順番に水平方向の参照画像信号が供給される。
反転無しモード誤差算出器４０５及び上下反転モード誤差算出器４０７は、入力された対象画像及び参照画像の水平方向の画像信号を同じ水平位置同士で二乗差分を計算し、その総和を格納する機能を有する。
左右反転モード誤差算出器４０６及び上下反転モード誤差算出器４０７は、入力された対象画像及び参照画像の水平方向の画像信号を水平方向に左右対称位置の画像同士の二乗誤差を計算し、その総和を格納する機能を有する。
これらにより、図３に示した反転無しモード予測ブロック、上下反転モード予測ブロック、左右反転モード予測ブロック、上下左右反転モード予測ブロックの、予測誤差評価値が生成される。
反転無しモード誤差算出器４０５、左右反転モード誤差算出器４０６、上下反転モード誤差算出器４０７及び上下左右反転モード誤差算出器４０８は、それぞれ算出した二乗誤差値のブロック総和を、最適変移ベクトル更新部４０９に出力する。
モード予測値・変移ベクトル予測値バッファから供給される、変移ベクトル予測値及び反転モード予測値は、モード差分・変移ベクトル差分算出器４１０において、シーケンス部４００で管理される変移ベクトル値に合わせて、各反転モードに対する予測差分値及び変移ベクトル差分値が計算され、最適変移ベクトル更新部４０９に出力される。
最適変移ベクトル更新部４０９は、シーケンス部４００で管理される変移ベクトル値における各反転モードの誤差評価値（二乗誤差総和）と、同一符号化対象ブロックに対する最小の誤差評価値を比較し、最も小さい評価値を有する反転モード及び変移ベクトルを最適変移ベクトルとして更新し、評価値及び選択された各反転モードに対する予測差分値及び変移ベクトル差分値と共に最適ベクトル／評価値格納部４１１に出力する。
最適ベクトル／評価値格納部４１１は、シーケンス部４００が管理する探索範囲の変移ベクトル値に対する誤差評価終了後に、格納された反転モード及び変移ベクトルを、変移予測信号生成部１０４及び変移ベクトル／モード予測部１１２に出力すると共に、各反転モードに対する予測差分値及び変移ベクトル差分値をエントロピー符号化部１１３に出力する。
上記検出処理の演算処理としての手順を図５にフローチャートとして示し、シーケンス部４００において管理される処理手順を説明する。
対象となる符号化ブロックに対して、最初に最小誤差値MinErrを最大値（例えば、格納領域が３２ビットの場合には0xffffffff）に設定する（Ｓ５００）。続いて、対象となる符号化ブロックを入力する（Ｓ５０１）。次に、符号化ブロックの画面内位置に応じて変移ベクトルの検出範囲を設定する（Ｓ５０２）。ここでは、設定した変移ベクトル検出範囲に対して、画面内の符号化済み領域を超えないように検出範囲を制限する。制限された検出範囲を元に、変移ベクトルの初期値DVSearchを設定する（Ｓ５０３）。一例としては、検出範囲の中で符号化対象ブロックに近接した（変移ベクトルが小さい）値を設定する。設定されたDVSearchに対して、符号化ブロックからDVSearch移動した位置の復号画像メモリより参照画像ブロックを入力する（Ｓ５０４）。
参照画像ブロックと符号化対象ブロックを用いて、変移ベクトルDVSearchに対する、符号化ブロックと参照画像ブロックの画素毎の誤差値を積算し、反転無しモードの誤差値ErrNorm(DVSearch)、左右反転モードの誤差値ErrLRinv(DVSearch)、上下反転モードの誤差値ErrULinv(DVSearch)及び上下左右反転モードの誤差値ErrULLRinv(DVSearch)を算出する（Ｓ５０５）。
続いて、反転モードの予測値ModePredと変移ベクトルの予測値DVPredと、各モード値及びDVSearchとの差分値DiffMode、DiffDVを計算し、符号化時の想定符号量InfoBitsを計算する。それぞれの反転モードに対して計算されたInfoBitsをErrNorm(DVSearch)、ErrLRinv(DVSearch)、ErrULinv(DVSearch)、ErrULLRinv(DVSearch)に加算する（Ｓ５０６）。
反転モードに関しては、予測モードが1異なる場合に反転する方向が一方向になるように、以下のようにモード値を対応つける事が出来る。
反転無しモード：０
上下反転モード：１
上下左右反転モード：２
左右反転モード：３
反転モードの差分に関しては、予測値ModePredに加算して下２ビットを取得することで、反転モードを表すようにする。例えば、ModePredが左右反転モード（＝３）で反転モードが反転無しモードの場合には、１が伝送される。反転モードが１小さくなる場合には、実際には３が伝送される。予測モードが適切に予測されている場合には近接する反転モードが多く現れることになり、0に対して少ない符号量で符号化することにより、少ない情報で反転モードを符号化できる。例えば、反転モード差分に対して下記の表１のような可変長符号で符号化する。
反転モードが適切に予測されない場合には、反転モード差分を2ビットの固定長で伝送する事も可能であり、反転モードの符号化方法に関しては、ＭＰＥＧ４−ＡＶＣで定義されているフレームやスライスなどの所定単位で、予測の適合性を判断して切替る事が可能である。このようにして定義された符号に従って、必要となる符号量を算出しInfoBitsを計算する。
続いて、生成されたErrNorm(DVSearch)、ErrLRinv(DVSearch)、ErrULinv(DVSearch)、ErrULLRinv(DVSearch)の最小値と格納されているMinErrを比較する（Ｓ５０７）。最小値がMinErrよりも小さい場合（Ｓ５０８：ＹＥＳ）、MinErrに最小値を設定し、最小値を持つ反転モード値をModeResult、その際の変移ベクトル値DVSearchをDVResultに格納する（Ｓ５０９）。最小値がMinErrよりも小さくない場合（Ｓ５０８：ＮＯ）は、そのままＳ５１０に進む。
上記誤差値算出を行った変移ベクトル値が検出範囲最後のベクトルである場合には（Ｓ５１０：ＹＥＳ）、ModeResult、DVResult及びこれらのModePred、DVPredとの差分値である、DiffMode、DiffDVを出力し（Ｓ５１１）、終了する。最後のベクトルでない場合には（Ｓ５１０：ＮＯ）、変移ベクトル値DVSearchを次の検出位置に更新し（Ｓ５１２）、Ｓ５０４に移動する。
続いて、図１における変移予測信号生成部１０４の動作説明を行う。変移予測信号生成部１０４は、変移ベクトル検出部１０３より入力された変移ベクトル値DVResultと反転モードModeResultを用いて、フレーム内復号画像メモリ１１１より変移ベクトル値だけ符号化対象ブロックより移動した位置の、符号化済み復号画像を参照画像として取得する。取得した参照画像は、反転モードに応じて水平・垂直の並び順を入れ替えて、予測画像ブロックを構成する。具体的には、図３の下部に示している画素位置への変換が施される。構成された予測画像ブロックは、減算器１０５及び加算器１１０に供給される。
続いて、図１における変移ベクトル／モード予測部１１２の詳細動作に関して説明する。
変移ベクトル／モード予測部１１２は、前述した反転モードの予測値ModePredと変移ベクトルの予測値DVPredを算出し、変移ベクトル検出部１０３に出力する機能を有する。
具体的には、反転モード及び変移ベクトルに関しては、物体の形状が隣接する符号化対象ブロックとの間で連続している場合には、同様の値を示す傾向が強い事を利用して、周辺ブロックの符号化済み情報からの予測を行い、ModePred及びDVPredを生成する。例えば、DVPredに関しては図２２に示されるような、ＭＰＥＧ４−ＡＶＣにおいて動きベクトルの予測に用いられる構成を用いる。隣接ブロックは、対象ブロックに対して、左隣であるブロックＡ、上隣であるブロックＢ、右上であるブロックＣの３ブロックが選択される。しかしながら、画像端であるようなブロックＣが無効である場合には、ブロックＣの代わりに左上であるブロックＤが用いられる。選択された３ブロックの変移ベクトルの水平方向成分をＤＶＡｘ、ＤＶＢｘ、ＤＶＣｘ、垂直方向成分をＤＶＡｙ、ＤＶＢｙ、ＤＶＣｙとすると、予測変移ベクトル値ＰＤＶｘ、ＰＤＶｙは、下記の式１のように水平方向成分、垂直方向成分それぞれに３値の中間値を選択することで生成する。
（式１）
ＤＭＶｘ＝Ｍｅｄｉａｎ（ＤＶＡｘ、ＤＶＢｘ、ＤＶＣｘ）
ＤＭＶｙ＝Ｍｅｄｉａｎ（ＤＶＡｙ、ＤＶＢｙ、ＤＶＣｙ）
ModePredにおいても同様に、隣接ブロックの反転モードの相関性を見て設定する。３つの隣接ブロックにおける反転モードの内で２つ以上の値が同一の場合には、その値をModePredとする。全てが異なる場合には、３つの反転モードの中央値を取る反転モードをModePredとする。
ModePredに関しては、検出される変移ベクトルとの近似性を元に設定する事も可能である。その場合には、３つの隣接ブロックにおいて変移ベクトルDVSearchが最適変移ベクトルであった場合に、最もDVSearchとの誤差の少ない変移ベクトルを有する隣接ブロックの反転モードをModePredとする。
ModePredの予測アルゴリズムに関しては、上記の１方式を選択し固定にする事も可能であるが、フレームやスライスなどの所定単位で切替る事も可能であり、より予測が適応する予測アルゴリズムを設定することが出来る。
次に、復号化装置における変移予測の復号処理に関する詳細動作を説明する。
図２における変移ベクトル／モード復号部２０３は、図１（符号化装置）における、変移ベクトル／モード予測部１１２の機能と、生成したModePred及びDVSearchと、エントロピー復号部２０２より入力される、反転モード及び変移ベクトルの差分値DiffMode、DiffDVを加算する事で、反転モード値ModeResult及び変移ベクトル値DVResultを復号する。復号したModeResult及びDVResultは、変移ベクトル／モード復号部２０３より変移予測信号生成部２０４に出力される。
変移予測信号生成部２０４は、図１（符号化装置）における、変移予測信号生成部１０４と同一機能を有しており、変移ベクトル／モード復号部２０３より入力されたModeResult及びDVResultを元に、フレーム内復号画像メモリ２０８より変移ベクトル値だけ符号化対象ブロックより移動した位置の、符号化済み復号画像を参照画像として取得する。取得した参照画像を変移予測信号生成部１０４と同様に反転モードに応じた画素の並び順入れ替えを行い、予測画像ブロックを構成して加算器２０７に出力する。
ここで、変移ベクトル／モード復号部２０３及び変移予測信号生成部２０４の動作を処理手順にしたフローチャートを図６に示し、具体的な処理手順を説明する。
最初に、反転モード予測差分値DiffModeと変移ベクトルの予測差分値DiffDVをストリームより復号する（Ｓ６００）。続いて、反転モードの予測値ModePredと変移ベクトルの予測値DVPredを算出する（Ｓ６０１）。算出した結果を用いて、予測差分値と予測値を加算することで、反転モードModeResult及び変移ベクトルDVResultを復号する（Ｓ６０２）。
前述した、３つの隣接ブロックにおいて変移ベクトル値との誤差の少ない変移ベクトルを有する隣接ブロックの反転モードをModePredとする場合には、DVPredを算出しDiffDVと加算して、DVResultを復号した後に、隣接ブロックの変移ベクトル値よりModePredを設定し、ModeResultを算出する。
次に、復号対象ブロックから変移ベクトルDVResult移動した位置の復号画像メモリより、参照画像を入力する（Ｓ６０３）。参照画像に対して、反転モードModeResultに応じて、参照画像のスキャン順を変換して予測画像ブロックを構成する（Ｓ６０４）。
最後に、予測画像ブロックを出力し、後続ブロックに対する予測値を算出するために、ModeResult及びDVResultを格納して（Ｓ６０５）、終了する。
第１実施例における画像符号化装置及び画像復号化装置においては、テクスチャ成分を予測するためのテンプレート信号として用いる、符号化済み復号画像に対する上下や左右の反転させた参照画像を生成し予測画像として用いる事により、従来方式におけるフレーム内での画像信号予測の精度が向上する。また、反転モードに関しては、隣接ブロックとの反転モードの相関もしくは変移ベクトルの相関を用いて、予測反転モードを生成する事により、付加情報を少なく実現出来ることで、符号化効率を向上する事が出来る。
更に、それぞれの反転モードにおける変移ベクトル値は反転前の符号化対象ブロックとの相対位置を示す情報として符号化するため、符号化装置においては一度の参照画像取得後に並列動作で各反転モードの誤差評価が可能になると共に、復号装置においても参照画増取得後のアドレス変換のみで、各反転モードの予測画像を生成できるため、処理の増加を抑えつつ、相関性を有する予測画像を取得する事が可能となる。
次に、本発明の第２実施例である画像符号化装置、画像復号化装置の形態について説明する。第１実施例は、フレーム内の相関のみを利用する画像符号化・復号化装置の実施例であったが、第２実施例は、フレーム内の相関及びフレーム間の相関を利用する、動画像の時間相関を活用可能な画像符号化・復号化装置の実施例である。
図７は、本発明の第２実施例である画像符号化装置の形態を示す構成図である。図７に示すように、本実施例の形態の画像符号化装置は、第１実施例と同様の機能を有する、入力端子１００、入力画像バッファ１０１、ブロック分割部１０２、減算器１０５、直交変換部１０６、量子化部１０７、逆量子化部１０８、逆直交変換部１０９、加算器１１０、フレーム内復号画像メモリ１１１、変移ベクトル／モード予測部１１２、エントロピー符号化部１１３、ストリームバッファ１１４、出力端子１１５及び符号量制御部１１６と、第１実施例に対して追加の処理を有する変移ベクトル検出部７０３、変移予測信号生成部７０４、変移ベクトル／モード予測部１１２、及び追加された処理ブロックであるイントラ予測部７１７、イントラ予測モード予測部７１８、デブロックフィルタ７１９、参照画像メモリ７２０、動きベクトル検出部７２１、動き補償予測部７２２、動きベクトル予測部７２３、及びモード判定部７２４から構成される。
追加された処理ブロックの動作を説明すると、イントラ予測部７１７は、ブロック分割部１０２から符号化対象ブロックが入力され、フレーム内復号画像メモリ１１１内にある、隣接する符号化済み領域の復号画像を用いて、ＭＰＥＧ４−ＡＶＣで行われるイントラ予測処理が施される。イントラ予測部７１７は、イントラ予測モード予測部７１８より供給される、予測モード値を加味して要する符号量が少ないイントラ予測モードを選択し、イントラ予測画像及びイントラ予測モード信号、及び誤差評価値をモード判定部７２４に出力する。イントラ予測モード予測部７１８は、モード判定部７２４より取得した予測処理の選択情報及びイントラ予測モード情報を取得し、文献「ＩＳＯ／ＩＥＣ １４４９６−１０ Advanced Video Coding」に記載されているイントラ予測モードの予測値を計算する。また、加算器１１０より出力された局部復号画像は、デブロックフィルタ７１９において符号化処理単位のブロック境界の歪を除去するためのフィルタ処理が施され、参照画像メモリ７２０に格納される。動きベクトル検出部７２１は、ブロック分割部１０２から取得した符号化対象ブロック画像と、参照画像メモリ７２０に格納されている参照画像との間で、動き推定を行う。一般的な動き推定処理としては、画面内の同一位置より所定の移動量だけ移動させた位置の参照画像を切り出し、その画像を予測ブロックとした際の予測誤差が最も少なくなる移動量を動きベクトル値として、移動量を変化させながら求めるブロックマッチング処理が用いられる。動きベクトル予測部７２３は、動きベクトル予測値を文献「ＩＳＯ／ＩＥＣ １４４９６−１０ Advanced Video Coding」に記載されている方式で算出し、動きベクトル検出部７２１に供給する。動きベクトル検出部７２１は、動きベクトル予測値と動きベクトル値との差分を符号化する際に必要となる符号量を加味して、最適な動きベクトル値を検出する。
動きベクトル検出部７２１によって求められた動きベクトル値は、動き補償予測部７２２に供給される。動き補償予測部７２２は、複数の参照画像に対する予測信号より最も符号化する差分情報が少ない予測信号を選択し、選択された動き補償予測モードと予測信号をモード判定部７２４に出力する。上述した処理ブロックに関しては、従来手法のイントラ予測及び動き補償予測を適用するための構成である。
続いて、本発明の第２実施例における特徴を示す動作を行う処理ブロックである、変移ベクトル検出部７０３、変移予測信号生成部７０４及び、モード判定部７２４の動作を説明する。
変移ベクトル検出部７０３は、変移ベクトル／モード予測部１１２より供給される、対象ブロックに対する変移ベクトル及び反転モードの予測値を入力すると共に、イントラ予測モード予測部から供給される、対象ブロックに対するイントラ予測モードの予測値が入力され、変移ベクトル検出処理を行う。
変移ベクトル検出部７０３は、検出した変移ベクトル値と反転モード値と誤差評価値及び、ＤＣ補正を施した事を示す情報（以降ＤＣ補正ビットと記す）を変移予測信号生成部７０４に出力する。変移予測信号生成部７０４は、変移ベクトル検出部７０３より入力した変移ベクトル値と反転モード値及び、ＤＣ補正ビットを元に、フレーム内復号画像メモリ１１１より予測画像を生成し、変移ベクトル値と反転モード値と誤差評価値及び、ＤＣ補正ビットと共に、モード判定部７２４に出力される。変移ベクトル検出部７０３及び変移予測信号生成部７０４の詳細動作に関しては後述する。
モード判定部７２４は、イントラ予測部７１７より入力されたイントラ予測画像、イントラ予測モード及び誤差評価値と、動き補償予測部７２２より入力された動き補償予測画像、動き補償予測モード、動きベクトル値及び誤差評価値と、変移予測信号生成部７０４より入力された、変移予測画像、変移ベクトル値、反転モード値、ＤＣ補正ビット及び誤差評価値より、最適な予測モードを選択する。動き補償予測の参照画像を有さないフレーム内のみでの符号化フレームに対しては、イントラ予測と変移予測より最適な予測モードが選択される。
モード判定部７２４は、選択された予測モードに対する予測画像ブロックを減算器１０５及び加算器１１０に出力すると共に、エントロピー符号化部１１３に対して、付加情報としての予測モード情報と、予測モードに応じた符号化を要する情報を供給する。
また、予測モードに応じた符号化を要する情報は、動きベクトル予測部７２３、イントラ予測モード予測部７１８及び変移ベクトル／モード予測部１１２にも供給され、続く符号化対象ブロックにおける、各種付加情報の予測信号が生成される。
続いて、本発明の第２実施例である画像符号化装置により生成された符号化ビットストリームを復号する、画像復号化装置の形態について説明する。
図８は、本発明の第２実施例である画像復号化装置の形態を示す構成図である。図８に示すように、本実施の形態の画像復号化装置は、第１実施例と同様の機能を有する、入力端子２００、ストリームバッファ２０１、エントロピー復号部２０２、変移ベクトル／モード復号部２０３、逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８及び出力端子２０９と、第１実施例に対して追加の処理を有する、変移予測信号生成部８０４及び、追加された処理ブロックである、予測モード復号部８１０、予測信号選択部８１１、イントラ予測モード復号部８１２、イントラ予測部８１３、動きベクトル復号部８１４、デブロックフィルタ８１５、参照画像メモリ８１６及び動き補償予測部８１７から構成される。
追加された処理ブロックの内、イントラ予測モード復号部８１２、イントラ予測部８１３、動きベクトル復号部８１４、デブロックフィルタ８１５、参照画像メモリ８１６及び動き補償予測部８１７に関しては、図７での第２実施例における画像符号化装置の説明と同様に、ＭＰＥＧ４−ＡＶＣ標準におけるイントラ予測及び動き補償予測を復号するための構成であり、本発明の特徴を有する処理ブロックではないため、説明を割愛する。
続いて、本発明の第２実施例における特徴を示す動作を行う処理ブロックである、予測モード復号部８１０、予測信号選択部８１１、及び変移予測信号生成部８０４の動作を説明する。
エントロピー復号部２０２より可変復号された予測モード情報は、予測モード復号部８１０に格納され、復号対象ブロックにおける予測信号生成方法を示す情報として取得する。予測モード情報は、予測モード復号部８１０より予測信号選択部８１１に入力されると共に、予測信号生成方法に応じて、動き補償予測部８１７、イントラ予測部８１３、及び変移予測信号生成部８０４の何れかから、予測画像ブロックが予測信号選択部８１１に入力される。
予測信号選択部８１１は、入力された予測画像ブロックを加算器２０７に出力し、予測画像ブロックは逆直交変換部２０６より加算器２０７に出力された復号差分信号と加算され、復号画像信号が生成される。
図８の復号化装置における変移予測信号生成部８０４の構成は、図７の符号化装置における変移予測信号生成部７０４の構成と同一であるため、合わせて詳細動作の説明を行う。
先ず、変移ベクトル検出部７０３の詳細動作を図９の構成図及び図１０の検出フローチャートを用いて説明する。
図９に示す変移ベクトル検出部７０３の構成図は、第１実施例における変移ベクトル検出部１０３に対して、同じ機能を有する処理ブロックである、シーケンス部４００、対象画像バッファ４０１、モード予測値・変移ベクトル予測値バッファ４０２、メモリアクセス部４０３、変移参照画像バッファ４０４、最適変移ベクトル更新部４０９、モード差分・変移ベクトル差分算出器４１０、最適ベクトル／評価値格納部４１１と、処理ブロック内において追加の機能を有する、反転無しモード誤差算出器９０５、左右反転モード誤差算出器９０６、上下反転モード誤差算出器９０７、上下左右反転モード誤差算出器９０８、及び追加の処理ブロックとなる、変移参照ＤＣ算出部９１３、イントラ予測ＤＣ算出部９１４より構成される。
第２実施例においては、第１実施例における変移予測処理に対して、従来技術の予測手法であるイントラ予測及び動き補償予測を、予測誤差評価値を基準に選択する事でより効率の良い符号化処理を実現する点に加えて、変移予測処理に対してブロックの平均値に相当するＤＣ成分を補正して、符号化対象ブロック内での変動分であるテクスチャ成分を直接するモードを具備することにより、更なる予測効率の向上を実現する。
具体的には、付加情報を用いずにＤＣ成分に相当する成分を補正するために、イントラ予測の予測モードにより構成される予測ブロックのＤＣ成分を計算し、変移ベクトルだけ離れた位置から取得する参照ブロックのＤＣ成分との誤差分を補正する機能を有する。
イントラ予測モード予測部７１８より入力された、イントラ予測の予測モードはイントラ予測ＤＣ算出部９１４に格納される。イントラ予測ＤＣ算出部９１４は、上記予測モードに従ってフレーム内復号画像メモリ１１１より対象ブロックに隣接する復号画像信号より、イントラ予測ブロックのＤＣ成分を算出する。
また、変移参照ＤＣ算出部９１３は、変移参照画像バッファ４０４より参照画像ブロックが供給され、参照画像ブロックのＤＣ成分を算出する。
算出されたＤＣ成分は、イントラ予測ＤＣ算出部９１４及び変移参照ＤＣ算出部９１３から、反転無しモード誤差算出器９０５、左右反転モード誤差算出器９０６、上下反転モード誤差算出器９０７、上下左右反転モード誤差算出器９０８に供給され、ＤＣ補正モードの誤差評価値生成に用いられる。
反転無しモード誤差算出器９０５、左右反転モード誤差算出器９０６、上下反転モード誤差算出器９０７、及び上下左右反転モード誤差算出器９０８は、第１実施例における反転無しモード誤差算出器４０５、左右反転モード誤差算出器４０６、上下反転モード誤差算出器４０７、及び上下左右反転モード誤差算出器４０８に対して、ＤＣ補正モードを用いた場合の予測誤差値を算出する機能が追加されており、ＤＣ補正モードを用いない場合の誤差評価値とＤＣ補正モードを用いた場合の誤差評価値が、最適変移ベクトル更新部４０９に供給される。
次に、上記検出処理の演算処理としての手順を図１０のフローチャートを用いて、シーケンス部４００において管理される処理手順として説明する。
対象となる符号化ブロックに対して、最初に最小誤差値MinErrを最大値（例えば、格納領域が３２ビットの場合には0xffffffff）に設定する（Ｓ１０００）。続いて、対象となる符号化ブロックを入力する（Ｓ１００１）。続いて、イントラ予測モードの予測値を基準に、対象ブロックを予測した場合のＤＣ成分DCIpredを算出する（Ｓ１００２）。次に、符号化ブロックの画面内位置に応じて変移ベクトルの検出範囲を設定する（Ｓ１００３）。設定した制限された検出範囲を元に、変移ベクトルの初期値DVSearchを設定する（Ｓ１００４）。設定されたDVSearchに対して、符号化ブロックからDVSearch移動した位置の復号画像メモリより参照画像ブロックを入力する（Ｓ１００５）。
続いて、入力された参照画像ブロックのＤＣ成分DCRefを算出する（Ｓ１００６）。
次に、参照画像ブロックと符号化対象ブロックを用いて、変移ベクトルDVSearchに対する、ＤＣ補正を施さない場合の符号化ブロックと、参照画像ブロックの画素毎の誤差値を積算して、反転無しモードに対する誤差値ErrNorm(DVSearch)、左右反転モードに対する誤差値ErrLRinv(DVSearch)、上下反転モードに対する誤差値ErrULinv(DVSearch)及び上下左右反転モードに対する誤差値ErrULLRinv(DVSearch)を算出する（Ｓ１００７）。
続いて、反転モードの予測値ModePredと変移ベクトルの予測値DVPredと、各モード値及びDVSearchとの差分値DiffMode、DiffDVを計算し、符号化時の想定符号量InfoBitsを計算する。それぞれの反転モードに対して計算されたInfoBitsをErrNorm(DVSearch)、ErrLRinv(DVSearch)、ErrULinv(DVSearch)、ErrULLRinv(DVSearch)に加算する（Ｓ１００８）。
次に、ＤＣ補正を施した場合の誤差値を算出するために、変移ベクトルDVsearchに対する符号化ブロックの各画素からDCIpredを減算した信号と、参照画像ブロックの各画素からDCRefを減算した信号の間での画素毎の誤差値を積算し、反転無しモードの誤差値ErrNormCor(DVsearch)、左右反転モードの誤差値ErrLRinvCor(DVsearch)、上下反転モードの誤差値ErrULCor(DVsearch)、上下左右反転モードの誤差値ErrULLRCor(DVsearch)を算出する（Ｓ１００９）。
これらの誤差値に対しては、反転モードの予測値ModePred、変移ベクトルの予測値DVPredと、各モード値及びDVsearchとの差分値に加えてＤＣ補正を行った事を示す情報に要する符号量を加味して、符号化時の想定符号量InfoBitsを計算して、ErrNormCor(DVsearch)、ErrLRinvCor(DVsearch)、ErrULinvCor(DVsearch)、ErrULLRinvCor(DVsearch)に加算する（Ｓ１０１０）。
続いて、生成されたErrNorm(DVSearch)、ErrLRinv(DVSearch)、ErrULinv(DVSearch)、ErrULLRinv(DVSearch)、ErrNormCor(DVsearch)、ErrLRinvCor(DVsearch)、ErrULinvCor(DVsearch)、ErrULLRinvCor(DVsearch)の最小値と格納されているMinErrを比較する（Ｓ１０１１）。最小値がMinErrよりも小さい場合（Ｓ１０１２：ＹＥＳ）、MinErrに最小値を設定し、最小値を持つ反転モード値をModeResult、その際の変移ベクトル値DVSearchをDVResultに、またＤＣ補正の有無を示す信号をCorBitに設定して格納する（Ｓ１０１３）。最小値がMinErrよりも小さくない場合（Ｓ１０１２：ＮＯ）は、そのままＳ１０１４に進む。
上記誤差値算出を行った変移ベクトル値が検出範囲最後のベクトルである場合には（Ｓ１０１４：ＹＥＳ）、誤差評価値MinErr、ModeResult、DVResult及びこれらのModePred、DVPredとの差分値である、DiffMode、DiffDV及びCorBitを出力し（Ｓ１０１５）、終了する。最後のベクトルでない場合には（Ｓ１０１４：ＮＯ）、変移ベクトル値DVSearchを次の検出位置に更新し（Ｓ１０１６）、Ｓ１００５に移動する。
続いて、上記予測アルゴリズムにおいて生成された変移予測画像ブロックを復号する処理に対する説明を、図１１のフローチャートを用いて行う。
図１１のフローチャートは、図８における変移ベクトル／モード復号部２０３及び変移予測信号生成部８０４の動作を処理手順にしたものであり、ここで動作する変移予測信号生成処理機能を、図７における変移予測信号生成部７０４も有している。
最初に、反転モード予測差分値DiffModeと変移ベクトルの予測差分値DiffDV及び、ＤＣ補正を施したか否かを示す情報CorBitをストリームより復号する（Ｓ１１００）。続いて、反転モードの予測値ModePredと変移ベクトルの予測値DVPredを算出する（Ｓ１１０１）。算出した結果を用いて、予測差分値と予測値を加算することで、反転モードModeResult及び変移ベクトルDVResultを復号する（Ｓ１１０２）。
次に、復号対象ブロックから変移ベクトルDVResult移動した位置の復号画像メモリより、参照画像を入力する（Ｓ１１０３）。参照画像に対して、反転モードModeResultに応じて、参照画像のスキャン順を変換して予測画像ブロックを構成する（Ｓ１１０４）。
続いて、ＤＣ補正を施したか否かを示す情報CorBitが１である場合（Ｓ１１０５：ＹＥＳ）、イントラ予測モードの予測値を、図８におけるフレーム内復号画像メモリ２０８を経由して取得し、復号対象ブロックをイントラ予測した場合のＤＣ成分であるDCIpredを算出する（Ｓ１１０６）。続けて、参照画像ブロックのＤＣ成分であるDCRefを算出する（Ｓ１１０７）。予測画像より(DCIpred-DCRef)を減算し、ＤＣ補正を施した予測画像を生成する（Ｓ１１０８）。
一方、CorBitが１でない場合（Ｓ１１０５：ＮＯ）には、ＤＣ補正を施さずＳ１１０９に進む。
最後に、予測画像ブロックを出力し、後続ブロックに対する予測値を算出するために、ModeResult及びDVResultを格納して、終了する（Ｓ１１０９）。
第２実施例においては、第１実施例における参照画像に対する上下・左右の反転変換を用いた変移予測処理に対する効果に加えて、変移予測処理に対してブロックの平均値に相当するＤＣ成分を補正して、符号化対象ブロック内での変動分であるテクスチャ成分を直接するモードを具備することにより、更なる予測効率の向上を実現しており、画面内において同一テクスチャを有する成分が、光の当り具合や影などの影響で輝度値がずれている場合の、変移予測精度を向上する事を可能としている。
第２実施例においては、イントラ予測モードの予測モード情報を元に、符号化対象ブロックのＤＣ成分を推定し補正を行っているが、固定のアルゴリズムで隣接する復号画像よりＤＣ成分を推定する事も可能であり、その場合には第１実施例の構成に対して、追加することも可能である。
また、符号化対象ブロックのＤＣ成分を別伝送する事により正確なＤＣ成分を補正することも、上記構成の意図する範囲内での構成となり、ＤＣ成分を伝送しても伝送符号量を削減できる予測効率の向上を示す、符号化対象ブロックに対しては有効な機能となる。
続いて、本発明の第３実施例である画像符号化装置、画像復号化装置の形態について説明する。第３実施例は第２実施例の構成に対して、特許文献２において提示されている、符号化対象ブロックの隣接画像をテンプレートにして変移ベクトルを算出する機能を追加すると共に、その変移ベクトル算出機能に対して、本発明のポイントである、参照画像を上下・左右等に反転させたブロックを予測対象信号として具備した実施例である。
図１２に第３の実施例における画像符号化装置の構成図、図１３に第３の実施例における画像復号化装置の構成図を示し、動作の説明を行う。
図１２に示すように、本実施例の形態の画像符号化装置は、第２実施例と同様の機能を有する処理ブロックに加えて、周辺復号参照変移ベクトル推定部１２２５及び周辺復号参照変移予測信号生成部１２２６が追加された構成となっており、図１３に示すように、本実施例の形態の画像復号化装置は、第２実施例と同様の機能を有する処理ブロックに加えて、周辺復号参照変移ベクトル推定部１３１８及び周辺復号参照変移予測信号生成部１３１９が追加された構成となっている。
これら追加された処理ブロックは、符号化対象ブロックの隣接画像をテンプレートにして変移ベクトルを算出する機能であるため、符号化装置内の処理ブロックと復号装置内の処理ブロックは同一機能を有するため、合わせて詳細動作を説明する。
先ず、図１４を用いて本発明の周辺復号参照変移ベクトル推定の手法を説明する。第３実施例における本発明のポイントは、従来手法に比べてより画像信号が有する自己相似性やテクスチャの相似性を十分に活用するために、参照画像を上下・左右等に反転させたブロックを予測対象信号として追加し、反転モードと変移ベクトルを合わせて、符号化対象ブロックの周辺復号画像よりテンプレートマッチングの手法で推定することで、より符号化ブロックとの相関性の高い予測ブロックを付加情報の追加を必要とせずに生成している点である。
図１４の上部における、反転無しテンプレートが従来の周辺復号参照変移ベクトル推定を用いた予測において使用される参照画像（符号化済み復号画像）である。
符号化対象ブロックに対して上部左部に斜線で示しているエリアの画像情報を対象に、符号化済み復号画像を変移ベクトル分移動した位置に存在する、予測信号として用いる参照ブロックの上部左部に斜線で示しているエリアの画像情報（以降、参照テンプレートと記す）との誤差を評価し、最小の誤差値を有する変移ベクトル値を推定変移ベクトルＥＤＶとして算出し、ＥＤＶで示された変移ベクトル分、符号化対象ブロックに対して移動した位置の参照画像を予測画像とする。
本発明のポイントである反転したテンプレートを用いた予測処理を、周辺復号参照変移ベクトル推定において機能させるために、反転モードに応じて同一変移ベクトルに対する参照テンプレートの位置を変化させる。
具体的には、図１４の中央に示しているように、参照ブロックを上下・左右・上下左右に反転した際に、符号化対象ブロックの上部左部に位置する部分の画像信号は、参照ブロックに対して上下反転モードの場合には下部左部、左右反転モードの場合には上部右部、上下左右反転モード予測ブロックの場合には下部右部の復号画像が用いられる。
図１２及び図１３における、周辺復号参照変移ベクトル推定部１２２５、１３１８では、ある変移ベクトル値に対する誤差評価を行う場合に、図１４の下部に示すように、変移ベクトル基準に取得できる参照画像ブロックの周辺画像を全て取得する事により、４つの反転モードに対する周辺復号を参照した変移ベクトル推定及び反転モード推定が可能となる。
続いて、周辺復号参照変移ベクトル推定部１２２５の構成図を図１５に示し、動作の説明を行う。
周辺復号参照変移ベクトル推定部１２２５は、図１５に示されるように、シーケンス部１５００、メモリアクセス部１５０１、周辺復号画像バッファ１５０２、変移参照画像バッファ１５０３、反転無しモード誤差算出器１５０４、左右反転モード誤差算出器１５０５、上下反転モード誤差算出器１５０６、上下左右反転モード誤差算出器１５０７、最適推定変移ベクトル更新部１５０８、最適推定ベクトル／評価値格納部１５０９より構成される。
メモリアクセス部１５０１は、符号化対象ブロックの位置に隣接した周辺画像情報をフレーム内復号画像メモリ１１１より取得し、周辺復号画像バッファ１５０２に供給する。また、メモリアクセス部１５０１は、フレーム内復号画像メモリ１１１からシーケンス部１５００が管理する、変移ベクトル値に合わせて参照ブロックを取得し、変移参照画像バッファ１５０３に格納する。
周辺復号画像バッファ１５０２からは、反転無しモード誤差算出器１５０４、左右反転モード誤差算出器１５０５、上下反転モード誤差算出器１５０６及び上下左右反転モード誤差算出器１５０７に、同じ周辺復号画像信号が供給される。
一方、変移参照画像バッファ１５０３からは、図１４において示したように反転無しモード誤差算出器１５０４に対しては、参照画像ブロックの上部左部、左右反転モード誤差算出器１５０５に対しては、参照画像ブロックの上部右部、上下反転モード誤差算出器１５０６に対しては、参照画像ブロックの下部左部、上下左右反転モード誤差算出器１５０７に対しては、参照画像ブロックの下部右部の参照画像信号が周辺参照画像として供給される。
反転無しモード誤差算出器１５０４、左右反転モード誤差算出器１５０５、上下反転モード誤差算出器１５０６及び上下左右反転モード誤差算出器１５０７は、入力された周辺復号画像及び周辺参照画像の各画素において二乗差分を計算し、その総和を格納する機能を有する。
これらにより、図１４に示した反転無しモード予測ブロック、上下反転モード予測ブロック、左右反転モード予測ブロック、上下左右反転モード予測ブロックの、予測誤差評価値が生成される。
反転無しモード誤差算出器１５０４、左右反転モード誤差算出器１５０５、上下反転モード誤差算出器１５０６及び上下左右反転モード誤差算出器１５０７は、それぞれ算出した二乗誤差値のブロック総和を、最適推定変移ベクトル更新部１５０８に出力する。
最適推定変移ベクトル更新部１５０８は、シーケンス部１５００で管理される変移ベクトル値における各反転モードの誤差評価値（二乗誤差総和）と、同一符号化対象ブロックに対する最小の誤差評価値を比較し、最も小さい評価値を有する反転モード及び変移ベクトルを、最適推定反転モード及び最適推定変移ベクトルとして更新し評価値と共に、最適推定ベクトル／評価値格納部１５０９に出力する。
最適推定ベクトル／評価値格納部１５０９は、シーケンス部１５００が管理する探索範囲の変移ベクトル値に対する誤差評価終了後に、格納された推定反転モード及び推定変移ベクトルを、周辺復号参照変移予測信号生成部１２２６及び、変移ベクトル検出部７０３に出力する。
上記検出処理の演算処理としての手順を、図１６にフローチャートとして示し、シーケンス部１５００において管理される処理手順を説明する。
対象となる符号化ブロックに対して、最初に最小誤差値MinErrを最大値に設定する（Ｓ１６００）。続いて、対象となる符号化ブロックに対して上側左側にＸ画素の隣接した位置の復号画像信号を入力する（Ｓ１６０１）。次に、符号化ブロックの画面内位置に応じて変移ベクトルの検出範囲を設定する（Ｓ１６０２）。制限された検出範囲を元に、変移ベクトルの初期値DVSearchを設定する（Ｓ１６０３）。続いて、設定されたDVSearchに対して、符号化ブロックからDVsearch移動した位置を基準に上下左右Ｘ画素のエリアにある画像を復号画像メモリより入力する（Ｓ１６０４）。
変移ベクトルDVsearchに対する符号化ブロック隣接画像と参照画像ブロック隣接画像の画素毎の誤差値を積算し、反転無しモードの誤差値ErrNorm(DVsearch)、左右反転モードの誤差値ErrLRinv(DVsearch)、上下反転モードの誤差値ErrULinv(DVsearch)、上下左右反転モードの誤差値ErrULLRinv(DVsearch)を算出する（Ｓ１６０５）。
続いて、生成されたErrNorm(DVsearch)、ErrLRinv(DVsearch)、ErrULinv(DVsearch)、ErrULLRinv(DVsearch)の最小値と、格納されているMinErrを比較する（Ｓ１６０６）。最小値がMinErrよりも小さい場合（Ｓ１６０７：ＹＥＳ）、MinErrに最小値を設定し、最小値を持つ推定反転モード値をModeResult、その際の推定変移ベクトル値DVSearchをDVResultに格納する（Ｓ１６０８）。最小値がMinErrよりも小さくない場合（Ｓ１６０７：ＮＯ）は、そのままＳ１６０９に進む。
上記誤差値算出を行った変移ベクトル値が検出範囲最後のベクトルである場合には（Ｓ１６０９：ＹＥＳ）、ModeResult、DVResultを出力し（Ｓ１６１０）、終了する。最後のベクトルでない場合には（Ｓ１６０９：ＮＯ）、変移ベクトル値DVSearchを次の検出位置に更新し（Ｓ１６１１）、Ｓ１６０４に移動する。
上記処理手順に従って、図１２における周辺復号参照変移ベクトル推定部１２２５及び図１３における周辺復号参照変移ベクトル推定部１３１８は、推定された変移ベクトル値DVResultと、推定反転モード値ModeResultを生成する。
これらの値は、変移ベクトル検出部７０３における予測変移ベクトル値及び予測反転モード値としても用いる事が可能であり、隣接画像からの推定が有効に機能している場合には変移ベクトル検出を用いた変移予測に必要となる付加情報を削減する事が可能である。
図１２における、周辺復号参照変移予測信号生成部１２２６及び図１３における、周辺復号参照変移予測信号生成部１３１９は、周辺復号参照変移ベクトル推定部１２２５及び１３１８から入力された変移ベクトル値DVResultと、推定反転モード値ModeResultを元に、フレーム内復号画像メモリ１１１及び２０８より変移ベクトル値だけ符号化対象ブロックより移動した位置の、符号化済み復号画像を参照画像として取得する。取得した参照画像は、反転モードに応じて水平・垂直の並び順を入れ替えて、予測画像ブロックを構成する。構成された予測画像ブロックは、図１２におけるモード判定部７２４、図１３における予測信号選択部８１１に供給され、予測モードとして選択された場合には、予測画像ブロックとして使用される。
本発明の第３実施例においては、符号化対象ブロックに隣接する符号化済みの復号画像を用いて、変移ベクトルで参照される画像の隣接部分の誤差評価を行う、周辺復号参照変移ベクトル推定に対して、復号画像を上下・左右に反転させた場合の隣接部分の誤差評価を行う事で、変移ベクトルと反転モードを推定する。これら推定された情報を用いて予測信号を生成する事で、従来の周辺復号参照変移ベクトル推定に対して予測精度の向上を、付加情報を必要としないで実現出来る。
続いて、本発明の第４実施例である画像符号化装置、画像復号化装置の形態について説明する。第４実施例は第２実施例の構成に対して、符号化対象ブロックの隣接画像をテンプレートにした評価を行う事で、符号を伝送せずに反転モードを算出する構成を取る実施例である。
図１７に第４の実施例における画像符号化装置の構成図、図１８に第４の実施例における画像復号化装置の構成図を示し、動作の説明を行う。
図１７に示すように、本実施例の形態の画像符号化装置は、第２実施例と同様の機能を有する処理ブロックに加えて、テンプレート反転モード推定部１７２７が追加された構成となっており、図１８に示すように、本実施例の形態の画像復号化装置は、第２実施例と同様の機能を有する処理ブロックに加えて、テンプレート反転モード推定部１８２０が追加された構成となっている。
テンプレート反転モード推定部１８２０においては、設定された変移ベクトルに対して、最適な反転モードを符号化対象ブロックの隣接画像をテンプレートにして算出する構成をとる。符号化装置内の処理ブロックと復号装置内の処理ブロックは同一機能を有するため、合わせて詳細動作を説明する。
符号化装置の場合には、テンプレート反転モード推定部１７２７に、変移ベクトル検出部７０３より対象となる変移ベクトルが入力され、復号化装置の場合には、テンプレート反転モード推定部１８２０には、変移予測信号生成部８０４より復号された変移ベクトルが入力される。
テンプレート反転モード推定部１７２７、１８２０は、変移ベクトルとフレーム内復号画像メモリ１１１、２０８より入力する復号画像を用いて、反転モードを選択する機能を有する。反転モード推定処理の流れを、図１９のフローチャートを用いて説明する。
最初に対象となる符号化ブロックに対して上側左側にＸ画素の隣接した位置の復号画像信号を入力する（Ｓ１９００）。次に、反転モードを求める対象となる変移ベクトル値DVを設定する（Ｓ１９０１）。続いて、設定されたDVに対して、符号化ブロックからDV移動した位置を基準に上下左右Ｘ画素のエリアにある画像を復号画像メモリより入力する（Ｓ１９０２）。
変移ベクトルDVに対する符号化ブロック隣接画像と参照画像ブロック隣接画像の画素毎の誤差値を積算し、反転無しモードの誤差値ErrNorm、左右反転モードの誤差値ErrLRinv、上下反転モードの誤差値ErrULinv、上下左右反転モードの誤差値ErrULLRinvを算出する（Ｓ１９０３）。
続いて、生成されたErrNorm、ErrLRinv、ErrULinv、ErrULLRinvの中の最小値を算出する（Ｓ１９０４）。最小値がErrNormの場合には推定反転モード値をModeResultに０を、最小値がErrLRinvの場合には推定反転モード値をModeResultに１を、最小値がErrULinvの場合には推定反転モード値をModeResultに２を、最小値がErrULLRinvの場合には推定反転モード値をModeResultに３を設定する（Ｓ１９０５）。
このようにして算出されたModeResultを出力し、符号化対象ブロックに対する反転モード値を算出する（Ｓ１９０６）。
算出されたModeResultをそのまま反転モード値として、予測信号を生成する事で、付加情報無しに反転モードを確定する事が出来、復号化装置において同様の処理を行う事で、反転モード値が復元できる。
算出されたModeResultは、符号化装置において変移ベクトル検出部７０３における予測反転モード値としても用いる事が可能であり、隣接画像からの推定が有効に機能している場合には変移ベクトル検出を用いた変移予測における反転モード情報を削減する事が可能である。
本発明の第４実施例においては、符号化対象ブロックに隣接する符号化済みの復号画像を用いて、変移ベクトルで参照される復号画像の隣接部分の位置を、変移ベクトルで参照される復号画像を中心に上下・左右に反転させた位置の隣接部分の誤差評価を行う事で反転モードを推定し、推定結果である反転モードを用いて予測信号を生成する事で、付加情報を増加させることなく、テクスチャ成分の相関性を用いたフレーム内変移予測の予測効率を向上させ、符号化効率を向上させることが可能となる。
尚、第１、第２、第３、第４の実施例として提示した、画像符号化装置、及び画像復号化装置は、物理的にはＣＰＵ（中央処理装置）、メモリなどの記録装置、ディスプレイ等の表示装置、及び伝送路への通信手段を具備したコンピュータで実現することが可能であり、提示した各々の機能を具備する手段を、コンピュータ上のプログラムとして実現し、実行することが可能である。
１００ 入力端子
１０１ 入力画像バッファ
１０２ ブロック分割部
１０３ 変移ベクトル検出部
１０４ 変移予測信号生成部
１０５ 減算器
１０６ 直交変換部
１０７ 量子化部
１０８ 逆量子化部
１０９ 逆直交変換部
１１０ 加算器
１１１ フレーム内復号画像メモリ
１１２ 変移ベクトル／モード予測部
１１３ エントロピー符号化部
１１４ ストリームバッファ
１１５ 出力端子
１１６ 符号量制御部
２００ 入力端子
２０１ ストリームバッファ
２０２ エントロピー復号部
２０３ 変移ベクトル／モード復号部
２０４ 変移予測信号生成部
２０５ 逆量子化部
２０６ 逆直交変換部
２０７ 加算器
２０８ フレーム内復号画像メモリ
２０９ 出力端子
４００ シーケンス部
４０１ 対象画像バッファ
４０２ モード予測値／変移ベクトル予測値バッファ
４０３ メモリアクセス部
４０４ 変移参照画像バッファ
４０５ 反転無しモード誤差算出器
４０６ 左右反転モード誤差算出器
４０７ 上下反転モード誤差算出器
４０８ 上下左右反転モード誤差算出器
４０９ 最適変移ベクトル更新部
４１０ モード差分／変移ベクトル差分算出器
４１１ 最適ベクトル／誤差値格納部
７０３ 変移ベクトル検出部
７０４ 変移予測信号生成部
７１７ イントラ予測部
７１８ イントラ予測モード判定部
７１９ デブロックフィルタ
７２０ 参照画像メモリ
７２１ 動きベクトル検出部
７２２ 動き補償予測部
７２３ 動きベクトル予測部
７２４ モード判定部
８０４ 変移予測信号生成部
８１０ 予測モード復号部
８１１ 予測信号選択部
８１２ イントラ予測モード復号部
８１３ イントラ予測部
８１４ 動きベクトル復号部
８１５ デブロックフィルタ
８１６ 参照画像メモリ
８１７ 動き補償予測部
９０５ 反転無しモード誤差算出器
９０６ 左右反転モード誤差算出器
９０７ 上下反転モード誤差算出器
９０８ 上下左右反転モード誤差算出器
９１３ 変移参照ＤＣ算出部
９１４ イントラ予測ＤＣ算出部
１２２５ 周辺復号参照変移ベクトル推定部
１２２６ 周辺復号参照変移予測信号生成部
１３１８ 周辺復号参照変移ベクトル推定部
１３１９ 周辺復号参照変移予測信号生成部
１５００ シーケンス部
１５０１ メモリアクセス部
１５０２ 周辺復号画像バッファ
１５０３ 変移参照画像バッファ
１５０４ 反転無しモード誤差算出器
１５０５ 左右反転モード誤差算出器
１５０６ 上下反転モード誤差算出器
１５０７ 上下左右反転モード誤差算出器
１５０８ 最適推定変移ベクトル更新部
１５０９ 最適推定ベクトル／評価値格納部
１７２７ テンプレート反転モード推定部
１８２０ テンプレート反転モード推定部

Claims (16)

  1. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う、画像符号化装置であって、
    符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、前記相関性の高い信号と前記符号化対象ブロックの画面内の変移である変移ベクトルを求める、変移ベクトル検出部と、前記変移ベクトルに従い予測信号を生成する、変移予測信号生成部とを有し、
    前記変移ベクトル検出部は、変移ベクトルにおいて指定される予測信号を水平及び垂直の少なくとも一方の並びを反転させた信号を算出し、反転された予測信号を含めた予測信号の中より最適な予測信号と、予測信号を構成する為に必要な変移ベクトルと反転方向を示す情報を検出すると共に、
    前記変移予測信号生成部は、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、
    前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトル及び前記反転方向を示す情報を符号化する事を特徴とする、画像符号化装置。
  2. 前記変移ベクトル及び前記反転方向を示す情報に対して、前記符号化対象ブロックと隣接するブロックにおいて検出された変移ベクトル及び反転方向を示す情報を用いて、前記符号化対象ブロックに対する前記変移ベクトル及び前記反転方向を示す情報に対する予測情報を算出し、前記変移ベクトル及び前記反転方向を示す情報と予測情報との差異を符号化する事を特徴とする、請求項１に記載の画像符号化装置。
  3. 前記変移ベクトル検出部は、符号化対象ブロックの画像信号の直流成分を、周辺復号画像より予測するＤＣ算出部と、前記変移ベクトルで示される予測信号の直流成分を算出する変異参照ＤＣ算出部とを含み、
    前記符号化対象ブロックより予測された直流成分と、前記予測信号の直流成分の差分を補正し、補正した予測信号を前記符号化対象ブロックの予測信号の選択候補として評価すると共に、直流成分の補正を行うか否かを示す情報と共に符号化する事を特徴とする、請求項１に記載の画像符号化装置。
  4. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う、画像符号化装置であって、
    符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと前記局部復号画像より生成される予測信号との画面内の変移である変移ベクトルを求める、周辺復号参照変移ベクトル推定部と、前記変移ベクトルに従い予測信号を生成する、周辺復号参照変移予測信号生成部とを有し、
    前記周辺復号参照変移ベクトル推定部は、符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の信号との誤差評価を行う事で、前記予測信号と前記変移ベクトルを生成すると共に、
    符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の位置を、前記変移ベクトルで参照される局部復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で、反転方向を示す情報を生成し、
    前記周辺復号参照変移予測信号生成部は、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、
    前記予測信号と前記符号化対象ブロックとの差分信号を符号化する事を特徴とする、画像符号化装置。
  5. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う、画像符号化装置であって、
    符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、前記相関性の高い信号と前記符号化対象ブロックの画面内の変移である変移ベクトルを求める、変移ベクトル検出部と、前記変移ベクトルに従い予測信号を生成する、変移予測信号生成部と、予測信号を水平及び垂直の少なくとも一方の並びを反転させる為の、反転方向を示す情報を推定する、テンプレート反転モード推定部とを有し、
    前記テンプレート反転モード推定部は、符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の位置を、前記変移ベクトルで参照される局部復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で反転方向を示す情報を生成し、
    前記変移ベクトル検出部は、前記反転方向を示す情報に応じて、変移ベクトルにおいて指定される予測信号を反転させた信号を算出し、変移ベクトル毎に予測信号と符号化対象ブロックとの誤差評価を行う事で変移ベクトルを検出すると共に、
    前記変移予測信号生成部は、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、
    前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルを符号化する事を特徴とする、画像符号化装置。
  6. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する、画像復号化装置であって、
    前記符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を水平及び垂直の少なくとも一方に反転させる、反転方向を示す情報を復号する、変移ベクトル／モード復号部と、
    前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成部とを有し、
    前記予測信号と、復号された残差信号を加算することで復号画像を算出することを特徴とする、画像復号化装置。
  7. 前記変移ベクトル及び前記反転方向を示す情報に対して、前記復号対象ブロックと隣接するブロックにおいて検出された変移ベクトル及び反転方向を示す情報を用いて、前記符号化対象ブロックに対する前記変移ベクトル及び前記反転方向を示す情報に対する予測情報を算出し、前記変移ベクトル及び前記反転方向を示す情報と予測情報との差異を復号して加える事で、前記変移ベクトル及び前記反転方向を示す情報を復号する事を特徴とする、請求項６に記載の画像復号化装置。
  8. 前記変移予測信号生成部は、符号化対象ブロックの画像信号の直流成分を、周辺復号画像より予測するＤＣ算出部と、前記変移ベクトルで示される予測信号の直流成分を算出する変移参照ＤＣ算出部とを含み、
    直流成分の補正を行うか否かを示す情報を復号し、復号した情報を元に、補正が行われた条件の場合に、前記符号化対象ブロックより予測された直流成分と、前記予測信号の直流成分の差分を補正し、補正した予測信号を用いて、復号された残差信号と加算することで復号画像を算出することを特徴とする、請求項６に記載の画像復号化装置。
  9. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する、画像復号化装置であって、
    復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像を用いて、復号対象ブロックと前記復号画像より生成した予測信号との画面内の変移である変移ベクトルを求める、周辺復号参照変移ベクトル推定部と、前記変移ベクトルに従い予測信号を生成する、周辺復号参照変移予測信号生成部とを有し、
    前記周辺復号参照変移ベクトル推定部は、復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の信号との誤差評価を行う事で、前記予測信号と前記変移ベクトルを生成すると共に、
    復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の位置を、前記変移ベクトルで参照される復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で、反転方向を示す情報を生成し、
    前記周辺復号参照変移予測信号生成部は、前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成し、
    前記予測信号と復号された残差信号を加算することで復号画像を算出することを特徴とする、画像復号化装置。
  10. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する、画像復号化装置であって、
    復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトルを復号する、変移ベクトル／モード復号部と、
    予測信号を水平及び垂直の少なくとも一方の並びを反転させる為の、反転方向を示す情報を推定する、テンプレート反転モード推定部とを有し、
    前記テンプレート反転モード推定部は、復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の位置を、前記変移ベクトルで参照される復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で反転方向を示す情報を生成すると共に、
    前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成部を有し、
    前記予測信号と、復号された残差信号を加算することで復号画像を算出することを特徴とする、画像復号化装置。
  11. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う、画像符号化方法であって、
    符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、前記相関性の高い信号と前記符号化対象ブロックの画面内の変移である変移ベクトルを求める、変移ベクトル検出ステップと、前記変移ベクトルに従い予測信号を生成する、変移予測信号生成ステップとを含み、
    前記変移ベクトル検出ステップでは、変移ベクトルにおいて指定される予測信号を水平及び垂直の少なくとも一方の並びを反転させた信号を算出し、反転された予測信号を含めた予測信号の中より最適な予測信号と、予測信号を構成する為に必要な変移ベクトルと反転方向を示す情報を検出すると共に、
    前記変移予測信号生成ステップでは、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、
    前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトル及び前記反転方向を示す情報を符号化する事を特徴とする、画像符号化方法。
  12. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う、画像符号化方法であって、
    符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと前記局部復号画像より生成される予測信号との画面内の変移である変移ベクトルを求める、周辺復号参照変移ベクトル推定ステップと、前記変移ベクトルに従い予測信号を生成する、周辺復号参照変移予測信号生成ステップとを含み、
    前記周辺復号参照変移ベクトル推定ステップでは、符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の信号との誤差評価を行う事で、前記予測信号と前記変移ベクトルを生成すると共に、
    符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の位置を、前記変移ベクトルで参照される局部復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で、反転方向を示す情報を生成し、
    前記周辺復号参照変移予測信号生成ステップでは、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、
    前記予測信号と前記符号化対象ブロックとの差分信号を符号化する事を特徴とする、画像符号化方法。
  13. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化を行う、画像符号化方法であって、
    符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、前記相関性の高い信号と前記符号化対象ブロックの画面内の変移である変移ベクトルを求める、変移ベクトル検出ステップと、前記変移ベクトルに従い予測信号を生成する、変移予測信号生成ステップと、予測信号を水平及び垂直の少なくとも一方の並びを反転させる為の、反転方向を示す情報を推定する、テンプレート反転モード推定ステップとを含み、
    前記テンプレート反転モード推定ステップでは、符号化対象ブロックに隣接する局部復号画像と、前記変移ベクトルで参照される局部復号画像の隣接部分の位置を、前記変移ベクトルで参照される局部復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で反転方向を示す情報を生成し、
    前記変移ベクトル検出ステップでは、前記反転方向を示す情報に応じて、変移ベクトルにおいて指定される予測信号を反転させた信号を算出し、変移ベクトル毎に予測信号と符号化対象ブロックとの誤差評価を行う事で変移ベクトルを検出すると共に、
    前記変移予測信号生成ステップでは、前記変移ベクトル及び前記反転方向を示す情報に従って、前記局部復号画像より予測信号を生成し、
    前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルを符号化する事を特徴とする、画像符号化方法。
  14. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する、画像復号化方法であって、
    前記符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を水平及び垂直の少なくとも一方に反転させる、反転方向を示す情報を復号する、変移ベクトル／モード復号ステップと、
    前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成ステップとを含み、
    前記予測信号と、復号された残差信号を加算することで復号画像を算出することを特徴とする、画像復号化方法。
  15. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する、画像復号化方法であって、
    復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像を用いて、復号対象ブロックと前記復号画像より生成した予測信号との画面内の変移である変移ベクトルを求める、周辺復号参照変移ベクトル推定ステップと、前記変移ベクトルに従い予測信号を生成する、周辺復号参照変移予測信号生成ステップとを含み、
    前記周辺復号参照変移ベクトル推定ステップでは、復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の信号との誤差評価を行う事で、前記予測信号と前記変移ベクトルを生成すると共に、
    復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の位置を、前記変移ベクトルで参照される復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で、反転方向を示す情報を生成し、
    前記周辺復号参照変移予測信号生成ステップでは、前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成し、
    前記予測信号と復号された残差信号を加算することで復号画像を算出することを特徴とする、画像復号化方法。
  16. 画像信号を、複数の画素で構成されるブロック単位に分割を行い、分割されたブロック単位で符号化が施された符号化ストリームを受信し復号する、画像復号化方法であって、
    復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトルを復号する、変移ベクトル／モード復号ステップと、
    予測信号を水平及び垂直の少なくとも一方の並びを反転させる為の、反転方向を示す情報を推定する、テンプレート反転モード推定ステップとを含み、
    前記テンプレート反転モード推定ステップでは、復号対象ブロックに隣接する復号画像と、前記変移ベクトルで参照される復号画像の隣接部分の位置を、前記変移ベクトルで参照される復号画像を中心に水平及び垂直の少なくとも一方の並びを反転させた位置の信号との誤差評価を行う事で反転方向を示す情報を生成すると共に、
    前記変移ベクトル及び前記反転方向を示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成ステップを含み、
    前記予測信号と、復号された残差信号を加算することで復号画像を算出することを特徴とする、画像復号化方法。
JP2009268988A 2009-11-26 2009-11-26 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法 Active JP5321426B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009268988A JP5321426B2 (ja) 2009-11-26 2009-11-26 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
CN201080053749.2A CN102640496B (zh) 2009-11-26 2010-11-24 图像编码装置、图像解码装置、图像编码方法及图像解码方法
PCT/JP2010/006853 WO2011064990A1 (ja) 2009-11-26 2010-11-24 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
DE201011004586 DE112010004586T5 (de) 2009-11-26 2010-11-24 Bildkodierungsgerät, bilddekodierungsgerät, bildkodierungsmethode und bilddekodierungsmethode
US13/481,440 US9100664B2 (en) 2009-11-26 2012-05-25 Image encoding device, image decoding device, image encoding method, and image decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009268988A JP5321426B2 (ja) 2009-11-26 2009-11-26 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法

Publications (2)

Publication Number Publication Date
JP2011114572A true JP2011114572A (ja) 2011-06-09
JP5321426B2 JP5321426B2 (ja) 2013-10-23

Family

ID=44066099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009268988A Active JP5321426B2 (ja) 2009-11-26 2009-11-26 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法

Country Status (5)

Country Link
US (1) US9100664B2 (ja)
JP (1) JP5321426B2 (ja)
CN (1) CN102640496B (ja)
DE (1) DE112010004586T5 (ja)
WO (1) WO2011064990A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017512026A (ja) * 2014-03-04 2017-04-27 マイクロソフト テクノロジー ライセンシング，エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10582213B2 (en) 2013-10-14 2020-03-03 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9088793B2 (en) * 2011-03-09 2015-07-21 Vixs Systems, Inc. Multi-format video decoder with filter vector processing and methods for use therewith
US10136143B2 (en) * 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US10506254B2 (en) 2013-10-14 2019-12-10 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
US20180302629A1 (en) * 2015-10-30 2018-10-18 Sony Corporation Image processing apparatus and method
CN108337513B (zh) * 2017-01-20 2021-07-23 浙江大学 一种帧内预测像素生成方法和装置
US10009832B1 (en) 2017-08-11 2018-06-26 At&T Intellectual Property I, L.P. Facilitating compact signaling design for reserved resource configuration in wireless communication systems
BR112021003510A2 (pt) * 2018-09-19 2021-05-18 Fujitsu Limited aparelho de codificação de vídeo, método de codificação de vídeo, programa de codificação de vídeo, aparelho de decodificação de vídeo, método de decodificação de vídeo e programa de decodificação de vídeo
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06113291A (ja) * 1992-09-25 1994-04-22 Olympus Optical Co Ltd 画像符号化及び復号化装置
JPH09182082A (ja) * 1995-12-25 1997-07-11 Nippon Telegr & Teleph Corp <Ntt> 動画像の動き補償予測符号化方法とその装置
JP2005159947A (ja) * 2003-11-28 2005-06-16 Matsushita Electric Ind Co Ltd 予測画像生成方法、画像符号化方法および画像復号化方法
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020095A (ja) * 2004-07-01 2006-01-19 Sharp Corp 動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法
JP2006148615A (ja) * 2004-11-22 2006-06-08 Hitachi Ltd 復号化装置および符号化方法をコンピュータに実行させるためのプログラム
CN101218829A (zh) * 2005-07-05 2008-07-09 株式会社Ntt都科摩 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序
KR101211665B1 (ko) * 2005-08-12 2012-12-12 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP2007110348A (ja) * 2005-10-12 2007-04-26 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
KR101365574B1 (ko) * 2007-01-29 2014-02-20 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06113291A (ja) * 1992-09-25 1994-04-22 Olympus Optical Co Ltd 画像符号化及び復号化装置
JPH09182082A (ja) * 1995-12-25 1997-07-11 Nippon Telegr & Teleph Corp <Ntt> 動画像の動き補償予測符号化方法とその装置
JP2005159947A (ja) * 2003-11-28 2005-06-16 Matsushita Electric Ind Co Ltd 予測画像生成方法、画像符号化方法および画像復号化方法
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6011008784; Ｓｉｕ-Ｌｅｏｎｇ　Ｙｕ　ａｎｄ　Ｃｈｒｉｓｔｏｓ　Ｃｈｒｙｓａｆｉｓ: 'Ｎｅｗ　Ｉｎｔｒａ　Ｐｒｅｄｉｃｔｉｏｎ　ｕｓｉｎｇ　Ｉｎｔｒａ-Ｍａｃｒｏｂｌｏｃｋ　Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ' Ｊｏｉｎｔ　Ｖｉｄｅｏ　Ｔｅａｍ　（ＪＶＴ）　ｏｆ　ＩＳＯ／ＩＥＣ　ＭＰＥＧ　＆　ＩＴＵ-Ｔ　ＶＣＥＧ（ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１　ａｎｄ　ＩＴＵ-Ｔ　ＳＧ１６　Ｑ．６） ＪＶＴ-Ｃ１５１ｄ１, 200205, ｐｐ．１-３, ３ｒｄ　Ｍｅｅｔｉｎｇ：　Ｆａｉｒｆａｘ，　Ｖｉｒｇｉｎｉａ，　ＵＳＡ *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582213B2 (en) 2013-10-14 2020-03-03 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
JP2017512026A (ja) * 2014-03-04 2017-04-27 マイクロソフト テクノロジー ライセンシング，エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
US10368091B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
KR20210063485A (ko) * 2014-03-04 2021-06-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 인트라 블록 카피 예측에서의 스킵 모드 및 블록 플립핑
KR102401946B1 (ko) 2014-03-04 2022-05-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 인트라 블록 카피 예측에서의 스킵 모드 및 블록 플립핑
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction

Also Published As

Publication number Publication date
US20120300840A1 (en) 2012-11-29
US9100664B2 (en) 2015-08-04
CN102640496A (zh) 2012-08-15
CN102640496B (zh) 2015-08-19
DE112010004586T5 (de) 2012-11-22
WO2011064990A1 (ja) 2011-06-03
JP5321426B2 (ja) 2013-10-23

Similar Documents

Publication Publication Date Title
JP5321426B2 (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
US11463726B2 (en) Apparatus and method for motion vector refinement for multi-reference prediction
RU2530318C2 (ru) Способ выполнения локализованного многогипотезного прогнозирования во время видеокодирования элемента кодирования и соответствующее устройство
AU2015213340B2 (en) Video decoder, video encoder, video decoding method, and video encoding method
JP5277257B2 (ja) 動画像復号化方法および動画像符号化方法
CN110741640B (zh) 用于视频代码化中的运动补偿预测的光流估计
US11153595B2 (en) Memory access window and padding for motion vector refinement
KR102568199B1 (ko) 디코더 측 모션 벡터 정제를 위한 에러 표면 기반 서브 픽셀 정밀 정제 방법
JP2015195575A (ja) 動画像符号化装置および動画像符号化方法
WO2017010073A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
AU2016228181A1 (en) Method for inducing a merge candidate block and device using same
JP2015226111A (ja) 画像処理装置、画像処理装置の制御方法
JP5194039B2 (ja) イントラ予測装置、符号化器、復号器、及びプログラム
NZ760521B2 (en) Motion vector refinement for multi-reference prediction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130701

R150 Certificate of patent or registration of utility model

Ref document number: 5321426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250