JP2009071520A - 画像符号化装置、画像符号化方法 - Google Patents

画像符号化装置、画像符号化方法 Download PDF

Info

Publication number
JP2009071520A
JP2009071520A JP2007236946A JP2007236946A JP2009071520A JP 2009071520 A JP2009071520 A JP 2009071520A JP 2007236946 A JP2007236946 A JP 2007236946A JP 2007236946 A JP2007236946 A JP 2007236946A JP 2009071520 A JP2009071520 A JP 2009071520A
Authority
JP
Japan
Prior art keywords
quantization
encoding
quantization parameter
code amount
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007236946A
Other languages
English (en)
Other versions
JP4569840B2 (ja
Inventor
Takaaki Fuchie
孝明 渕江
Shojiro Shibata
正二郎 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007236946A priority Critical patent/JP4569840B2/ja
Priority to EP20080252818 priority patent/EP2061253A3/en
Priority to TW97134195A priority patent/TW200931983A/zh
Priority to US12/207,611 priority patent/US8509556B2/en
Priority to KR20080089662A priority patent/KR20090027590A/ko
Priority to CN200810212084XA priority patent/CN101389026B/zh
Publication of JP2009071520A publication Critical patent/JP2009071520A/ja
Application granted granted Critical
Publication of JP4569840B2 publication Critical patent/JP4569840B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】目標符号量に発生符号量を一致させ、視覚特性を考慮した符号量配分、つまり量子化パラメータの決定を可能とする。
【解決手段】画像符号化装置は、目標符号量を実現する量子化パラメータQPと量子化行列Q Matrixを予測する第1のプレエンコード部1と、上記量子化パラメータQPを補正する第2のプレエンコード部2と、上記第2のプレエンコード部2により補正された量子化パラメータQPを用いて本エンコードを行うエンコード部3を備える。第1のプレエンコード部1は、DCT、量子化後のレベルのエントロピーを計算することで発生符号量を算定し、該発生符号量に基づいて目標符号量を実現する量子化パラメータQPを予測する。
【選択図】 図1

Description

本発明は、例えば画像符号化装置等に係り、特に1ピクチャに与えられた目標符号量に画面内フィードバック制御を行わずに発生符号量を合わせ込む技術分野に関する。
従来、動画のビットストリームを伝送したり記録メディアに記録したりするシステム等においては、伝送路或いは記録容量を効率良く利用するために、高能率符号化が実施されている。これを実現する画像符号化装置では、エンコーダで発生するビットストリームの符号化ビットレートは伝送メディアの転送レートに合わせて一定とされており、この制限の下でデータ発生量、つまり、エンコーダにおける量子化の量子化ステップが制御されている。すなわち、例えば絵柄が複雑な画像が連続するときは量子化ステップを大きくしてデータ発生量を抑圧し、これとは逆に単純な絵柄が連続するときは量子化ステップを小さくしてデータ発生量を増加させることで、バッファメモリのオーバーフロー又はアンダーフローを生じさせないようにして固定レートを保持している。
従って、このような従来技術に係る画像符号化装置では、複雑な画像が連続するときは量子化ステップが大きくなり画質が劣化し、単純な画像が連続するときは量子化ステップが小さくなり全体を通じて均等な画質を得ることができなかった。この問題に鑑みて、例えば特許文献1では、GOP(Group Of Pictures)毎の符号化の難易度と複数のGOPの符号化の難易度の総和の比に従って各GOP自身に割り当てられる割当符号量を、絵柄が複雑な画像を含むGOPに対しては多く割り当て、絵柄が単純な画像を含むGOPに対しては少なく割り当てるように算出する画像符号化装置が開示されている。
一方、1ピクチャに与えられた目標符号量に発生符号量を合わせ込む方法としてはTM5(test model 5)のstep2が良く知られている。これは、ピクチャに割り当てられた符号量をマクロブロック(MB;Macro block)に均等に配分したものを該MBの目標符号量にし、ピクチャ内でフィードバック制御をかける事で、目標に合わせ込む方法である。
特許第3358620号公報
しかしながら、TM5のstep2等の方法では、シーケンス先頭ピクチャやシーンチェンジ直後ピクチャのエンコードにおいて、量子化パラメータの初期値が、そのピクチャの絵柄に合ったものではないため、画質が劣化する場合があった。
例えば、フィードバックが絵柄に追従するまでの部分の量子化パラメータが大き過ぎる場合には、その部分の画質が他の部分に比べて劣化してしまい、これとは逆に量子化パラメータが小さすぎる場合には、その部分で符号量を使い過ぎてしまい、他の部分に悪影響を与えていた。また、MBの目標符号量を常に一定としている為に、画面内で画の難しさに偏りがあるとき等は、不適切な符号量配分になっていた。
そこで、本発明は、目標符号量に発生符号量を一致させ、視覚特性を考慮した符号量配分、つまり量子化パラメータの決定を可能とすることを課題とする。
本発明の第1の観点による画像符号化装置は、画像データを符号化する画像符号化装置において、目標符号量を算出する際の量子化パラメータと量子化行列を予測する第1の符号化手段と、第1の符号化手段で求めた量子化パラメータと量子化行列を用いて符号化を行い、発生符号量を得て、目標発生量との誤差から該量子化パラメータを補正する第2の符号化手段と、第2の符号化手段により補正された量子化パラメータを用いて、画像データを符号化する第3の符号化手段とを備える。
従って、第1及び第2の符号化手段により目標符号量に発生符号量を一致させる量子化パラメータが算定され、該量子化パラメータにより符号化が行われる。
本発明の第2の観点による画像符号化方法は、画像データを符号化する画像符号化方法において、目標符号量を算出する際の量子化パラメータと量子化行列を予測する第1のステップと、第1のステップで求めた量子化パラメータと量子化行列を用いて符号化を行い、発生符号量を得て、目標発生量との誤差から該量子化パラメータを補正する第2のステップと、第2のステップにより補正された量子化パラメータを用いて、画像データを符号化する第3のステップとを備える。
従って、目標符号量に発生符号量を一致させる量子化パラメータが算定され、該量子化パラメータにより符号化が行われる。
本発明によれば、目標符号量に発生符号量を一致させ、視覚特性を考慮した符号量配分、つまり量子化パラメータの決定を可能とする画像符号化装置及び画像符号化方法を提供することができる。
以下、図面を参照して、本発明を実施するための最良の形態(以下、単に実施の形態と称する)について詳細に説明する。
本発明の後述する第1及び第2の実施の形態では、
・目標符号量を実現する量子化パラメータを予測し、該量子化パラメータを用いて本エンコードを行うことで、目標符号量に発生符号量を一致させ、視覚特性を考慮した符号量配分、つまり量子化パラメータの決定を可能とすること。
・前回符号化時のピクチャ内の平均の量子化パラメータと量子化行列を判定し、前回符号化された画像と判定した場合、入力を入力画像データとしローカルデコード画像は使用しないようにすることでバックサーチの検出精度を向上すること。
を特徴の一つとしている。前者は後述する第1の実施の形態により実現され、後者は後述する第2の実施の形態により実現される。以下、詳述する。
(第1の実施の形態)
この第1の実施の形態に係る画像符号化装置及び方法では、MPEG4 Part10:AVC(Moving Picture Experts Group phase4 Part10:Advanced Video Coding)等に代表される算術符号化を用いた画像圧縮符号化方式を採用し、符号量制御を行う際にピクチャ内で良好な符号量分布を実現するために、以下に示すような特徴的な処理を行う。
即ち、プレエンコード(Pre Encode)を2回行い、目標符号量を実現する量子化パラメータQPを予測し、該量子化パラメータQPを用いて本エンコードを行う。特に、第1のプレエンコードでは、離散コサイン変換(DCT;Discrete Cosine Transform)、量子化後のレベルlevelのエントロピーを計算することにより発生符号量を粗く見積もる。
このエントロピーの計算は、先ず量子化で使用する量子化パラメータQPの中で最小のQPを用いて行い、その時の各値の発生回数をカウントし、最小の量子化パラメータQPにおける発生回数から各量子化パラメータQPにおける発生回数を求め、その値から各量子化パラメータQPでのエントロピーを計算する。求めたエントロピーから各量子化パラメータQPに対する予測発生符号量を求め、目標符号量を実現するための量子化パラメータQPを求める。また、エントロピー計算を量子化行列Q Matrixを使用した場合に適用するために、DCT blockの位置毎に発生回数のカウントを行う。
或いは、エントロピー計算を適応量子化に対応させるため、アクティビティ(Activity)によりマクロブロック(MB;Macro Block)をグループ分けして、アクティビティにより決定されたグループ毎に発生回数のカウントを行う。
量子化行列Q Matrixを絵柄に応じて適応的に切り替える手段としては、フラットな量子化行列Q Matrix(Q Matrixを使わないのと同じ)を使った時の、目標符号量を実現するための量子化パラメータQPを使用し、該量子化パラメータQPにより量子化行列Q Matrixを切り替える。決定された量子化行列Q Matrixがフラットでないときは、その量子化行列Q Matrixを使った時の量子化パラメータQPを求め直す。
第2のプレエンコードでは、第1のプレエンコードで求めた量子化パラメータQPと量子化行列Q Matrixを用いてエンコードを行い、発生符号量を得て、該発生符号量と目標発生量との誤差から、量子化パラメータQPを修正する。本エンコードでは、この第2のプレエンコードで求めた量子化パラメータQPを使用する。
以下、このような特徴をふまえて、第1の実施の形態について詳述する。
図1には本発明の第1の実施の形態に係る画像符号化装置の構成を示し説明する。
この図1に示されるように、この画像符号化装置は、第1のプレエンコードを行う第1のプレエンコード部1、第2のプレエンコードを行う第2のプレエンコード部2、本エンコードを行うエンコード部3、符号量制御部4、ディレイバッファ5,6を有する。第1のプレエンコード部1は、画面内予測モード決定部11、画面内予測処理部12、DCT部13、量子化部14、エントロピー計算部15、アクティビティ計算部16からなる。第2のプレエンコード部2は、画面内予測処理部21、DCT部22、量子化部23、エントロピー符号長計算部24、バッファ25、IDCT(Inverse DCT)部26、逆量子化部27からなる。エンコード部3は、画面内予測処理部31、DCT部32、量子化部33、エントロピー符号化部34、バッファ35、IDCT部36、逆量子化部37からなる。
尚、第1のプレエンコード部1は例えば第1の符号化手段に相当し、第2のプレエンコード部2は例えば第2の符号化手段に相当し、エンコード部3は例えば第3の符号化手段に相当する。また、アクティビティ計算部16は、例えばアクティビティ決定手段に相当する。但し、これらの関係に限定されないことは勿論である。
このような構成において、入力画像データ41は、最初に第1のプレエンコード部1の画面内予測モード決定11に入力される。画面内予測モード決定部11は、この入力画像データ41に基づいて画面内予測モードを決定する。ここで決定された画面内予測モードは、第2のプレエンコード部2、エンコード部3にも送出され、第2のプレエンコード部2による第2のプレエンコード、エンコード部3による本エンコードでも使用される。
次に画面内予測処理部12では、予測画像データと入力画像データとの差分画像が計算される。ここでは、処理を簡単にするために入力画像データから予測画像データを生成する。DCT部13では整数精度DCTがなされDCT係数が量子化部14に送られる。量子化部14では、DCT係数について量子化を行い、その出力をエントロピー計算部15に送出する。エントロピー計算部15は、エントロピーを計算し発生符号量を予測する。符号量予測の結果、次のステップで使用するピクチャの基本量子化パラメータ(Base QP)と量子化行列Q Matrixが求められ、符号量制御部4に入力される。ここで、補足すると、量子化パラメータQPとは、AVCにおいて量子化ステップを指定するための値であり、量子化パラメータQPが大きくなると量子化ステップも大きな値となる。
画面内予測モードの決定と同時に、第1のプレエンコード部1では、アクティビティ計算部16がアクティビティを計算し、該アクティビティによりマクロブロックMBをグループ分けする。各マクロブロックMBに対して決定されたアクティビティグループ(Activity Group)番号はエントロピー計算部15と符号量制御部4に入力される。
符号量制御部4は、第1のプレエンコード部1の第1のプレエンコードにより求められたピクチャの基本量子化パラメータBase QP、量子化行列Q matrix、各マクロブロックMBのActivity Groupから、量子化の情報(量子化行列Q Matrix、各MBの量子化パラメータQP)を第2のプレエンコード部2に送り、第2のプレエンコードを行う。
即ち、ディレイバッファ5を介して遅延処理の後に入力画像データが入力され、画面内予測処理部21では予測画像データと入力画像データとの差分が計算され、DCT部22によるDCT、量子化部23による量子化を経て、エントロピー符号長計算部24により発生符号量が計算される。尚、量子化部23の出力は、逆量子化部27において逆量子化され係数データが再生され、IDCT部26により該係数データがIDCT変換され、入力画像に係る画像データが再現され、バッファ25に保存されることになる。
この第2のプレエンコード部2による第2のプレエンコードの終了後、発生符号量を得る。符号量制御部4は、得られた発生符号量から、ピクチャの基本量子化パラメータBase QPを補正することになる。
第3のエンコード部3は、第2のプレエンコード部2による第2のプレエンコードにより決定されたピクチャの基本量子化パラメータBase QP、第1のプレエンコードにより決定された量子化行列Q Matrix、アクティビティグループActivity Groupを使用して本エンコードを行うことになる。
即ち、ディレイバッファ6を介して遅延処理された入力画像データを受けると、画面内予測処理部31では第1のプレエンコード時に決定された予測モードで、予測画像と入力画像との差分画像が計算され、DCT部32によるDCT、量子化部33による量子化を経てエントロピー符号化部34によりエントロピー符号化がなされ、出力ストリーム42が出力される。尚、量子化部33の出力は、逆量子化部37において逆量子化され、係数データが再生され、IDCT部36により該係数データがIDCT変換され、入力画像に係る画像データが再現され、バッファ35に保存されることになる。
以下、図2のフローチャートを参照して、本発明の第1の実施の形態に係る画像符号化装置による符号化に係る一連の処理を更に詳細に説明する。
先ず、アクティビティ計算部16は、入力画像データに基づいて、MB毎にアクティビティを計算し、その値に応じてアクティビティグループに分ける(ステップS1)。
つまり、例えばNumOfActivityGroupのグループに分ける場合を想定すると、アクティビティ計算部16は、ActivityTheshold[0]〜ActivityTheshold[NumOfActivityGroup-2]とアクティビティ(Activity)を比較することにより、グループを決定する。各MBの量子化パラメータQPは、ピクチャの基本量子化パラメータBase QPに対してアクティビティグループに依存したオフセットAdaptQpDeltaを加えることで求めることができる。
MB_QP=BaseQp+AdaptQpDelta[activity_group]
例えば、アクティビティグループNumOfActivityGroupを13とするならば、これに依存したオフセットAdaptQpDeltaの各値は、次のようにすることができる。
AdaptQpDelta[13] = {-6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6}
続いて、画面内予測モード決定部11により画面内予測モードを決定し(ステップS2)、第1のプレエンコード処理に入ることになる(ステップS3)。
この第1のプレエンコード処理の目的は、DCT、量子化後のデータのエントロピーを計算することにより、発生符号量を粗く見積もることである。算術符号化を用いた画像圧縮符号化方式では、理論上の圧縮限界であるエントロピーに近い圧縮効率が得られている事を利用して、エントロピーを用いて符号量の予測を行うものである。
即ち、画面内予測処理部12による画面内予測処理、DCT部13によるDCTを経て、該DCT後の値を最小の量子化パラメータQPで量子化し、量子化係数の各値の絶対値の発生回数をカウントする。つまり、発生し得る量子化係数の絶対値が、0〜MaxLevel_In_MinQであるとすると、Count[0]〜Count[MaxLevel_In_MinQ]を求める。
ここで、最小の量子化パラメータQPとは、使用の予定されている量子化パラメータQPの中で最小のものである。例えば、ビットレートが低い為に小さい量子化パラメータQPを使わないことが予め分かっていれば、該部分を除いた部分で考えればよい。
ここで使う量子化パラメータQPが大きくなれば、MaxLevel_In_MinQが小さくなるのでカウンタの数を減らすことができるが、該量子化パラメータQPより小さい量子化パラメータQPを使ったときの符号量は、情報が失われる為に求めることができない。尚、量子化後の値の発生回数を求めているが、これは、カウンタの数を少なくする為であり、カウンタの数に制限がないのであれば、量子化前の値、つまりDCT係数の発生回数を求めてもよい。この発生回数は、1ピクチャ全ての部分に対して求める。
続いて、符号量制御部4は、量子化パラメータQP毎の発生符号量の予測値を求める符号量予測処理を行う(ステップS4)。これは、量子化パラメータ毎の処理である。
このエントロピー計算部15による符号量予測処理の詳細は、図3のフローチャートに示される通りである。即ち、量子化係数の各値の絶対値の発生回数をカウント(level毎)し(ステップS21)、変数levelをイニシャライズ(level=0)し(ステップS22)、levelが発生符号量を求める量子化パラメータQPで量子化したときにいくつになるかを求める(ステップS23)。ついで、levelの発生回数を、発生符号量を求める量子化パラメータQPでのlevelのカウントに加算し(ステップS24)、変数levelをインクリメントし(ステップS25)、全てのlevelを処理したか否かを判断する(ステップS26)。
全てのlevelを処理していないと判断した場合(ステップS26をNoに分岐)、上記ステップS22に戻り、上記処理を繰り返し、全てのlevelを処理したと判断した場合には(ステップS26をYesに分岐)、ステップS27に進む。
つまり、このステップS21乃至S26では、量子化係数の各値の絶対値の発生回数を最小の量子化パラメータQPでの量子化係数の各値の絶対値の発生回数から求める。
続いて、levelの発生確率を求め(ステップS27)、先に求めた発生回数からエントロピーを求める(ステップS28)。
いま、量子化係数の各値の絶対値の発生確率P[i]は次式で求められる。
P[i] = count[i] / total_count
この発生確率P[i]を用いて、エントロピーEntropyは次式で求められる。
Figure 2009071520

このステップS27及びS28の処理を全てのlevelについて行ったか否かを判断し(ステップS29)、全てのlevelについて処理するまで繰り返し、全てのlevelについて処理した場合には(ステップS29をYesに分岐)、符号量の予測値Estimated_Bitsを次式により求める(ステップS30)。
Estimated_Bits=Entropy*tatal_count+sign_bits
ここで、符号ビットsign_bitsは非ゼロ係数の発生回数をnon_zero_countとすると、
sign_bits=non_zero_count
となる。
ここで、アクティビティに対応させるためには、上記の図3の基本処理を図4のフローチャートに示される処理に置き換える必要がある。
先ず、量子化係数の各値の絶対値の発生回数をカウントする際に、level毎に加えてアクティビティグループ(activity group)毎にカウントする(ステップS41)。
つまり、カウント値Count[each_activity_group][each_level]を数える。
次に、ピクチャの基本量子化パラメータBase QP毎の発生符号量の予測値を求める処理を行う。この処理は量子化パラメータQP毎に行う。まず、各アクティビティグループの量子化パラメータQPを求める(ステップS42)。続いて、変数levelをイニシャライズ(level=0)した後(ステップS43)、levelが、発生符号量を求める量子化パラメータQPで量子化したとき、いくつになるかを求め(ステップS44)、levelの発生回数を、求める量子化パラメータQPでのlevelのカウントに加算し(ステップS45)、変数levelをインクリメントし(ステップS46)、全てのlevelを処理したか否かを判断する(ステップS47)。全てのlevelを処理していないと判断した場合(ステップS47をNoに分岐)、上記ステップS43に戻り、上記処理を繰り返し、全てのlevelを処理したと判断した場合には(ステップS47をYesに分岐)、ステップS48に進む。
以上のステップでは、各アクティビティグループ毎に、発生符号量を求める量子化パラメータQPでの量子化係数の各値の絶対値の発生回数を、最小の量子化パラメータQPでの量子化係数の各値の絶対値の発生回数から求めることになる。
ステップS48では、全てのアクティビティグループを処理したか否かを判断し、全てのアクティビティグループを処理していない場合(ステップS48をNoに分岐)、上記ステップS42に戻り、上記処理を繰り返し、全てのアクティビティグループについて処理を終了すると(ステップS48をYesに分岐)、求めた発生回数からエントロピーを求め、符号量の予測値を求める(ステップS49乃至S53)。
このステップS49乃至S53の処理は、図3のステップS27乃至S31と同様であるので、重複した説明は省略する。
また、更に量子化行列Q Matrixに対応させるためには、上記の図3の基本処理を図5のフローチャートに示される処理に置き換える必要がある。
まず、量子化係数の各値の絶対値の発生回数をカウントする際に、level毎、アクティビティグループ毎に加えて、DCT Block内の位置毎にカウントする(ステップS61)。
つまり、Count [each_activity_group][each_position][each_level]を数える。
次に、ピクチャの基本量子化パラメータBase QP毎の発生符号量の予測値を求める処理を行う。この処理は量子化パラメータQP毎の処理である。ここで追加される処理は、最小の量子化パラメータQPで量子化した時の値が、発生符号量を求める量子化パラメータQPでいくつになるかを求める時に、量子化行列Q Matrixの各要素をDCT Block内の位置毎に考慮に入れて計算することである(ステップS64)。つまり、DCT後の係数は、量子化パラメータQPと量子化行列Q Matrixの要素をかけたもので量子化されると言う事である。次に、DCT Block内の位置毎に、発生符号量を求める量子化パラメータQPでの量子化係数の各値の絶対値の発生回数を、最小の量子化パラメータQPでの量子化係数の各値の絶対値の発生回数から求める(ステップS65)。
これらを全てのlevelを処理するまで繰り返し(ステップS63乃至S67)、更にはDCT Block内の全ての位置(position)について処理するまで繰り返す(ステップS63乃至S68)。これ以降の処理(ステップS69乃至S74)は、図4のステップS48乃至S53と同様であるので、重複した説明は省略する。
さて、図2の説明に戻り、続いて量子化パラメータ決定処理に入る。即ち、上記処理で量子化パラメータQPに対する予測符号量が求められたので、その中で、目標符号量に最も近い量子化パラメータQPを選択することになる(ステップS5)。
なお、適応的な量子化行列Q Matrixの切り替え処理を行う場合には、ステップS5の処理を次のように変更すればよい。即ち、その場合、フラット(Flat)な量子化行列Q Matrix(Q Matrixを使わないのと同じ事)を使った時の量子化パラメータQPに対する予測符号量を求め、その中で目標符号量に最も近い量子化パラメータQPを選択する。
この求めた量子化パラメータQPの値から使用する量子化行列Q Matrixを選択する(ステップS6)。より詳細には、切り替えて使う種類の数をNumOfQMatrixIdとするとQMatrixTheshold[0]〜QMatrixTheshold[NumOfQMatrixId-2]と量子化パラメータQPとを比較することにより、量子化行列Q Matrixを決定する。そして、使用する量子化行列Q Matrixを使った時の、量子化パラメータQPに対する予測符号量を求め、その中で、目標符号量に最も近い量子化パラメータQPを選択する(ステップS7)。これが、第1のプレエンコード部1で決定されたピクチャの基本量子化パラメータBase QPとなる。
続いて、第2のプレエンコード部2が、第1のプレエンコード部1による第1のプレエンコードにより決定されたピクチャの基本量子化パラメータBase QP、量子化行列Q Matrix、アクティビティグループActivity Groupを用いて、第2のプレエンコードを行う(ステップS8)。この第2のプレエンコード処理の目的は、第1のプレエンコードにより大まかに見積もった量子化パラメータQPで実際にエンコードすることにより、予測の誤差を求め、それを補正することである。エンコード終了後、発生符号量を得る。
次に、この第2のプレエンコード部2による第2のプレエンコードで得た発生符号量と目標符号量との違いから、量子化パラメータQPを補正する(ステップS9)。即ち、量子化パラメータQPが1変わる毎に、発生符号量がDiffRatio %変わるものと仮定し、量子化パラメータQPを補正する。補正量が小さいので、絵柄によらず量子化パラメータQP対発生符号量の変化を一定としても、誤差は問題ないレベルにあるとみなす。
ここで、図6のフローチャートを参照して、発生符号量が目標符号量より少ない、且つ量子化パラメータQPが最小値ではないときの符号量補正処理を説明する。
尚、発生符号量が目標符号量より多い場合についても、基本的に同じである。
さて、この処理に入ると、発生符号量をPreGenbitsとし、現在の量子化パラメータQPをPreQPとする(ステップS81)。続いて、PreQPより1引いた値をNextQPとし(ステップS82)、PreGenbits*(100+DiffRatio)/100をNextQPに対応する発生符号量NextGenbitsとする(ステップS83)。ここでは、量子化パラメータQPが1小さくなる毎に、発生符号量がDiffRatio %だけ小さくなるものと仮定している。
続いて、発生符号量NextGenbitsが目標符号量TargetGenbitよりも大きいか否かを判定する(ステップS84)。ここで、NextGenbits>TargetGenbitでない場合には、NextQPをPreQP、NextGenBitsをPreGenbitsに戻し(ステップS85)、NextQPが最小の量子化パラメータQPであるか否かを判定する(ステップS86)。
ここで、NextQPが最小の量子化パラメータQPでない場合にはステップS82に戻り上記処理を繰り返す。一方、NextQPが最小の量子化パラメータQPである場合には、NextQP量子化パラメータQPとし、処理を終了する。一方、NextGenbits>TargetGenbitである場合には(NextGenbits-TargetGenbit)>(TargetGenbit-PreGenBits)であるか否かを判断する(ステップs88)。この関係が成立する場合にはPreQPをQPとし、この関係が成立しない場合にはNextQPをQPとし、処理を終了する。
再び図2の説明に戻り、第3のエンコード部3により本エンコードを行う(ステップS10)。この本エンコードでは、第2のプレエンコード部2による第2のプレエンコードにより決定されたピクチャの基本量子化パラメータBase QP、第1のプレエンコードにより決定された量子化行列Q Matrix、アクティビティグループActivity Groupを使用してエンコードを行う。こうして、画像情報の符号化に係る一連の処理を終了する。
以上説明したように、本発明の第1の実施の形態によれば、1ピクチャに与えられた目標符号量に、画面内フィードバック(Feed Back)制御を行わずに発生符号量を合わせ込むことが可能になる。これにより、フィードバックパラメータの不適切な初期値による弊害や、不適切な目標符号量配分など、フィードバック制御の問題を取り除くことが可能になる。結果として、目標符合量に発生符号量を一致させ、視覚特性を考慮した符号量配分、つまり量子化パラメータの決定が可能となる。
(第2の実施の形態)
次に、本発明の第2の実施の形態について説明する。
この第2の実施の形態に係る画像符号化装置では、MPEG4 AVCなどに代表されるDCT等の直交座標変換を用いた画像圧縮符号化方式を採用しつつ、該DCT後の係数分布から離散的な分布状態を検出するために、以下に示すような特徴を有している。
即ち、第2の実施の形態では、前回符号化時のピクチャ内の平均の量子化パラメータQPと量子化行列Q Matrixを判定し、前回符号化された画像と判定した場合、入力を入力画像データとしローカルデコード画像は使用しないようにすることでバックサーチの検出精度を向上する。平均の量子化パラメータQPと量子化行列Q Matrixの見つからない状態を前回符号化されていない原画像とみなし、原画像であるか、前回符号化された画像であるかを判定する。さらに、原画像と見なした場合で、ピクチャ内の平均の量子化パラメータQPの予測値が大きすぎる場合に、入力段のローパスフィルタを使用して主観画質を改善するための判定条件とする。そして、前回符号化された画像と判定した場合、量子化行列Q Matrixと平均の量子化パラメータQPをバックサーチ部に設定し、該バックサーチ処理のサーチ範囲を限定し回路規模を削減する。以上に加えて、Long GOPの符号化を行った信号を入力するとき、イントラ(Intra)ピクチャの判定に利用する。
以下、これら特徴をふまえて、第2の実施の形態について詳述する。
図7には、本発明の第2の実施の形態に係る画像情報符号化装置の構成を示し説明する。同図に示されるように、画像情報符号化装置は、第1のプレエンコードを行う第1のプレエンコード部100、第2のプレエンコードを行う第2のプレエンコード部200、本エンコードを行うエンコード部300、符号量制御部109、ローパスフィルタ処理部201、ディレイバッファ202、マクロブロック決定部212を有する。
より詳細には、第1のプレエンコード部100は、さらにアクティビティ決定部101、画面内予測モード決定部102、画面内予測処理部103、DCT部104、量子化部105、レベル係数部106、エントロピー計算部107、Q Matrix・Base QP検出部108からなる。第2のプレエンコード部200は、入力画入れ替え処理部203、画面内予測処理部204、DCT部205、量子化部206、逆量子化部207、IDCT部208、バッファ209、バックサーチ部210、符号長計算部211からなる。そして、エンコード部3は、画面内予測処理部302、DCT部303、量子化部304、逆量子化部305、IDCT部306、バッファ307、符号化部308からなる。
このような構成において、入力画像データは、最初に画面内予測モード決定102に入り、画面内予測モードが決定される。ここで決定されたモードは、第2のプレエンコード部200やエンコード部300でも使用される。
次に、画面内予測処理部103では、予測画像データと入力画像データとの差分が計算される。この予測画像データは、入力画像データから作られる。予測画像データに入力画像データを使用することで、Q Matrix/Base QP検出部108による量子化行列Q Matrixや基本量子化パラメータBase QPの検出率を改善できるほか、第2のプレエンコード部200にあるような、逆量子化、IDCTの処理部を削減できる。
次いで、DCT部104による離散コサイン変換等が行われ、量子化部105による量子化が行われる。その出力は、レベル計数部106を経て、エントロピー計算部107に入り、エントロピーを計算することにより、全ての量子化パラメータQPにおける符号量が予測される。目標とする、量子化パラメータQP近傍の値と、レベル係数部106のレベル計数結果は、Q Matrix /Base QP検出部108に入力される。このQ Matrix /Base QP検出部108では、入力が前回符号化が行われていない原画像に係るものか否かを検出すると同時に、量子化行列Q Matrixと基本量子化パラメータBase QPを割り出す。
一方、入力画像はアクティビティ決定部101にも入力され、アクティビティが計算され、このアクティビティによりマクロブロックMBをグループ分けする。各MBに対して決定されたアクティビティグループ(Activity Group)番号は、レベル計数部106とピクチャのパラメータと符号量制御部109に入力される。
ピクチャのパラメータと符号量制御部109は、Q Matrix/Base QP検出部108でオリジナル画像と検出された場合、第1のプレエンコード部100により求まったピクチャのBase QP、量子化行列Q Matrix、各MBのアクティビティグループ(Activity Group)から、量子化の情報(量子化行列Q Matrix、各MBの量子化パラメータQP)を第2のプレコーダ部200に渡し、エンコードを行う。このエンコード終了後、発生符号量を得る。そして、ピクチャのパラメータと符号量制御部109は、得られた発生符号量から、ピクチャの基本量子化パラメータBase QPを補正することになる。
また、ピクチャの基本量子化パラメータBase QPが非常に大きくなり、歪が目立つような場合は、入力画切り替え処理部203において、ローパスフィルタ処理部201を使用するようにし視覚的な歪を軽減し、バックサーチ処理部210はバイパスする。
Q Matrix/Base QP検出部108において量子化行列Q Matrixと基本量子化パラメータBase QPが検出された場合は、第2のプレエンコード部200では、その入力画切り替え処理203において、バッファ209からのローカルデコード画像を使用せず、ディレイバッファ202からの入力画像を使用するようにすることで、バックサーチ部210のバックサーチ処理において検出効率を改善するようにする。
第2のプレエンコード部200では、バックサーチの働く場合には マクロブロック単位の歪最小の量子化パラメータQPを割り出して、マクロブロック決定部212で符号量の制御を行える範囲でバックサーチ結果の使用有無を判断する。
エンコード部300では、第1のプレエンコード部100で求めた画面内(Intra)予測モード、ピクチャのパラメータ符号量制御部109で決定した量子化行列Q Matrixと基本量子化パラメータBase QP、マクロブロック決定部212で求めた、マクロブロックMBの量子化パラメータQPのオフセットを用いた、パラメータエンコードを行う。
以下、図8のフローチャートを参照して、本発明の第2の実施の形態に係る画像情報符号化装置による符号化に係る一連の処理を更に詳細に説明する。
ここでは、第1の実施の形態(図2)と異なる点を中心に説明する。
ステップS101乃至S107は図2のステップS1乃至S7と同じであるが、ステップS108では、前回符号化時の量子化パラメータQPと量子化行列Q Matrixをサーチし補正する(ステップS108)。
ここでは、処理の基本情報として量子化係数各値の絶対値の発生回数をカウントしたCount [each_activity_group][each_position][each_level]の分布データを使用する。
図12には、原画像を入力した場合のeach_activity_group=0、each_position=5のときの分布状態実測値を示し、図13には、前回QP=20で符号化した画像を入力した場合のeach_activity_group=0、each_position=5のときの分布状態実測値を示す。各横軸は量子化パラメータQP、縦軸は量子化係数各値の絶対値の発生回数のカウント値である。
一般に、H.264 AVCの符号化方式では、IDCTの演算精度が十分でない、Intra予測モードが100%再現されない、等の非線形な歪要因により、量子化による離散状態に広がりが見られるものの、離散状態を検出することは可能である。1画面分のデータは統計的に十分過ぎる情報であるため、本件では演算量を削減する目的で、量子化パラメータQP近傍の分布、即ち量子化後の計数レベルが1であるものの剰余が最小となる、量子化パラメータQPと量子化行列Q Matrixを求める。尚、隣接する量子化レベルを示す分布のデータは除外する必要がある為、QP/2〜3QP/2の範囲のデータを評価対象とする。
以下、図9のフローチャートを参照して、ステップS108の前回符号化時の量子化パラメータQPと量子化行列Q Matrixのサーチ処理について更に説明する。
先ず、量子化パラメータQPの量子化レベルを示すピークレベル(t[0])、QP/2のレベルを示すボトムレベル1(t[1])と3QP/2のレベルを示すボトムレベル2(t[2])を次式により決定する(ステップS121)。
qp = sch_qp + AdaptQpDelta[activity_group]
ここで、sch_qpは符号量予測処理で求めた量子化パラメータQPの近傍±6程度で変化する変数である。
t[0] = (((Q_Matrix[mid][pos]*2(qp/6))/16
t[1] = t[0]/2
t[2] = t[0] + t[1]
ここで、Q_Matrix[mid][pos]*は4x4DCTブロックの mid種類目の pos番目のQ Matrixの値を示す。
次に、ピークレベルのカウント値の積算(p[mid][qp])、 ボトムレベル1のカウント値の積算(b[mid][qp])を処理する(ステップS122)。
p[mid][qp] += Count[activity_group][pos][t[0]]
b[mid][qp] += Count[activity_group][pos][t[1]];
そして、QPの量子化レベルの誤差(rest[mid][qp])を積算する(ステップS123)。
rest[mid][qp] += abs(t[0] - lev)* Count [activity_group][pos][lev];
ここで、levは ボトムレベルt[1]からt[2]まで変化する変数である。p[mid][qp]、b[mid][qp]、rest[mid][qp]は、全てのactivity_group、量子化AC係数posで積算することで、全てのサンプルの平均分布を表すパラメータをあらわす。
こうして、ボトムレベル間を全て処理したか否かを判定し(ステップS124)、全て処理するまでステップS123の処理を繰り返し、全て処理すると全てのDCT AC係数を処理したか否かを判定する(ステップS125)。
このステップS125にて、全て処理するまでステップS121乃至S125の処理を繰り返し、全て処理すると、DCT AC係数ポインタを初期化し(ステップS126)、全てのアクティビティグループを処理したか否かを判定する(ステップS127)。ここで全てのアクティビティグループを処理していなければステップS121に戻り上記処理を繰り返す。一方、全てのアクティビティグループを処理していれば、全てのサーチしたい量子化パラメータQPについて処理したか否かを判定する(ステップS128)。
このステップS128にて、全てのサーチしたい量子化パラメータQPについて処理していなければ上記ステップS121に戻り、上記処理を繰り返し、一方、全てのサーチしたい量子化パラメータQPについて処理していれば、判定処理を行い(ステップS129)、こうして一連の処理を終了することになる。
次に、図10のフローチャートを参照して、図9のステップS129の判定処理について更に詳細に説明する。
ここでは、p[mid][qp]、b[mid][qp]、rest[mid][qp]を用いて前回符号化した場合の量子化行列Q Matrixとピクチャの量子化パラメータQPを求める。尚、ステップS131及びステップS137は省略することもできる。
先ず、誤差最小値(min_rest_norm)をrest[0][0]などで初期化する(ステップS131)。次いで、ピーク値の積算値はボトム積算値よりも大きいか否かを判断する(ステップS132)。ここで、ピーク値積算値がボトム値積算値よりも大きくなければ、ステップS136に移行する。一方、ピーク値積算値がボトム値積算値よりも大きければ、ピークレベルとボトムレベルの差で正規化したrest_normを求める(ステップS133)。
rest_norm = rest[mid][qp]/(p[mid][qp] - b[mid][qp])
続いて、誤差最小値より小さいか否かを判定し(ステップS134)、誤差最小値より小さければ誤差最小値を更新し(ステップS135)、ステップS136に進む。
ステップS135は、離散的な分布状態を検出した場合のみ実行される処理であってmin_rest_norm=rest_normとする。また、全ての量子化行列Q Matrix及びサーチしたい量子化パラメータQP(sch_qp)のうちで、rest_normが最小となる場合のsch_qpとmidで示されたQ Matrixが前回の符号化で使用されたピクチャの量子化パラメータQPと量子化行列Q Matrixを示す。この処理が一度も呼ばれない場合、量子化の離散状態が検出されなかった場合で、前回1度も符号化していない原画像と見なすことができる。
続いて、全てのサーチしたい量子化パラメータQPを処理したか否かを判定し(ステップS136)、全てのサーチしたい量子化パラメータQPを処理していなければステップS132に戻り、上記処理を繰り返す。一方、全てのサーチしたい量子化パラメータQPを処理していれば、量子化パラメータQPのサーチ範囲を初期化し(ステップS137)、全ての量子化行列Q Matrixの候補を処理したか否かを判断する(ステップS138)。ここで、全ての候補を処理していなければステップS132に戻り、上記処理を繰り返し、一方で全ての候補を処理していれば、一例の処理を終了する。
次に、図11のフローチャートを参照して、入力画切り替え処理について詳細に説明する。前述した図10の処理により、入力信号が原画像であるか、前回符号化した画像であるかを検出できるため、この条件に基づいて、入力信号を切り替えることで、歪の目立ちやすい原画像に対してはローパスフィルタ処理を施し、符号化した画像である場合は、入力ビデオ信号を使い、バックサーチをすることで効率を改善するものである。
すなわち、前回符号化時の量子化行列Q Matrixとピクチャの量子化パラメータQPが見つかったか否かを判断し(ステップS141)、それらが見つかった場合には、バックサーチ部212を使用し(ステップS142)、入力画切り替え処理部203は入力画像を出力する(ステップS143)。一方、ステップS141で、前回符号化時の量子化行列Q Matrixとピクチャの量子化パラメータQPが見つからなかった場合には、バックサーチ部212を使用せず(ステップS144)、符号量予測処理で求めた予測QPが大きいか否かを判断する(ステップS145)。ここで、符号量予測処理で求めた予測量子化パラメータQPが大きい場合には入力画切り替え処理部203はローパスフィルタ処理部201からの信号を出力し、大きくない場合には入力画切り替え処理部203はバッファ209のローカルデコードを出力し(ステップS147)、この処理を終了する。
以上説明したように、本発明の第2の実施の形態によれば、DCT後の離散的な分布状態から、高い精度で、前回符号化した信号か否かを見極めることで、1st時のみに使用したいプレフィルタ処理を切り替える判定することができるため、1st画像の主観画質を改善しつつ、ダビング特性を維持することができる。また、前回符号化した信号である場合は、予測画像に入力画像を使用することで、バックサーチの検出効率を改善する。分布状態から割り出したピクチャ(スライス)の平均量子化パラメータQPと量子化行列Q Matrixを割り出し、バックサーチ部の演算を削減することが出来る。
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
例えば、前述した画像符号化装置及び方法の機能をコンピュータがプログラムにより実現し、或いは該プログラムを記録した記録媒体として実現することも可能である。
本発明の第1の実施の形態に係る画像符号化装置の構成図。 本発明の第1の実施の形態に係る画像符号化装置による符号化に係る一連の処理を更に詳細に説明するフローチャート。 符号量予測処理の詳細を説明するフローチャート。 アクティビティ対応の符号量予測処理の詳細を説明するフローチャート。 量子化行列対応の符号量予測処理の詳細を説明するフローチャート。 発生符号量が目標符号量より少ない、且つ量子化パラメータQPが最小値ではないときの符号量補正処理を説明するフローチャート。 本発明の第2の実施の形態に係る画像符号化装置の構成図。 本発明の第2の実施の形態に係る画像符号化装置による符号化に係る一連の処理を更に詳細に説明するフローチャート。 図8のステップS108の前回符号化時のQPとQ Matrixのサーチ処理について更に説明するフローチャート。 図9のステップS129の判定処理を説明するフローチャート。 入力画切り替え処理について詳細に説明するフローチャート。 原画像を入力した場合のeach_activity_group=0、each_position=5のときの分布状態実測値を示す図。 前回QP=20で符号化した画像を入力した場合のeach_activity_group=0、each_position=5のときの分布状態実測値を示す図。
符号の説明
1…第1のプレエンコード部、2…第2のプレエンコード部、3…エンコード部、4…符号量制御部、5…ディレイバッファ、6…ディレイバッファ、11…画面内予測モード決定部、12…画面内予測処理部、13…DCT部、14…量子化部、15…エントロピー計算部、16…アクティビティ計算部、21…画面内予測処理部、22…DCT部、23…量子化部、24…エントロピー符号長計算部、25…バッファ、26…IDCT部、27…逆量子化部、31…画面内予測処理部、32…DCT部、33…量子化部、34…エントロピー符号化部、35…バッファ、36…IDCT部、37…逆量子化部、100…第1のプレエンコード部、101…アクティビティ決定部、102…画面内予測モード決定部、103…画面内予測処理部、104…DCT部、105…量子化部、106…レベル係数部、107…エントロピー計算部、108…Q Matrix/Base QP検出部、109…ピクチャーのパラメータと符号量制御部、200…第2のプレエンコード部、201…ローパスフィルタ処理部、202…ディレイバッファ、203…入力画切り替え処理部、204…画面内予測処理部、205…DCT部、206…量子化部、207…逆量子化部、208…IDCT部、209…バッファ、210…バックサーチ部、211…符号長計算部、212…マクロブロック決定部、300…エンコード部、301…ディレイバッファ、302…画面内予測処理部、303…DCT部、304…量子化部、305…逆量子化部、306…IDCT部、307…バッファ、308…符号化部

Claims (8)

  1. 画像データを符号化する画像符号化装置において、
    目標符号量を算出する際の量子化パラメータと量子化行列を予測する第1の符号化手段と、
    上記第1の符号化手段で求めた量子化パラメータと量子化行列を用いて符号化を行い、発生符号量を得て、上記目標発生量との誤差から該量子化パラメータを補正する第2の符号化手段と、
    上記第2の符号化手段により補正された量子化パラメータを用いて、上記画像データを符号化する第3の符号化手段とを備えた
    ことを特徴とする画像符号化装置。
  2. 上記第1の符号化手段は、離散余弦変換、量子化後のレベルのエントロピーを計算することにより、発生符号量を算定し、該発生符号量に基づいて目標符号量を実現する量子化パラメータを予測する
    ことを特徴とする請求項1に記載の画像符号化装置。
  3. 上記第1の符号化手段は、量子化を使用する量子化パラメータの中で最小の値を用いて行い、該値の発生回数をカウントし、最小の量子化パラメータに係る該発生回数から各量子化パラメータにおける発生回数を求め、該発生回数の値から各量子化パラメータでのエントロピーを計算する
    ことを特徴とする請求項2に記載の画像符号化装置。
  4. 上記第1の符号化手段は、計算されたエントロピーから各量子化パラメータに対する予測発生符号量を求め、該予測発生符号量に基づいて目標符号量を実現するための量子化パラメータを求める
    ことを特徴とする請求項3に記載の画像符号化装置。
  5. 上記第1の符号化手段は、上記エントロピーの計算を、量子化行列を使用した場合に適用するため、離散余弦変換ブロックの位置毎に発生回数のカウントを行う
    ことを特徴とする請求項3に記載の画像符号化装置。
  6. 上記画像データに基づいてアクティビティを決定するアクティビティ決定手段を更に備え、上記第1の符号化手段は、上記のエントロピーの計算を適応量子化に対応させるために、上記アクティビティ決定手段により決定されたアクティビティによりマクロブロックをグループ分けし、該グループ毎に発生回数のカウントを行う
    ことを特徴とする請求項3に記載の画像符号化装置。
  7. 上記第1の符号化手段は、上記第1の符号化手段により決定された量子化行列がフラットでないときは、該量子化行列を使ったときの量子化パラメータを再度算定する
    ことを特徴とする請求項1に記載の画像符号化装置。
  8. 画像データを符号化する画像符号化方法において、
    目標符号量を算出する際の量子化パラメータと量子化行列を予測する第1のステップと、
    上記第1のステップで求めた量子化パラメータと量子化行列を用いて符号化を行い、発生符号量を得て、上記目標発生量との誤差から該量子化パラメータを補正する第2のステップと、
    上記第2のステップにより補正された量子化パラメータを用いて、上記画像データを符号化する第3のステップとを備えた
    ことを特徴とする画像符号化方法。
JP2007236946A 2007-09-12 2007-09-12 画像符号化装置、画像符号化方法 Expired - Fee Related JP4569840B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007236946A JP4569840B2 (ja) 2007-09-12 2007-09-12 画像符号化装置、画像符号化方法
EP20080252818 EP2061253A3 (en) 2007-09-12 2008-08-26 Image coding apparatus and method
TW97134195A TW200931983A (en) 2007-09-12 2008-09-05 Image coding apparatus and image coding method
US12/207,611 US8509556B2 (en) 2007-09-12 2008-09-10 Image coding apparatus and image coding method to generate a targeted amount of code
KR20080089662A KR20090027590A (ko) 2007-09-12 2008-09-11 화상 부호화 장치 및 화상 부호화 방법
CN200810212084XA CN101389026B (zh) 2007-09-12 2008-09-12 图像编码设备和图像编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007236946A JP4569840B2 (ja) 2007-09-12 2007-09-12 画像符号化装置、画像符号化方法

Publications (2)

Publication Number Publication Date
JP2009071520A true JP2009071520A (ja) 2009-04-02
JP4569840B2 JP4569840B2 (ja) 2010-10-27

Family

ID=40431889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007236946A Expired - Fee Related JP4569840B2 (ja) 2007-09-12 2007-09-12 画像符号化装置、画像符号化方法

Country Status (6)

Country Link
US (1) US8509556B2 (ja)
EP (1) EP2061253A3 (ja)
JP (1) JP4569840B2 (ja)
KR (1) KR20090027590A (ja)
CN (1) CN101389026B (ja)
TW (1) TW200931983A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252083A (ja) * 2009-04-16 2010-11-04 Sony Corp 画像符号化装置と画像符号化方法
JP2011029955A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置および画像符号化方法
JP2011029956A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置および画像符号化方法
JP2011172137A (ja) * 2010-02-22 2011-09-01 Sony Corp 符号化装置、符号化方法、およびプログラム
WO2018143289A1 (ja) * 2017-02-02 2018-08-09 シャープ株式会社 画像符号化装置及び画像復号装置
CN112655189A (zh) * 2020-05-25 2021-04-13 深圳市大疆创新科技有限公司 传输数据的方法、装置、发送端和接收端
US11991375B2 (en) 2019-03-26 2024-05-21 Nec Corporation Moving image encoding device, moving image compression device, moving image encoding method, and program

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
CN101779469A (zh) * 2008-06-27 2010-07-14 索尼公司 图像处理装置和图像处理方法
JPWO2009157580A1 (ja) * 2008-06-27 2011-12-15 ソニー株式会社 画像処理装置及び画像処理方法
CN101779468B (zh) * 2008-06-27 2012-07-04 索尼公司 图像处理装置和图像处理方法
RU2479935C2 (ru) * 2008-06-27 2013-04-20 Сони Корпорейшн Устройство для обработки изображения и способ обработки изображения
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP2010288166A (ja) * 2009-06-15 2010-12-24 Panasonic Corp 動画像符号化装置、放送波記録装置及び、プログラム
JP5282692B2 (ja) * 2009-07-27 2013-09-04 ソニー株式会社 画像符号化装置と画像符号化方法
WO2012008514A1 (ja) 2010-07-15 2012-01-19 シャープ株式会社 画像のイントラ予測モード推定装置、画像符号化装置、画像復号装置、及び画像の符号化データ
US8990435B2 (en) 2011-01-17 2015-03-24 Mediatek Inc. Method and apparatus for accessing data of multi-tile encoded picture stored in buffering apparatus
US9497466B2 (en) 2011-01-17 2016-11-15 Mediatek Inc. Buffering apparatus for buffering multi-partition video/image bitstream and related method thereof
US8922584B2 (en) * 2011-09-30 2014-12-30 Frederic Sigal Method of creating, displaying, and interfacing an infinite navigable media wall
CN103828370B (zh) 2011-10-31 2017-11-03 联发科技股份有限公司 缓冲装置、缓冲方法以及熵解码器
CN107396117B (zh) * 2012-01-30 2020-07-03 三星电子株式会社 视频编码和解码方法及非暂时性计算机可读存储介质
JPWO2013154028A1 (ja) * 2012-04-13 2015-12-17 ソニー株式会社 画像処理装置および方法
PT2840791T (pt) 2012-04-16 2018-04-16 Electronics & Telecommunications Res Inst Método e dispositivo para codificação/descodificação de imagem
JP5943733B2 (ja) * 2012-06-20 2016-07-05 キヤノン株式会社 画像符号化装置およびその制御方法ならびにプログラム
CN102761742B (zh) * 2012-07-03 2017-06-06 华为技术有限公司 变换块划分方法,变换块划分参数的编码方法及解码方法
JP6197496B2 (ja) * 2013-08-30 2017-09-20 富士通株式会社 量子化装置、量子化方法および量子化プログラム
US10182244B2 (en) * 2016-03-02 2019-01-15 MatrixView, Inc. Fast encoding loss metric
JP2019050451A (ja) * 2017-09-07 2019-03-28 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム及び画像処理システム
US11259035B2 (en) * 2019-03-15 2022-02-22 Ati Technologies Ulc Macroblock coding type prediction
GB2619640A (en) * 2019-07-05 2023-12-13 V Nova Int Ltd Quantization of residuals in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123273A (ja) * 1993-10-26 1995-05-12 Fuji Xerox Co Ltd 画像符号化装置
JPH07322252A (ja) * 1994-05-23 1995-12-08 Canon Inc 画像符号化装置
JPH1198502A (ja) * 1997-09-25 1999-04-09 Toshiba Corp 動画像符号化装置

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4791483A (en) 1987-11-20 1988-12-13 The Grass Valley Group, Inc. Adaptive differential pulse code modulation video encoder
JP3085465B2 (ja) * 1989-10-31 2000-09-11 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
JPH04114585A (ja) 1990-09-04 1992-04-15 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JP2908550B2 (ja) 1990-09-28 1999-06-21 株式会社東芝 養液栽培装置
DE69132063T2 (de) 1990-12-28 2000-09-14 Canon Kk Bildcodierung mit Optimierung der erzeugten Codemenge
DE69232123T2 (de) 1991-02-07 2002-05-02 Canon Kk Bildkodieranlage
EP0741497B1 (en) 1991-02-21 1999-11-03 Nec Corporation Motion image data compression coding apparatus
EP1006731B1 (en) 1993-03-29 2007-06-13 Canon Kabushiki Kaisha Code amount control method and encoding apparatus for carrying it out
US5703646A (en) 1993-04-09 1997-12-30 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
CN1089527C (zh) 1993-04-09 2002-08-21 索尼公司 图像编码方法、图像编码装置及图像记录载体
JP3358620B2 (ja) 1993-04-09 2002-12-24 ソニー株式会社 画像符号化方法及び画像符号化装置
JP3264043B2 (ja) 1993-04-30 2002-03-11 ソニー株式会社 量子化コントロール装置および方法
JP2968666B2 (ja) 1993-06-10 1999-10-25 日本電気株式会社 画像符号化方法および装置
EP0671816B1 (en) 1993-09-28 2000-03-29 Sony Corporation Encoding/decoding device with all odd or all even value rounding
JP3561962B2 (ja) 1994-07-25 2004-09-08 ソニー株式会社 量子化コントロール装置および方法
JP2882287B2 (ja) 1994-08-22 1999-04-12 日本電気株式会社 動画像符号化装置
JPH08115205A (ja) 1994-10-14 1996-05-07 Matsushita Electric Ind Co Ltd 高速剰余演算装置
KR100381830B1 (ko) 1995-03-09 2003-08-02 소니 가부시끼 가이샤 화상신호의부호화방법및그장치
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
JPH09247675A (ja) 1996-03-13 1997-09-19 Fuji Film Micro Device Kk 画像圧縮方法および画像圧縮システム
US6100931A (en) 1996-03-19 2000-08-08 Sony Corporation Method and apparatus for controlling a target amount of code and for compressing video data
JPH1023413A (ja) 1996-07-03 1998-01-23 Fuji Xerox Co Ltd 符号化装置
US6337879B1 (en) 1996-08-14 2002-01-08 Sony Corporation Video data compression apparatus and method of same
JP3864461B2 (ja) 1996-08-30 2006-12-27 ソニー株式会社 映像データ圧縮装置およびその方法
US6014467A (en) 1996-09-18 2000-01-11 Fuji Photo Film Co., Ltd. High speed, high precision image compression
JP4114210B2 (ja) 1996-12-12 2008-07-09 ソニー株式会社 映像データ圧縮装置およびその方法
KR100599017B1 (ko) 1996-12-12 2006-12-13 소니 가부시끼 가이샤 영상 데이터 압축 장치 및 그 방법
JP3432392B2 (ja) 1997-04-07 2003-08-04 三菱電機株式会社 画像符号化装置、画像符号化方法および画像蓄積/伝送装置
JP3978810B2 (ja) 1997-05-28 2007-09-19 ソニー株式会社 符号化方法およびこれを使用した符号化装置
JPH10336654A (ja) 1997-06-02 1998-12-18 Nec Corp 画像符号化装置
KR100610520B1 (ko) 1997-07-08 2006-08-09 소니 가부시끼 가이샤 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체
JP4361613B2 (ja) 1997-07-29 2009-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 可変ビットレートビデオ符号化方法及び対応するビデオ符号化装置
JP2000261805A (ja) 1999-03-10 2000-09-22 Fuji Film Microdevices Co Ltd 画像圧縮システム
JP3324551B2 (ja) 1999-03-18 2002-09-17 日本電気株式会社 画像信号の符号化制御装置
US7082163B2 (en) * 2000-11-20 2006-07-25 Matsushita Electric Industrial Co., Ltd. Picture coding method, picture coding apparatus and image relaying apparatus
JP2002359853A (ja) 2001-03-26 2002-12-13 Sony Corp 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
EP1377070A4 (en) 2001-03-28 2010-08-11 Sony Corp QUANTIZATION DEVICE, QUANTIZATION PROCESS, QUANTIZATION PROGRAM AND RECORDING MEDIUM
JP2003032677A (ja) 2001-07-18 2003-01-31 Hitachi Ltd 動画像圧縮符号化装置
JP4135427B2 (ja) 2001-08-01 2008-08-20 ソニー株式会社 画像処理装置および方法、ならびに、画像処理プログラム
US6934330B2 (en) 2001-08-01 2005-08-23 Sony Corporation Image processing apparatus
JP4042597B2 (ja) 2002-03-28 2008-02-06 ソニー株式会社 画像符号化装置及び方法、プログラム、記録媒体
JP2004056680A (ja) 2002-07-23 2004-02-19 Ricoh Co Ltd 画像処理装置および画像処理方法
JP4114585B2 (ja) 2002-09-27 2008-07-09 東洋インキ製造株式会社 ガスバリア性積層体の製造方法
JP4045913B2 (ja) * 2002-09-27 2008-02-13 三菱電機株式会社 画像符号化装置、画像符号化方法、および画像処理装置
JP2005203905A (ja) 2004-01-13 2005-07-28 Sony Corp 画像符号化装置、画像符号化方法並びに画像符号化プログラム
US20050259730A1 (en) * 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
JP2006067302A (ja) 2004-08-27 2006-03-09 Toshiba Corp 画像符号化装置、画像符号化方法および画像符号化プログラム
US20060062481A1 (en) * 2004-09-21 2006-03-23 Markus Suvanto Apparatuses, computer program product and method for bit rate control of digital image encoder
JP2006191253A (ja) 2005-01-05 2006-07-20 Matsushita Electric Ind Co Ltd レート変換方法及びレート変換装置
JP2006222555A (ja) 2005-02-08 2006-08-24 Matsushita Electric Ind Co Ltd 符号化装置及び符号化方法
JP2007089035A (ja) 2005-09-26 2007-04-05 Toshiba Corp 動画像符号化方法、装置及びプログラム
JP4828925B2 (ja) 2005-11-30 2011-11-30 パナソニック株式会社 符号化装置
JP4529919B2 (ja) 2006-02-28 2010-08-25 日本ビクター株式会社 適応量子化装置及び適応量子化プログラム
US20070213442A1 (en) 2006-03-07 2007-09-13 Bulpett David A Rubber compositions comprising benzoquinones and the use thereof in golf balls
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
WO2008065814A1 (en) 2006-11-30 2008-06-05 Panasonic Corporation Coder
JP4949462B2 (ja) 2007-03-14 2012-06-06 日本電信電話株式会社 符号量推定方法、装置、そのプログラムおよび記録媒体
JP2008283560A (ja) 2007-05-11 2008-11-20 Canon Inc 画像処理装置およびその方法
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
US8238423B2 (en) 2007-09-12 2012-08-07 Sony Corporation Image processing apparatus and method
US8184711B2 (en) * 2007-09-12 2012-05-22 Sony Corporation Image processing device and image processing method
JP5400876B2 (ja) * 2008-06-16 2014-01-29 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化
JPWO2009157580A1 (ja) * 2008-06-27 2011-12-15 ソニー株式会社 画像処理装置及び画像処理方法
CN101779469A (zh) * 2008-06-27 2010-07-14 索尼公司 图像处理装置和图像处理方法
JP5257215B2 (ja) * 2009-04-16 2013-08-07 ソニー株式会社 画像符号化装置と画像符号化方法
US8411750B2 (en) * 2009-10-30 2013-04-02 Qualcomm Incorporated Global motion parameter estimation using block-based motion vectors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123273A (ja) * 1993-10-26 1995-05-12 Fuji Xerox Co Ltd 画像符号化装置
JPH07322252A (ja) * 1994-05-23 1995-12-08 Canon Inc 画像符号化装置
JPH1198502A (ja) * 1997-09-25 1999-04-09 Toshiba Corp 動画像符号化装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252083A (ja) * 2009-04-16 2010-11-04 Sony Corp 画像符号化装置と画像符号化方法
JP2011029955A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置および画像符号化方法
JP2011029956A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置および画像符号化方法
JP2011172137A (ja) * 2010-02-22 2011-09-01 Sony Corp 符号化装置、符号化方法、およびプログラム
WO2018143289A1 (ja) * 2017-02-02 2018-08-09 シャープ株式会社 画像符号化装置及び画像復号装置
US11991375B2 (en) 2019-03-26 2024-05-21 Nec Corporation Moving image encoding device, moving image compression device, moving image encoding method, and program
CN112655189A (zh) * 2020-05-25 2021-04-13 深圳市大疆创新科技有限公司 传输数据的方法、装置、发送端和接收端

Also Published As

Publication number Publication date
EP2061253A3 (en) 2010-06-09
US20090067738A1 (en) 2009-03-12
TW200931983A (en) 2009-07-16
CN101389026B (zh) 2010-12-22
KR20090027590A (ko) 2009-03-17
JP4569840B2 (ja) 2010-10-27
EP2061253A2 (en) 2009-05-20
CN101389026A (zh) 2009-03-18
US8509556B2 (en) 2013-08-13

Similar Documents

Publication Publication Date Title
JP4569840B2 (ja) 画像符号化装置、画像符号化方法
JP5212373B2 (ja) 画像処理装置及び画像処理方法
RU2502213C2 (ru) Устройство обработки изображений и способ обработки изображений
CN101779468B (zh) 图像处理装置和图像处理方法
US8483494B2 (en) Image encoding device and image encoding method
CN101637026B (zh) 图像处理装置和方法
US7420483B2 (en) Data processing apparatus, data processing method, computer readable medium storing program, and computer data signal
AU2008245277A1 (en) Image encoding and image decoding method and device
JP7015183B2 (ja) 画像符号化装置及びその制御方法及びプログラム
EP1825681A1 (en) Quantizer parameter determination for video encoder rate control
JP2006222555A (ja) 符号化装置及び符号化方法
CN103458239A (zh) 图像处理装置、图像处理方法和程序
JP2002094989A (ja) ビデオ信号符号化装置及びビデオ信号符号化方法
US20110019735A1 (en) Image encoding device and image encoding method
JP4695016B2 (ja) 動画像符号化方法,装置,プログラムおよびその記録媒体
US8755617B2 (en) Image encoding device and image encoding method
WO2005101850A1 (ja) 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ
Wei et al. A new rate-distortion model for video transmission using multiple logarithmic functions
JP5171658B2 (ja) 画像符号化装置
KR100220677B1 (ko) 대역 분할 부호화 시스템의 버퍼 제어 장치
JP2008283595A (ja) 動画像符号化方法、動画像符号化装置、動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3014547B2 (ja) 動画像符号化装置
JP5268666B2 (ja) 画像符号化装置
JP3884410B2 (ja) ディジタル信号符号化の量子化ステップサイズ決定方法およびディジタル信号符号化装置
Macnicol et al. Rate control for MPEG-2 SNR scalability and stream morphing using codeword estimation and overhead modelling

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100728

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4569840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees