JP2011109172A - 映像符号化装置、および、そのデータ処理方法 - Google Patents

映像符号化装置、および、そのデータ処理方法 Download PDF

Info

Publication number
JP2011109172A
JP2011109172A JP2009258957A JP2009258957A JP2011109172A JP 2011109172 A JP2011109172 A JP 2011109172A JP 2009258957 A JP2009258957 A JP 2009258957A JP 2009258957 A JP2009258957 A JP 2009258957A JP 2011109172 A JP2011109172 A JP 2011109172A
Authority
JP
Japan
Prior art keywords
bits
prediction
prediction error
video encoding
reducing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009258957A
Other languages
English (en)
Inventor
Nobuhiro Chihara
信博 知原
Masatoshi Kondo
雅俊 近藤
Muneaki Yamaguchi
宗明 山口
Masanari Hamamoto
真生 濱本
Masanobu Tsunoda
賢伸 津野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2009258957A priority Critical patent/JP2011109172A/ja
Priority to US12/944,282 priority patent/US20110110424A1/en
Publication of JP2011109172A publication Critical patent/JP2011109172A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【課題】予測手法を用いて、予測誤差を評価する映像符号化装置において、予測誤差の情報精度をそれほど損なうことなく、予測誤差のビット幅を削減する。
【解決手段】映像符号化装置は、予測画像を用いて符号化する映像符号化部と映像符号化部で用いる予測の予測モードを選択する符号化制御装置からなり、映像符号化部は、予測モード選択の制御のために予測モード毎に、符号化制御装置に入力される予測誤差に対して、上位ビットのクリッピングと、下位ビットの削減とをおこない、予測誤差のビット幅を所定のビット幅に削減する。符号化制御装置は、上位ビットをクリッピングするビット数および下位ビットを削減するビット数を映像符号化部に設定する。予測誤差を削減した後の所定のビット幅は、符号化制御装置と、映像符号化部が予測誤差の転送のために利用するバス幅に等しくする。
【選択図】図2

Description

本発明は、映像符号化装置、および、そのデータ処理方法に係り、複数の予測モードによって動画像を符号化する符号化装置であって、特に、予測誤差の評価の際に、予測誤差の精度を損なわずに、予測誤差の転送による性能低下をおこすことのない映像符号化装置、および、そのデータ処理方法に関する。
ブロードバンドネットワークの発達による動画配信コンテンツの増加や、DVD等の大容量記憶媒体と大画面映像表示機器の普及等により、動画符号化技術は必要不可欠な技術となっている。また、撮像デバイスの高階調化と共に、1画素の持つ情報量も増加しており、動画符号化技術において、高階調な情報を保ったまま符号化する技術も必要不可欠となっている。例えば、高階調な情報を保ったまま符号化が可能な動画符号化技術の一つとして、国際標準であるH.264/AVCがある。
先ず、H.264/AVC方式の符号化処理について説明する。
符号化処理は、入力画像である原画像から、より少ないデータ量のストリームに変換する処理である。H.264/AVC符号化方式では予測を用いた符号化をおこなう。
H.264で用いられる予測方式は、主に、画面内予測(イントラ予測)と画面間予測(インター予測)の二つがある。さらに、画面内予測では、予測の単位となるブロックのサイズや予測方向などの、複数の異なる予測方法が用意されている。一方で画面間予測でも、予測の単位となるブロックのサイズなどの、複数の異なる予測方法が用意されている。H.264では、これらの予測方式を符号量に応じて動的に選択することによって、より圧縮率の高い符号化方式を実現している。
次に、図6を用いてH.264/AVC符号化の処理手順の概要を説明する。
図6は、H.264/AVC符号化の処理概要を説明するための図である。
画面内予測を使用した符号化処理では、モード選択40が画面内予測20側を選択し、原画像10から画面内予測20、直交変換60、量子化70、可変長符号化100をおこない、ストリーム110を得る。一方、画面間予測を使用した符号化処理では、モード選択40が画面間予測30側を選択し、原画像10から画面間予測30、直交変換60、量子化70、可変長符号化100をおこない、ストリーム110を得る。
次に、符号化処理の各処理内容を説明する。
画面内予測20は、入力画像である原画像10から、画面内予測情報220と、予測結果の画面内予測画像130と、原画像10と画面内予測画像130の差分をあらわす画面内予測誤差200を生成する。
画面間予測30は、入力画像である原画像10と、過去または未来の原画像から生成された参照画像120とを入力し、画面間予測情報230と画面間予測画像140と、原画像10と画面間予測画像140の差分をあらわす画面間予測誤差210を生成する。
符号化制御50は、画面内予測20から入力される画面内予測誤差200、画面間予測30から入力される画面間予測誤差210、可変長符号化から入力される符号化情報160から、モード選択アルゴリズムに従い選択するモードを決定し、モード選択情報120としてモード選択40に出力する。モード選択アルゴリズムは、一般に、ストリーム110の符号量が小さくなるような予測方法を選択するようになっている。
モード選択40は、符号化制御50から入力されたモード選択情報120に従い、画面内予測20が選択された場合は画面内予測画像130を、画面間予測30が選択された場合は画面間予測画像140を、予測画像150として出力する。
直交変換60は、原画像10と予測画像150の差分である差分画像170から、直交変換処理によって周波数成分240を生成する。
量子化70は、周波数成分240を量子化処理し情報量を削減する。
逆量子化80は、量子化された周波数成分に対して、逆量子化処理をおこない、復元周波数成分250を生成する。
逆直交変換90は、復元周波数成分250に対して、逆直交変換処理をおこない、復元差分画像180を生成する。
復元差分画像180とモード選択40によって選択された予測画像150は、和を取り参照画像120として記憶される。
可変長符号化100は、量子化された周波数成分と、画面内予測情報220もしくは画面間予測情報230を、より少ないデータ量のデータ列に符号化しストリーム110として出力し、符号量等の符号化情報160を符号化制御50に出力する。
次に、符号化制御50の処理内容について説明する。
符号化制御50は、画面内予測20が出力する画内予測誤差200と、画面間予測部30が出力する画面間予測誤差210、および可変長符号化100が出力する符号化情報160から、モード選択アルゴリズムを用いて選択する予測モードを決定し、モード選択情報120として出力する。
モード選択アルゴリズムは、符号化装置が出力するストリーム110の符号量および画質に大きな影響を与えるため、符号化対象となる原画像10の内容や映像符号化装置の用途によって様々な方式が存在している。
モード選択アルゴリズムで使用する画面内予測誤差200および画面間予測誤差210は、それぞれ画面内予測画像130と画面間予測画像140がどれだけ原画像10に近似しているかをあらわす指標として使用され、一般的に符号化処理の処理単位である数画素四方のブロック単位で求められる。
なお、原画像10と画面内予測画像130、もしくは画面間予測画像140との予測誤差の代表的な計算方法として、差分絶対値和(SAD:Sum of Absolute Difference)や差分二乗和(SSD:Sum of Square Difference)が挙げられる。
原画像の画素値をO、それに対応する予測モードiで予測された予測画像の画素値をPとすると、SADとSSDはそれぞれ次式で算出される。
Figure 2011109172
ただし、Σは、OとPについて、ブロック内の全ての画素をわたって和をとられるものとする。
符号化制御50に実装されるモード選択アルゴリズムは、符号化効率に大きな影響を与える。そのため、符号化制御50はソフトウェア制御が可能な汎用プロセッサやデジタル・シグナル・プロセッサで実装し、映像や用途に応じてモード選択アルゴリズムを変更可能にしたいという第一の要請がある。
一方で、高階調な情報を保ったまま映像を符号化したいという第二の要請もある。
第一の要請に従って、符号化制御50をプロセッサによって実装する場合、画面内予測20、画面間予測30、可変長符号化100、モード選択40との接続は汎用バスによる接続となるため、転送帯域が制限される。すなわち、汎用バスは、16ビットや32ビットのバス幅のため、符号化処理のために必要とされるビット数よりも通常小さくなっている。
さらに、符号化制御50は、画面内予測誤差200や画面間予測誤差210や符号化情報160を利用して、符号化処理の処理単位となる数画素四方のブロック単位でモード判定の演算をおこなうため、フルHD映像(1920x1080/60i)の符号化処理では、処理単位を16画素×16画素単位とすると、1秒間に243,000回分の画面内予測誤差200、画面間予測誤差210、符号化情報160、モード選択情報120を汎用バスで転送する必要がある。
この中でも特に、高階調化により1画素の情報量が増加した場合に、画面内予測誤差200および画面間予測誤差210の情報量が増加するという特徴があるため、第二の要請に従うと汎用バスでは一度に転送できない情報量となってしまい、複数回に分けて転送する必要が生じる。そのため、予測誤差の転送のためだけに転送帯域を多く消費してしまい、符号化制御50の転送帯域を圧迫していた。
特許文献1では、動きベクトルの算出時に、予測誤差計算に使用するブロック単位の画素データを間引く、すなわち、サンプリングすることによって、予測モード判定での演算負荷を低減し、ひいては、動きベクトル検出処理に要する消費電力も低減することができるとしている。
特開平8−289301号公報
上記のように、特許文献1では、予測誤差計算に使用する画素データを間引くことによって,符号化制御部の演算負荷を低減している。この特許文献1に開示されたサンプリング手法を、画面内予測誤差および画面間予測誤差の情報量を削減することに用れば、転送負荷を低減することができる。
しかしながら、この手法では、画素を間引いて予測誤差を計算するため、符号化制御部に転送される予測誤差の情報精度が落ちてしまい、高精度な予測誤差でモード選択がおこなえないため、符号化効率が落ちてしまうという問題点が生じる。
本発明は、上記問題点を解決するためになされたもので、その目的は、予測手法を用いて、予測誤差を評価する映像符号化装置において、予測誤差の情報精度をそれほど損なうことなく、予測誤差のビット幅を削減することにより、性能を落とすことなく高い符号化効率を得ることのできる映像符号化装置を提供することにある。
本発明の映像符号化装置は、入力画像より予測画像を生成し、予測画像を用いて符号化する映像符号化部と、予測誤差を評価し、映像符号化部で用いる予測の予測モードを選択する符号化制御装置を備えており、符号化制御装置は、予測モード選択制御のために映像符号化部から予測モード毎に、予測誤差のビット幅を所定のビット幅に削減した予測誤差を入力するものである。
映像符号化部は、予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこない、予測誤差のビット幅を所定のビット幅に削減し、所定のビット幅に削減した予測誤差を、予測モードを選択するために、符号化制御装置に出力する
また、符号化制御装置は、上位ビットをクリッピングするビット数および下位ビットを削減するビット数を映像符号化部に設定し、映像符号化部は、前記符号化制御装置からの設定される上位ビットをクリッピングするビット数および下位ビットを削減するビット数に基づき、前記予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこなうようになっている。
予測誤差を削減した後の所定のビット幅は、符号化制御装置と、映像符号化部が予測誤差の転送のために利用するバス幅に等しくする。
本発明によれば、予測手法を用いて、予測誤差を評価する映像符号化装置において、予測誤差の情報精度をそれほど損なうことなく、予測誤差のビット幅を削減することにより、性能を落とすことなく高い符号化効率を得ることのできる映像符号化装置を提供することができる。
本発明の一実施形態に係る映像符号化装置の全体構成図である。 映像符号化部410の内部構成図である。 下位ビットの削減を説明する図である。 上位ビットのクリッピングを説明する図である。 予測誤差正規化部550の構成図である。 H.264/AVC符号化の処理概要を説明するための図である。
以下、本発明に係る一実施形態を、図1ないし図5を用いて説明する。
先ず、図1および図2を用いて本発明の一実施形態に係る映像符号化装置の構成を説明する。
図1は、本発明の一実施形態に係る映像符号化装置の全体構成図である。
図2は、映像符号化部410の内部構成図である。
映像符号化装置400は、図1に示されるように、映像符号化部410、符号化制御装置420、汎用バス440、フレームバッファ430によって構成される。
映像符号化部410は、図6に示す符号化処理のうち、画面内予測20、画面間予測30、モード選択40、直交変換60、量子化70、逆量子化80、逆直交変換90、可変長符号化100の処理をおこなう。
符号化制御装置420は、図6に示す符号化処理のうち、符号化制御部50の処理をおこなう。
また、符号化制御装置420は、映像符号化部410との間で、図6に示す符号化処理における画面内予測誤差200、画面間予測誤差210、符号化情報160、および、モード選択情報120を通信するために、映像符号化部410と汎用バス440によって接続されている。
フレームバッファ430は、図6に示す符号化処理のうち、参照画像120の記憶をおこなうためのバッファである。
次に、映像符号化部410の構成と動作について詳細に説明する。
映像符号化部410は、図2に示されるように、予測画像生成部500、モード選択部520、量子化部530、可変長符号化部540、通信制御部510、予測誤差正規化部550によって構成される。
予測画像生成部500は、図6に示す符号化処理のうち、画面内予測20、画面間予測30の処理をおこない、モード別予測画像620をモード選択部520に、モード別予測画像620と原画像450の予測誤差610を予測モード毎に予測誤差正規化部550に出力する。本実施形態では、予測誤差を求めるために、既に説明したSADとSSDの内、SADを用いるものとする。なお、実際の予測誤差を求めるときにも、SADが用いられることが多い。これは、SADの方が、SSDより評価値が小さくなる傾向があるからである。
モード選択部520は、図6に示させる符号化処理のうち、モード選択40の処理をおこない、モード予測信号600によって選択された予測モードのモード別予測画像620を予測画像630として出力する。
量子化部540は、図6に示す符号化処理のうち、直交変換60、量子化70、逆量子化80、逆直交変換90の処理をおこなう。
可変長符号化部540は、図6に示す符号化処理のうち、可変長符号化540の処理をおこなう。
通信制御部510は、汎用バス440を制御して映像符号化部410の外部の符号化制御装置420と、映像符号化部410内部の予測誤差正規化部550、可変長符号化部540、モード選択部との通信を調停する。
予測誤差正規化部550は、予測画像生成部500から出力される画面内予測20と画面間予測30の予測誤差610を、符号化制御装置420から汎用バス440および通信制御部510を経由して入力する正規化設定670に従い、汎用バス440のバス幅に合わせた情報量の削減をおこない、正規化予測誤差680として出力する。なお、正規化設定670の内容については、後に詳細に説明する。
次に、通信制御部510の処理内容を説明する。
通信制御部510は、映像符号化部410の予測誤差正規化部550から入力される正規化予測誤差680や、可変長符号化部540から入力される符号化情報660を、汎用バス440を制御して符号化制御装置420に適切に出力し、符号化制御装置420から入力される正規化設定670やモード選択信号600を、内部のレジスタで保持して、それぞれ予測誤差正規化部550とモード選択部520に出力する。
予測誤差正規化部550は、予測誤差の正規化をおこなう。予測誤差の正規化は、予測誤差の上位ビットをクリッピング、下位ビットを削減することによって、情報精度を損なうことなく情報量を削減する処理である。
以下、図3および図4を用いて予測誤差の正規化処理について詳細に説明する。
図3は、下位ビットの削減を説明する図である。
図4は、上位ビットのクリッピングを説明する図である。
予測誤差の正規化処理による情報量削減の意義を理解するため、先ず、予測誤差計算方法をSADで実装した場合を例に、どの条件でSAD各ビットのどのビット領域に有意な情報が格納されるかを説明する。
映像符号化技術は、画面内予測や画面間予測等の複数の予測モードによって予測画像を生成する。
映像変化が少ない通常の映像においては、原画像と予測画像が近似している。
この場合は、原画像と予測画像の差分が小さくなるため、SADの下位ビット側に有意な情報が格納されるが、SADの上位ビットは常に0となっているため冗長となる。
シーンチェンジや画面遷移が大きい等の理由から予測が外れた場合、原画像と予測画像が全く異なる場合がある。
この場合は、原画像と予測画像の差分が大きくなるため、SADは大きい値を示し、上位ビット側に有意な値が格納される一方で、小さい値を表現する下位ビット側の重要度は小さくなる。
この特徴を利用すると映像に応じてSADの上位ビットと下位ビットを適切に削減することで、有意な情報を落とすことなくSADのビット幅を削減できる。
なお、本発明において、予測誤差の計算方法は、原画像と予測画像の差分が小さいならば小さい値、差分が大きいならば大きな値をとる指標となるならば、予測誤差の計算方法をSADやSDDに限定しない。
ここで、SSDが、例えば、22ビットで表現されており、その情報量を削減する場合を考える。情報量の削減の目標は、例えば、図1における汎用バス440によって、符号化制御装置420と、映像符号化部410が予測誤差の転送のために利用されるバス幅で表される値の最大値を超えない量である。通常、バス幅は、固定値となっており、符号化制御装置420と、映像符号化部410が予測誤差の転送のために利用されるバス幅で表される値の最大値は、このバス幅で表される値の最大値を超えない量である。
例えば、汎用バス440のバス幅が32ビットで、そのうち正規化予測誤差の転送に割り当てられたビット幅が16ビットの場合は、16ビットで取りうる最大値、すなわち、65535(16進数で0xffff)が正規化予測誤差を転送するために利用可能なバス幅の最大値なる。
この例では、SSDが22ビットであると仮定しているので、6ビットの削減が必要になる。そして、予測誤差の情報量の削減において、上位ビット削減は、上位ビットのクリッピングによっておこない、一方、下位ビット削減は、下位方向へのビットシフトによっておこなう。この上位ビットのクリッピングと、下位ビット削減をどれだけおこなうかを示すのが、正規化設定670であり、(c,s)の形式をしている。ここで、cは、上位ビットのクリッピングのビット数であり、sは、下位方向へのビットシフトをするビット数である。
この例では、削減するビット数の幅が、6ビットなので、c+s=6になるように、例えば、(3,3)や(4,2)になるようにとればよい。
ここで、(3,3)の正規化設定がされているものとする。
先ず、図3に示されるように、s=3の分だけ、下位方向へのビットシフトする。
次に、図4(a)に示されるように、上位のcのビット数にあたるいずれかのところに、1がたっているときには、上位のcビットより下の全てのビットを1にした値をクリッピング後の値とし、図4(b)に示されるように、上位のcのビット数にあたる全てのところが、0のときには、上位のcビットより下の全てのビットをそのまま持ってきて、クリッピング後の値とする。
このように、クリッピングの処理は、上位ビットを削減するが、その下位ビットでできるだけ近い値を表現するために、上位のcのビット数にあたるいずれかのところに、1がたっているときには、上位のcビットより下の全てのビットを1にした値、すなわち、下位ビットで表現できるできるだけ大きい値で近似するものである。
この場合には、正規化予測誤差の転送に割り当てられたビット幅が16ビットの場合は、16ビットで取りうる最大値、すなわち、65535に一致することになる。
次に、予測誤差正規化部550の処理内容を説明する。
以下、図5を用いて予測誤差正規化部550の構成と各部の動作を説明する。
図5は、予測誤差正規化部550の構成図である。
予測誤差正規化部550は、上述の予測誤差の正規化処理をおこなう部分である。
予測誤差正規化部550は、予測誤差610を入力し、正規化設定670の設定通りに、下位ビットの削減および上位ビットのクリッピングの処理をおこなう。
予測誤差正規化部550は、バレルシフタ900、比較器910、セレクタ920によって構成される。
バレルシフタ900は、正規化設定670が(c,s)のときに、予測誤差610として入力されたSADを、下位方向へsビット分だけビットシフトし、下位シフト済み予測誤差950として出力する。
比較器910は、下位シフト済み予測誤差950を入力し、最大値970(正規化後のビットで全て1として表現した値)と比較して、セレクタ920に最大値より大きいならば(すなわち、上位のcビット数にあたるいずれかのところに、1がたっているとき)、最大値を、最大値よりも小さいか等しい(上位のcビット数にあたる全てのところが、0のとき)ならば、下位シフト済み予測誤差680をそのまま選択するセレクト信号960を出力する。
セレクタ920は、比較器910から入力されるセレクト信号960に応じて、バス最大値970もしくは、下位シフト済み予測誤差950の下位側から汎用バス440で正規化予測誤差の転送に割り当てられたビット幅分を、正規化予測誤差680として出力する。
なお、本発明の予測誤差の正規化処理を実現するために、上ビットのクリッピングと下位ビット削減を満足すれば、予測誤差正規化部550の構成は、本実施形態に限定されるものではない。
一方で、正規化予測誤差680は、正規化前の予測誤差610が最大値970以上の場合は、正規化予測誤差680の取りうる最大値970となる特徴を有する。
したがって、正規化予測誤差680を使用するモード判定アルゴリズムは、正規化予測誤差680の値が最大値970となった場合は、その予測モードの画質は極端に悪いと判断しモード判定の候補から除外することにする。
また、仮に全ての予測モードで正規化予測誤差680が最大値970と等しくなった場合は、どの予測モードを選択しても極端に悪い画質となるため、どの予測モードを選択しても主観画質には大きな差異はないと判断し、所定の予測モードを選択する。
本実施形態においては、所定のモードは、画面間予測30側に設定している。これは、画面内予測20側よりも発生する符号量が少ないからである。
なお、本発明において所定のモードは画面間予測30に限定されるものではなく、用途や目的に応じて適切な予測モードを設定することができる。
上述のように、映像に応じてSADの上位ビットと下位ビットの最適な削減量は変化する。
映像変化が少ない通常の映像の場合は、SADの上位ビットが冗長となるため、上位ビット側の情報を削減すること(cを大きく、sを小さくすること)が望ましい。
一方で、シーンチェンジや画面遷移が大きい映像の場合は、SADの有意な値域は上位ビット側に存在するため、下位ビット側の情報を削減すること(cを小さく、sを大きくすること)が望ましい。
そのため、符号化制御装置420は、映像のピクチャの処理開始までに、前ピクチャの正規化予測誤差680や符号化情報660から、画面変化の度合いを推定し、その推定量に応じた正規化設定670を汎用バス440経由で通信制御部510に出力する。
通信制御部510は、符号化制御装置420から入力した正規化設定670をピクチャ開始のタイミングでラッチして、予測誤差正規化部550へ出力する。
なお、この正規化設定670を導出する演算は、1ピクチャで1回だけおこなえばよいため、符号化制御装置における演算負荷は十分低い。
また、上の例では、情報量の削減の目標として、正規化予測誤差が利用可能なバス幅の最大値を超えない量として、最大値970を正規化予測誤差が利用可能なバス幅の最大値としたが、別の尺度を用いることもできる。
例えば、情報量の削減の目標として、符号化制御装置420をCPU、または、専用プロセッサで実装したときに、レジスタで表現できる量とし、最大値970をレジスタで表現できる最大値とする。このようにすれば、正規化処理をソフトウェアで実現したときに、予測誤差に関する命令を1命令で処理できるできるため、予測誤差の正規化処理をおこなうことにより、予測誤差に関する処理の性能向上を見込むことができる。
10…原画像、20…画面内予測、30…画面間予測、40…モード選択、50…符号化制御部、60…直交変換、70…量子化、80…逆量子化、90…逆直交変換、100…可変長符号化、110…ストリーム、120…参照画像、130…画面内予測画像、140…画面間予測画像、150…予測画像、160…符号化情報、170…差分画像、180…復元差分画像、200…画面内予測誤差、210…画面間予測誤差、220…画面内予測情報、230…画面間予測情報、240…周波数成分、250…復元周波数成分、400…映像符号化装置、410…映像符号化部、420…符号化制御装置、430…フレームバッファ、440…汎用バス、450…原画像、470…ストリーム、470…参照画像、500…予測画像生成部、510…通信制御部、520…モード選択部、530…量子化部、540…可変長符号化部、550…予測誤差正規化部、600…モード選択信号、610…予測誤差、620…モード別予測画像、630…予測画像、640…モード別予測情報、660…符号化情報、670…正規化設定、680…正規化予測誤差、900…バレルシフタ、910…比較器、920…セレクタ、950…下位シフト済み予測誤差、960…セレクタ信号、970…最大値。

Claims (16)

  1. 動画像を符号化する映像符号化装置において、
    入力画像より予測画像を生成し、前記予測画像を用いて符号化する映像符号化部と、
    前記予測誤差を評価し、前記映像符号化部で用いる予測の予測モードを選択する符号化制御装置とを備え、
    前記映像符号化部は、前記予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこない、前記予測誤差のビット幅を所定のビット幅に削減し、前記所定のビット幅に削減した予測誤差を、前記予測モードを選択するために、前記符号化制御装置に出力することを特徴とする映像符号化装置。
  2. 前記符号化制御装置は、上位ビットをクリッピングするビット数および下位ビットを削減するビット数を映像符号化部に設定し、
    前記映像符号化部は、前記符号化制御装置からの設定される上位ビットをクリッピングするビット数および下位ビットを削減するビット数に基づき、前記予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこなうことを特徴とする請求項1記載の映像符号化装置。
  3. 前記予測誤差が大きいときには、上位ビットをクリッピングするビット数を小さく、下位ビットを削減するビット数を大きく設定し、
    前記予測誤差が小さいときには、上位ビットをクリッピングするビット数を大きく、下位ビットを削減するビット数を小さく設定することを特徴とする請求項2記載の映像符号化装置。
  4. 前記予測誤差を削減した後の所定のビット幅が、前記符号化制御装置と、前記映像符号化部が前記予測誤差の転送のために利用するバス幅であることを特徴とする請求項1記載の映像符号化装置。
  5. 前記予測誤差を削減した後の所定のビット幅が、前記符号化制御装置のレジスタのビット幅であることを特徴とする請求項1記載の映像符号化装置。
  6. 前記符号化制御装置は、前記映像符号化部から前記予測モード毎に入力されるビット幅を削減した予測誤差が表す値が、所定の最大値となる場合には、その予測モードを予測モード選択の候補から除外して、予測モード選択をおこなうことを特徴とする請求項1記載の映像符号化装置。
  7. 前記符号化制御装置は、前記映像符号化部から前記予測モード毎に入力されるビット幅を削減した予測誤差が表す値が、全予測モードで所定の最大値となる場合には、所定の予測モードを選択することを特徴とする請求項6記載の映像符号化装置。
  8. 前記予測誤差は、複数画素に渡る差分から計算され、前記入力画像と前記予測画像の差分が小さいならば小さい値、大きいならば大きな値をとる指標であることを特徴とする請求項1記載の映像符号化装置。
  9. 動画像を符号化する映像符号化装置のデータ処理方法において、
    入力画像より予測画像を生成し、前記予測画像を用いて符号化するステップと、
    前記予測誤差を評価し、前記映像符号化部で用いる予測の予測モードを選択するステップと、
    前記予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこない、前記予測誤差のビット幅を所定のビット幅に削減するステップと、
    前記所定のビット幅に削減した予測誤差を、前記予測モードを選択するために、出力するステップとを有することを特徴とする映像符号化装置のデータ処理方法。
  10. さらに、上位ビットをクリッピングするビット数および下位ビットを削減するビット数を設定するステップを有し、
    前記予測誤差のビット幅を所定のビット幅に削減するステップにおいて、設定された上位ビットをクリッピングするビット数および下位ビットを削減するビット数に基づき、前記予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこなうことを特徴とする請求項9記載の映像符号化装置のデータ処理方法。
  11. 前記上位ビットをクリッピングするビット数および下位ビットを削減するビット数を設定するステップにおいて、
    前記予測誤差が大きいときには、上位ビットをクリッピングするビット数を小さく、下位ビットを削減するビット数を大きく設定し、
    前記予測誤差が小さいときには、上位ビットをクリッピングするビット数を大きく、下位ビットを削減するビット数を小さく設定することを特徴とする請求項10記載の映像符号化装置。
  12. 前記予測誤差を削減した後の所定のビット幅が、前記符号化制御装置と、前記映像符号化部が前記予測誤差の転送のために利用するバス幅であることを特徴とする請求項9記載の映像符号化装置のデータ処理方法。
  13. 前記予測誤差を削減した後の所定のビット幅が、前記符号化制御装置のレジスタのビット幅であることを特徴とする請求項9記載の映像符号化装置のデータ処理方法。
  14. 前記予測モード毎に入力されるビット幅を削減した予測誤差が表す値が、所定の最大値となる場合には、その予測モードを予測モード選択の候補から除外して、予測モード選択をおこなうことを特徴とする請求項9記載の映像符号化装置のデータ処理方法。
  15. 前記予測モード毎に入力されるビット幅を削減した予測誤差が表す値が、全予測モードで所定の最大値となる場合には、所定の予測モードを選択することを特徴とする請求項14記載の映像符号化装置のデータ処理方法。
  16. 前記予測誤差は、複数画素に渡る差分から計算され、前記入力画像と前記予測画像の差分が小さいならば小さい値、大きいならば大きな値をとる指標であることを特徴とする請求項9記載の映像符号化装置のデータ処理方法。
JP2009258957A 2009-11-12 2009-11-12 映像符号化装置、および、そのデータ処理方法 Pending JP2011109172A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009258957A JP2011109172A (ja) 2009-11-12 2009-11-12 映像符号化装置、および、そのデータ処理方法
US12/944,282 US20110110424A1 (en) 2009-11-12 2010-11-11 Video Encoder and Data Processing Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009258957A JP2011109172A (ja) 2009-11-12 2009-11-12 映像符号化装置、および、そのデータ処理方法

Publications (1)

Publication Number Publication Date
JP2011109172A true JP2011109172A (ja) 2011-06-02

Family

ID=43974149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009258957A Pending JP2011109172A (ja) 2009-11-12 2009-11-12 映像符号化装置、および、そのデータ処理方法

Country Status (2)

Country Link
US (1) US20110110424A1 (ja)
JP (1) JP2011109172A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005424A (ja) * 2015-06-08 2017-01-05 セイコーエプソン株式会社 画像処理装置、表示装置、及び、画像処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083840A1 (en) * 2011-09-30 2013-04-04 Broadcom Corporation Advance encode processing based on raw video data
CN104853211A (zh) * 2014-02-16 2015-08-19 上海天荷电子信息有限公司 使用多种形式的参考像素存储空间的图像压缩方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348597A (ja) * 2002-05-29 2003-12-05 Sony Corp 画像符号化装置および画像符号化方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化/復号化方法及び装置
US7392195B2 (en) * 2004-03-25 2008-06-24 Dts, Inc. Lossless multi-channel audio codec
JP2009273035A (ja) * 2008-05-09 2009-11-19 Toshiba Corp 画像圧縮装置、画像伸張装置及び画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348597A (ja) * 2002-05-29 2003-12-05 Sony Corp 画像符号化装置および画像符号化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005424A (ja) * 2015-06-08 2017-01-05 セイコーエプソン株式会社 画像処理装置、表示装置、及び、画像処理方法

Also Published As

Publication number Publication date
US20110110424A1 (en) 2011-05-12

Similar Documents

Publication Publication Date Title
CN109600618B (zh) 视频压缩方法、解压缩方法、装置、终端和介质
TW201826786A (zh) 用於視訊寫碼之低複雜度符號預測
JP5073004B2 (ja) 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US8908982B2 (en) Image encoding device and image encoding method
JP5935695B2 (ja) 埋め込みグラフィック符号化:並列復号に向けて並べ替えられたビットストリーム
JP4801778B2 (ja) 映像圧縮符号化装置、映像復元装置、映像圧縮プログラム、及び、映像復元プログラム
US8923389B1 (en) Unified scaling with differential coding for internal bit depth extension and reference frame compression
KR101346942B1 (ko) 벡터 임베디드 그래픽 코딩
JP2008543150A (ja) 予測された値の補正を使った圧縮および復元
JP2017192078A (ja) 画像符号化装置及びその制御方法
CN110049333B (zh) 一种jpeg_ls图像压缩输出编码码流拼接系统及方法
JP5093349B2 (ja) 画像圧縮装置及び画像復元装置
CN111131828A (zh) 一种图像压缩方法及装置
JP2011109172A (ja) 映像符号化装置、および、そのデータ処理方法
WO2012160626A1 (ja) 画像圧縮装置、画像復元装置、及びプログラム
US8411976B2 (en) Image data compression apparatus, decompression apparatus, compressing method, decompressing method, and storage medium
JP2012147290A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10609382B2 (en) Method and apparatus for compressing video data
JP6168020B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2018014301A1 (zh) 视频编码方法及装置
CN108200429B (zh) 一种Bayer图像压缩方法及装置
JP2765268B2 (ja) 高能率符号化方法と高能率符号の復号方法
KR102142946B1 (ko) 다중 dpcm 기법을 이용한 무손실 이미지 데이터 압축 장치 및 방법
CN116527903B (zh) 图像浅压缩方法及解码方法
JP2005151312A (ja) 画像符号化、復号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130805

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131008