JP2013031007A - 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム - Google Patents

動画像符号化装置、動画像符号化方法及び動画像符号化プログラム Download PDF

Info

Publication number
JP2013031007A
JP2013031007A JP2011165946A JP2011165946A JP2013031007A JP 2013031007 A JP2013031007 A JP 2013031007A JP 2011165946 A JP2011165946 A JP 2011165946A JP 2011165946 A JP2011165946 A JP 2011165946A JP 2013031007 A JP2013031007 A JP 2013031007A
Authority
JP
Japan
Prior art keywords
block
coefficient
encoding
mode
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011165946A
Other languages
English (en)
Other versions
JP5768565B2 (ja
Inventor
Hidemasa Miyoshi
秀誠 三好
Hisashige Kimura
壽成 木村
Shotaro Ishikawa
将太郎 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011165946A priority Critical patent/JP5768565B2/ja
Priority to EP12165942.9A priority patent/EP2552116B1/en
Priority to US13/462,643 priority patent/US8891622B2/en
Priority to CN201210171628.9A priority patent/CN102905125B/zh
Priority to KR1020120058528A priority patent/KR101345072B1/ko
Publication of JP2013031007A publication Critical patent/JP2013031007A/ja
Application granted granted Critical
Publication of JP5768565B2 publication Critical patent/JP5768565B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【課題】上に隣接するブロックの画素値を参照できないブロックにおいて、低レート制御時であっても画質を向上させること。
【解決手段】画像を複数のブロックに分割して符号化する動画像符号化装置であって、ブロック毎に符号化モードを決定するモード決定手段と、決定された符号化モードで符号化されたブロックの係数に対し、レート情報に基づいて0に置換する位置を決定する位置決定手段と、処理対象ブロックが、上に隣接するブロックの画素値に対して参照不可である第1ブロックであるか否かを判定する判定手段と、第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数に対し、決定された位置を、0に置換する数が減少する位置に変更する変更手段と、変更された位置に基づき、第1ブロックにおけるDC成分のブロックの係数を0に置換する係数カット手段と、を備える。
【選択図】図6

Description

本発明は、画像を複数のブロックに分割し、ブロック毎に符号化を行う動画像符号化装置、動画像符号化方法及び動画像符号化プログラムに関する。
画像データ、特に動画像データは、一般にデータ量が大きい。よって、送信装置から受信装置へ画像データが伝送される際、あるいは記憶装置に画像データが格納される際などには、動画像符号化が行われる。ここで、「動画像符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理を言う。代表的な動画像符号化方式として、H.264/AVC(ITU-T H.264/ISO/IEC MPEG-4AVC)が挙げられる。
動画像は、輝度信号と色差信号とを有する。動画像符号化は、例えばYUV(YCbCr)信号に対して行われる。輝度信号に対する色差信号の情報量により、4:2:0、4:2:2、4:4:4などの色フォーマットがある。
動画像は、複数のピクチャを有する。動画像符号化は、一般的にピクチャを複数のブロック(マクロブロック)に分割し、複数のマクロブロックを有するスライスを形成する。マクロブロックは、例えば16×16画素で形成される。1つのピクチャは、1つ以上のスライスを含む。
H.264/AVCでは規格に定められたプロファイルに準拠するために、複数のスライス分割が必須となる場合がある。このプロファイルとして、例えば、High 10 Profile、High 4:2:2 Profileなどの場合が挙げられる。
H.264/AVCを含む動画像符号化では、マクロブロックを符号化する際に、画面内予測符号化(イントラ予測)と画面外予測符号化(インター予測)の2種類に大別される。
イントラ予測は、画面内の符号化対象マクロブロックの周辺画素を用いて画素差分を符号化する。その際、スライス境界を跨いだ予測は行うことができない。一方、インター予測は符号化済みのピクチャを参照し、動きベクトルと画素差分とを符号化する。
符号化方法によっては、3種類のピクチャがある。Iピクチャは、イントラ予測のみで符号化される。Pピクチャは、イントラ予測とインター予測とを用いて符号化されるが、符号化済みのピクチャの参照方向が前方に限られる。Bピクチャは、イントラ予測とインター予測とを用いて符号化されるが、符号化済みのピクチャの参照方向が前方、後方、両方向を選択できる。
次に、イントラ予測について説明する。イントラ予測は、符号化済みの左、上、左上の隣接ブロックの画素値を参照することができる。輝度信号は、例えば、ブロックサイズによりIntra16×16、Intra8×8、Intra4×4の符号化モードから選択される。これらの符号化モードは、それぞれに予測に用いることができる隣接画素の方向が規定されている。Intra16×16は、4方向モード、Intra8×8とIntra4×4は、9方向モードから選択することができる。
色差信号は、4:2:0フォーマットでは8×8ブロック単位のみであり、予測方向は、4方向モードから選択される。4:2:2フォーマットについても4:2:0フォーマットと同様である。
図1は、色差信号に対するイントラ予測の予測方向を示す図である。図1に示すように、色差信号に対するイントラ予測には、周囲の画素平均予測(DC予測)、水平方向予測(horaizontal予測)、垂直方向予測(vertical予測)、平面予測(plane予測)の予測方向がある。周囲の画素平均予測(DC予測)のみ、内部的には4×4ブロックに分割し、その各ブロックで上、左の周囲の画素値を参照して平均値を出す。以下、色差信号に対するイントラ予測を色差イントラとも呼ぶ。
ここで、直交変換と係数カットについて詳細に説明する。一般的に画像信号は、隣接する画素間の相関が強く、直交変換を用いると変換係数の周波数成分に偏りが生じ、低周波から高周波の各係数が算出される。最も低い周波数を直流(DC)成分といい、それ以外を交流(AC)成分という。
一般的には、低周波の係数(絶対値)より高周波の係数(絶対値)が小さくなる。H.264/AVCでは、直交変換に離散コサイン変換(DCT)や離散アダマール変換(DHT)を導入し、4×4画素単位または8×8画素単位で直交変換を行う。
図2は、4×4画素単位のDCT例を示す図である。図2に示す例では、16×16画素の輝度のマクロブロック11を4×4画素の16個のブロックに分割し、それぞれのブロックに対してDCTが行われる。DCT後のブロックは、DC成分の係数が大きくなり、その他のAC成分は係数が小さくなる。
図2に示すブロック12は、4×4画素のDCT前のブロックである。ブロック12の係数にDCTを行うと、ブロック13の係数に変換される。ブロック13の左上の係数がDC成分20の係数である。
直交変換後の係数は、量子化パラメータにしたがって量子化される。量子化パラメータは、指定されたビットレートを守るように設定される。この制御方法をレート制御と呼び、TM5による手法が一般的である(参考URL:http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.html)。
量子化パラメータは、規格上最大値が決まっており、最大値以上の値は設定できない。そのため、低ビデオレート動作を実現するためには、画質劣化を伴うが強制的に変換係数をゼロに置換する手法がとられる。これを係数カットと呼ぶ。係数カットとは、係数を0に置換することである。
係数カットを行う技術として、例えば、処理対象ブロックの推定符号量と、目標符号量とに基づき、所定のブロックに対して量子化係数を0に置換する調整を行う技術がある。
特開2010−87771号公報
係数カットを行う場合、低周波のDC成分の係数カットを行うと、画質が大きく劣化するため、一般的に高周波のAC成分から係数カットをすることで画質劣化を抑える。図3は、係数カットの一例を示す図である。図3に示すように、ブロック13のAC成分21〜23の係数が、0に置換されている。図3に示す例では、直交変換後の周波数成分に対して係数カットを行っているが、量子化後の係数に対して係数カットを行ってもよい。
一方で、それぞれのIntraブロックサイズにより、直交変換手法が以下のように異なる。
・Intra16×16は、4×4の整数精度DCTを行い、得られた16個のDC成分にさらに4×4のDHTを行う。したがって、この場合には17個のブロックを符号化することになる。
・Intra8×8は、マクロブロックを4個の8×8ブロックに分割し、各々のブロックを8×8の整数精度DCTで直交変換する。
・Intra4×4は、マクロブロックを16個の4×4ブロックに分割し、各々のブロックを4×4の整数精度DCTで直交変換する。
・色差イントラは、4:2:0の場合、マクロブロックサイズが8×8であるため、4個の4×4ブロックに対して整数精度DCTで直交変換する。さらに、DC成分に対して2×2のDHTを行う。4:2:2の場合は、マクロブロックサイズが8×16となり、8個の4×4ブロックに対して整数精度DCTで直交変換を行い、DC成分に対して2×4のDHTを行う。
図4は、8×8画素のマクロブロックに対して色差イントラを行う例を示す図である。図4に示すマクロブロック31は、8×8画素である。マクロブロック31は、4×4の4個のブロックに分割され、DCT処理される。各ブロックのDC成分41〜44を集め、ブロック32が生成される。ブロック32は、2×2のDC成分のブロックである。ブロック32に対し、DHTが行われる。DHT後のブロック33の周波数係数は、量子化、符号化される。
次に、H.264/AVCの場合のスライス分割について説明する。図5は、1920×1088のピクチャを4スライスに分割する例を示す図である。1スライスには1又は複数のブロックが含まれる。ここで、説明を簡単にするため、符号化対象のピクチャは、スライスを含むIピクチャとする。Iピクチャはイントラ予測のみで符号化される。
H.264/AVCの規格では、High4:2:2Profileで画像サイズが1920×1088の場合、スライスによってピクチャを4分割以上にする必要がある。
ここで、スライス境界の下にあるマクロブロックラインについて考える。また、ピクチャ境界についてもスライス境界と同様に考える。マクロブロックライン数でいうと、0、17、34、51ライン目となる。
このマクロブロックラインについては、規格上スライス境界を跨いだ予測方法を取ることができないため、上に隣接するブロックラインのマクロブロックの画素値を参照することはできない。
そのため、H.264/AVCの規格上、周囲の画素平均予測又は水平方向予測が選択される。周囲の画素平均予測が選ばれた場合、上に隣接するブロックの画素値を参照することができないため、結果的に水平方向の画素値のみを参照して予測する。
色差イントラは、上述のようにDCTとDHTとの直交変換を行っており、AC成分のブロックとは別にDC成分を集めたブロックがある。このとき、従来技術のように係数カットが行われた場合、このDC成分ブロックの係数もカットされるため、符号化誤差が顕著になって表れる。また、Intra16×16の場合も、DC成分のブロックが生成されるため、係数カットが行われる場合、色差イントラと同様の問題が発生する。
低ビットレートで符号化した場合、係数カットによる符号化誤差の影響によりブロックライン境界に沿ってライン状のノイズ(画質の劣化)が視認される問題がある。P、Bピクチャついてもイントラ予測を行うことができるため、上記と同様の問題がある。
そこで、開示の技術は、上記問題に鑑みてなされたものであり、上に隣接するブロックの画素値を参照できないブロックにおいて、低レートで制御時であっても画質を向上させることを目的とする。
開示の一態様における動画像符号化装置は、画像を複数のブロックに分割して符号化する動画像符号化装置であって、前記ブロック毎に符号化モードを決定するモード決定手段と、前記モード決定手段により決定された符号化モードで符号化された前記ブロックの係数に対し、レート情報に基づいて前記ブロックの係数を0に置換する位置を決定する位置決定手段と、処理対象ブロックが、上に隣接するブロックの画素値に対して参照不可である第1ブロックであるか否かを判定する判定手段と、前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数に対し、前記位置決定手段により決定された位置を、0に置換する数が減少する位置に変更する変更手段と、前記変更手段により変更された位置に基づき、前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数を0に置換する係数カット手段と、を備える。
開示の技術によれば、上に隣接するブロックの画素値を参照できないブロックにおいて、低レート制御時であっても画質を向上させることができる。
色差信号に対するイントラ予測の予測方向を示す図。 4×4画素単位のDCT例を示す図。 係数カットの一例を示す図。 8×8画素のマクロブロックに対して色差イントラを行う例を示す図。 1920×1088のピクチャを4スライスに分割する例を示す図。 実施例1における動画像符号化装置の構成の一例を示すブロック図。 実施例1における変更手段の構成の一例を示すブロック図。 レベルにおける係数カットの一例を示す図。 係数カットの位置変更の一例を示す図。 実施例1における符号化処理の一例を示すフローチャート。 実施例1における変更処理の一例を示すフローチャート。 実施例1における符号化モード変更処理(その1)の一例を示すフローチャート。 実施例1における符号化モード変更処理(その2)の一例を示すフローチャート。 実施例1における係数カット位置変更処理(その1)の一例を示すフローチャート。 実施例1における係数カット位置変更処理(その2)の一例を示すフローチャート。 実施例2における動画像符号化装置の構成の一例を示すブロック図。 実施例2における符号化処理の一例を示すフローチャート。 実施例2におけるモード決定手段によるモード決定処理の一例を示すフローチャート。 画像処理装置の構成の一例を示すブロック図。
以下、添付図面を参照しながら実施例について詳細に説明する。
[実施例1]
<構成>
図6は、実施例1における動画像符号化装置の構成の一例を示すブロック図である。図6に示す動画像符号化装置100は、予測誤差信号生成手段101、直交変換手段102、量子化/係数カット手段103、エントロピー符号化手段104、逆量子化手段105、逆直交変換手段106、復号画像生成手段107、復号画像記憶手段108、モード決定手段109、境界判定手段110、位置決定手段111、変更手段112、予測信号生成手段113を有する。以下、各手段についての機能を説明する。
予測誤差信号生成手段101は、入力された画像データの符号化対象ピクチャを、16×16ピクセルのブロック(マクロブロック)に分割し、符号化対象ブロックを得る。予測誤差信号生成手段101は、符号化対象ブロックのブロックデータと、予測信号生成手段113から出力される予測画像のブロックデータとを用いて、予測誤差信号を生成する。予測誤差信号生成手段101は、生成された予測誤差信号を直交変換手段102に出力する。
直交変換手段102は、予測誤差信号生成手段101から取得した予測誤差信号に対して直交変換処理を行う。直交変換手段102は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号(周波数信号)を、量子化/係数カット手段103に出力する。周波数信号は、直交変換後の係数を示す。
量子化/係数カット手段103は、直交変換手段102から取得した周波数信号を、変更手段112から取得した係数カット位置を基に指定された周波数成分まで係数カットを行う。係数カットとは、前述した通り、係数を0に置換する処理である。係数カット位置とは、どの係数まで0に置換するかを決める位置である。
量子化/係数カット手段103は、係数カットを行った周波数信号に対して量子化を行い、量子化後の信号(量子化信号)をエントロピー符号化手段104及び逆量子化手段105に出力する。量子化信号は、量子化後の係数を示す。
エントロピー符号化手段104は、量子化/係数カット手段103から取得した量子化信号をエントロピー符号化(可変長符号化)してストリームとして出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
逆量子化手段105は、量子化/係数カット手段103から取得した量子化信号に対して逆量子化を行う。逆量子化手段105は、逆量子化した周波数信号を逆直交変換手段106に出力する。
逆直交変換手段106は、逆量子化手段105から取得した周波数信号に対し、逆直交変換処理を行う。逆直交変換手段106は、逆直交変換された信号を、復号画像生成手段107に出力する。逆量子化手段105及び逆直交変換手段106によって局所的に復号処理が行われる。この復号処理により、符号化前の予測誤差信号と同程度の信号が得られる。
復号画像生成手段107は、予測信号生成手段113から取得した予測信号であるブロックデータと、逆量子化手段105及び逆直交変換手段106により復号処理された予測誤差信号とを加算する。復号画像生成手段107は、加算処理により、現符号化対象ピクチャに対する予測されたブロックデータ(復号画像)を生成し、復号画像記憶手段108に出力する。
復号画像記憶手段108は、復号画像生成手段107から取得したブロックデータを新たな参照ピクチャのデータとして記憶する。復号画像記憶手段108は、参照ピクチャのデータを復号画像として、モード決定手段109及び予測信号生成手段113に出力する。
モード決定手段109は、例えば、Iピクチャではイントラ予測の中でブロックサイズを決定する。決定方法は、各々の符号化モードで得られた予測画像のブロックと符号化対象ブロックとの差分絶対値和SAD(Sum of absolute differences)を計算し、最小となる符号化モードを選択する。
また、モード決定手段109は、P、Bピクチャであれば、インター予測との比較を行い、イントラ予測にするか、インター予測にするかを決定する。そして、モード決定手段109は、決定された符号化モードを変更手段112に出力する。
境界判定手段110は、境界位置情報と、符号化対象ブロックの位置情報とを取得し、符号化対象ブロックが所定の境界の下に位置するか否かを判定する。境界判定手段110は、判定結果を変更手段112に出力する。
境界位置情報は、ピクチャ又はスライスの境界位置を示す情報である。スライスの境界位置情報は、符号化時にユーザがピクチャをどのように分割するかが決定されることで設定されてもよいし、符号化規格に準拠して、1スライスに含めるマクロブロック数に基づいて設定されてもよい。
また、境界判定手段110は、判定結果として、所定の境界の下に位置すれば「1」を、所定の境界の下に位置しなければ「0」とするフラグ情報を変更手段112に出力してもよい。また、境界判定手段110は、判定結果として、符号化対象ブロックが所定の境界からどの位置にあるかを示す位置情報を変更手段112に出力してもよい。
所定の境界とは、例えば、スライス境界又はピクチャ境界であり、上に隣接するブロックの画素値を参照することができない境界を示す。スライス境界の場合は、符号化規格によりスライスを跨っての参照が禁止されており、ピクチャ境界の場合は、上に隣接する画素値がないため参照することができない。
位置決定手段111は、レート情報に基づき、レート制御により計算された量子化パラメータが、指定された目標レートを満たせないと判断した場合に、係数カットを実行するかを判断する。レート情報は、通信帯域などに基づき決定される。
位置決定手段111は、係数カットを実行する場合は、係数カット位置を決定し、変更手段112に係数カット位置を示す情報(係数カットの位置情報とも呼ぶ)を出力する。
変更手段112は、境界判定手段110から取得した判定結果と、位置決定手段111から取得した係数カットの位置情報と、決定された符号化モードとに基づき、符号化モードと係数カットの位置情報とを変更するかを判断する。
図7は、実施例1における変更手段112の構成の一例を示すブロック図である。変更手段112は、モード変更手段201、位置変更手段202を有する。
モード変更手段201は、決定された符号化モード、判定結果の情報(例えば、所定の境界の下に位置するか否か示すフラグ情報)及び係数カットの位置情報に基づいて、モード決定手段109により決定された符号化モードを変更するか否かを判断する。
モード変更手段201は、例えば、符号化対象ブロックが所定の境界の下に位置し、Intra16×16の符号化モードであり、かつ、係数カットを行う位置が設定されていた場合(条件1と呼ぶ。)、所定の符号化モードに変更する。所定の符号化モードとは、例えば、Intra16×16以外のIntra8×8又はIntra4×4である。
条件1は、以下の各条件をANDで結ぶ。
・符号化対象ブロックが所定の境界の下に位置する
・決定された符号化モードがIntra16×16である
・係数カットが行われる
条件1を満たすときに符号化モードを変更するのは、DC成分のブロックで係数カットが行われることを防ぐためである。モード変更手段201は、変更後の符号化モードを、予測信号生成手段113に出力する。
モード変更手段201は、条件1を満たさないと判断した場合、モード決定手段109により決定された符号化モードを予測信号生成手段113に出力する。
位置変更手段202は、所定の境界の下に位置するか否かのフラグ情報、係数カットの位置情報、及び決定された符号化モードに基づいて、係数カットの位置情報を変更する。位置変更手段202は、例えば、符号化対象ブロックが色差イントラであり、かつ所定の境界の下に位置し、係数カットが行われる場合、DC成分のブロックに対して係数カットが減少するように係数カットの位置情報を変更する。
例えば、位置変更手段202は、係数を0に置換する数が少なくなるように係数カット位置情報を変更する。また、位置変更手段202は、DC成分のブロックでは係数カットを行わないように変更してもよい。
位置変更手段202は、DC成分のブロックに対しては、変更された係数カットの位置情報を量子化/係数カット手段103に出力し、DC成分以外のブロックに対しては、例えば係数カットの位置情報を変更せずに、量子化/係数カット手段103に出力する。
なお、位置変更手段202は、係数カットの位置変更について、輝度信号及び色差信号の両方で処理することができる。位置変更手段202は、モード変更手段201が処理を行わない場合は、輝度信号及び色差信号の両方に対して位置変更処理を行う。
一方、位置変更手段202は、モード変更手段201が処理を行う場合、所定の境界の下にあるブロックの輝度信号においてDC成分のブロックは生成されない(Intra16×16以外で符号化される)ため、色差信号に対して位置変更処理を行えばよい。
図8は、レベルにおける係数カットの一例を示す図である。図8に示す例では、位置(レベル0)、位置(レベル2)、位置(レベル4)の場合を表している。図8に示す網掛け位置の係数が、0に置き換えられる(係数カットされる)。
例えば、縦軸x=0〜3、横軸y=0〜3の4×4のブロックの場合を考える。このとき、各位置[x][y]をx+yで表す。図8に示すように、左上の位置は0、右下の位置は6で表される。
ここで、係数カット位置を示すレベルをN(0〜4)とし、位置[x][y]の周波数信号を周波数信号[x][y]とする。量子化/係数カット手段103は、係数カットの位置情報としてのレベルNを取得すると、次の通り、係数カットを行う。
N=1のとき、x+y=6となる位置の周波数信号[x][y]を0に置換する
N=2のとき、x+y=5〜6となる位置の周波数信号[x][y]を0に置換する
N=3のとき、x+y=4〜6となる位置の周波数信号[x][y]を0に置換する
N=4のとき、x+y=3〜6となる位置の周波数信号[x][y]を0に置換する
なお、N=0の場合は、係数カットをしないことを表す。
図9は、係数カットの位置変更の一例を示す図である。図9に示す例では、位置変更手段202は、DC成分のブロック51に対して、係数カットの位置のレベル4をレベル2に変更する。DC成分のブロック52は、位置変更後のブロックを示す。図9に示すように、位置変更手段202は、DC成分の係数に対し、0に置換される数を少なくすることができる。
図6に戻り、予測信号生成手段113は、変更手段112から取得した符号化モードと、復号画像記憶手段108から取得した復号画像とから予測信号を生成する。予測信号生成手段113は、生成した予測信号を、予測誤差信号生成手段101及び復号画像生成手段107に出力する。
これにより、上に隣接するブロックの画素値を参照できない位置にあるブロックについて、係数カットされるDC成分の数を減らすことができるため、画質を向上させることができる。よって、この所定の境界において、係数カットが生じるくらい低レート制御時であってもライン状のノイズを減らすことができる。
<動作>
次に、実施例1における動画像符号化装置100の動作について説明する。図10は、実施例1における符号化処理の一例を示すフローチャートである。図10に示す処理は、ブロック単位の符号化処理を示す。
ステップS101で、境界判定手段110は、境界位置情報と符号化対象ブロック位置情報とに基づき、所定の境界からの位置を判定し、判定結果を変更手段112に出力する。判定結果は、所定の境界の下にあるブロックであるか否かを示すフラグ情報などである。
また、位置決定手段111は、レート情報より係数カット位置を決定し、係数カットの位置情報を変更手段112に出力する。例えば、位置決定手段111は、レート制御により計算された量子化パラメータが、指定された目標レートを満たせないと判断した場合に、係数カットを実行するかを判断する。
位置決定手段111は、判断基準として、量子化パラメータが規格上の最大値となり、最大値の連続回数を閾値で判定してもよい。例として、量子化パラメータの最大値の連続回数をQP_COUNTとし、係数カット位置決定用のパラメータをQP_THとする。この場合、位置決定手段111は、以下の式により、係数カット位置を求めることができる。
係数カット位置=QP_COUNT/QP_TH ・・・式(1)
QP_COUNTやQP_THは、実験により適切な値が設定される。
他の方法として、位置決定手段111は、すでに符号化されたマクロブロックの情報量を累積して、1マクロブロックあたりの目標レートの閾値をどれだけ上回ったかで判定してもよい。例えば、位置決定手段111は、以下の式により、係数カット位置を決定してもよい。
マクロブロックの情報量平均=マクロブロックの情報量の累積/マクロブロックの累積数 ・・・式(2)
係数カット位置=α×マクロブロックの情報量平均/1マクロブロックあたりの目標レート ・・・式(3)
α:調整用の係数(αは実験などにより適切な値が設定される)
位置決定手段111は、基本的には最高周波成分から徐々に係数カットを行うように係数カット位置を決めていく。例えば、位置決定手段111は、係数カット位置を、前述したレベルNで表してもよい。
ステップS102で、モード決定手段109は、例えばIピクチャに対してはイントラ予測の中のブロックサイズを決定する。モード決定手段109は、各々の符号化モードで得られた予測画像と符号化対象ブロックとの差分絶対値和SADを計算し、最小となる符号化モードを選択することができる。
また、P、Bピクチャであれば、モード決定手段109は、インター予測との比較を行い、イントラ予測にするか、インター予測にするかを決定する。モード決定手段109は、決定された符号化モードを変更手段112に出力する。
各符号化モードのSAD値は、以下の通りである。
SAD8×8:intra8×8のSAD値
SAD4×4:intra4×4のSAD値
SAD16×16:intra16×16のSAD値
SADinter:インター予測のSAD値
Min(SADinter,Min(SAD16×16,Min(SAD8×8, SAD4×4)))
モード決定手段109は、Min()が最小となる符号化モードを選択し、決定する。
ステップS103で、変更手段112は、境界判定手段110から取得した位置情報と、決定された符号化モードと、係数カットの位置情報とにより符号化モードを変更するかを判断する。変更手段112は、判断結果に基づき決定した符号化モードを予測信号生成手段113に出力する。
変更手段112は、境界判定手段110から取得した位置情報と変更後の符号化モードと、係数カットの位置情報とに基づき、係数カットの位置情報の変更を判断する。変更手段112は、変更後の係数カットの位置情報を量子化/係数カット手段103に出力する。このステップS103の詳細は、後述する。
ステップS104で、予測信号生成手段113は、変更手段112により変更された符号化モードと、復号画像とから予測信号を生成する。予測信号生成手段113は、生成した予測信号を、予測誤差信号生成手段101に出力する。
予測誤差信号生成手段101では、符号化対象ブロック(原画)と予測信号との差分を計算することで、予測誤差信号を生成する。生成された予測誤差信号は、直交変換手段102により直交変換されることで周波数信号となる。
ステップS105で、量子化/係数カット手段103は、直交変換後又は量子化後の周波数信号(係数)に対し、変更手段112で変更された係数カットの位置情報を閾値として係数カットを行う。係数カットは、例えば直交変換後の周波数信号に対して行う。
量子化/係数カット手段103は、係数カットの位置情報が示す係数カットのレベルを取得し、レベルに応じて係数カットを行う。例えば、量子化/係数カット手段103は、図8に示すように、係数カットの位置情報が示すレベルに応じて係数カットを行う。
量子化/係数カット手段103は、係数カット後の直交変換後の周波数信号に対して、予め決められた量子化ステップサイズQを用いて量子化を行う。なお、量子化/係数カット手段103は、直交変換後の周波数信号に対して量子化を行い、量子化後の信号に対して係数カットを実施してもよい。
ステップS106で、エントロピー符号化手段104は、量子化/係数カット手段103から取得した量子化信号をエントロピー符号化(可変長符号化)し、ストリームとして出力する。
ステップS107で、逆量子化手段105、逆直交変換手段106、復号画像生成手段107により復号画像を生成する。
具体的には、逆量子化手段105は、量子化/係数カット手段103から取得した量子化信号に対して逆量子化を行う。逆量子化手段105は、逆量子化後の周波数信号を逆直交変換手段106に出力する。
逆直交変換手段106は、直交変換の逆変換を行うことで復号処理された予測誤差信号を生成し、復号画像生成手段107に出力する。
復号画像生成手段107は、予測信号生成手段113から取得した予測信号であるブロックデータと、逆量子化手段105及び逆直交変換手段106により復号処理された予測誤差信号とを加算することにより、復号画像を生成する。
復号後のブロックデータの画素データは、復号画像記憶手段108に記憶される。復号画像記憶手段108は、局所復号されたブロックデータ(復号画像)を新たな参照ピクチャのデータとして記憶し、モード決定手段109と予測信号生成手段113に出力する。
(変更処理)
次に、ステップS103の変更処理について説明する。図11は、実施例1における変更処理の一例を示すフローチャートである。図11に示すステップS201で、境界判定手段110は、符号化対象ブロックが、所定の境界の下に位置するブロックであるか否かを判定する。符号化対象ブロックが所定の境界の下にあれば(S201−YES)ステップS202に進み、符号化対象ブロックが所定の境界の下になければ(S201−NO)変更処理は行われない。
所定の境界とは、上に隣接するブロックの画素値を参照することができないブロックの境界を示し、例えば、ピクチャ境界又はスライス境界である。
ステップS202で、モード変更手段201は、決定された符号化モード、境界判定手段110の判定結果、及び係数カットの位置情報に基づき、符号化モードを変更するかの判断を含む符号化モード変更処理を行う。符号化モード変更処理の詳細は、後述する。
ステップS203で、位置変更手段202は、係数カットの位置情報、決定された符号化モード、及び境界判定手段110の判定結果に基づき、係数カットの位置情報を変更するかの判断を含む係数カット位置変更処理を行う。係数カット位置変更処理の詳細は、後述する。
これにより、所定の境界、例えば、ピクチャ又はスライス境界の下にあるブロックに対して、符号化モード変更処理、係数カット位置変更処理を行うことができる。
(符号化モード変更処理)
次に、符号化モード変更処理について説明する。図12は、実施例1における符号化モード変更処理(その1)の一例を示すフローチャートである。図12に示すステップS301で、モード変更手段201は、Intra16×16の符号化モードであるか否かを判定する。Intra16×16の符号化モードであれば(ステップS301−YES)ステップS302に進み、Intra16×16の符号化モードでなければ(ステップS301−NO)変更処理は行われない。
ステップS302で、モード変更手段201は、係数カットの位置情報に基づき、係数カットが行われるか否かを判定する。係数カットがあれば(ステップS302−YES)ステップS303に進み、係数カットがなければ(ステップS302−NO)変更処理は行われない。
ステップS303で、モード変更手段201は、モード決定手段109から符号化モードを決定するときに使用した符号化モードを取得し、Intra8×8と、Intra4×4とのSADを比較し、SAD4×4の方が小さいかを判定する。
SAD4×4の方が小さければ(ステップS303−YES)ステップS304に進み、SAD4×4の方がSAD8×8以上であれば(ステップS303−NO)ステップS305に進む。
ステップS304で、モード変更手段201は、符号化モードをIntra4×4に変更する。
ステップS305で、モード変更手段201は、符号化モードをIntra8×8に変更する。なお、ステップS302の処理は、必ずしも必要な処理ではない。
これにより、所定の境界下のブロックでは、DC成分のブロックを発生するIntra16×16の符号化モードが決定されないようにすることができる。
図13は、実施例1における符号化モード変更処理(その2)の一例を示すフローチャートである。図13に示すステップS401、S402は、図12に示すステップS301、S302と同様であるため、その説明を省略する。
ステップS402のYESの後、モード変更手段201は、Intra8×8の符号化モードに変更する。なお、ステップS402の処理は、必ずしも必要な処理ではない。
これは、Intra16×16の場合、ブロックに含まれる画素値が平坦であることが予想できるため、Intra4×4よりもIntra8×8の方が、効率がよいと推測できるためである。これにより、符号化モードの符号化コストの取得処理や判定処理を省くことができる。
(係数カット位置変更処理)
次に、係数カット位置変更処理について説明する。図14は、実施例1における係数カット位置変更処理(その1)の一例を示すフローチャートである。図14に示すステップS501で、位置変更手段202は、符号化モードが色差イントラであるか否かを判定する。つまり、位置変更手段202は、符号化モードが色差信号に対するイントラ予測であるかを判定する。
色差イントラであれば(ステップS501−YES)ステップS502に進み、色差イントラでなければ(ステップS501−NO)係数カット位置は変更されない。
ステップS502で、位置変更手段202は、色差イントラであれば、符号化モードを変更する余地がないため、係数カット位置を変更する。このとき、位置変更手段202は、AC成分のブロックと、DC成分のブロックとで分離して、係数カット位置を変更する。
位置変更手段202は、AC成分のブロックの係数カットの位置情報について、位置決定手段111で決定された係数カット位置をそのまま量子化/係数カット手段103に出力する。位置変更手段202は、DC成分のブロックの係数カットの位置情報について、AC成分のブロックの係数カット位置≧DC成分のブロックの係数カット位置となるように選択する。
よって、位置変更手段202は、次の式を満たすように、DC成分のブロックの係数カット位置を変更する。
DC成分のブロックの係数カット位置=AC成分のブロックの係数カット位置/位置調整パラメータ ・・・式(4)
位置調整パラメータは、1より大きい値で実験などにより適切な値(例えば2)が設定される。
図15は、実施例1における係数カット位置変更処理(その2)の一例を示すフローチャートである。図15に示すステップS601は、図14に示すステップS501と同様であるため、その説明を省略する。
ステップS602で、位置変更手段202は、DC成分のブロックにおける係数カット位置の最大値MAXDC_THを予め設定しておく。位置変更手段202は、AC成分のブロックの係数カット位置が閾値MAXDC_THより大きいかを判定する。この条件を満たせば(ステップS602−YES)ステップS603に進み、この条件を満たさなければ(ステップS602−NO)変更処理は行われない。
ステップS603で、位置変更手段202は、DC成分のブロックの係数カット位置を、閾値MAXDC_THに変更する。ステップS602、S603をまとめると、位置変更手段202は、次の式によりDC成分のブロックの係数カット位置を求める。
DC成分のブロックの係数カット位置=MIN(MAXDC_TH,AC成分のブロックの係数カット位置) ・・・式(5)
また、図14,15以外にも、位置変更手段202は、DC成分を一切カットしないとしてもよい。一切カットしないとは、係数を0に置換しないということである。また、位置変更手段202は、DC成分を係数カットしない代わりに、AC成分の係数カット数を増やしてもよい。これにより、図9で示したように、DC成分の係数のカット位置が、カット数が少なくなるように変更される。
ここで、所定の境界下のマクロブロックラインでは、通常の係数カットよりも情報量が多くなる。しかし、次のマクロブロックラインにおいて、位置決定手段111により決定される係数カット位置のレベルが上がることで、全体の情報量を抑えることが可能となる。
以上、実施例1によれば、上に隣接するブロックの画素値を参照できないブロックにおいて、画質を向上させることができる。これにより、係数カットを行うくらい低レート制御時であっても、ピクチャ又はスライスの境界において、ライン状のノイズを減らすことができる。
[実施例2]
次に、実施例2における動画像符号化装置300について説明する。実施例2では、符号化モードを決定する際に、符号化対象ブロックの位置が所定の境界の下にあるブロックである場合に、DC成分とAC成分とのブロックに分離する符号化モード以外の符号化モードに決定する。
<構成>
図16は、実施例2における動画像符号化装置300の構成の一例を示すブロック図である。図16に示す構成で、図6に示す構成と同様のものは同じ符号を付し、その説明を省略する。
モード決定手段301は、符号化対象ブロックのブロックデータとピクチャ情報と復号画像と境界判定手段110で得られた位置情報とに基づき、符号化モードを決定する。モード決定手段301は、例えば符号化対象ブロックがIピクチャであり、所定の境界下のブロックであった場合、直交変換を行う際にDC成分のブロックとAC成分のブロックとに分離される符号化モード以外を選択して決定する。
この場合、H.264/AVCを例にすると、モード決定手段301は、16×16サイズのイントラ符号化モード(Intra16×16)以外の符号化モードに決定する。Intra16×16以外の符号化モードとは、例えば8×8サイズのイントラ符号化モード(Intra8×8)と、4×4サイズのイントラ符号化モード(Intra4×4)とがある。
モード決定手段301は、Intra8×8と、Intra4×4とに対し、符号化対象ブロックと予測画像との差分絶対値和SADを比較し、小さい方を符号化モードに決定する。モード決定手段301は、決定した符号化モードを、予測信号生成手段113及び変更手段302に出力する。
変更手段302は、境界判定手段110からの位置情報と、決定された符号化モードと、係数カットの位置情報とにより、係数カット位置変更を判断する。変更手段302の処理は、実施例1の位置変更手段202の処理と同様である。
これにより、モード決定手段301では符号化モードの絞り込みが容易になり、処理量を削減できる。また、モード決定手段301で決定した符号化モードを用いて符号化するため、変更手段302では符号化モードの変更が不要となり、処理量を削減できる。
<動作>
次に、実施例2における動画像符号化装置300の動作について説明する。図17は、実施例2における符号化処理の一例を示すフローチャートである。ステップS701は、図10におけるステップS101と同様である。
ステップS702で、モード決定手段301は、例えばIピクチャに対してはイントラ予測の中のブロックサイズを決定する。モード決定手段301は、符号化対象ブロックの位置が、所定の境界の下に位置する場合は、AC成分のブロックとDC成分のブロックとに分離して符号化する符号化モード以外を選択する。各々の符号化モードで得られた予測画像のブロックと符号化対象ブロックとの差分絶対値和SADを計算し、最小となる符号化モードを選択する。
また、モード決定手段301は、P、Bピクチャであれば、インター予測との比較を行い、イントラ予測にするか、インター予測にするかを決定する。このとき、モード決定手段301は、符号化対象ブロックが所定の境界の下に位置する場合、例えばIntra16×16以外の符号化モードに決定する。モード決定手段301は、決定した符号化モードを変更手段302及び予測信号生成手段113に出力する。
ステップS703で、変更手段302は、図14又は図15に示した位置変更処理を行う。
ステップS704以降の処理は、図10に示すステップS104以降の処理と同様であるため、その説明を省略する。
(符号化モード決定処理)
次に、モード決定手段301によるモード決定処理について説明する。図18は、実施例2におけるモード決定手段301によるモード決定処理の一例を示すフローチャートである。
ステップS801で、モード決定手段301は、符号化対象ブロックが、所定の境界の下に位置するブロック(所定のブロックとも呼ぶ)であるか否かを判定する。符号化対象ブロックが所定のブロックであれば(ステップS801−YES)ステップS802に進み、符号化対象ブロックが所定のブロックでなければ(ステップS801−NO)ステップS805に進む。
ステップS802〜S804の処理は、図12に示すステップS303〜S305の処理と同様であるため、その説明を省略する。
ステップS805で、モード決定手段301は、各符号化モードで算出した符号化コストが最小となる符号化モードに決定する。
これにより、ピクチャ又はスライスの境界下のマクロブロックでは、AC成分とDC成分とに分離して符号化する符号化モードは選択されないため、DC成分が係数カットされることが少なくなり、低レート制御時であっても画質を向上させることができる。
なお、実施例1、2で、Iピクチャのみに対して、前述した変更処理を行うようにしてもよいし、Bピクチャのみ前述した変更処理を行わないようにしてもよい。
[実施例3]
図19は、画像処理装置400の構成の一例を示すブロック図である。画像処理装置400は、各実施例で説明した動画像符号化装置の一例である。図19に示すように、画像処理装置400は、制御部401、主記憶部402、補助記憶部403、ドライブ装置404、ネットワークI/F部406、入力部407、表示部408を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
制御部401は、コンピュータの中で、各装置の制御やデータの演算、加工を行うCPUである。また、制御部401は、主記憶部402や補助記憶部403に記憶された動画像符号化プログラムを実行する演算装置であり、入力部407や記憶装置からデータを受け取り、演算、加工した上で、表示部408や記憶装置などに出力する。
制御部401は、この動画像符号化プログラムを実行することで、実施例1、2で説明した動画像符号化処理を実現できる。
主記憶部402は、ROM(Read Only Memory)やRAM(Random Access Memory)などであり、制御部401が実行する基本ソフトウェアであるOSやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
補助記憶部403は、HDD(Hard Disk Drive)などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
ドライブ装置404は、記録媒体405、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
また、記録媒体405に、所定のプログラムを格納し、この記録媒体405に格納されたプログラムはドライブ装置404を介して画像処理装置400にインストールされる。インストールされた所定のプログラムは、画像処理装置400により実行可能となる。
ネットワークI/F部406は、有線及び/又は無線回線などのデータ伝送路により構築されたLAN(Local Area Network)、WAN(Wide Area Network)などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置400とのインターフェースである。
入力部407は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部408の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部407は、ユーザが制御部401に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
表示部408は、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等により構成され、制御部401から入力される表示データに応じた表示が行われる。
このように、前述した実施例で説明した動画像符号化処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した画像符号化処理又は画像復号処理を実現することができる。
また、このプログラムを記録媒体405に記録し、このプログラムが記録された記録媒体405をコンピュータや携帯端末に読み取らせて、前述した画像符号化処理又は画像復号処理を実現させることも可能である。なお、記録媒体405は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、前述した各実施例で説明した画像符号化処理又は画像復号処理は、1つ又は複数の集積回路に実装してもよい。
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
なお、以上の実施例に関し、さらに以下の付記を開示する。
(付記1)
画像を複数のブロックに分割して符号化する動画像符号化装置であって、
前記ブロック毎に符号化モードを決定するモード決定手段と、
前記モード決定手段により決定された符号化モードで符号化された前記ブロックの係数に対し、レート情報に基づいて前記ブロックの係数を0に置換する位置を決定する位置決定手段と、
処理対象ブロックが、上に隣接するブロックの画素値に対して参照不可である第1ブロックであるか否かを判定する判定手段と、
前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数に対し、前記位置決定手段により決定された位置を、0に置換する数が減少する位置に変更する変更手段と、
前記変更手段により変更された位置に基づき、前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数を0に置換する係数カット手段と、
を備える動画像符号化装置。
(付記2)
前記変更手段は、
前記処理対象ブロックが、AC成分のブロックとDC成分のブロックとに分けて符号化される第1符号化モードである場合、決定対象の複数の符号化モードの中から、前記第1符号化モード以外の符号化モードに変更する付記1記載の動画像符号化装置。
(付記3)
前記変更手段は、
前記第1符号化モード以外の1又は複数の符号化モードの中で、符号化コストが最小となる符号化モードに変更する付記2記載の動画像符号化装置。
(付記4)
前記モード決定手段は、
前記判定手段による判定結果を取得し、前記処理対象ブロックが前記第1ブロックである場合、決定対象の複数の符号化モードの中から、AC成分のブロックとDC成分のブロックとに分けて符号化される第1符号化モード以外の符号化モードに決定する付記1記載の動画像符号化装置。
(付記5)
前記第1ブロックは、スライス境界の下のブロックである付記1乃至4いずれか一に記載の動画像符号化装置。
(付記6)
画像を複数のブロックに分割して符号化する動画像符号化装置が実行する動画像符号化方法であって、
前記ブロック毎に符号化モードを決定し、
前記決定された符号化モードで符号化された前記ブロックの係数に対し、レート情報に基づいて0に前記ブロックの係数を置換する位置を決定し、
処理対象ブロックが、上に隣接するブロックの画素値に対して参照不可である第1ブロックであるか否かを判定し、
前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数に対し、前記決定された位置を、0に置換する数が減少する位置に変更し、
前記変更された位置に基づき、前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数を0に置換する処理を有する動画像符号化方法。
(付記7)
画像を複数のブロックに分割して符号化する動画像符号化装置に実行させる動画像符号化プログラムであって、
前記ブロック毎に符号化モードを決定し、
前記決定された符号化モードで符号化された前記ブロックの係数に対し、レート情報に基づいて前記ブロックの係数を0に置換する位置を決定し、
処理対象ブロックが、上に隣接するブロックの画素値に対して参照不可である第1ブロックであるか否かを判定し、
前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数に対し、前記決定された位置を、0に置換する数が減少する位置に変更し、
前記変更された位置に基づき、前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数を0に置換する処理を有する動画像符号化プログラム。
100、300 動画像符号化装置
101 予測誤差信号生成手段
102 直交変換手段
103 量子化/係数カット手段
104 エントロピー符号化手段
105 逆量子化手段
106 逆直交変換手段
107 復号画像生成手段
108 復号画像記憶手段
109、301 モード決定手段
110 境界判定手段
111 位置決定手段
112、302 変更手段
113 予測信号生成手段
201 モード変更手段
202 位置変更手段

Claims (6)

  1. 画像を複数のブロックに分割して符号化する動画像符号化装置であって、
    前記ブロック毎に符号化モードを決定するモード決定手段と、
    前記モード決定手段により決定された符号化モードで符号化された前記ブロックの係数に対し、レート情報に基づいて前記ブロックの係数を0に置換する位置を決定する位置決定手段と、
    処理対象ブロックが、上に隣接するブロックの画素値に対して参照不可である第1ブロックであるか否かを判定する判定手段と、
    前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数に対し、前記位置決定手段により決定された位置を、0に置換する数が減少する位置に変更する変更手段と、
    前記変更手段により変更された位置に基づき、前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数を0に置換する係数カット手段と、
    を備える動画像符号化装置。
  2. 前記変更手段は、
    前記処理対象ブロックが、AC成分のブロックとDC成分のブロックとに分けて符号化される第1符号化モードである場合、決定対象の複数の符号化モードの中から、前記第1符号化モード以外の符号化モードに変更する請求項1記載の動画像符号化装置。
  3. 前記変更手段は、
    前記第1符号化モード以外の1又は複数の符号化モードの中で、符号化コストが最小となる符号化モードに変更する請求項2記載の動画像符号化装置。
  4. 前記モード決定手段は、
    前記判定手段による判定結果を取得し、前記処理対象ブロックが前記第1ブロックである場合、決定対象の複数の符号化モードの中から、AC成分のブロックとDC成分のブロックとに分けて符号化される第1符号化モード以外の符号化モードに決定する請求項1記載の動画像符号化装置。
  5. 画像を複数のブロックに分割して符号化する動画像符号化装置が実行する動画像符号化方法であって、
    前記ブロック毎に符号化モードを決定し、
    前記決定された符号化モードで符号化された前記ブロックの係数に対し、レート情報に基づいて前記ブロックの係数を0に置換する位置を決定し、
    処理対象ブロックが、上に隣接するブロックの画素値に対して参照不可である第1ブロックであるか否かを判定し、
    前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数に対し、前記決定された位置を、0に置換する数が減少する位置に変更し、
    前記変更された位置に基づき、前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数を0に置換する処理を有する動画像符号化方法。
  6. 画像を複数のブロックに分割して符号化する動画像符号化装置に実行させる動画像符号化プログラムであって、
    前記ブロック毎に符号化モードを決定し、
    前記決定された符号化モードで符号化された前記ブロックの係数に対し、レート情報に基づいて前記ブロックの係数を0に置換する位置を決定し、
    処理対象ブロックが、上に隣接するブロックの画素値に対して参照不可である第1ブロックであるか否かを判定し、
    前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数に対し、前記決定された位置を、0に置換する数が減少する位置に変更し、
    前記変更された位置に基づき、前記第1ブロックと判定された処理対象ブロックにおける直交変換後又は量子化後のDC成分のブロックの係数を0に置換する処理を有する動画像符号化プログラム。
JP2011165946A 2011-07-28 2011-07-28 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム Active JP5768565B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011165946A JP5768565B2 (ja) 2011-07-28 2011-07-28 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
EP12165942.9A EP2552116B1 (en) 2011-07-28 2012-04-27 Motion picture coding apparatus, motion picture coding method and computer readable information recording medium
US13/462,643 US8891622B2 (en) 2011-07-28 2012-05-02 Motion picture coding apparatus, motion picture coding method and computer readable information recording medium
CN201210171628.9A CN102905125B (zh) 2011-07-28 2012-05-29 运动图像编码设备和运动图像编码方法
KR1020120058528A KR101345072B1 (ko) 2011-07-28 2012-05-31 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램을 기록한 컴퓨터 판독가능 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011165946A JP5768565B2 (ja) 2011-07-28 2011-07-28 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015081672A Division JP5943118B2 (ja) 2015-04-13 2015-04-13 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Publications (2)

Publication Number Publication Date
JP2013031007A true JP2013031007A (ja) 2013-02-07
JP5768565B2 JP5768565B2 (ja) 2015-08-26

Family

ID=46229180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011165946A Active JP5768565B2 (ja) 2011-07-28 2011-07-28 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Country Status (5)

Country Link
US (1) US8891622B2 (ja)
EP (1) EP2552116B1 (ja)
JP (1) JP5768565B2 (ja)
KR (1) KR101345072B1 (ja)
CN (1) CN102905125B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762918B2 (en) * 2011-05-27 2017-09-12 Hfi Innovation Inc. Method and apparatus for line buffer reduction for video processing
CN104159003B (zh) * 2014-08-21 2017-08-25 武汉大学 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统
US9762912B2 (en) * 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
EP3241351B1 (en) 2015-01-30 2021-04-28 MediaTek Inc. Methods for entropy coding of source samples with large alphabet

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08289289A (ja) * 1995-04-18 1996-11-01 Graphics Commun Lab:Kk 動画像圧縮装置
JP2000032393A (ja) * 1998-07-09 2000-01-28 Sony Corp 画像情報処理装置および方法、並びに提供媒体
JP2005039743A (ja) * 2003-07-18 2005-02-10 Sony Corp 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法
JP2008022405A (ja) * 2006-07-14 2008-01-31 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2008154060A (ja) * 2006-12-19 2008-07-03 Toshiba Corp 動画像符号化装置
JP2010087771A (ja) * 2008-09-30 2010-04-15 Nec Electronics Corp 画像符号化装置及び方法
JP2010087770A (ja) * 2008-09-30 2010-04-15 Nec Electronics Corp 画像符号化装置及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6693961B1 (en) * 2000-01-10 2004-02-17 Conexant Systems, Inc. System and method of video frame memory reduction of video decoders
US6763070B1 (en) * 2001-05-29 2004-07-13 Cisco Technology, Inc. Methods and apparatus for selecting a cut-off index
US6912255B2 (en) * 2002-05-30 2005-06-28 Mobixell Netwoks Inc. Bit rate control through selective modification of DCT coefficients
CN1219403C (zh) * 2002-12-20 2005-09-14 中国科学院计算技术研究所 引入视觉模型的mpeg视频码流码率转换方法
JP4213646B2 (ja) * 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
US9055298B2 (en) * 2005-07-15 2015-06-09 Qualcomm Incorporated Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information
JP4821723B2 (ja) * 2007-07-13 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
US8520730B2 (en) * 2007-11-28 2013-08-27 Panasonic Corporation Picture coding method and picture coding apparatus
JP2011024066A (ja) * 2009-07-17 2011-02-03 Sony Corp 画像処理装置および方法
KR101675116B1 (ko) * 2009-08-06 2016-11-10 삼성전자 주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9338449B2 (en) * 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08289289A (ja) * 1995-04-18 1996-11-01 Graphics Commun Lab:Kk 動画像圧縮装置
JP2000032393A (ja) * 1998-07-09 2000-01-28 Sony Corp 画像情報処理装置および方法、並びに提供媒体
JP2005039743A (ja) * 2003-07-18 2005-02-10 Sony Corp 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法
JP2008022405A (ja) * 2006-07-14 2008-01-31 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2008154060A (ja) * 2006-12-19 2008-07-03 Toshiba Corp 動画像符号化装置
JP2010087771A (ja) * 2008-09-30 2010-04-15 Nec Electronics Corp 画像符号化装置及び方法
JP2010087770A (ja) * 2008-09-30 2010-04-15 Nec Electronics Corp 画像符号化装置及び方法

Also Published As

Publication number Publication date
CN102905125A (zh) 2013-01-30
US8891622B2 (en) 2014-11-18
CN102905125B (zh) 2015-08-19
KR20130014343A (ko) 2013-02-07
EP2552116B1 (en) 2020-06-10
JP5768565B2 (ja) 2015-08-26
EP2552116A1 (en) 2013-01-30
US20130028323A1 (en) 2013-01-31
KR101345072B1 (ko) 2013-12-26

Similar Documents

Publication Publication Date Title
KR102125956B1 (ko) 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 장치
US10250908B2 (en) Adaptive transform size selection for geometric motion partitioning
JP5215951B2 (ja) 符号化装置及びその制御方法、コンピュータプログラム
JP2018534835A (ja) 短距離イントラ予測(sdip)ベースのビデオコーディング
US20130287312A1 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
US8903184B2 (en) Image-encoding method, image-encoding device, and computer-readable recording medium storing image-encoding program
US20130058420A1 (en) Decoding apparatus, decoding method, and computer-readable storage medium
JP5768565B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2008283402A (ja) 画像処理装置およびその方法
JP4383240B2 (ja) 画面内予測符号化装置、その方法及びそのプログラム
US8422562B2 (en) Decoding circuit, decoding method, and image reproducing apparatus
JP2014096638A (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
JP2024024080A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
JP5943118B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5518224B2 (ja) 符号化装置、符号化方法及びプログラム
JP2017073602A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
JP5789172B2 (ja) 画像処理装置及びプログラム
JP6757599B2 (ja) 符号化装置及びプログラム
KR20170124076A (ko) 영상 신호 그룹의 부호화 및 복호화 방법과 장치
JP2013098970A (ja) 画像復号装置、逆直交変換制御方法、プログラム及び画像符号化装置
KR20160092816A (ko) 비디오 부호화 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150608

R150 Certificate of patent or registration of utility model

Ref document number: 5768565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150