JP2019198114A - 復号装置、符号化装置、復号方法および符号化方法 - Google Patents
復号装置、符号化装置、復号方法および符号化方法 Download PDFInfo
- Publication number
- JP2019198114A JP2019198114A JP2019132788A JP2019132788A JP2019198114A JP 2019198114 A JP2019198114 A JP 2019198114A JP 2019132788 A JP2019132788 A JP 2019132788A JP 2019132788 A JP2019132788 A JP 2019132788A JP 2019198114 A JP2019198114 A JP 2019198114A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- filter
- prediction
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 175
- 230000000694 effects Effects 0.000 claims abstract description 213
- 238000004364 calculation method Methods 0.000 claims description 164
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 155
- 241000023320 Luma <angiosperm> Species 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 abstract description 213
- 238000012545 processing Methods 0.000 abstract description 195
- 238000001514 detection method Methods 0.000 abstract description 38
- 238000005192 partition Methods 0.000 description 342
- 230000008569 process Effects 0.000 description 109
- 239000013598 vector Substances 0.000 description 76
- 238000013139 quantization Methods 0.000 description 59
- 238000012986 modification Methods 0.000 description 52
- 230000004048 modification Effects 0.000 description 52
- 238000010586 diagram Methods 0.000 description 46
- 238000001914 filtration Methods 0.000 description 42
- 230000000875 corresponding effect Effects 0.000 description 31
- 238000003708 edge detection Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000009795 derivation Methods 0.000 description 19
- 230000011218 segmentation Effects 0.000 description 17
- KZSNJWFQEVHDMF-UHFFFAOYSA-N Valine Chemical compound CC(C)C(N)C(O)=O KZSNJWFQEVHDMF-UHFFFAOYSA-N 0.000 description 13
- 230000008859 change Effects 0.000 description 13
- 230000006872 improvement Effects 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 12
- 238000009825 accumulation Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 9
- 101100029969 Plasmodium berghei (strain Anka) PMVI gene Proteins 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000011045 prefiltration Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100025317 Candida albicans (strain SC5314 / ATCC MYA-2876) MVD gene Proteins 0.000 description 1
- 101150079299 MVD1 gene Proteins 0.000 description 1
- 101150020780 MVD2 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Abstract
Description
クであるKTAソフトウェアに採用されている方式などが挙げられる。
また、上記の問題を解決するために、本発明に係る復号装置は、対象領域に含まれる画素であって、水平方向に位置する画素の画素値の差分の絶対値の和である第1の値と、垂直方向に位置する画素の画素値の差分の絶対値の和である第2の値とを導出する特性値算出部と、特性値インデックスに対応するルマフィルタ係数を用いて、フィルタ済み画像を生成するフィルタ部と、を備え、上記特性値算出部は、上記第1の値と上記第2の値の和である活性度を導出し、上記第1の値と上記第2の値を比較することにより、方向インデックスを導出することを特徴としている。
を複数の単位領域グループの何れかに分類し、上記フィルタ手段が、出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するので、上記入力画像の方向性が、単位領域毎に異なるような場合に、当該方向性に応じて適切なフィルタ処理を行うことができる。
≦Ny,0≦z≦Nz)}の勾配のことを指す。ここで、Nx,Ny,Nzは、それぞれ、x方向の画素の総数、y方向の画素の総数、画素値zのとり得る最大値を表す。また、各単位領域における上記入力画像の方向性とは、各単位領域における上記入力画像の画素値の相関のより高い方向であると表現することもできる。
象画像の方向性が単位領域毎に異なるような場合であっても、予測画像の予測精度を向上させることができるので、符号化効率の高い符号化データを生成することができる。また、上記の構成を有する復号装置によれば、そのような符号化効率の高い符号化データを適切に復号することができる。
む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するフィルタ手段と、を備えていることを特徴としている。
特性値部分領域について設定されたフィルタ係数群を用いて算出するフィルタ手段と、を備えている画像フィルタ装置によって参照される符号化データのデータ構造において、上記特性値分割手段によって参照される特性値分割情報であって、上記特性値領域の分割の仕方を指定する特性値分割情報と、上記フィルタ手段によって用いられるフィルタ係数であって、上記特性値部分領域の各々についてのフィルタ係数と、を含んでいることを特徴としている。
て、互いに導出方法の異なる第1及び第2の特性値を算出する特性値算出手段と、上記第1及び第2の特性値によって張られる特性値領域を、特性値分割情報に従って複数の特性値部分領域に分割する特性値分割手段と、を備え、上記フィルタ手段は、各単位領域における出力画像の各画素値を、該単位領域について算出された第1及び第2の特性値の属する特性値部分領域について設定されたフィルタ係数を用いて算出する。
(符号化データの構成)
本実施形態に係る動画像符号化装置2及び動画像復号装置1の説明に先立って、動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1のデータ構造について説明を行う。動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1は、シーケンスレイヤ、GOP(Group Of Pictures)レイヤ、ピクチャレイヤ、スライスレイヤ、及び、マクロブロックレイヤ、からなる階層構造を有している。
)は、ピクチャヘッダPHに含まれる符号化パラメータの一例である。
ィルタ係数群毎のフィルタ係数の総数)を指定するタップ数指定情報、(2)フィルタ係数aI0〜aINT-1(NTは、フィルタ係数群Iに含まれるフィルタ係数の総数)、および、(
3)オフセットoIが含まれる。なお、互いに異なるフィルタ番号の付されたフィルタ係数群は、互いに異なるタイプに分類された分割領域(またはパーティション)のフィルタ処理に用いられる。例えば、フィルタ係数群0およびフィルタ係数群1は、それぞれ、タイプAに分類された分割領域、および、タイプAとは異なるタイプBに分類された分割領域
のフィルタ処理に用いられる。
が以下の処理1〜3を対象ブロックに施すことによって生成した符号化データである。処
理1:符号化対象画像から予測画像を減算した予測残差をDCT変換(Discrete Cosine Transform)する。処理2:処理1にて得られたDCT係数を量子化する。処理3:処理
2にて量子化されたDCT係数を可変長符号化する。上述した量子化パラメータqpは、動画像符号化装置2がDCT係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2pq/6)。
されている。予測インデックスPIがパーティションサイズによって意味が変わる相対的な番号であるのに対し、予測モード番号はパーティションサイズに依存しない一意な番号であり、各予測モードは、予測モード番号によって互いに識別が可能である(以下では、予測モード番号がAである予測モードを予測モードAと表すことにする)。また、図3(a)に示すように、パーティションのサイズが16×16画素である場合には、予測インデックスPIは、0,1,2,3,および4の何れかの値をとる。16×16画素のパーティションに対しては、予測インデックス0は予測モード0(DC予測)に対応し、予測インデックス1は予測モード1(プレーン予測)に対応し、予測インデックス2は予測モード2(方向予測0)に対応し、予測インデックス3は予測モード6(方向予測4)に対応している。パーティションのサイズが8×8画素、4×4画素、8×1画素、または、1×8画素である場合にも、図3(a)に示すように、パーティションのサイズ毎の各予測インデックスPIは、予測モードの何れかに対応付けられている。
以下では、本実施形態に係る動画像復号装置1について図1〜図21を参照して説明する。動画像復号装置1は、その一部に、H.264/MPEG−4.AVC、及び、KTAソフトウェアに採用されている技術を含む復号装置である。
きイントラ予測パーティションであるのかを決定する。そして、前者の場合には、インター予測画像生成部16にて生成されたインター予測画像Pred_Interを予測画像Predとして加算器20に供給し、後者の場合には、イントラ予測画像生成部17にて生成されたイントラ予測画像Pred_Intraを予測画像Predとして加算器20に供給する。
逆DCT変換によって得られた予測残差Dを加算器20に供給する。なお、量子化予測残差QDを逆量子化する際に、逆量子化・逆変換部19は、可変長符号復号部13から供給された量子化パラメータ差分Δqpから量子化ステップQPを導出する。量子化パラメータqpは、直前に逆量子化/逆DCT変換したマクロブロックに関する量子化パラメータqp’に量子化パラメータ差分Δqpを加算することによって導出でき、量子化ステップQPは、量子化ステップqpからQP=2pq/6によって導出できる。また、逆量子化・逆変換部19による予測残差Dの生成は、ブロック(変換単位)を単位として行われる。
以下では、イントラ予測画像生成部17によるイントラ予測画像Pred_Intraの生成処理について、図3〜図4を参照して説明する。
々に対応する予測方向を示す。図3(b)に示すように、方向予測0〜7は、対象パーティションの周辺の復号済みの画素値を、それぞれ、0度、22.5度、45度、67.5度、90度、112.5度、135度、および、−22.5度の方向に外挿することによって予測画像を生成することを示している。なお、上記の角度は、水平方向右向きを0度とし、時計回りに増加するものとして表現したものである(以下同様)。
対象パーティションに割り付けられた予測モードがDC予測である場合、イントラ予測画像生成部17は、対象パーティションの上辺または左辺に隣接する参照画素の画素値の平均値をとることにより、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部17は、予測対象画素の画素値pred[x,y]を、例えば以下の式
pred4x4[x,y]=(p[0,-1]+p[1,-1]+p[2,-1]+p[3,-1]+p[-1,0]+p[-1,1]+p[-1,2]+p[-1,3] +4)>>3
によって生成する。ここで、>>は右シフト演算を表し、a>>bの値はa÷(2のb乗)の値の小数部分を切り捨てた値に等しい。また、<<は左シフト演算を表し、a<<bの値はa×(2のb乗)の値に等しい。なお、本予測モードは、H.264/MPEG−4.AVC規格におけるDC prediction modeに対応している。
対象パーティションについての予測モードが方向予測0である場合、イントラ予測画像生成部17は、参照画素の画素値を水平方向右向きに外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部17は、予測対象画素の画素値pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=p[-1,y],(x,y=0...3)
によって生成する。なお、本予測モードは、H.264/MPEG−4.AVC規格におけるHorizontal prediction modeに対応している。
対象パーティションについての予測モードが方向予測1である場合、イントラ予測画像生成部17は、参照画素の画素値を22.5度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部17は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[-1,y-(x>>1)-1]+p[-1,y-(x>>1)]+1)>>1,(zHD=0,2,4,6の場合)
pred4x4[x,y]=(p[-1,y-(x>>1)-2]+2*p[-1,y-(x>>1)-1]+p[-1,y-(x>>1)]+2)>>2,(zHD=1, 3,5の場合)
pred4x4[x,y]=(p[-1,0]+2*p[-1,-1]+p[0,-1]+2)>>2,(zHD=-1の場合)
pred4x4[x,y]=(p[x-1,-1]+2*p[x-2,-1]+p[x-3,-1]+2)>>2(zHD=-2,-3の場合)
によって生成する。ここで、zHDは、zHD=2*y-xによって定義される。また、記号*は、積
を表す演算記号である(以下同様)。なお、本予測モードは、H.264/MPEG−4
.AVC規格におけるHorizontal down prediction modeに対応している。
対象パーティションについての予測モードが方向予測2である場合、イントラ予測画像生成部17は、参照画素の画素値を45度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部17は、pred4x4[x,y]を、例えば以下の式 pred4x4[x,y]=(p[x-y-2,-1]+2*p[x-y-1,-1]+p[x-y,-1]+2)>>2,(x>yの場合)
pred4x4[x,y]=(p[-1,y-x-2]+2*p[-1,y-x-1]+p[-1,y-x]+2)>>2,(x<yの場合)
pred4x4[x,y]=(p[0,-1]+2*p[-1,-1]+p[-1,0]+2)>>2,(x=yの場合)
によって生成する。なお、本予測モードは、H.264/MPEG−4.AVC規格におけるDiagonal down-right prediction modeに対応している。
対象パーティションについての予測モードが方向予測3である場合、イントラ予測画像生成部17は、参照画素の画素値を67.5度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部17は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[x-(y>>1)-1,-1]+p[x-(y>>1),-1]+1)>>1,(zVR=0,2,4,6の場合)
pred4x4[x,y]=(p[x-(y>>1)-2,-1]+2*p[x-(y>>1)-1,-1]+p[x-(y>>1),-1]+2)>>2,(zVR=1, 3,5の場合)
pred4x4[x,y]=(p[-1,0]+2*p[-1,-1]+p[0,-1]+2)>>2,(zVR=-1の場合)
pred4x4[x,y]=(p[-1,y-1]+2*p[-1,y-2]+p[-1,y-3]+2)>>2,(zVR=-2,-3の場合)
によって生成する。ここで、zVRは、zVR=2*x-yによって定義される。なお、本予測モードは、H.264/MPEG−4.AVC規格におけるVertical right prediction modeに対応している。
対象パーティションについての予測モードが方向予測4である場合、イントラ予測画像生成部17は、参照画素の画素値を垂直方向下向きに外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部17は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=p[x,-1],(x,y=0...3)
によって生成する。なお、本予測モードは、H.264/MPEG−4.AVC規格におけるVertical prediction modeに対応している。
対象パーティションについての予測モードが方向予測5である場合、イントラ予測画像生成部17は、参照画素の画素値を112.5度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部17は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[x+(y>>1),-1]+p[x+(y>>1)+1,-1]+1)>>1,(y=0,2の場合)
pred4x4[x,y]=(p[x+(y>>1),-1]+2*p[x+(y>>1)+1,-1]+p[x+(y>>1)+2,-1]+2)>>2,(y=1,3の場合)
によって生成する。なお、本予測モードは、H.264/MPEG−4.AVC規格におけるVertical left prediction modeに対応している。
対象パーティションについての予測モードが方向予測6である場合、イントラ予測画像生成部17は、参照画素の画素値を135度の方向に外挿することによって、予測対象画
素の画素値を生成する。より具体的には、イントラ予測画像生成部17は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[6,-1]+3*p[7,-1]+2)>>2,(x=3,y=3の場合)
pred4x4[x,y]=(p[x+y,-1]+2*p[x+y+1,-1]+p[x+y+2,-1]+2)>>2,(x=3ではなく,y=3では
ない場合)
によって生成する。なお、本予測モードは、H.264/MPEG−4.AVC規格におけるDiagonal down left prediction modeに対応している。
対象パーティションについての予測モードが方向予測7である場合、イントラ予測画像生成部17は、参照画素の画素値を−22.5度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部17は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[-1,y+(x>>1)]+p[-1,y+(x>>1)+1]+1)>>1,(zHU=0,2,4の場合)
pred4x4[x,y]=(p[-1,y+(x>>1)]+2*p[-1,y+(x>>1)+1]+p[-1,y+(x>>1)+2]+2)>>2,(zHU=1, 3の場合)
pred4x4[x,y]=(p[-1,2]+3*p[-1,3]+2)>>2,(zHU=5の場合)
pred4x4[x,y]=p[-1,3],(zHU>5の場合)
によって生成する。ここで、zHUは、zHU=x+2*yによって定義される。なお、本予測モードは、H.264/MPEG−4.AVC規格におけるHorizontal up prediction modeに
対応している。
プレーン予測は、対象パーティションが16×16画素である場合に選択可能な予測モードである。対象パーティションについての予測モードがプレーン予測である場合、イントラ予測画像生成部17は、当該対象パーティションに隣接する復号済みの参照画素の画素値を用いて、当該対象パーティションの各画素値を平面的な予測によって生成する。
ィションの左辺に隣接する復号済みの参照画素の座標を(−1、y)、その画素値をP(-1,y)(y=0〜15)と表す。また、対象パーティションにおいて座標(x、y)によっ
て指定される画素の画素値をpred_P(x,y)と表すことにする。
対象パーティションについての予測モードがプレーン予測である場合、イントラ予測画像生成部17は、対象パーティションの画素値pred_P(x,y)を、例えば以下の式
pred_P(x,y)=((15-y)*TR(x)+(y+1)*BR(x)+(15-x)*LC(y)+(x+1)*RC(y)+16)/32(x,y=0..
.15)
によって生成する。ここで、
TR(x)=P(x,-1),(x=0...15)
LC(y)=P(-1,y),(y=0...15)
BR(x)=((15-x)*LC(15)+(x+1)*BRS+8)/16,(x=0...15)
RC(y)=((15-y)*TR(15)+(y+1)*BRS+8)/16,(y=0...15)
BRS=DC+planar_delta_y
であり、DCは、DC予測によって生成された画素値を表すものとする。
また、イントラ予測画像生成部17は、対象パーティションの画素値pred_P(x,y)を、
以下の式によって算出する構成としてもよい。
ここで、
a=16*(p[-1,15]+p[15,-1])
b=(5*H+32)>>6
c=(5*V+32)>>6
H=Σ_x'{(x'+1)*(p[8+x',-1]-p[6-x',-1])}
V=Σ_y'{(y'+1)*(p[-1,8+y']-p[-1,6-y'])}
である。なお、上記の式において、Σ_x'{...}は、{}内の式について、x'=0からx'=7までの総和を表すものとし、Σ_y'{...}は、{}内の式について、y'=0からx'=7までの総和を表すものとする。また、Clip1Yは、
Clip1Y(x)=Clip3(0,(1<<BitDepthY)-1,x)
によって定義され、Clip3(a,b,c)は、c<aであるときに値aをとり、c>bであるときに値bをとり、それ以外の場合に値cをとるクリップ関数である。また、BitDepthYは、ビット深度に応じて定まる値をとる。なお、本例は、H.264/MPEG−4.AVC規格におけるIntra_16x16_Plane prediction modeに対応している。
続いて、TM予測について、図4(b)を参照して説明を行う。
まず、図4(b)に示すように、対象パーティションの左辺または上辺に隣接する画素、および、対象パーティションの左上の頂点を共有する画素よりなる逆L字型の領域をテンプレート領域TRに設定する。
続いて、復号済みの復号画像P(または、フィルタ済復号画像P_FL)において、テンプレート領域TRと同じ形の領域であって、テンプレート領域TRに最も類似する参照
領域RRを探索する。ここで、参照領域RRの探索は、例えば、画素値の差分絶対値の総和(Sum of Absolute Difference)を評価することによって行うことができる。
最後に、参照領域RRに上辺および左辺が接する4×4画素の領域の各画素値を、対象パーティションの対応する各画素値に設定する。
続いて、スケール予測について説明を行う。
まず、16×16画素の対象パーティションを4×4画素にダウンサンプリングすることによって得られる画像データと、対象パーティションの周辺のパーティションの各画素値の平均値との差分である残差データを周波数変換および量子化することにより得られた量子化係数であって、動画像符号化装置から伝送される量子化係数Fsrを復号する。
続いて、対象パーティションの周辺のパーティションの各画素値の平均値をとることによって、予測値dを算出する。
続いて、ステップS201にて復号された量子化係数を逆量子化および逆周波数変換することによって、4×4画素の残差データB’srを生成する。
続いて、ステップS202にて算出された予測値dと、ステップS203にて生成された4×4画素の残差データB’srとを加算することによって、4×4画素の画像データB’sを生成する。
最後に、ステップS204にて生成された4×4画素の画像データB’sを16×16画素にアップサンプリングすることによって、対象パーティションについての16×16画素のイントラ予測画像Pred_Intraを生成する。
まず、16×16画素の対象パーティションを4×4画素にダウンサンプリングするこ
とによって4×4画素の画像データBsを生成する。
続いて、対象パーティションの周辺のパーティションの各画素値の平均値をとることによって、予測値dを算出する。
続いて、ステップS201’にて生成された画像データBsと、ステップS202’にて算出された予測値dとの差分をとることによって残差データBsrを生成する。
続いて、残差データBsrを周波数変換および量子化することによって、量子化係数を生成する。生成された量子化係数は、動画像復号装置1に伝送される。
続いて、ステップS204’にて生成された量子化係数を逆周波数変換および逆量子化することによって残差データB’srを生成する。
続いて、ステップS205’にて生成された残差データB’srと、ステップS202’にて算出された予測値dとを加算することによって画像データB’sを生成する。
最後に、ステップS206にて生成された画像データB’sを16×16画素にアップサンプリングすることによって、16×16画素のイントラ予測画像Pred_Intraを生成する。
以下では、動画像復号装置1の備える適応フィルタ42について、図5〜図9を参照して説明を行う。
予測モード/サイズ蓄積部421は、イントラ予測画像生成部17より供給されるイントラ符号化モード情報IEMの示す、パーティションのサイズ(形状および大きさ)、および、パーティションに割り付けられた予測モードを蓄積する。予測モード/サイズ蓄積部421は、対象マクロブロックに含まれるすべてのパーティションについてのサイズおよび予測モードを蓄積する構成とすることができる。
以下では、エッジ方向検出部422について、図10(a)〜(b)を参照して説明する。
対象分割領域が1つの画素(対象画素)のみを含む場合、エッジ検出部422は、対象画素を中心とする3×3画素の参照領域を設定し、当該参照領域の各画素に対して、以下の数式(1a)および(1b)によって定義されるソーベルフィルタ行列SFM_x、お
よびSFM_yを作用させることによって、ソーベルフィルタ後の画素値Sobel_xおよびSobel_yを算出する。
Sobel_y=−a−2×b−c+f+2×g+h (2b)
続いて、エッジ検出部422は、以下の数式(3)によって、エッジ方向を示す角度(以下、「エッジ角度」とも呼称する)Thetaを算出する。
ここで、arctanは、三角関数tanの逆関数を表す。また、角度Thetaは、図10(b)に示すように、時計周りに増加するものとし、0度から180度までの範囲(0°≦Theta<180°)で表現されるものとする。
対象分割領域が複数の画素を含む場合、エッジ検出部422は、まず、対象分割領域に含まれる各画素について、3×3画素の参照領域を設定し、上述した方法によって各画素についてのソーベルフィルタ後の画素値Sobel_xおよびSobel_yを算出する。
なお、エッジ検出部422は、対象分割領域に含まれる全ての画素についてのエッジ強度ESが予め定められた閾値以下である場合には、当該対象分割領域については、エッジなしと判定し、判定結果を領域分類部424に供給する。
方向インデックス=1 |Sobel_y|≧a×|Sobel_x|かつ
|Sobel_y|≦b×|Sobel_x|かつ
Sobel_yとSobel_xの符号が等しい場合
方向インデックス=2 |Sobel_y|>b×|Sobel_x|の場合
方向インデックス=3 |Sobel_y|≧a×|Sobel_x|かつ
|Sobel_y|≦b×|Sobel_x|かつ
Sobel_yとSobel_xの符号が反対の場合
但し、a=tan(22.5°)=0.414・・・、b=tan(67.5°)=2.414・・・である。なお、この例では4つの方向インデックスを算出したが、2個の方向インデックスの算出や8個の方向インデックスを算出する構成としてもよい。
活性度算出部423は、可変長符号復号部13から供給されるフィルタオンオフ情報に含まれる領域指定情報を参照して、デブロック済復号画像P_DBにおける対象マクロブロックを1または複数の分割領域に分割し、各分割領域の画像について、活性度(activity)ACTを算出する。ここで、活性度とは、概略的に言えば、画像の乱雑さを示す指標であり、分割領域を含む領域にDCT変換を施した場合に得られる変換係数において大きな高周波成分が存在するかなどによっても測定可能であるが、ここでは隣接する画素の画素値によって測定する。隣接する画素の画素値の差が大きいほど、活性度が大きくなる。算出された分割領域毎の活性度ACTは、領域分類部424に供給される。
Absolute Difference, SAD)を指標として、活性度を評価することに対応している。
ている。
領域分類部424は、(1)予測モード/サイズ蓄積部421から供給される各パーティションのサイズ、(2)予測モード/サイズ蓄積部421から供給される各パーティションに割り付けられた予測モード、(3)エッジ方向検出部422から供給されるエッジ角度Theta、および、(4)活性度算出部423から供給される活性度ACTに基づいて、対象マクロブロックに含まれる各分割領域、または、各パーティションを、1または複数のタイプ(以下、「分割領域グループ」とも呼称)の何れかに分類する。領域分類部424による各分割領域、または、各パーティションの分類は、可変長符号復号部13により符号化データ#1から復号されたフィルタセット番号を参照して行われる。
以下では、領域分類部424による分類処理の第1の例について図11(a)〜(c)を参照して説明する。
フィルタセット番号が0である場合、領域分類部424は、図11(a)に示すように、対象マクロブロックに含まれる全ての分割領域をタイプ0に分類する。
フィルタセット番号が1である場合、領域分類部424は、図11(b)に示すように、エッジ角度Thetaが(0°≦Theta<45°、または135°≦Theta<180°)を満たす分割領域を、タイプ0に分類し、エッジ角度Thetaが(45°≦Theta<135°)を満たす分割領域をタイプ1に分類する。
フィルタセット番号が2である場合、領域分類部424は、図11(c)に示すように、エッジ角度Thetaが(0°≦Theta<22.5°、または157.5°≦Theta<180°)を満たす分割領域を、タイプ0に分類し、エッジ角度Thetaが(22.5°≦Theta<67.5°)を満たす分割領域をタイプ1に分類し、エッジ角度Thetaが(67.5°≦Theta<112.5°)を満たす分割領域をタイプ2に分類し、エッジ角度Thetaが(112.5°≦Theta<157.5°)を満たす分割領域をタイプ3に分類する。
以下では、領域分類部424による分類処理の第2の例について図12(a)〜(d)を参照して説明する。
フィルタセット番号が0である場合、領域分類部424は、図12(a)に示すように、対象マクロブロックに含まれる全ての分割領域をタイプ0に分類する。
フィルタセット番号が1である場合、領域分類部424は、図12(b)に示すように、活性度ACTが予め定められた閾値TH以下である分割領域をタイプ0に分類し、活性度ACTが当該閾値THよりも大きい分割領域をタイプ1に分類する。
フィルタセット番号が2である場合、領域分類部424は、図12(c)に示すように、活性度ACTが予め定められた閾値TH以下である分割領域をタイプ0に分類し、活性度ACTが当該閾値THよりも大きい分割領域であって、エッジ角度Thetaが(0°≦Theta<45°、または135°≦Theta<180°)を満たす分割領域をタイプ1に分類し、活性度ACTが当該閾値THよりも大きい分割領域であって、エッジ角度Thetaが(45°≦Theta<135°)を満たす分割領域をタイプ2に分類する。
フィルタセット番号が3である場合、領域分類部424は、図12(d)に示すように、活性度ACTが予め定められた第1の閾値TH1以下である分割領域をタイプ0に分類し、活性度ACTが当該第1の閾値よりも大きい第2の閾値TH2よりも大きい分割領域をタイプ5に分類する。
以下では、領域分類部424による分類処理の第3の例について図13(a)〜(c)を参照して説明する。
フィルタセット番号が0である場合、領域分類部424は、図13(a)に示すように、対象マクロブロックに含まれる全てのパーティションをタイプ0に分類する。
フィルタセット番号が1である場合、領域分類部424は、図13(b)に示すように、16×16画素のパーティション、および、8×8画素のパーティションをタイプ0に分類し、4×4画素のパーティション、8×1画素のパーティション、および、1×8画素のパーティションをタイプ1に分類する。
フィルタセット番号が2である場合、領域分類部424は、図13(c)に示すように、16×16画素のパーティション、および、8×8画素のパーティションをタイプ0に分類し、4×4画素のパーティションをタイプ1に分類し、8×1画素のパーティションをタイプ2に分類し、1×8画素のパーティションをタイプ3に分類する。
以下では、領域分類部424による分類処理の第4の例について図14(a)〜(c)を参照して説明する。
フィルタセット番号が0である場合、領域分類部424は、図14(a)に示すように、対象マクロブロックに含まれる全てのパーティションをタイプ0に分類する。
フィルタセット番号が1である場合、領域分類部424は、図14(b)に示すように、DC予測、プレーン予測、および、スケール予測の何れかが適用されたパーティションをタイプ0に分類し、それ以外の予測モードが適用されたパーティションをタイプ1に分類する。
フィルタセット番号が1である場合、領域分類部424は、図14(c)に示すように、DC予測、プレーン予測、および、スケール予測の何れかが適用されたパーティションをタイプ0に分類し、方向予測0が適用されたパーティションをタイプ1に分類し、方向予測4が適用されたパーティションをタイプ2に分類し、方向予測1〜3の何れかが適用されたパーティションをタイプ3に分類し、方向予測5〜7の何れかが適用されたパーティションをタイプ4に分類し、TM予測が適用されたパーティションをタイプ5に分類する。
わち、活性度が小さくなる傾向のある特定の予測モードと、それ以外の予測モードとを異なったタイプに分類している。上記の説明では、DC予測、プレーン予測、スケール予測の場合に活性度が小さくなる傾向を利用しているが、DC予測の場合には活性度が大きい場合もあることから、プレーン予測、および、スケール予測の場合とDC予測の場合とで異なるタイプを割り当てても良い。DC予測を異なるタイプに割り当てる場合、フィルタセット番号が1の場合にはタイプ1、フィルタセット番号が2の場合には、タイプ5に割り当てると良い。
以下では、領域分類部424による分類処理の第5の例について図15(a)〜(e)を参照して説明する。
フィルタセット番号が0である場合、領域分類部424は、図15(a)に示すように、対象マクロブロックに含まれる全てのパーティションをタイプ0に分類する。
フィルタセット番号が1である場合、領域分類部424は、図15(b)に示すように、16×16画素のパーティション、および、8×8画素のパーティションをタイプ0に分類し、4×4画素のパーティション、8×1画素のパーティション、および、1×8画素のパーティションをタイプ1に分類する。
フィルタセット番号が2である場合、領域分類部424は、図15(c)に示すように、サイズが16×16画素および8×8画素の何れかであって、DC予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ0に分類し、サイズが16×16画素および8×8画素の何れかであって、DC予測、プレーン予測、およびスケール予測以外の予測モードが適用されたパーティションをタイプ1に分類し、サイズが4×4画素、8×1画素、および1×8画素の何れかであって、DC予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ2に分類し、サイズが4×4画素、8×1画素、および1×8画素の何れかであって、DC予測、プレーン予測、およびスケール予測以外の予測モードが適用されたパーティションをタイプ3に分類する。
フィルタセット番号が3である場合、領域分類部424は、図15(d)に示すように、サイズが16×16画素、8×8画素、および、4×4画素の何れかであるパーティションを以下のように分類する。すなわち、DC予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ0に分類し、方向予測0が適用されたパーティションをタイプ1に分類し、方向予測4が適用されたパーティションをタイプ2に分類し、方向予測1〜3および5〜7の何れかが適用されたパーティションをタイプ3に分類し、TM予測が適用されたパーティションをタイプ4に分類する。
フィルタセット番号が4である場合、領域分類部424は、図15(e)に示すように、サイズが16×16画素、および8×8画素の何れかであるパーティションを以下のように分類する。すなわち、DC予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ0に分類し、方向予測0が適用されたパーティションをタイプ1に分類し、方向予測4が適用されたパーティションをタイプ2に分類し、方向予測1〜3の何れかが適用されたパーティションをタイプ1に分類し、方向予測5〜7の何れかが適用されたパーティションをタイプ2に分類し、TM予測が適応されたパーティションをタイプ3に分類する。
以下では、領域分類部424による分類処理の第6の例について図16(a)〜(e)を参照して説明する。
フィルタセット番号が0である場合、領域分類部424は、図16(a)に示すように、対象マクロブロックに含まれる全てのパーティションをタイプ0に分類する。
フィルタセット番号が1である場合、領域分類部424は、図16(b)に示すように、活性度ACTが予め定められた閾値TH以下であるパーティションをタイプ0に分類し、活性度ACTが当該閾値THよりも大きいパーティションをタイプ1に分類する。
フィルタセット番号が2である場合、領域分類部424は、図16(c)に示すように、活性度ACTが予め定められた閾値TH以下であるパーティションをタイプ0に分類し、活性度ACTが当該閾値THよりも大きいパーティションであって、DC予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ1に分類し、活性度ACTが当該閾値THよりも大きいパーティションであって、DC予測、プレーン予測、およびスケール予測以外の予測モードが適用されたパーティションをタイプ2に分類する。
フィルタセット番号が3である場合、領域分類部424は、図16(d)に示すように、活性度ACTが予め定められた閾値TH以下であるパーティションをタイプ0に分類する。また、領域分類部424は、活性度ACTが当該閾値THよりも大きいパーティションを以下のように分類する。すなわち、DC予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ1に分類し、方向予測0が適用されたパーティションをタイプ2に分類し、方向予測4が適用されたパーティションをタイプ3に分類し、それ以外の予測モードが適用されたパーティションをタイプ4に分類する。
フィルタセット番号が3である場合、領域分類部424は、図16(e)に示すように、活性度ACTが予め定められた閾値TH以下であるパーティションをタイプ0に分類する。また、領域分類部424は、活性度ACTが当該閾値THよりも大きいパーティションを以下のように分類する。すなわち、DC予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ1に分類し、方向予測0が適用されたパーティションをタイプ2に分類し、方向予測4が適用されたパーティションをタイプ3に分類し、方向予測1〜3の何れかが適用されたパーティションをタイプ4に分類し、方向予測5〜7の何れかが適用されたパーティションをタイプ5に分類し、TM予測が適用されたパーティションをタイプ6に分類する。
フィルタ処理部425は、デブロック済復号画像P_DBにおける対象マクロブロックに含まれる各分割領域、または、各パーティションに対して、領域分類部424より供給されるフィルタ係数群を用いてフィルタ処理を行うことによって、フィルタ済復号画像P_FLを生成する。ここで、タイプI(I=1、2、…)に分類された分割領域またはパーティションに対しては、フィルタ係数群Iを用いたフィルタ処理が行われる。
、y’)と表し、デブロック済復号画像P_DB(以下、「フィルタ前画像」とも呼称する)における対象マクロブロック内または対象マクロブロック周辺の画素値をS(x、y)と表すことにすると、フィルタ処理部425は、画素値SF(x’、y’)を、以下の数式(6)によって算出する。
以上の説明では、符号化データ#1のスライスヘッダSHに、フィルタセット番号が含まれている場合を例に挙げたが、本実施形態はこれに限定されるものではない。例えば、符号化データ#1のスライスヘッダSHは、フィルタセット番号に代えて、エッジ角度Theta、予測モード、各パーティションのサイズ、および活性度ACTと、1または複数のフィルタ係数群(より具体的には、フィルタ係数群を指定するフィルタ番号)との対応関係を示すテーブル(以下、「フィルタ割り当てテーブル」とも呼称する)を含む構成としてもよい。
スライスヘッダSHに含まれるフィルタセット番号に代えて、上述したフィルタ割り当てテーブルを含んでいる。
また、以上の説明では、数式(6)のフィルタ参照領域Rとして、図17(a)に示すものを例に挙げたが、本実施形態はこれに限られるものではない。本実施形態におけるフィルタ参照領域Rとしては、例えば、図17(b)〜(d)に示すものを用いてもよい。図17(a)〜(d)において、斜線が付された画素は、フィルタ対象画素を示している。以下では、図17(a)に示すフィルタ参照領域Rを「基本参照領域」と呼称し、図17(b)に示すフィルタ参照領域Rを「垂直方向型の参照領域」と呼称し、図17(c)に示すフィルタ参照領域Rを「水平方向型の参照領域」と呼称し、図17(d)に示すフィルタ参照領域Rを「斜め方向型の参照領域」と呼称する。
Thetaが(22.5°≦Theta<67.5°)を満たす分割領域内にフィルタ対象画素が存在する場合に、斜め方向型の参照領域を用い、エッジ角度Thetaが(67.5°≦Theta<112.5°)を満たす分割領域内にフィルタ対象画素が存在する場合に、垂直方向型の参照領域を用い、エッジ角度Thetaが(112.5°≦Theta<157.5°)を満たす分割領域内にフィルタ対象画素が存在する場合に、斜め方向型の参照領域を用いる構成とすることができる。
以上の説明では、符号化データ#1のスライスヘッダにフィルタセット番号が含まれている場合、および、当該フィルタセット番号に代えて、フィルタ割り当てテーブルが含まれている場合を例に挙げたが、本実施形態は、これらに限定されるものではない。
また、以上の説明では、領域分類部424は、対象マクロブロックに含まれる各分割領域、または、各パーティション(予測単位)を複数のタイプの何れかに分類する構成としたが、本実施形態はこれに限定されるものではない。例えば、領域分類部424は、対象マクロブロックに含まれる各ブロック(変換単位)を複数のタイプの何れかに分類する構成としてもよい。この場合、領域分類部424は、上述した構成と略同様に、対象マクロブロックに含まれる各ブロックのサイズ、予測モード、エッジ角度、および、活性度ACTに応じて、各ブロックを複数のタイプの何れかに分類する構成とすることができる。
本実施形態に係る動画像符号化装置2の構成について図22〜図24を参照して説明する。動画像符号化装置2は、その一部に、H.264/MPEG−4.AVC、及び、K
TAソフトウェアに採用されている技術を含む復号装置である。
より得られたDCT係数を量子化し、(3)量子化により得られた量子化予測残差QDを可変長符号符号化部22及び逆量子化・逆変換部23に供給する。なお、変換・量子化部21は、(1)量子化の際に用いる量子化ステップQPをマクロブロック毎に選択し、(2)選択した量子化ステップQPの大きさを示す量子化パラメータ差分Δqpを可変長符号符号化部22に供給し、(3)選択した量子化ステップQPを逆量子化・逆変換部23に供給する。ここで、量子化パラメータ差分Δqpとは、DCT変換/量子化するマクロブロックに関する量子化パラメータqp(QP=2pq/6)の値から、直前にDCT変換/量子化したマクロブロックに関する量子化パラメータqp’の値を減算して得られる差分値のことを指す。
逆DCT変換によって得られた予測残差Dを加算器31に供給する。量子化予測残差QDを逆量子化する際には、変換・量子化部21から供給された量子化ステップQPを利用する。なお、逆量子化・逆変換部23から出力される予測残差Dは、変換・量子化部21に入力される予測残差Dに量子化誤差が加わったものであるが、ここでは簡単のために共通の呼称を用いる。
以下では、動画像符号化装置2の備える適応フィルタ34について、図23〜図24を参照して説明を行う。
領域分割部340は、対象マクロブロックを1または複数の分割領域に分割し、各分割領域のサイズおよび位置を指定する領域指定情報を、エッジ方向検出部342、活性度算出部343、および、可変長符号符号化部22に対して供給する。ここで、各分割領域は、1つの画素から構成されるものであってもよいし、複数の画素から構成されるものであってもよい。なお、領域分割部340は、対象マクロブロックを、当該対象マクロブロック内の画像の特性(輝度、テクスチャ等)に応じて分割領域に分割する構成としてもよいし、符号化効率を最適化するように分割領域に分割する構成としてもよい。
イントラ符号化モード蓄積部341は、イントラ予測画像生成部25より供給されるイントラ符号化モード情報IEMの示す、パーティションのサイズ、および、パーティションに割り付けられた予測モードを蓄積する。イントラ符号化モード蓄積部341は、対象マクロブロックに含まれるすべてのパーティションについてのサイズおよび予測モードを蓄積する構成とすることができる。
エッジ方向検出部342は、領域分割部340から供給される領域指定情報を参照して、デブロック済復号画像P_DBにおける対象マクロブロックを1または複数の分割領域に分割し、各分割領域の画像についてエッジ検出を行う。また、各分割領域について、エッジの方向を示す角度(エッジ角度)Thetaを、領域分類部344に供給する。エッジ方向検出部342によるエッジ角度Thetaの算出は、エッジ方向検出部422と同様の方法によって行うことができる。なお、エッジ検出部342は、対象分割領域に含まれる全ての画素についてのエッジ強度が予め定められた閾値以下である場合には、当該対象分割領域については、エッジなしと判定し、判定結果を領域分類部344に供給する構成とすることができる。
活性度算出部343は、領域分割部340から供給される領域指定情報を参照して、デブロック済復号画像P_DBにおける対象マクロブロックを1または複数の分割領域に分割し、各分割領域の画像について、活性度(activity)ACTを算出する。また、活性度算出部343は、対象マクロブロックにイントラ予測が適用されている場合には、対象マクロブロックに含まれるパーティション毎に活性度ACTを算出する。算出された活性度ACTは、領域分類部344に供給される。活性度算出部343による活性度ACTの算出は、活性度算出部423と同様の方法によって行うことができる。
領域分類部344は、(1)イントラ符号化モード蓄積部341から供給される各パーティションのサイズ、(2)イントラ符号化モード蓄積部341から供給される各パーティションに割り付けられた予測モード、(3)エッジ方向検出部342から供給されるエッジ角度Theta、および、(4)活性度算出部343から供給される活性度ACTに基づいて、対象マクロブロックに含まれる各分割領域、または、各パーティションを、1または複数のタイプの何れかに分類する。
まず、フィルタセット番号kをk=0に設定する。
続いて、フィルタセット番号kによって定まる分類処理を、領域分類部424と同様の方法によって行う。
ステップS303にて行った分類により、各分割領域または各パーティションが何れのタイプに分類されたのかを示す分類情報(k)を生成する。
続いて、kに1を加算し、k≦4である場合には、ステップS302およびステップS303の処理を行い、k=5となったら処理を終了する。
フィルタ処理部345は、k=0〜4の各々について、分類情報(k)に基づいてフィルタパラメータ導出部346が算出したフィルタ係数群(k)を用いて、対象マクロブロックに含まれる各分割領域または各パーティションに対してフィルタ処理を行うことによって、フィルタ済復号画像P_FL(k)を生成する。生成されたフィルタ済復号画像P_FL(k)(k=0〜4)は、フィルタ処理部345の備えるメモリ、または、バッファメモリ24に格納される。また、フィルタ処理部345は、フィルタパラメータ導出部346より供給される、符号化コストが最小となるフィルタセット番号に含まれるフィルタ係数群を用いて生成したフィルタ済復号画像をフィルタ済復号画像P_FLとして、バッファメモリ24に供給する。
続いて、フィルタパラメータ導出部346の構成について、図24を参照して説明する。図24は、フィルタパラメータ導出部346の構成を示すブロック図である。図24に示すように、フィルタパラメータ導出部346は、フィルタ算出部461、コスト算出部462、および、最適フィルタセット選択部463を備えている。
フィルタ算出部461は、k=0〜4の各々について、分類情報(k)に基づいて、デブロック済復号画像P_DBに含まれる各分割領域、または、各パーティションを1または複数のタイプに分類し、タイプ毎に最適なフィルタ係数を算出する。
まず、フィルタセット番号kを、k=0に設定する。
続いて、分類情報(k)に基づいて、デブロック済復号画像P_DBに含まれる各分割領域、または、各パーティションを1または複数のタイプに分類する。
続いて、対象マクロブロックにおけるデブロック済復号画像P_DBのうちタイプIに分類された分割領域またはパーティションよりなる画像を画像Iと表し、画像Iに含まれる画素のうち座標が(x、y)である画素の画素値をSI(x、y)と表し、対象マクロ
ブロックにおける符号化対象画像に含まれる画素のうち座標が(x、y)である画素の画素値をST(x、y)と表すことにすると、フィルタ算出部461は、例えば、以下の数
式(7)によって与えられる二乗誤差Eを最小にするようなフィルタ係数aI(i、j)
およびオフセットoIを導出する。
続いて、ステップS404にて導出されたフィルタ係数aI(i、j)およびオフセッ
トoIをフィルタ係数群(k)として、フィルタ処理部345および最適フィルタセット
選択部463に供給する。
続いて、kに1を加算し、k≦4である場合には、ステップS402〜ステップS404の処理を行い、k=5となったら処理を終了する。
コスト算出部462は、フィルタ処理部345より供給されるフィルタ済復号画像P_FL(k)(k=0〜4)の各々と、符号化対象画像とを比較することによって、フィルタセット番号k(k=0〜4)毎の符号化コストを算出する。また、フィルタセット番号k(k=0〜4)毎の符号化コストを示すコスト情報は、最適フィルタセット選択部463に供給される。なお、符号化コストの算出には、レート歪み関数(Rate-Distortion function)を用いることができる。
最適フィルタセット選択部463は、コスト算出部462より供給されるコスト情報の示すフィルタセット番号k(k=0〜4)毎の符号化コストを互いに比較し、最小の符号化コストに関連付けられたフィルタセット番号を、可変長符号符号化部22およびフィルタ処理部345に供給する。また、最適フィルタセット選択部463は、上記最小の符号化コストに関連付けられたフィルタセットに含まれるフィルタ係数群、および、オンオフ情報を可変長符号符号化部22に供給する。
以上の説明では、動画像符号化装置2が、符号化データ#1にフィルタセット番号を含める場合を例に挙げたが、本実施形態における動画像符号化装置2の構成は、これに限定されるものではない。<変形例1>において説明したように、動画像符号化装置2は、フィルタセット番号に代えて、エッジ角度Theta、予測モード、各パーティションのサイズ、および活性度ACTと、1または複数のフィルタ係数群(より具体的には、フィルタ係数群を指定するフィルタ番号)との対応関係を示すテーブル(フィルタ割り当てテーブル)を符号化データ#1に含める構成としてもよい。この場合、適応フィルタ34の備える領域分類部344が、エッジ角度Theta、予測モード、各パーティションのサイズ、および活性度ACTをフィルタパラメータ導出部346に供給する構成とし、フィルタパラメータ導出部346が、エッジ角度Theta、予測モード、各パーティションのサイズ、および活性度ACTと、1または複数のフィルタ係数群との対応関係を示すフィルタ割り当てテーブルを生成する構成とすればよい。
また、適応フィルタ34の備えるフィルタ処理部345は、フィルタ参照領域Rとして、<変形例2>において説明したように、基本参照領域、垂直方向型の参照領域、水平方向型の参照領域、および、斜め方向型の参照領域のうち、何れかの参照領域を選択的に用いる構成とすることができる。より具体的には、イントラ符号化モード蓄積部341およびエッジ方向検出部342が、それぞれ、各パーティションの予測モード、および、各分割領域のエッジ角度Thetaを、フィルタ処理部345に供給する構成とし、フィルタ処理部345は、各分割領域のエッジ角度Theta、または、各パーティションの予測モードに応じて、上記複数の参照領域の何れかを選択的に用いる構成とすることができる。
また、動画像符号化装置2は、符号化データ#1に、フィルタセット番号、および、フィルタ割り当てテーブルの何れも含めない構成としてもよい。
いてフィルタ処理を行う構成としてもよい。
また、領域分類部344は、対象マクロブロックに含まれる各ブロック(変換単位)を複数のタイプの何れかに分類する構成としてもよい。この場合、領域分類部344は、上述した構成と略同様に、対象マクロブロックに含まれる各ブロックのサイズ、予測モード、エッジ角度、および、活性度ACTに応じて、各ブロックを複数のタイプの何れかに分類する構成とすることができる。
以下では、本発明の第2の実施形態について図25〜図38を参照して説明する。
割するのかを指定することにより、1または複数のグループをどのように設定するかが定まることになる。また、導出された2つの特性値のうち、優先度のより高い特性値、すなわち、より効果的な分類が期待できる特性値を第1の特性値Xと呼び、もう一方の特性値を第2の特性値Yと呼ぶ。なお、以下の説明において、上記2つの特性値によって張られる2次元領域を特性値領域とも呼称し、特性値領域上に設定される各部分領域を特性値部分領域とも呼称する。
・第1の特性値X:画像の活性度、第2の特性値Y:平均画素値
・第1の特性値X:画像の活性度、第2の特性値Y:単位領域の座標
・第1の特性値X:単位領域の座標、第2の特性値Y:画像の活性度
・第1の特性値X:スライス番号、第2の特性値Y:画像の活性度
・第1の特性値X:平均画素値、第2の特性値Y:画像の活性度
・第1の特性値X:単位領域のy座標、第2の特性値Y:単位領域のx座標
・第1の特性値X:単位領域のx座標、第2の特性値Y:単位領域のy座標
なお、適応フィルタによる、フィルタ済みの画像と符号化対象画像との誤差を減らす効果(ノイズ低減の効果)の観点からは、活性度を優先する。すなわち、第1の特性値Xとして画像の活性度を用いることが適当である。一方、複雑性の観点からは、特性値の算出が容易な特性値を優先することも考えられる。具体的には、単位領域の座標や、スライス番号、平均画素値などを第1の特性値として用いることも可能である。この場合、低複雑性が要求されるようなアプリケーションの場合において、第1の分割のみで分割を終了させるような適用方法が可能であり、小さな複雑性で領域別フィルタの効果を得ることができる。
本実施形態に係る動画像符号化装置4及び動画像復号装置3の詳細な説明に先立って、動画像符号化装置4によって生成され、動画像復号装置3によって復号される符号化データ#3のデータ構造について説明を行う。
まれる各シンタックスを示す図である。
adaptive_loop_filter_flagは、後述する適応フィルタ50による適応的フィルタ処理
のオンオフを指定するフラグであり、adaptive_loop_filter_flagが0の場合、適応的フ
ィルタ処理がオフに指定され、adaptive_loop_filter_flagが1の場合、適応的フィルタ
処理がオンに指定される。
alf_enable_region_filterは、適応フィルタ50による特性値部分領域毎のフィルタ処理のオンオフを指定するフラグであり、alf_enable_region_filterが0の場合、特性値部分領域毎のフィルタ処理がオフに指定され、alf_enable_region_filterが1の場合、特性値部分領域毎のフィルタ処理がオンに指定される。後述する各種のシンタックスalf_num_first_split_minus1、alf_first_split_val_shift、alf_second_split_type、alf_second_split_flag[i0]、alf_length_luma_minus5_div2[i0]、alf_region_pred_luma[i][j]、およびalf_coeff_luma[i][j]は、alf_enable_region_filterが1の場合にのみ符号化される。
割する分割の仕方を指定する特性値分割情報を構成する。特性値分割情報は、特性値領域CRの分割の仕方を指定する情報であり、第1段階の分割数及び形状(ここではalf_num_first_split_minus1)を指定する情報と、第1の分割で得られた特性値部分領域に対して第2段階の分割数及び形状を指定する情報(ここではalf_second_split_flag[i0])と、分割に用いる特性値の境界を指定するための情報(alf_second_split_type)から構成される。また、分割数及び形状とは別に、分割の仕方を指定する情報(ここではalf_second_split_type)も指定可能であり、これも特性値分割情報の一種である。
alf_num_first_split_minus1は、特性値領域の第1段階の分割の分割数AlfNumFirstSplitを指定するシンタックスであり、このシンタックスより、分割数AlfNumFirstSplitが、
AlfNumFirstSplit=alf_num_first_split_minus1+1
によって決定される。
i=2×i0、または2×i0+1
・alf_second_split_type=1の場合
i=i0
第1の分割によって得られた特性値部分領域であって、初期分割インデックス[i0]によって指定される特性値部分領域のことを特性値部分領域CPR[i0]とも表記する。
alf_first_split_val_shiftは、特性値分割点PXn(1≦n≦NX−1)を変更する
ために参照されるフラグである。特性値分割点PXnは、alf_first_split_val_shiftの
値に応じて変更される。
alf_second_split_typeは、第2段階の分割の種別を指定するためのフラグである。alf_second_split_typeが0であれば、各特性値部分領域は、特性値Xおよび特性値Yに基づいて1または複数の特性値部分領域に更に分割され、alf_second_split_typeが1であれば、各特性値部分領域は、特性値Yに基づいて1または複数の特性値部分領域に更に分割される。
このように、特性値分割点PXnの各値は、alf_first_split_val_shiftの値に応じて変
更される。
るための情報(第1分割点指定情報)を構成する。
alf_second_split_flag[i0]は、第1段階の分割によって得られた各特性値部分領域に
ついて、第2段階の分割の具体的な態様を指定するシンタックスである。上述のalf_second_split_type、およびalf_second_split_flag[i0]によって、第1段階の分割によって得られた各特性値部分領域についての、第2段階の分割が具体的に指定される。
の情報(第2分割点指定情報)を構成する。
られた特性値部分領域CPR[i0=0]は以下のように分割される。
・alf_second_split_flag[i0]=1:特性値Xに関して2分割(特性値分割点:PX1
)
・alf_second_split_flag[i0]=2:特性値Yに関して2分割(特性値分割点:PY2
)
・alf_second_split_flag[i0]=3:特性値Xおよび特性値Yのそれぞれに関して2分
割の合計4分割(特性値分割点:PX1,PY2)
また、alf_second_split_type=1の場合、第1段階の分割によって得られた特性値部
分領域CPR[i0=0]は以下のように分割される。
・alf_second_split_flag[i0]=1:特性値Yに関して2分割(特性値分割点:PY2
)
・alf_second_split_flag[i0]=2:特性値Yに関して2分割(特性値分割点:PY1
)
・alf_second_split_flag[i0]=3:特性値Yに関して4分割(特性値分割点:PY1
,PY2,PY3)
また、第1段階の分割によって得られた特性値部分領域CPR[i0=0]に対して第2段階の分割を行うことによって得られた各特性値部分領域は、初期分割インデックス[i0]と再分割インデックス[j0]とを組み合わせて得られる特性値領域内インデックス(i0、j0)によって指定される。ここで、再分割インデックス[j0]は、特性値部分領域CPR[i0]に含まれる各特性値部分領域を指定するインデックスである。特性値領域内インデックス(i0、j0)によって指定される特性値部分領域を特性値部分領域CPR(i0、j0)とも表記する。
・alf_second_split_flag[i0]=1:CPR(i0、0)、およびCPR(i0、1
)
・alf_second_split_flag[i0]=2:CPR(i0、0)、およびCPR(i0、1
)
・alf_second_split_flag[i0]=3:CPR(i0、0)、CPR(i0、1)、C
PR(i0、2)、およびCPR(i0、3)
また、alf_second_split_type=0の場合、各特性値部分領域CPR(i0、j0)に
含まれている分割単位DU[i][j]は以下の通りである。
CPR(i0、0):DU[2×i0][0],DU[2×i0][1],DU[2×i0+1][0],DU[2×i0+1][1]
・alf_second_split_flag=1の場合:
CPR(i0、0):DU[2×i0][0],DU[2×i0][1]
CPR(i0、1):DU[2×i0+1][0],DU[2×i0+1][1]
・alf_second_split_flag=2の場合:
CPR(i0、0):DU[2×i0][0],DU[2×i0+1][0]
CPR(i0、1):DU[2×i0][1],DU[2×i0+1][1]
・alf_second_split_flag=3の場合:
CPR(i0、0):DU[2×i0][0]
CPR(i0、1):DU[2×i0][1]
CPR(i0、2):DU[2×i0+1][0]
CPR(i0、3):DU[2×i0+1][1]
また、alf_second_split_type=1の場合、各特性値部分領域CPR(i0、j0)に
含まれている分割単位DU[i][j]は以下の通りである。
CPR(i0、0):DU[i0][0],DU[i0][1],DU[i0][2],DU[i0][3]
・alf_second_split_flag=1の場合:
CPR(i0、0):DU[i0][0],DU[i0][1]
CPR(i0、1):DU[i0][2],DU[i0][3]
・alf_second_split_flag=2の場合:
CPR(i0、0):DU[i0][0]
CPR(i0、1):DU[i0][1],DU[i0][2],DU[i0][3]
・alf_second_split_flag=3の場合:
CPR(i0、0):DU[i0][0]
CPR(i0、1):DU[i0][1]
CPR(i0、2):DU[i0][2]
CPR(i0、3):DU[i0][3]
(alf_length_luma_minus5_div2)
alf_length_luma_minus5_div2[i0]は、第1段階の分割によって得られた各特性値部分
領域についてのフィルタのタップ数を指定するためのシンタックス(タップ数指定情報)である。このシンタックスより、タップ数AlfLengthLumaが、
AlfLengthLuma=alf_length_luma_minus5_div2×2+5
によって決定される。
、本実施形態に係る適応フィルタによってそれぞれ設定される参照領域R0、R1、R2を例示する図である。図30においては、菱形の参照領域を例示しているが、本実施形態における参照領域は、これらの例に限定されるものではなく、alf_length_luma_minus5_div2[i0]によってタップ数が指定される矩形状の参照領域を用いてもよい。
alf_coeff_luma[i][j](i=i0,2×i0,2×i0+1、j=0,1,2,3)は、各特性値部分領域についてのフィルタ係数(オフセットを含む、以下同様)を指定するためのシンタックスである。
と、それらに割り付けられるalf_coeff_luma[i][j]との対応関係、すなわち、特性値領域内インデックス(i0、j0)とalf_coeff_luma[i][j]との対応関係は以下の通りである。なお、以下の表記において、「*」は積を表す演算記号である。
CPR(i0、0):alf_coeff_luma[i0*2][0]
・alf_second_split_flag=1の場合:
CPR(i0、0):alf_coeff_luma[i0*2][0]
CPR(i0、1):alf_coeff_luma[i0*2][1]
・alf_second_split_flag=2の場合:
CPR(i0、0):alf_coeff_luma[i0*2][0]
CPR(i0、1):alf_coeff_luma[i0*2][1]
・alf_second_split_flag=3の場合:
CPR(i0、0):alf_coeff_luma[i0*2][0]
CPR(i0、1):alf_coeff_luma[i0*2][1]
CPR(i0、2):alf_coeff_luma[i0*2+1][0]
CPR(i0、3):alf_coeff_luma[i0*2+1][1]
また、alf_second_split_type=1の場合について、各特性値部分領域CPR(i0、
j0)と、それらに割り付けられるalf_coeff_luma[i][j]との対応関係、すなわち、特性値領域内インデックス(i0、j0)とalf_coeff_luma[i][j]との対応関係は以下の通りである。
CPR(i0、0):alf_coeff_luma[i0][0]
・alf_second_split_flag=1の場合:
CPR(i0、0):alf_coeff_luma[i0][0]
CPR(i0、1):alf_coeff_luma[i0][2]
・alf_second_split_flag=2の場合:
CPR(i0、0):alf_coeff_luma[i0][0]
CPR(i0、1):alf_coeff_luma[i0][1]
・alf_second_split_flag=3の場合:
CPR(i0、0):alf_coeff_luma[i0][0]
CPR(i0、1):alf_coeff_luma[i0][1]
CPR(i0、2):alf_coeff_luma[i0][2]
CPR(i0、3):alf_coeff_luma[i0][3]
なお、alf_coeff_luma[i][j]のうち、最初に符号化/復号されるフィルタ係数alf_coeff_luma[0][0]は、特性値部分領域CPR(0、0)についてのフィルタ係数そのものであり、alf_coeff_luma[i][j](i≠0、j≠0)は、対象となる特性値部分領域についてのフィルタ係数の予測値(予測フィルタ係数とも呼ぶ)と、実際に用いられるフィルタ係数との残差(フィルタ係数残差とも呼ぶ)である。alf_coeff_luma[i][j]は、より正確には、フィルタ係数又はフィルタ係数残差の各成分を指定するためのインデックス[k](0≦k≦Ncomp−1、Ncompは、フィルタ係数の成分の総数)を有しているが、ここではそのようなインデックスの表記を省略している。
しておき、オフセット以外の成分を、alf_length_luma_minus5_div2[i0]よりも下位の階
層にて伝送する構成としてもよい。
alf_region_pred_luma[i][j](i=i0,2×i0,2×i0+1、j=1,2,3)は、各特性値部分領域についてのフィルタ係数の予測値を導出する際の予測方向を指定するためのフラグである。alf_region_pred_luma[i][j]は、各特性値部分領域CPR(i0、j0)のうち、フィルタ係数の予測値を導出する際に参照可能な特性値部分領域が複数隣接している特性値部分領域CPRについて符号化される。例えば、特性値領域CRに含まれる各特性値部分領域についてのフィルタ係数の復号がラスタスキャン順に行われる場合には、左辺および上辺の双方に特性値部分領域が隣接している特性値部分領域についてalf_region_pred_lumaが符号化される。例えば、alf_region_pred_luma=0であれば、上辺に隣接する特性値部分領域が参照され、alf_region_pred_luma=1であれば、左辺に隣接する特性値部分領域が参照される。
あって、alf_second_split_type=0の場合における、各特性値部分領域CPR(i0、
j0)と、それらに割り付けられるalf_region_pred_luma[i][j]との対応関係は以下の通りである。
CPR(i0、1):alf_region_pred_luma[i0*2][1]
・alf_second_split_flag=3の場合:
CPR(i0、1):alf_region_pred_luma[i0*2][1]
CPR(i0、3):alf_region_pred_luma[i0*2+1][1]
図31に示すように、これらの特性値部分領域については、alf_region_pred_lumaの値に応じて、予測方向として、上方向および左方向のうち何れかが割り付けられる。
i0、j0)と、それらに割り付けられるalf_region_pred_luma[i][j]との対応関係は以下の通りである。
CPR(i0、1):alf_region_pred_luma[i0][2]
・alf_second_split_flag=2の場合:
CPR(i0、1):alf_region_pred_luma[i0][1]
・alf_second_split_flag=3の場合:
CPR(i0、1):alf_region_pred_luma[i0][1]
CPR(i0、2):alf_region_pred_luma[i0][2]
CPR(i0、3):alf_region_pred_luma[i0][3]
図31に示すように、これらの特性値部分領域については、alf_region_pred_lumaの値に応じて、予測方向として、上方向および左方向のうち何れかが割り付けられる。
・alf_second_split_flag=0の場合: CPR(i0、0)
・alf_second_split_flag=1の場合:
CPR(i0、0)
CPR(i0、1)
・alf_second_split_flag=2の場合:
CPR(i0、0)
・alf_second_split_flag=3の場合:
CPR(i0、0)
CPR(i0、2)
・alf_second_split_type=1の場合:
・alf_second_split_flag=0の場合:
CPR(i0、0)
・alf_second_split_flag=1の場合:
CPR(i0、0)
・alf_second_split_flag=2の場合:
CPR(i0、0)
・alf_second_split_flag=3の場合:
CPR(i0、0)
なお、以下では、特性値部分領域CPR(i0、j0)に割り付けられたalf_region_pred_luma[i][j]を、alf_region_pred_luma(i0,j0)とも表記する。
は、この記述子に関連付けられたシンタックスが可変長符号化されることを示している。
何れかの値をとるものとしたが、これは本実施形態を限定するものではない。例えば、シンタックスalf_second_split_flag[i0]が、0〜7のうち何れかの値をとる構成としても
よい。このようなシンタックスalf_second_split_flag[i0]によって指定される再分割の
例を図33に示す。図33に示す例では、alf_second_split_flag[i0]の各値に応じて、
初期分割によって得られた特性値部分領域CPR[i0]が、特性値Xについて最大で2分割され、特性値Yについて最大で3分割される。
以下では、本実施形態に係る動画像復号装置3について図34〜図36を参照して説明する。なお、以下では、実施形態1において既に説明した部分と同じ部分には同じ符号を付し、その説明を省略する。
適応フィルタ50は、シンタックスadaptive_loop_filter_flagが1である場合に、デ
ブロック済復号画像P_DBに対して適応的フィルタ処理を施すことによってフィルタ済復号画像P_FLを生成する。
AlfNumFirstSplit=alf_num_first_split_minus1+1
に設定する。
適応フィルタ情報復号部51は、符号化データ#3に含まれているフィルタパラメータFPを復号することによって、特性値分割点PXnおよびPYm、並びに、フィルタ係数RegionFilterLuma[i0][j0]を導出するための構成である。導出された各特性値分割点およびフィルタ係数RegionFilterLuma[i0][j0]は、適応フィルタ部52に供給される。なお、以下の説明では、適応フィルタ情報復号部51によるフィルタ係数RegionFilterLuma[i0][j0]の導出は、特性値領域CRを構成する各特性値部分領域についてラスタスキャン順に行われるものとするが、これは本実施形態を限定するものではなく、フィルタ係数RegionFilterLuma[i0][j0]の導出がラスタスキャンの逆順に行われる場合であっても適用することができる。その場合には、以下の説明における「左辺」を「右辺」と読み替え、「上辺」を「下辺」と読み替えればよい。
適応フィルタ部52は、デブロック済復号画像P_DBを構成する各単位領域に対して、適応的フィルタ処理を行うことによってフィルタ済復号画像P_FLを生成するための構成である。ここで、各単位領域のフィルタ処理に用いられるフィルタ係数は、フィルタパラメータFPから復号されたフィルタ係数RegionFilterLuma[i0][j0]から、該単位領域におけるデブロック済復号画像P_DBの特性値Xに応じて、または、該単位領域におけるデブロック済復号画像P_DBの特性値Xおよび特性値Yに応じて選択される。また、生成されたフィルタ済復号画像P_FLは、バッファメモリ15に格納される。
第1特性値算出部521は、処理対象の単位領域である対象単位領域におけるデブロック済復号画像P_DBについての特性値Xを算出する。以下では、特性値Xとして活性度を算出する算出処理(特性値Xの算出処理例1)および特性値Xとして画素値の分散を算出する算出処理(特性値Xの算出処理例2)について説明を行う。ただし、特性値Xの具体例はこれらに限定されるものではない。
本処理例では、第1特性値算出部521は、特性値Xとして、対象単位領域におけるデブロック済復号画像P_DBの活性度ACTを算出する。ここで、活性度とは、概略的に言えば、画像の乱雑さを示す指標であり、対象単位領域を含む領域にDCT変換を施した
場合に得られる変換係数において大きな高周波成分が存在するかなどに基づいても算出可能であるが、ここでは隣接する画素の画素値に基づいて算出するものとする。隣接する画素の画素値の差が大きいほど、活性度が大きくなる。算出された活性度ACTは、特性値Xとして特性インデックス算出部523に供給される。
本処理例では、第1特性値算出部521は、特性値Xとして、対象単位領域におけるデブロック済復号画像P_DBの画素値の分散VPを算出する。算出された分散VPは、特性値Xとして特性インデックス算出部523に供給される。
第2特性値算出部522は、対象単位領域におけるデブロック済復号画像P_DBについての特性値Yを算出する。以下では、特性値Yとして画像の方向性を算出する算出処理
(特性値Yの算出処理例1)および(特性値Yの算出処理例2)、特性値Xとして平均画素値を算出する算出処理(特性値Yの算出処理例2)、並びに、特性値Xとして対象単位領域の座標値を算出する算出処理(特性値Yの算出処理例3)について説明を行う。ただし、特性値Yの具体例はこれらに限定されるものではない。
本処理例では、第2特性値算出部522は、特性値Yとして、対象単位領域におけるデブロック済復号画像の方向性を算出する。算出された方向性を示すインデックス(方向インデックス)は、特性値Yとして特性インデックス算出部523に供給される。
・方向インデックス=1:ACT_H≦2×ACT_VかつACT_V≦ACT_Hの場合
・方向インデックス=2:ACT_H<ACT_VかつACT_V≦2×ACT_Hの場合
・方向インデックス=3:2×ACT_H<ACT_Vの場合
なお、本処理例における方向インデックスの導出方向は上記の例に限られるものではない。例えば、第2特性値算出部522は、垂直方向活性度ACT_Vおよび水平方向活性度ACT_Hの各々の大きさに応じて、対象単位領域におけるデブロック済復号画像の方向性を3つに分類し、それらの方向性を示す方向インデックスを出力する構成としてもよいし、対象単位領域におけるデブロック済復号画像の方向性を2つに分類し、それらの方向性を示す方向インデックスを出力する構成としてもよい。また、垂直方向活性度ACT_Vおよび水平方向活性度ACT_Hの各々の大きさに応じて、対象単位領域におけるデブロック済復号画像の方向性を5つ以上に分類してもよい。
・方向インデックス=1:ACT_H≦2×ACT_Vかつ2×ACT_H≧ACT_Vの場合
・方向インデックス=2:2×ACT_H<ACT_Vの場合
このような構成とする場合、初期分割によって得られた特性値部分領域CPR[i0]は、特性値Yに関して、最大で3つの特性値部分領域CPR(i0、j0)(j0=0、1、2)に再分割される。ここで、j0=0、1、2は、それぞれ、方向インデックス=0、1、2に対応する。
・方向インデックス=1:ACT_H<ACT_Vの場合
このような構成とする場合、初期分割によって得られた特性値部分領域CPR[i0]は、特性値Yに関して、最大で2つの特性値部分領域CPR(i0、j0)(j0=0、1)に再分割される。ここで、j0=0、1は、それぞれ、方向インデックス=0、1、に対応する。
本処理例では、第2特性値算出部522は、特性値Yとして、対象単位領域におけるデブロック済復号画像の方向性を算出する。ただし、本処理例では、上述の(特性値Yの算出処理例1)とは異なり、対象単位領域におけるデブロック済復号画像のエッジ方向を検出し、検出されたエッジ方向に応じて、方向インデックスを特性値Yとして特性インデックス算出部523に供給する。
方向インデックス=1 |Sobel_y|≧a×|Sobel_x|かつ
|Sobel_y|≦b×|Sobel_x|かつ
Sobel_yとSobel_xの符号が等しい場合
方向インデックス=2 |Sobel_y|>b×|Sobel_x|の場合
方向インデックス=3 |Sobel_y|≧a×|Sobel_x|かつ
|Sobel_y|≦b×|Sobel_x|かつ
Sobel_yとSobel_xの符号が反対の場合
但し、a=tan(22.5°)=0.414・・・、b=tan(67.5°)=2.414・・・である。なお、この例では4つの方向インデックスを算出したが、2個または3個の方向インデックスの算出や5個以上の方向インデックスを算出する構成としてもよい。このような構成の場合、特性値Yの算出処理例1において説明したように、初期分割によって得られた特性値部分領域CPR[i0]は、特性値Yに関して、最大で、方向インデックスの総数と同数の特性値部分領域に再分割される。
本処理例では、第2特性値算出部522は、特性値Yとして、対象単位領域におけるデブロック済復号画像の画素値の平均(平均画素値とも呼ぶ)を算出し、算出した平均画素値を、特性値Yとして特性インデックス算出部523に供給する。
表すことにすると、第2特性値算出部522は、例えば、以下の数式(2−3)を用いて、各画素値の単純平均をとることによって、平均画素値MPを算出することができる。
CPR(i0、1):64<MPかつMP≦160
CPR(i0、2):160<MP
また、初期分割によって得られた特性値部分領域CPR[i0]が、特性値Yに関して、以下のように、最大で2つの特性値部分領域CPR(i0、j0)(j0=0、1)に分割される構成としてもよい。
CPR(i0、1):128<MP
(特性値Yの算出処理例4)
本処理例では、第2特性値算出部522は、処理対象フレーム(または処理対象スライス)における対象単位領域の座標を算出する。算出された座標は、特性値Yとして特性インデックス算出部523に供給される。ここで、対象単位領域の座標とは、より正確には、対象単位領域の代表画素の座標である。代表画素としては、例えば、対象単位領域内の画素であって、該対象単位領域の左上端の画素を用いることができる。ただし、対象単位領域における代表画素の具体的な位置は本実施形態を限定するものではない。
・予測単位指定情報PT
・変換単位指定情報TT
また対象単位領域が、ブロックまたはパーティションの何れでもなく、適応フィルタ部50によって設定される領域である場合には、適応フィルタ50は、設定された単位領域の位置を示す情報を参照することによって、対象単位領域の座標を特定することができる。
特性インデックス算出部523は、対象単位領域について、第1特性値算出部521から供給される特性値Xおよび第2特性値算出部522から供給される特性値Yを、それぞ
れ、特性値分割点PXnおよびPYmと比較することによって、当該対象単位領域に対して、特性値領域内インデックス(i0、j0)を割り付ける。また、対象単位領域に対して割り付けた特性値領域内インデックス(i0、j0)をフィルタ係数割り付け部524に供給する。
・i0=1:PX2≦X<PX4の場合
・i0=2:PX4≦Xの場合
続いて、特性インデックス算出部523は、alf_second_split_typeおよびalf_second_split_flag[i0]を参照し、特性値Xおよび特性値Yを、第2段階の分割に用いられる再分割点と比較することによって、再分割インデックス[j0]を算出する。算出された再分割インデックス[j0]は、対象単位領域に割り付けられる。
デックス[i0=0]が割り付けられた対象単位領域について、再分割インデックス[j0]を以下のように算出する。
j0=0
・alf_second_split_flag=1の場合:
j0=0:X<PX1のとき
j0=1:PX1≦Xのとき
・alf_second_split_flag=2の場合:
j0=0:Y<PY2のとき
j0=1:PY2≦Yのとき
・alf_second_split_flag=3の場合:
j0=0:X<PX1かつY<PY2のとき
j0=1:X<PX1かつPY2≦Yのとき
j0=2:PX1≦XかつY<PY2のとき
j0=3:PX1≦XかつPY2≦Yのとき
また、特性インデックス算出部523は、alf_second_split_type=1の場合、初期分
割インデックス[i0=0]が割り付けられた対象単位領域について、再分割インデックス[j0]を以下のように算出する。
j0=0
・alf_second_split_flag=1の場合:
j0=0:Y<PY2のとき
j0=1:PY2≦Yのとき
・alf_second_split_flag=2の場合:
j0=0:Y<PY1のとき
j0=1:PY1≦Yのとき
・alf_second_split_flag=3の場合:
j0=0:Y<PY1のとき
j0=1:PY1≦Y<PY2のとき
j0=2:PY2≦Y<PY3のとき
j0=3:PY3≦Yのとき
(フィルタ係数割り付け部524)
フィルタ係数割り付け部524は、対象単位領域に割り付けられた特性値領域内インデックス(i0、j0)に対応するフィルタ係数RegionFilterLuma[i0][j0]を、特性別フィルタ係数格納部517から読み出し、読み出したフィルタ係数RegionFilterLuma[i0][j0]を、当該対象単位領域に割り付ける。対象単位領域に割り付けられたフィルタ係数RegionFilterLuma[i0][j0]は、フィルタ部525に供給される。
フィルタ部525は、対象単位領域に対して、フィルタ係数RegionFilterLuma[i0][j0]を用いたフィルタ処理を施すことによって、該対象単位領域におけるフィルタ済復号画像P_FLを生成する。生成されたフィルタ済復号画像P_FLは、バッファメモリ15に格納される。
_DB(「フィルタ前画像」とも呼称する)における画素値をS(x、y)と表すことにすると、フィルタ部525は、画素値SF(x’、y’)を、以下の数式(2−4)によ
って算出する。
の画素値S(x+u、y+v)に乗ぜられるフィルタ係数を表しており、フィルタ係数割り付け部524から供給されたフィルタ係数RegionFilterLuma[i0][j0]の各成分に対応する。また、oは、フィルタ係数RegionFilterLuma[i0][j0]に含まれるオフセット成分を表
している。
用いてもよい。
v)=a(−u、−v)を満たすように設定される構成とすることができる。このような
構成とすることによって、alf_coeff_luma[i][j]に含まれる各成分の数を削減することができる。
以下では、符号化対象画像を符号化することによって符号化データ#3を生成する動画像符号化装置4について、図37〜図38を参照して説明する。なお、以下では、既に説明した部分については、同じ文言および同じ符号を用い、その説明を省略する。
適応フィルタ60は、デブロック済復号画像P_DBに対して、適応的フィルタ処理を施すことによって、フィルタ済復号画像P_FLを生成する。生成されたフィルタ済復号画像P_FLは、バッファメモリ24に格納される。また、適応フィルタ60は、フィルタ処理に用いた各種の適応フィルタ情報をフィルタパラメータFPとして可変長符号符号化部22に供給する。可変長符号符号化部22は、フィルタパラメータFPを符号化データ#3の一部として符号化する。
適応フィルタ情報設定部61は、図38に示すように、領域別タップ数設定部611、領域構造設定部612、フィルタパラメータ生成部613、2次元予測フラグ設定部614、フィルタ係数予測部515、フィルタ係数残差生成部616、特性別フィルタ係数格納部617、特性値分割点変更フラグ設定部618、特性値分割点設定部519を備えている。
領域別タップ数設定部611は、初期分割によって得られた特性値部分領域CPR[i0]についてのタップ数を指定するためのシンタックスalf_length_luma_minus5_div2[i0]を設定する。設定されたシンタックスalf_length_luma_minus5_div2[i0]は、フィルタパラメータ生成部613に供給される。また、シンタックスalf_length_luma_minus5_div2[i0]は、フィルタ係数予測部515、フィルタ係数残差生成部616、領域別フィルタ係数格納部617、フィルタ係数導出部624、および、フィルタ部525にも供給される(図38において矢印不図示)。
ては、既に述べたためここでは説明を省略する。
ように定められる。
領域構造設定部612は、再分割の種別を指定するためのフラグalf_second_split_type、および、初期分割によって得られた各特性値部分領域について再分割の具体的な態様を指定するためのシンタックスalf_second_split_flag[i0]を設定する。設定されたフラグalf_second_split_typeおよびシンタックスalf_second_split_flag[i0]は、特性値分割点設定部519、2次元予測フラグ設定部614、および、フィルタパラメータ生成部613に供給される。
2次元予測フラグ設定部614は、alf_second_split_typeおよびalf_second_split_flag[i0]を参照して、各特性値部分領域についてのフィルタ係数の予測値を導出する際の予測方向を指定するためのフラグalf_region_pred_luma[i][j]を設定する。設定されたフラグalf_region_pred_luma[i][j]は、フィルタ係数予測部515に供給される。
フィルタ係数残差616は、各特性値部分領域CPR(i0、j0)について、フィルタ係数予測部515より供給される予測フィルタ係数PredRegionFilterLumaと特性別フィルタ係数格納部617から読み出したフィルタ係数RegionFilterLumaとの差分をとることによって、フィルタ係数残差alf_coeff_luma[i][j]を生成する。生成されたフィルタ係数残差alf_coeff_luma[i][j]はフィルタパラメータ生成部613に供給される。
特性値分割点変更フラグ設定部618は、特性値分割点PXn(1≦n≦NX−1)を変更するために参照されるフラグalf_first_split_val_shiftを設定する。設定されたフ
ラグalf_first_split_val_shiftは、特性値分割点設定部519に供給される。
的な値と特性値分割点PXnとの対応関係については既に述べたため、ここでは説明を省略する。
定められる。
フィルタパラメータ生成部613は、シンタックスalf_length_luma_minus5_div2[i0]
、alf_second_split_type、alf_second_split_flag[i0]、alf_first_split_val_shift、
および、alf_coeff_luma[i][j]からフィルタパラメータFPを生成する。生成されたフィルタパラメータFPは、可変長符号符号化部22に供給される。
特性別フィルタ係数格納部617は、後述するフィルタ係数導出部624によって導出されたフィルタ係数RegionFilterLuma[i0][j0]が格納される。
適応フィルタ部62は、図38に示すように、第1特性値算出部521、第2特性値算出部522、特性インデックス算出部523、フィルタ係数導出部624、およびフィルタ部525を備えている。
フィルタ係数導出部624は、対象単位領域におけるフィルタ済復号画像P_FLと符号化対象画像との誤差がより小さくなるようなフィルタ係数RegionFilterLuma[i0][j0]を導出する。導出されたフィルタ係数RegionFilterLuma[i0][j0]は、フィルタ部525に供給されると共に、特性別フィルタ係数格納部617に格納される。
ィルタ係数導出部624は、例えば、以下の数式(2−5)によって与えられる二乗誤差Eを最小にするようなフィルタ係数a(u、v)およびオフセットoを導出する。ここで、フィルタ係数a(u、v)およびオフセットoは、RegionFilterLuma[i0][j0]の各成分である。
以下では、実施形態2の変形例について、図39〜図40を参照して説明する。図39は、本変形例に係るフィルタパラメータFP(図39においてalf_param()と表記)に含
まれる各シンタックスを示す図である。図39に示すように、本変形例に係るフィルタパ
ラメータFPには、図26に示したフィルタパラメータFPとは異なり、シンタックスalf_first_split_val_shift、および、alf_second_split_typeは含まれておらず、alf_second_split_typeの値としては、alf_second_split_type=0の固定値が用いられる。
以下では、本発明の第3の実施形態について、図41〜図44を参照して説明する。なお、以下では、実施形態2において既に説明した部分については、同じ文言および同じ符号を用い、その説明を省略する。
本実施形態に係る動画像符号化装置6及び動画像復号装置5の詳細な説明に先立って、動画像符号化装置6によって生成され、動画像復号装置5によって復号される符号化データ#5のデータ構造について説明を行う。
まれる各シンタックスを示す図である。
alf_filter_pattern[i](1≦i<AlfMaxNumFilters、AlfMaxNumFiltersは、初期分割
点の最大値)は、初期分割(第1段階の分割)における初期分割点を定めるためのフラグである。再分割(第2段階の分割)を行うか否かに関わらず、alf_filter_pattern[i]に
よって初期分割点が定まる。
alf_enable_second_splitは、再分割を行うのか否かを指定するフラグである。alf_ena
ble_second_split=0の場合には、再分割が行われず、alf_enable_second_split=1の
場合には、再分割が行われる。
alf_select_split_charは、特性値Yとして、複数の候補のうち何れの特性値を用いる
のかを指定するシンタックスである。図42(a)に示すように、alf_select_split_charは、特性値Xおよび特性値Yを以下のように指定する。
特性値X=活性度、特性値Y=方向性
alf_select_split_char=1のとき:
特性値X=活性度、特性値Y=平均画素値
alf_select_split_char=2のとき:
特性値X=活性度、特性値Y=y座標
alf_select_split_char=3のとき:
特性値X=活性度、特性値Y=x座標
ここで、y座標とは、処理対象フレームにおける対象単位領域のフレーム内y座標のことを指し、x座標とは、処理対象フレームにおける対象単位領域のフレーム内x座標のことを指す。
Y=(ACT_H+k)/(ACT_V+k)×4
k=(ACT_H+ACT_V)/16+1
によって算出される。
PY3の具体例を示している。図42(b)において、「height」とは、フレームのy方向の画素数のことを指し、「width」とは、フレームのx方向の画素数のことを指す。
alf_enable_second_split_valは、後述するalf_second_split_val[k](k=0、1、2)がフィルタパラメータFPに含まれるか否かを示すフラグである。alf_enable_second_split_val=1であれば、alf_second_split_val[k]がフィルタパラメータFPに含まれる。alf_enable_second_split_valは、再分割が行われる場合に符号化される。
alf_second_split_val[k](k=0、1、2)は、特性値Yについての再分割における
再分割点を決定するために参照されるシンタックスである。
。図42(c)に示すように、再分割点PY1〜PY3の各値は、alf_second_split_val[k]の各値に応じて決定される。
plit、alf_select_split_char、alf_enable_second_split_val、及びalf_second_split_valは、特性値領域CRを各特性値部分領域CPRに分割する分割の仕方を指定する特性値分割情報を構成する。
alf_region_disable_idc[i0]は、再分割によって得られた特性値部分領域のうち、フィルタ処理をオフとする領域を指定するためのフラグ(オンオフ指定情報)である。alf_second_split_flag[i0]の値が0のとき、すなわち、再分割が行われないとき、alf_region_disable_idc[i0]は、−1、0の何れかの値をとり、alf_second_split_flag[i0]の値が1または2のとき、すなわち、再分割が2分割であるとき、alf_region_disable_idc[i0]は、−1、0、1の何れかの値をとり、alf_second_split_flag[i0]の値が3のとき、すな
わち、再分割が4分割であるとき、alf_region_disable_idc[i0]は、−1、0、1、2、3の何れかの値をとる。
を含まずに、実施形態2において説明したalf_second_split_type=1の場合の再分割に
関するフィルタ係数(またはフィルタ係数残差)alf_coeff_lumaを含む構成を例示したが、これは本実施形態を限定するものではない。本実施形態においても、フィルタパラメータFPに、alf_second_split_type、および、alf_second_split_typeの各値に対するフィルタ係数(またはフィルタ係数残差)alf_coeff_lumaを含める構成としてもよい。
本実施形態に係る動画像復号装置は、実施形態2に係る動画像復号装置3の備える適応フィルタ50に代えて、適応フィルタ70を備えている。本実施形態に係る動画像復号装置のその他の構成は、実施形態2に係る動画像復号装置3の構成と同様であるので、説明を省略する。
は、特性値Yとして、特性インデックス算出部523に供給される。
以下では、符号化対象画像を符号化することによって符号化データ#5を生成する動画像符号化装置6について、図44を参照して説明する。なお、以下では、既に説明した部分については、同じ文言および同じ符号を用い、その説明を省略する。
適応フィルタ情報設定部81は、図44に示すように、領域別タップ数設定部611、適応的オンオフ設定部831、領域構造設定部812、特性値分割点変更フラグ設定部818、特性選択フラグ設定部832、特性値分割点設定部719、フィルタ係数残差生成部616、フィルタ係数予測部515、フィルタパラメータ生成部813、および、特性別フィルタ係数格納部617を備えている。
適応的フィルタオフ設定部831は、再分割によって得られた特性値部分領域のうちフィルタ処理をオフとする領域を指定するためのフラグalf_region_disable_idc[i0]を設定する。設定されたフラグalf_region_disable_idc[i0]は、フィルタパラメータ生成部813、およびフィルタ部525に供給される。alf_region_disable_idc[i0]がフィルタ処理のオフを指定している場合、フィルタ部525は、フィルタ処理を行わない。
領域構造設定部812は、初期分割によって得られた各特性値部分領域について再分割の具体的な態様を指定するためのシンタックスalf_second_split_flag[i0]を設定する。
設定されたシンタックスalf_second_split_flag[i0]は、特性値分割点設定部719、お
よび、フィルタパラメータ生成部813に供給される。
定められる。
特性値分割点変更フラグ設定部818は、特性値Yについての再分割における再分割点を決定するために参照されるシンタックスalf_second_split_val[k](k=0、1、2)
を設定する。設定されたシンタックスalf_second_split_val[k]は、特性値分割点設定部
719、および、フィルタパラメータ生成部813に供給される。
められる。
特性選択フラグ設定部832は、特性値Yとして複数の候補のうち何れの特性値を用いるのかを指定するシンタックスalf_select_split_charを設定する。設定されたシンタッ
クスalf_select_split_charは、特性値分割点設定部719、フィルタパラメータ生成部
813、および、第2特性値算出部722に供給される。
られる。
フィルタパラメータ生成部813は、シンタックスalf_length_luma_minus5_div2[i0]
、alf_disable_region_idc[i0]、alf_second_split_flag[i0]、alf_second_split_val、alf_second_split_char、および、alf_coeff_luma[i][j]からフィルタパラメータFPを生成する。生成されたフィルタパラメータFPは、可変長符号符号化部22に供給される。
ータFPに含まれるか否かを示すフラグalf_enable_second_split_val、および、初期分
割の分割数AlfNumFirstSplitを指定するためのシンタックスalf_num_first_split_minus1が含まれる。これらのシンタックスの具体的な値は、符号化効率がより向上するように定められる。
適応フィルタ部82は、図44に示すように、第1特性値算出部521、第2特性値算出部722、特性インデックス算出部523、フィルタ係数導出部624、および、フィ
ルタ525を備えている。これらの各部については、既に述べたため説明を省略する。
実施形態2における符号化データ#3のフィルタパラメータFPに含まれるシンタックスのうち、少なくとも何れかのシンタックスと、実施形態3における符号化データ#5のフィルタパラメータFPに含まれるシンタックスのうち、少なくとも何れかのシンタックスとを含むフィルタパラメータFP’も本発明の範疇に含まれる。そのようなフィルタパラメータFP’を復号する動画像復号装置は、実施形態2および実施形態3において既に説明した部分のうち、フィルタパラメータFP’に含まれるシンタックスを復号するために必要な各部を備える構成とすればよい。
なお、上記実施形態における、マクロブロックは、H.264/MPEG−4 AVCの後継規格として提案されているHEVC(High Efficiency Video Coding)のLCU(最大コーディングユニット:Largest Coding Unit、コーディングツリー(Coding Tree)のrootと呼ばれることもある)に相当し、マクロブロックおよびブロックは、HEVCのCU(コーディングユニット:Coding Unit、コーディングツリーのleafと呼ばれることもある)、PU(Prediction Unit)、またはTU(Transformation Unit)に相当するものである。
上述したように、発明者は、符号化対象画像の画像特性如何によっては、(局所)復号画像の局所的な活性度の大きさに応じてフィルタ係数群を切り替えるのではなく、むしろ、(局所)復号画像の局所的な方向性の違いに応じてフィルタ係数群を切り替えることによって、符号化効率をより効果的に向上させることができるとの知見を得た。
精度を向上させることができることを見出した。
≦Ny,0≦z≦Nz)}の勾配のことを指す。ここで、Nx,Ny,Nzは、それぞれ、x方向の画素の総数、y方向の画素の総数、画素値zのとり得る最大値を表す。また、各単位領域における上記入力画像の方向性とは、各単位領域における上記入力画像の画素値の相関のより高い方向であると表現することもできる。
毎に異なるような場合であっても、予測画像の生成により適した出力画像を生成することができる。したがって、上記のように構成された本発明に係る画像フィルタ装置が生成する出力画像を参照して生成される予測画像の予測精度を向上させることができる。
出力画像との相違を単位領域グループ毎に最小化するように定められたものである、ことが好ましい。
域を複数の単位領域グループの何れかに分類し、上記フィルタ手段が、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するので、上記入力画像が、活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができる。
る。
れた画像フィルタ装置を、符号化データを復号する復号装置、または、符号化データを生成する符号化装置に用いる場合、符号量の増大を抑制しつつ、予測制度の向上を図ることができるので、符号化効率が向上する。
16 インター予測画像生成部(予測画像生成手段)
17 イントラ予測画像生成部(予測画像生成手段)
42 適応フィルタ(画像フィルタ装置)
421 予測モード/サイズ蓄積部
422 エッジ方向検出部(方向性識別手段)
423 活性度算出部(活性度算出手段)
424 領域分類部(方向性識別手段、分類手段)
425 フィルタ処理部(フィルタ手段、参照領域変更手段)
2 動画像符号化装置(符号化装置)
25 イントラ予測画像生成部(予測画像生成手段)
26 インター予測画像生成部(予測画像生成手段)
34 適応フィルタ(画像フィルタ装置)
340 領域分割部
341 予測モード/サイズ蓄積部
342 エッジ方向検出部(方向性識別手段)
343 活性度算出部(活性度算出手段)
344 領域分類部(方向性識別手段、分類手段)
345 フィルタ処理部(フィルタ手段、参照領域変更手段)
346 フィルタパラメータ導出部
3,5 動画像復号装置(復号装置)
50,60,70,80 適応フィルタ(画像フィルタ装置)
51 適応フィルタ情報復号部
511 領域別タップ数復号部(タップ数設定手段)
512 領域構造復号部
513 フィルタ係数残差復号部
514 2次元予測フラグ復号部
515 フィルタ係数予測部
516 フィルタ係数復号部(フィルタ係数復号手段)
517 特性別フィルタ係数格納部
518 特性値分割点変更フラグ復号部
519 特性値分割点設定部(特性値分割手段)
52 適応フィルタ部
521 第1特性値算出部(特性値算出手段)
522 第2特性値算出部(特性値算出手段)
523 特性インデックス算出部
524 フィルタ係数割り付け部
525 フィルタ部(フィルタ手段)
731 適応的フィルタオフ復号部(オンオフ制御手段)
4,6 動画像符号化装置(符号化装置)
CR 特性値領域
CPR 特性値部分領域
PX1〜PX5 特性値分割点(分割点)
PY1〜PY3 特性値分割点(分割点)
Claims (4)
- 符号化データを復号する復号装置であって、
対象領域に含まれる画素であって、水平方向に位置する画素の画素値の差分の絶対値の和である第1の値と、垂直方向に位置する画素の画素値の差分の絶対値の和である第2の値とを導出する特性値算出部と、
特性値インデックスに対応するルマフィルタ係数を用いて、フィルタ済み画像を生成するフィルタ部と、を備え、
上記特性値算出部は、
上記第1の値と上記第2の値の和である活性度を導出し、
上記第1の値と上記第2の値を比較することにより、方向インデックスを導出することを特徴とする復号装置。 - 符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、
対象領域に含まれる画素であって、水平方向に位置する画素の画素値の差分の絶対値の和である第1の値と、垂直方向に位置する画素の画素値の差分の絶対値の和である第2の値とを導出する特性値算出部と、
特性値インデックスに対応するルマフィルタ係数を用いて、フィルタ済み画像を生成するフィルタ部と、を備え、
上記特性値算出部は、
上記第1の値と上記第2の値の和である活性度を導出し、
上記第1の値と上記第2の値を比較することにより、方向インデックスを導出することを特徴とする符号化装置。 - 符号化データを復号する復号方法であって、
対象領域に含まれる画素であって、水平方向に位置する画素の画素値の差分の絶対値の和である第1の値と、垂直方向に位置する画素の画素値の差分の絶対値の和である第2の値とを導出するステップと、
上記第1の値と上記第2の値の和である活性度を導出するステップと、
上記第1の値と上記第2の値を比較することにより、方向インデックスを導出するステップと、
特性値インデックスに対応するルマフィルタ係数を用いて、フィルタ済み画像を生成するステップと、を少なくとも含むことを特徴とする復号方法。 - 符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化方法であって、
対象領域に含まれる画素であって、水平方向に位置する画素の画素値の差分の絶対値の和である第1の値と、垂直方向に位置する画素の画素値の差分の絶対値の和である第2の値とを導出するステップと、
上記第1の値と上記第2の値の和である活性度を導出するステップと、
上記第1の値と上記第2の値を比較することにより、方向インデックスを導出するステップと、
特性値インデックスに対応するルマフィルタ係数を用いて、フィルタ済み画像を生成するステップと、を少なくとも含むことを特徴とする符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020145337A JP6916939B2 (ja) | 2010-06-17 | 2020-08-31 | 復号装置、符号化装置、復号方法および符号化方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010138675 | 2010-06-17 | ||
JP2010138675 | 2010-06-17 | ||
JP2010294114 | 2010-12-28 | ||
JP2010294114 | 2010-12-28 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018111355A Division JP6561174B2 (ja) | 2010-06-17 | 2018-06-11 | 復号装置および符号化装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020145337A Division JP6916939B2 (ja) | 2010-06-17 | 2020-08-31 | 復号装置、符号化装置、復号方法および符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019198114A true JP2019198114A (ja) | 2019-11-14 |
JP6759428B2 JP6759428B2 (ja) | 2020-09-23 |
Family
ID=45348065
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012520365A Pending JPWO2011158657A1 (ja) | 2010-06-17 | 2011-06-02 | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 |
JP2017029390A Expired - Fee Related JP6353943B2 (ja) | 2010-06-17 | 2017-02-20 | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 |
JP2018111355A Active JP6561174B2 (ja) | 2010-06-17 | 2018-06-11 | 復号装置および符号化装置 |
JP2019132788A Active JP6759428B2 (ja) | 2010-06-17 | 2019-07-18 | 復号装置、符号化装置、復号方法および符号化方法 |
JP2020145337A Active JP6916939B2 (ja) | 2010-06-17 | 2020-08-31 | 復号装置、符号化装置、復号方法および符号化方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012520365A Pending JPWO2011158657A1 (ja) | 2010-06-17 | 2011-06-02 | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 |
JP2017029390A Expired - Fee Related JP6353943B2 (ja) | 2010-06-17 | 2017-02-20 | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 |
JP2018111355A Active JP6561174B2 (ja) | 2010-06-17 | 2018-06-11 | 復号装置および符号化装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020145337A Active JP6916939B2 (ja) | 2010-06-17 | 2020-08-31 | 復号装置、符号化装置、復号方法および符号化方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8995776B2 (ja) |
EP (1) | EP2584781A4 (ja) |
JP (5) | JPWO2011158657A1 (ja) |
CN (4) | CN110430428B (ja) |
WO (1) | WO2011158657A1 (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9270871B2 (en) * | 2009-04-20 | 2016-02-23 | Dolby Laboratories Licensing Corporation | Optimized filter selection for reference picture processing |
US9008175B2 (en) * | 2010-10-01 | 2015-04-14 | Qualcomm Incorporated | Intra smoothing filter for video coding |
PT3370421T (pt) | 2010-12-21 | 2020-02-28 | Ntt Docomo Inc | Codificação com intra-predição melhorada utilizando representações planares |
JP5627507B2 (ja) * | 2011-01-12 | 2014-11-19 | Kddi株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム |
JP5291133B2 (ja) | 2011-03-09 | 2013-09-18 | 日本電信電話株式会社 | 画像処理方法,画像処理装置,映像符号化/復号方法,映像符号化/復号装置およびそれらのプログラム |
JP5291134B2 (ja) * | 2011-03-09 | 2013-09-18 | 日本電信電話株式会社 | 映像符号化/復号方法,映像符号化/復号装置およびそのプログラム |
WO2012137890A1 (ja) * | 2011-04-05 | 2012-10-11 | シャープ株式会社 | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 |
US9641866B2 (en) * | 2011-08-18 | 2017-05-02 | Qualcomm Incorporated | Applying partition-based filters |
AU2015255161B2 (en) * | 2012-01-06 | 2017-03-16 | Sony Corporation | Image Processing Device and Method |
JP5770647B2 (ja) * | 2012-01-18 | 2015-08-26 | 日本電信電話株式会社 | 画像符号化方法,画像符号化装置,画像復号方法,画像復号装置およびそれらのプログラム |
RU2616598C1 (ru) * | 2012-01-19 | 2017-04-18 | Мицубиси Электрик Корпорейшн | Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений |
TWI581623B (zh) * | 2012-04-06 | 2017-05-01 | Sony Corp | Image processing apparatus and method, program, and recording medium |
RU2716060C1 (ru) * | 2012-04-06 | 2020-03-05 | Сони Корпорейшн | Устройство декодирования и способ декодирования и устройство кодирования и способ кодирования |
JP6005847B2 (ja) * | 2012-06-15 | 2016-10-12 | インテル コーポレイション | スケーラブルなビデオコーディングのためのアダプティブフィルタリング |
WO2014052602A1 (en) * | 2012-09-28 | 2014-04-03 | Vid Scale, Inc. | Method and apparatus of edge guided processing for video coding |
JP6212890B2 (ja) * | 2013-03-22 | 2017-10-18 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム |
US20140307780A1 (en) * | 2013-04-11 | 2014-10-16 | Mitsubishi Electric Research Laboratories, Inc. | Method for Video Coding Using Blocks Partitioned According to Edge Orientations |
US9544613B2 (en) * | 2013-04-24 | 2017-01-10 | Sony Corporation | Local detection model (LDM) for recursive motion estimation |
JP6171627B2 (ja) * | 2013-06-28 | 2017-08-02 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム |
CN104282030A (zh) * | 2013-07-12 | 2015-01-14 | 富士通株式会社 | 图像压缩装置及方法 |
JP6174966B2 (ja) * | 2013-10-17 | 2017-08-02 | キヤノン株式会社 | 画像符号化装置、画像符号化方法、及びプログラム |
CN104754362B (zh) * | 2014-01-01 | 2021-11-02 | 上海天荷电子信息有限公司 | 使用精细划分块匹配的图像压缩方法 |
CN104615585B (zh) | 2014-01-06 | 2017-07-21 | 腾讯科技(深圳)有限公司 | 处理文本信息的方法及装置 |
CN104796725B (zh) * | 2014-01-21 | 2019-10-01 | Vixs系统公司 | 具有帧内预测预处理的视频编码器及与其一起使用的方法 |
KR102132522B1 (ko) * | 2014-02-27 | 2020-07-09 | 텔레폰악티에볼라겟엘엠에릭슨(펍) | 오디오/비디오 샘플 벡터의 피라미드 벡터 양자화 인덱싱 및 디인덱싱을 위한 방법 및 장치 |
BR112016013761B1 (pt) | 2014-05-23 | 2023-03-14 | Huawei Technologies Co., Ltd | Método e aparelho para reconstruir blocos de imagem utilizando predição, e meio de armazenamento legível por computador |
KR20180019548A (ko) | 2015-06-18 | 2018-02-26 | 엘지전자 주식회사 | 영상 코딩 시스템에서 영상 특성에 기반한 적응적 필터링 방법 및 장치 |
US10750170B2 (en) * | 2015-06-18 | 2020-08-18 | Lg Electronics Inc. | Image filtering method and device in image coding system |
US11064195B2 (en) * | 2016-02-15 | 2021-07-13 | Qualcomm Incorporated | Merging filters for multiple classes of blocks for video coding |
EP3456043A4 (en) * | 2016-05-28 | 2019-11-27 | MediaTek Inc. | METHOD AND DEVICE FOR REFERENCING THE CURRENT IMAGE FOR VIDEO CODING USING AFFINER MOTION COMPENSATION |
TWI604731B (zh) * | 2016-08-05 | 2017-11-01 | 瑞昱半導體股份有限公司 | 影像濾波方法及其影像濾波裝置 |
US10506230B2 (en) | 2017-01-04 | 2019-12-10 | Qualcomm Incorporated | Modified adaptive loop filter temporal prediction for temporal scalability support |
KR102477784B1 (ko) * | 2017-01-12 | 2022-12-15 | 소니그룹주식회사 | 화상 처리 장치 및 화상 처리 방법 |
US10778974B2 (en) | 2017-07-05 | 2020-09-15 | Qualcomm Incorporated | Adaptive loop filter with enhanced classification methods |
JP6904156B2 (ja) * | 2017-08-10 | 2021-07-14 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム |
JP2019129371A (ja) * | 2018-01-23 | 2019-08-01 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム |
CN110290384A (zh) * | 2018-03-19 | 2019-09-27 | 华为技术有限公司 | 图像滤波方法、装置及视频编解码器 |
CN110956594B (zh) * | 2019-11-27 | 2023-12-01 | 北京金山云网络技术有限公司 | 图像滤波方法、装置、电子设备及存储介质 |
US11516514B2 (en) * | 2020-03-27 | 2022-11-29 | Tencent America LLC | High level control for deblocking operations |
US11610340B2 (en) * | 2020-04-17 | 2023-03-21 | Tencent America LLC | Edge enhancement filter |
US11611770B2 (en) | 2020-10-14 | 2023-03-21 | Tencent America LLC | Method and apparatus for video coding |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006148878A (ja) * | 2004-10-14 | 2006-06-08 | Mitsubishi Electric Research Laboratories Inc | 画像中の画素を分類する方法 |
JP2006157267A (ja) * | 2004-11-26 | 2006-06-15 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2009095004A (ja) * | 2007-10-03 | 2009-04-30 | Mitsubishi Electric Research Laboratories Inc | 画像シーケンス中の画素をフィルタリングする方法 |
WO2009110559A1 (ja) * | 2008-03-07 | 2009-09-11 | 株式会社 東芝 | 動画像符号化/復号装置 |
WO2009133844A1 (ja) * | 2008-04-30 | 2009-11-05 | 株式会社 東芝 | エッジを考慮したフィルタリング機能を備えた動画像符号化/復号化方法及び装置 |
WO2010026770A1 (ja) * | 2008-09-04 | 2010-03-11 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路 |
WO2010047104A1 (ja) * | 2008-10-22 | 2010-04-29 | 日本電信電話株式会社 | デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
WO2010083438A2 (en) * | 2009-01-15 | 2010-07-22 | Qualcomn Incorporated | Filter prediction based on activity metrics in video coding |
JP2011223338A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 画像処理装置および方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2759939B2 (ja) * | 1986-03-14 | 1998-05-28 | キヤノン株式会社 | 画像処理システム |
JPH05143726A (ja) * | 1991-11-25 | 1993-06-11 | Canon Inc | 画像処理方法及び装置 |
KR960015396B1 (ko) * | 1992-02-28 | 1996-11-11 | 삼성전자 주식회사 | 고정비트율 압축부호화방법 |
JPH05316361A (ja) * | 1992-04-24 | 1993-11-26 | Sony Corp | ブロック歪除去フィルタ |
KR100213089B1 (ko) * | 1997-01-29 | 1999-08-02 | 윤종용 | 루프필터링 방법 및 루프필터 |
JP4042563B2 (ja) * | 2002-12-27 | 2008-02-06 | セイコーエプソン株式会社 | 画像ノイズの低減 |
JP2006032999A (ja) * | 2004-07-12 | 2006-02-02 | Sharp Corp | 画像復号装置及び画像復号方法 |
US7136536B2 (en) * | 2004-12-22 | 2006-11-14 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive filter |
KR100695155B1 (ko) * | 2005-06-18 | 2007-03-14 | 삼성전자주식회사 | 가리어진 얼굴 검출장치 및 방법과 이를 이용한 부정거래자식별장치 및 방법 |
US8208564B2 (en) * | 2005-06-24 | 2012-06-26 | Ntt Docomo, Inc. | Method and apparatus for video encoding and decoding using adaptive interpolation |
US8488889B2 (en) * | 2005-07-22 | 2013-07-16 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
JP4455487B2 (ja) * | 2005-12-16 | 2010-04-21 | 株式会社東芝 | 復号化装置及び復号化方法及びプログラム |
EP1841230A1 (en) * | 2006-03-27 | 2007-10-03 | Matsushita Electric Industrial Co., Ltd. | Adaptive wiener filter for video coding |
JP4747975B2 (ja) * | 2006-07-14 | 2011-08-17 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに、記録媒体 |
CN1905622A (zh) * | 2006-08-11 | 2007-01-31 | 威盛电子股份有限公司 | 动态选择模块与动态选择滤波器系数组的方法 |
CN101548318B (zh) * | 2006-12-15 | 2012-07-18 | 松下电器产业株式会社 | 编码装置、解码装置以及其方法 |
RU2461977C2 (ru) * | 2006-12-18 | 2012-09-20 | Конинклейке Филипс Электроникс Н.В. | Сжатие и снятие сжатия изображения |
WO2010001911A1 (ja) * | 2008-07-03 | 2010-01-07 | シャープ株式会社 | フィルタ装置 |
CN101742292B (zh) * | 2008-11-14 | 2013-03-27 | 北京中星微电子有限公司 | 基于图像内容信息的环路滤波方法和滤波器 |
CN101674475B (zh) * | 2009-05-12 | 2011-06-22 | 北京合讯数通科技有限公司 | 一种h.264/svc的自适应层间纹理预测方法 |
JP5335574B2 (ja) * | 2009-06-18 | 2013-11-06 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
-
2011
- 2011-06-02 CN CN201910715384.8A patent/CN110430428B/zh active Active
- 2011-06-02 CN CN201610457977.5A patent/CN106060546A/zh active Pending
- 2011-06-02 US US13/704,169 patent/US8995776B2/en not_active Expired - Fee Related
- 2011-06-02 EP EP11795565.8A patent/EP2584781A4/en not_active Ceased
- 2011-06-02 CN CN201610457965.2A patent/CN106454356B/zh active Active
- 2011-06-02 JP JP2012520365A patent/JPWO2011158657A1/ja active Pending
- 2011-06-02 CN CN201180029034.8A patent/CN102948151B/zh not_active Expired - Fee Related
- 2011-06-02 WO PCT/JP2011/062656 patent/WO2011158657A1/ja active Application Filing
-
2017
- 2017-02-20 JP JP2017029390A patent/JP6353943B2/ja not_active Expired - Fee Related
-
2018
- 2018-06-11 JP JP2018111355A patent/JP6561174B2/ja active Active
-
2019
- 2019-07-18 JP JP2019132788A patent/JP6759428B2/ja active Active
-
2020
- 2020-08-31 JP JP2020145337A patent/JP6916939B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006148878A (ja) * | 2004-10-14 | 2006-06-08 | Mitsubishi Electric Research Laboratories Inc | 画像中の画素を分類する方法 |
JP2006157267A (ja) * | 2004-11-26 | 2006-06-15 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2009095004A (ja) * | 2007-10-03 | 2009-04-30 | Mitsubishi Electric Research Laboratories Inc | 画像シーケンス中の画素をフィルタリングする方法 |
WO2009110559A1 (ja) * | 2008-03-07 | 2009-09-11 | 株式会社 東芝 | 動画像符号化/復号装置 |
WO2009133844A1 (ja) * | 2008-04-30 | 2009-11-05 | 株式会社 東芝 | エッジを考慮したフィルタリング機能を備えた動画像符号化/復号化方法及び装置 |
WO2010026770A1 (ja) * | 2008-09-04 | 2010-03-11 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路 |
WO2010047104A1 (ja) * | 2008-10-22 | 2010-04-29 | 日本電信電話株式会社 | デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
WO2010083438A2 (en) * | 2009-01-15 | 2010-07-22 | Qualcomn Incorporated | Filter prediction based on activity metrics in video coding |
JP2011223338A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 画像処理装置および方法 |
Non-Patent Citations (2)
Title |
---|
MARTA KARCZEWICZ ET AL.: "Video coding technology proposal by Qualcomm Inc.", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-A121, JPN6019012171, April 2010 (2010-04-01), pages 1 - 12, ISSN: 0004267604 * |
TOMOHIRO IKAI AND YUKINOBU YASUGI: "Region-based adaptive loop filter using two-dimensional feature", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-D116, JPN6019012174, January 2011 (2011-01-01), pages 1 - 12, ISSN: 0004267605 * |
Also Published As
Publication number | Publication date |
---|---|
JP6353943B2 (ja) | 2018-07-04 |
JP6561174B2 (ja) | 2019-08-14 |
US8995776B2 (en) | 2015-03-31 |
JP6916939B2 (ja) | 2021-08-11 |
CN110430428B (zh) | 2022-02-11 |
US20130136371A1 (en) | 2013-05-30 |
WO2011158657A1 (ja) | 2011-12-22 |
CN106454356B (zh) | 2019-11-08 |
CN102948151B (zh) | 2016-08-03 |
CN102948151A (zh) | 2013-02-27 |
EP2584781A4 (en) | 2016-03-09 |
JPWO2011158657A1 (ja) | 2013-08-19 |
JP2017085674A (ja) | 2017-05-18 |
CN106454356A (zh) | 2017-02-22 |
CN106060546A (zh) | 2016-10-26 |
JP2018157596A (ja) | 2018-10-04 |
JP2020191690A (ja) | 2020-11-26 |
JP6759428B2 (ja) | 2020-09-23 |
CN110430428A (zh) | 2019-11-08 |
EP2584781A1 (en) | 2013-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6561174B2 (ja) | 復号装置および符号化装置 | |
KR101988888B1 (ko) | 화면 내 예측 모드에 대한 부호화/복호화 방법 및 장치 | |
EP4221202A1 (en) | Image encoding and decoding method and image decoding device | |
EP3598760A1 (en) | Method for encoding and decoding image using adaptive deblocking filtering, and apparatus therfor | |
JP7395518B2 (ja) | マージモードに基づくインター予測方法及び装置 | |
KR101809630B1 (ko) | 적응적인 디블록킹 필터링에 관한 부호화/복호화 방법 및 장치 | |
KR20130091800A (ko) | 인트라 예측 복호화 방법 | |
KR101782154B1 (ko) | 움직임 벡터 차분치를 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치 | |
KR101782156B1 (ko) | 적응적인 디블록킹 필터링을 이용하는 영상 부호화 방법과 영상 복호화 방법 및 장치 | |
KR101966195B1 (ko) | 화면내 예측에서의 참조 화소 구성에 관한 부호화/복호화 방법 및 장치 | |
KR102628693B1 (ko) | 움직임 벡터 차분치를 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치 | |
KR102476230B1 (ko) | 움직임 벡터 정밀성을 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치 | |
KR20190008809A (ko) | 복수의 참조 화소 계층을 지원하는 영상 복호화 방법 및 장치 | |
JP2014197722A (ja) | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190718 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6759428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |