JP2018014743A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2018014743A JP2018014743A JP2017173732A JP2017173732A JP2018014743A JP 2018014743 A JP2018014743 A JP 2018014743A JP 2017173732 A JP2017173732 A JP 2017173732A JP 2017173732 A JP2017173732 A JP 2017173732A JP 2018014743 A JP2018014743 A JP 2018014743A
- Authority
- JP
- Japan
- Prior art keywords
- vertical
- horizontal
- unit
- deblocking filter
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 230
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000001914 filtration Methods 0.000 claims abstract description 342
- 230000008685 targeting Effects 0.000 abstract 2
- 238000000034 method Methods 0.000 description 285
- 230000008569 process Effects 0.000 description 237
- 230000015654 memory Effects 0.000 description 52
- 238000004364 calculation method Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 34
- 239000000872 buffer Substances 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 20
- 238000013139 quantization Methods 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000008707 rearrangement Effects 0.000 description 13
- 238000009825 accumulation Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 6
- 101000974007 Homo sapiens Nucleosome assembly protein 1-like 3 Proteins 0.000 description 5
- 102100022398 Nucleosome assembly protein 1-like 3 Human genes 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000012536 storage buffer Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】画像処理装置は、画像内の最大符号化単位に含まれる8×8ブロックの間の垂直境界の近傍の画素を対象とする水平方向のデブロックフィルタ(DF)を、複数の垂直境界に対して複数の最大符号化単位にまたがって、複数の垂直境界に対する水平方向のDFの間で垂直方向のDFに伴う処理の依存関係の無い状態で並列的に適用する水平フィルタリング部と、水平フィルタリング部によりDFを適用された画素を含む画像内の最大符号化単位に含まれる8×8ブロックの間の水平境界の近傍の画素を対象とする垂直方向のDFを、複数の水平境界に対して複数の最大符号化単位にまたがって並列的に適用する垂直フィルタリング部と、垂直フィルタリング部によりDFを適用された画素を含む画像を用いて、符号化対象画像を符号化する符号化部と、を備える。
【選択図】図15
Description
1.装置の概要
1−1.画像符号化装置
1−2.画像復号装置
2.既存の手法の説明
2−1.デブロックフィルタの基本的な構成
2−2.既存の手法における処理間の依存関係
3.第1の実施例
3−1.デブロックフィルタの構成例
3−2.処理の流れ
4.第2の実施例
4−1.デブロックフィルタの構成例
4−2.処理の流れ
4−3.LCUごとの処理の例
5.第3の実施例
5−1.概略
5−2.デブロックフィルタの構成例
5−3.処理の順序の例
5−4.処理の流れ
6.様々なコーデックへの適用
6−1.マルチビューコーデック
6−2.スケーラブルコーデック
7.応用例
8.まとめ
まず、図1及び図2を用いて、本明細書で開示する技術を適用可能な一例としての装置の概要を説明する。本明細書で開示する技術は、例えば、画像符号化装置及び画像復号装置に適用可能である。
図1は、一実施形態に係る画像符号化装置10の構成の一例を示すブロック図である。図1を参照すると、画像符号化装置10は、A/D(Analogue to Digital)変換部11、並べ替えバッファ12、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、デブロックフィルタ24a、フレームメモリ25、セレクタ26、イントラ予測部30、動き探索部40、及びモード選択部50を備える。
図2は、一実施形態に係る画像復号装置60の構成の一例を示すブロック図である。図2を参照すると、画像復号装置60は、蓄積バッファ61、可逆復号部62、逆量子化部63、逆直交変換部64、加算部65、デブロックフィルタ24b、並べ替えバッファ67、D/A(Digital to Analogue)変換部68、フレームメモリ69、セレクタ70及び71、イントラ予測部80、並びに動き補償部90を備える。
[2−1.デブロックフィルタの基本的な構成]
一般的に、H.264/AVC又はHEVCなどの既存の画像符号化方式におけるデブロックフィルタによる処理は、フィルタリング要否判定処理及びフィルタリング処理という2種類の処理を含む。以下、HEVCを例にとって、これら2つの処理について説明する。
フィルタリング要否判定処理は、入力画像内のブロックの境界ごとにデブロックフィルタを適用すべきか否かを判定する処理である。ブロックの境界は、左右に隣接するブロック間の垂直境界と、上下に隣接するブロック間の水平境界とを含む。JCTVC−A119では、8×8画素のブロックサイズが最小の処理単位である。例えば、16×16画素のマクロブロック内には4つの8×8画素のブロックが存在し、ブロックごとに1つの(左の)垂直境界及び1つの(上の)水平境界、即ち合計で4+4=8個の境界が判定の対象となる。なお、本明細書において、マクロブロックとの用語は、HEVCの文脈における符号化単位(CU:Coding Unit)をも含むものとする。
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
−条件B:
|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|<β
−条件A1:ブロックBa又はBbがイントラ予測モードである
ある境界についてデブロックフィルタを適用すべきと判定されると、垂直境界については当該境界の左右の画素、水平境界については当該境界の上下の画素に、フィルタリング処理が行われる。輝度成分については、画素値に応じてフィルタ強度が強(strong)フィルタと弱(weak)フィルタとの間で切り替えられ得る。
−強度選択・・・1行ごと(又は1列ごと)にフィルタ強度を選択。以下の条件C1〜C3が全て満たされる場合には強フィルタ、いずれか1つでも満たされない場合には弱フィルタが選択される:
(C1)d<(β>>2)
(C2)(|p3j−p0j|+|q0j−q3j|)<(β>>3)
(C3)|p0j−q0j|<((5tC+1)>>1)
ここで、jは、垂直境界については行、水平境界については列のインデックスである。また、d=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|である。
Δ=Clip(−tC,tC,(13(q0j−p0j)+4(q1j−p1j)−5(q2j−p2j)+16)>>5))
p0j=Clip0−255(p0j+Δ)
q0j=Clip0−255(q0j−Δ)
p1j=Clip0−255(p1j+Δ/2)
q1j=Clip0−255(q1j−Δ/2)
p0j=Clip0−255((p2j+2p1j+2p0j+2q0j+q1j+4)>>3)
q0j=Clip0−255((p1j+2p0j+2q0j+2q1j+q2j+4)>>3)
p1j=Clip0−255((p2j+p1j+p0j+q0j+2)>>2)
q1j=Clip0−255((p0j+q0j+q1j+q2j+2)>>2)
p2j=Clip0−255((2p3j+3p2j+p1j+p0j+q0j+4)>>3)
q2j=Clip0−255((p0j+q0j+q1j+3q2j+2q3j+4)>>3)
Δ=Clip(−tC,tC,((((q0j−p0j)<<2)+p1j−q1j+4)>>3))
p0j=Clip0−255(p0j+Δ)
q0j=Clip0−255(q0j−Δ)
ここで、説明のために、図6に示したように、16×16画素のサイズを有するマクロブロックMBx(MB0、MB1…)の左上の垂直境界をVx,0、中央上の垂直境界をVx,1、左下の垂直境界をVx,2、中央下の垂直境界をVx,3、左上の水平境界をHx,0、右上の水平境界をHx,1、左中央の水平境界をHx,2、右中央の水平境界をHx,3、と表すものとする。また、例えば境界Zについてのフィルタリング要否判定処理をJZ、フィルタリング処理をFZなどと表すものとする。
[3−1.デブロックフィルタの構成例]
本節では、図1に示した画像符号化装置10のデブロックフィルタ24a及び図2に示した画像復号装置60のデブロックフィルタ24bの第1の実施例に係る構成の一例を説明する。なお、デブロックフィルタ24a及びデブロックフィルタ24bの構成は、共通であってよい。従って、これ以降の説明では、特に両者を区別する必要が無い場合には、デブロックフィルタ24a及びデブロックフィルタ24bをデブロックフィルタ24と総称する。
本実施例においても、デブロックフィルタ24による処理は、上述したフィルタリング要否判定処理及びフィルタリング処理という2種類の処理を含む。但し、デブロックフィルタ24は、既存の手法とは異なる参照画素の画素値に基づいて、各垂直境界及び各水平境界についてデブロックフィルタを適用すべきか否かを判定する。より具体的には、デブロックフィルタ24は、垂直境界についての判定に際しては、垂直境界を挟んで隣接するブロックの画素のうち水平境界についてのデブロックフィルタが適用されない行に属する画素を参照画素とする。また、デブロックフィルタ24は、水平境界についての判定に際しては、水平境界を挟んで隣接するブロックの画素のうち垂直境界についてのデブロックフィルタが適用されない列に属する画素を参照画素とする。なお、本項においても、一例として、デブロックフィルタ24による処理は8×8画素のブロックサイズを1つの処理単位とするものとする。
図15は、上述した並列処理を実現する第1の実施例に係るデブロックフィルタ24の詳細な構成の一例を示すブロック図である。図15を参照すると、デブロックフィルタ24は、判定ブロック110、水平フィルタリングブロック130、垂直フィルタリングブロック140及び並列化制御部150を有する。
判定ブロック110は、複数の垂直境界判定部112−1〜112−n及び複数の水平境界判定部114−1〜114−nを含む。各垂直境界判定部112及び各水平境界判定部114には、デブロックフィルタ24への入力画像、及びフィルタリングの要否の判定のために使用される判定情報が供給される。
図15に戻り、デブロックフィルタ24の構成の説明を継続する。水平フィルタリングブロック130は、複数の水平フィルタリング部132−1〜132−nを含む。各水平フィルタリング部132には、入力画像及び判定ブロック110からの各垂直境界についての判定結果が供給される。
垂直フィルタリングブロック140は、複数の垂直フィルタリング部142−1〜142−nを含む。各垂直フィルタリング部142には、入力画像及び判定ブロック110からの各水平境界についての判定結果が供給される。
並列化制御部150は、判定ブロック110におけるフィルタリング要否判定処理の並列度、並びに水平フィルタリングブロック130及び垂直フィルタリングブロック140におけるフィルタリング処理の並列度を制御する。
次に、図20〜図22を用いて、デブロックフィルタ24による処理の流れを説明する。
図20は、デブロックフィルタ24による第1のシナリオにおける処理の流れ一例を示すフローチャートである。第1のシナリオは、並列度の大きい図13の例に対応するシナリオである。
図21は、デブロックフィルタ24による第2のシナリオにおける処理の流れ一例を示すフローチャートである。第2のシナリオは、並列度のより小さい図14の例に対応するシナリオである。
図22は、図20のステップS102及びS104並びに図21のステップS202及びS204に相当する、フィルタリング要否判定処理の流れの一例を示すフローチャートである。
第1の実施例では、あるブロックについてのフィルタリング要否判定処理のために、他のブロックについてのフィルタリング処理によって更新されない画素の画素値が使用された。これに対し、本節で説明する第2の実施例では、デブロックフィルタへの入力画素値を保持するメモリを設けることで、フィルタリング要否判定処理の制約をなくし、より多様な判定条件を用いることを可能とする。
(1)各部の説明
図23は、第2の実施例に係るデブロックフィルタ24の詳細な構成の一例を示すブロック図である。図23を参照すると、デブロックフィルタ24は、ラインメモリ208、判定ブロック210、水平フィルタリングブロック130、垂直フィルタリングブロック140及び並列化制御部150を有する。
本実施例において、各垂直境界判定部212は、図4に示した既存の手法のように、ブロックの3番目及び6番目の行の画素を参照して、各ブロックの垂直境界についてのフィルタリングの要否を判定してもよい。但し、参照される画素値は、ラインメモリ208により記憶されているデブロックフィルタ24への入力画像の画素値である。同様に、各水平境界判定部214は、ブロックの3番目及び6番目の列の画素を参照して、各ブロックの水平境界についてのフィルタリングの要否を判定してもよい。この場合には、既存の装置に実装されているフィルタリング要否判定処理の判定条件を変えることなく、本実施例に係る構成を容易に実現することができる。
図24は、判定の手法の第1及び第2の例をそれぞれ説明するための説明図である。第1及び第2の例では、垂直境界についてのフィルタリング要否判定処理(特に、輝度成分の判定条件Bの判定)において、各ブロックの1番目から8番目までの全ての行L1〜L8の画素が参照される。水平境界についてのフィルタリング要否判定処理においても、各ブロックの1番目から8番目までの全ての列の画素が参照される。
・輝度成分(Luma)の判定条件・・・条件A及び条件Bがいずれも真なら適用
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p27−2p17+p07|+|q27−2q17+q07|
iD1=|p21−2p11+p01|+|q21−2q11+q01|+|p26−2p16+p06|+|q26−2q16+q06|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|
iD3=|p23−2p13+p03|+|q23−2q13+q03|+|p24−2p14+p04|+|q24−2q14+q04|
iDave=(iD0+iD1+iD2+iD3)>>2
とした場合に、iDave<β
第2の例において、輝度成分の判定条件Bは、次のように定義され得る:
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p27−2p17+p07|+|q27−2q17+q07|
iD1=|p21−2p11+p01|+|q21−2q11+q01|+|p26−2p16+p06|+|q26−2q16+q06|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|
iD3=|p23−2p13+p03|+|q23−2q13+q03|+|p24−2p14+p04|+|q24−2q14+q04|
とした場合に、
iD0<β かつ iD1<β かつ iD2<β かつ iD3<β
図25は、判定の手法の第3及び第4の例をそれぞれ説明するための説明図である。第3及び第4の例では、垂直境界についてのフィルタリング要否判定処理(特に、輝度成分の判定条件Bの判定)において、各ブロックの4つの行L1、L3、L6及びL8の画素が参照される。水平境界についてのフィルタリング要否判定処理においても、各ブロックの4つの列の画素が参照される。
・輝度成分(Luma)の判定条件・・・条件A及び条件Bがいずれも真なら適用
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p27−2p17+p07|+|q27−2q17+q07|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|
iDave=(iD0+iD2)>>1
とした場合に、iDave<β
第4の例において、輝度成分の判定条件Bは、次のように定義され得る:
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p27−2p17+p07|+|q27−2q17+q07|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|
とした場合に、
iD0<β かつ iD2<β
図26は、判定の手法の第5及び第6の例をそれぞれ説明するための説明図である。第5及び第6の例では、垂直境界についてのフィルタリング要否判定処理において、各ブロックの4つの行L1、L3、L5及びL7の画素が参照される。水平境界についてのフィルタリング要否判定処理においても、各ブロックの4つの列の画素が参照される。
・輝度成分(Luma)の判定条件・・・条件A及び条件Bがいずれも真なら適用
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p26−2p16+p06|+|q26−2q16+q06|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p24−2p14+p04|+|q24−2q14+q04|
iDave=(iD0+iD2)>>1
とした場合に、iDave<β
第6の例において、輝度成分の判定条件Bは、次のように定義され得る:
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p26−2p16+p06|+|q26−2q16+q06|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p24−2p14+p04|+|q24−2q14+q04|
とした場合に、
iD0<β かつ iD2<β
第2の実施例においても、第1の実施例と同様、デブロックフィルタ24は異なる並列度で動作することができる。
上述したように、本明細書で説明される様々な実施例に係る技術は、HEVCの符号化単位(CU)に基づく処理として実現されてもよい。HEVCにおいて、サイズの最も大きい符号化単位はLCU(Largest Coding Unit)と呼ばれ、例えば64×64画素のLCUが選択可能である。選択可能な最小のCUのサイズは、8×8画素である。画像の符号化及び復号に際しては、通常、ピクチャ(又はスライス)の左上のLCUを起点とし、ラスタスキャンの順序に従って、LCUごとに処理が行われる。そこで、本項では、デブロックフィルタ24におけるこのようなLCUごとの処理の例について説明する。
[5−1.概略]
第2の実施例では、垂直境界及び水平境界の双方についてのフィルタリング要否判定処理においてデブロックフィルタへの入力画素値を参照することで、これらフィルタリング要否判定処理の間の依存関係が解消され、判定処理の並列化が可能となる。本節で説明する第3の実施例では、第2の実施例の考え方をフィルタリング処理にも適用する。即ち、垂直境界及び水平境界の双方についてのフィルタリング処理においても、デブロックフィルタへの入力画素値をフィルタリングすることとする。
図30は、第3の実施例に係るデブロックフィルタ24の詳細な構成の一例を示すブロック図である。図30を参照すると、デブロックフィルタ24は、ラインメモリ208、判定ブロック210、水平フィルタリングブロック330、垂直フィルタリングブロック340、並列化制御部150及び計算部360を有する。判定ブロック210は、複数の垂直境界判定部212−1〜212−n及び複数の水平境界判定部214−1〜214−nを含む。各垂直境界判定部212及び各水平境界判定部214は、第2の実施例において例示したような様々な判定条件に従って、各境界についてのフィルタリングの要否を判定してよい。
以下、本実施例においてデブロックフィルタ24により実現可能な処理の順序の2つの例を説明する。ここでも、一例として、32×32画素のサイズを有する画像がデブロックフィルタに入力されるものとする。当該入力画像は、それぞれ16×16画素のサイズを有する4つのマクロブロックMB0〜MB3を含む。
まず、比較のために、垂直境界についてのフィルタリング処理と水平境界についてのフィルタリング処理との間の依存関係が残っている場合の処理の順序を図34に示す。なお、図34に示した処理の順序は、第1の実施例に関連して図13に示した処理の順序と実質的に同じである。図34において、第1ステップでは、4つのマクロブロックMB0〜MB3の全ての垂直境界及び全ての水平境界についてのフィルタリング要否判定処理JV0,0〜JV3,3及びJH0,0〜JH3,3が並列的に実行される。次に、第2ステップでは、4つのマクロブロックMB0〜MB3の16個の垂直境界についてのフィルタリング処理FV0,0〜FV3,3が実行される。次に、第3ステップでは、4つのマクロブロックMB0〜MB3の16個の水平境界についてのフィルタリング処理FH0,0〜FH3,3が実行される。その後、第4ステップ(図13では省略されている)では、水平境界についてのフィルタリング処理後の各画素値が、デブロックフィルタ24からの出力用のメモリへ格納される。
上述した第1の例は並列度を最大限に高める例である一方、本実施例においても、デブロックフィルタ24は、マクロブロックごとの処理を実現することもできる。
図38は、第3の実施例に係るデブロックフィルタによる処理の流れの一例を示すフローチャートである。また、図39は、図38に示した画素値計算処理の流れの一例を示すフローチャートである。
本開示に係る技術は、画像の符号化及び復号に関連する様々なコーデックに適用可能である。本節では、本開示に係る技術がマルチビューコーデック及びスケーラブルコーデックにそれぞれ適用される例について説明する。
マルチビューコーデックは、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図40は、マルチビューコーデックについて説明するための説明図である。図40を参照すると、3つの視点においてそれぞれ撮影される3つのビューのフレームのシーケンスが示されている。各ビューには、ビューID(view_id)が付与される。これら複数のビューのうちいずれか1つのビューが、ベースビュー(base view)に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図40の例では、ビューIDが“0”であるビューがベースビューであり、ビューIDが“1”又は“2”である2つのビューがノンベースビューである。これらマルチビューの画像データを符号化する際、ベースビューのフレームについての符号化情報に基づいてノンベースビューのフレームを符号化することにより、全体としての符号化ストリームのデータサイズが圧縮され得る。
スケーラブルコーデックは、いわゆる階層符号化を実現するための画像符号化方式である。図43は、スケーラブルコーデックについて説明するための説明図である。図43を参照すると、空間解像度、時間解像度又は画質の異なる3つのレイヤのフレームのシーケンスが示されている。各レイヤには、レイヤID(layer_id)が付与される。これら複数のレイヤのうち、最も解像度(又は画質)の低いレイヤが、ベースレイヤ(base layer)である。ベースレイヤ以外のレイヤは、エンハンスメントレイヤと呼ばれる。図43の例では、レイヤIDが“0”であるレイヤがベースレイヤであり、レイヤIDが“1”又は“2”である2つのレイヤがエンハンスメントレイヤである。これらマルチレイヤの画像データを符号化する際、ベースレイヤのフレームについての符号化情報に基づいてエンハンスメントレイヤのフレームを符号化することにより、全体としての符号化ストリームのデータサイズが圧縮され得る。
上述した実施形態に係る画像符号化装置10及び画像復号装置60は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。
図46は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。
図47は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
図48は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。
図49は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
ここまで、図1〜図49を用いて、一実施形態に係る画像符号化装置10及び画像復号装置60のデブロックフィルタの3つの実施例について詳しく説明した。これら3つの実施例によれば、垂直境界についてのデブロックフィルタの適用の要否の判定及び水平境界についてのデブロックフィルタの適用の要否の判定が、共にデブロックフィルタへの入力画素値を用いて行われる。従って、フィルタリング処理の結果に依存することなく、これら判定処理を並列的に実行することができる。また、マクロブロック間の処理の依存関係も解消され、複数のマクロブロックについての処理の並列化も可能となる。その結果、デブロックフィルタの多大な処理量を原因とする遅延又はデータレートの低下を回避し、処理を高速化することができる。また、画像のサイズ又は実装環境の制約などの様々な条件に応じてデブロックフィルタの処理の並列度及び順序を柔軟に設定することも可能となる。
112−1〜n,212−1〜n 第1判定部(垂直境界判定部)
114−1〜n,214−1〜n 第2判定部(水平境界判定部)
132−1〜n,332−1〜n 第1フィルタリング部(水平フィルタリング部)
142−1〜n,342−1〜n 第2フィルタリング部(垂直フィルタリング部)
150 並列化制御部
208 ラインメモリ(メモリ)
360 計算部
Claims (10)
- 復号される画像内の最大符号化単位にそれぞれ含まれる8×8ブロックの間の垂直境界の近傍の画素を対象とする水平方向のデブロックフィルタを、複数の前記垂直境界に対して複数の最大符号化単位にまたがって、複数の前記垂直境界に対する前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で並列的に適用する水平フィルタリング部と、
前記水平フィルタリング部によりデブロックフィルタを適用された画素を含む前記画像内の最大符号化単位にそれぞれ含まれる8×8ブロックの間の水平境界の近傍の画素を対象とする垂直方向のデブロックフィルタを、複数の前記水平境界に対して複数の最大符号化単位にまたがって並列的に適用する垂直フィルタリング部と、
前記垂直フィルタリング部によりデブロックフィルタを適用された画素を含む画像を用いて、符号化対象画像を符号化する符号化部と、
を備える画像処理装置。 - 前記水平フィルタリング部は、8×8ブロックの間の隣接する複数の前記垂直境界についての前記水平方向のデブロックフィルタ同士に依存関係を生じさせないように、前記水平方向のデブロックフィルタの処理対象となる複数の最大符号化単位の間で垂直方向のデブロックフィルタに伴う処理の前記依存関係の無い状態で前記水平方向のデブロックフィルタを適用し、
前記垂直フィルタリング部は、8×8ブロックの間の隣接する複数の前記水平境界についての前記垂直方向のデブロックフィルタ同士に依存関係を生じさせないように、前記垂直方向のデブロックフィルタを適用する、
請求項1に記載の画像処理装置。 - 前記水平フィルタリング部は、8×8ブロックの間の隣接する複数の前記垂直境界についての前記水平方向のデブロックフィルタ同士で重複しないタップ長を用いて前記水平方向のデブロックフィルタを適用し、
前記垂直フィルタリング部は、8×8ブロックの間の隣接する複数の前記水平境界についての前記垂直方向のデブロックフィルタ同士で重複しないタップ長を用いて前記垂直方向のデブロックフィルタを適用する、
請求項2に記載の画像処理装置。 - 前記符号化部は、前記最大符号化単位から分割される可変的なサイズを有する符号化単位ごとに前記符号化対象画像を符号化する、請求項3に記載の画像処理装置。
- 復号される画像内の最大符号化単位にそれぞれ含まれる8×8ブロックの間の垂直境界の近傍の画素を対象とする水平方向のデブロックフィルタを、複数の前記垂直境界に対して複数の最大符号化単位にまたがって、複数の前記垂直境界に対する前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で並列的に適用することと、
前記水平方向のデブロックフィルタを適用された画素を含む前記画像内の最大符号化単位にそれぞれ含まれる8×8ブロックの間の水平境界の近傍の画素を対象とする垂直方向のデブロックフィルタを、複数の前記水平境界に対して複数の最大符号化単位にまたがって並列的に適用することと、
前記垂直方向のデブロックフィルタを適用された画素を含む画像を用いて、符号化対象画像を符号化することと、
を含む画像処理方法。 - 前記水平方向のデブロックフィルタは、8×8ブロックの間の隣接する複数の前記垂直境界についての前記水平方向のデブロックフィルタ同士に依存関係を生じさせないように、前記水平方向のデブロックフィルタの処理対象となる複数の最大符号化単位の間で垂直方向のデブロックフィルタに伴う処理の前記依存関係の無い状態で複数の前記垂直境界に適用され、
前記垂直方向のデブロックフィルタは、8×8ブロックの間の隣接する複数の前記水平境界についての前記垂直方向のデブロックフィルタ同士に依存関係を生じさせないように複数の前記水平境界に適用される、
請求項5に記載の画像処理方法。 - 前記水平方向のデブロックフィルタは、8×8ブロックの間の隣接する複数の前記垂直境界についての前記水平方向のデブロックフィルタ同士で重複しないタップ長を用いて適用され、
前記垂直方向のデブロックフィルタは、8×8ブロックの間の隣接する複数の前記水平境界についての前記垂直方向のデブロックフィルタ同士で重複しないタップ長を用いて適用される、
請求項6に記載の画像処理方法。 - 前記最大符号化単位から分割される可変的なサイズを有する符号化単位ごとに前記符号化対象画像が符号化される、請求項7に記載の画像処理方法。
- 画像処理装置を制御するプロセッサを、
復号される画像内の最大符号化単位にそれぞれ含まれる8×8ブロックの間の垂直境界の近傍の画素を対象とする水平方向のデブロックフィルタを、複数の前記垂直境界に対して複数の最大符号化単位にまたがって、複数の前記垂直境界に対する前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で並列的に適用する水平フィルタリング部と、
前記水平フィルタリング部によりデブロックフィルタを適用された画素を含む前記画像内の最大符号化単位にそれぞれ含まれる8×8ブロックの間の水平境界の近傍の画素を対象とする垂直方向のデブロックフィルタを、複数の前記水平境界に対して複数の最大符号化単位にまたがって並列的に適用する垂直フィルタリング部と、
前記垂直フィルタリング部によりデブロックフィルタを適用された画素を含む画像を用いて、符号化対象画像を符号化する符号化部と、
として機能させるためのプログラム。 - 請求項9に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010272907 | 2010-12-07 | ||
JP2010272907 | 2010-12-07 | ||
JP2011004391 | 2011-01-12 | ||
JP2011004391 | 2011-01-12 | ||
JP2011045652 | 2011-03-02 | ||
JP2011045652 | 2011-03-02 | ||
JP2011117557 | 2011-05-26 | ||
JP2011117557 | 2011-05-26 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016142996A Division JP6222305B2 (ja) | 2010-12-07 | 2016-07-21 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018014743A true JP2018014743A (ja) | 2018-01-25 |
JP6471787B2 JP6471787B2 (ja) | 2019-02-20 |
Family
ID=46207095
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012547833A Active JP6011341B2 (ja) | 2010-12-07 | 2011-12-02 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2016142996A Active JP6222305B2 (ja) | 2010-12-07 | 2016-07-21 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2017173732A Active JP6471787B2 (ja) | 2010-12-07 | 2017-09-11 | 画像処理装置及び画像処理方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012547833A Active JP6011341B2 (ja) | 2010-12-07 | 2011-12-02 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2016142996A Active JP6222305B2 (ja) | 2010-12-07 | 2016-07-21 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Country Status (14)
Country | Link |
---|---|
US (4) | US9973763B2 (ja) |
EP (4) | EP3748962A1 (ja) |
JP (3) | JP6011341B2 (ja) |
KR (3) | KR101963097B1 (ja) |
CN (4) | CN103229506B (ja) |
AU (1) | AU2011339460B2 (ja) |
BR (1) | BR112013013509B1 (ja) |
CA (1) | CA2815819C (ja) |
ES (1) | ES2856823T3 (ja) |
MX (3) | MX355896B (ja) |
MY (1) | MY163146A (ja) |
RU (2) | RU2585662C2 (ja) |
TW (4) | TWI580250B (ja) |
WO (1) | WO2012077607A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7295609B2 (en) | 2001-11-30 | 2007-11-13 | Sony Corporation | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
JP5359657B2 (ja) * | 2009-07-31 | 2013-12-04 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
JP5914962B2 (ja) | 2010-04-09 | 2016-05-11 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに、記録媒体 |
TWI508534B (zh) | 2010-05-18 | 2015-11-11 | Sony Corp | Image processing apparatus and image processing method |
CN108366264B (zh) | 2010-06-04 | 2022-08-26 | 索尼公司 | 图像处理设备和方法 |
MX2013006130A (es) | 2010-12-07 | 2013-06-28 | Sony Corp | Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes. |
MX355896B (es) * | 2010-12-07 | 2018-05-04 | Sony Corp | Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes. |
JP5741076B2 (ja) | 2010-12-09 | 2015-07-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP5884313B2 (ja) | 2011-01-18 | 2016-03-15 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
CA2819401C (en) | 2011-02-10 | 2020-02-11 | Sony Corporation | Image processing device and image processing method |
MY186854A (en) | 2011-03-11 | 2021-08-26 | Sony Corp | Image processing apparatus and method |
TWI530161B (zh) | 2011-06-07 | 2016-04-11 | Sony Corp | Image processing apparatus and method |
JP5907367B2 (ja) | 2011-06-28 | 2016-04-26 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
CN110611812B (zh) | 2011-06-28 | 2021-07-06 | 索尼公司 | 图像处理装置和图像处理方法 |
TWI667913B (zh) * | 2012-04-06 | 2019-08-01 | 日商新力股份有限公司 | Image processing device, image processing method, computer program, and recording medium |
JP6327153B2 (ja) * | 2012-12-06 | 2018-05-23 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN105451025B (zh) * | 2014-07-31 | 2019-03-01 | 富士通株式会社 | 图像处理方法以及装置 |
US20160173897A1 (en) * | 2014-12-10 | 2016-06-16 | Haihua Wu | High Parallelism Dependency Pattern for GPU Based Deblock |
KR102597231B1 (ko) * | 2016-09-30 | 2023-11-03 | 삼성디스플레이 주식회사 | 영상 처리 장치, 표시 장치 및 두부 장착 표시 장치 |
CN110325871B (zh) * | 2017-01-25 | 2021-10-01 | 上海联影医疗科技股份有限公司 | 用于图像重建的系统和方法 |
TWI833248B (zh) * | 2017-04-06 | 2024-02-21 | 美商松下電器(美國)知識產權公司 | 解碼方法及編碼方法 |
JP2019074967A (ja) * | 2017-10-17 | 2019-05-16 | キヤノン株式会社 | フィルタ処理装置およびその制御方法 |
US11153607B2 (en) * | 2018-01-29 | 2021-10-19 | Mediatek Inc. | Length-adaptive deblocking filtering in video coding |
JP7155568B2 (ja) | 2018-03-26 | 2022-10-19 | 東洋製罐グループホールディングス株式会社 | 金属加工物 |
EP3780602A4 (en) * | 2018-03-29 | 2021-05-26 | Sony Corporation | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
AU2020229625A1 (en) | 2019-02-27 | 2021-10-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Deblocking using sub-pel motion vector threshold |
WO2020180166A1 (ko) * | 2019-03-07 | 2020-09-10 | 디지털인사이트주식회사 | 영상 부호화/복호화 방법 및 장치 |
JP7026065B2 (ja) * | 2019-03-12 | 2022-02-25 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
CN110213579A (zh) * | 2019-06-11 | 2019-09-06 | 上海富瀚微电子股份有限公司 | 双核心计算单元实现环路滤波的方法 |
JP7200074B2 (ja) * | 2019-09-20 | 2023-01-06 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
CN113965764B (zh) * | 2020-07-21 | 2023-04-07 | Oppo广东移动通信有限公司 | 图像编码方法、图像解码方法及相关装置 |
CN116114245A (zh) | 2021-09-02 | 2023-05-12 | 辉达公司 | 在视频编码过程中视频帧的并行处理 |
WO2023029045A1 (en) * | 2021-09-06 | 2023-03-09 | Nvidia Corporation | Parallel encoding of video frames without filtering dependency |
CN118020305A (zh) * | 2021-09-22 | 2024-05-10 | 夏普株式会社 | 运动图像编码装置、运动图像解码装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006270851A (ja) * | 2005-03-25 | 2006-10-05 | Victor Co Of Japan Ltd | 画像符号化装置及び画像復号装置 |
JP2008048181A (ja) * | 2006-08-17 | 2008-02-28 | Fujitsu Ltd | デブロッキングフィルタ、画像符号化装置および画像復号化装置 |
US20080123750A1 (en) * | 2006-11-29 | 2008-05-29 | Michael Bronstein | Parallel deblocking filter for H.264 video codec |
JP2008529412A (ja) * | 2005-01-25 | 2008-07-31 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | 中間ループフィルタデータを格納するスクラッチパッド |
US20090304086A1 (en) * | 2008-06-06 | 2009-12-10 | Apple Inc. | Method and system for video coder and decoder joint optimization |
WO2012077607A1 (ja) * | 2010-12-07 | 2012-06-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0832030B2 (ja) * | 1986-10-21 | 1996-03-27 | ソニー株式会社 | ブロツク符号化された画像信号の復号装置 |
FR2757297B1 (fr) * | 1996-12-18 | 1999-03-05 | Thomson Multimedia Sa | Procede et dispositif d'etiquetage de region |
KR100746821B1 (ko) * | 2000-04-21 | 2007-08-06 | 소니 가부시끼 가이샤 | 정보 처리 장치와 방법, 기록매체 |
US7295609B2 (en) | 2001-11-30 | 2007-11-13 | Sony Corporation | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
CN101448162B (zh) * | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
KR100949418B1 (ko) | 2002-02-15 | 2010-03-24 | 소니 주식회사 | 보행식 이동 로봇의 다리 장치 및 보행식 이동 로봇의제어 방법 |
JP4114494B2 (ja) * | 2002-03-07 | 2008-07-09 | セイコーエプソン株式会社 | 画像処理装置及び画像処理プログラム、並びに画像処理方法 |
US7620109B2 (en) * | 2002-04-10 | 2009-11-17 | Microsoft Corporation | Sub-pixel interpolation in motion estimation and compensation |
KR100986865B1 (ko) * | 2002-05-20 | 2010-10-08 | 소니 주식회사 | 영상 신호 처리 장치 및 방법 |
EP1845529B1 (en) * | 2003-02-19 | 2011-05-04 | Panasonic Corporation | Recording medium, playback apparatus and recording method |
KR100644618B1 (ko) * | 2004-07-02 | 2006-11-10 | 삼성전자주식회사 | 블록 단위로 부호화된 영상의 블록경계에서의 불연속성제거필터 및 방법 |
US8116379B2 (en) | 2004-10-08 | 2012-02-14 | Stmicroelectronics, Inc. | Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard |
JP4270125B2 (ja) * | 2004-12-16 | 2009-05-27 | ソニー株式会社 | データ処理装置、画像処理装置、それらの方法およびプログラム |
KR100843196B1 (ko) * | 2004-12-17 | 2008-07-02 | 삼성전자주식회사 | H.264/avc 비디오 디코더의 디블록킹 필터 |
KR100679035B1 (ko) * | 2005-01-04 | 2007-02-06 | 삼성전자주식회사 | 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 |
CN100420269C (zh) * | 2005-12-09 | 2008-09-17 | 逐点半导体(上海)有限公司 | 一种图像增强处理系统和处理方法 |
JP4591405B2 (ja) * | 2006-05-10 | 2010-12-01 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
JP5418756B2 (ja) * | 2007-01-22 | 2014-02-19 | 日本電気株式会社 | 画像再符号化装置、画像再符号化方法及び画像再符号化プログラム |
US8204129B2 (en) * | 2007-03-27 | 2012-06-19 | Freescale Semiconductor, Inc. | Simplified deblock filtering for reduced memory access and computational complexity |
US20110002395A1 (en) * | 2008-03-31 | 2011-01-06 | Nec Corporation | Deblocking filtering processor and deblocking filtering method |
JP2010014513A (ja) | 2008-07-03 | 2010-01-21 | Fuji Electric Holdings Co Ltd | はんだフラックス中の金属成分分析方法 |
CN101321290B (zh) * | 2008-07-17 | 2010-12-15 | 北京数码视讯科技股份有限公司 | 基于数字信号处理器的去块滤波方法 |
WO2010035403A1 (ja) * | 2008-09-25 | 2010-04-01 | パナソニック株式会社 | フィルタ装置およびフィルタ方法 |
US8861586B2 (en) * | 2008-10-14 | 2014-10-14 | Nvidia Corporation | Adaptive deblocking in a decoding pipeline |
JP2010136245A (ja) * | 2008-12-08 | 2010-06-17 | Toshiba Corp | 動画像処理装置及び方法 |
JP2010141513A (ja) * | 2008-12-10 | 2010-06-24 | Toshiba Corp | 演算装置及び動画像符号化装置 |
JP5359657B2 (ja) | 2009-07-31 | 2013-12-04 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
JP5344238B2 (ja) | 2009-07-31 | 2013-11-20 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
WO2011096869A1 (en) * | 2010-02-05 | 2011-08-11 | Telefonaktiebolaget L M Ericsson (Publ) | De-blocking filtering control |
US9185430B2 (en) * | 2010-03-15 | 2015-11-10 | Mediatek Singapore Pte. Ltd. | Deblocking filtering method and deblocking filter |
JP5914962B2 (ja) | 2010-04-09 | 2016-05-11 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに、記録媒体 |
JPWO2011129090A1 (ja) | 2010-04-13 | 2013-07-11 | パナソニック株式会社 | 符号化歪み除去方法、符号化方法、復号化方法、符号化歪み除去装置、符号化装置、および復号化装置 |
TWI508534B (zh) | 2010-05-18 | 2015-11-11 | Sony Corp | Image processing apparatus and image processing method |
CN108366264B (zh) | 2010-06-04 | 2022-08-26 | 索尼公司 | 图像处理设备和方法 |
MX2013006130A (es) | 2010-12-07 | 2013-06-28 | Sony Corp | Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes. |
JP5741076B2 (ja) | 2010-12-09 | 2015-07-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
CA2819401C (en) | 2011-02-10 | 2020-02-11 | Sony Corporation | Image processing device and image processing method |
MY186854A (en) | 2011-03-11 | 2021-08-26 | Sony Corp | Image processing apparatus and method |
TWI530161B (zh) | 2011-06-07 | 2016-04-11 | Sony Corp | Image processing apparatus and method |
JP5907367B2 (ja) | 2011-06-28 | 2016-04-26 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
MX342499B (es) | 2012-06-29 | 2016-10-03 | Sony Corp | Dispositivo de descodificación y método de descodificación. |
-
2011
- 2011-12-02 MX MX2016005041A patent/MX355896B/es unknown
- 2011-12-02 KR KR1020187019836A patent/KR101963097B1/ko active IP Right Grant
- 2011-12-02 CN CN201180057815.8A patent/CN103229506B/zh active Active
- 2011-12-02 EP EP20185677.0A patent/EP3748962A1/en not_active Withdrawn
- 2011-12-02 BR BR112013013509-3A patent/BR112013013509B1/pt active IP Right Grant
- 2011-12-02 US US13/990,893 patent/US9973763B2/en active Active
- 2011-12-02 CN CN201610834002.XA patent/CN106385586A/zh active Pending
- 2011-12-02 RU RU2013125498/07A patent/RU2585662C2/ru active
- 2011-12-02 EP EP20185688.7A patent/EP3748964A1/en not_active Withdrawn
- 2011-12-02 CN CN201610833935.7A patent/CN106454359B/zh active Active
- 2011-12-02 CN CN201610833557.2A patent/CN106454358B/zh active Active
- 2011-12-02 RU RU2016105120A patent/RU2691962C2/ru active
- 2011-12-02 AU AU2011339460A patent/AU2011339460B2/en active Active
- 2011-12-02 EP EP11846148.2A patent/EP2651127B1/en active Active
- 2011-12-02 JP JP2012547833A patent/JP6011341B2/ja active Active
- 2011-12-02 KR KR1020137013869A patent/KR101879890B1/ko active IP Right Grant
- 2011-12-02 EP EP20185680.4A patent/EP3748963B1/en active Active
- 2011-12-02 MX MX2013006131A patent/MX2013006131A/es active IP Right Grant
- 2011-12-02 CA CA2815819A patent/CA2815819C/en active Active
- 2011-12-02 KR KR1020187019829A patent/KR101963096B1/ko active IP Right Grant
- 2011-12-02 ES ES11846148T patent/ES2856823T3/es active Active
- 2011-12-02 MY MYPI2013001873A patent/MY163146A/en unknown
- 2011-12-02 WO PCT/JP2011/077953 patent/WO2012077607A1/ja active Application Filing
- 2011-12-05 TW TW104111383A patent/TWI580250B/zh active
- 2011-12-05 TW TW100144707A patent/TWI520504B/zh active
- 2011-12-05 TW TW104111385A patent/TWI569627B/zh active
- 2011-12-05 TW TW104111379A patent/TWI580249B/zh active
-
2013
- 2013-05-31 MX MX2014013389A patent/MX338737B/es unknown
-
2016
- 2016-07-21 JP JP2016142996A patent/JP6222305B2/ja active Active
-
2017
- 2017-09-11 JP JP2017173732A patent/JP6471787B2/ja active Active
-
2018
- 2018-02-22 US US15/902,870 patent/US10362318B2/en active Active
-
2019
- 2019-04-23 US US16/391,314 patent/US10582202B2/en active Active
- 2019-11-25 US US16/693,374 patent/US10931955B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008529412A (ja) * | 2005-01-25 | 2008-07-31 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | 中間ループフィルタデータを格納するスクラッチパッド |
JP2006270851A (ja) * | 2005-03-25 | 2006-10-05 | Victor Co Of Japan Ltd | 画像符号化装置及び画像復号装置 |
JP2008048181A (ja) * | 2006-08-17 | 2008-02-28 | Fujitsu Ltd | デブロッキングフィルタ、画像符号化装置および画像復号化装置 |
US20080123750A1 (en) * | 2006-11-29 | 2008-05-29 | Michael Bronstein | Parallel deblocking filter for H.264 video codec |
US20090304086A1 (en) * | 2008-06-06 | 2009-12-10 | Apple Inc. | Method and system for video coder and decoder joint optimization |
WO2012077607A1 (ja) * | 2010-12-07 | 2012-06-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
Non-Patent Citations (2)
Title |
---|
KEMAL UGUR, ET AL.: "Appendix to Description of video coding technology proposal by Tandberg Nokia Ericsson", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST M, vol. JCTVC-A119.zip, JPN6018029417, 23 April 2010 (2010-04-23), ISSN: 0003911496 * |
THOMAS DAVIES ET AL.: "BBC's Response to the Call for Proposals on Video Compression Technology", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) 1ST MEETING: DRESDEN, vol. JCTVC-A125.doc, JPN6018043311, 23 April 2010 (2010-04-23), ISSN: 0003911494 * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6471787B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6471786B2 (ja) | 画像処理装置及び画像処理方法 | |
AU2017202277A1 (en) | Image processing device and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6471787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |