JP2019036772A - 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム - Google Patents

動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム Download PDF

Info

Publication number
JP2019036772A
JP2019036772A JP2017155418A JP2017155418A JP2019036772A JP 2019036772 A JP2019036772 A JP 2019036772A JP 2017155418 A JP2017155418 A JP 2017155418A JP 2017155418 A JP2017155418 A JP 2017155418A JP 2019036772 A JP2019036772 A JP 2019036772A
Authority
JP
Japan
Prior art keywords
encoding
parameter
block
blocks
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017155418A
Other languages
English (en)
Other versions
JP6904156B2 (ja
Inventor
ギヨム デニー クリスティアン バル
Denis Christian Barroux Guillaume
ギヨム デニー クリスティアン バル
数井 君彦
Kimihiko Kazui
君彦 数井
健士郎 武内
Kenshiro Takeuchi
健士郎 武内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017155418A priority Critical patent/JP6904156B2/ja
Priority to EP18187229.2A priority patent/EP3445052B1/en
Priority to US16/055,551 priority patent/US11223829B2/en
Publication of JP2019036772A publication Critical patent/JP2019036772A/ja
Application granted granted Critical
Publication of JP6904156B2 publication Critical patent/JP6904156B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】長方形のブロックを用いる動画像符号化において発生する符号量を削減する。【解決手段】第1符号化部411は、動画像に含まれる符号化対象画像を複数のブロックに分割し、フィルタ処理を用いた予測符号化によって各ブロックを符号化する。第2符号化部412は、フィルタ処理における画素列の方向を示すパラメータを符号化する。このとき、第2符号化部412は、複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、長方形の長辺の方向に応じて、フィルタ処理における画素列の方向を示すパラメータを符号化する処理を変更する。【選択図】図4

Description

本発明は、動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムに関する。
現在、“High Efficiency Video Coding(HEVC)”標準の第4版が出版されようとしており、HEVCが安定期に入っている。International Telecommunication Union Telecommunication Standardization Sector(ITU−T)は、ITUの1つのセクタとして知られている。また、ISO/IEC JTC 1は、International Organization for Standardization(ISO)とInternational Electrotechnical Commission(IEC)のJoint Technical Committee 1である。
近年、ITU−T WP3/16とISO/IEC JCT1/SC29/WG11は、Joint Video Exploration Team(JVET)と呼ばれる新たなグループを設立した。JVETは、動画像圧縮技術の強化策を評価する指導的な検討作業を担当しており、そのメンバによって作成された文書は、“http://phenix.it-sudparis.eu/jvet/”のウェブサイトにアップロードされている。
HEVC標準の主要な側面の1つは、正方形のブロックを4個の等価な小ブロックに再帰的に分割する四分木構造を用いることである。再帰的に分割される基本ブロックは、Coding Tree Unit(CTU)と呼ばれる。
連続する複数のCTUは、スライスと呼ばれるより大きなデータ要素にグループ化される。スライスは、イントラ予測又はインター予測のうちいずれが許容されるかによって、イントラ予測スライス又はインター予測スライスとして定義することができる。
また、最近では、JVETに対して、Quadtree plus binary tree(QTBT)と呼ばれるブロック分割が提案されている(例えば、非特許文献1及び非特許文献2を参照)。QTBTブロック分割によれば、正規の四分木によるブロック分割が行われた後で、二分木によるブロック再分割が連続して行われる。
二分木によるブロック再分割では、現在のブロックの形状にかかわらず、各ブロックが水平又は垂直に2個のサブブロックに分割される。したがって、分割後の各サブブロックは、長方形になることがある。例えば、8×16(画素)のブロックは、2個の4×16のブロックに再分割されることもあり、2個の8×8のブロックに再分割されることもある。
動画像符号化におけるサンプルアダプティブオフセット(Sample Adaptive Offset,SAO)処理及びコンテキスト適応算術符号化も知られている(例えば、特許文献1及び2を参照)。色差信号の変換ブロック形状として長方形を用いる技術も知られている(例えば、特許文献3を参照)。
国際公開第2013/175748号パンフレット 国際公開第2013/183268号パンフレット 国際公開第2013/114992号パンフレット
"[966] Block partitioning structure for next generation video coding"、[online]、ITU、[平成29年7月20日検索]、インターネット<URL:http://www.itu.int/md/T13-SG16-C-0966/en> "Quadtree plus binary tree structure integration with JEM tools", JVET-B0023, Joint Video Exploration Team of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, February 20, 2016.
QTBTブロック分割を採用した動画像符号化では、長方形のブロックの形状に基づくSAO処理の確率的な変化が、発生する符号量の制御に利用されていない。
なお、かかる問題は、QTBTブロック分割を採用した動画像符号化に限らず、長方形のブロックを用いる他の動画像符号化においても生ずるものである。
1つの側面において、本発明は、長方形のブロックを用いる動画像符号化において発生する符号量を削減することを目的とする。
1つの案では、動画像符号化装置は、第1符号化部及び第2符号化部を含む。第1符号化部は、動画像に含まれる符号化対象画像を複数のブロックに分割し、フィルタ処理を用いた予測符号化によって各ブロックを符号化する。第2符号化部は、フィルタ処理における画素列の方向を示すパラメータを符号化する。
このとき、第2符号化部は、複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、長方形の長辺の方向に応じて、フィルタ処理における画素列の方向を示すパラメータを符号化する処理を変更する。
実施形態によれば、長方形のブロックを用いる動画像符号化において発生する符号量を削減することができる。
パラメータを示す図である。 パラメータに対する固定長符号化を示す図である。 長方形のサブブロックを示す図である。 動画像符号化装置の機能的構成図である。 動画像符号化処理のフローチャートである。 動画像符号化装置の具体例を示す機能的構成図である。 動画像符号化処理の具体例を示すフローチャートである。 パラメータの符号化処理のフローチャートである。 第1のビンの符号化処理の第1の具体例を示すフローチャートである。 第2のビンの符号化処理の第1の具体例を示すフローチャートである。 指標計算処理のフローチャートである。 第2のビンの符号化処理の第2の具体例を示すフローチャートである。 第2のビンの符号化処理の第3の具体例を示すフローチャート(その1)である。 第2のビンの符号化処理の第3の具体例を示すフローチャート(その2)である。 第2のビンの符号化処理の第4の具体例を示すフローチャートである。 第1のビンの符号化処理の第2の具体例を示すフローチャートである。 第2のビンの符号化処理の第5の具体例を示すフローチャートである。 SAOフィルタの機能的構成図である。 パラメータ決定処理のフローチャートである。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
上述したQTBTブロック分割では、最小幅及び最小高さに対する制約が指定されている。また、分割処理によって直接生成されるブロックに対して、離散コサイン変換(Discrete Cosine Transform,DCT)のような周波数変換を行うことも提案されている。この場合、様々な非正方形(長方形)の変換が発生することになる。
一方、現在のHEVC標準によってサポートされているSAOフィルタは、将来策定される動画像符号化標準によってもサポートされるものと考えられる。このSAOフィルタは、符号化されたブロックの高周波数成分の量子化によって生じるリンギングノイズを削減するために用いられ、以下の2つの主要な動作モードを有する。
(1)バンドオフセットモード
各画素の画素値が属するレンジに応じて、そのレンジに対応するオフセット値がその画素に対して適用される。
(2)エッジオフセットモード
各画素の画素値が所定方向に沿って隣接する2個の画素よりも小さいか又は大きい場合に、その画素に対してオフセット値が適用される。
このうち、エッジオフセットモードでは、各画素の画素値と、ビットストリームにおいて指定される方向に沿って並んでいる2個の隣接画素の画素値とを比較することで、その画素に対してエッジオフセットフィルタが適用される。このとき、フィルタ処理が適用される対象画素の元の画素値とその周囲の画素の画素値とに応じて、異なるオフセット値が元の画素値に加算される。これにより、対象画素の画素値と2個の隣接画素の画素値の平均値との差分を削減することができる。
各対象画素に対して隣接画素が選択される方向は、CTU毎に決定されて伝送される。輝度成分及び色差成分に対するエッジオフセットフィルタの方向は、ビットストリームパラメータであるsao_eo_class_luma及びsao_eo_class_chromaによって、それぞれ伝送される。
図1は、sao_eo_class_luma及びsao_eo_class_chromaの値の例を示している。エッジオフセット方向は、エッジオフセットフィルタの方向を表す。パラメータ“0”は水平方向を表し、パラメータ“1”は垂直方向を表し、パラメータ“2”は135度の対角方向を表し、パラメータ“3”は45度の対角方向を表す。
さらに、動画像符号化標準は、過去に符号化済みのブロックの情報を用いて符号化対象ブロックの情報を圧縮する予測方法として、イントラ予測及びインター予測の2つの方法を採用している。イントラ予測は、符号化対象ブロックに対して距離的に近いブロックの画素値を用いる予測方法である。イントラ予測では、符号化対象ブロックの画素値を予測するために、その周囲のブロックの画素値が用いられることがある。
一方、インター予測は、符号化対象ブロックに対して時間的に近いブロックの画素値を用いる予測方法である。インター予測では、符号化対象ブロックの画素値を予測するために、複数の符号化済みピクチャ内の符号化済みブロックの組み合わせが探索されることがある。この場合、それらの符号化済みブロックを組み合わせて、符号化対象ブロックを近似するブロックが生成される。
イントラ予測又はインター予測によって生成される画素値と元の画素値との差分は、残差又は予測誤差と呼ばれる。この予測誤差は、後続する処理によって、画素領域から周波数領域へ変換される。周波数領域の要素はさらに量子化されるため、符号化における損失が生じる。このような予測符号化の直接的な結果として、予測誤差が大きいほど量子化によって生じる損失も大きくなる。
さらに、動画像符号化標準は、ビットストリーム上でデータを送信するために、データの二値化及びエントロピー符号化を採用している。二値化とは、例えば、パラメータをビット列に変換することである。HEVCにおけるいくつかの二値化パターンのうち固定長符号化が、sao_eo_class_luma及びsao_eo_class_chromaの値をビット列に変換するために用いられる。
図2は、図1のパラメータに対する固定長符号化の例を示している。ビット列は、固定長符号化によって生成され、第1のビン及び第2のビンの2つのビット値からなる。各ビンはビット位置を表し、第1のビンはMost Significant Bit側に対応し、第2のビンはLeast Significant Bit側に対応する。
パラメータ“0”はビット列“00”に変換され、パラメータ“1”はビット列“01”に変換され、パラメータ“2”はビット列“10”に変換され、パラメータ“3”はビット列“11”に変換される。
HEVCにおけるエントロピー符号化は、コンテキスト適応型二値算術符号化(Context-Adaptive Binary Arithmetic Coding,CABAC)を用いて行われる。CABACを用いることで、発生しやすい値に対して少ないビットを割り当て、発生しにくい値に対して多くのビットを割り当てることが可能になる。
CABACでは、ビット列の各ビット位置において論理“1”又は論理“0”のビット値(シンボル)が生起する確率を用いて、そのビット列が符号化される。各ビット位置のビット値は、可変の確率又は固定の確率のいずれかを用いて符号化される。
可変の確率を用いる場合は、優勢シンボル(Most Probable Symbol,MPS)、劣勢シンボル(Least Probable Symbol,LPS)、MPSの生起確率、及びLPSの生起確率を特定する情報が、コンテキスト変数を用いて記述される。MPSは、論理“1”又は論理“0”のうち出現する確率が高い方のビット値を表し、LPSは、出現する確率が低い方のビット値を表す。各シンボルの生起確率は、対応するビット位置の実際のビット値に基づいて更新される。
一方、固定の確率を用いる場合は、論理“1”の生起確率及び論理“0”の生起確率がともに50%に固定され、各シンボルの生起確率は更新されない。固定の確率を用いた符号化は、バイパス符号化と呼ばれる。
以上考察したように、QTBTブロック分割を採用する際には、次の2点を考慮することが望ましい。
(a)分割後のサブブロックは長方形になることがあり、長方形のサブブロックの幅は、そのサブブロックの高さとは異なる長さになる。
(b)予測処理の対象となるサブブロックは、周波数変換の対象となるサブブロックと同じである。
図3は、長方形のサブブロックの例を示している。長方形のサブブロックがイントラ予測を用いて符号化される場合、サブブロック内の画素の位置によって、参照される周囲のブロックまでの距離が大きく変化する。
例えば、縦長のブロック301の場合、ブロック301の高さが幅よりも長く、ブロック301の長辺の方向は垂直方向である。このため、ブロック301内の画素から左側に隣接するブロックまでの水平方向の最大距離311よりも、ブロック301内の画素から上側に隣接するブロックまでの垂直方向の最大距離312の方が大きい。
一方、横長のブロック302の場合、ブロック302の幅が高さよりも長く、ブロック302の長辺の方向は水平方向である。このため、ブロック302内の画素から左側に隣接するブロックまでの水平方向の最大距離321の方が、ブロック302内の画素から上側に隣接するブロックまでの垂直方向の最大距離322よりも大きい。
したがって、長方形のブロックの短辺近くに位置する画素が参照画素として用いられる場合、符号化対象画素と参照画素との距離が大きくなる。
動画像では画素間の距離が大きくなるほどそれらの画素値の相関が小さくなるため、複数の参照画素が符号化対象画素から遠くなるほど、それらの参照画素の画素値と符号化対象画素の画素値との相関は、統計的に小さくなる。
このため、長方形のブロックに対するイントラ予測によって予測誤差を生成した場合、そのブロックの長辺の軸に沿った予測誤差のばらつきの方が、短辺の軸に沿った予測誤差のばらつきよりも大きくなると考えられる。この予測誤差を周波数領域へ変換すると、長辺の方向における複数の異なる周波数成分の方が、短辺の方向における複数の異なる周波数成分よりも広範囲に広がった、エネルギー配分が得られる。一方の方向のみにおいてエネルギーが広がっている場合、量子化によって、その方向においてより大きな損失が生じる。
SAOフィルタはこのような損失を修正するために適用されるものであるため、エッジオフセットフィルタの方向は、最大の損失が生じる方向と一致する可能性が高い。しかしながら、SAOフィルタの実装において、このような可能性を利用して伝送コストを削減することは行われていない。
一方、長方形のサブブロックがインター予測を用いて符号化される場合、予測誤差がイントラ予測符号化のような傾向を示すことはない。しかしながら、ブロックの形状とその形状に基づく周波数変換は、変換によって得られる係数の配分及び量子化による損失のパターンに影響を与える。
動画像符号化において、周波数変換は、できる限り限定された個数の値の範囲内にデータを寄せ集めるために行われる。例えば、大きな正方形の予測誤差ブロックに対してDCTを適用した場合、高周波数成分のほとんどが0に近い値になり、ほとんどの情報が低周波数成分に保持される。
このようなDCTを長方形の予測誤差ブロックに対して適用した場合、異なる周波数成分の個数が最大となる次元において、高周波数成分の値が小さくなり、エネルギー圧縮性能が向上するものと推測される。一方、異なる周波数成分の個数が最小となる次元においては、高周波数成分の値が大きくなり、エネルギー圧縮性能が低下するものと考えられる。
このため、一様に広がったエネルギーを有する予測誤差に対して長方形の周波数変換を行った場合、短い方の次元の高周波数成分に対する量子化損失は、長い方の次元の高周波数成分に対する量子化損失よりも大きくなる。したがって、インター予測を用いた場合のエッジオフセットフィルタの方向は、長方形の短辺に対応する方向と一致する可能性が高くなる。
このように、長方形の短辺の方向における変化を表す周波数成分においてより多くの情報が失われる傾向は、インター予測の場合に限らず、イントラ予測の場合にも生じるものである。しかしながら、イントラ予測によって生成される予測誤差のばらつきの影響は、周波数変換に基づく損失の影響よりもはるかに大きい。
現在のSAOパラメータ伝送方法では、QTBTブロック分割に伴うエッジオフセットフィルタの方向の可能性を考慮していない。このため、エッジオフセットフィルタの方向を示すパラメータは、固定の確率を用いたバイパス符号化によって符号化される。この場合、長方形のブロックの形状に基づくエッジオフセットフィルタの方向の確率的な変化が、CABACによって発生する符号量に反映されず、パラメータを伝送するための符号量は削減されない。
図4は、実施形態の動画像符号化装置の機能的構成例を示している。図4の動画像符号化装置401は、第1符号化部411及び第2符号化部412を含む。
図5は、図4の動画像符号化装置401が行う動画像符号化処理の例を示すフローチャートである。まず、第1符号化部411は、動画像に含まれる符号化対象画像を複数のブロックに分割し(ステップ501)、フィルタ処理を用いた予測符号化によって各ブロックを符号化する(ステップ502)。次に、第2符号化部412は、フィルタ処理における画素列の方向を示すパラメータを符号化する(ステップ503)。
動画像符号化処理の第1の具体例において、第2符号化部412は、複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、長方形の長辺の方向に応じて、フィルタ処理における画素列の方向を示すパラメータを符号化する処理を変更する。
動画像符号化処理の第2の具体例において、第1符号化部411は、複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、長方形の長辺の方向に基づいて、フィルタ処理における画素列の方向を決定する。そして、第2符号化部412は、符号化対象ブロックの形状が長方形ではない場合、フィルタ処理における画素列の方向を示すパラメータを符号化する。
このような動画像符号化装置401によれば、長方形のブロックを用いる動画像符号化において発生する符号量を削減することができる。
図6は、図4の動画像符号化装置401の具体例を示している。図6の動画像符号化装置401は、第1符号化部411、第2符号化部412、及び合成部611を含む。
第1符号化部411は、制御部621、スイッチ622、合成部623、イントラ予測部624、インター予測部625、及びフレームメモリ626を含む。さらに、第1符号化部411は、変換部627、逆変換部628、SAOフィルタ629、パラメータ符号化部630、予測誤差符号化部631、及び合成部632を含む。第2符号化部412は、パラメータ符号化部641を含む。
動画像符号化装置401は、例えば、ハードウェア回路として実装することができる。この場合、動画像符号化装置401の各構成要素を個別の回路として実装してもよく、1つの集積回路として実装してもよい。
動画像符号化装置401は、入力される符号化対象動画像を符号化し、符号化動画像をビットストリームとして出力する。符号化対象動画像は、複数のピクチャを含む。各ピクチャは、符号化対象画像に対応し、フレームと呼ばれることもある。各ピクチャは、カラー画像であってもよく、モノクロ画像であってもよい。ピクチャがカラー画像の場合、画素値はRGB形式であってもよく、YUV形式であってもよい。
図6の例では、各ピクチャは、複数のスライスを含み、各スライスは、複数のCTUを含む。制御部621は、各スライスをイントラ予測スライスとして符号化するか、又はインター予測スライスとして符号化するかを決定し、決定したスライスの種別をスイッチ622及び合成部632へ出力する。
スイッチ622は、符号化対象ピクチャをQTBTブロック分割によって複数のブロックに分割する。そして、スイッチ622は、イントラ予測スライスに含まれる符号化対象ブロックをイントラ予測部624へ出力し、インター予測スライスに含まれる符号化対象ブロックをインター予測部625へ出力する。
イントラ予測部624は、符号化対象ブロックに対するイントラ予測を行って、イントラ予測の予測誤差及び予測パラメータを変換部627へ出力し、CTUのブロック分割に関する情報を合成部632へ出力する。イントラ予測部624が出力する予測誤差は、大きな値になる傾向がある。
フレームメモリ626は、各ブロックの局所復号画像を記憶し、局所復号画像を符号化対象ブロックの参照画像として合成部623へ出力する。合成部623は、スイッチ622が出力する符号化対象ブロックと、フレームメモリ626が出力する参照画像とを、インター予測部625へ出力する。
インター予測部625は、符号化対象ブロックに対するイントラ予測及びインター予測を併用して、インター予測の予測誤差及び予測パラメータを変換部627へ出力し、CTUのブロック分割に関する情報を合成部632へ出力する。インター予測部625が出力する予測誤差は、イントラ予測部624が出力する予測誤差と比較して小さな値になる。
変換部627は、予測誤差に対する周波数変換及び量子化を行って係数情報を生成し、その係数情報及び圧縮パラメータを逆変換部628、パラメータ符号化部630、及び予測誤差符号化部631へ出力する。圧縮パラメータは、予測パラメータ、量子化パラメータ等を含む。
逆変換部628は、変換部627が出力する係数情報に対する逆量子化及び逆周波数変換を行って、再構成画素値を生成し、その再構成画素値をSAOフィルタ629へ出力する。
SAOフィルタ629は、バンドオフセットモード又はエッジオフセットモードのいずれかの動作モードを選択して、再構成画素値に対してSAOフィルタ処理を適用し、フィルタ処理後の再構成画素値を生成する。そして、SAOフィルタ629は、フィルタ処理後の再構成画素値からなる局所復号画像を、フレームメモリ626へ出力し、SAOフィルタ処理のパラメータを合成部632へ出力する。SAOフィルタ処理のパラメータは、動作モード、オフセット値、エッジオフセットフィルタの方向等を含む。
フレームメモリ626は、SAOフィルタ629が出力する局所復号画像を記憶する。フレームメモリ626が記憶する局所復号画像は、後続する画像に対する参照画像として用いられる。
合成部632は、制御部621が出力するスライスの種別、イントラ予測部624又はインター予測部625が出力するCTUのブロック分割に関する情報、及びSAOフィルタ629が出力するパラメータを合成して、パラメータ符号化部641へ出力する。パラメータ符号化部641は、スライスの種別及びブロック分割に関する情報に基づいて、SAOフィルタ処理のパラメータを符号化し、符号化パラメータのビット列を合成部611へ出力する。
パラメータ符号化部630は、変換部627が出力する圧縮パラメータを符号化して、符号化圧縮パラメータのビット列を合成部611へ出力する。予測誤差符号化部631は、変換部627が出力する係数情報を符号化して、符号化係数情報のビット列を合成部611へ出力する。パラメータ符号化部641、パラメータ符号化部630、及び予測誤差符号化部631は、例えば、CABACによって符号化対象の情報を符号化することができる。
合成部611は、パラメータ符号化部641、パラメータ符号化部630、及び予測誤差符号化部631が出力するビット列を合成して、符号化動画像のビットストリームを出力する。
動画像符号化装置401は、通信ネットワークを介して、ビットストリームを不図示の動画像復号装置へ送信することができる。この場合、動画像復号装置は、ビットストリームを復号して符号化対象動画像を復元する。また、動画像符号化装置401は、後段の画像処理で利用するために、ビットストリームを記憶装置に保存することもできる。
動画像符号化装置401は、様々な用途に利用される。例えば、動画像符号化装置401を、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータ、又は携帯電話機に組み込むことも可能である。
図7は、図6の動画像符号化装置401が行う動画像符号化処理の具体例を示すフローチャートである。まず、第1符号化部411は、符号化対象動画像に含まれる1つの符号化対象ピクチャ内の1つのCTUを、QTBTブロック分割によって複数のブロックに分割する(ステップ701)。そして、CTU内の1つのブロックに対する予測符号化を行って、予測誤差を符号化し(ステップ702)、圧縮パラメータを符号化する(ステップ703)。
次に、第2符号化部412は、SAOフィルタ処理のパラメータを符号化する(ステップ704)。SAOフィルタ処理のパラメータは、CTUのブロック分割に関する情報を用いて符号化されるため、ブロック分割に関する情報の後で符号化される。
次に、第1符号化部411は、CTU内のすべてのブロックを符号化したか否かをチェックする(ステップ705)。符号化していないブロックが残っている場合(ステップ705,NO)、動画像符号化装置401は、次のブロックについてステップ702以降の処理を繰り返す。
すべてのブロックを符号化した場合(ステップ705,YES)、第1符号化部411は、符号化対象ピクチャ内のすべてのCTUを符号化したか否かをチェックする(ステップ706)。符号化していないCTUが残っている場合(ステップ706,NO)、動画像符号化装置401は、次のCTUについてステップ701以降の処理を繰り返す。
すべてのCTUを符号化した場合(ステップ706,YES)、第1符号化部411は、符号化対象動画像内のすべてのピクチャを符号化したか否かをチェックする(ステップ707)。符号化していないピクチャが残っている場合(ステップ707,NO)、動画像符号化装置401は、次のピクチャについてステップ701以降の処理を繰り返す。そして、すべてのピクチャを符号化した場合(ステップ707,YES)、動画像符号化装置401は、処理を終了する。
図8は、エッジオフセットフィルタの方向を示すパラメータの符号化処理の例を示すフローチャートである。図8の符号化処理は、図7のステップ704において、第2符号化部412のパラメータ符号化部641によって行われる。
この符号化処理では、図2に示したエッジオフセットフィルタの方向を示すパラメータのビット列が、CABACを用いて符号化される。このとき、パラメータのビット列の少なくとも一部に対して可変の確率を適用することで、符号化対象ブロックの形状に応じたエッジオフセットフィルタの方向の確率の違いを、符号化処理に反映させることができる。
まず、パラメータ符号化部641は、ビット列の第1のビンのビット値を符号化する(ステップ801)。次に、パラメータ符号化部641は、ビット列の第2のビンのビット値を符号化する(ステップ802)。
次に、図9から図16までを参照しながら、動画像符号化処理の第1の具体例について説明する。動画像符号化処理の第1の具体例では、CTUのブロック分割に関する情報に基づいて、SAOフィルタ処理のパラメータの符号化処理が変更される。
図9は、図8のステップ801における第1のビンの符号化処理の第1の具体例を示すフローチャートである。第1の具体例では、2つのコンテキスト変数のいずれかを用いて、第1のビンのビット値が符号化される。
まず、パラメータ符号化部641は、制御部621が出力するスライスの種別に基づいて、符号化対象ブロックを含むCTUがイントラ予測スライス又はインター予測スライスのいずれに属するかを判定する(ステップ901)。
CTUがイントラ予測スライスに属する場合(ステップ901,YES)、パラメータ符号化部641は、CABACのコンテキスト変数V1を選択する(ステップ902)。一方、CTUがインター予測スライスに属する場合(ステップ901,NO)、パラメータ符号化部641は、別のコンテキスト変数V2を選択する(ステップ903)。
次に、パラメータ符号化部641は、選択したコンテキスト変数を用いて第1のビンのビット値を符号化する(ステップ904)。そして、パラメータ符号化部641は、そのビット値に基づいて、そのビット値の符号化に用いたコンテキスト変数の値を更新する。
図2のビット列において、第1のビンのビット値が論理“1”である場合、エッジオフセットフィルタの方向は、135度又は45度の対角方向である。この場合、135度の対角方向と45度の対角方向は等確率性を有すると考えられるため、第2のビンの符号化では、可変の確率を用いた符号化ではなく、固定の確率を用いたバイパス符号化が適用される。
一方、第1のビンのビット値が論理“0”である場合、エッジオフセットフィルタの方向は、水平方向又は垂直方向のいずれかである。この場合、イントラ予測スライスに属するCTUのエッジオフセットフィルタの方向を伝送するために、3つのコンテキスト変数の集合が用いられる。また、インター予測スライスに属するCTUのエッジオフセットフィルタの方向を伝送するために、別の3つのコンテキスト変数の集合が用いられる。
この場合、パラメータ符号化部641は、CTU内に含まれる1つ以上の縦長の長方形のブロックの面積と、1つ以上の横長の長方形のブロックの面積との差分に関する指標に基づいて、各集合に含まれる3つのコンテキスト変数のうちいずれかを選択する。
図10は、図8のステップ802における第2のビンの符号化処理の第1の具体例を示すフローチャートである。第1の具体例では、第1のビンのビット値が論理“0”である場合、6つのコンテキスト変数のいずれかを用いて、第2のビンのビット値が符号化される。
まず、パラメータ符号化部641は、第1のビンのビット値が論理“1”であるか否かをチェックする(ステップ1001)。第1のビンのビット値が論理“1”である場合(ステップ1001,YES)、パラメータ符号化部641は、バイパス符号化によって第2のビンのビット値を符号化する(ステップ1002)。
一方、第1のビンのビット値が論理“0”である場合(ステップ1001,NO)、パラメータ符号化部641は、指標Rを計算する(ステップ1003)。指標Rは、符号化対象ブロックを含むCTU内に含まれる1つ以上の縦長の長方形のブロックの面積と、1つ以上の横長の長方形のブロックの面積との差分に関する指標である。
次に、パラメータ符号化部641は、制御部621が出力するスライスの種別に基づいて、符号化対象ブロックを含むCTUがイントラ予測スライス又はインター予測スライスのいずれに属するかを判定する(ステップ1004)。
CTUがイントラ予測スライスに属する場合(ステップ1004,YES)、パラメータ符号化部641は、指標Rを閾値TH1と比較する(ステップ1005)。RがTH1よりも大きい場合(ステップ1005,YES)、パラメータ符号化部641は、CABACのコンテキスト変数V11を選択する(ステップ1006)。
一方、RがTH1以下である場合(ステップ1005,NO)、パラメータ符号化部641は、Rを閾値TH2と比較する(ステップ1007)。TH2は、TH1よりも小さな値に設定される。RがTH2よりも小さい場合(ステップ1007,YES)、パラメータ符号化部641は、別のコンテキスト変数V12を選択する(ステップ1008)。
一方、RがTH2以上である場合(ステップ1007,NO)、パラメータ符号化部641は、さらに別のコンテキスト変数V13を選択する(ステップ1009)。
CTUがインター予測スライスに属する場合(ステップ1004,NO)、パラメータ符号化部641は、RをTH1と比較する(ステップ1010)。RがTH1よりも大きい場合(ステップ1010,YES)、パラメータ符号化部641は、CABACのコンテキスト変数V21を選択する(ステップ1011)。
一方、RがTH1以下である場合(ステップ1010,NO)、パラメータ符号化部641は、RをTH2と比較する(ステップ1012)。RがTH2よりも小さい場合(ステップ1012,YES)、パラメータ符号化部641は、別のコンテキスト変数V22を選択する(ステップ1013)。
一方、RがTH2以上である場合(ステップ1012,NO)、パラメータ符号化部641は、さらに別のコンテキスト変数V23を選択する(ステップ1014)。
次に、パラメータ符号化部641は、選択したコンテキスト変数を用いて第2のビンのビット値を符号化する(ステップ1015)。そして、パラメータ符号化部641は、そのビット値に基づいて、そのビット値の符号化に用いたコンテキスト変数の値を更新する。
図11は、図10のステップ1003における指標計算処理の例を示すフローチャートである。この指標計算処理では、画素の個数を表す変数としてHPX、VPX、及びSPXが用いられる。HPXは、符号化対象ブロックを含むCTU内の1つ以上の横長の長方形のブロックに属する画素の個数を表し、VPXは、そのCTU内の1つ以上の縦長の長方形のブロックに属する画素の個数を表す。SPXは、そのCTU内の1つ以上の正方形のブロックに属する画素の個数を表す。
まず、パラメータ符号化部641は、HPX、VPX、及びSPXを初期化する(ステップ1101)。これにより、HPX及びVPXの値は0に設定され、SPXの値はTPXに設定される。TPXは、符号化対象ブロックを含むCTUに属する画素の総数を表す。
次に、パラメータ符号化部641は、CTUのブロック分割に関する情報を参照して、未処理の分割情報が存在するか否かをチェックする(ステップ1102)。未処理の分割情報が存在する場合(ステップ1102,YES)、パラメータ符号化部641は、1つの分割情報を選択する(ステップ1104)。分割情報は、分割前のブロックの幅及び高さを示す情報と、分割後の複数のブロック各々の幅及び高さを示す情報とを含む。
次に、パラメータ符号化部641は、選択した分割情報が示す分割前のブロックの高さをそのブロックの幅と比較する(ステップ1105)。分割前のブロックの高さが幅と等しい場合(ステップ1105,YES)、パラメータ符号化部641は、分割情報が示す分割線の方向をチェックする(ステップ1106)。
分割線の方向が水平方向である場合(ステップ1106,YES)、パラメータ符号化部641は、分割前のブロックに属する画素の個数をHPXに加算することで、HPXを更新する(ステップ1107)。一方、分割線の方向が垂直方向である場合(ステップ1106,NO)、パラメータ符号化部641は、分割前のブロックに属する画素の個数をVPXに加算することで、VPXを更新する(ステップ1108)。
次に、パラメータ符号化部641は、分割前のブロックに属する画素の個数をSPXから減算することで、SPXを更新して(ステップ1109)、ステップ1102以降の処理を繰り返す。
分割前のブロックの高さが幅と等しくない場合(ステップ1105,NO)、パラメータ符号化部641は、そのブロックの形状をチェックする(ステップ1110)。分割前のブロックの高さが幅よりも長い場合、そのブロックは縦長の長方形であると判定され、幅が高さよりも長い場合、そのブロックは横長の長方形であると判定される。
分割前のブロックが縦長の長方形である場合(ステップ1110,YES)、パラメータ符号化部641は、分割情報が示す分割線の方向をチェックする(ステップ1111)。分割線の方向が垂直方向である場合(ステップ1111,YES)、パラメータ符号化部641は、ステップ1102以降の処理を繰り返す。
一方、分割線の方向が水平方向である場合(ステップ1111,NO)、パラメータ符号化部641は、分割後の2個のブロックの形状をチェックする(ステップ1112)。分割後のブロックの高さが幅と等しい場合、そのブロックは正方形であると判定される。
分割後のいずれのブロックも正方形ではない場合(ステップ1112,NO)、パラメータ符号化部641は、ステップ1102以降の処理を繰り返す。一方、分割後のいずれかのブロックが正方形である場合(ステップ1112,YES)、パラメータ符号化部641は、分割後の正方形のブロックに属する画素の個数をVPXから減算することで、VPXを更新する(ステップ1113)。
次に、パラメータ符号化部641は、分割後の正方形のブロックに属する画素の個数をSPXに加算することで、SPXを更新して(ステップ1117)、ステップ1102以降の処理を繰り返す。
分割前のブロックが横長の長方形である場合(ステップ1110,NO)、パラメータ符号化部641は、分割情報が示す分割線の方向をチェックする(ステップ1114)。分割線の方向が水平方向である場合(ステップ1114,YES)、パラメータ符号化部641は、ステップ1102以降の処理を繰り返す。
一方、分割線の方向が垂直方向である場合(ステップ1114,NO)、パラメータ符号化部641は、分割後の2個のブロックの形状をチェックする(ステップ1115)。分割後のいずれのブロックも正方形ではない場合(ステップ1115,NO)、パラメータ符号化部641は、ステップ1102以降の処理を繰り返す。
一方、分割後のいずれかのブロックが正方形である場合(ステップ1115,YES)、パラメータ符号化部641は、分割後の正方形のブロックに属する画素の個数をHPXから減算することで、HPXを更新する(ステップ1116)。そして、パラメータ符号化部641は、ステップ1117以降の処理を行う。
そして、すべての分割情報を処理した場合(ステップ1102,NO)、パラメータ符号化部641は、指標Rを次式により計算する(ステップ1103)。
R=(HPX−VPX)/TPX (1)
図9及び図10の符号化処理によれば、イントラ予測スライスに属するCTUのパラメータ及びインター予測スライスに属するCTUのパラメータに対して、それぞれ異なる確率モデルを適用することが可能になる。したがって、長方形のブロックがイントラ予測符号化された場合のエッジオフセットフィルタの方向と、長方形のブロックがインター予測符号化された場合のエッジオフセットフィルタの方向との間の確率的な違いを、発生する符号量に反映させることができる。
可変の確率を記述するコンテキスト変数の値は、例えば、HEVC標準に規定されたパターンに従って初期化され、更新される。長期間に渡って符号化処理を継続した場合にコンテキスト変数が到達する値を学習することで、その初期値を最適な値に設定することができる。
例えば、イントラ予測スライスで用いられるコンテキスト変数が記述するMPSの初期値は、インター予測スライスで用いられるコンテキスト変数が記述するMPSの初期値とは逆のビット値に設定される。
また、図10の符号化処理によれば、第1のビンのビット値が論理“0”である場合、CTUがイントラ予測スライス又はインター予測スライスのいずれに属するかにかかわらず、指標Rの値に応じて異なる確率モデルを適用することが可能になる。したがって、CTU内の縦長のブロックの面積と横長のブロックの面積との差分を、発生する符号量に反映させることができる。
図12は、図8のステップ802における第2のビンの符号化処理の第2の具体例を示すフローチャートである。第2の具体例では、第1のビンのビット値が論理“0”であり、かつ、指標Rが所定の条件を満たす場合、バイパス符号化によって第2のビンのビット値が符号化される。
図12のステップ1201〜ステップ1204及びステップ1215の処理は、図10のステップ1001〜ステップ1004及びステップ1015の処理と同様である。
CTUがイントラ予測スライスに属する場合(ステップ1204,YES)、パラメータ符号化部641は、指標Rを閾値TH1と比較する(ステップ1205)。RがTH1よりも大きい場合(ステップ1205,YES)、パラメータ符号化部641は、CABACのコンテキスト変数V31を選択する(ステップ1207)。
一方、RがTH1以下である場合(ステップ1205,NO)、パラメータ符号化部641は、Rを閾値TH2と比較する(ステップ1206)。RがTH2よりも小さい場合(ステップ1206,YES)、パラメータ符号化部641は、別のコンテキスト変数V32を選択する(ステップ1208)。
一方、RがTH2以上である場合(ステップ1206,NO)、パラメータ符号化部641は、バイパス符号化によって第2のビンのビット値を符号化する(ステップ1209)。
CTUがインター予測スライスに属する場合(ステップ1204,NO)、パラメータ符号化部641は、RをTH1と比較する(ステップ1210)。RがTH1よりも大きい場合(ステップ1210,YES)、パラメータ符号化部641は、別のコンテキスト変数V33を選択する(ステップ1211)。
一方、RがTH1以下である場合(ステップ1210,NO)、パラメータ符号化部641は、RをTH2と比較する(ステップ1212)。RがTH2よりも小さい場合(ステップ1212,YES)、パラメータ符号化部641は、別のコンテキスト変数V34を選択する(ステップ1213)。
一方、RがTH2以上である場合(ステップ1212,NO)、パラメータ符号化部641は、バイパス符号化によって第2のビンのビット値を符号化する(ステップ1214)。
図12の符号化処理によれば、図10の符号化処理よりも処理を簡略化することができるとともに、コンテキスト変数の個数が少なくて済むため、コンテキスト変数を記憶するメモリ領域を削減することができる。
図13A及び図13Bは、図8のステップ802における第2のビンの符号化処理の第3の具体例を示すフローチャートである。第3の具体例では、第1のビンのビット値が論理“0”である場合、4つのコンテキスト変数のいずれかを用いて、第2のビンのビット値が符号化される。
図13Aのステップ1301〜ステップ1304及びステップ1315の処理は、図10のステップ1001〜ステップ1004及びステップ1015の処理と同様である。
CTUがイントラ予測スライスに属する場合(ステップ1304,YES)、パラメータ符号化部641は、指標Rを閾値TH1と比較する(ステップ1305)。RがTH1よりも大きい場合(ステップ1305,YES)、パラメータ符号化部641は、CABACのコンテキスト変数V41を選択する(ステップ1307)。
一方、RがTH1以下である場合(ステップ1305,NO)、パラメータ符号化部641は、Rを閾値TH2と比較する(ステップ1306)。この場合、TH2は、TH1を用いて次式により計算される。
TH2=1−TH1 (2)
RがTH2よりも小さい場合(ステップ1306,YES)、パラメータ符号化部641は、別のコンテキスト変数V42を選択する(ステップ1308)。
一方、RがTH2以上である場合(ステップ1306,NO)、パラメータ符号化部641は、コンテキスト変数V41を選択し(ステップ1309)、コンテキスト変数V41が記述するMPSの値を反転させる(ステップ1316)。例えば、MPSが論理“1”である場合、その値が論理“0”に変更され、MPSが論理“0”である場合、その値が論理“1”に変更される。
次に、パラメータ符号化部641は、反転したMPSを記述するコンテキスト変数V41を用いて、第2のビンのビット値を符号化し、そのビット値に基づいて、コンテキスト変数V41の値を更新する(ステップ1317)。そして、パラメータ符号化部641は、コンテキスト変数V41が記述するMPSの値を、再度反転させる(ステップ1318)。
CTUがインター予測スライスに属する場合(ステップ1304,NO)、パラメータ符号化部641は、RをTH1と比較する(ステップ1310)。RがTH1よりも大きい場合(ステップ1310,YES)、パラメータ符号化部641は、別のコンテキスト変数V43を選択する(ステップ1311)。
一方、RがTH1以下である場合(ステップ1310,NO)、パラメータ符号化部641は、RをTH2と比較する(ステップ1312)。RがTH2よりも小さい場合(ステップ1312,YES)、パラメータ符号化部641は、別のコンテキスト変数V44を選択する(ステップ1313)。
一方、RがTH2以上である場合(ステップ1312,NO)、パラメータ符号化部641は、コンテキスト変数V43を選択し(ステップ1314)、コンテキスト変数V43が記述するMPSの値を反転させる(ステップ1319)。
次に、パラメータ符号化部641は、反転したMPSを記述するコンテキスト変数V43を用いて、第2のビンのビット値を符号化し、そのビット値に基づいて、コンテキスト変数V43の値を更新する(ステップ1320)。そして、パラメータ符号化部641は、コンテキスト変数V43が記述するMPSの値を、再度反転させる(ステップ1321)。
図13A及び図13Bの符号化処理によれば、異なる範囲のRの値に対して1つのコンテキスト変数を併用することが可能になる。これにより、図10の符号化処理よりも少ないコンテキスト変数を用いて、図10と同等の符号化処理を実現することができ、コンテキスト変数を記憶するメモリ領域を削減することができる。
図14は、図8のステップ802における第2のビンの符号化処理の第4の具体例を示すフローチャートである。第4の具体例では、第1のビンのビット値が論理“0”である場合、4つのコンテキスト変数のいずれかを用いて、第2のビンのビット値が符号化される。
図14のステップ1401〜ステップ1404及びステップ1411の処理は、図10のステップ1001〜ステップ1004及びステップ1015の処理と同様である。
CTUがイントラ予測スライスに属する場合(ステップ1404,YES)、パラメータ符号化部641は、指標Rを閾値TH1と比較する(ステップ1405)。RがTH1よりも大きい場合(ステップ1405,YES)、パラメータ符号化部641は、CABACのコンテキスト変数V51を選択する(ステップ1406)。
一方、RがTH1以下である場合(ステップ1405,NO)、パラメータ符号化部641は、別のコンテキスト変数V52を選択する(ステップ1407)。
CTUがインター予測スライスに属する場合(ステップ1404,NO)、パラメータ符号化部641は、RをTH1と比較する(ステップ1408)。RがTH1よりも大きい場合(ステップ1408,YES)、パラメータ符号化部641は、別のコンテキスト変数V53を選択する(ステップ1409)。
一方、RがTH1以下である場合(ステップ1408,NO)、パラメータ符号化部641は、別のコンテキスト変数V54を選択する(ステップ1410)。
図14の符号化処理によれば、図10の符号化処理よりも処理を簡略化することができるとともに、コンテキスト変数の個数が少なくて済むため、コンテキスト変数を記憶するメモリ領域を削減することができる。
図15は、図8のステップ801における第1のビンの符号化処理の第2の具体例を示すフローチャートである。第2の具体例では、バイパス符号化によって第1のビンのビット値が符号化される。
パラメータ符号化部641は、符号化対象ブロックを含むCTUがイントラ予測スライス又はインター予測スライスのいずれに属するかにかかわらず、バイパス符号化によって第1のビンのビット値を符号化する(ステップ1501)。
図15の符号化処理によれば、図9の符号化処理よりも処理を簡略化することができる。
図16は、図8のステップ802における第2のビンの符号化処理の第5の具体例を示すフローチャートである。第5の具体例では、第1のビンのビット値が論理“0”である場合、コンテキスト変数を用いる代わりに、指標Xを用いてMPS及び生起確率が計算され、計算されたMPS及び生起確率を用いて、第2のビンのビット値が符号化される。
図16のステップ1601及びステップ1602の処理は、図10のステップ1001及びステップ1002の処理と同様である。
第1のビンのビット値が論理“0”である場合(ステップ1601,NO)、パラメータ符号化部641は、符号化対象ブロックを含むCTU内の各ブロックの高さ及び幅を用いて、指標Xを次式により計算する(ステップ1603)。
X=SUM(RHWBi*NPXBi)/SUM(NPXBi) (3)
RHWBi=Hi/Wi (4)
NPXBi=Hi*Wi (5)
式(4)及び式(5)のHi及びWiは、それぞれ、CTU内のi番目のブロックの高さ及び幅を表す。式(4)のRHWBiは、i番目のブロックの幅に対する高さの比率を表し、式(5)のNPXBiは、i番目のブロックに含まれる画素の個数を表す。式(3)のSUM()は、CTU内のすべてのブロックに関する総和を表し、SUM(NPXBi)は、CTUに含まれる画素の総数を表す。
CTU内のすべてのブロックが正方形である場合、RHWBi=1であるため、X=1となる。CTU内のすべてのブロックが縦長の長方形である場合、RHWBi>1であるため、X>1となる。CTU内のすべてのブロックが横長の長方形である場合、RHWBi<1であるため、X<1となる。
したがって、式(3)のXは、符号化対象ブロックを含むCTU内に含まれるブロックが縦長の長方形である度合いに関する指標である。Xが大きいほど、より多くの縦長の長方形のブロックがCTU内に含まれており、Xが小さいほど、より多くの横長の長方形のブロックがCTU内に含まれている。
次に、パラメータ符号化部641は、制御部621が出力するスライスの種別に基づいて、符号化対象ブロックを含むCTUがイントラ予測スライス又はインター予測スライスのいずれに属するかを判定する(ステップ1604)。
CTUがイントラ予測スライスに属する場合(ステップ1604,YES)、パラメータ符号化部641は、MPSの生起確率Pを次式により計算する(ステップ1605)。
P=MaxP*Y (6)
Y=(X<1?(X*MinW/MaxH):(MinH/MaxW/X)) (7)
式(6)のMaxPは、事前に決められた定数であり、式(6)の右辺が表す最大確率に相当する。式(7)の右辺は、条件演算を表し、X<1である場合、Y=X*MinW/MaxHとなり、X≧1である場合、Y=MinH/MaxW/Xとなる。
MaxHは、輝度成分のブロックの高さの最大値を表し、MinHは、輝度成分のブロックの高さの最小値を表す。MaxWは、輝度成分のブロックの幅の最大値を表し、MinWは、輝度成分のブロックの幅の最小値を表す。
次に、パラメータ符号化部641は、MPSのビット値Sを次式により計算する(ステップ1606)。
S=(X<1?1:0) (8)
式(8)の右辺は、条件演算を表し、X<1である場合、S=1となり、X≧1である場合、S=0となる。
CTUがインター予測スライスに属する場合(ステップ1604,NO)、パラメータ符号化部641は、MPSの生起確率Pを次式により計算する(ステップ1607)。
P=MaxP*Z (9)
Z=(X>1?(X*MinW/MaxH):(MinH/MaxW/X)) (10)
式(10)の右辺は、条件演算を表し、X>1である場合、Z=X*MinW/MaxHとなり、X≦1である場合、Z=MinH/MaxW/Xとなる。
次に、パラメータ符号化部641は、MPSのビット値Sを次式により計算する(ステップ1608)。
S=(X>1?1:0) (11)
式(11)の右辺は、条件演算を表し、X>1である場合、S=1となり、X≦1である場合、S=0となる。
次に、パラメータ符号化部641は、コンテキスト変数の代わりに、計算した生起確率P及びビット値Sを用いて、第2のビンのビット値を符号化する(ステップ1609)。この場合、コンテキスト変数は使用されていないため、第2のビンのビット値がMPSに対応するか否かにかかわらず、コンテキスト変数の更新は行われない。
図16の符号化処理によれば、CTU内における様々な形状のブロックの分布を、発生する符号量に対して、より正確に反映させることができる。
次に、図17及び図18を参照しながら、動画像符号化処理の第2の具体例について説明する。動画像符号化処理の第2の具体例では、CTUのブロック分割に関する情報に基づいて、SAOフィルタ処理のパラメータの符号化処理を変更する代わりに、CTUのブロック分割に関する情報に基づいて、SAOフィルタ処理のパラメータ自体が決定される。例えば、図6のSAOフィルタ629は、符号化対象ブロックの形状が長方形である場合、長方形の長辺の方向に基づいて、エッジオフセットフィルタの方向を決定することができる。
図17は、このようなSAOフィルタ629の機能的構成例を示している。図17のSAOフィルタ629は、入力部1701、決定部1702、フィルタ部1703、及びバッファ1704を含み、CTU内のブロック毎に、異なる方向のエッジオフセットフィルタを適用する。
入力部1701は、逆変換部628が出力する再構成画素値を受信し、フィルタ部1703から完了信号を受信する度に、1つのCTUの再構成画素値を決定部1702へ出力する。決定部1702は、バンドオフセットモード又はエッジオフセットモードを選択して、選択した動作モードにおけるパラメータを決定する。例えば、エッジオフセットモードが選択された場合、ブロックの形状に応じて、エッジオフセットフィルタの方向及びオフセット値が決定される。
フィルタ部1703は、決定部1702が決定したパラメータを用いて、各CTUに含まれる各画素に対するSAOフィルタ処理を行い、フィルタ処理後の再構成画素値からなる局所復号画像を、バッファ1704及びフレームメモリ626へ出力する。そして、フィルタ部1703は、1つのCTUのSAOフィルタ処理が完了する度に、完了信号を入力部1701へ出力する。
バッファ1704は、フィルタ部1703が出力する局所復号画像を蓄積し、フィルタ部1703へ出力する。バッファ1704が出力する局所復号画像は、隣接するCTUのSAOフィルタ処理において用いられる。
図18は、図17の決定部1702が行うパラメータ決定処理の例を示すフローチャートである。まず、決定部1702は、符号化対象CTU内に未処理のブロックが存在するか否かをチェックする(ステップ1801)。未処理のブロックが存在する場合(ステップ1801,YES)、決定部1702は、1つのブロックを選択する(ステップ1802)。
次に、決定部1702は、選択したブロックの高さH及び幅Wを用いて、ブロックの形状を示す指標RBを、次式により計算する(ステップ1803)。
RB=C*(W/H) (12)
式(11)の定数Cは、W/Hの値を整数化するために用いられる。例えば、C=128であってもよい。指標RBは、ブロックの高さに対する幅の比率を示している。
次に、決定部1702は、RBを閾値TH11と比較する(ステップ1804)。RBがTH11よりも大きい場合(ステップ1804,YES)、決定部1702は、所定の方向D1をエッジオフセットフィルタの方向として選択し(ステップ1805)、ステップ1801以降の処理を繰り返す。RBがTH11よりも大きい場合は、ブロックが横長の長方形である場合に対応する。
一方、RBがTH11以下である場合(ステップ1804,NO)、決定部1702は、RBを閾値TH12と比較する(ステップ1806)。TH12は、TH11よりも小さな値に設定される。RBがTH12よりも大きい場合(ステップ1806,YES)、決定部1702は、HEVC標準に従ってエッジオフセットフィルタの方向を計算し(ステップ1808)、ステップ1801以降の処理を繰り返す。RBがTH11以下であり、かつ、RBがTH12よりも大きい場合は、ブロックが正方形である場合に対応する。
この場合、量子化によって最大の損失が生じる方向が計算され、計算された方向がエッジオフセットフィルタの方向に決定される。決定部1702は、最大の損失が生じる方向をCTU毎に計算してもよい。
一方、RBがTH12以下である場合(ステップ1806,NO)、決定部1702は、所定の方向D2をエッジオフセットフィルタの方向として選択し(ステップ1807)、ステップ1801以降の処理を繰り返す。RBがTH12以下である場合は、ブロックが縦長の長方形である場合に対応する。
方向D1は、横長の長方形のブロックに対して事前に決められた方向であり、方向D2は、縦長の長方形のブロックに対して事前に決められた方向である。方向D1は、ブロックがイントラ予測符号化されるか又はインター予測符号化されるかに応じて、異なる方向であってもよい。同様に、方向D2は、ブロックがイントラ予測符号化されるか又はインター予測符号化されるかに応じて、異なる方向であってもよい。
例えば、ブロックがイントラ予測符号化される場合、D1及びD2をそれぞれ水平方向及び垂直方向に設定することができる。一方、ブロックがインター予測符号化される場合、D1及びD2をそれぞれ垂直方向及び水平方向に設定することができる。
エッジオフセットフィルタの方向がD1又はD2に決定された場合、パラメータ符号化部641は、決定された方向を示すパラメータを符号化せず、動画像符号化装置401は、決定された方向を示すパラメータを動画像復号装置へ送信しない。これにより、エッジオフセットフィルタの方向を示すパラメータの符号量を削減することができる。
一方、ステップ1808においてエッジオフセットフィルタの方向が決定された場合、パラメータ符号化部641は、決定された方向を示すパラメータを符号化し、動画像符号化装置401は、決定された方向を示すパラメータを動画像復号装置へ送信する。
動画像復号装置は、図18のパラメータ決定処理と同様にして、復号対象ブロックの形状を示す指標RBを計算し、RBに基づいてエッジオフセットフィルタの方向を決定することができる。動画像復号装置は、RBがTH11よりも大きい場合、方向D1をエッジオフセットフィルタの方向として選択し、RBがTH12以下である場合、方向D2をエッジオフセットフィルタの方向として選択する。
また、RBがTH11以下であり、かつ、RBがTH12よりも大きい場合、動画像復号装置は、動画像符号化装置401から受信したパラメータが示す方向を、エッジオフセットフィルタの方向として選択する。
図4及び図6の動画像符号化装置401の構成は一例に過ぎず、動画像符号化装置401の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図17のSAOフィルタ629の構成は一例に過ぎず、動画像符号化装置401の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図5、図7〜図16、及び図18に示したフローチャートは一例に過ぎず、動画像符号化装置401の構成又は条件に応じて一部の処理を省略又は変更してもよい。
図1及び図2のエッジオフセットフィルタの方向を示すパラメータは一例に過ぎず、動画像符号化装置401の構成又は条件に応じて別のパラメータを用いてもよい。例えば、パラメータは、3ビット以上のビット列であってもよい。図3の長方形のサブブロックは一例に過ぎず、ブロックの形状は、符号化対象動画像に応じて変化する。
式(1)〜式(12)は一例に過ぎず、動画像符号化装置401の構成又は条件に応じて別の計算式を用いてもよい。例えば、式(1)の代わりに、次式を用いて指標Rを計算してもよい。
R=(VPX−HPX)/TPX (13)
また、式(12)の代わりに、次式を用いて指標RBを計算してもよい。
RB=C*(H/W) (14)
動画像符号化装置401は、QTBTブロック分割の代わりに、長方形のブロックを用いる他のブロック分割を採用して、動画像符号化処理を行ってもよい。
図4及び図6の動画像符号化装置401は、ハードウェア回路として実装することもでき、図19に示すような情報処理装置(コンピュータ)を用いて実装することもできる。
図19の情報処理装置は、Central Processing Unit(CPU)1901、メモリ1902、入力装置1903、出力装置1904、補助記憶装置1905、媒体駆動装置1906、及びネットワーク接続装置1907を含む。これらの構成要素はバス1908により互いに接続されている。
メモリ1902は、例えば、Read Only Memory(ROM)、Random Access Memory(RAM)、フラッシュメモリ等の半導体メモリであり、動画像符号化処理に用いられるプログラム及びデータを記憶する。メモリ1902は、図6のフレームメモリ626及び図17のバッファ1704として用いることができる。
CPU1901(プロセッサ)は、例えば、メモリ1902を利用してプログラムを実行することにより、図4及び図6の第1符号化部411及び第2符号化部412として動作する。
CPU1901は、メモリ1902を利用してプログラムを実行することにより、図6の合成部611、制御部621、スイッチ622、合成部623、イントラ予測部624、及びインター予測部625としても動作する。CPU1901は、メモリ1902を利用してプログラムを実行することにより、変換部627、逆変換部628、SAOフィルタ629、パラメータ符号化部630、予測誤差符号化部631、合成部632、及びパラメータ符号化部641としても動作する。
CPU1901は、メモリ1902を利用してプログラムを実行することにより、図17の入力部1701、決定部1702、及びフィルタ部1703としても動作する。
入力装置1903は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置1904は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。
補助記憶装置1905は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置1905は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置1905にプログラム及びデータを格納しておき、それらをメモリ1902にロードして使用することができる。
媒体駆動装置1906は、可搬型記録媒体1909を駆動し、その記録内容にアクセスする。可搬型記録媒体1909は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体1909は、Compact Disk Read Only Memory(CD−ROM)、Digital Versatile Disk(DVD)、又はUniversal Serial Bus(USB)メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体1909にプログラム及びデータを格納しておき、それらをメモリ1902にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ1902、補助記憶装置1905、及び可搬型記録媒体1909のような、物理的な(非一時的な)記録媒体が含まれる。
ネットワーク接続装置1907は、Local Area Network(LAN)、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。ネットワーク接続装置1907は、ビットストリームを動画像復号装置へ送信することができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置1907を介して受け取り、それらをメモリ1902にロードして使用することもできる。
なお、情報処理装置が図19のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要である場合は、入力装置1903及び出力装置1904を省略してもよい。また、情報処理装置が可搬型記録媒体1909にアクセスしない場合は、媒体駆動装置1906を省略してもよい。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
図1乃至図19を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
動画像に含まれる符号化対象画像を複数のブロックに分割し、フィルタ処理を用いた予測符号化によって各ブロックを符号化する第1符号化部と、
前記フィルタ処理における画素列の方向を示すパラメータを符号化する第2符号化部とを備え、
前記第2符号化部は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に応じて、前記パラメータを符号化する処理を変更することを特徴とする動画像符号化装置。
(付記2)
前記第2符号化部は、コンテキスト適応型二値算術符号化における可変の確率を用いて、前記パラメータを符号化することを特徴とする付記1記載の動画像符号化装置。
(付記3)
前記第2符号化部は、前記コンテキスト適応型二値算術符号化においてシンボルの生起確率を記述するコンテキスト変数を、前記符号化対象ブロックの予測方法がイントラ予測又はインター予測のうちいずれであるかに応じて変更することを特徴とする付記2記載の動画像符号化装置。
(付記4)
前記第2符号化部は、前記画素列の方向が前記長方形のいずれかの辺と平行である場合、前記コンテキスト適応型二値算術符号化においてシンボルの生起確率を記述するコンテキスト変数を用いて、前記パラメータを符号化することを特徴とする付記2記載の動画像符号化装置。
(付記5)
前記第2符号化部は、前記符号化対象ブロックを含む所定領域内において、第1方向の辺の長さが第2方向の辺の長さよりも長い1つ以上の長方形のブロックの面積と、前記第2方向の辺の長さが前記第1方向の辺の長さよりも長い1つ以上の長方形のブロックの面積との差分に関する指標を求め、前記指標に基づいて、複数のコンテキスト変数の中から前記コンテキスト変数を選択することを特徴とする付記4記載の動画像符号化装置。
(付記6)
前記第2符号化部は、前記符号化対象ブロックを含む所定領域内において、第1方向の辺の長さが第2方向の辺の長さよりも長い1つ以上の長方形のブロックの面積と、前記第2方向の辺の長さが前記第1方向の辺の長さよりも長い1つ以上の長方形のブロックの面積との差分に関する指標を求め、前記指標に基づいて、前記コンテキスト変数が表す優勢シンボルの値を変更し、変更したコンテキスト変数を用いて前記パラメータを符号化し、前記パラメータを符号化した後に前記優勢シンボルの値を元の値に戻すことを特徴とする付記4記載の動画像符号化装置。
(付記7)
前記第2符号化部は、前記画素列の方向が前記長方形のいずれかの辺と平行である場合、前記符号化対象ブロックを含む所定領域内における複数のブロックが、第1方向の辺の長さが第2方向の辺の長さよりも長い長方形である度合いに関する指標を求め、前記指標を用いて、前記コンテキスト適応型二値算術符号化における優勢シンボルの値と前記優勢シンボルの生起確率とを計算し、計算した前記優勢シンボルの値と前記優勢シンボルの生起確率とを用いて、前記パラメータを符号化することを特徴とする付記2記載の動画像符号化装置。
(付記8)
動画像に含まれる符号化対象画像を複数のブロックに分割し、フィルタ処理を用いた予測符号化によって各ブロックを符号化する第1符号化部と、
前記フィルタ処理における画素列の方向を示すパラメータを符号化する第2符号化部とを備え、
前記第1符号化部は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に基づいて前記画素列の方向を決定し、前記第2符号化部は、前記符号化対象ブロックの形状が長方形ではない場合、前記パラメータを符号化することを特徴とする動画像符号化装置。
(付記9)
動画像に含まれる符号化対象画像を複数のブロックに分割する第1工程と、
フィルタ処理を用いた予測符号化によって各ブロックを符号化する第2工程と、
前記フィルタ処理における画素列の方向を示すパラメータを符号化する第3工程とを備え、
前記第3工程は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に応じて、前記パラメータを符号化する処理を変更する、
ことを特徴とする動画像符号化方法。
(付記10)
前記第3工程は、コンテキスト適応型二値算術符号化における可変の確率を用いて、前記パラメータを符号化することを特徴とする付記9記載の動画像符号化方法。
(付記11)
動画像に含まれる符号化対象画像を複数のブロックに分割する第1工程と、
フィルタ処理を用いた予測符号化によって各ブロックを符号化する第2工程と、
前記フィルタ処理における画素列の方向を示すパラメータを符号化する第3工程とを備え、
前記第2工程は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に基づいて前記画素列の方向を決定し、
前記第3工程は、前記符号化対象ブロックの形状が長方形ではない場合、前記パラメータを符号化する、
ことを特徴とする動画像符号化方法。
(付記12)
コンピュータに動画像符号化処理を実行させるための動画像符号化プログラムであって、
前記動画像符号化処理は、
動画像に含まれる符号化対象画像を複数のブロックに分割する第1工程と、
フィルタ処理を用いた予測符号化によって各ブロックを符号化する第2工程と、
前記フィルタ処理における画素列の方向を示すパラメータを符号化する第3工程とを備え、
前記第3工程は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に応じて、前記パラメータを符号化する処理を変更する、
ことを特徴とする動画像符号化プログラム。
(付記13)
前記第3工程は、コンテキスト適応型二値算術符号化における可変の確率を用いて、前記パラメータを符号化することを特徴とする付記12記載の動画像符号化プログラム。
(付記14)
コンピュータに動画像符号化処理を実行させるための動画像符号化プログラムであって、
前記動画像符号化処理は、
動画像に含まれる符号化対象画像を複数のブロックに分割する第1工程と、
フィルタ処理を用いた予測符号化によって各ブロックを符号化する第2工程と、
前記フィルタ処理における画素列の方向を示すパラメータを符号化する第3工程とを備え、
前記第2工程は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に基づいて前記画素列の方向を決定し、
前記第3工程は、前記符号化対象ブロックの形状が長方形ではない場合、前記パラメータを符号化する、
ことを特徴とする動画像符号化プログラム。
301、302 ブロック
311、312、321、322 最大距離
401 動画像符号化装置
411 第1符号化部
412 第2符号化部
611、623、632 合成部
621 制御部
622 スイッチ
624 イントラ予測部
625 インター予測部
626 フレームメモリ
627 変換部
628 逆変換部
629 SAOフィルタ
630、641 パラメータ符号化部
631 予測誤差符号化部
1701 入力部
1702 決定部
1703 フィルタ部
1704 バッファ
1901 CPU
1902 メモリ
1903 入力装置
1904 出力装置
1905 補助記憶装置
1906 媒体駆動装置
1907 ネットワーク接続装置
1908 バス
1909 可搬型記録媒体
式(12)の定数Cは、W/Hの値を整数化するために用いられる。例えば、C=128であってもよい。指標RBは、ブロックの高さに対する幅の比率を示している。

Claims (12)

  1. 動画像に含まれる符号化対象画像を複数のブロックに分割し、フィルタ処理を用いた予測符号化によって各ブロックを符号化する第1符号化部と、
    前記フィルタ処理における画素列の方向を示すパラメータを符号化する第2符号化部とを備え、
    前記第2符号化部は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に応じて、前記パラメータを符号化する処理を変更することを特徴とする動画像符号化装置。
  2. 前記第2符号化部は、コンテキスト適応型二値算術符号化における可変の確率を用いて、前記パラメータを符号化することを特徴とする請求項1記載の動画像符号化装置。
  3. 前記第2符号化部は、前記コンテキスト適応型二値算術符号化においてシンボルの生起確率を記述するコンテキスト変数を、前記符号化対象ブロックの予測方法がイントラ予測又はインター予測のうちいずれであるかに応じて変更することを特徴とする請求項2記載の動画像符号化装置。
  4. 前記第2符号化部は、前記画素列の方向が前記長方形のいずれかの辺と平行である場合、前記コンテキスト適応型二値算術符号化においてシンボルの生起確率を記述するコンテキスト変数を用いて、前記パラメータを符号化することを特徴とする請求項2記載の動画像符号化装置。
  5. 前記第2符号化部は、前記符号化対象ブロックを含む所定領域内において、第1方向の辺の長さが第2方向の辺の長さよりも長い1つ以上の長方形のブロックの面積と、前記第2方向の辺の長さが前記第1方向の辺の長さよりも長い1つ以上の長方形のブロックの面積との差分に関する指標を求め、前記指標に基づいて、複数のコンテキスト変数の中から前記コンテキスト変数を選択することを特徴とする請求項4記載の動画像符号化装置。
  6. 前記第2符号化部は、前記符号化対象ブロックを含む所定領域内において、第1方向の辺の長さが第2方向の辺の長さよりも長い1つ以上の長方形のブロックの面積と、前記第2方向の辺の長さが前記第1方向の辺の長さよりも長い1つ以上の長方形のブロックの面積との差分に関する指標を求め、前記指標に基づいて、前記コンテキスト変数が表す優勢シンボルの値を変更し、変更したコンテキスト変数を用いて前記パラメータを符号化し、前記パラメータを符号化した後に前記優勢シンボルの値を元の値に戻すことを特徴とする請求項4記載の動画像符号化装置。
  7. 前記第2符号化部は、前記画素列の方向が前記長方形のいずれかの辺と平行である場合、前記符号化対象ブロックを含む所定領域内における複数のブロックが、第1方向の辺の長さが第2方向の辺の長さよりも長い長方形である度合いに関する指標を求め、前記指標を用いて、前記コンテキスト適応型二値算術符号化における優勢シンボルの値と前記優勢シンボルの生起確率とを計算し、計算した前記優勢シンボルの値と前記優勢シンボルの生起確率とを用いて、前記パラメータを符号化することを特徴とする請求項2記載の動画像符号化装置。
  8. 動画像に含まれる符号化対象画像を複数のブロックに分割し、フィルタ処理を用いた予測符号化によって各ブロックを符号化する第1符号化部と、
    前記フィルタ処理における画素列の方向を示すパラメータを符号化する第2符号化部とを備え、
    前記第1符号化部は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に基づいて前記画素列の方向を決定し、前記第2符号化部は、前記符号化対象ブロックの形状が長方形ではない場合、前記パラメータを符号化することを特徴とする動画像符号化装置。
  9. 動画像に含まれる符号化対象画像を複数のブロックに分割する第1工程と、
    フィルタ処理を用いた予測符号化によって各ブロックを符号化する第2工程と、
    前記フィルタ処理における画素列の方向を示すパラメータを符号化する第3工程とを備え、
    前記第3工程は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に応じて、前記パラメータを符号化する処理を変更する、
    ことを特徴とする動画像符号化方法。
  10. 動画像に含まれる符号化対象画像を複数のブロックに分割する第1工程と、
    フィルタ処理を用いた予測符号化によって各ブロックを符号化する第2工程と、
    前記フィルタ処理における画素列の方向を示すパラメータを符号化する第3工程とを備え、
    前記第2工程は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に基づいて前記画素列の方向を決定し、
    前記第3工程は、前記符号化対象ブロックの形状が長方形ではない場合、前記パラメータを符号化する、
    ことを特徴とする動画像符号化方法。
  11. コンピュータに動画像符号化処理を実行させるための動画像符号化プログラムであって、
    前記動画像符号化処理は、
    動画像に含まれる符号化対象画像を複数のブロックに分割する第1工程と、
    フィルタ処理を用いた予測符号化によって各ブロックを符号化する第2工程と、
    前記フィルタ処理における画素列の方向を示すパラメータを符号化する第3工程とを備え、
    前記第3工程は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に応じて、前記パラメータを符号化する処理を変更する、
    ことを特徴とする動画像符号化プログラム。
  12. コンピュータに動画像符号化処理を実行させるための動画像符号化プログラムであって、
    前記動画像符号化処理は、
    動画像に含まれる符号化対象画像を複数のブロックに分割する第1工程と、
    フィルタ処理を用いた予測符号化によって各ブロックを符号化する第2工程と、
    前記フィルタ処理における画素列の方向を示すパラメータを符号化する第3工程とを備え、
    前記第2工程は、前記複数のブロックの1つである符号化対象ブロックの形状が長方形である場合、前記長方形の長辺の方向に基づいて前記画素列の方向を決定し、
    前記第3工程は、前記符号化対象ブロックの形状が長方形ではない場合、前記パラメータを符号化する、
    ことを特徴とする動画像符号化プログラム。
JP2017155418A 2017-08-10 2017-08-10 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム Active JP6904156B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017155418A JP6904156B2 (ja) 2017-08-10 2017-08-10 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
EP18187229.2A EP3445052B1 (en) 2017-08-10 2018-08-03 Video encoding apparatus and video encoding method
US16/055,551 US11223829B2 (en) 2017-08-10 2018-08-06 Video encoding apparatus and video encoding method with block shape based filtering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017155418A JP6904156B2 (ja) 2017-08-10 2017-08-10 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Publications (2)

Publication Number Publication Date
JP2019036772A true JP2019036772A (ja) 2019-03-07
JP6904156B2 JP6904156B2 (ja) 2021-07-14

Family

ID=63144879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017155418A Active JP6904156B2 (ja) 2017-08-10 2017-08-10 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Country Status (3)

Country Link
US (1) US11223829B2 (ja)
EP (1) EP3445052B1 (ja)
JP (1) JP6904156B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220086445A1 (en) * 2020-12-03 2022-03-17 Intel Corporation Methods, apparatus, and articles of manufacture for multi-symbol equiprobable mode entropy coding
WO2022218281A1 (en) * 2021-04-12 2022-10-20 Beijing Bytedance Network Technology Co., Ltd. Guided filter in video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158657A1 (ja) * 2010-06-17 2011-12-22 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
WO2012044886A1 (en) * 2010-10-01 2012-04-05 Qualcomm Incorporated Intra smoothing filter for video coding
WO2013183268A1 (ja) * 2012-06-08 2013-12-12 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
WO2013183286A1 (ja) * 2012-06-04 2013-12-12 パナソニック株式会社 タッチスライダーユニットおよびタッチスライダーユニットを備える電子レンジ
WO2014000049A2 (en) * 2012-06-28 2014-01-03 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a sample adaptive offset data of encoded video data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357235B2 (en) * 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
JP2015080004A (ja) 2012-01-30 2015-04-23 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
MX2013015089A (es) 2012-05-25 2014-02-21 Panasonic Corp Metodo de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, aparato de decodificacion de imágenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
RU2675154C1 (ru) * 2012-07-16 2018-12-17 Самсунг Электроникс Ко., Лтд. Способ кодирования видео и устройство кодирования видео и способ декодирования видео и устройство декодирования видео для сигнализации параметров sao

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158657A1 (ja) * 2010-06-17 2011-12-22 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
WO2012044886A1 (en) * 2010-10-01 2012-04-05 Qualcomm Incorporated Intra smoothing filter for video coding
WO2013183286A1 (ja) * 2012-06-04 2013-12-12 パナソニック株式会社 タッチスライダーユニットおよびタッチスライダーユニットを備える電子レンジ
WO2013183268A1 (ja) * 2012-06-08 2013-12-12 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
WO2014000049A2 (en) * 2012-06-28 2014-01-03 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a sample adaptive offset data of encoded video data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUN XU AND ALI TABATABAI: "AHG6: on SAO signalling", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-J0268r2, JPN6021007419, July 2012 (2012-07-01), pages 1 - 12, ISSN: 0004457449 *

Also Published As

Publication number Publication date
US20190052882A1 (en) 2019-02-14
EP3445052A1 (en) 2019-02-20
JP6904156B2 (ja) 2021-07-14
US11223829B2 (en) 2022-01-11
EP3445052B1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
US20240107029A1 (en) Image encoding/decoding method and apparatus using intra-screen prediction
CN108293113B (zh) 图像编码系统中的基于建模的图像解码方法和设备
JP5421408B2 (ja) αチャンネル映像復号化装置、αチャンネル復号化方法及び記録媒体
KR101717510B1 (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
KR20130051384A (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR102584163B1 (ko) 영상 부호화 장치
KR20160093061A (ko) 비디오 코덱에서 신택스 요소 인코딩을 위한 방법 및 장치
KR101427229B1 (ko) 적응적인 부호화 순서를 이용한 영상 부호화/복호화 장치 및 방법
KR20120011428A (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20130003718A (ko) 고속 코딩 단위(Coding Unit) 모드 결정을 통한 부호화/복호화 방법 및 장치
JP6212890B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US20200236354A1 (en) Coding and decoding methods and corresponding devices
TW202135530A (zh) 用於編碼和解碼視訊樣本區塊的方法、設備及系統
TW202044836A (zh) 用於視訊寫碼中的調色板語法的分組寫碼
KR20230028745A (ko) 영상 분석을 이용한 비디오 부호화/복호화 방법 및 장치
JP6904156B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
CN114303380B (zh) 用于几何划分标志的索引的cabac译码的编码器、解码器及对应方法
KR101596085B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR101377529B1 (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
KR20110048004A (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101911587B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
US10869030B2 (en) Method of coding and decoding images, a coding and decoding device, and corresponding computer programs
KR20100044333A (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
US11218705B2 (en) Information processing device and video encoding method
CN111264060A (zh) 动态图像编码装置、动态图像编码方法、动态图像编码用计算机程序、动态图像解码装置、动态图像解码方法和动态图像解码用计算机程序

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210506

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210607

R150 Certificate of patent or registration of utility model

Ref document number: 6904156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150