JP2019161595A - 動画像の符号化装置および方法、復号装置および方法ならびに符号化/復号システム - Google Patents

動画像の符号化装置および方法、復号装置および方法ならびに符号化/復号システム Download PDF

Info

Publication number
JP2019161595A
JP2019161595A JP2018049549A JP2018049549A JP2019161595A JP 2019161595 A JP2019161595 A JP 2019161595A JP 2018049549 A JP2018049549 A JP 2018049549A JP 2018049549 A JP2018049549 A JP 2018049549A JP 2019161595 A JP2019161595 A JP 2019161595A
Authority
JP
Japan
Prior art keywords
block
scanning
aspect ratio
outputting
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018049549A
Other languages
English (en)
Other versions
JP6982525B2 (ja
Inventor
佳隆 木谷
Yoshitaka Kitani
佳隆 木谷
圭 河村
Kei Kawamura
圭 河村
内藤 整
Hitoshi Naito
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018049549A priority Critical patent/JP6982525B2/ja
Priority to PCT/JP2018/046411 priority patent/WO2019176207A1/ja
Publication of JP2019161595A publication Critical patent/JP2019161595A/ja
Application granted granted Critical
Publication of JP6982525B2 publication Critical patent/JP6982525B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】非正方形ブロックの変換係数に対する最適な走査方式を、ブロックの縦横比に基づいて特定することで高効率の符号化および復号を実現できる符号化装置および復号装置を提供する。【解決手段】ステップS11ではブロックの縦横比Rが参照され、R=1であればステップS12へ進む。ステップS12においてブロックサイズが4×4又は8×8と判定されるとステップS13へ進み、予測モード依存(M)走査方式に特定される。16×16以上であれば、ステップS14へ進んで斜め走査(D)に特定される。ステップS11においてブロックの縦横比RがR≠1であればステップS15へ進む。ステップS15において、ブロックサイズが4×4又は8×8と判定されるとステップS16へ進み、予測モード依存(M)走査方式に特定される。16×16以上であれば、ステップS17へ進んで斜め走査(D)に特定される。【選択図】図7

Description

本発明は、動画像の符号化装置および方法、復号装置および方法ならびに符号化/復号システムに係り、特に、符号化時に変換係数の配列を二次元から一次元に並び替えるための走査、および復号時に一次元から二次元に並び替えるための逆走査の方式をブロックの縦横比に応じて切り換えることで高効率の符号化およびその復号を実現できる符号化装置および方法、復号装置および方法ならびに符号化/復号システムに関する。
特許文献1,2には、ブロックサイズおよびイントラ予測モードに基づいて変換係数の走査順を適応的に選択するモード依存型走査方式が提案されている。具体的には、特許文献1,2では、予測残差信号ブロックの直交変換係数をエントロピー符号化する際に、変換係数の情報量が符号化前よりも少なくなるように、非ゼロの変換係数の発生確率に応じて、あるいは変換ブロックのブロックサイズおよびイントラ予測モードごとに変換係数を並び替えている。
WO2011/083599 特表2014-504489号公報
特許文献1,2によれば、予測残差信号ブロックの変換係数の走査方式は、ブロックが予測される際に使用されたイントラ予測モードと直交変換される際に使用された変換ブロックのブロックサイズに基づいて特定される。しかしながら、この手法は正方形のブロックを対象として考案されたため、非正方形のブロックに対しては必ずしも効率的な走査順が特定されるとは限らない。
図19は、ブロックのサイズが大きく、かつ縦横比が大きい場合に、走査方式に応じて隣接するサブブロック間で一次元配列時の順序が離れてしまう様子を示している。ここでサブブロックとは4×4画素のブロックを示し、H.265|HEVCでは、このサブブロック単位で異なる複数の走査方式から1つの走査方式に特定され、またその走査方式はブロック自体の走査方式としても再帰的に使用される。
例えば、符号化対象が16×8画素のブロックであると、隣接するサブブロック間での走査差の最大値が、斜め走査[同図(a)]では「3」であり、水平走査[同図(c)]では「1」であるのに対して、垂直走査[同図(b)]では常に「4」となる。
そして、このような関係はブロックサイズが大きく、かつ縦横比が大きくなるほど顕著となり、符号化対象が32×8画素のブロックであると、隣接するサブブロック間での走査順の差の最大値が、斜め走査[同図(d)]では「3」であり、水平走査[同図(f)]では「1」であるのに対して、垂直走査[同図(e)]では常に「8」に達する。
このように、従来技術ではブロックのサイズが大きく、かつ縦横比が大きい場合、イントラ予測モードに基づいて走査順を選択すると、隣接するサブブロックの走査順が非常に離れてしまう場合があり、イントラ予測モードおよびブロックサイズに基づく走査方式が必ずしも最適な走査方式とはならないという技術課題があった。
本発明の目的は、上記の技術課題を解決し、非正方形ブロックに対しても最適な走査方式に特定できるようにすることで、高効率の符号化および復号を実現できる動画像の符号化装置および方法、復号装置および方法ならびに符号化/復号システムを提供することにある。
(1) 上記の目的を達成するために、本発明は、ブロックごとに二次元に配列された変換係数を順走査により一次元に配列してエントロピー符号化し、これを符号化ブロック内の各サブブロックに対して繰り返す符号化装置において、ブロックの縦横比を含む形状を判別する手段と、順走査方向が異なる複数の順走査実行手段と、前記判別の結果に基づいて一の順走査実行手段を選択する手段とを具備し、前記選択された順走査実行手段によりブロックの変換係数を一次元に並べ替えるようにした。
(2) 上記の目的を達成するために、本発明は、エントロピー復号された一次元配列の変換係数を逆走査により二次元に配列してサブブロックを再構成し、これをサブブロックごとに繰り返して符号化の単位ブロックを再構成する復号装置において、ブロックの縦横比を含む形状を判別する手段と、逆走査方向が異なる複数の逆走査実行手段と、前記判別の結果に基づいて一の逆走査実行手段を選択する手段とを具備し、前記選択された逆走査実行手段により一次元に配列された変換係数を二次元の配列に並び替えるようにした。
本発明によれば、以下のような効果が達成される。
(1) 符号化時に二次元配列の変換係数を一次元配列に並べ替えるための走査方式を特定する際のパラメータとしてブロックの縦横比を採用したので、正方形だけでなく、非正方形ブロック特有の変換係数分布にも適した走査方式を、フラグではなく、ブロックの縦横比から特定することが可能とあり、その結果、符号量を削減できる。
(2) 復号時の走査方式を特定する際のパラメータとしてブロックの縦横比を採用したので、正方形だけでなく、非正方形ブロック特有の変換係数分布にも適した走査方式を、フラグではなく、ブロックの縦横比から特定することが可能とあり、その結果、符号量を削減できる。
本発明を適用した符号化装置の構成を示したブロック図である。 二次元に配列されたサブブロックの変換係数を一次元に並べ替えるための走査方式の例を示した図である。 サブブロックを対象とした走査がブロック内で再帰的に繰り返される例を示した図である。 順走査ユニット(13a)の機能ブロック図である。 順走査ユニット(13a)における順走査方式の第1の選択手順を示したフローチャートである。 第1の選択手順により選択される順走査方式と符号化ブロックのサイズおよび縦横比との関係を示した図である。 順走査ユニット(13a)における順走査方式の第2の選択手順を示したフローチャートである。 第2の選択手順により選択される順走査方式と符号化ブロックのサイズおよび縦横比との関係を示した図である。 予測モード依存(M)の走査方式における予測モードと選択される走査方式との関係を示した図である。 H.265/HEVCで用意されている35種類の予測モードを説明するための図である。 順走査ユニット(13a)における順走査方式の第3の選択手順を示したフローチャートである。 第3の選択手順により選択される順走査方式と符号化ブロックのサイズおよび縦横比との関係を示した図である。 順走査ユニット(13a)における順走査方式の第4の選択手順を示したフローチャートである。 第4の選択手順により選択される順走査方式と符号化ブロックのサイズおよび縦横比との関係を示した図である。 順走査ユニット(13a)における順走査方式の第5の選択手順を示したフローチャートである。 第5の選択手順により選択される順走査方式と符号化ブロックのサイズおよび縦横比との関係を示した図である。 本発明を適用した復号装置の構成を示したブロック図である。 逆走査ユニット(23a)の機能ブロック図である。 従来技術の課題を説明するための図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明を適用した符号化装置の主要部の構成を示したブロック図であり、フレーム画像が符号化の単位となる符号化ブロックに分割されて入力される。なお、動画像を符号化対象とする装置はイントラ予測(フレーム内予測)機能およびインター予測(フレーム間予測)機能を備えるが、インター予測機能は本発明の説明に不要なので図示を省略している。
このような符号化装置は、汎用のコンピュータに後述する各機能を実現するアプリケーション(プログラム)を実装して構成しても良いし、あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。
CPU1は、符号化部6を含む装置全体を制御する。ROM2には、基本プログラムや各種の基本デバイスが不揮発に記憶されている。RAM3は、CPU1にワークエリアを提供する。入出力部4は、外部装置やオペレータとの間でデータの入出力を管理する。ディスク媒体5には、入力画像や符号化データが記憶される。
前記符号化部6において、減算器10はブロックごとに、入力画像信号とイントラ予測の予測部16が出力する予測信号との差分(予測残差信号)を算出する。本実施形態では、ブロックが四分木構造または四分木二分構造に従って分割されている。予測残差信号は変換部11に入力される。変換部11は、予測残差信号を時間領域から周波数領域に変換して変換係数を出力する。
量子化部12は、前記変換係数を別途に与えられる量子化パラメータにしたがって量子化し、そのレベル値を出力する。エントロピー符号化部13において、順走査ユニット13aは、ブロック内で二次元に配列されているレベル値を走査して並べ替える際、ブロックのサイズおよび予測部16から受け取る当該ブロックの予測モードに基づいて走査方式を特定する。量子化されて二次元に配列されたレベル値は、前記特定された走査方式で一次元に並べ替えられてシンタックス要素とされる。シンタックス要素はエントロピー符号化された後に出力される。
本実施形態では、図2に示したように、n×m画素の変換ブロックを4×4画素のサブブロックに分割し、サブブロック単位で、斜め走査(D:diagonal)[同図(a)]、水平走査(H:horizontal)[同図(b)]または垂直走査(V:vertical)[同図(c)]を実行する。
なお、本実施形態では、サブブロックの大きさを4×4画素とし、走査方式の候補として斜め走査、水平走査および垂直走査の3つを挙げているが、サブブロックの大きさや縦横比、あるいは走査方式の候補はこれらに限定されない。
また、ブロックの走査方式(サブブロック自体の走査方式)には、サブブロックの走査方式(サブブロック内のレベル値の走査方式)で特定された走査方式が再帰的に使用されるものとしたが、ブロックの走査方式とサブブロックの走査方式とは同一方式に限定されるものではなく、ブロックの走査方式とサブブロックの走査方式とは独立して(相互に無関係に)特定されるようにしても良い。
さらに、図3に示したように、本実施形態ではこのような順走査を変換ブロック内の全てのサブブロックに対して再帰的に繰り返す。図3(a)、(b)、(c)はそれぞれ、8×8画素の変換ブロックへの斜め走査、水平走査および垂直走査の適用例を示しており、同図(d)は16×16画素の変換ブロックへの斜め走査の適用例を示している。
逆変換/逆量子化部14は、前記変換部11および量子化部12と逆の処理を行うものであり、量子化部12が出力するレベル値を逆量子化して変換係数を生成し、この変換係数を逆直交変換することで予測残差信号を生成する。
加算器15は、逆量子化/逆変換部14が出力する予測残差信号と予測部16が出力する予測信号とを加算して再構成画素信号を生成する。再構成画素信号は画像メモリ17に蓄積された後、前記予測部16へ送られる。予測部16は、イントラ予測の結果を前記減算器10へ出力する。
図4は、前記エントロピー符号化部13に実装される順走査ユニット13aの主要部の構成を示した機能ブロック図である。
順走査方式選択部131は、変換ブロックのサイズを判別するブロックサイズ判別部131a、変換ブロックの縦横比を判別するブロック形状判別部131bおよび予測部16から受け取る予測モードを判別する予測モード判別131cを含み、各判別結果に応じて、各ブロックを順走査する際の走査方式を、斜め走査、水平走査および垂直走査のいずれかに特定する。
順走査実行部132は、二次元配列されたレベル値を水平方向に走査(H走査)する水平走査部132a、垂直方向に走査(V走査)する垂直走査部132b、および斜め方向に走査(D走査)する斜め走査部132cを含む。
図5は、前記順走査ユニット13aにおける順走査方式の第1の特定手順を示したフローチャートであり、図6は、第1の特定手順により特定される順走査方式とブロックのサイズおよび縦横比との関係を示した図である。
ステップS1では、ブロックの縦横比Rが参照され、R=1であればステップS2へ進み、R≠1であればステップS3に進む。ステップS2,S3では、それぞれ特定のブロックサイズを閾値として固有の走査方式が特定される。
図6(a)は、前記ステップS2において水平走査(H)が選択された場合のブロックサイズと走査方式との関係の一例を示しており、ブロックサイズが16×16未満であれば水平走査(H)に特定され、ブロックサイズが16×16以上であれば斜め走査(D)に特定される。この場合、ステップS3では全てのブロックサイズで斜め走査(D)に特定される。
図6(b)は、前記ステップS2において垂直走査(V)が選択された場合のブロックサイズと走査方式との関係の一例を示しており、ブロックサイズが16×16未満であれば垂直走査(V)に特定され、ブロックサイズが16×16以上であれば斜め走査(D)に特定される。この場合、ステップS3では全てのブロックサイズで斜め走査(D)に特定される。
図7は、前記順走査ユニット13aにおける順走査方式の第2の選択手順を示したフローチャートであり、図8は、本実施形態において選択される順走査方式とブロックのサイズおよび縦横比との関係を示した図である。
ステップS11では、ブロックの縦横比Rが参照され、R=1であればステップS12へ進む。ステップS12では、ブロックサイズが参照され、4×4または8×8であればステップS13へ進み、予測モード依存(M)の走査方式が選択される。これに対して、ブロックサイズが16×16以上であれば、ステップS14へ進んで斜め走査(D)が選択される。
一方、前記ステップS11において、ブロックの縦横比Rが1以外と判断されるとステップS15へ進む。ステップS15では、ブロックサイズが参照され、4×4または8×8であれば、ステップS16へ進んで予測モード依存(M)の走査方式が選択される。これに対して、ブロックサイズが16×16以上であれば、ステップS17へ進んで斜め走査(D)が選択される。
本手順によれば、図8に示したように、ブロックの縦横比Rが1以外であると、ブロックサイズが8×8以下であれば予測モード依存 (M) の走査方式が選択され、16×16以上であれば斜め走査方式(D)が選択されることになる。
図9は、本実施形態において、予測モード依存(M)の走査方式における予測モードと特定される走査方式との関係を説明するために、H.265|HEVCで採用されている予測モード依存走査(M)を示した図である。
H.265|HEVCでは、図10に示したように、Planar予測およびDC予測を含めて方向別に35種類の予測モードが用意されており、対象ブロックの予測モードおよびブロックサイズに応じて水平走査(H)、垂直走査(V)または斜め走査(D)が選択される。ここで、本実施形態はイントラ予測モードに応じた走査方式に、H.265|HEVCと同様の特定手段を用いることを説明しているのみであり、本発明で扱うイントラ予測モードの数やブロックサイズの大きさをH.265|HEVCと同じ値に限定しているわけではない。
図11は、前記順走査ユニット13aにおける順走査方式の第3の特定手順を示したフローチャートであり、図12は、本実施形態において特定される順走査方式とブロックサイズおよび縦横比との関係を示した図である。
ステップS31では、ブロックの縦横比Rが参照され、R=1であればステップS32へ進む。ステップS32では、ブロックサイズに基づいて走査方式が決定される。本実施形態では、ブロックサイズが4×4または8×8であれば、水平走査(H)[図12(a)]または垂直走査方式(V)[図12(b)]に決定される。
一方、ブロックの縦横比Rが1以外であれば、ステップS33へ進んでブロックの縦横が比較される。縦≧横であればステップS34へ進み、ブロックサイズに基づいて走査方式が決定される。本実施形態では、相対的に走査方向が垂直に近い走査方式以外の走査方式に特定される。即ち、走査方向が垂直に近い走査方式の使用が禁止される。
これに対して、縦<横であればステップS35へ進み、ブロックサイズに基づいて走査方式が決定される。本実施形態では、走査方向が水平に近い走査方式以外の走査方式に特定される。即ち、走査方向が水平に近い走査方式の使用が禁止される。このような走査方式の制約は、縦横比が大きいブロックで、DC成分付近のサブブロックの走査順が、特定される走査方式によっては非常に離れてしまう問題を回避するのに有効である。
例えば、縦に長いブロックで垂直走査(V)に走査方式が特定されると、DC成分付近のサブブロックの走査順が非常に離れてしまう。逆に例えば、横に長いブロックで水平走査(H)に走査方式が特定されると、DC成分付近のサブブロックの走査順が非常に離れてしまう。
図12(a),(b)に示した例では、ブロックの縦横比Rが1ではない場合に、縦のブロックサイズと横のブロックサイズとが比較され、縦>横の場合には垂直走査(V)の使用が禁止され、横<縦の場合には水平走査(H)の使用が禁止され、禁止された走査以外の走査方式に特定される。
図13は、前記順走査ユニット13aにおける順走査方式の第4の特定手順を示したフローチャートであり、図14は、本実施形態において選択される順走査方式とブロックサイズおよび縦横比Rとの関係を示した図である。
ステップS41では、ブロックの縦横比Rが参照され、R=1であればステップS42へ進む。ステップS42ではブロックサイズが参照され、4×4または8×8であればステップS43へ進み、予測部16が採用する予測モードに依存した走査方式(M)に特定される。これに対して、ブロックサイズが16×16以上であれば、ステップS44へ進んで斜め走査(D)に特定される。
一方、前記ステップS41において、ブロックの縦横比Rが参照され、R≠1と判断されるとステップS45へ進み、ブロックの縦横比Rが所定の閾値Rref以上であるか否かが判定される。R≧RrefであればステップS46へ進み、予測モード依存の走査(M)に特定される。これに対して、R<RrefであればステップS47へ進み、斜め走査(D)に特定される。
図14(a)は、前記ステップS45において、閾値Rref=2に設定されているときに、ブロックの縦横比Rに応じて走査方式が選択される例を示しており、R≠1で、かつR≧2(Rref=2)では予測モード依存の走査方式(M)に特定される。
また、閾値Rref=4に設定されていれば、同図(b)に示したように、縦横比R≧4では予測モード依存の走査方式(M)に特定され、それ以外では斜め走査(D)に特定されている。同様に、閾値Rref=8に設定されていれば、同図(c)に示したように、縦横比R≧8では予測モード依存の走査方式(M)が選択され、それ以外では斜め走査(D)に特定されている。
図15は、前記順走査ユニット13aにおける順走査方式の第5の特定手順を示したフローチャートであり、図16は、本実施形態において選択される順走査方式とブロックのサイズおよび縦横比との関係を示した図である。
ステップS51では、ブロックの縦横比Rが参照され、R=1であればステップS52へ進む。ステップS52ではブロックサイズが参照され、4×4または8×8であればステップS53へ進み、予測部16が採用する予測モードに依存した走査方式(M)に特定される。これに対して、ブロックサイズが16×16以上であれば、ステップS54へ進んで斜め走査(D)に特定される。
一方、前記ステップS51において、ブロックの縦横比が参照され、R≠1と判断されるとステップS55へ進み、ブロックの短辺長Sが所定の閾値Srefと比較される。短辺長Sが閾値Sref以上であればステップS56へ進み、予測モード依存の走査方式(M)に特定される。短辺長Sが閾値Sref未満であれば、前記ステップS54へ進んで斜め走査(D)に特定される。
図16(a)は、Sref=8の場合に特定される順走査方式とブロックサイズとの関係を示した図であり、短辺ブロック長Sが「8」未満では縦横比に関わらず斜め走査(D)に特定選択され、Sが「8」以上では予測モード依存走査(M)に特定されている。同様に、図16(b)は、Sref=16の場合に特定順走査方式とブロックサイズとの関係を示した図であり、短辺ブロック長Sが「16」未満では縦横比に関わらず斜め走査(D)に特定され、Sが「16」以上では予測モード依存走査(M)に特定されている。
これは、ブロックの短辺長Sがサブブロックのブロックサイズと等しい場合、ブロック内のサブブロック自体の再帰的な走査順が、斜め走査(D)と垂直走査(V)と水平走査(H)とが同じになるため、予測モード依存走査(M)の適用範囲を短辺ブロック長Sと所定の閾値Srefで調節できるようにしている。
図17は、本発明を適用した復号装置の主要部の構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表している。本発明の復号装置は、前記符号化装置6からレベル値を含む符号化データを取得して復号し、復号画像を生成する。
このような復号装置は、汎用のコンピュータに後述する各機能を実現するアプリケーション(プログラム)を実装して構成しても良いし、あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。また、前記符号化装置と一体に構成しても良い。
復号部7において、エントロピー復号部23は逆走査ユニット23aを含み、符号化されたビットストリームをエントロピー復号して得られたシンタックス要素を、逆走査ユニット23aにより、復号単位となるブロックのサイズ、縦横比および予測モードに応じた順序で逆走査することで二次元配列のレベル値に変換する。
逆量子化部22は、別途に与えられる逆量子化パラメータに基づいて前記二次元配列されたレベル値を逆量子化して変換係数を復元する。逆変換部21は、前記変換係数に対して逆変換を実行することで、変換係数を周波数領域から時間領域に変換し、予測誤差信号を復元する。
予測部24は、別途に与えられる復号パラメータに基づいて、前記復元されて二次元配列されたレベル値に所定の予測モードを適用して予測残差信号を計算する。加算部20は、前記逆変換部21の出力と予測部24の出力とを加算して復号画像信号を生成する。この復号画像信号は画像メモリ25に蓄積されてイントラ予測に用いられる。
図18は、前記エントロピー復号部23に実装される逆走査ユニット23aの主要部の構成を示した機能ブロック図である。
逆走査方式選択部231は、再構成するブロックのサイズを判別するブロックサイズ判別部231a、変換ブロックの縦横サイズを判別するブロック形状判別部231bおよび符号時に採用された予測モードを符号化データに基づいて判別する予測モード判別231cを含み、各判別結果に応じて、一次元配列の量子化変換係数を二次元配列に並べ替えてサブブロックを再構成する際の逆走査の方式を斜め走査、水平走査および垂直走査のいずれかに特定する。
逆走査実行部232は、前記水平走査(H)により二次元配列から一次元配列に並べられた変換係数を元の二次元配列に並べ替える逆水平走査を行う水平走査部232a、前記垂直走査(V)により一次元配列に並べられた変換係数を元の二次元配列に並べ替える逆垂直走査を行う垂直走査部232b、および前記斜め走査(D)により一次元配列に並べられた変換係数を元の二次元配列に並べ替える逆斜め走査(ID走査)を行う斜め走査部232cを含む。
前記逆走査ユニット23aによる逆走査方式の特定手順は前記符号化時における走査方式の選択手順と同様であり、前記図5,6を参照して説明した第1の選択手順を例にすれば、再構成されるブロックの縦横比R≠1の場合、そのブロックサイズに基づいて斜め走査(D)またはそれ以外が同様に選択される。
また、図7ないし10を参照して説明した第2の選択手順を例にすれば、再構成されるブロックの縦横比R≠1の場合、そのブロックサイズに基づいて斜め走査(D)または予測モード依存(M)が同様に選択される。
さらに、図11,12を参照して説明した第3の選択手順を例にすれば、再構成されるブロックの縦横比R≠1の場合、その縦横ブロック長の比較結果に基づいて、相対的に走査方向が垂直に近い走査方式以外または水平に近い走査方式以外に特定される。
さらに、図13,14を参照して説明した第4の選択手順を例にすれば、再構成されるブロックの縦横比R≠1の場合、その縦横比に基づいて、予測モード依存(M)または斜め走査(D)が同様に特定される。
さらに、図15,16を参照して説明した第5の選択手順を例にすれば、再構成されるブロックの縦横比R≠1の場合、その短辺ブロック長に基づいて、予測モード依存(M)または斜め走査(D)が同様に特定される。
なお、上記の各実施形態では、本発明を符号化装置および復号装置への適用を例にして説明したが、本発明はこれのみに限定されるものではなく、符号化装置および復号装置の各機能を備えた符号化/復号システムにも同様に適用できる。
6…符号化部,7…復号部,10…減算器,11…変換部,12…量子化部,13…エントロピー符号化部,13a…順走査ユニット,14…逆量子化/逆変換部,15…加算器,16…予測部,17,25…画像メモリ,20…加算部,21…逆変換部,22…逆量子化部,23…エントロピー復号部,23a…逆走査ユニット,24…予測部,131…順走査方式選択部,131a,231a…ブロックサイズ判別部,131b,231b…ブロック形状判別部,131c,231c…予測モード判別,132…順走査実行部,132a,232a…H(IH)走査部,132b,232b…V(IV)走査部,132c,232c…D(ID)走査部,231…逆走査方式選択部,232…逆走査実行部

Claims (14)

  1. ブロックごとの予測信号と復号した残差信号とを加算した復号画像信号を復号する復号装置において、
    符号化されたビットストリームをエントロピー復号してシンタックス要素を出力するエントロピー復号手段と、
    方向の異なる複数の走査手段のいずれかにより、前記シンタックス要素に逆走査を実行して前記ブロック内のレベル値を出力する逆走査実行手段と、
    前記レベル値を逆量子化して係数を出力する逆量子化手段と、
    前記ブロックごとの係数を入力とし、周波数領域から逆変換して残差信号を出力する逆変換手段とを備え、
    前記ブロックは、四分木構造または四分木二分構造に従って分割され、
    前記逆走査実行手段は、ブロックの縦横比に基づいて、前記実行する走査手段を特定することを特徴とする動画像の復号装置。
  2. 前記逆走査実行手段は、ブロックの縦横比が1:1の場合と1:1以外の場合とでそれぞれ走査手段を限定し、ブロックサイズに基づいて1つの走査手段に特定することを特徴とする請求項1に記載の動画像の復号装置。
  3. 前記逆走査実行手段は、ブロックの縦横比が1:1の場合と1:1以外の場合とでそれぞれ走査手段を限定し、ブロックサイズから当該走査手段を更に限定し、イントラ予測モードに基づいて1つの走査手段に更に特定することを特徴とする請求項1に記載の動画像の復号装置。
  4. 前記逆走査実行手段は、単位ブロックの縦のブロックサイズが横のブロックサイズよりも大きいと、方向が水平(H)の走査手段に特定し、それ以外では方向が水平以外の走査手段に特定することを特徴とする請求項1に記載の動画像の復号装置。
  5. 前記逆走査実行手段は、ブロックの縦横比が1:1以外の場合で、縦のサイズが横のサイズよりも大きいブロックには、方向が垂直に近い走査手段の使用を禁止することを特徴とする請求項1に記載の動画像の復号装置。
  6. 前記逆走査実行手段は、ブロックの縦横比が1:1以外の場合で、横のサイズが縦のサイズよりも大きいブロックには、方向が水平に近い走査手段の使用を禁止することを特徴とする請求項1に記載の動画像の復号装置。
  7. 前記逆走査実行手段は、ブロックの縦横比が1:1かつブロックサイズが所定の第1閾値未満のブロックには、ブロックのイントラ予測モードに基づいて走査手段を特定し、
    ブロックの縦横比が1:1かつブロックサイズが所定の第1閾値以上のブロックには、方向が斜めの走査手段を特定し、
    ブロックの縦横比が1:1以外かつ所定の第2閾値未満のブロックには、イントラ予測モードに基づいて走査手段を特定し、
    ブロックの縦横比が1:1以外かつ所定の第2閾値以上のブロックには、方向が斜めの走査手段を特定することを特徴とする請求項1に記載の動画像の復号装置。
  8. 前記逆走査実行手段は、ブロックの縦横比が所定の第2閾値以上かつ短辺のブロック長が所定の第3閾値以上のブロックには、イントラ予測モードに基づいて走査手段を特定することを特徴とする請求項7に記載の動画像の復号装置。
  9. 前記ブロックは、前記四分木構造または四分木二分構造に従って複数のサブブロックに分割され、
    前記サブブロックと同一方向の走査が前記ブロックに対して再帰的に実行されることを特徴とする請求項1ないし8のいずれかに記載の復号装置。
  10. 前記ブロックは、前記四分木構造または四分木二分構造に従って複数のサブブロックに分割され、
    前記サブブロックの走査方向とブロックの走査方向とが独立していることを特徴とする請求項1ないし8のいずれかに記載の復号装置。
  11. コンピュータが、エントロピー復号された一次元配列の変換係数を逆走査により二次元に配列してブロックを再構成する復号方法において、
    ブロックの縦横比を含む形状を判別する手順と、
    前記判別の結果に基づいて、逆走査の方向が異なる複数の走査手段の一つを選択する手順と、
    前記選択された走査手段により一次元に配列された変換係数を二次元の配列に並び替える手順とを含むことを特徴とする動画像の復号方法。
  12. ブロックごとに予測を行い、その残差信号を符号化する符号化装置において、
    前記ブロックことの残差信号を入力とし、周波数領域に変換して係数を出力する変換手段と、
    前記係数を量子化してレベル値を出力する量子化手段と、
    方向の異なる複数の走査手段のいずれかにより、前記ブロック内の各レベル値に順走査を実行してシンタックス要素を出力する順走査実行手段と、
    前記シンタックス要素をエントロピー符号化してビットストリームを出力するエントロピー符号化手段とを備え、
    前記ブロックは、四分木構造または四分木二分構造に従って分割され、
    前記順走査実行手段は、ブロックの縦横比に基づいて、前記実行する走査手段を特定することを特徴とする動画像の符号化装置。
  13. コンピュータが、ブロックごとに二次元に配列された変換係数を順走査により一次元に配列してエントロピー符号化する符号化方法において、
    ブロックの縦横比を含む形状を判別する手順と、
    判別の結果に基づいて、順走査の方向が異なる複数の走査手段の一つを選択する手順と、
    前記選択された走査手段によりブロックの変換係数を一次元に並べ替える手順とを含むことを特徴とする動画像の符号化方法。
  14. ブロックごとに予測を行い、その残差信号を符号化する装置およびブロックごとの予測信号と復号した残差信号とを加算した復号画像信号を復号する装置を備えた符号化/復号システムにおいて、
    前記ブロックは、四分木構造または四分木二分構造に従って分割され、
    前記符号化する装置が、
    前記ブロックことの残差信号を入力とし、周波数領域に変換して係数を出力する変換手段と、
    前記係数を量子化してレベル値を出力する量子化手段と、
    方向の異なる複数の走査手段のいずれかにより、前記ブロック内の各レベル値に順走査を実行してシンタックス要素を出力する順走査実行手段と、
    前記シンタックス要素をエントロピー符号化してビットストリームを出力するエントロピー符号化手段とを備え、
    前記順走査実行手段は、ブロックの縦横比に基づいて、前記実行する走査手段を特定し、
    前記復号する装置が、
    符号化されたビットストリームをエントロピー復号してシンタックス要素を出力するエントロピー復号手段と、
    方向の異なる複数の走査手段のいずれかにより、前記シンタックス要素に逆走査を実行して前記ブロック内のレベル値を出力する逆走査実行手段と、
    前記レベル値を逆量子化して係数を出力する逆量子化手段と、
    前記ブロックごとの係数を入力とし、周波数領域から逆変換して残差信号を出力する逆変換手段とを備え、
    前記逆走査実行手段は、ブロックの縦横比に基づいて、前記実行する走査手段を特定することを特徴とする動画像の符号化/復号システム。
JP2018049549A 2018-03-16 2018-03-16 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム Active JP6982525B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018049549A JP6982525B2 (ja) 2018-03-16 2018-03-16 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム
PCT/JP2018/046411 WO2019176207A1 (ja) 2018-03-16 2018-12-17 動画像の符号化装置および方法、復号装置および方法ならびに符号化/復号システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018049549A JP6982525B2 (ja) 2018-03-16 2018-03-16 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム

Publications (2)

Publication Number Publication Date
JP2019161595A true JP2019161595A (ja) 2019-09-19
JP6982525B2 JP6982525B2 (ja) 2021-12-17

Family

ID=67906667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018049549A Active JP6982525B2 (ja) 2018-03-16 2018-03-16 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム

Country Status (2)

Country Link
JP (1) JP6982525B2 (ja)
WO (1) WO2019176207A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013192118A (ja) * 2012-03-14 2013-09-26 Sharp Corp 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP2014521255A (ja) * 2011-07-01 2014-08-25 クゥアルコム・インコーポレイテッド ビデオコーディングにおける非正方ブロックのためのコンテキスト適応型エントロピーコーディング
JP2014158076A (ja) * 2013-02-14 2014-08-28 Kddi Corp 走査順生成装置、動画像符号化装置、動画像復号装置、走査順生成方法、およびプログラム
WO2017195667A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法
JP2018042263A (ja) * 2012-04-26 2018-03-15 ソニー株式会社 データ符号化及び復号化

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014521255A (ja) * 2011-07-01 2014-08-25 クゥアルコム・インコーポレイテッド ビデオコーディングにおける非正方ブロックのためのコンテキスト適応型エントロピーコーディング
JP2013192118A (ja) * 2012-03-14 2013-09-26 Sharp Corp 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP2018042263A (ja) * 2012-04-26 2018-03-15 ソニー株式会社 データ符号化及び復号化
JP2014158076A (ja) * 2013-02-14 2014-08-28 Kddi Corp 走査順生成装置、動画像符号化装置、動画像復号装置、走査順生成方法、およびプログラム
WO2017195667A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN ET AL.: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JVET-G1001-V1[ONLINE], JPN6019004803, 21 July 2017 (2017-07-21), ISSN: 0004640486 *
KEI KAWAMURA ET AL.: "Description of SDR video coding technology proposal by KDDI", JVET-J0016[ONLINE], JPN6019004801, 12 April 2018 (2018-04-12), pages 1 - 22, ISSN: 0004640490 *
WEI-YING KUNG ET AL.: "Entropy Coding for Non Square Blocks", JCTVC-H0511-R2[ONLINE], JPN6019004800, 2 February 2012 (2012-02-02), pages 1 - 4, ISSN: 0004406409 *
XIN ZHAO ET AL.: "Extended Mode-Dependent Coefficient Scanning", JCTVC-F124[ONLINE], JPN6019004799, 16 July 2011 (2011-07-16), pages 1 - 9, ISSN: 0004406408 *
YOSHITAKA KIDANI: "CE7: Block size dependent coefficient scanning(CE7.4.1)", JVET-K0398-V1[ONLINE], JPN6019004802, 4 July 2018 (2018-07-04), pages 1 - 5, ISSN: 0004640491 *
木谷佳隆, 外2名: "次世代動画像符号化方式向けモード・サイズ依存型係数走査の検討", [ONLINE], JPN7021002967, 18 May 2018 (2018-05-18), ISSN: 0004640489 *

Also Published As

Publication number Publication date
JP6982525B2 (ja) 2021-12-17
WO2019176207A1 (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
KR102518242B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
JP7051773B2 (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
KR102443959B1 (ko) 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
JP6047614B2 (ja) 映像復号化装置
JP6006763B2 (ja) 映像復号化方法及び装置
JP5846676B2 (ja) イントラ予測モード復号化方法及び装置
KR20220151140A (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
JP5989839B2 (ja) 映像復号化装置
WO2012035746A1 (ja) 映像符号化装置および映像復号装置
KR20200139116A (ko) 영상 정보 부호화 방법 및 복호화 방법
WO2019176207A1 (ja) 動画像の符号化装置および方法、復号装置および方法ならびに符号化/復号システム
KR20190008809A (ko) 복수의 참조 화소 계층을 지원하는 영상 복호화 방법 및 장치
KR20190023294A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211119

R150 Certificate of patent or registration of utility model

Ref document number: 6982525

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150