JP2019149753A - 画像復号化装置、画像復号化方法及び画像復号化プログラム - Google Patents

画像復号化装置、画像復号化方法及び画像復号化プログラム Download PDF

Info

Publication number
JP2019149753A
JP2019149753A JP2018034468A JP2018034468A JP2019149753A JP 2019149753 A JP2019149753 A JP 2019149753A JP 2018034468 A JP2018034468 A JP 2018034468A JP 2018034468 A JP2018034468 A JP 2018034468A JP 2019149753 A JP2019149753 A JP 2019149753A
Authority
JP
Japan
Prior art keywords
block
image
secondary signal
signal
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018034468A
Other languages
English (en)
Inventor
福島 茂
Shigeru Fukushima
茂 福島
博哉 中村
Hiroya Nakamura
博哉 中村
徹 熊倉
Toru Kumakura
徹 熊倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018034468A priority Critical patent/JP2019149753A/ja
Priority to PCT/JP2019/007457 priority patent/WO2019167994A1/ja
Publication of JP2019149753A publication Critical patent/JP2019149753A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

【課題】画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置を提供する。【解決手段】画像復号化装置200において、プライマリ信号ブロック分割部は、画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成する。セカンダリ信号ブロック分割部は、画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成する。プライマリ信号予測部はプライマリ信号を予測し、セカンダリ信号予測部はセカンダリ信号を予測する。セカンダリ信号予測部は、プライマリ信号ブロックのサイズ及びセカンダリ信号ブロックのサイズに基づいて、セカンダリ信号ブロックの予測モード導出処理を切り替える。【選択図】図2

Description

本発明は、画像をブロックに分割し、分割されたブロック単位で符号化及び復号化を行う技術に関する。
画像符号化及び復号化では、画像を所定数の画素の集合であるブロックに分割し、ブロック単位で符号化及び復号化を行う。適切なブロックの分割を行うことで画面内予測(イントラ予測)及び画面間予測(インター予測)の符号化効率が向上する。また、イントラ予測において、プライマリ信号の予測モードからセカンダリ信号の予測モードを予測することで符号化効率が向上する。
特開2013−77899号公報
しかし、プライマリ信号の予測モードからセカンダリ信号の予測モードを1つ導出するだけでは、最適な予測モードを導出できない場合もあり、符号化効率の向上が不十分である。
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像符号化及び復号化に適したブロック分割を行い、セカンダリ信号の予測モードを導出することにより、符号化効率を向上させる技術を提供することにある。
上記課題を解決するために、本発明のある態様の画像復号化装置は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部(202)と、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部(202)と、プライマリ信号を予測するプライマリ信号予測部(204)と、セカンダリ信号を予測するセカンダリ信号予測部(204)とを含む。前記セカンダリ信号予測部(204)は、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズに基づいて、前記セカンダリ信号ブロックの予測モード導出処理を切り替える。
本発明の別の態様もまた、画像復号化装置である。この装置は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部(202)と、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部(202)と、プライマリ信号を予測するプライマリ信号予測部(204)と、セカンダリ信号を予測するセカンダリ信号予測部(204)とを含む。前記セカンダリ信号予測部(204)は、前記プライマリ信号ブロックと前記セカンダリ信号ブロックを独立して分割するか否かにより、前記セカンダリ信号ブロックの予測モード導出処理を切り替える。
本発明のさらに別の態様もまた、画像復号化装置である。この装置は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部(202)と、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部(202)と、プライマリ信号を予測するプライマリ信号予測部(204)と、セカンダリ信号を予測するセカンダリ信号予測部(204)とを含む。前記セカンダリ信号予測部(204)は、モード導出方法を指定する情報に基づいて、前記セカンダリ信号ブロックの予測モード導出処理を切り替える。
本発明のさらに別の態様は、画像復号化方法である。この方法は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化方法であって、前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、プライマリ信号を予測するプライマリ信号予測ステップと、セカンダリ信号を予測するセカンダリ信号予測ステップとを含む。前記セカンダリ信号予測ステップは、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズに基づいて、前記セカンダリ信号ブロックの予測モード導出処理を切り替える。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、画像符号化及び復号化に適したブロック分割が可能になり、セカンダリ信号の予測モード導出の符号化効率を向上させ、処理量の少ない画像符号化及び復号化を提供することができる。
第1の実施の形態に係る画像符号化装置の構成図である。 第1の実施の形態に係る画像復号化装置の構成図である。 ツリーブロックへの分割及びツリーブロック内部の分割を説明するフローチャートである。 入力された画像をツリーブロックに分割する様子を示す図である。 z−スキャンを説明する図である。 ツリーブロックを分割した図である。 ツリーブロックを水平方向及び垂直方向に4分割した場合の分割された各ブロックの処理を説明するフローチャートである。 ツリーブロックを水平方向に2分割した場合の分割された各ブロックの処理を説明するフローチャートである。 ツリーブロックの分割が水平方向に2分割された場合の分割されたブロックの再分割の様子を示す図である。 ツリーブロックを垂直方向に2分割した場合の分割された各ブロックの処理を説明するフローチャートである。 ツリーブロックの分割が垂直方向に2分割された場合の分割されたブロックの再分割の様子を示す図である。 第1の実施の形態のブロック分割に関するシンタックスの例を示す図である。 イントラ予測を説明する図である。 インター予測を説明する図である。 色差フォーマットを説明する図である。 周辺ブロックの予測モードを取得する座標を示す図である。 第1の実施の形態の色差ブロックの予測モードの導出処理を説明するフローチャートである。 輝度ブロックと色差ブロックのブロック分割例を示す図である。 複数の輝度ブロックの予測モードから予測モードを取得する処理を説明するフローチャートである。 輝度ブロックの予測モードを取得する座標を示す図である。 色差ブロックの周辺ブロックの予測モードから予測モードを取得する処理を説明するフローチャートである。 隣接予測モードを導出する処理を説明するフローチャートである。 第2の実施の形態の色差ブロックの予測モードの導出処理を説明するフローチャートである。 第3の実施の形態の色差ブロックの予測モードの導出処理を説明するフローチャートである。 第4の実施の形態の色差ブロックの予測モードの導出処理を説明するフローチャートである。
本発明の実施の形態は、画像を矩形ブロックに分割し、分割されたブロックを符号化・復号化する画像符号化技術を提供する。
(第1の実施の形態)
本発明の第1の実施の形態に係る画像符号化装置100及び画像復号化装置200について説明する。
図1は第1の実施の形態に係る画像符号化装置100の構成図である。ここで、図1では画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなど画像信号以外の付加情報については各構成要素が符号化ビット列生成部105に供給して対応する符号化データを生成するが、付加情報に関するデータの流れは図示していない。
ブロック分割部101は、画像を符号化の処理単位となる符号化対象ブロックに分割し、符号化対象ブロック内の画像信号を残差信号生成部103に供給する。また、ブロック分割部101は、予測画像の一致度を評価するために符号化対象ブロックの画像信号を予測画像生成部102に供給する。
ブロック分割部101は、画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成する。ブロック分割部101は、再帰的分割における対象ブロックを水平方向かつ垂直方向に4分割して4つのブロックを生成する4分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に2分割して2つのブロックを生成する2分割部とを含む。ブロック分割部101の詳細の動作については後述する。
予測画像生成部102は、復号画像メモリ108から供給される復号画像信号から、予測モードを基にピクチャ内予測(イントラ予測)或いはピクチャ間予測(インター予測)を行い、予測画像信号を生成する。ブロック分割部101から供給される符号化対象ブロック内の画像信号はイントラ予測及びインター予測の評価に用いられる。イントラ予測では、ブロック分割部101から供給される符号化対象ブロックの画像信号と、復号画像メモリ108から供給される符号化対象のブロックと同じピクチャ内に存在する符号化対象のブロックに近接する周囲の符号化済みブロックの画像信号を用いて予測画像信号を生成する。インター予測では、ブロック分割部101から供給され符号化対象ブロックの画像信号を、符号化対象ブロックを含むピクチャ(符号化ピクチャ)の時系列で前または後ろにある復号画像メモリ108に格納されている符号化済みピクチャを参照ピクチャとし、符号化ピクチャと参照ピクチャとの間でブロックマッチング等のブロック一致度評価を行い、動き量を示す動きベクトルを求め、この動き量を基に参照ピクチャから動き補償を行い、予測画像信号を生成する。予測画像生成部102は、こうして生成された予測画像信号を残差信号生成部103に供給する。
残差信号生成部103は、符号化する画像信号と予測画像生成部102にて生成された予測信号との減算を行い残差信号を生成し、直交変換・量子化部104に供給する。
直交変換・量子化部104は、残差信号生成部103から供給される残差信号を直交変換・量子化し、直交変換・量子化された残差信号を符号化ビット列生成部105及び逆量子化・逆直交変換部106に供給する。
符号化ビット列生成部105は直交変換・量子化部104から供給される直交変換・量子化された残差信号に対する符号化ビット列を生成する。また、符号化ビット列生成部105は動きベクトルや予測モード、ブロック分割情報などの付加情報について、対応する符号化ビット列を生成する。
逆量子化・逆直交変換部106は、直交変換・量子化部104から供給される直交変換・量子化された残差信号を逆量子化・逆直交変換し、逆量子化・逆直交変換された残差信号を復号画像信号重畳部107に供給する。
復号画像信号重畳部107は、予測画像生成部102により生成された予測画像信号と逆量子化・逆直交変換部106で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ108に格納する。尚、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ108に格納することもある。
図2は第1の実施の形態に係る画像復号化装置200の構成図である。ここで、図2では画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなど画像信号以外の付加情報についてはビット列復号部201が各構成要素に供給して対応する処理に用いるが、付加情報に関するデータの流れは図示していない。
ビット列復号部201は、供給された符号化ビット列を復号化して、直交変換・量子化された残差信号をブロック分割部202に供給する。
ブロック分割部202は、復号化したブロック分割情報に基づいて復号化対象ブロックの形状を決定し、決定された復号化対象ブロックの直交変換・量子化された残差信号を逆量子化・逆直交変換部203に供給する。
ブロック分割部202は、画像を復号化されたブロック分割情報に基づいて所定サイズの矩形に再帰的に分割して復号化対象ブロックを生成する。ブロック分割部202は、再帰的分割における対象ブロックを水平方向かつ垂直方向に4分割して4つのブロックを生成する4分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に2分割して2つのブロックを生成する2分割部とを含む。ブロック分割部202の詳細の動作については後述する。
逆量子化・逆直交変換部203は、供給された直交変換・量子化された残差信号に対して、逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
予測画像生成部204は、復号画像メモリ206から供給される復号画像信号から予測画像信号を生成し、復号画像信号重畳部205に供給する。
復号画像信号重畳部205は、予測画像生成部204で生成された予測画像信号と、逆量子化・逆直交変換部203により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を生成し、出力するとともに復号画像メモリ206に格納する。尚、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ206に格納することもある。
画像符号化装置100のブロック分割部101の動作について詳細に説明する。図3はツリーブロックへの分割及びツリーブロック内部の分割を説明するフローチャートである。
まず、入力された画像を所定サイズのツリーブロックに分割する(S1000)。例えば、ツリーブロックを128画素x128画素とする。ただし、ツリーブロックは128画素x128画素に限定されず、矩形であればどのような大きさ及び形状を用いてもよい。また、ツリーブロックの大きさ及び形状は、符号化装置と復号化装置の間で固定の値を定めておいてもよいが、符号化装置が決定して符号化ビットストリーム内に記録し復号化装置が記録されたブロックサイズを用いる構成にしてもよい。入力された画像をツリーブロックに分割する様子を図4に示す。ツリーブロックは、ラスタスキャン順、すなわち左から右、上から下に符号化及び復号化される。
ツリーブロックの内部をさらに矩形のブロックに分割していく。ツリーブロック内部はz−スキャン順に符号化・復号化していく。図5にz−スキャンの順序を示す。z−スキャンでは、左上、右上、左下、右下、の順序で符号化及び復号化する。ツリーブロック内部の分割は4分割と2分割が可能であり、4分割は水平方向かつ垂直方向に分割する。2分割は水平方向又は垂直方向に分割する。図6(a)はツリーブロックを水平かつ垂直方向に4分割した図である。図6(b)はツリーブロックを水平方向に2分割した図である。図6(c)はツリーブロックを垂直方向に2分割した図である。
再び図3を参照する。ツリーブロック内部を水平及び垂直方向に4分割するかどうかを判断する(S1001)。
ツリーブロック内部を4分割すると判断した場合(S1001:Yes)、ツリーブロック内部を4分割し(S1002)、水平かつ垂直方向に4分割したブロックの各処理を行う(S1003)。4分割されたブロックの再分割処理については後述する(図7)。
ツリーブロック内部を4分割しないと判断した場合(S1001:No)、ツリーブロック内部を2分割するかどうかを判断する(S1004)。
ツリーブロック内部を2分割すると判断した場合(S1004:Yes)、2分割する方向を水平方向とするかどうかを判断する(S1005)。
2分割する方向を水平方向と判断した場合(S1005:Yes)、ツリーブロック内部を水平方向に2分割し(S1006)、水平方向に2分割したブロックの各処理を行う(S1007)。水平方向に2分割されたブロックの再分割処理については後述する(図8)。
2分割する方向を水平方向ではなく垂直方向と判断した場合(S1005:No)、ツリーブロック内部を垂直方向に2分割し(S1008)、垂直方向に2分割したブロックの各処理を行う(S1009)。水平方向に2分割されたブロックの再分割処理については後述する(図9)。
ツリーブロック内部を2分割しないと判断した場合(S1004:No)、ツリーブロックの内部をブロック分割せずにブロック分割処理を終了する(S1010)。
続いて、ツリーブロックを水平方向かつ垂直方向に4分割した場合の分割された各ブロックの処理について図7のフローチャートを用いて説明する。
ブロック内部を水平かつ垂直方向に再び4分割するかどうかを判断する(S1101)。
ブロック内部を再び4分割すると判断した場合(S1101:Yes)、ブロック内部を再び4分割し(S1102)、水平かつ垂直方向に4分割したブロックの各処理を行う(S1103)。
ブロック内部を再び4分割しないと判断した場合(S1101:No)、ブロック内部を2分割するかどうかを判断する(S1104)。
ブロック内部を2分割すると判断した場合(S1104:Yes)、2分割する方向を水平方向とするかどうかを判断する(S1105)。
2分割する方向を水平方向と判断した場合(S1105:Yes)、ブロック内部を水平方向に2分割し(S1106)、水平方向に2分割したブロックの各処理を行う(S1107)。
2分割する方向を水平方向ではなく垂直方向と判断した場合(S1105:No)、ブロック内部を垂直方向に2分割し(S1108)、垂直方向に2分割したブロックの各処理を行う(S1109)。
ブロック内部を2分割しないと判断した場合(S1104:No)、ブロックの内部をブロック分割せずにブロック分割処理を終了する(S1110)。
図7のフローチャートに示す処理が4分割された各ブロックについて実行される。4分割されたブロックの内部もz−スキャン順に符号化及び復号化していく。
続いて、ツリーブロックを水平方向に2分割した場合の分割された各ブロックの処理について図8のフローチャートを用いて説明する。
ツリーブロックを水平方向に2分割した場合、2分割された各ブロックは、まず、ブロック内部を水平及び垂直方向に4分割するかどうかを判断する(S1201)。
ブロック内部を4分割すると判断した場合(S1201:Yes)、ブロック内部を4分割し(S1202)、水平かつ垂直方向に4分割したブロックの各処理を行う(S1203)。
ブロック内部を4分割しないと判断した場合(S1201:No)、ブロック内部を再び2分割するかどうかを判断する(S1204)。
再び2分割すると判断した場合(S1204:Yes)、ブロック内部を垂直方向に分割し(S1205)、垂直方向に2分割したブロックの各処理を行う(S1206)。
再び2分割しないと判断した場合(S1204:No)、ブロックの内部を再分割せずブロック分割処理を終了する(S1207)。
図9にツリーブロックの分割が水平方向に2分割された場合の分割されたブロックの再分割の様子を示す。ここで、親ブロックであるツリーブロックが水平方向に2分割された場合、分割されたブロックの再2分割では、垂直方向のみの2分割を許容し、自動的に垂直方向に2分割する。また、親ブロックであるツリーブロックが2分割された場合、子ブロックでは4分割も完全に禁止することも可能である。これにより、親ブロックと同一方向にブロックが分割されることを禁止できるため、より横方向に細長い長方形となるブロック分割を防止でき、符号化・復号化の処理がしやすくなる。
図8のフローチャートに示す処理が水平方向に2分割された各ブロックについて実行される。2分割されたブロックの内部も上、下の順に符号化及び復号化していく。
続いて、ツリーブロックを垂直方向に2分割した場合の分割された各ブロックの処理について図10のフローチャートを用いて説明する。
ツリーブロックを垂直方向に2分割した場合、2分割された各ブロックは、まず、ブロック内部を水平及び垂直方向に4分割するかどうかを判断する(S1301)。
ブロック内部を4分割すると判断した場合(S1301:Yes)、ブロック内部を4分割し(S1302)、水平かつ垂直方向に4分割したブロックの各処理を行う(S1303)。
ブロック内部を4分割しないと判断した場合(S1301:No)、ブロック内部を再び2分割するかどうかを判断する(S1304)。
再び2分割すると判断した場合(S1304:Yes)、ブロック内部を水平方向に分割し(S1305)、水平方向に2分割したブロックの各処理を行う(S1306)。
再び2分割しないと判断した場合(S1304:No)、ブロックの内部を再分割せずブロック分割処理を終了する(S1307)。
図11にツリーブロックの分割が垂直方向に2分割された場合の分割されたブロックの再分割の様子を示す。ここで、親ブロックであるツリーブロックが垂直方向に2分割された場合、分割されたブロックの再2分割では、水平方向のみの2分割を許容し、自動的に水平方向に2分割する。また、親ブロックであるツリーブロックが2分割された場合、子ブロックでは4分割も完全に禁止することも可能である。これにより、親ブロックと同一方向にブロックが分割されることを禁止できるため、より縦方向に細長い長方形となるブロック分割を防止でき、符号化・復号化の処理がしやすくなる。
図10のフローチャートに示す処理が垂直方向に2分割された各ブロックについて実行される。2分割されたブロックの内部も左、右の順に符号化及び復号化していく。
なお、ツリーブロックが分割された時の分割されたブロックの再分割について説明したが、親ブロックがツリーブロックでなくてもよい。例えば、ツリーブロック(128x128)を4分割し、4分割されたブロック(64x64)をさらに4分割又は2分割した場合に、再分割されたブロックの分割にも上記処理を適用していく。
次に、画像復号化装置200のブロック分割部202の動作について説明する。画像符号化装置100のブロック分割部101と同じ処理手順でブロックを分割するが、画像符号化装置100のブロック分割部101では、ブロック分割のパターンを選択し、選択したブロック分割情報を出力するのに対して、画像復号化装置のブロック分割部202は、符号化ビットストリームから復号化されたブロック分割情報を用いてブロックを分割すること、また、符号化ビットストリームからブロック分割情報を復号化する際に、同一方向への再分割が禁止される状況では、選択肢のない情報はビットストリーム内で伝送しないシンタックス構造となっていることが異なる。
第1の実施の形態のブロック分割に関するシンタックス(符号化ビットストリームの構文規則)の例を図12に示す。ツリーブロックの内部の分割は、まず4分割をするかどうかのフラグ(4_division_flag)を送受信する。4分割する場合(4_division_flagが1)は、ツリーブロック内を4分割して処理を終了する。その後4分割されたブロックについて再度図12に示すシンタックスで内部を再分割する。4分割しない場合(4_division_flagが0)は、2分割するかどうかのフラグ(2_division_flag)を送受信する。2分割する場合(2_division_flagが1)は、さらに、2分割する方向を示すフラグ(2_division_direction)を送受信する。2_division_directionが1の場合は垂直方向への分割を示し、2_division_directionが0の場合は水平方向への分割を示す。その後2分割されたブロックについて再度図12に示すシンタックスでブロック内部を再分割する。2分割しない場合(2_division_flagが0)は、ツリーブロックを分割せずに処理を終了する。
ここで、4分割又は2分割されたブロックの内部を再分割する処理について説明する。ブロック内部を再分割する処理も図12に示すシンタックスを用いるが、ツリーブロックを分割する場合と比較して、2分割する場合の分割方向に制限があることが異なる。つまり、ツリーブロックを2分割している場合、2分割されたブロックの内部を再分割する場合には、ツリーブロックを2分割した分割方向と同一の方向で分割することを禁止する。これにより、分割されたブロックがより細長い長方形になることを防止し、イントラ予測やインター予測で必要となるメモリ帯域の増加を防止することができる。メモリ帯域の増加の防止についての詳細は後述する。
また、同一方向に2分割した数をカウントして所定回数を超えた場合に同一方向に分割することを制限してももちろんよい。例えば、2回まで同一方向への2分割を許可するが、3回目からは同一方向への2分割を禁止する。
図12では、4分割を優先して選択し、4分割するかどうかの情報を2分割するかどうかの情報よりも先に送受信するシンタックスとした。一方、2分割を優先して選択する場合、2分割するかどうかの情報を4分割するかどうかの情報よりも先に送受信するシンタックスとすることも可能である。確率的により発生しやすい事象を先に送受信する方がビットストリームとして伝送する符号量が少なくなるためである。つまり、予め4分割と2分割のどちらが発生しやすいか推定し、より発生しやすい分割情報を先にする送受信するシンタックスとしてもよい。例えば、画像のヘッダ情報で4分割を優先するか、2分割を優先するかを送受信することで、符号化装置が適応的に符号化効率の高い優先分割数を決定して、復号化装置では選択された優先分割数に基づいたシンタックスでツリーブロック内部を分割することもできる。
画像符号化装置100及び画像復号化装置200において、分割されたブロックを用いてイントラ予測やインター予測が行われる。イントラ予測、インター予測ともにメモリからの画素のコピーを伴う。
図13(a)〜図13(d)にイントラ予測の一例を示す。図13(a)及び図13(b)はイントラ予測の予測方向とモード番号を示す。イントラ予測は、図13(c)及び図13(d)に示すように、符号化・復号化対象ブロックに近接する符号化・復号化済の画素から画素をコピーすることで符号化・復号化対象ブロックの予測画像を生成する。イントラ予測では、ブロック単位で予測画像生成から符号化・復号化画素生成を繰り返すため、処理順序がブロック単位でシーケンシャルとなり、ブロック内部を小さく分割するほど全体の処理の負荷が大きくなる。また、ブロックの形状が細長い長方形になるほどメモリからの画素コピーの処理が大きくなる。また、符号化・復号化には残差信号の直交変換を行うため、長方形のサイズの種類が多くなればなるほど必要な直交変換の種類が多くなり、その結果回路規模の増大につながる。そのため、ブロック内部を2分割する場合に、親ブロックの分割方法と同一方向に2分割することを制限することで、イントラ予測で必要となるメモリ帯域の増加を防止することができる。
図14にインター予測の一例を示す。インター予測は、符号化・復号化済の画像に含まれる画素からブロック単位で画素をコピーすることで符号化・復号化対象ブロックの予測画像を生成する。インター予測では、参照画像からブロック単位で画素をコピーする際に、必要な画素が含まれるメモリの管理単位での取得が必要な装置の構成となることが多い。そのため、ブロックを小さく分割するほど、また、ブロックの形状が細長い長方形になるほど、全体の処理の負荷が大きくなる。また、参照画像に対して補間フィルタを用いた小数精度の動き補償を行う場合には、ブロック内に含まれる画素に数画素を加えた画素のコピーが必要となり、ブロックの大きさが小さいほど、追加する数画素の相対的な比率が大きくなり、全体の処理の負荷が大きくなる。そのため、ブロック内部を2分割する場合に、親のブロックの分割方向と同一方向に2分割することを制限することで、インター予測で必要となるメモリ帯域の増加を防止することができる。
続いて、イントラ予測での輝度信号と色差信号の関係について説明する。輝度信号と色差信号間のフォーマットとして、4:2:0、4:2:2、4:4:4などが従来から知られている。図15(a)に示す4:2:0フォーマットは、輝度信号を水平/垂直方向ともに2画素をサンプリングするのに対して、色差信号を水平/垂直方向ともに1画素をサンプリングする。人間の目は色差信号よりも輝度信号をより敏感に知覚できるため、輝度信号よりも色差信号の情報量を減らしている。図15(b)に示す4:2:2フォーマットは、輝度信号を水平方向に2画素をサンプリングするのに対して、色差信号を水平方向に1画素サンプリングする。垂直方向については、輝度信号を垂直方向に2画素をサンプリングするのに対して、色差信号を垂直方向に2画素サンプリングする。図15(c)に示す4:4:4フォーマットは、輝度信号を水平/垂直方向に2画素をサンプリングするのに対して、色差信号を水平/垂直方向ともに2画素をサンプリングする。
画像符号化で最も広く使用されている4:2:0フォーマットを例として本実施の形態を説明する。ブロック分割部101、202は、画像の輝度信号を分割して輝度ブロックを生成する輝度ブロック分割部と、画像の色差信号を分割して色差ブロックを生成する色差ブロック分割部とを含み、イントラ予測において、輝度信号と色差信号をそれぞれ独立してブロック分割する。つまり、イントラ予測では輝度ブロックの大きさと色差ブロックの大きさは独立して決定される。イントラ予測では、輝度信号と色差信号のそれぞれが周辺画素から画素値をコピーするため、輝度信号と色差信号を独立してブロック分割すると予測効率が高まる。それに対して、インター予測については輝度信号と色差信号を一緒に扱ってブロック分割する。つまり、インター予測では輝度ブロックの大きさと色差ブロックの大きさは同一である。インター予測では動き補償において輝度と色差を区別する必要がないためである。
予測画像生成部102、204は、輝度信号を予測する輝度信号予測部と、色差信号を予測する色差信号予測部とを含む。ここで、4:2:0フォーマットや4:2:2フォーマットでは色差信号よりも輝度信号の情報量が多いため、輝度信号をプライマリ信号とし、色差信号をセカンダリ信号とする。4:4:4フォーマットでは、輝度信号と色差信号の情報量は同じであるが、他のフォーマットに合わせて、輝度信号をプライマリ信号とし、色差信号をセカンダリ信号とするのが普通である。
イントラ予測について詳細に説明する。イントラ予測は、方向性イントラ予測モードと、非方向性イントラ予測モードに分類できる。方向性イントラ予測モードは、図13に示すモードモード0(DCモード)とモード17(Planarモード)が非方向性イントラ予測モードであり、モード1〜モード16が方向性イントラ予測モードである。ただし、図13はモード数を18とした例であるが、方向性イントラ予測の精度を細かくし、方向性イントラ予測モードの数をさらに増やしてもよい。
続いて、輝度信号に対するイントラ予測モードの決定について説明する。輝度信号に対するイントラ予測モードでは、優先予測モードと非優先予測モードを決定する。優先予測モードには、選択される可能性の高いイントラ予測モードを割り当て、少ない符号量を割り当てる。非優先予測モードには、優先予測モードではないその他のイントラ予測モードを割り当てる。
輝度信号の優先予測モードの決定について説明する。図16は周辺ブロックの予測モードの取得する座標を示す図である。左(L)、上(A)、右上(AR)、左下(LB)、左上(AL)の順に、イントラ輝度ブロックの周辺ブロックのイントラ輝度予測モードを取得する。取得した予測モードの中で予測モードの重複があった場合は、最初の1つだけを残して重複予測モードを削除する。例えば、優先予測モードを3つとする場合、残った上位3つの予測モードを優先予測モードとし、優先予測モードが3に満たない場合、固定予測モードとして、非方向性イントラ予測モードを追加する。
輝度信号の非優先予測モードは、イントラ予測モードの数が18で、輝度信号の優先予測モードの数が3である場合、18−3=15とする。これは、優先予測モード又は非優先予測モードのどちらかでは必ずすべての予測モードが選択可能であることを意味する。
続いて、色差信号のイントラ予測モードの決定について説明する。図17は第1の実施の形態の色差ブロックの予測モードの導出処理を説明するフローチャートである。前述したように、イントラ予測では、輝度信号と色差信号を独立してブロック分割すると予測効率が高まるため、すべてのブロックでイントラ予測を行うIピクチャ(イントラピクチャ)では、輝度信号と色差信号のブロック構造を独立して符号化する。そのため、輝度ブロックと色差ブロックに大きさの差異が生じる。図18は輝度ブロックと色差ブロックのブロック分割例を示す図である。図18(a)は、色差ブロックの大きさが輝度ブロックの大きさよりも大きい例であり、図18(b)、色差ブロックの大きさが輝度ブロックの大きさよりも小さい例である。ここで、輝度ブロックと色差ブロックの大きさの比較は、色差フォーマットを考慮して、色差ブロックを輝度ブロックの大きさに換算して比較する。
図17のフローチャートに戻り、図18(a)のように色差ブロックの大きさが輝度ブロックの大きさよりも大きい場合(S1701:Yes)、色差ブロック内の対応する位置の複数の輝度ブロックから予測モードを導出する(S1702)。図18(b)のように色差ブロックの大きさが輝度ブロックの大きさ以下の場合(S1701:No)、色差ブロックの周辺ブロックから予測モードを導出する(S1703)。続いて、ブロックサイズに依存しない共通処理として、導出した予測モードの隣接予測モードを導出する(S1704)。さらに、固定予測モードを導出する(S1705)。
図19は、色差ブロック内の対応する位置の複数の輝度ブロックの予測モードから予測モードを取得する処理(S1702)を説明するフローチャートである。図20は輝度ブロックの予測モードを取得する座標を示す図である。まず、CRの位置の輝度予測モードを色差予測モードリストに追加する(S1901)。続いて、TLの位置の輝度予測モードを色差予測モードリストに追加する(S1902)。TRの位置の輝度予測モードを色差予測モードリストに追加する(S1903)。BLの位置の輝度予測モードを色差予測モードリストに追加する(S1904)。最後に、BRの位置の輝度予測モードを色差予測モードリストに追加する(S1905)。CRの位置に最も近いBRの位置を最後に追加することで、CRと同一の予測モードになる確率が相対的に高い予測モードの優先順位を下げることが可能である。ここで、輝度ブロックの優先予測モード導出と同様に、取得した予測モードの中で予測モードの重複があった場合は、最初の1つだけを残して重複予測モードを削除する。ただし、色差ブロックのイントラ予測モードは、輝度ブロックのイントラ予測モードと異なり、予測モードを少なくするため(例えば5つ)、すべての予測モードを選択可能にするのではなく、必ずしも重複予測モードを削除しなければならないわけではない。
図21は、色差ブロックの周辺ブロックの予測モードから予測モードを取得する処理(S1703)を説明するフローチャートである。まず、Lの位置の色差予測モードを色差予測モードリストに追加する(S2101)。続いて、Aの位置の色差予測モードを色差予測モードリストに追加する(S2102)。ARの位置の色差予測モードを色差予測モードリストに追加する(S2103)。LBの位置の色差予測モードを色差予測モードリストに追加する(S2104)。最後に、ALの位置の色差予測モードを色差予測モードリストに追加する(S2105)。ここで、イントラ色差予測モードの追加順序を、イントラ輝度予測モードの動き情報導出処理と共通にすることにより、予測モードリスト作成処理が削減できる。ステップS2101〜S2105でも同様に、取得した予測モードの中で予測モードの重複があった場合は、最初の1つだけを残して重複予測モードを削除する。ただし、すべての予測モードを選択可能にするのではなく、必ずしも重複予測モードを削除しなければならないわけではない。
図22は、導出した予測モードの隣接予測モードを導出する処理(S1704)を説明するフローチャートである。まず、現在の色差予測モードリストの予測モードの数が色差予測モードリストの数の所定未満であるかどうか判断する(S2201)。所定値未満の場合、導出した予測モードの隣接モードを予測モードを色差予測モードリストに追加する(S2202)。取得した予測モードの中で予測モードの重複があった場合は、最初の1つだけを残して重複予測モードを削除する。ただし、すべての予測モードを選択可能にするのではなく、必ずしも重複予測モードを削除しなければならないわけではない。
このように、色差ブロックの大きさが輝度ブロックの大きさよりも大きいか否かによって、色差ブロックの予測モード導出処理を切り替えることによって、複数の輝度予測モードを導出できる可能性がある場合(色差ブロックの大きさが輝度ブロックの大きさよりも大きい場合)には、色差ブロック内の対応する位置の複数の輝度ブロックから複数の色差予測モード候補を導出し、複数の輝度予測モードを導出できる可能性がない場合(色差ブロックの大きさが輝度ブロックの大きさ以下の場合)には、周辺の色差ブロックから複数の色差予測モードを導出する。
色差ブロックの大きさが輝度ブロックの大きさよりも大きく、当該色差ブロック内部の座標をカバーする輝度信号の予測モードを複数導出できる場合には十分な色差予測モード候補を確保できるので、周辺ブロックから色差予測モード候補を導出することによるさらなる効果は低い。また、当該色差ブロック外部の座標を参照して周辺ブロックから色差予測モード候補を導出しても重複する候補となる可能性が高く、周辺ブロックから色差予測モード候補を導出することによるさらなる効果は低い。一方、色差ブロックの大きさが輝度ブロックの大きさ以下であり、当該色差ブロック内部の座標をカバーする輝度信号の予測モードを複数導出できない場合には十分な色差予測モード候補を確保できないため、当該色差ブロック外部の座標を参照して周辺ブロックから色差予測モード候補を導出することによるさらなる効果は高い。
本実施の形態では、色差ブロックの大きさが輝度ブロックの大きさよりも大きい場合、イントラ色差ブロック内の複数の輝度イントラ予測モード(MDM)を用いる一方で、イントラ色差ブロックの周辺ブロックのイントラ色差予測モードは用いないようにし、色差ブロックの大きさが輝度ブロックの大きさ以下である場合、イントラ色差ブロック内の複数の輝度イントラ予測モード(MDM)を用いる一方で、イントラ色差ブロックの周辺ブロックのイントラ色差予測モードは用いない一方で、イントラ色差ブロックの周辺ブロックのイントラ色差予測モードは用いるようにした。すなわち、色差ブロックの大きさが輝度ブロックの大きさよりも大きいか否かによって、イントラ色差ブロック内の複数の輝度イントラ予測モードとイントラ色差ブロックの周辺ブロックのイントラ色差予測モードのいずれか一方を選択的に用いるが、符号化効率が低下しない方向でいずれか一方を選択し、重複候補を検査して削除するための処理量を減らした。これにより、符号化効率の低下を抑制しつつ、色差予測モード導出の処理量を削減できる。削減される処理量は、輝度信号の予測モードから複数の色差予測モードを導出できる場合であるためワーストケース処理量を削減することができ、ワーストケース処理量が大きなボトルネックとなるハードウェア設計などに大きな効用がある。
(第2の実施の形態)
本発明の第2の実施の形態の画像符号化装置及び画像復号化装置について説明する。本発明の第2の実施の形態の画像符号化装置及び画像復号化装置は、色差ブロックと輝度ブロックを独立に分割して符号化するIピクチャであるか否かによって色差信号のイントラ予測モードの導出処理を切り替えることが特徴であり、それ以外は、第1の実施の形態と同様である。
図23は第2の実施の形態の色差ブロックの予測モードの導出処理を説明するフローチャートである。Iピクチャである場合(S2301:Yes)、色差ブロック内の対応する位置の複数の輝度ブロックから予測モードを導出する(S2302)。Iピクチャでない場合(S2301:No)、色差ブロックの周辺ブロックから予測モードを導出する(S2303)。続いて、Iピクチャであるか否かに依存しない共通処理として、導出した予測モードの隣接予測モードを導出する(S2304)。さらに、固定予測モードを導出する(S2305)。
このように、輝度信号と色差信号のブロック構造を独立して符号化するIピクチャであるか否かによって、色差ブロックの予測モード導出処理を切り替えることによって、複数の輝度予測モードを導出できる可能性がある場合(色差ブロックの大きさと輝度ブロックの大きさを独立に符号化するIピクチャである場合)には、色差ブロック内の対応する位置の複数の輝度ブロックから複数の色差予測モード候補を導出し、複数の輝度予測モードを導出できる可能性がない場合(Iピクチャでない場合)には、周辺の色差ブロックから複数の色差予測モードを導出する。
これにより、色差ブロックの予測モード導出処理の切り替えをピクチャタイプで判断できるため、第1の実施の形態の効果に加えて、輝度ブロックサイズと色差ブロックサイズの大きさを比較する処理量が軽減される効果がある。
(第3の実施の形態)
本発明の第3の実施の形態の画像符号化装置及び画像復号化装置について説明する。本発明の第3の実施の形態の画像符号化装置及び画像復号化装置は、符号化側から復号化側に伝送されるフラグが輝度ブロックから予測モードを導出することを示すか否かによって色差信号のイントラ予測モードの導出処理を切り替えることが特徴であり、それ以外は、第1の実施の形態と同様である。
図24は第3の実施の形態の色差ブロックの予測モードの導出処理を説明するフローチャートである。符号化側から復号化側に伝送されるフラグが輝度ブロックから予測モードを導出することを示す場合(S2401:Yes)、色差ブロック内の対応する位置の複数の輝度ブロックから予測モードを導出する(S2402)。符号化側から復号化側に伝送されるフラグが輝度ブロックから予測モードを導出することを示さない場合(S2401:No)、色差ブロックの周辺ブロックから予測モードを導出する(S2403)。続いて、伝送されるフラグに依存しない共通処理として、導出した予測モードの隣接予測モードを導出する(S2404)。さらに、固定予測モードを導出する(S2405)。
図24は復号化側での動作であるが、符号化側では輝度ブロックから予測モードを導出することを示すフラグを選択して復号化側に伝送する。
このように、符号化側で選択した輝度ブロックから予測モードを導出することを示すフラグにより、復号化側で色差ブロック内の対応する位置の複数の輝度ブロックから予測モードを導出するか、色差ブロックの周辺ブロックから予測モードを導出するかを選択する。
これにより、符号化側で所望の色差予測モード候補導出処理を選択できるため、第1の実施の形態の効果に加えて、輝度ブロックサイズと色差ブロックサイズの大きさを比較する処理量が軽減される効果がある。また、復号化側のワーストケース処理量を抑制しつつ、符号化効率が向上する効果がある。
(第4の実施の形態)
本発明の第4の実施の形態の画像符号化装置及び画像復号化装置について説明する。本発明の第4の実施の形態の画像符号化装置及び画像復号化装置は、色差ブロックの大きさが輝度ブロックの大きさよりも大きい場合に、第1の実施の形態のように色差ブロックの周辺ブロックからの予測モード導出を省略する代わりに、隣接予測モードの導出を省略することが特徴であり、それ以外は、本発明の第1の実施の形態と同様である。
図25は第4の実施の形態の色差ブロックの予測モードの導出処理を説明するフローチャートである。色差ブロックの大きさが輝度ブロックの大きさよりも大きい場合(S2501:Yes)、色差ブロック内の対応する位置の複数の輝度ブロックから予測モードを導出する(S2502)。続いて、ブロックサイズに依存しない共通処理として、色差ブロックの周辺ブロックから予測モードを導出する(S2503)。色差ブロックの大きさが輝度ブロックの大きさ以下の場合(S2504:No)、導出した予測モードの隣接予測モードを導出する(S2505)。さらに、固定予測モードを導出する(S2506)。
なお、第4の実施の形態を第2の実施の形態や第3の実施の形態と組み合わせることも可能である。その場合、色差信号のイントラ予測モードの導出処理を切り替える条件が第4の実施の形態と異なるだけなので、各実施の形態の効果を得ることが可能である。
以上述べた実施の形態の画像符号化装置が出力する画像の符号化ビットストリームは、実施の形態で用いられた符号化方法に応じて復号化することができるように特定のデータフォーマットを有しており、画像符号化装置に対応する画像復号化装置がこの特定のデータフォーマットの符号化ビットストリームを復号化することができる。
画像符号化装置と画像復号化装置の間で符号化ビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ビットストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ビットストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信して符号化ビットストリームに復元して画像復号化装置に供給する受信装置とが設けられる。
送信装置は、画像符号化装置が出力する符号化ビットストリームをバッファするメモリと、符号化ビットストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ビットストリームを生成し、画像復号化装置に提供するパケット処理部とを含む。
また、画像復号化装置で復号化された画像を表示する表示部を構成に追加することで、表示装置とすることも可能である。その場合、表示部は、復号画像信号重畳部205により生成され、復号画像メモリ206に格納された復号画像信号を読み出して画面に表示する。
また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置とすることも可能である。その場合、撮像部は、撮像した画像信号をブロック分割部101に入力する。
以上の符号化及び復号化に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
100 画像符号化装置、 101 ブロック分割部、 102 予測画像生成部、 103 残差信号生成部、 104 直交変換・量子化部、 105 符号化ビット列生成部、 106 逆量子化・逆直交変換部、 107 復号画像信号重畳部、 108 復号画像メモリ、 200 画像復号化装置、 201 ビット列復号部、 202 ブロック分割部、 203 逆量子化・逆直交変換部、 204 予測画像生成部、 205 復号画像信号重畳部、 206 復号画像メモリ。

Claims (5)

  1. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部と、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部と、
    プライマリ信号を予測するプライマリ信号予測部と、
    セカンダリ信号を予測するセカンダリ信号予測部とを含み、
    前記セカンダリ信号予測部は、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズに基づいて、前記セカンダリ信号ブロックの予測モード導出処理を切り替える、
    ことを特徴とする画像復号化装置。
  2. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部と、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部と、
    プライマリ信号を予測するプライマリ信号予測部と、
    セカンダリ信号を予測するセカンダリ信号予測部とを含み、
    前記セカンダリ信号予測部は、前記プライマリ信号ブロックと前記セカンダリ信号ブロックを独立して分割するか否かにより、前記セカンダリ信号ブロックの予測モード導出処理を切り替える、
    ことを特徴とする画像復号化装置。
  3. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部と、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部と、
    プライマリ信号を予測するプライマリ信号予測部と、
    セカンダリ信号を予測するセカンダリ信号予測部とを含み、
    前記セカンダリ信号予測部は、モード導出方法を指定する情報に基づいて、前記セカンダリ信号ブロックの予測モード導出処理を切り替える、
    ことを特徴とする画像復号化装置。
  4. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化方法であって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、
    プライマリ信号を予測するプライマリ信号予測ステップと、
    セカンダリ信号を予測するセカンダリ信号予測ステップとを含み、
    前記セカンダリ信号予測ステップは、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズに基づいて、前記セカンダリ信号ブロックの予測モード導出処理を切り替える、
    ことを特徴とする画像復号化方法。
  5. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化プログラムであって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、
    プライマリ信号を予測するプライマリ信号予測ステップと、
    セカンダリ信号を予測するセカンダリ信号予測ステップとをコンピュータに実行させ、
    前記セカンダリ信号予測ステップは、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズに基づいて、前記セカンダリ信号ブロックの予測モード導出処理を切り替える、
    ことを特徴とする画像復号化プログラム。
JP2018034468A 2018-02-28 2018-02-28 画像復号化装置、画像復号化方法及び画像復号化プログラム Pending JP2019149753A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018034468A JP2019149753A (ja) 2018-02-28 2018-02-28 画像復号化装置、画像復号化方法及び画像復号化プログラム
PCT/JP2019/007457 WO2019167994A1 (ja) 2018-02-28 2019-02-27 画像復号化装置、画像復号化方法及び画像復号化プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018034468A JP2019149753A (ja) 2018-02-28 2018-02-28 画像復号化装置、画像復号化方法及び画像復号化プログラム

Publications (1)

Publication Number Publication Date
JP2019149753A true JP2019149753A (ja) 2019-09-05

Family

ID=67806143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018034468A Pending JP2019149753A (ja) 2018-02-28 2018-02-28 画像復号化装置、画像復号化方法及び画像復号化プログラム

Country Status (2)

Country Link
JP (1) JP2019149753A (ja)
WO (1) WO2019167994A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007023698A1 (ja) * 2005-08-26 2007-03-01 Matsushita Electric Industrial Co., Ltd. 多重化方法および記録媒体
JP2007325287A (ja) * 2004-04-28 2007-12-13 Matsushita Electric Ind Co Ltd ストリーム生成装置、ストリーム生成方法、ストリーム再生装置、ストリーム再生システム、ストリーム再生方法、記録媒体および記録方法
JP2017005723A (ja) * 2013-06-12 2017-01-05 三菱電機株式会社 符号化データのデータ構造
JP2017183910A (ja) * 2016-03-29 2017-10-05 富士通株式会社 画像符号化装置及び画像符号化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014204311A (ja) * 2013-04-05 2014-10-27 三菱電機株式会社 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325287A (ja) * 2004-04-28 2007-12-13 Matsushita Electric Ind Co Ltd ストリーム生成装置、ストリーム生成方法、ストリーム再生装置、ストリーム再生システム、ストリーム再生方法、記録媒体および記録方法
WO2007023698A1 (ja) * 2005-08-26 2007-03-01 Matsushita Electric Industrial Co., Ltd. 多重化方法および記録媒体
JP2017005723A (ja) * 2013-06-12 2017-01-05 三菱電機株式会社 符号化データのデータ構造
JP2017183910A (ja) * 2016-03-29 2017-10-05 富士通株式会社 画像符号化装置及び画像符号化方法

Also Published As

Publication number Publication date
WO2019167994A1 (ja) 2019-09-06

Similar Documents

Publication Publication Date Title
US20210250588A1 (en) Method and apparatus for processing a video signal
TWI713356B (zh) 樣本區域合併技術
US20180160113A1 (en) Method and device for encoding and decoding intra-frame prediction
CN113950836A (zh) 基于矩阵的帧内预测的上下文确定
JP2022533190A (ja) アップサンプリングを使用した行列ベースのイントラ予測
JP6565885B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
TW202106003A (zh) 使用基於矩陣之內預測及二次轉換之寫碼技術
CN113728647A (zh) 基于矩阵的帧内预测的上下文编码
US20210266527A1 (en) Video signal processing method and device using reference sample
TWI727826B (zh) 使用內預測之寫碼技術
KR102602361B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법 및 컴퓨터 판독가능 매체
JP7183334B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
WO2019167994A1 (ja) 画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2019161254A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP7276549B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP7208486B2 (ja) 画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2020010342A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2021052426A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2022019711A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2023101760A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210511

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211026