JP2018191036A - 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム - Google Patents

画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム Download PDF

Info

Publication number
JP2018191036A
JP2018191036A JP2017089252A JP2017089252A JP2018191036A JP 2018191036 A JP2018191036 A JP 2018191036A JP 2017089252 A JP2017089252 A JP 2017089252A JP 2017089252 A JP2017089252 A JP 2017089252A JP 2018191036 A JP2018191036 A JP 2018191036A
Authority
JP
Japan
Prior art keywords
block
signal
image
secondary signal
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017089252A
Other languages
English (en)
Other versions
JP2018191036A5 (ja
JP6680260B2 (ja
Inventor
福島　茂
Shigeru Fukushima
茂 福島
博哉 中村
Hiroya Nakamura
博哉 中村
徹 熊倉
Toru Kumakura
徹 熊倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017089252A priority Critical patent/JP6680260B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to PCT/JP2018/011953 priority patent/WO2018198626A1/ja
Priority to KR1020227029140A priority patent/KR102522615B1/ko
Priority to CN202110121826.3A priority patent/CN112954320B/zh
Priority to KR1020217029095A priority patent/KR102437314B1/ko
Priority to CN202311623703.5A priority patent/CN117395417A/zh
Priority to EP18790905.6A priority patent/EP3618437A4/en
Priority to CN202311616718.9A priority patent/CN117395416A/zh
Priority to BR112019022270-7A priority patent/BR112019022270B1/pt
Priority to SG10202013237VA priority patent/SG10202013237VA/en
Priority to CN201880020202.9A priority patent/CN110476422B/zh
Priority to SG11201909569Y priority patent/SG11201909569YA/en
Priority to MX2019012838A priority patent/MX2019012838A/es
Priority to CN202311602254.6A priority patent/CN117395414A/zh
Priority to KR1020237012361A priority patent/KR102602361B1/ko
Priority to RU2019138508A priority patent/RU2749503C9/ru
Priority to KR1020197035101A priority patent/KR102302932B1/ko
Priority to CN202311599570.2A priority patent/CN117395413A/zh
Publication of JP2018191036A publication Critical patent/JP2018191036A/ja
Publication of JP2018191036A5 publication Critical patent/JP2018191036A5/ja
Priority to PH12019550213A priority patent/PH12019550213A1/en
Priority to US16/665,031 priority patent/US10979710B2/en
Publication of JP6680260B2 publication Critical patent/JP6680260B2/ja
Application granted granted Critical
Priority to US17/197,495 priority patent/US11523114B2/en
Priority to US17/968,219 priority patent/US11973946B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】画像符号化及び復号化に適したブロック分割を行うことにより、符号化効率を向上させる画像符号化装置を提供する。【解決手段】プライマリ信号ブロック分割部１０１は、画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成する。セカンダリ信号ブロック分割部１０１は、画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成する。プライマリ信号予測部１０２はプライマリ信号を予測し、セカンダリ信号予測部１０２はセカンダリ信号を予測する。セカンダリ信号予測部は、符号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、プライマリ信号ブロックのサイズ及びセカンダリ信号ブロックのサイズの少なくとも一方に基づいて、コンポーネント間予測を制限する。【選択図】図１

Description

本発明は、画像をブロックに分割し、分割されたブロック単位で符号化及び復号化を行う技術に関する。
画像符号化及び復号化では、画像を所定数の画素の集合であるブロックに分割し、ブロック単位で符号化及び復号化を行う。適切なブロックの分割を行うことで画面内予測（イントラ予測）及び画面間予測（インター予測）の符号化効率が向上する。また、イントラ予測において、プライマリ信号の復号画像からセカンダリ信号を予測することで符号化効率が向上する。
特開２０１３−９００１５号公報
しかし、プライマリ信号の復号画像からセカンダリ信号を予測すると、処理量が増大するとともにプライマリ信号に対する処理とセカンダリ信号に対する処理の依存関係が発生し並列処理が難しくなる。
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像符号化及び復号化に適したブロック分割を行うことにより、符号化効率を向上させる技術を提供することにある。
上記課題を解決するために、本発明のある態様の画像符号化装置は、画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化装置であって、前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部（１０１）と、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部（１０１）と、プライマリ信号を予測するプライマリ信号予測部（１０２）と、セカンダリ信号を予測するセカンダリ信号予測部（１０２）とを含む。前記セカンダリ信号予測部（１０２）は、符号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズの少なくとも一方に基づいて、前記コンポーネント間予測を制限する。
本発明の別の態様は、画像符号化方法である。この方法は、画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化方法であって、前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、プライマリ信号を予測するプライマリ信号予測ステップと、セカンダリ信号を予測するセカンダリ信号予測ステップとを含む。前記セカンダリ信号予測ステップは、符号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズの少なくとも一方に基づいて、前記コンポーネント間予測を制限する。
本発明のさらに別の態様は、画像復号化装置である。この装置は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部（２０２）と、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部（２０２）と、プライマリ信号を予測するプライマリ信号予測部（２０４）と、セカンダリ信号を予測するセカンダリ信号予測部（２０４）とを含む。前記セカンダリ信号予測部（２０４）は、復号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズの少なくとも一方に基づいて、前記コンポーネント間予測を制限する。
本発明のさらに別の態様は、画像復号化方法である。この方法は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化方法であって、前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、プライマリ信号を予測するプライマリ信号予測ステップと、セカンダリ信号を予測するセカンダリ信号予測ステップとを含む。前記セカンダリ信号予測ステップは、復号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズの少なくとも一方に基づいて、前記コンポーネント間予測を制限する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、画像符号化及び復号化に適したブロック分割が可能になり、符号化効率を向上させ、処理量の少ない画像符号化及び復号化を提供することができる。
第１の実施の形態に係る画像符号化装置の構成図である。 第１の実施の形態に係る画像復号化装置の構成図である。 ツリーブロックへの分割及びツリーブロック内部の分割を説明するフローチャートである。 入力された画像をツリーブロックに分割する様子を示す図である。 ｚ−スキャンを説明する図である。 ツリーブロックを水平かつ垂直方向に４分割した図である。 ツリーブロックを水平方向に２分割した図である。 ツリーブロックを垂直方向に２分割した図である。 ツリーブロックを水平方向及び垂直方向に４分割した場合の分割された各ブロックの処理を説明するフローチャートである。 ツリーブロックを水平方向に２分割した場合の分割された各ブロックの処理を説明するフローチャートである。 ツリーブロックの分割が水平方向に２分割された場合の分割されたブロックの再分割の様子を示す図である。 ツリーブロックを垂直方向に２分割した場合の分割された各ブロックの処理を説明するフローチャートである。 ツリーブロックの分割が垂直方向に２分割された場合の分割されたブロックの再分割の様子を示す図である。 第１の実施の形態のブロック分割に関するシンタックスの例を示す図である。 イントラ予測を説明する図である。 インター予測を説明する図である。 色差フォーマットを説明する図である。 輝度色差イントラ予測を説明する図である。 輝度色差イントラ予測を説明するフローチャートである。 色差ブロックのサイズが輝度ブロックのサイズよりも大きい場合を説明する図である。 色差ブロックのサイズが輝度ブロックのサイズよりも小さい場合を説明する図である。 イントラ色差予測モードのシンタックスの例を説明する図である。 周辺画素を置き換えてイントラ色差予測を制限する例を説明する図である。 輝度ブロックのサイズの違いによる輝度色差イントラ予測を説明する図である。
本発明の実施の形態は、画像を矩形ブロックに分割し、分割されたブロックを符号化・復号化する画像符号化技術を提供する。
（第１の実施の形態）
本発明の実施の形態１に係る画像符号化装置１００及び画像復号化装置２００について説明する。
図１は第１の実施の形態に係る画像符号化装置１００の構成図である。ここで、図１では画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなど画像信号以外の付加情報については各構成要素が符号化ビット列生成部１０５に供給して対応する符号化データを生成するが、付加情報に関するデータの流れは図示していない。
ブロック分割部１０１は、画像を符号化の処理単位となる符号化対象ブロックに分割し、符号化対象ブロック内の画像信号を残差信号生成部１０３に供給する。また、ブロック分割部１０１は、予測画像の一致度を評価するために符号化対象ブロックの画像信号を予測画像生成部１０２に供給する。
ブロック分割部１０１は、画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成する。ブロック分割部１０１は、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含む。ブロック分割部１０１の詳細の動作については後述する。
予測画像生成部１０２は、復号画像メモリ１０８から供給される復号画像信号から、予測モードを基にピクチャ内予測（イントラ予測）或いはピクチャ間予測（インター予測）を行い、予測画像信号を生成する。ブロック分割部１０１から供給される符号化対象ブロック内の画像信号はイントラ予測及びインター予測の評価に用いられる。イントラ予測では、ブロック分割部１０１から供給される符号化対象ブロックの画像信号と、復号画像メモリ１０８から供給される符号化対象のブロックと同じピクチャ内に存在する符号化対象のブロックに近接する周囲の符号化済みブロックの画像信号を用いて予測画像信号を生成する。インター予測では、ブロック分割部１０１から供給され符号化対象ブロックの画像信号を、符号化対象ブロックを含むピクチャ（符号化ピクチャ）の時系列で前または後ろにある復号画像メモリ１０８に格納されている符号化済みピクチャを参照ピクチャとし、符号化ピクチャと参照ピクチャとの間でブロックマッチング等のブロック一致度評価を行い、動き量を示す動きベクトルを求め、この動き量を基に参照ピクチャから動き補償を行い、予測画像信号を生成する。予測画像生成部１０２は、こうして生成された予測画像信号を残差信号生成部１０３に供給する。
残差信号生成部１０３は、符号化する画像信号と予測画像生成部１０２にて生成された予測信号との減算を行い残差信号を生成し、直交変換・量子化部１０４に供給する。
直交変換・量子化部１０４は、残差信号生成部１０３から供給される残差信号を直交変換・量子化し、直交変換・量子化された残差信号を符号化ビット列生成部１０５及び逆量子化・逆直交変換部１０６に供給する。
符号化ビット列生成部１０５は直交変換・量子化部１０４から供給される直交変換・量子化された残差信号に対する符号化ビット列を生成する。また、符号化ビット列生成部１０５は動きベクトルや予測モード、ブロック分割情報などの付加情報について、対応する符号化ビット列を生成する。
逆量子化・逆直交変換部１０６は、直交変換・量子化部１０４から供給される直交変換・量子化された残差信号を逆量子化・逆直交変換し、逆量子化・逆直交変換された残差信号を復号画像信号重畳部１０７に供給する。
復号画像信号重畳部１０７は、予測画像生成部１０２により生成された予測画像信号と逆量子化・逆直交変換部１０６で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１０８に格納する。尚、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ１０８に格納することもある。
図２は実施の形態１に係る画像復号化装置２００の構成図である。ここで、図２では画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなど画像信号以外の付加情報についてはビット列復号部２０１が各構成要素に供給して対応する処理に用いるが、付加情報に関するデータの流れは図示していない。
ビット列復号部２０１は、供給された符号化ビット列を復号化して、直交変換・量子化された残差信号をブロック分割部２０２に供給する。
ブロック分割部２０２は、復号化したブロック分割情報に基づいて復号化対象ブロックの形状を決定し、決定された復号化対象ブロックの直交変換・量子化された残差信号を逆量子化・逆直交変換部２０３に供給する。
ブロック分割部２０２は、画像を復号化されたブロック分割情報に基づいて所定サイズの矩形に再帰的に分割して復号化対象ブロックを生成する。ブロック分割部２０２は、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含む。ブロック分割部２０２の詳細の動作については後述する。
逆量子化・逆直交変換部２０３は、供給された直交変換・量子化された残差信号に対して、逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
予測画像生成部２０４は、復号画像メモリ２０６から供給される復号画像信号から予測画像信号を生成し、復号画像信号重畳部２０５に供給する。
復号画像信号重畳部２０５は、予測画像生成部２０４で生成された予測画像信号と、逆量子化・逆直交変換部２０３により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を生成し、出力するとともに復号画像メモリ２０６に格納する。尚、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２０６に格納することもある。
画像符号化装置１００のブロック分割部１０１の動作について詳細に説明する。図３はツリーブロックへの分割及びツリーブロック内部の分割を説明するフローチャートである。
まず、入力された画像を所定サイズのツリーブロックに分割する（Ｓ１０００）。例えば、ツリーブロックを１２８画素ｘ１２８画素とする。ただし、ツリーブロックは１２８画素ｘ１２８画素に限定されず、矩形であればどのような大きさ及び形状を用いてもよい。また、ツリーブロックの大きさ及び形状は、符号化装置と復号化装置の間で固定の値を定めておいてもよいが、符号化装置が決定して符号化ビットストリーム内に記録し復号化装置が記録されたブロックサイズを用いる構成にしてもよい。入力された画像をツリーブロックに分割する様子を図４に示す。ツリーブロックは、ラスタスキャン順、すなわち左から右、上から下に符号化及び復号化される。
ツリーブロックの内部をさらに矩形のブロックに分割していく。ツリーブロック内部はｚ−スキャン順に符号化・復号化していく。図５にｚ−スキャンの順序を示す。ｚ−スキャンでは、左上、右上、左下、右下、の順序で符号化及び復号化する。ツリーブロック内部の分割は４分割と２分割が可能であり、４分割は水平方向かつ垂直方向に分割する。２分割は水平方向又は垂直方向に分割する。図６はツリーブロックを水平かつ垂直方向に４分割した図である。図７はツリーブロックを水平方向に２分割した図である。図８はツリーブロックを垂直方向に２分割した図である。
再び図３を参照する。ツリーブロック内部を水平及び垂直方向に４分割するかどうかを判断する（Ｓ１００１）。
ツリーブロック内部を４分割すると判断した場合（Ｓ１００１：Ｙｅｓ）、ツリーブロック内部を４分割し（Ｓ１００２）、水平かつ垂直方向に４分割したブロックの各処理を行う（Ｓ１００３）。４分割されたブロックの再分割処理については後述する（図９）。
ツリーブロック内部を４分割しないと判断した場合（Ｓ１００１：Ｎｏ）、ツリーブロック内部を２分割するかどうかを判断する（Ｓ１００４）。
ツリーブロック内部を２分割すると判断した場合（Ｓ１００４：Ｙｅｓ）、２分割する方向を水平方向とするかどうかを判断する（Ｓ１００５）。
２分割する方向を水平方向と判断した場合（Ｓ１００５：Ｙｅｓ）、ツリーブロック内部を水平方向に２分割し（Ｓ１００６）、水平方向に２分割したブロックの各処理を行う（Ｓ１００７）。水平方向に２分割されたブロックの再分割処理については後述する（図１０）。
２分割する方向を水平方向ではなく垂直方向と判断した場合（Ｓ１００５：Ｎｏ）、ツリーブロック内部を垂直方向に２分割し（Ｓ１００８）、垂直方向に２分割したブロックの各処理を行う（Ｓ１００９）。水平方向に２分割されたブロックの再分割処理については後述する（図１１）。
ツリーブロック内部を２分割しないと判断した場合（Ｓ１００４：Ｎｏ）、ツリーブロックの内部をブロック分割せずにブロック分割処理を終了する（Ｓ１０１０）。
続いて、ツリーブロックを水平方向かつ垂直方向に４分割した場合の分割された各ブロックの処理について図９のフローチャートを用いて説明する。
ブロック内部を水平かつ垂直方向に再び４分割するかどうかを判断する（Ｓ１１０１）。
ブロック内部を再び４分割すると判断した場合（Ｓ１１０１：Ｙｅｓ）、ブロック内部を再び４分割し（Ｓ１１０２）、水平かつ垂直方向に４分割したブロックの各処理を行う（Ｓ１１０３）。
ブロック内部を再び４分割しないと判断した場合（Ｓ１１０１：Ｎｏ）、ブロック内部を２分割するかどうかを判断する（Ｓ１１０４）。
ブロック内部を２分割すると判断した場合（Ｓ１１０４：Ｙｅｓ）、２分割する方向を水平方向とするかどうかを判断する（Ｓ１１０５）。
２分割する方向を水平方向と判断した場合（Ｓ１１０５：Ｙｅｓ）、ブロック内部を水平方向に２分割し（Ｓ１１０６）、水平方向に２分割したブロックの各処理を行う（Ｓ１１０７）。
２分割する方向を水平方向ではなく垂直方向と判断した場合（Ｓ１１０５：Ｎｏ）、ブロック内部を垂直方向に２分割し（Ｓ１１０８）、垂直方向に２分割したブロックの各処理を行う（Ｓ１１０９）。
ブロック内部を２分割しないと判断した場合（Ｓ１１０４：Ｎｏ）、ブロックの内部をブロック分割せずにブロック分割処理を終了する（Ｓ１１１０）。
図９のフローチャートに示す処理が４分割された各ブロックについて実行される。４分割されたブロックの内部もｚ−スキャン順に符号化及び復号化していく。
続いて、ツリーブロックを水平方向に２分割した場合の分割された各ブロックの処理について図１０のフローチャートを用いて説明する。
ツリーブロックを水平方向に２分割した場合、２分割された各ブロックは、まず、ブロック内部を水平及び垂直方向に４分割するかどうかを判断する（Ｓ１２０１）。
ブロック内部を４分割すると判断した場合（Ｓ１２０１：Ｙｅｓ）、ブロック内部を４分割し（Ｓ１２０２）、水平かつ垂直方向に４分割したブロックの各処理を行う（Ｓ１２０３）。
ブロック内部を４分割しないと判断した場合（Ｓ１２０１：Ｎｏ）、ブロック内部を再び２分割するかどうかを判断する（Ｓ１２０４）。
再び２分割すると判断した場合（Ｓ１２０４：Ｙｅｓ）、ブロック内部を垂直方向に分割し（Ｓ１２０５）、垂直方向に２分割したブロックの各処理を行う（Ｓ１２０６）。
再び２分割しないと判断した場合（Ｓ１２０４：Ｎｏ）、ブロックの内部を再分割せずブロック分割処理を終了する（Ｓ１２０７）。
図１１にツリーブロックの分割が水平方向に２分割された場合の分割されたブロックの再分割の様子を示す。ここで、親ブロックであるツリーブロックが水平方向に２分割された場合、分割されたブロックの再２分割では、垂直方向のみの２分割を許容し、自動的に垂直方向に２分割する。また、親ブロックであるツリーブロックが２分割された場合、子ブロックでは４分割も完全に禁止することも可能である。これにより、親ブロックと同一方向にブロックが分割されることを禁止できるため、より横方向に細長い長方形となるブロック分割を防止でき、符号化・復号化の処理がしやすくなる。
図１０のフローチャートに示す処理が水平方向に２分割された各ブロックについて実行される。２分割されたブロックの内部も上、下の順に符号化及び復号化していく。
続いて、ツリーブロックを垂直方向に２分割した場合の分割された各ブロックの処理について図１２のフローチャートを用いて説明する。
ツリーブロックを垂直方向に２分割した場合、２分割された各ブロックは、まず、ブロック内部を水平及び垂直方向に４分割するかどうかを判断する（Ｓ１３０１）。
ブロック内部を４分割すると判断した場合（Ｓ１３０１：Ｙｅｓ）、ブロック内部を４分割し（Ｓ１３０２）、水平かつ垂直方向に４分割したブロックの各処理を行う（Ｓ１３０３）。
ブロック内部を４分割しないと判断した場合（Ｓ１３０１：Ｎｏ）、ブロック内部を再び２分割するかどうかを判断する（Ｓ１３０４）。
再び２分割すると判断した場合（Ｓ１３０４：Ｙｅｓ）、ブロック内部を水平方向に分割し（Ｓ１３０５）、水平方向に２分割したブロックの各処理を行う（Ｓ１３０６）。
再び２分割しないと判断した場合（Ｓ１３０４：Ｎｏ）、ブロックの内部を再分割せずブロック分割処理を終了する（Ｓ１３０７）。
図１３にツリーブロックの分割が垂直方向に２分割された場合の分割されたブロックの再分割の様子を示す。ここで、親ブロックであるツリーブロックが垂直方向に２分割された場合、分割されたブロックの再２分割では、水平方向のみの２分割を許容し、自動的に水平方向に２分割する。また、親ブロックであるツリーブロックが２分割された場合、子ブロックでは４分割も完全に禁止することも可能である。これにより、親ブロックと同一方向にブロックが分割されることを禁止できるため、より縦方向に細長い長方形となるブロック分割を防止でき、符号化・復号化の処理がしやすくなる。
図１２のフローチャートに示す処理が垂直方向に２分割された各ブロックについて実行される。２分割されたブロックの内部も左、右の順に符号化及び復号化していく。
なお、ツリーブロックが分割された時の分割されたブロックの再分割について説明したが、親ブロックがツリーブロックでなくてもよい。例えば、ツリーブロック（１２８ｘ１２８）を４分割し、４分割されたブロック（６４ｘ６４）をさらに４分割又は２分割した場合に、再分割されたブロックの分割にも上記処理を適用していく。
次に、画像復号化装置２００のブロック分割部２０２の動作について説明する。画像符号化装置１００のブロック分割部１０１と同じ処理手順でブロックを分割するが、画像符号化装置１００のブロック分割部１０１では、ブロック分割のパターンを選択し、選択したブロック分割情報を出力するのに対して、画像復号化装置のブロック分割部２０２は、符号化ビットストリームから復号化されたブロック分割情報を用いてブロックを分割すること、また、符号化ビットストリームからブロック分割情報を復号化する際に、同一方向への再分割が禁止される状況では、選択肢のない情報はビットストリーム内で伝送しないシンタックス構造となっていることが異なる。
第１の実施の形態のブロック分割に関するシンタックス（符号化ビットストリームの構文規則）の例を図１４に示す。ツリーブロックの内部の分割は、まず４分割をするかどうかのフラグ（4_division_flag）を送受信する。４分割する場合（4_division_flagが1）は、ツリーブロック内を４分割して処理を終了する。その後４分割されたブロックについて再度図１４に示すシンタックスで内部を再分割する。４分割しない場合（4_division_flagが0）は、２分割するかどうかのフラグ（2_division_flag）を送受信する。２分割する場合（2_division_flagが1）は、さらに、２分割する方向を示すフラグ（2_division_direction）を送受信する。2_division_directionが1の場合は垂直方向への分割を示し、2_division_directionが0の場合は水平方向への分割を示す。その後２分割されたブロックについて再度図１４に示すシンタックスでブロック内部を再分割する。２分割しない場合（2_division_flagが0）は、ツリーブロックを分割せずに処理を終了する。
ここで、４分割又は２分割されたブロックの内部を再分割する処理について説明する。ブロック内部を再分割する処理も図１４に示すシンタックスを用いるが、ツリーブロックを分割する場合と比較して、２分割する場合の分割方向に制限があることが異なる。つまり、ツリーブロックを２分割している場合、２分割されたブロックの内部を再分割する場合には、ツリーブロックを２分割した分割方向と同一の方向で分割することを禁止する。これにより、分割されたブロックがより細長い長方形になることを防止し、イントラ予測やインター予測で必要となるメモリ帯域の増加を防止することができる。メモリ帯域の増加の防止についての詳細は後述する。
また、同一方向に２分割した数をカウントして所定回数を超えた場合に同一方向に分割することを制限してももちろんよい。例えば、２回まで同一方向への２分割を許可するが、３回目からは同一方向への２分割を禁止する。
図１４では、４分割を優先して選択し、４分割するかどうかの情報を２分割するかどうかの情報よりも先に送受信するシンタックスとした。一方、２分割を優先して選択する場合、２分割するかどうかの情報を４分割するかどうかの情報よりも先に送受信するシンタックスとすることも可能である。確率的により発生しやすい事象を先に送受信する方がビットストリームとして伝送する符号量が少なくなるためである。つまり、予め４分割と２分割のどちらが発生しやすいか推定し、より発生しやすい分割情報を先にする送受信するシンタックスとしてもよい。例えば、画像のヘッダ情報で４分割を優先するか、２分割を優先するかを送受信することで、符号化装置が適応的に符号化効率の高い優先分割数を決定して、復号化装置では選択された優先分割数に基づいたシンタックスでツリーブロック内部を分割することもできる。
画像符号化装置１００及び画像復号化装置２００において、分割されたブロックを用いてイントラ予測やインター予測が行われる。イントラ予測、インター予測ともにメモリからの画素のコピーを伴う。
図１５（ａ）〜図１５（ｄ）にイントラ予測の一例を示す。図１５（ａ）及び図１５（ｂ）はイントラ予測の予測方向とモード番号を示す。イントラ予測は、図１５（ｃ）及び図１５（ｄ）に示すように、符号化・復号化対象ブロックに近接する符号化・復号化済の画素から画素をコピーすることで符号化・復号化対象ブロックの予測画像を生成する。イントラ予測では、ブロック単位で予測画像生成から符号化・復号化画素生成を繰り返すため、処理順序がブロック単位でシーケンシャルとなり、ブロック内部を小さく分割するほど全体の処理の負荷が大きくなる。また、ブロックの形状が細長い長方形になるほどメモリからの画素コピーの処理が大きくなる。また、符号化・復号化には残差信号の直交変換を行うため、長方形のサイズの種類が多くなればなるほど必要な直交変換の種類が多くなり、その結果回路規模の増大につながる。そのため、ブロック内部を２分割する場合に、親ブロックの分割方法と同一方向に２分割することを制限することで、イントラ予測で必要となるメモリ帯域の増加を防止することができる。
図１６にインター予測の一例を示す。インター予測は、符号化・復号化済の画像に含まれる画素からブロック単位で画素をコピーすることで符号化・復号化対象ブロックの予測画像を生成する。インター予測では、参照画像からブロック単位で画素をコピーする際に、必要な画素が含まれるメモリの管理単位での取得が必要な装置の構成となることが多い。そのため、ブロックを小さく分割するほど、また、ブロックの形状が細長い長方形になるほど、全体の処理の負荷が大きくなる。また、参照画像に対して補間フィルタを用いた小数精度の動き補償を行う場合には、ブロック内に含まれる画素に数画素を加えた画素のコピーが必要となり、ブロックの大きさが小さいほど、追加する数画素の相対的な比率が大きくなり、全体の処理の負荷が大きくなる。そのため、ブロック内部を２分割する場合に、親のブロックの分割方向と同一方向に２分割することを制限することで、インター予測で必要となるメモリ帯域の増加を防止することができる。
続いて、イントラ予測での輝度信号と色差信号の関係について説明する。輝度信号と色差信号間のフォーマットとして、４：２：０、４：２：２、４：４：４などが従来から知られている。図１７（ａ）に示す４：２：０フォーマットは、輝度信号を水平／垂直方向ともに２画素をサンプリングするのに対して、色差信号を水平／垂直方向ともに１画素をサンプリングする。人間の目は色差信号よりも輝度信号をより敏感に知覚できるため、輝度信号よりも色差信号の情報量を減らしている。図１７（ｂ）に示す４：２：２フォーマットは、輝度信号を水平方向に２画素をサンプリングするのに対して、色差信号を水平方向に１画素サンプリングする。垂直方向については、輝度信号を垂直方向に２画素をサンプリングするのに対して、色差信号を垂直方向に２画素サンプリングする。図１７（ｃ）に示す４：４：４フォーマットは、輝度信号を水平／垂直方向に２画素をサンプリングするのに対して、色差信号を水平／垂直方向ともに２画素をサンプリングする。
画像符号化で最も広く使用されている４：２：０フォーマットを例として本実施の形態を説明する。ブロック分割部１０１、２０２は、画像の輝度信号を分割して輝度ブロックを生成する輝度ブロック分割部と、画像の色差信号を分割して色差ブロックを生成する色差ブロック分割部とを含み、イントラ予測において、輝度信号と色差信号をそれぞれ独立してブロック分割する。つまり、イントラ予測では輝度ブロックの大きさと色差ブロックの大きさは独立して決定される。イントラ予測では、輝度信号と色差信号のそれぞれが周辺画素から画素値をコピーするため、輝度信号と色差信号を独立してブロック分割すると予測効率が高まる。それに対して、インター予測については輝度信号と色差信号を一緒に扱ってブロック分割する。つまり、インター予測では輝度ブロックの大きさと色差ブロックの大きさは同一である。インター予測では動き補償において輝度と色差を区別する必要がないためである。
予測画像生成部１０２、２０４は、輝度信号を予測する輝度信号予測部と、色差信号を予測する色差信号予測部とを含み、色差信号予測部は、イントラ予測における色差信号の予測効率を高めるため、輝度信号の符号化・復号化済画素から色差信号を予測する輝度色差イントラ予測を行う。輝度色差イントラ予測では、プライマリ信号をセカンダリ信号よりも先に符号化・復号化し、符号化・復号化済のプライマリ信号を用いてセカンダリ信号を予測する。ここで、４：２：０フォーマットや４：２：２フォーマットでは色差信号よりも輝度信号の情報量が多いため、輝度信号をプライマリ信号とし、色差信号をセカンダリ信号とする。４：４：４フォーマットでは、輝度信号と色差信号の情報量は同じであるが、他のフォーマットに合わせて、輝度信号をプライマリ信号とし、色差信号をセカンダリ信号とするのが普通である。
図１８は、輝度色差イントラ予測を説明する図であり、図１９は、輝度色差イントラ予測を説明するフローチャートである。
図１８に示すように、輝度色差イントラ予測は、輝度ブロック１０の符号化・復号化済の周辺画素１２ａ、１２ｂと、色差ブロック１４の符号化・復号化済の周辺画素１６ａ、１６ｂとの間の相関度合いに基づいて行われる。輝度色差イントラ予測は、色差信号を予測するものであるから、相関度合いを算出する対象となる周辺画素は、符号化・復号化対象の色差ブロックの周辺画素を基準にして規定される。すなわち、色差ブロックに対して決まる周辺画素と同一位置にある輝度ブロックの周辺画素が相関度合いの算出の対象となる。
まず、符号化・復号化済の輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを算出する（Ｓ１９０１）。続いて、符号化・復号化対象ブロックの符号化・復号化済輝度信号をダウンサンプルする（Ｓ１９０２）。ここで、ダウンサンプルするフィルタタイプを複数準備してフィルタタイプを選択できるようにしてもよい。例えば、強度の異なるフィルタを準備して複数のフィルタタイプを選択する、又は、フィルタのタップ数が異なるフィルタを準備して複数のフィルタタイプを選択するようにしてもよい。フィルタタイプは周辺画素間の相関度合いを用いて自動選択してもよく、フィルタタイプをビットストリーム内に符号化・復号化して伝送してもよい。また、周辺画素間の相関度合いを用いて符号化・復号化対象ブロックの輝度信号のダウンサンプルフィルタを決定するのでなければ、ステップＳ１９０１とステップＳ１９０２の処理は順不同であり、ステップＳ１９０１とステップＳ１９０２は並列処理可能である。
最後に、周辺画素間の相関度合いに基づいて、ダウンサンプルした輝度信号から色差信号を予測する（Ｓ１９０３）。ダウンサンプルは、４：２：０フォーマットの場合は、水平／垂直方向に１／２となる。４：２：２フォーマットの場合は、水平方向に１／２となり、垂直方向にはダウンサンプルしない。４：４：４フォーマットの場合は、水平／垂直方向ともにダウンサンプルしない。
輝度色差イントラ予測では、符号化・復号化対象ブロックの輝度信号の符号化・復号化が完了した後に、色差信号の予測処理を開始できる。そのため、色差ブロックの予測処理を開始できるタイミングは、輝度ブロックのサイズと色差ブロックのサイズに依存する。
図２０（ａ）及び図２０（ｂ）は、色差ブロックのサイズが輝度ブロックのサイズよりも大きい場合の輝度色差イントラ予測を説明する図である。図２０（ａ）に示す４分割された第１〜第４輝度ブロック２０ａ、２０ｂ、２０ｃ、２０ｄの画素数は１６ｘ１６であり、図２０（ｂ）に示す色差ブロック２０ｅの画素数は１６ｘ１６である。
ここで、輝度ブロックと色差ブロックのサイズの比較は、ブロック内の画素数での比較ではなく、色差フォーマットを考慮した面積での比較である。即ち、４：２：０フォーマットにおいて、輝度ブロックが占める面積は、色差ブロックが占める面積の１／２であるから、輝度ブロックの画素数が１６ｘ１６であり、色差ブロックの画素数が１６ｘ１６である場合、輝度ブロックのサイズの方が小さい。４：２：０フォーマットにおいて、輝度ブロックの画素数が１６ｘ１６であり、色差ブロックの画素数が８ｘ８である場合、両者のブロックが占める面積は同一であり、輝度ブロックと色差ブロックは同一のサイズである。
輝度ブロックと色差ブロックのサイズの比較を、ブロックの面積の比較ではなく、ブロック内の画素数の比較で行うには、色差フォーマットにおける輝度信号と色差信号の比率で色差ブロックの画素数を輝度ブロックの画素数に換算すればよい。４：２：０フォーマットの場合、輝度信号の画素数は色差信号の画素数の２倍であるから、色差ブロックの縦横の画素数を２倍して輝度ブロックの縦横の画素数に換算する。たとえば、４：２：０フォーマットにおいて、輝度ブロックのサイズが１６ｘ１６であり、色差ブロックのサイズが１６ｘ１６である場合、輝度ブロックの画素数に換算した色差ブロックの換算サイズは３２ｘ３２になり、色差ブロックのサイズの方が大きいことがわかる。
イントラ予測はブロック単位で復号処理を完了した後に、続くブロックの予測処理が可能になる。つまり、第１輝度ブロック２０ａの復号が完了した後に、第２輝度ブロック２０ｂの復号が可能になり、第２輝度ブロック２０ｂの復号が完了した後に、第３輝度ブロック２０ｃの復号が可能になり、第３輝度ブロック２０ｃの復号が完了した後に、第４輝度ブロック２０ｄの復号が可能になる。
色差ブロックのサイズが輝度ブロックのサイズよりも大きい場合、色差ブロック２０ｅの予測処理に必要な周辺画素は、輝度画素、色差画素ともに４つの輝度ブロック２０ａ、２０ｂ、２０ｃ、２０ｄの復号前に存在しており、４つの輝度ブロック２０ａ、２０ｂ、２０ｃ、２０ｄの復号を待たずに、図１９のステップＳ１９０１の輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを算出可能である。
次に、第１輝度ブロック２０ａの復号完了後、図１９のステップＳ１９０２の輝度信号のダウンサンプルを実行する。第２輝度ブロック２０ｂの復号完了を待たずに、第１輝度ブロック２０ａの位置に対応する色差ブロック２０ｅの画素が予測可能である。同様に、第２輝度ブロック２０ｂの復号完了後、輝度信号のダウンサンプルを実行し、第３輝度ブロック２０ｃの復号完了を待たずに、第２輝度ブロック２０ｂの位置に対応する色差ブロック２０ｅの画素を予測する。さらに、第３輝度ブロック２０ｃの復号完了後、輝度信号のダウンサンプルを実行し、第４輝度ブロック２０ｄの復号完了を待たずに、第３輝度ブロック２０ｃの位置に対応する色差ブロック２０ｅの画素を予測する。最後に、第４輝度ブロック２０ｄの復号完了後、輝度信号のダウンサンプルを実行し、第４輝度ブロック２０ｄの位置に対応する色差ブロック２０ｅの画素を予測する。
図２１（ａ）及び図２１（ｂ）は、色差ブロックのサイズが輝度ブロックのサイズよりも小さい場合の輝度色差イントラ予測を説明する図である。図２１（ａ）に示す輝度ブロック２１ａの画素数は１６ｘ１６であり、図２１（ｂ）に示す４分割された第１〜第４色差ブロック２１ｂ、２１ｃ、２１ｄ、２１ｅの画素数は４ｘ４である。
４：２：０フォーマットにおいて、輝度ブロックが占める面積は、色差ブロックが占める面積の１／２であるから、輝度ブロックの画素数が１６ｘ１６であり、色差ブロックの画素数が４ｘ４である場合、色差ブロックのサイズの方が小さい。輝度ブロックと色差ブロックのサイズの比較を、ブロックの面積の比較ではなく、ブロック内の画素数の比較で行うには、４：２：０フォーマットの場合、色差ブロックの縦横の画素数を２倍して輝度ブロックの縦横の画素数に換算する。４：２：０フォーマットにおいて、輝度ブロックのサイズが１６ｘ１６であり、色差ブロックのサイズが４ｘ４である場合、輝度ブロックの画素数に換算した色差ブロックの換算サイズは８ｘ８になり、色差ブロックのサイズの方が小さいことがわかる。
色差ブロックのサイズが輝度ブロックのサイズよりも小さい場合、第１色差ブロック２１ｂの周辺画素は、輝度画素、色差画素ともに輝度ブロック２１ａの復号前から利用できるが、第２〜第４色差ブロック２１ｃ、２１ｄ、２１ｅの周辺画素は、輝度ブロック２１ａの復号が完了しないと利用できない。つまり、輝度ブロック２１ａの復号が完了し、第１色差ブロック２１ｂの復号が完了しないと、第２色差ブロック２１ｃについて、図１９のステップＳ１９０１の輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを算出できない。同様に、第３色差ブロック２１ｄについて、輝度ブロック２１ａの復号が完了し、第１、第２色差ブロック２１ｂ、２１ｃの復号が完了しないと、第３色差ブロック２１ｄについて、輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを算出できない。同様に、第４色差ブロック２１ｅについて、輝度ブロック２１ａの復号が完了し、第１〜第３色差ブロック２１ｂ、２１ｃ、２１ｄの復号が完了しないと、第４色差ブロック２１ｅについて、輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを算出できない。
このように、色差ブロックのサイズが輝度ブロックのサイズよりも小さい場合、輝度色差イントラ予測を行うと、色差ブロックの予測処理において、輝度ブロックと色差ブロック間及び色差ブロック間で処理の依存関係があり並列処理に向かない。そこで、色差ブロックのサイズが輝度ブロックのサイズよりも小さい場合、輝度色差イントラ予測を制限する。輝度色差イントラ予測を制限する方法としては、（１）シンタックスで制限する、（２）イントラ色差モードを置き換える、（３）周辺画素を置き換える、などがある。
図２２にイントラ色差予測モードのシンタックスの例を示す。色差予測モードの番号が０の場合、輝度予測モードと同一のイントラ予測モードを色差予測モードに使用する。例えば、輝度予測モードが水平予測モードの場合、色差予測モードも水平予測モードとなる。色差予測モードの番号が１の場合、平均値モード（ＤＣモード）を使用する。ＤＣモードは周辺画素の平均値でイントラ予測する。色差予測モードの番号が２の場合、輝度色差イントラ予測モードを使用する。
輝度色差イントラ予測を制限する方法として、（１）シンタックスで制限する場合、モード２は輝度色差イントラ予測を表すため使用禁止となる。つまり、モード２は伝送されず、イントラ色差モードはモード０とモード１から選択される。
輝度色差イントラ予測を制限する方法として、（２）イントラ色差モードを置き換える場合、色差予測モードの番号がモード２として指定された場合に、輝度色差イントラ予測モードではなく、代わりに垂直予測モードを使用する。ただし、置き換える予測モードは垂直予測モードに限らず、他の予測モードでもよい。また、モード０の輝度予測モードとモード２で置き換えるモードが同一になり、使用するモードが重複することがないようにすることがより好ましい。
輝度色差イントラ予測を制限する方法として、（３）周辺画素を置き換える場合、図１９のステップＳ１９０１の輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを算出するための周辺画素を置き換える。図２１の第２〜第４色差ブロック２１ｃ、２１ｄ、２１ｅにおいても輝度ブロック２１ａの復号を待たずに周辺画素の相関度合いを算出できるようにする。
周辺画素の置き換えの例を図２３に示す。第２色差ブロック２１ｃの左辺の周辺画素として通常は第１色差ブロック２１ｂ内の画素を使用するが、第１色差ブロック２１ｂ内の画素を使用するには、輝度ブロック２１ａ及び第１色差ブロック２１ｂの復号完了を待つ必要がある。そこで、輝度ブロック２１ａの復号完了を待たずに使用可能な領域２１ｆを第２色差ブロック２１ｃの周辺画素として使用する。同様に、第３色差ブロック２１ｄについても、輝度ブロック２１ａの復号完了を待たずに使用可能な領域２１ｆを第３色差ブロック２１ｄの周辺画素として使用する。同様に、第４色差ブロック２１ｅについても、輝度ブロック２１ａの復号完了を待たずに使用可能な領域２１ｆを第４色差ブロック２１ｅの周辺画素として使用する。
このように、第１の実施の形態では、輝度色差イントラ予測を行う際に、色差ブロックのサイズが輝度ブロックのサイズよりも小さい場合、輝度色差イントラ予測を制限することにより、輝度ブロックと色差ブロック間で処理の依存関係を緩和することが可能になる。これにより、輝度ブロックと色差ブロックの並列処理が可能になり、符号化・復号化の処理量を削減できる。
（第２の実施の形態）
本発明の第２の実施の形態について説明する。第２の実施の形態では、輝度ブロックと色差ブロックのサイズの大小関係ではなく、輝度ブロックのサイズと色差ブロックのサイズのそれぞれを独立に評価して輝度色差イントラ予測を制限することが第１の実施の形態とは異なり、それ以外の構成と動作は第１の実施の形態と同じである。
まず、輝度ブロックのサイズに基づく制限について説明する。図２４（ａ）〜図２４（ｃ）に輝度ブロックのサイズの違いによる輝度色差イントラ予測を示す。図２４（ａ）、図２４（ｂ）に示すように、第１輝度ブロック２４ａは第１色差ブロック２４ｅの位置に対応し、第２輝度ブロック２４ｂは第２色差ブロック２４ｆの位置に対応し、第３輝度ブロック２４ｃは第３色差ブロック２４ｇの位置に対応し、第４輝度ブロック２４ｄは第４色差ブロック２４ｈの位置に対応する。また、図２４（ｃ）の輝度ブロック２４ｉは、図２４（ｂ）の第１〜第４色差ブロック２４ｅ、２４ｆ、２４ｇ、２４ｈの位置に対応する。
輝度ブロックと色差ブロックの依存関係について説明する。図２４（ａ）のように輝度ブロックのサイズが小さい場合、第１輝度ブロック２４ａの復号が完了すると、第１色差ブロック２４ｅの復号が可能になる。第２輝度ブロック２４ｂの復号が完了すると、第２色差ブロック２４ｆの復号が可能になる。第３輝度ブロック２４ｃの復号が完了すると、第３色差ブロック２４ｇの復号が可能になる。第４輝度ブロック２４ｄの復号が完了すると、第４色差ブロック２４ｈの復号が可能になる。
一方、図２４（ｃ）のように輝度ブロックのサイズが大きい場合、輝度ブロック２４ｉの復号が完了しないと、第１〜第４色差ブロック２４ｅ、２４ｆ、２４ｇ、２４ｈの復号はすべて可能にならない。
輝度ブロックの分割と色差ブロックの分割を独立して決定する場合、輝度ブロックの絶対サイズが大きいと、色差ブロックのサイズが輝度ブロックのサイズよりも小さくなる可能性が高まる。そこで、輝度ブロックの絶対サイズが所定サイズ以上の場合、対応する色差ブロックの輝度色差イントラ予測を制限する。
同様に、色差ブロックの絶対サイズが小さいと、色差ブロックのサイズが輝度ブロックのサイズよりも小さくなる可能性が高まる。そこで、色差ブロックの絶対サイズが所定サイズ以下の場合、色差ブロックの輝度色差イントラ予測を制限する。
輝度色差イントラ予測の制限方法は、第１の実施の形態と同様である。
このように、第２の実施の形態では、輝度ブロックの絶対サイズが閾値よりも大きい場合、又は、色差ブロックの絶対サイズが閾値よりも小さい場合に、輝度色差イントラ予測を制限する。これにより、色差ブロックのサイズが輝度ブロックのサイズよりも小さくなる場合を予想して、輝度色差イントラ予測を制限し、輝度ブロックと色差ブロック間で処理の依存関係を確率的に緩和することが可能になる。
（第３の実施の形態）
本発明の第３の実施の形態について説明する。第３の実施の形態では、ブロック分割部１０１において、色差ブロックのサイズが輝度ブロックのサイズより小さくならないように、色差ブロックを分割することが第１の実施の形態とは異なり、それ以外の構成と動作は第１の実施の形態と同じである。ブロック分割部１０１は、色差ブロックを分割する際、色差ブロックのサイズが輝度ブロックのサイズ未満になるような分割を禁止する。これにより、輝度色差イントラ予測において、色差ブロックのサイズが輝度ブロックのサイズより小さくなることが回避され、輝度ブロックと色差ブロックの並列処理が常に可能になる。
以上述べた実施の形態の画像符号化装置が出力する画像の符号化ビットストリームは、実施の形態で用いられた符号化方法に応じて復号化することができるように特定のデータフォーマットを有しており、画像符号化装置に対応する画像復号化装置がこの特定のデータフォーマットの符号化ビットストリームを復号化することができる。
画像符号化装置と画像復号化装置の間で符号化ビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ビットストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ビットストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信して符号化ビットストリームに復元して画像復号化装置に供給する受信装置とが設けられる。
送信装置は、画像符号化装置が出力する符号化ビットストリームをバッファするメモリと、符号化ビットストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ビットストリームを生成し、画像復号化装置に提供するパケット処理部とを含む。
また、画像復号化装置で復号化された画像を表示する表示部を構成に追加することで、表示装置とすることも可能である。その場合、表示部は、復号画像信号重畳部２０５により生成され、復号画像メモリ２０６に格納された復号画像信号を読み出して画面に表示する。
また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置とすることも可能である。その場合、撮像部は、撮像した画像信号をブロック分割部１０１に入力する。
以上の符号化及び復号化に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
１００ 画像符号化装置、 １０１ ブロック分割部、 １０２ 予測画像生成部、 １０３ 残差信号生成部、 １０４ 直交変換・量子化部、 １０５ 符号化ビット列生成部、 １０６ 逆量子化・逆直交変換部、 １０７ 復号画像信号重畳部、 １０８ 復号画像メモリ、 ２００ 画像復号化装置、 ２０１ ビット列復号部、 ２０２ ブロック分割部、 ２０３ 逆量子化・逆直交変換部、 ２０４ 予測画像生成部、 ２０５ 復号画像信号重畳部、 ２０６ 復号画像メモリ。

Claims (10)

  1. 画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化装置であって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部と、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部と、
    プライマリ信号を予測するプライマリ信号予測部と、
    セカンダリ信号を予測するセカンダリ信号予測部とを含み、
    前記セカンダリ信号予測部は、符号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズの少なくとも一方に基づいて、前記コンポーネント間予測を制限する、
    ことを特徴とする画像符号化装置。
  2. プライマリ信号は輝度信号、セカンダリ信号は色差信号であり、色差フォーマットにおける輝度と色差の比率で色差信号ブロックの画素数を輝度信号ブロックの画素数に換算した場合の画素数で輝度信号ブロックのサイズと色差信号ブロックのサイズの大小比較を行い、色差信号ブロックのサイズが輝度信号ブロックのサイズよりも小さい場合、前記コンポーネント間予測を制限する、
    ことを特徴とする請求項１に記載の画像符号化装置。
  3. プライマリ信号は輝度信号、セカンダリ信号は色差信号であり、輝度信号ブロックのサイズが所定のサイズよりも大きい場合、または、色差信号ブロックのサイズが所定のサイズよりも小さい場合、前記コンポーネント間予測を制限する、
    ことを特徴とする請求項１に記載の画像符号化装置。
  4. 前記コンポーネント間予測の代わりに、前記プライマリ信号を利用しない別の予測モードを用いてセカンダリ信号を予測することにより、前記コンポーネント間予測を制限する、
    ことを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
  5. 前記コンポーネント間予測に用いる周辺画素を、前記プライマリ信号ブロックの符号化を待たずに利用可能な周辺画素に置き換えることにより、前記コンポーネント間予測を制限する、
    ことを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
  6. 画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化方法であって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、
    プライマリ信号を予測するプライマリ信号予測ステップと、
    セカンダリ信号を予測するセカンダリ信号予測ステップとを含み、
    前記セカンダリ信号予測ステップは、符号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズの少なくとも一方に基づいて、前記コンポーネント間予測を制限する、
    ことを特徴とする画像符号化方法。
  7. 画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化プログラムであって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、
    プライマリ信号を予測するプライマリ信号予測ステップと、
    セカンダリ信号を予測するセカンダリ信号予測ステップとをコンピュータに実行させ、
    前記セカンダリ信号予測ステップは、符号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズの少なくとも一方に基づいて、前記コンポーネント間予測を制限する、
    ことを特徴とする画像符号化プログラム。
  8. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部と、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部と、
    プライマリ信号を予測するプライマリ信号予測部と、
    セカンダリ信号を予測するセカンダリ信号予測部とを含み、
    前記セカンダリ信号予測部は、復号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズの少なくとも一方に基づいて、前記コンポーネント間予測を制限する、
    ことを特徴とする画像復号化装置。
  9. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化方法であって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、
    プライマリ信号を予測するプライマリ信号予測ステップと、
    セカンダリ信号を予測するセカンダリ信号予測ステップとを含み、
    前記セカンダリ信号予測ステップは、復号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズの少なくとも一方に基づいて、前記コンポーネント間予測を制限する、
    ことを特徴とする画像復号化方法。
  10. 画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化プログラムであって、
    前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、
    前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、
    プライマリ信号を予測するプライマリ信号予測ステップと、
    セカンダリ信号を予測するセカンダリ信号予測ステップとをコンピュータに実行させ、
    前記セカンダリ信号予測ステップは、復号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズ及び前記セカンダリ信号ブロックのサイズの少なくとも一方に基づいて、前記コンポーネント間予測を制限する、
    ことを特徴とする画像復号化プログラム。
JP2017089252A 2017-04-28 2017-04-28 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム Active JP6680260B2 (ja)

Priority Applications (22)

Application Number Priority Date Filing Date Title
JP2017089252A JP6680260B2 (ja) 2017-04-28 2017-04-28 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
KR1020237012361A KR102602361B1 (ko) 2017-04-28 2018-03-26 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법 및 컴퓨터 판독가능 매체
CN202311602254.6A CN117395414A (zh) 2017-04-28 2018-03-26 图像编码装置和方法、以及图像解码装置和方法
KR1020217029095A KR102437314B1 (ko) 2017-04-28 2018-03-26 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 그리고 화상 복호화 장치, 화상 복호화 방법 및 화상 복호화 프로그램
CN202311623703.5A CN117395417A (zh) 2017-04-28 2018-03-26 图像编码装置和方法、以及图像解码装置和方法
EP18790905.6A EP3618437A4 (en) 2017-04-28 2018-03-26 IMAGE ENCODING APPARATUS, IMAGE ENCODING METHOD, AND IMAGE ENCODING PROGRAM, AND IMAGE DECODING APPARATUS, IMAGE DECODING METHOD, AND IMAGE DECODING PROGRAM
CN202311616718.9A CN117395416A (zh) 2017-04-28 2018-03-26 图像编码装置和方法、以及图像解码装置和方法
BR112019022270-7A BR112019022270B1 (pt) 2017-04-28 2018-03-26 Dispositivo de codificação de imagem, método de codificação de imagem, dispositivo de decodificação de imagem e método de decodificação de imagem
SG10202013237VA SG10202013237VA (en) 2017-04-28 2018-03-26 Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program
KR1020227029140A KR102522615B1 (ko) 2017-04-28 2018-03-26 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 그리고 화상 복호화 장치, 화상 복호화 방법 및 화상 복호화 프로그램
SG11201909569Y SG11201909569YA (en) 2017-04-28 2018-03-26 Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program
MX2019012838A MX2019012838A (es) 2017-04-28 2018-03-26 Dispositivo de codificacion de imagen, metodo de codificacion de imagen y programa de codificacion de imagen y dispositivo de decodificacion de imagen, metodo de decodificacion de imagen y programa de codificacion de imagen.
PCT/JP2018/011953 WO2018198626A1 (ja) 2017-04-28 2018-03-26 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
CN202110121826.3A CN112954320B (zh) 2017-04-28 2018-03-26 图像编码装置和方法、以及图像解码装置和方法
CN201880020202.9A CN110476422B (zh) 2017-04-28 2018-03-26 图像编码装置和方法、图像解码装置和方法以及记录介质
KR1020197035101A KR102302932B1 (ko) 2017-04-28 2018-03-26 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 그리고 화상 복호화 장치, 화상 복호화 방법 및 화상 복호화 프로그램
CN202311599570.2A CN117395413A (zh) 2017-04-28 2018-03-26 图像编码装置和方法、以及图像解码装置和方法
RU2019138508A RU2749503C9 (ru) 2017-04-28 2018-03-26 Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи с программой кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи с программой декодирования изображения
PH12019550213A PH12019550213A1 (en) 2017-04-28 2019-10-15 Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program
US16/665,031 US10979710B2 (en) 2017-04-28 2019-10-28 Picture encoding device, picture encoding method, and picture encoding program, and picture decoding device, picture decoding method, and picture decoding program
US17/197,495 US11523114B2 (en) 2017-04-28 2021-03-10 Picture encoding device, picture encoding method, and picture encoding program, and picture decoding device, picture decoding method, and picture decoding program
US17/968,219 US11973946B2 (en) 2017-04-28 2022-10-18 Picture encoding device, picture encoding method, and picture encoding program, and picture decoding device, picture decoding method, and picture decoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017089252A JP6680260B2 (ja) 2017-04-28 2017-04-28 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020031700A Division JP6879401B2 (ja) 2020-02-27 2020-02-27 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Publications (3)

Publication Number Publication Date
JP2018191036A true JP2018191036A (ja) 2018-11-29
JP2018191036A5 JP2018191036A5 (ja) 2019-10-03
JP6680260B2 JP6680260B2 (ja) 2020-04-15

Family

ID=63918195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017089252A Active JP6680260B2 (ja) 2017-04-28 2017-04-28 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Country Status (10)

Country Link
US (3) US10979710B2 (ja)
EP (1) EP3618437A4 (ja)
JP (1) JP6680260B2 (ja)
KR (4) KR102437314B1 (ja)
CN (6) CN110476422B (ja)
BR (1) BR112019022270B1 (ja)
MX (1) MX2019012838A (ja)
PH (1) PH12019550213A1 (ja)
SG (2) SG10202013237VA (ja)
WO (1) WO2018198626A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256085A1 (en) * 2019-06-21 2020-12-24 Panasonic Intellectual Property Corporation Of America System and method for video coding

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6680260B2 (ja) * 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP6879401B2 (ja) * 2020-02-27 2021-06-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014195142A (ja) * 2013-03-28 2014-10-09 Kddi Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2016530775A (ja) * 2013-07-15 2016-09-29 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ インター色成分残差予測
WO2016157924A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2018509035A (ja) * 2015-01-27 2018-03-29 クアルコム，インコーポレイテッド 適応型成分間残差予測
JP2019531025A (ja) * 2016-10-04 2019-10-24 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像符号化／復号方法、装置及びビットストリームを記憶した記録媒体

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1843037B (zh) * 2003-08-26 2010-09-22 汤姆森特许公司 用于编码混合内部-相互编码块的方法和装置
CN100461867C (zh) * 2004-12-02 2009-02-11 中国科学院计算技术研究所 一种帧内图像预测编码方法
JP2011041037A (ja) * 2009-08-12 2011-02-24 Sony Corp 画像処理装置および方法
KR101447796B1 (ko) * 2010-04-13 2014-10-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 평면 간 예측
PT3301648T (pt) * 2010-04-13 2020-04-20 Ge Video Compression Llc Herança em matriz de amostras em subdivisão multitree
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP5898452B2 (ja) 2011-10-13 2016-04-06 日本放送協会 イントラ予測装置、符号化装置、復号装置、及びプログラム
KR20140092861A (ko) * 2011-10-31 2014-07-24 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법
JP2013110576A (ja) * 2011-11-21 2013-06-06 Jvc Kenwood Corp 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2015080004A (ja) * 2012-01-30 2015-04-23 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
US9077943B2 (en) * 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
AU2013200051B2 (en) * 2013-01-04 2016-02-11 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking video data
AU2013202653A1 (en) * 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
EP2983360A4 (en) * 2013-04-05 2016-11-16 Mitsubishi Electric Corp COLOR IMAGE DEVICE, COLOR IMAGE DECODER, COLOR IMAGE PROCESS AND COLOR IMAGE DECODING METHOD
EP3058730B8 (en) * 2013-10-18 2021-03-10 GE Video Compression, LLC Multi-component picture or video coding concept
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US9936201B2 (en) * 2015-01-27 2018-04-03 Qualcomm Incorporated Contexts for large coding tree units
US9591325B2 (en) * 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
WO2016148438A2 (ko) * 2015-03-13 2016-09-22 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
JP5991399B2 (ja) * 2015-03-31 2016-09-14 株式会社Ｊｖｃケンウッド 受信装置、受信方法、及び受信プログラム
WO2016154963A1 (en) * 2015-04-01 2016-10-06 Mediatek Inc. Methods for chroma coding in video codec
WO2017008263A1 (en) 2015-07-15 2017-01-19 Mediatek Singapore Pte. Ltd. Conditional binary tree block partitioning structure
US10547860B2 (en) * 2015-09-09 2020-01-28 Avago Technologies International Sales Pte. Limited Video coding with trade-off between frame rate and chroma fidelity
US20170105014A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
US20190260992A1 (en) * 2016-10-10 2019-08-22 Samsung Electronics Co., Ltd. Method and device for encoding or decoding luma block and chroma block
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
JP6680260B2 (ja) * 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014195142A (ja) * 2013-03-28 2014-10-09 Kddi Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2016530775A (ja) * 2013-07-15 2016-09-29 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ インター色成分残差予測
JP2018509035A (ja) * 2015-01-27 2018-03-29 クアルコム，インコーポレイテッド 適応型成分間残差予測
WO2016157924A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2019531025A (ja) * 2016-10-04 2019-10-24 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像符号化／復号方法、装置及びビットストリームを記憶した記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
F. URBAN ET AL.: "Decoupled Luma/Chroma Transform Trees for Intra", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 3RD MEETING: G, JPN6019040377, 25 May 2016 (2016-05-25), pages 1 - 4, ISSN: 0004137781 *
KEI KAWAMURA ET AL.: "AHG5: CU based chroma intra prediction with reduced reference", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JPN6019040376, 20 April 2013 (2013-04-20), pages 1 - 5, ISSN: 0004137780 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256085A1 (en) * 2019-06-21 2020-12-24 Panasonic Intellectual Property Corporation Of America System and method for video coding
US11909998B2 (en) 2019-06-21 2024-02-20 Panasonic Intellectual Property Corporation Of America System and method for video coding

Also Published As

Publication number Publication date
PH12019550213A1 (en) 2020-09-21
KR102602361B1 (ko) 2023-11-14
MX2019012838A (es) 2020-02-10
EP3618437A4 (en) 2020-08-12
CN117395416A (zh) 2024-01-12
CN117395413A (zh) 2024-01-12
SG10202013237VA (en) 2021-02-25
BR112019022270B1 (pt) 2022-05-31
CN112954320A (zh) 2021-06-11
US10979710B2 (en) 2021-04-13
US20210203932A1 (en) 2021-07-01
US11523114B2 (en) 2022-12-06
RU2749503C2 (ru) 2021-06-11
SG11201909569YA (en) 2019-11-28
EP3618437A1 (en) 2020-03-04
KR102302932B1 (ko) 2021-09-15
US11973946B2 (en) 2024-04-30
CN117395417A (zh) 2024-01-12
KR102522615B1 (ko) 2023-04-14
JP6680260B2 (ja) 2020-04-15
BR112019022270A2 (pt) 2020-05-19
US20200059645A1 (en) 2020-02-20
CN110476422B (zh) 2023-12-22
WO2018198626A1 (ja) 2018-11-01
KR20230054748A (ko) 2023-04-25
CN110476422A (zh) 2019-11-19
KR20200002030A (ko) 2020-01-07
KR20220121916A (ko) 2022-09-01
KR102437314B1 (ko) 2022-08-29
CN112954320B (zh) 2023-07-04
CN117395414A (zh) 2024-01-12
RU2019138508A3 (ja) 2021-05-28
RU2019138508A (ru) 2021-05-28
US20230042714A1 (en) 2023-02-09
KR20210114559A (ko) 2021-09-23

Similar Documents

Publication Publication Date Title
JP6565885B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
WO2018198626A1 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP7183334B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2023101760A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP7276549B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2022019711A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
RU2749503C9 (ru) Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи с программой кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи с программой декодирования изображения
RU2773145C9 (ru) Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения и способ декодирования изображения
RU2773145C1 (ru) Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения и способ декодирования изображения
WO2019167994A1 (ja) 画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2020010342A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2019161254A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190823

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190823

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200302

R150 Certificate of patent or registration of utility model

Ref document number: 6680260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313135

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313135

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250