JP2018107580A - 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム - Google Patents

動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム Download PDF

Info

Publication number
JP2018107580A
JP2018107580A JP2016250950A JP2016250950A JP2018107580A JP 2018107580 A JP2018107580 A JP 2018107580A JP 2016250950 A JP2016250950 A JP 2016250950A JP 2016250950 A JP2016250950 A JP 2016250950A JP 2018107580 A JP2018107580 A JP 2018107580A
Authority
JP
Japan
Prior art keywords
block
prediction
value
pixel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016250950A
Other languages
English (en)
Inventor
健士郎 武内
Kenshiro Takeuchi
健士郎 武内
数井　君彦
Kimihiko Kazui
君彦 数井
智史 島田
Tomohito Shimada
智史 島田
三好　秀誠
Hidemasa Miyoshi
秀誠 三好
ギヨム デニー クリスティアン バル
Denis Christian Barroux Guillaume
ギヨム デニー クリスティアン バル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016250950A priority Critical patent/JP2018107580A/ja
Priority to US15/837,065 priority patent/US10638155B2/en
Publication of JP2018107580A publication Critical patent/JP2018107580A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Abstract

【課題】予測ブロックにおける、符号化対象ブロックに対する予測精度を向上できる動画像符号化装置を提供する。【解決手段】動画像符号化装置１は、第１の参照ピクチャ上の第１の参照ブロックと、第２の参照ピクチャ上の第２の参照ブロックとの対応画素間の差分値を算出する差分部（１３１）と、差分値の絶対値が所定の閾値未満となる各画素について、双方向予測モードにしたがって、第１の参照ブロック及び第２の参照ブロックの対応画素の値に基づいて予測ブロックの対応画素の値を算出し、一方、差分値の絶対値が所定の閾値以上となる各画素について、第１の参照ブロック及び第２の参照ブロックのうちの何れか一方の対応画素の値に基づいて予測ブロックの対応画素の値を算出して、予測ブロックを生成する画素単位予測部（１３３）と、符号化対象ブロックと予測ブロックの対応画素間の予測誤差を符号化する符号化部（１０）とを有する。【選択図】図４

Description

本発明は、例えば、符号化対象ピクチャを他のピクチャの情報を用いて符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム、ならびに、他のピクチャの情報を用いて符号化されたピクチャを復号する動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムに関する。
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化標準として、Advanced Video Coding（MPEG-4 AVC|ITU-T H.264）及びHigh Efficiency Video Coding（HEVC|ITU-T H.265）が策定されている（例えば、非特許文献１及び２を参照）。
このような符号化標準では、符号化対象のピクチャはブロックごとに分割される。そして符号化対象ブロックごとに、既に符号化された他のピクチャまたは符号化対象ピクチャの符号化済みの領域から予測ブロックが生成され、符号化対象ブロックと予測ブロック間の差分を符号化することで冗長性が削減される。
また、このような符号化標準では、予測ブロックを生成する際に、既に符号化された他のピクチャを復号して得られる参照ピクチャ（局所復号ピクチャとも呼ばれる）を用いるインター予測符号化方式が採用されている。インター予測符号化方式では、符号化対象ブロックに対して、ピクチャ間での動きを補償するために、参照ピクチャから最も類似している領域が、参照ブロックとして求められる。そして参照ブロックに基づいて予測ブロックが生成される。インター予測符号化方式は、一般に、符号化対象ピクチャの符号化済みの領域から予測ブロックを生成するイントラ予測符号化方式の圧縮効率よりも高い圧縮効率を達成することができる。
インター予測符号化方式には、二つの参照ブロックを用いて一つの予測ブロックを生成する双方向予測(Bi-predictive prediction)モードと、一つの参照ブロックを用いて予測ブロックを生成する片方向予測モードとが含まれる。双方向予測モードで用いられる二つの参照ブロックの一方は、表示時間順で符号化対象ピクチャよりも前の参照ピクチャに含まれ、他方の参照ブロックは、表示時間順で符号化対象ピクチャよりも後の参照ピクチャに含まれてもよい。また、二つの参照ピクチャとも、表示時間順で符号化対象ピクチャよりも前の二つの異なる参照ピクチャに含まれてもよく、あるいは、表示時間順で符号化対象ピクチャよりも後の二つの異なる参照ピクチャに含まれてもよい。双方向予測モードを用いることで、動画像符号化装置は、参照ブロックに含まれる撮像ノイズ及び符号化ノイズの影響が軽減され、より精度の高い予測ブロックを作成することができる。そのため、結果として符号化効率が向上する。また、片方向予測モードでは、動画像符号化装置は、双方向予測モードで用いる二つの参照ブロックのうちどちらか一方を用いて予測ブロックを生成することができ、例えばHEVCでは、それぞれL0予測、L1予測と呼ばれる。L0予測及びL1予測は、参照ピクチャが一つしかない場合、あるいは、一方の参照ピクチャに、参照ブロックとなるべき、符号化対象ブロックに類似した領域が存在しない場合などに用いられる。
MPEG-4 AVCまたはHEVCといった符号化標準では、これらのインター予測符号化方式を効率よく適用するとともに、ピクチャ間での符号化による誤差の伝搬を抑制するため、Iピクチャ、Pピクチャ、Bピクチャの三種類のピクチャタイプが導入される。Iピクチャは、インター予測符号化方式とイントラ予測符号化方式のうちのイントラ予測符号化方式のみを用いて符号化されるピクチャである。Pピクチャは、片方向予測モード(L0/L1予測)もしくはイントラ予測符号化方式を用いて符号化されるピクチャである。そしてBピクチャは、イントラ予測符号化方式、片方向予測モード、及び双方向予測モードの何れかを用いて符号化されるピクチャである。なお、Pピクチャ及びBピクチャにおいては、適用可能な符号化方式及び予測モードのうちの何れを用いるかは、ブロックごとに切り替え可能である。
ITU-T Recommendation H.264 | ISO/IEC 14496-10 "Advanced Video Coding"、2003年5月 ITU-T Recommendation H.265 | ISO/IEC 23008-2 "High Efficiency Video Coding"、2013年4月
上記のように、Bピクチャにおいて、適用可能な予測モードはブロック単位で切り替え可能となっている。そのため、二つの参照ブロックの一方にのみ写る被写体（以下、説明の便宜上、障害物と呼ぶ）が含まれている場合、双方向予測モードによって生成された予測ブロックには障害物の情報が含まれることになる。例えば、HEVCでは、双方向予測モードにおいて、二つの参照ブロックの対応画素ごとに、画素値の重み付け平均値を予測ブロックの対応画素の値として算出することで予測ブロックが生成される。そのため、片方の参照ブロックに障害物が含まれる場合には、障害物が写っている画素について、障害物を表す画素値と障害物が無い場合の画素値（例えば、障害物の後ろに存在する物体を表す画素値）の重み付け平均値が予測ブロックの対応画素の画素値となる。したがって、符号化対象ブロックに障害物が含まれるか否かにかかわらず、生成された予測ブロックは、精度が不十分な予測ブロックとなる。
一つの側面では、本発明は、予測ブロックにおける、符号化対象ブロックに対する予測精度を向上できる動画像符号化装置を提供することを目的とする。
一つの実施形態によれば、動画像データに含まれる、双方向予測モードを適用可能な符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ブロックについて参照される、符号化対象ピクチャから第１の方向にある符号化済みの第１の参照ピクチャ上の第１の参照ブロックと、符号化対象ブロックについて参照される、符号化対象ピクチャから第２の方向にある符号化済みの第２の参照ピクチャ上の第２の参照ブロックとの対応画素間の差分値を算出する差分部と、差分値の絶対値が所定の閾値未満となる画素のそれぞれについて、双方向予測モードにしたがって、第１の参照ブロックの対応画素の値と第２の参照ブロックの対応画素の値とに基づいて予測ブロックの対応画素の値を算出し、一方、差分値の絶対値が所定の閾値以上となる画素のそれぞれについて、第１の参照ブロック及び第２の参照ブロックのうちの何れか一方の対応画素の値に基づいて予測ブロックの対応画素の値を算出して、予測ブロックを生成する画素単位予測部と、符号化対象ブロックと予測ブロックの対応画素間の予測誤差を算出し、その予測誤差を符号化する符号化部とを有する。
また他の実施形態によれば、符号化された動画像データに含まれる、双方向予測モードを適用可能な復号対象ピクチャを分割した複数のブロックのうちの復号対象ブロックを復号する動画像復号装置が提供される。この動画像復号装置は、復号対象ブロックについて参照される、復号対象ピクチャから第１の方向にある復号された第１の参照ピクチャ上の第１の参照ブロックと、復号対象ブロックについて参照される、復号対象ピクチャから第２の方向にある復号された第２の参照ピクチャ上の第２の参照ブロックとの対応画素間の差分値を算出する差分部と、差分値の絶対値が所定の閾値未満となる画素のそれぞれについて、双方向予測モードにしたがって、第１の参照ブロックの対応画素の値と第２の参照ブロックの対応画素の値とに基づいて予測ブロックの対応画素の値を算出し、一方、差分値の絶対値が所定の閾値以上となる画素のそれぞれについて、第１の参照ブロック及び第２の参照ブロックのうちの何れか一方の対応画素の値に基づいて予測ブロックの対応画素の値を算出して、予測ブロックを生成する画素単位予測部と、符号化された動画像データに含まれる、復号対象ブロックと予測ブロックの対応画素間の予測誤差に、予測ブロックの対応画素の値を加算することで復号対象ブロックを復号する復号部とを有する。
一つの側面では、予測ブロックにおける、符号化対象ブロックに対する予測精度を向上できる。
二つの参照ブロック、予測ブロック及び符号化対象ブロックの一例を示す図である。 一つの実施形態に係る動画像符号化装置の概略構成図である。 HEVCによる、ピクチャの分割の一例を示す図である。 画素単位予測モードの適用及びその適用判定に関連する、予測ブロック生成部のブロック図である。 画素単位予測モードが適用される場合における、L0予測ブロック、L1予測ブロック及び予測ブロックの一例を示す図である。 双方向予測モードが適用される符号化対象ブロックについての予測ブロック生成に関する動作フローチャートである。 動画像符号化処理の動作フローチャートである。 動画像復号装置の概略構成図である。 双方向予測モードが適用される復号対象ブロックについての予測ブロック生成部のブロック図である。 双方向予測モードが適用される復号対象ブロックについての予測ブロック生成に関する動作フローチャートである。 動画像復号処理の動作フローチャートである。 変形例による、予測方向決定の処理の概要を示す図である。 実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。
以下、図を参照しつつ、一つの実施形態による、動画像符号化装置について説明する。
最初に、双方向予測モードが適用される場合において、二つの参照ブロックの一方に障害物が含まれる場合に生成される予測ブロックについて説明する。
図１は、二つの参照ブロック、予測ブロック及び符号化対象ブロックの一例を示す図である。この例では、参照ブロックであるL0予測ブロック１０１及びL1予測ブロック１０２のうち、L1予測ブロック１０２の右上付近に障害物１１０が写っている。その結果、L0予測ブロック１０１及びL1予測ブロック１０２から生成される予測ブロック１０３においても、右上付近の画素の値が障害物１１０に影響される。そのため、符号化対象ブロック１０４と予測ブロック１０３とを比較すると、障害物１１０に影響された各画素について、画素値の差が大きくなってしまう。その結果として、符号化対象ブロック１０４についての符号化効率が低下する。このような場合、片方向予測モードにより、二つの参照ブロックのうち、より符号化対象ブロック１０４に類似するL0予測ブロック１０１に基づいて予測ブロックを生成することも考えられる。しかし、一般に、双方向予測モードの方が片方向予測モードよりも予測精度が高い予測ブロックを生成できる。そのため、障害物１１０が含まれない領域では、片方向予測モードを用いて生成された予測ブロックよりも、予測ブロック１０３の方が、符号化対象ブロック１０４に類似する可能性が高い。
そこで、本実施形態では、動画像符号化装置は、双方向予測モードが適用される符号化対象ブロックについて、二つの参照ブロックの対応画素間の差分値を算出する。そして動画像符号化装置は、差分値の絶対値が所定の閾値以上となる画素の数が一定数以上となる場合、画素ごとに、適用する予測モードを切り替える。すなわち、動画像符号化装置は、差分値の絶対値が所定の閾値未満となる画素については双方向予測モードにしたがって予測ブロックの対応画素の値を算出する。一方、差分値の絶対値が所定の閾値以上となる画素については、動画像符号化装置は、二つの参照ブロックのうち、予測誤差が小さい方の画像を用いる片方向予測モードにしたがって予測ブロックの対応画素の値を算出する。なお、以下では、画素ごとに適用する予測モードを切り替えて予測ブロックを生成する予測モードを、画素単位予測モードと呼ぶ。また、動画像符号化装置は、差分値の絶対値が所定の閾値以上となる画素の数が一定数未満であれば、双方向予測モードにしたがって予測ブロックを生成する。
なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
また本実施形態では、動画像符号化装置は、HEVCに準拠して動画像データを符号化するものとする。しかし、動画像符号化装置は、双方向予測モードを適用可能な他の符号化標準に準拠して動画像データを符号化してもよい。
図２は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、動き探索部１１と、符号化モード判定部１２と、予測ブロック生成部１３と、予測誤差信号算出部１４と、直交変換部１５と、量子化部１６と、復号部１７と、記憶部１８と、エントロピー符号化部１９とを有する。このうち、予測誤差信号算出部１４、直交変換部１５、量子化部１６、及びエントロピー符号化部１９は、符号化対象ブロックと予測ブロック間の対応画素間の予測誤差信号を符号化する符号化部１０を形成する。
動画像符号化装置１が準拠するHEVCでは、動画像データに含まれる各ピクチャは複数の段階で分割される。そこで先ず、HEVCにおける、ピクチャの分割について説明する。
図３は、HEVCによる、ピクチャの分割の一例を示す図である。図３に示されるように、ピクチャ３００は、符号化処理の単位であるCoding Tree Unit(CTU)単位で分割され、各CTU３０１は、ラスタスキャン順に符号化される。CTU３０１のサイズは、64x64〜16x16画素の中から選択できる。
CTU３０１は、さらに、四分木構造で複数のCoding Unit（CU）３０２に分割される。一つのCTU３０１内の各CU３０２は、Zスキャン順に符号化される。CU３０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU３０２は、符号化モードであるイントラ予測符号化方式とインター予測符号化方式を選択する単位となる。
CU３０２は、Prediction Unit（PU）３０３単位またはTransform Unit（TU）３０４単位で個別に処理される。PU３０３は、符号化モードに応じた予測が行われる、予測ブロックの生成単位となる。例えば、PU３０３は、イントラ予測符号化方式では、予測ブロックの生成の際に参照される画素及び予測ブロックの生成方法を規定する予測モードが適用される単位となる。一方、インター予測符号化方式では、PU３０３は、動き補償を行う単位となる。PU３０３のサイズは、例えば、インター予測符号化方式が適用される場合、2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2N（Nは、CUサイズ/2）の中から選択可能である。一方、TU３０４は、直交変換の単位であり、TUごとに直交変換される。TU３０４のサイズは、4x4画素〜32x32画素の中から選択される。TU３０４は、四分木構造で分割され、Zスキャン順に処理される。なお、CU及びPUは、符号化対象ブロックの一例である。
動画像符号化装置１は、符号化対象のピクチャについて、各CTUをラスタスキャン順に符号化する。そこで、以下では、動画像符号化装置１の各部について、一つのCTUに対する処理を例として説明する。
動き探索部１１は、符号化対象CTUを含む符号化対象ピクチャがインター予測符号化方式が適用可能なPピクチャまたはBピクチャである場合、符号化対象CTUについて適用可能なPUごとに動きベクトルを算出する。なお、符号化対象ピクチャの種別は、例えば、制御部（図示せず）が符号化対象の動画像データに適用するGroup Of Pictures(GOP)の構造及び符号化対象ピクチャのGOP内での位置に基づいて決定される。
動き探索部１１は、符号化対象CTUの着目するPUについて、局所復号ピクチャについての参照可能な領域に対してブロックマッチングを行って、着目するPUと最も一致する参照ブロックを特定する。そして動き探索部１１は、着目するPUと参照ブロック間の移動量を表すベクトルを動きベクトルとして算出する。なお、動き探索部１１は、符号化対象ピクチャがBピクチャである場合、L0予測とL1予測の両方について動きベクトルを算出する。動き探索部１１は、各PUの動きベクトルを、記憶部１８に記憶するとともに、符号化モード判定部１２へ通知する。
符号化モード判定部１２は、符号化対象CTUを分割するCU、PU及びTUの分割モード及びCUごとに適用される符号化モードを決定する。符号化モード判定部１２は、例えば、図示しない制御部から取得した、符号化対象CTUが含まれる符号化対象のピクチャのタイプを示す情報に基づいて、そのCTUの符号化モードを決定する。符号化対象のピクチャのタイプがイントラ予測符号化方式のみが適用可能なIピクチャであれば、符号化モード判定部１２は、適用される符号化モードとしてイントラ予測符号化方式を選択する。また、符号化対象のピクチャのタイプが、PピクチャまたはBピクチャであれば、符号化モード判定部１２は、例えば、適用される符号化モードとして、インター予測符号化方式及びイントラ予測符号化方式の何れかを選択する。
符号化モード判定部１２は、適用可能な符号化モードについての符号化対象CTUの符号化されたデータ量の評価値である符号化コストをCU単位でそれぞれ算出する。例えば、符号化モード判定部１２は、インター予測符号化方式については、CTUを分割するCU分割モード、PU分割モード及び動きベクトルの予測ベクトルの生成方法を規定するベクトルモードの組み合わせごとに符号化コストを算出する。なお、符号化モード判定部１２は、ベクトルモードとして、例えば、Adaptive Motion Vector Prediction(AMVP)モード、及び、Mergeモードの何れかを利用できる。
また、イントラ予測符号化方式については、符号化モード判定部１２は、CTUを分割するCU分割モード、PU分割モード及び予測モードの組み合わせごとに符号化コストを算出する。
符号化モード判定部１２は、符号化コストを算出するために、例えば、着目するPUについて、次式に従って、予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは着目するPUに含まれる画素の値であり、PredPixelは着目するブロックに対応する、符号化コストの算出対象となる符号化モードに従って生成された予測ブロックに含まれる画素の値である。
そして符号化モード判定部１２は、例えば、次式に従って、着目するCUについての符号化コストCostを算出する。
Cost=ΣSAD + λ*B
ここで、ΣSADは、着目するCUに含まれる各PUについて算出されたSADの総和である。またBは、動きベクトル、予測モードを表すフラグなど、予測誤差以外の項目についての符号量の推定値である。そしてλはラグランジュの未定乗数である。
なお、符号化モード判定部１２は、SADの代わりに、着目するPUと予測ブロックとの差分画像をアダマール変換した後の各画素のアダマール係数の絶対値和SATDを算出してもよい。
符号化モード判定部１２は、符号化対象CTUについて、例えば、取り得るCUサイズの中でサイズが大きい方から順に着目するCUを設定する。そして符号化モード判定部１２は、着目するCUについて、イントラ予測符号化方式に関してそのCU内のPU分割モードごとにコストが最小となる予測モードを選択する。また、符号化モード判定部１２は、着目するCUについて、インター予測符号化方式に関してそのCU内のPU分割モードごとにコストが最小となるベクトルモードを選択する。さらに、符号化モード判定部１２は、同サイズのCUごとに、イントラ予測符号化方式とインター予測符号化方式のうちで、符号化コストが小さい方を、そのCUについて適用する符号化モードとして選択する。
さらに、符号化モード判定部１２は、着目するCUを４分割したCUのそれぞれを、次に着目するCUとして、同様の処理を実行して、最小符号化コストを算出する。そして符号化モード判定部１２は、４分割したCUのそれぞれについて算出された、最小符号化コストの総和と、着目するCUについての最小符号化コストよりも小さければ、着目するCUを４分割する。符号化モード判定部１２は、各CUが分割されなくなるまで、上記の処理を繰り返すことで、符号化対象CTUに適用されるCU分割モード及びPU分割モードを決定する。
さらに、符号化モード判定部１２は、上記のようにして決定したCU分割モードに従ったCUごとに、TU分割モードを決定する。その際、符号化モード判定部１２は、適用可能なTU分割モードごとに、次式に従ってRDコストCostを算出する。
ここで、org(i)は、着目するCUに含まれる画素の値であり、ldec(i)は、着目するTU分割モードを用いてそのCUを符号化し、さらに復号して得られる復号画素の値を表す。またbitは、そのCUを着目するTU分割モードを用いて符号化したときの符号量を表す。（１）式の右辺の第一項は、符号化歪みを表し、右辺の第二項は符号量を表す。そのため、RDコストが最小となるTU分割モードでは、符号化歪みと符号量が最適なバランスとなっている。
そこで、符号化モード判定部１２は、RDコストCostが最小となるTU分割モードを選択する。
符号化モード判定部１２は、符号化対象CTUについて選択したCU及びPUの分割モード及び符号化モードの組み合わせを予測ブロック生成部１３に通知し、TU分割モードを予測誤差信号算出部１４へ通知する。また符号化モード判定部１２は、符号化対象CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを記憶部１８に保存する。
予測ブロック生成部１３は、符号化対象CTUについて選択されたCU及びPUの分割モード及び符号化モードの組み合わせに従ってPUごとに予測ブロックを生成する。予測ブロック生成部１３は、着目するCUがイントラ予測符号化される場合、そのCU内のPUごとに選択された予測モードに従って参照される、そのPUの周囲の局所復号ブロック内の画素の値に基づいて予測ブロックを生成する。
一方、予測ブロック生成部１３は、着目するCUがインター予測符号化される場合、そのCU内のPUごとに、記憶部１８から読み出した局所復号ピクチャを、そのPUについて算出された動きベクトルに基づいて動き補償することで予測ブロックを生成する。
なお、符号化モード判定部１２が着目するCU内の何れかのPUに対して双方向予測モードが適用されると判定した場合、予測ブロック生成部１３は、そのPUについて、画素単位で予測モードを切り替えるか否かを判定する。そして予測ブロック生成部１３は、画素単位で予測モードを切り替えると判定した場合、画素単位で予測モードを切り替えつつ、予測ブロックを生成する。なお、画素単位での予測モードの切替の詳細については後述する。
予測ブロック生成部１３は、生成された予測ブロックを予測誤差信号算出部１４へ渡す。
予測誤差信号算出部１４は、符号化対象CTU内の各画素について、予測ブロック生成部１３により生成された予測ブロックの対応画素との差分演算を実行する。そして予測誤差信号算出部１４は、符号化対象CTU内の各TUについて、その差分演算により得られたTU内の各画素に対応する差分値を、そのTUの予測誤差信号とする。予測誤差信号算出部１４は、符号化対象CTU内の各TUの予測誤差信号を直交変換部１５へわたす。
さらに、予測誤差信号算出部１４は、インター予測符号化される各PUについて、符号化モード判定部１２により適用されると判定されたベクトルモードにしたがってそのPUの予測ベクトルを作成する。そして予測誤差信号算出部１４は、そのPUの動きベクトルと予測ベクトル間の予測誤差信号を算出する。予測誤差信号算出部１４は、インター予測符号化される各PUの動きベクトルの予測誤差信号をエントロピー符号化部１９へわたす。
直交変換部１５は、符号化対象CTU内の各TUについて、そのTUの予測誤差信号を直交変換することで予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す直交変換係数を求める。例えば、直交変換部１５は、予測誤差信号に対して、直交変換処理として離散コサイン変換(Discrete Cosine Transform, DCT)を実行することにより、直交変換係数として、DCT係数の組を得る。
直交変換部１５は、各TUについての直交変換係数を量子化部１６へわたす。
量子化部１６は、符号化対象CTUにおいて、TUごとの直交変換係数を、量子化幅を指定するqp値などを含む量子化パラメータに従って量子化することにより、量子化された直交変換係数を算出する。なお、以下では、量子化された直交変換係数を、単に量子化係数と呼ぶことがある。
量子化部１６は、量子化された直交変換係数を復号部１７及びエントロピー符号化部１９へ出力する。
復号部１７は、符号化対象CTU内の各TUの量子化係数から、そのTUよりも後のCUなどを符号化するために参照される局所復号ブロックを生成し、その局所復号ブロックを記憶部１８に記憶する。そこで、復号部１７は、各TUの量子化された量子化係数を逆量子化することで、量子化前の直交変換係数を復元する。
復号部１７は、TUごとに、復元された直交変換係数に対して逆直交変換を行う。例えば、直交変換部１５が直交変換としてDCTを用いている場合、復号部１７は、逆直交変換として逆DCT処理を実行する。これにより、復号部１７は、TUごとに、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号を復元する。
復号部１７は、TUごとに、そのTUの予測ブロックの各画素値に、復元された予測誤差信号を加算することで、局所復号ブロックを生成する。
復号部１７は、局所復号ブロックを生成する度に、その局所復号ブロックを記憶部１８に記憶させる。
さらに、復号部１７は、１枚のピクチャ分の局所復号ブロックを各CTUの符号化順序にしたがって結合することで得られる局所復号ピクチャを記憶部１８に書き込む。
記憶部１８は、復号部１７から受け取った局所復号ブロックを一時的に記憶する。記憶部１８は、動き探索部１１、符号化モード判定部１２及び予測ブロック生成部１３に、局所復号ピクチャまたは局所復号ブロックを供給する。なお、記憶部１８は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分の局所復号ピクチャを記憶し、局所復号ピクチャの枚数がその所定枚数を超えると、符号化順序が古い局所復号ピクチャから順に破棄する。
さらに、記憶部１８は、インター予測符号化された局所復号ブロックのそれぞれについての動きベクトルを記憶する。さらにまた、記憶部１８は、各CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを記憶する。
エントロピー符号化部１９は、符号化対象CTUの各TUの量子化係数及び各PUの動きベクトルの予測誤差信号及びシンタックスなどをエントロピー符号化する。なお、シンタックスには、後述するように、画素単位予測モードが適用される場合の予測方向を表す情報が含まれる。さらに、シンタックスには、画素単位予測モードが適用されるか否かの判定に利用される閾値に関する情報が含まれてもよい。
本実施形態では、エントロピー符号化部１９は、エントロピー符号化方式として、Context-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いる。そしてエントロピー符号化部１９は、エントロピー符号化により得られたビットストリームを出力する。
エントロピー符号化部１９により出力された各CTUのビットストリームは所定の順序で結合され、HEVCで規定されるヘッダ情報などを付加することで、符号化された動画像データを含む符号化ビットストリームが得られる。動画像符号化装置１は、その符号化ビットストリームを磁気記録媒体、光記録媒体あるいは半導体メモリなどを有する記憶装置（図示せず）に記憶するか、あるいはその符号化ビットストリームを他の機器へ出力する。
以下、予測ブロック生成部１３における、画素単位の予測モードの適用及びその適用判定の詳細について説明する。
図４は、画素単位予測モードの適用及びその適用判定に関連する、予測ブロック生成部１３のブロック図である。予測ブロック生成部１３は、参照ブロック間差分部１３１と、画素単位予測モード適用判定部１３２と、画素単位予測部１３３と、ブロック単位予測部１３４とを有する。
参照ブロック間差分部１３１は、差分部の一例であり、双方向予測モードが適用されると判定されたCUについて、そのCU内のPUごとに、L0予測ブロックとL1予測ブロックとの間で、対応画素ごとに画素値の差分絶対値を算出する。そして参照ブロック間差分部１３１は、画素単位予測モード適用判定部１３２及び画素単位予測部１３３へ、PUごとの各画素の差分絶対値を通知する。
画素単位予測モード適用判定部１３２は、判定部の一例であり、双方向予測モードが適用されると判定されたCUについて、そのCU内のPUごとに、画素単位予測モードを適用するか否かを判定する。そのために、画素単位予測モード適用判定部１３２は、各画素の差分絶対値を差分閾値と比較して、差分絶対値が差分閾値以上となる画素の数をカウントする。なお、以下では、便宜上、差分絶対値が差分閾値以上となる画素をオクルージョン画素と呼び、符号化対象ブロック（この例ではPU）に含まれるオクルージョン画素の数をオクルージョン数と呼ぶ。そして画素単位予測モード適用判定部１３２は、PUごとに、オクルージョン数をオクルージョン閾値と比較する。画素単位予測モード適用判定部１３２は、オクルージョン数がオクルージョン閾値以上となるPUについて、画素単位予測モードを適用すると判定し、一方、オクルージョン数がオクルージョン閾値未満となるPUについて、双方向予測モードを適用すると判定する。
なお、差分閾値は、例えば、動画像符号化装置１と動画像復号装置の両方において同じ値に予め設定される。この場合、差分閾値は、例えば、画素値（輝度値あるいは色差値）が8ビット階調で表される場合、10〜30に設定される。あるいは、差分閾値は、動画像符号化装置１により設定され、設定された差分閾値を表す情報が動画像データの符号化ビットストリームに含められてもよい。この場合には、設定された差分閾値を表す情報は、例えば、HEVCにおけるSequence Parameter Set(SPS)またはPicture Parameter Set(PPS)のようなハイレベルシンタックスに含められてもよく、あるいは、CUまたはPUのシンタックスに含められてもよい。そして設定された差分閾値を表す情報も、エントロピー符号化部１９によりエントロピー符号化されて、符号化ビットストリームに含められればよい。
同様に、オクルージョン閾値も、動画像符号化装置１と動画像復号装置の両方において同じ値に予め設定されてもよい。この場合、オクルージョン閾値は、例えば、画素単位予測モードの適用可否を判定する対象となるブロック（この例では、PU）に含まれる画素数に対する所定の割合（例えば、1/8）に相当する値に設定される。あるいは、オクルージョン閾値も、動画像符号化装置１により設定され、設定されたオクルージョン閾値を表す情報が動画像データの符号化ビットストリームに含められてもよい。この場合には、設定されたオクルージョン閾値を表す情報は、例えば、HEVCにおけるSPSまたはPPSのようなハイレベルシンタックスに含められてもよく、あるいは、CUまたはPUのシンタックスに含められてもよい。そして設定されたオクルージョン閾値を表す情報も、エントロピー符号化部１９によりエントロピー符号化されて、符号化ビットストリームに含められればよい。
なお、変形例によれば、画素単位予測モード適用判定部１３２は、CUごとに、画素単位モード予測モードを適用するか否かを判定してもよい。この場合には、画素単位予測モード適用判定部１３２は、CUごとにオクルージョン数を算出し、そのオクルージョン数がオクルージョン閾値以上となるCUについて、画素単位予測モードが適用されると判定してもよい。
画素単位予測モード適用判定部１３２は、PUごと、あるいはCUごとに、画素単位予測モードの適用可否の判定結果を画素単位予測部１３３及びブロック単位予測部１３４へ通知する。また、画素単位予測モード適用判定部１３２は、動画像符号化装置１が差分閾値及びオクルージョン閾値を設定する場合、差分閾値及びオクルージョン閾値をエントロピー符号化部１９へ通知する。
画素単位予測部１３３は、画素単位予測モードが適用されるPU、あるいは、画素単位予測モードが適用されるCUに含まれる各PUについて、画素単位予測モードにしたがって予測ブロックを生成する。
画素単位予測部１３３は、L0予測ブロックとL1予測ブロックの対応画素間の画素値の差分絶対値が差分閾値未満となる画素については、双方向予測モードにしたがって、L0予測ブロックとL1予測ブロックに基づいて予測ブロックの対応画素の値を算出する。すなわち、画素単位予測部１３３は、その画素について、L0予測ブロックとL1予測ブロックのそれぞれの対応画素の値を重み付け平均することで予測ブロックの対応画素の値を算出する。なお、L0予測ブロックに対する重み係数は、例えば、L0予測ブロックが含まれる参照ピクチャと符号化対象ピクチャ間の表示時間差の逆数に応じて設定される。同様に、L1予測ブロックに対する重み係数は、例えば、L1予測ブロックが含まれる参照ピクチャと符号化対象ピクチャ間の表示時間差の逆数に応じて設定される。
また、画素単位予測部１３３は、オクルージョン画素については、片方向予測モードにしたがって、L0予測ブロックとL1予測ブロックの何れか一方に基づいて予測ブロックの対応画素の値を算出する。例えば、画素単位予測部１３３は、オクルージョン画素の集合領域（以下、オクルージョン領域と呼ぶ）について、L0予測ブロックとL1予測ブロックのうち、符号化対象ブロックとの対応画素間の予測誤差の統計値が小さくなる方を予測ブロックの生成に利用する。
L0予測ブロックとL1予測ブロックのうちの利用する方を決定するために、例えば、画素単位予測部１３３は、オクルージョン領域内の各画素について、L0予測ブロックと符号化対象のPUとの対応画素間の差分絶対値の総和SADL0を予測誤差の統計値として算出する。同様に、画素単位予測部１３３は、オクルージョン領域内の各画素について、L1予測ブロックと符号化対象のPUとの対応画素間の差分絶対値の総和SADL1を予測誤差の統計値として算出する。そして画素単位予測部１３３は、総和SADL0とSADL1のうちの小さい方に対応するLm予測ブロック(m=0または1)を、予測ブロックのオクルージョン領域内の各画素の値を決定するために利用する。例えば、L0予測ブロックが利用される場合、画素単位予測部１３３は、予測ブロックのオクルージョン領域内の各画素について、L0予測ブロックの対応画素の値を予測ブロックのその画素の値とすればよい。
あるいは、画素単位予測部１３３は、符号化モード判定部１２が符号化モードを判定する際に算出した、L0予測ブロックを用いる場合の片方向予測モードにおける符号化対象のPUの符号化コストを予測誤差の統計値としてもよい。同様に、画素単位予測部１３３は、L1予測ブロックを用いる場合の片方向予測モードにおける符号化対象のPUの符号化コストとを予測誤差の統計値としてもよい。そして画素単位予測部１３３は、オクルージョン領域に含まれる各画素について、符号化コストが小さい方のLm予測ブロックを、予測ブロックのオクルージョン領域内の各画素の値を決定するために利用してもよい。これは、オクルージョン領域外の各画素について、L0予測ブロック及びL1予測ブロックの何れについても予測誤差は相対的に小さく、オクルージョン領域の予測誤差の統計値が符号化コストに大きく寄与すると想定されるためである。
なお、画素単位予測部１３３は、CU単位でオクルージョン領域に利用する予測画像を決定してもよい。この場合も、画素単位予測部１３３は、CUごとに、そのCUに含まれるオクルージョン領域に対して上記と同様の処理を行って、L0予測ブロックとL1予測ブロックのうちの何れを用いるかを決定してもよい。
画素単位予測部１３３は、CUごと、あるいはPUごとに、オクルージョン領域に利用される予測画像がL0予測ブロックかL1予測ブロックかを表す情報、すなわち、予測方向を表す情報を動画像データの符号化ビットストリームに含める。例えば、画素単位予測部１３３は、CUごと、あるいはPUごとに、予測方向を表す情報をCUまたはPUのシンタックスに含める。予測方向を表す情報は、例えば、L0予測ブロックが用いられる場合とL1予測ブロックが用いられる場合とで異なる値を持つフラグとすることができる。そしてこのシンタックスも、エントロピー符号化部１９によりエントロピー符号化されてもよい。
画素単位予測部１３３は、上記のように、画素単位で双方向予測モードと片方向予測モードの何れかを適用して予測ブロックを生成する。そして画素単位予測部１３３は、生成した予測ブロックを予測誤差信号算出部１４へ出力する。また画素単位予測部１３３は、予測方向を表す情報をエントロピー符号化部１９へ出力する。
図５は、画素単位予測モードが適用される場合における、L0予測ブロック、L1予測ブロック及び予測ブロックの一例を示す図である。この例では、参照ブロックであるL0予測ブロック５０１及びL1予測ブロック５０２のうち、L1予測ブロック５０２の右上付近に障害物が写っている領域５１０が含まれる。その結果、L0予測ブロック５０１及びL1予測ブロック５０２の対応画素間の差分絶対値を表す差分画像５０３においても、領域５１０の各画素の差分絶対値が大きくなるので、領域５１０がオクルージョン領域となる。そして、オクルージョン領域５１０においては、L0予測ブロック５０１の方がL1予測ブロック５０２よりも符号化対象ブロック（例えば、PU）５０４と類似しているので、オクルージョン領域５１０ではL0予測ブロックを用いた片方向予測モードが適用される。一方、オクルージョン領域５１０以外では、双方向予測モードが適用される。その結果、予測ブロック５０５では、オクルージョン領域５１０においても障害物の影響が排除され、予測ブロック５０５全体として、符号化対象ブロック５０４に対する予測誤差が小さくなる。
なお、符号化対象ブロック５０４において、オクルージョン領域５１０に障害物が写っている場合には、オクルージョン領域５１０についてL1予測ブロックを用いた片方向予測モードが適用されることになる。そのため、この場合も、予測ブロック全体に対して双方向予測モードが適用される場合よりも符号化対象ブロック５０４に対する予測誤差が小さい予測ブロックが生成される。
ブロック単位予測部１３４は、画素単位予測モードが適用されないPU、あるいは、画素単位予測モードが適用されないCUに含まれる各PUについて、双方向予測モードにしたがって予測ブロックを生成する。すなわち、ブロック単位予測部１３４は、予測ブロックの各画素について、L0予測ブロックとL1予測ブロックのそれぞれの対応画素の値を重み付け平均することで予測ブロックのその画素の値を算出すればよい。なお、L0予測ブロックに対する重み係数は、例えば、L0予測ブロックが含まれる参照ピクチャと符号化対象ピクチャ間の表示時間差の逆数に応じて設定される。同様に、L1予測ブロックに対する重み係数は、例えば、L1予測ブロックが含まれる参照ピクチャと符号化対象ピクチャ間の表示時間差の逆数に応じて設定される。
ブロック単位予測部１３４は、生成した予測ブロックを予測誤差信号算出部１４へ出力する。
図６は、予測ブロック生成部１３による、双方向予測モードが適用される符号化対象ブロック（PUまたはCU）についての予測ブロック生成に関する動作フローチャートである。予測ブロック生成部１３は、符号化対象ブロックごとに、以下の動作フローチャートに従って予測ブロックを生成する。
参照ブロック間差分部１３１は、各画素について、L0予測ブロックとL1予測ブロックとの対応画素間の画素値の差分絶対値を算出する（ステップＳ１０１）。
画素単位予測モード適用判定部１３２は、各画素の差分絶対値を差分閾値と比較して、差分絶対値が差分閾値以上となるオクルージョン画素の数をカウントしてオクルージョン数Cを求める（ステップＳ１０２）。そして画素単位予測モード適用判定部１３２は、オクルージョン数Cがオクルージョン閾値Thc以上か否か判定する（ステップＳ１０３）。
オクルージョン数Cがオクルージョン閾値Thc未満である場合（ステップＳ１０３−Ｎｏ）、ブロック単位予測部１３４は、予測ブロック全体に対して双方向予測モードを適用する。そしてブロック単位予測部１３４は、L0予測ブロックとL1予測ブロックの両方に基づいて予測ブロックを生成する（ステップＳ１０４）。
一方、オクルージョン数Cがオクルージョン閾値Thc以上である場合（ステップＳ１０３−Ｙｅｓ）、画素単位予測部１３３は、差分絶対値が差分閾値未満となる各画素、すなわち、オクルージョン領域に含まれない各画素について、双方向予測モードを適用する。そして画素単位予測部１３３は、L0予測ブロックとL1予測ブロックに基づいて予測ブロックの対応画素の値を算出する（ステップＳ１０５）。また、画素単位予測部１３３は、各オクルージョン画素について、片方向予測モードを適用する。そして画素単位予測部１３３は、L0予測ブロックとL1予測ブロックのうち、オクルージョン領域における符号化対象ブロックとの予測誤差の統計値が小さい方に基づいて、各オクルージョン画素に対応する予測ブロックの画素の値をもとめる（ステップＳ１０６）。
予測ブロック生成部１３は、ステップＳ１０４またはステップＳ１０６の後、双方向予測モードが適用される符号化対象ブロックについての予測ブロック生成処理を終了する。なお、ステップＳ１０５の処理とステップＳ１０６の処理の順序は入れ替えられてもよい。
図７は、動画像符号化装置１により実行される、動画像符号化処理の動作フローチャートである。動画像符号化装置１は、CTUごとに以下に示される動作フローチャートに従って動画像符号化処理を実行する。
動き探索部１１は、符号化対象CTU内の適用可能な各PUについて動きベクトルを算出する（ステップＳ２０１）。そして動き探索部１１は、各PUの動きベクトルを符号化モード判定部１２へ通知する。なお、符号化対象CTUが含まれる符号化対象ピクチャがBピクチャである場合には、L0方向及びL1方向のそれぞれについて動きベクトルを算出する。また、符号化対象ピクチャがIピクチャである場合には、ステップＳ２０１の処理は省略されてもよい。
符号化モード判定部１２は、符号化対象CTUについて、CU、PU及びTUのそれぞれの分割モード、適用される符号化方式及び予測モードを決定する（ステップＳ２０２）。そして符号化モード判定部１２は、CU及びPUの分割モード、適用される符号化方式及び予測モードを予測ブロック生成部１３に通知するとともに、TU分割モードを予測誤差信号算出部１４に通知する。また、符号化モード判定部１２は、CU、PU及びTUのそれぞれの分割モード及び適用される符号化モードを記憶部１８に記憶する。
予測ブロック生成部１３は、決定されたCU及びPUの分割モード、適用される符号化方式及び予測モードに応じて予測ブロックを生成する（ステップＳ２０３）。なお、適用される予測モードが双方向予測モードであるCUまたはPUについては、予測ブロック生成部１３は、図６に示される動作フローチャートに従って予測ブロックを生成する。そして予測ブロック生成部１３は、生成した予測ブロックを予測誤差信号算出部１４へわたす。
予測誤差信号算出部１４は、符号化対象CTUと予測ブロックの対応画素間の予測誤差信号を算出する（ステップＳ２０４）。そして予測誤差信号算出部１４は、符号化対象CTUの各画素の予測誤差信号を直交変換部１５へわたす。
直交変換部１５は、各画素の予測誤差信号をTUごとに直交変換することで、TUごとに直交変換係数を算出する（ステップＳ２０５）。そして直交変換部１５は、各TUの直交変換係数を量子化部１６へわたす。
量子化部１６は、符号化対象CTUの各TUの直交変換係数を量子化して量子化係数を算出する（ステップＳ２０６）。そして量子化部１６は、各TUの量子化係数を復号部１７及びエントロピー符号化部１９へ出力する。
復号部１７は、符号化対象CTUの各TUについての量子化係数から、そのCTUに対応する局所復号ブロックを生成する（ステップＳ２０７）。そして復号部１７は、局所復号ブロックを記憶部１８に記憶する。
エントロピー符号化部１９は、符号化対象CTUの各TUについての量子化係数及び動きベクトルについての予測誤差などをエントロピー符号化する。さらに、エントロピー符号化部１９は、画素単位予測モードが適用される各PUにおいて適用される予測方向を表す情報含む、各種シンタックスをエントロピー符号化する（ステップＳ２０８）。エントロピー符号化部１９は、得られた符号化ビットストリームを出力する。そして動画像符号化装置１は、一つのCTUに対する動画像符号化処理を終了する。
以上に説明してきたように、この動画像符号化装置は、双方向予測モードが適用されると判定された符号化対象ブロックについて、L0予測ブロックとL1予測ブロックの対応画素間の差分絶対値を算出する。そしてこの動画像符号化装置は、差分絶対値が差分閾値以上となる各画素について、画素単位で片方向予測モードを適用して予測ブロックを生成する。このように、この動画像符号化装置は、画素単位で、双方向予測モードと片方向予測モードとを切り替えて予測ブロックを生成することを可能とする。そのため、この動画像符号化装置は、L0予測ブロックとL1予測ブロックの一方にしか写っていない被写体が存在する場合でも、符号化対象ブロックに対する予測ブロックの予測精度を向上することができる。その結果として、この動画像符号化装置は、動画像データの符号化効率を向上できる。
図８は、上記の実施形態による動画像符号化装置により符号化された動画像データを復号する動画像復号装置の概略構成図である。動画像復号装置２は、エントロピー復号部２１と、予測ブロック生成部２２と、復号部２３と、記憶部２４とを有する。
動画像復号装置２が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像復号装置２が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像復号装置２に実装されてもよい。さらに、動画像復号装置２が有するこれらの各部は、動画像復号装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
動画像復号装置２は、符号化された動画像データを含む符号化ビットストリームを、例えば、通信ネットワーク及び動画像復号装置２を通信ネットワークに接続するためのインターフェース回路を介して取得する。そして動画像復号装置２は、その符号化ビットストリームを、図示しないバッファメモリに記憶させる。動画像復号装置２は、符号化されたデータを、CTU単位でバッファメモリから読み出し、そのCTU単位のデータをエントロピー復号部２１へ入力する。
エントロピー復号部２１は、CTU単位で符号化されているデータをエントロピー復号する。そしてエントロピー復号部２１は、CTU内の各TUの量子化係数を復号する。またエントロピー復号部２１は、インター予測符号化されている各CUについて、そのCUに含まれる各PUについての動きベクトルの予測誤差信号をエントロピー復号する。さらに、エントロピー復号部２１は、イントラ予測符号化されている各CUについて、そのCUに含まれる各PUについての予測モードをエントロピー復号する。さらに、エントロピー復号部２１は、適用された分割モード、符号化方式などを表すシンタックス、及び、双方向予測モードが適用されるCUについてオクルージョン領域に適用される予測方向を表すシンタックスを含む、各種シンタックスをエントロピー復号する。そしてエントロピー復号部２１は、各種シンタックスなどを予測ブロック生成部２２へわたす。またエントロピー復号部２１は、量子化係数を復号部２３へ渡す。
予測ブロック生成部２２は、復号対象CTUについて、復号済みのピクチャまたは復号対象ピクチャの復号済みの領域を参照して、CUごとに、そのCUに含まれる各PUの予測ブロックを生成する。その際、予測ブロック生成部２２は、動画像符号化装置１の予測ブロック生成部１３と同様の処理を実行することにより予測ブロックを生成すればよい。さらに、予測ブロック生成部２２は、適用されたベクトルモードを表す情報、及び、動きベクトルの予測誤差信号などから動きベクトルも再生する。
図９は、双方向予測モードが適用されるCUについての予測ブロック生成部２２のブロック図である。予測ブロック生成部２２は、参照ブロック間差分部２２１と、画素単位予測モード適用判定部２２２と、画素単位予測部２２３と、ブロック単位予測部２２４とを有する。
参照ブロック間差分部２２１は、差分部の一例であり、動画像符号化装置１における参照ブロック間差分部１３１と同様の処理を実行する。すなわち、参照ブロック間差分部２２１は、双方向予測モードが適用されたCUについて、そのCU内のPUごとに、L0予測ブロックとL1予測ブロックとの間で、対応画素ごとに画素値の差分絶対値を算出する。そして参照ブロック間差分部２２１は、画素単位予測モード適用判定部２２２及び画素単位予測部２２３へ、PUごとの各画素の差分絶対値を通知する。
画素単位予測モード適用判定部２２２は、判定部の一例であり、動画像符号化装置１における画素単位予測モード適用判定部１３２と同様に、双方向予測モードが適用されたCU内のPUごとに、画素単位予測モードを適用するか否かを判定する。そのために、画素単位予測モード適用判定部２２２は、各画素の差分絶対値を差分閾値と比較して、差分絶対値が差分閾値以上となる画素をもとめる。そして画素単位予測モード適用判定部２２２は、オクルージョン数をカウントする。画素単位予測モード適用判定部２２２は、PUごとに、オクルージョン数をオクルージョン閾値と比較する。画素単位予測モード適用判定部２２２は、オクルージョン数がオクルージョン閾値以上となるPUについて、画素単位予測モードを適用すると判定し、一方、オクルージョン数がオクルージョン閾値未満となるPUについて、双方向予測モードを適用すると判定する。
なお、差分閾値及びオクルージョン閾値として、予め設定された値が使用される場合に、画素単位予測モード適用判定部２２２は、その予め設定された差分閾値及びオクルージョン閾値を使用すればよい。また、差分閾値及びオクルージョン閾値を表す情報が符号化ビットストリームに含まれる場合には、画素単位予測モード適用判定部２２２は、その情報で示された差分閾値及びオクルージョン閾値を利用すればよい。
画素単位予測モード適用判定部２２２は、PUごと、あるいはCUごとに、画素単位予測モードの適用可否の判定結果を画素単位予測部２２３及びブロック単位予測部２２４へ通知する。
画素単位予測部２２３は、動画像符号化装置１における画素単位予測部１３３と同様に、画素単位予測モードが適用されるPU、あるいは、画素単位予測モードが適用されるCUに含まれる各PUについて、画素単位予測モードにしたがって予測ブロックを生成する。
すなわち、画素単位予測部２２３は、L0予測ブロックとL1予測ブロックの対応画素間の画素値の差分絶対値が差分閾値未満となる画素について、双方向予測モードにしたがって、L0予測ブロックとL1予測ブロックに基づいて予測ブロックの対応画素の値を算出する。
また、画素単位予測部２２３は、オクルージョン画素については、片方向予測モードにしたがって、L0予測ブロックとL1予測ブロックの何れか一方に基づいて予測ブロックの対応画素の値を算出する。この場合、例えば、画素単位予測部２２３は、エントロピー復号された、画素単位予測モードで参照される予測方向の情報を参照することで、L0予測ブロック及びL1予測ブロックのうちの参照する予測画像を決定すればよい。
ブロック単位予測部２２４は、動画像符号化装置１におけるブロック単位予測部１３４と同様の処理を実行する。すなわち、ブロック単位予測部２２４は、画素単位予測モードが適用されないPU、あるいは、画素単位予測モードが適用されないCUに含まれる各PUについて、双方向予測モードにしたがって予測ブロックを生成する。
予測ブロック生成部２２は、生成した予測ブロックを復号部２３へ出力する。
図１０は、予測ブロック生成部２２による、双方向予測モードが適用される復号対象ブロック（PUまたはCU）についての予測ブロック生成に関する動作フローチャートである。予測ブロック生成部２２は、符号化対象ブロックごとに、以下の動作フローチャートに従って予測ブロックを生成する。
参照ブロック間差分部２２１は、各画素について、L0予測ブロックとL1予測ブロックとの対応画素間の画素値の差分絶対値を算出する（ステップＳ３０１）。
画素単位予測モード適用判定部２２２は、各画素の差分絶対値を差分閾値と比較して、差分絶対値が差分閾値以上となる画素の数をカウントしてオクルージョン数Cを求める（ステップＳ３０２）。そして画素単位予測モード適用判定部２２２は、オクルージョン数Cがオクルージョン閾値Thc以上か否か判定する（ステップＳ３０３）。
オクルージョン数Cがオクルージョン閾値Thc未満である場合（ステップＳ３０３−Ｎｏ）、ブロック単位予測部２２４は、予測ブロック全体に対して双方向予測モードを適用する。そしてブロック単位予測部２２４は、L0予測ブロックとL1予測ブロックに基づいて予測ブロックを生成する（ステップＳ３０４）。
一方、オクルージョン数Cがオクルージョン閾値Thc以上である場合（ステップＳ３０３−Ｙｅｓ）、画素単位予測部２２３は、差分絶対値が差分閾値未満となる各画素、すなわち、オクルージョン領域に含まれない各画素について、双方向予測モードを適用する。そして画素単位予測部２２３は、L0予測ブロックとL1予測ブロックに基づいて予測ブロックの対応画素の値を算出する（ステップＳ３０５）。また、画素単位予測部２２３は、差分絶対値が差分閾値以上となる各画素、すなわち、オクルージョン領域に含まれる各画素について、片方向予測モードを適用する。そして画素単位予測部２２３は、L0予測ブロックとL1予測ブロックのうち、エントロピー復号された予測方向を表す情報で示される方の予測画像に基づいて予測ブロックの対応画素の値を算出する（ステップＳ３０６）。
予測ブロック生成部２２は、ステップＳ３０４またはステップＳ３０６の後、双方向予測モードが適用される符号化対象ブロックについての予測ブロック生成処理を終了する。なお、ステップＳ３０５の処理とステップＳ３０６の処理の順序は入れ替えられてもよい。
復号部２３は、エントロピー復号部２１から受け取った各TUの量子化係数に、復号されたヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、各TUの直交変換係数が復元される。その後、復号部２３は、TUごとに、直交変換係数を逆直交変換処理する。逆量子化処理及び逆直交変換処理を各TUの量子化係数に対して実行することにより、CTU全体の各画素の予測誤差信号が再生される。
復号部２３は、各PUの予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、各PUを復号できる。そして復号部２３は、復号された各PUを、符号化順序に従って結合することにより、CTUを復号する。復号部２３は、復号されたCTUを記憶部２４に記憶させる。また、復号部２３は、復号されたCTUを、符号化順序に従って結合することでピクチャ全体を復号する。復号部２３は、復号されたピクチャを記憶部２４に記憶するとともに、復号されたピクチャをバッファメモリに記憶する。バッファメモリに記憶されている復号された各ピクチャは、制御部（図示せず）により表示順序に従って、表示装置（図示せず）へ出力される。
記憶部２４は、復号部２３から受け取った、復号されたCTU及び復号されたピクチャを一時的に記憶する。そして記憶部２４は、予測ブロック生成部２２に、CTUを参照領域として、あるいはピクチャを参照ピクチャとして供給する。なお、記憶部２４は、予め定められた所定枚数分のピクチャを記憶し、記憶されているデータ量がその所定枚数に相当する量を超えると、符号化順序が古いピクチャから順に破棄する。
図１１は、動画像復号装置２により実行される、動画像復号処理の動作フローチャートである。動画像復号装置２は、復号対象となるCTUごとに図１１に示される動画像復号処理を実行する。
エントロピー復号部２１は、CTU単位で符号化されているデータをエントロピー復号することにより、復号対象CTUの各TUの量子化係数、及び画素単位予測モードにおける予測方向を表す情報を含む各種シンタックスなどを再生する（ステップＳ４０１）。
また、予測ブロック生成部２２は、復号対象CTUに含まれる各CUについて適用された予測符号化方式及び予測モードに応じて、復号済みのピクチャまたは復号対象ピクチャの復号済みの領域を参照してPUごとに予測ブロックを生成する（ステップＳ４０２）。
復号部２３は、エントロピー復号部２１から受け取った量子化係数に、符号化ビットストリームに含まれるヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。そして、復号部２３は、直交変換信号をTU単位で逆直交変換処理することにより復号対象CTUの予測誤差信号を再生する。その後、復号部２３は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、復号対象CTUを再生する（ステップＳ４０３）。復号部２３は、再生したCTUを記憶部２４に記憶する。そして動画像復号装置２は、復号対象CTUについての動画像復号処理を終了する。
以上に説明してきたように、この動画像復号装置は、上記の実施形態による動画像符号化装置により、画素単位予測モードを適用して符号化されたブロックが含まれていても、符号化された動画像データを復号できる。
なお、変形例によれば、動画像符号化装置及び動画像復号装置のそれぞれにおいて、画素単位予測部は、画素単位予測モードが適用される符号化対象（あるいは復号対象）ブロックについてその周囲の符号化済み（あるいは復号済み）の領域を参照してもよい。そして画素単位予測部は、その周囲の領域に基づいて、片方向予測モードが適用されるオクルージョン領域において参照される予測方向を決定してもよい。
図１２は、この変形例による、予測方向決定の処理の概要を示す図である。この例では、L0予測ブロック１２０１及びL1予測ブロック１２０２において、右上端近傍にオクルージョン領域１２１０が含まれている。この場合、画素単位予測部は、L0予測ブロック１２０１及びL1予測ブロック１２０２のそれぞれのオクルージョン領域１２１０と、符号化（復号）対象ブロック１２０３の上側に隣接する領域１２１１との間で空間的な連続性を判定する。そして画素単位予測部は、L0予測ブロック１２０１とL1予測ブロック１２０２のうち、領域１２１１との空間的な連続性が高い方を、画素単位予測モードで参照する予測画像とする。これは、障害物が、符号化対象ブロック１２０３のオクルージョン領域１２１０と隣接する領域１２１１とにわたって写っているなら、一方の予測ブロックのオクルージョン領域１２１０と領域１２１１の空間的な連続性も高くなると想定されるためである。
なお、画素単位予測部は、空間的な連続性を調べるために、例えば、HEVCで規定されている、イントラ予測符号化方式における予測モードのそれぞれに従って符号化（復号）対象ブロックの周囲の符号化済み（復号済み）の領域からイントラ予測ブロックを生成する。そして画素単位予測部は、各予測モードについて生成されたイントラ予測ブロックと、Lm予測ブロック(m=0または1)との間で、オクルージョン領域の対応画素間の差分絶対値和SADを算出する。画素単位予測部は、その差分絶対値和SADの最小値を、空間的な連続性を表す特徴量とすることができる。
この変形例によれば、動画像符号化装置は、画素単位予測モードが適用される場合の予測方向を表す情報を符号化ビットストリームに含めなくても、動画像復号装置は、その予測方向を特定できる。そのため、この変形例による動画像符号化装置及び動画像復号装置は、符号化効率をより向上できる。
なお、上記の変形例は、符号化（復号）済みの領域と隣接する、符号化（復号）対象ブロックの左端または上端の画素列（図１２における画素列１２２０）とオクルージョン領域とが重なっている場合に適用されるようにしてもよい。また、画素単位予測部は、空間的な連続性を調べるために、オクルージョン領域に含まれ、かつ、左端または上端の画素列に含まれる画素についてSADを算出してもよい。そしてそれ以外の場合には、上記の実施形態と同様に、符号化ビットストリームに予測方向を表す情報が含められてもよい。
また他の変形例によれば、動画像符号化装置は、双方向予測モードが適用される符号化対象ブロックについて、オクルージョン数に関わらず、画素単位予測モードを適用するようにしてもよい。この場合には、動画像符号化装置において、画素単位予測モード適用判定部１３２は省略されてもよい。同様に、動画像復号装置においても、画素単位予測モード適用判定部２２２は省略されてもよい。
あるいは、画素単位予測モードが適用されるか否かを表すフラグがCUまたはPUのシンタックスに含められてもよい。この場合には、そのフラグが画素単位予測モードが適用されることを表す、CUまたはPUについて、動画像符号化装置及び動画像復号装置は、画素単位予測モードを適用すればよい。なお、動画像符号化装置における事前設定あるいはユーザによる操作にしたがって、動画像符号化装置がそのフラグの値を決定すればよい。
さらに他の変形例によれば、動画像符号化装置の符号化モード判定部１２が、Bピクチャの符号化対象CTUに対して、分割モードごとに、予測ブロック生成部１３と同様の処理を行って、画素単位予測モードが適用される場合の予測ブロックを生成してもよい。そして符号化モード判定部１２は、その予測ブロックに基づいて、画素単位予測モードが適用される場合の符号化コストを算出してもよい。そして符号化モード判定部１２は、その符号化対象CTUについて、符号化コストが最小となるように、CU、PU及びTUのそれぞれの分割モード、適用される符号化方式及び予測モードとともに、画素単位予測モードの適用可否を決定してもよい。なお、この場合にも、画素単位予測モード適用判定部１３２は省略されてもよい。
このように、動画像符号化装置は、符号化コストに基づいて画素単位予測モードの適用可否も、分割モード、適用される符号化方式及び予測モードとともに決定することで、符号化効率をより向上できる。
図１３は、上記の実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データあるいは復号する符号化動画像データを選択する操作信号をプロセッサ１０５へ出力する。またユーザインターフェース部１０１は、プロセッサ１０５から受け取った、復号された動画像データを表示してもよい。
通信インターフェース部１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データまたは復号する符号化された動画像データを含む符号化ビットストリームを取得し、それらのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データまたは復号された動画像データを通信ネットワークを介して他の機器へ出力してもよい。
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理または動画像復号処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理または動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
プロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。またプロセッサ１０５は、上記の実施形態または変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化された動画像データを復号する。そしてプロセッサ１０５は、復号された動画像データを記憶部１０３に保存し、ユーザインターフェース部１０１に表示し、または通信インターフェース部１０２を介して他の機器へ出力する。
なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。同様に、動画像復号装置２の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
１ 動画像符号化装置
１１ 動き探索部
１２ 符号化モード判定部
１３ 予測ブロック生成部
１４ 予測誤差信号算出部
１５ 直交変換部
１６ 量子化部
１７ 復号部
１８ 記憶部
１９ エントロピー符号化部
１３１ 参照ブロック間差分部
１３２ 画素単位予測モード適用判定部
１３３ 画素単位予測部
１３４ ブロック単位予測部
２ 動画像復号装置
２１ エントロピー復号部
２２ 予測ブロック生成部
２３ 復号部
２４ 記憶部
２２１ 参照ブロック間差分部
２２２ 画素単位予測モード適用判定部
２２３ 画素単位予測部
２２４ ブロック単位予測部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体

Claims (14)

  1. 動画像データに含まれる、双方向予測モードを適用可能な符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化装置であって、
    前記符号化対象ブロックについて参照される、前記符号化対象ピクチャから第１の方向にある符号化済みの第１の参照ピクチャ上の第１の参照ブロックと、前記符号化対象ブロックについて参照される、前記符号化対象ピクチャから第２の方向にある符号化済みの第２の参照ピクチャ上の第２の参照ブロックとの対応画素間の差分値を算出する差分部と、
    前記差分値の絶対値が所定の閾値未満となる画素のそれぞれについて、前記双方向予測モードにしたがって、前記第１の参照ブロックの対応画素の値と前記第２の参照ブロックの対応画素の値とに基づいて予測ブロックの対応画素の値を算出し、一方、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれについて、前記第１の参照ブロック及び前記第２の参照ブロックのうちの何れか一方の対応画素の値に基づいて前記予測ブロックの対応画素の値を算出して、前記予測ブロックを生成する画素単位予測部と、
    前記符号化対象ブロックと前記予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化する符号化部と、
    を有する動画像符号化装置。
  2. 前記画素単位予測部は、前記第１の参照ブロック及び前記第２の参照ブロックのうち、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれについての前記符号化対象ブロックの対応画素の値との差の統計値が小さい方の参照ブロックに基づいて、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれに対応する前記予測ブロックの画素の値をもとめる、請求項１に記載の動画像符号化装置。
  3. 前記符号化部は、前記第１の参照ブロック及び前記第２の参照ブロックのうち、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれについて参照される方の参照ブロックを表す予測方向情報を前記動画像データを符号化して得られるデータに含める、請求項１または２に記載の動画像符号化装置。
  4. 前記画素単位予測部は、前記第１の参照ブロック及び前記第２の参照ブロックのうち、前記符号化対象ブロックに隣接する符号化済みの領域との空間的な連続性が高い方の参照ブロックに基づいて、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれに対応する前記予測ブロックの画素の値をもとめる、請求項１に記載の動画像符号化装置。
  5. 前記符号化対象ブロックの各画素のうち、前記差分値の絶対値が前記所定の閾値以上となる画素の数が所定数未満となる場合、前記双方向予測モードにしたがって、前記第１の参照ブロックと前記第２の参照ブロックとに基づいて前記予測ブロックを生成すると判定し、一方、前記画素の数が前記所定数以上となる場合、前記画素単位予測部が前記予測ブロックを生成すると判定する判定部をさらに有する、請求項１〜４の何れか一項に記載の動画像符号化装置。
  6. 前記符号化部は、前記所定の閾値及び前記所定数の少なくとも一方を前記動画像データを符号化して得られるデータに含める、請求項５に記載の動画像符号化装置。
  7. 動画像データに含まれる、双方向予測モードを適用可能な符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化方法であって、
    前記符号化対象ブロックについて参照される、前記符号化対象ピクチャから第１の方向にある符号化済みの第１の参照ピクチャ上の第１の参照ブロックと、前記符号化対象ブロックについて参照される、前記符号化対象ピクチャから第２の方向にある符号化済みの第２の参照ピクチャ上の第２の参照ブロックとの対応画素間の差分値を算出し、
    前記差分値の絶対値が所定の閾値未満となる画素のそれぞれについて、前記双方向予測モードにしたがって、前記第１の参照ブロックの対応画素の値と前記第２の参照ブロックの対応画素の値とに基づいて予測ブロックの対応画素の値を算出し、一方、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれについて、前記第１の参照ブロック及び前記第２の参照ブロックのうちの何れか一方の対応画素の値に基づいて前記予測ブロックの対応画素の値を算出して、前記予測ブロックを生成し、
    前記符号化対象ブロックと前記予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化する、
    ことを含む動画像符号化方法。
  8. 動画像データに含まれる、双方向予測モードを適用可能な符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化用コンピュータプログラムであって、
    前記符号化対象ブロックについて参照される、前記符号化対象ピクチャから第１の方向にある符号化済みの第１の参照ピクチャ上の第１の参照ブロックと、前記符号化対象ブロックについて参照される、前記符号化対象ピクチャから第２の方向にある符号化済みの第２の参照ピクチャ上の第２の参照ブロックとの対応画素間の差分値を算出し、
    前記差分値の絶対値が所定の閾値未満となる画素のそれぞれについて、前記双方向予測モードにしたがって、前記第１の参照ブロックの対応画素の値と前記第２の参照ブロックの対応画素の値とに基づいて予測ブロックの対応画素の値を算出し、一方、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれについて、前記第１の参照ブロック及び前記第２の参照ブロックのうちの何れか一方の対応画素の値に基づいて前記予測ブロックの対応画素の値を算出して、前記予測ブロックを生成し、
    前記符号化対象ブロックと前記予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化する、
    ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
  9. 符号化された動画像データに含まれる、双方向予測モードを適用可能な復号対象ピクチャを分割した複数のブロックのうちの復号対象ブロックを復号する動画像復号装置であって、
    前記復号対象ブロックについて参照される、前記復号対象ピクチャから第１の方向にある復号された第１の参照ピクチャ上の第１の参照ブロックと、前記復号対象ブロックについて参照される、前記復号対象ピクチャから第２の方向にある復号された第２の参照ピクチャ上の第２の参照ブロックとの対応画素間の差分値を算出する差分部と、
    前記差分値の絶対値が所定の閾値未満となる画素のそれぞれについて、前記双方向予測モードにしたがって、前記第１の参照ブロックの対応画素の値と前記第２の参照ブロックの対応画素の値とに基づいて予測ブロックの対応画素の値を算出し、一方、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれについて、前記第１の参照ブロック及び前記第２の参照ブロックのうちの何れか一方の対応画素の値に基づいて前記予測ブロックの対応画素の値を算出して、前記予測ブロックを生成する画素単位予測部と、
    前記符号化された動画像データに含まれる、前記復号対象ブロックと前記予測ブロックの対応画素間の予測誤差に、前記予測ブロックの対応画素の値を加算することで前記復号対象ブロックを復号する復号部と、
    を有する動画像復号装置。
  10. 前記符号化された動画像データは、前記復号対象ブロックについて、前記第１の参照ブロックと前記第２の参照ブロックのうちの参照される方を表す予測方向情報をさらに含み、
    前記画素単位予測部は、前記予測方向情報を参照して、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれについて、前記第１の参照ブロック及び前記第２の参照ブロックのうちの参照する方の参照ブロックを決定する、請求項９に記載の動画像復号装置。
  11. 前記復号対象ブロックの各画素のうち、前記差分値の絶対値が前記所定の閾値以上となる画素の数が所定数未満となる場合、前記双方向予測モードにしたがって、前記第１の参照ブロックと前記第２の参照ブロックとに基づいて前記予測ブロックを生成すると判定し、一方、前記画素の数が前記所定数以上となる場合、前記画素単位予測部が前記予測ブロックを生成すると判定する判定部をさらに有する、請求項９または１０に記載の動画像復号装置。
  12. 前記符号化された動画像データは、前記所定の閾値及び前記所定数の少なくとも一方は前記符号化された動画像データに含まれる、請求項１１に記載の動画像復号装置。
  13. 符号化された動画像データに含まれる、双方向予測モードを適用可能な復号対象ピクチャを分割した複数のブロックのうちの復号対象ブロックを復号する動画像復号方法であって、
    前記復号対象ブロックについて参照される、前記復号対象ピクチャから第１の方向にある復号された第１の参照ピクチャ上の第１の参照ブロックと、前記復号対象ブロックについて参照される、前記復号対象ピクチャから第２の方向にある復号された第２の参照ピクチャ上の第２の参照ブロックとの対応画素間の差分値を算出し、
    前記差分値の絶対値が所定の閾値未満となる画素のそれぞれについて、前記双方向予測モードにしたがって、前記第１の参照ブロックの対応画素の値と前記第２の参照ブロックの対応画素の値とに基づいて予測ブロックの対応画素の値を算出し、一方、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれについて、前記第１の参照ブロック及び前記第２の参照ブロックのうちの何れか一方の対応画素の値に基づいて前記予測ブロックの対応画素の値を算出して、前記予測ブロックを生成し、
    前記符号化された動画像データに含まれる、前記復号対象ブロックと前記予測ブロックの対応画素間の予測誤差に、前記予測ブロックの対応画素の値を加算することで前記復号対象ブロックを復号する、
    ことを含む動画像復号方法。
  14. 符号化された動画像データに含まれる、双方向予測モードを適用可能な復号対象ピクチャを分割した複数のブロックのうちの復号対象ブロックを復号する動画像復号用コンピュータプログラムであって、
    前記復号対象ブロックについて参照される、前記復号対象ピクチャから第１の方向にある復号された第１の参照ピクチャ上の第１の参照ブロックと、前記復号対象ブロックについて参照される、前記復号対象ピクチャから第２の方向にある復号された第２の参照ピクチャ上の第２の参照ブロックとの対応画素間の差分値を算出し、
    前記差分値の絶対値が所定の閾値未満となる画素のそれぞれについて、前記双方向予測モードにしたがって、前記第１の参照ブロックの対応画素の値と前記第２の参照ブロックの対応画素の値とに基づいて予測ブロックの対応画素の値を算出し、一方、前記差分値の絶対値が前記所定の閾値以上となる画素のそれぞれについて、前記第１の参照ブロック及び前記第２の参照ブロックのうちの何れか一方の対応画素の値に基づいて前記予測ブロックの対応画素の値を算出して、前記予測ブロックを生成し、
    前記符号化された動画像データに含まれる、前記復号対象ブロックと前記予測ブロックの対応画素間の予測誤差に、前記予測ブロックの対応画素の値を加算することで前記復号対象ブロックを復号する、
    ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
JP2016250950A 2016-12-26 2016-12-26 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム Pending JP2018107580A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016250950A JP2018107580A (ja) 2016-12-26 2016-12-26 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
US15/837,065 US10638155B2 (en) 2016-12-26 2017-12-11 Apparatus for video encoding, apparatus for video decoding, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016250950A JP2018107580A (ja) 2016-12-26 2016-12-26 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2018107580A true JP2018107580A (ja) 2018-07-05

Family

ID=62630456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016250950A Pending JP2018107580A (ja) 2016-12-26 2016-12-26 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム

Country Status (2)

Country Link
US (1) US10638155B2 (ja)
JP (1) JP2018107580A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018182426A (ja) * 2017-04-06 2018-11-15 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
CN111047973A (zh) * 2019-12-09 2020-04-21 深圳市华星光电半导体显示技术有限公司 显示面板及其制作方法、显示装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677647B (zh) * 2019-09-27 2024-02-09 腾讯科技（深圳）有限公司 视频解码、编码方法和装置、存储介质与解码器、编码器
WO2022267654A1 (en) * 2021-06-23 2022-12-29 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image prediction
WO2024012396A1 (en) * 2022-07-14 2024-01-18 Mediatek Inc. Method and apparatus for inter prediction using template matching in video coding systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004516724A (ja) * 2000-12-15 2004-06-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブロックベースの動き補償の精度を改善するための方法
JP2008514122A (ja) * 2004-09-16 2008-05-01 トムソン ライセンシング 局在的な輝度変動を利用した重み付き予測ビデオ・コーデックのための方法および装置
JP2012244353A (ja) * 2011-05-18 2012-12-10 Sony Corp 画像処理装置および方法
WO2016203114A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US20180295385A1 (en) * 2015-06-10 2018-10-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding image using syntax signaling for adaptive weight prediction

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101430118B1 (ko) * 2010-04-13 2014-08-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 또는 비디오 인코더, 오디오 또는 비디오 디코더 그리고 가변적인 예상 방향을 이용하여 멀티-채널 오디오 또는 비디오 신호들을 프로세싱하기 위한 관련 방법들
WO2012081246A1 (ja) 2010-12-17 2012-06-21 パナソニック株式会社 画像符号化方法および画像復号化方法
WO2015082763A1 (en) * 2013-12-02 2015-06-11 Nokia Technologies Oy Video encoding and decoding
EP2961168A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for predicting image samples for encoding or decoding
US10257526B2 (en) * 2015-05-01 2019-04-09 Disney Enterprises, Inc. Perceptual color transformations for wide color gamut video coding
CN105517671B (zh) * 2015-05-25 2020-08-14 北京大学深圳研究生院 一种基于光流法的视频插帧方法及系统
US10356416B2 (en) * 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US9883183B2 (en) * 2015-11-23 2018-01-30 Qualcomm Incorporated Determining neighborhood video attribute values for video data
US10574999B2 (en) * 2016-05-05 2020-02-25 Intel Corporation Method and system of video coding with a multi-pass prediction mode decision pipeline
US10433220B2 (en) * 2016-08-19 2019-10-01 Sprint Spectrum L.P. Dynamic handover threshold adjustment for load balancing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004516724A (ja) * 2000-12-15 2004-06-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブロックベースの動き補償の精度を改善するための方法
JP2008514122A (ja) * 2004-09-16 2008-05-01 トムソン ライセンシング 局在的な輝度変動を利用した重み付き予測ビデオ・コーデックのための方法および装置
JP2012244353A (ja) * 2011-05-18 2012-12-10 Sony Corp 画像処理装置および方法
US20180295385A1 (en) * 2015-06-10 2018-10-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding image using syntax signaling for adaptive weight prediction
WO2016203114A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018182426A (ja) * 2017-04-06 2018-11-15 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
CN111047973A (zh) * 2019-12-09 2020-04-21 深圳市华星光电半导体显示技术有限公司 显示面板及其制作方法、显示装置
CN111047973B (zh) * 2019-12-09 2021-03-16 深圳市华星光电半导体显示技术有限公司 显示面板及其制作方法、显示装置
US11714216B2 (en) 2019-12-09 2023-08-01 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Display panel, manufacturing method thereof, display device

Also Published As

Publication number Publication date
US10638155B2 (en) 2020-04-28
US20180184116A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
US20210297660A1 (en) Method and apparatus for processing a video signal
KR101316060B1 (ko) 인터 예측 부호화된 동영상 복호화 방법
JP6025726B2 (ja) 動画復号化装置
CN107295347B (zh) 用于解码合并模式下的运动信息的装置
US10638155B2 (en) Apparatus for video encoding, apparatus for video decoding, and non-transitory computer-readable storage medium
US20150350674A1 (en) Method and apparatus for block encoding in video coding and decoding
JP7156471B2 (ja) 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム
JP6825506B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
JP2019022129A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
JP2014143650A (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP2015211386A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6032367B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
KR101691553B1 (ko) 영상 복호화 방법 및 장치
JP6528635B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR101783965B1 (ko) 영상 복호화 방법 및 장치
KR101617796B1 (ko) 영상 복호화 방법 및 장치
KR101606812B1 (ko) 영상 복호화 방법
JP2024051178A (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム
KR20220115971A (ko) 리프 노드의 재설정된 예측 모드 타입에 기반하여 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210302