JP2016165047A - 映像符号化装置およびプログラム - Google Patents

Abstract

【課題】色差信号又は輝度信号のイントラ予測モードを決定するための演算量を少なくした映像符号化装置およびプログラムを提供する。【解決手段】同一画面内で隣接する符号化済みの参照画素から画素値を予測して予測画像を生成し、前記予測画像の情報と前記予測画像に対応する部分の原画像との差分を伝送する映像符号化装置において、輝度信号の予測モードが方向性予測のいずれかである場合に、色差信号の予測モードを平面予測の全モードと輝度信号の予測モードのいずれかから判定して決定することを特徴とする。【選択図】図１

Description

本発明は、映像符号化装置および映像符号化のプログラムに関するものである。

近年、4K(空間解像度/フレーム周波数：3840x2160/60pなど）、8K（空間解像度/フレーム周波数：7680x4320/60p, 7680x4320/120pなど）といった超高解像度映像の普及が進んでいる。超高解像度映像のデータ量は膨大であり、放送波やIP網で伝送するためには映像の情報量を圧縮する必要がある。超高解像度映像を圧縮する符号化方式としては、HEVC（MPEG-H Part2 High Efficiency Video Coding）/H.265、 AVC（MPEG-4 Part10 Advanced Video Coding）/H.264などが知られている。

非特許文献１には、HEVCにおける予測方法が記載されている。HEVCでは従来方式のAVCと同様に、画面内の近傍の画素から符号化する部分の画素値を予測するイントラ予測と、近傍のフレームから符号化する部分の画素値を予測するインター予測の２種類の予測方法が採用されている。

ここで、イントラ予測を利用した映像符号化装置は、同一画面内で隣接する符号化済みの参照画素から画素値を予測して予測画像を生成し、予測画像の情報と予測画像に対応する部分の原画像との差分を伝送する映像符号化処理を行う。

従来の符号化方式と同様に、HEVCではCU（Coding Unit：符号化単位ブロック）ごとに左上から右下へラスタスキャン順で符号化処理を行う。イントラ予測では処理対象のPU（Prediction Unit：予測単位ブロック）の左と上に隣接する符号化済みの画素を参照して予測を行う。HEVCのイントラ予測では輝度信号Yと色差信号U,Vに対して予測モードを設定することができる。図５に輝度信号Yの３５種類のイントラ予測モードを示す。

３５種類のイントラ予測モードは、モード番号0のPlanar予測（周囲の４つの参照画素をもとに平面を補間する予測）、モード番号1のDC予測（参照画素の平均値で平面を塗りつぶす予測）およびモード番号2〜34の３３方向の方向性予測（図５のモード番号の矢印と平行な向きに参照画素をコピーする予測。矢印の先が参照画素の位置を示す。方向予測ということもある。）から成る。なお、方向性を伴わない予測モード、例えば、モード番号0のPlanar予測、モード番号1のDC予測等をまとめて、平面予測という。

色差信号のイントラ予測モードは、モード番号0(Planar予測), 1(DC予測), 10(水平予測), 26(垂直予測)、その他の５種類に限定されており、U,V共通で１つのモードをとる。表１にHEVCの色差信号におけるイントラ予測モードを示す。

表１より、輝度信号のイントラ予測モードが0, 1, 10, 26である場合には、色差信号の５番目のイントラ予測モードとして34（対角方向)が設定される。色差信号のイントラ予測モードの４番は、輝度信号のイントラ予測モードと同じモード番号をとるDM(Direct Mode)と呼ばれる。DMであることを示すフラグは、その他のモードよりもビット長が短くなっている。

大久保榮、他、「H.265/HEVC教科書」、初版、株式会社インプレスジャパン、2013年10月21日発行、p.107〜148

HEVCでは輝度信号および色差信号のイントラ予測モードを適切に選択することによって、符号化効率を向上させることができるものの、モードを決定するための演算量が多くなるという問題点がある。

輝度信号のイントラ予測モードを決定した後に色差信号のイントラ予測モードを選択する場合についてみると、HEVC標準化に使用されている参照ソフトウェアHM (HEVC test Model)では、全５種類の色差信号のイントラ予測モードに対してR-D(Rate-Distortion: レート歪み）最適化を行ってモードを選択しているため、演算量が多い。

他方、色差の予測モードが適切に設定されなかった場合には、符号化画像が赤味または青味がかってしまうという問題点がある。

また、色差信号のイントラ予測モードを先に選択してから輝度信号のイントラ予測モードを決定することも考えられるが、輝度信号のイントラ予測モードはさらに選択肢が多く（HEVCでは３５種類）、全ての選択肢からR-D最適化によりモード選択を行うことは、極めて演算量が多くなるという問題点がある。

従って、上記のような問題点に鑑みてなされた本発明の目的は、色差信号又は輝度信号のイントラ予測モードを決定するための演算量を少なくし、適切なモードを選択することができる映像符号化装置およびプログラムを提供することにある。

上記課題を解決するために本発明に係る映像符号化装置は、同一画面内で隣接する符号化済みの参照画素から画素値を予測して予測画像を生成し、前記予測画像の情報と前記予測画像に対応する部分の原画像との差分を伝送する映像符号化装置において、前記予測画像を生成する予測モードは少なくとも１以上の平面予測と１以上の方向性予測とがあり、色差信号の予測モードを決定する色差予測モード決定手段を備え、前記色差予測モード決定手段は、輝度信号の予測モードが前記方向性予測のいずれかである場合に、色差信号の予測モードを前記平面予測の全モードと前記輝度信号の予測モードのいずれかから判定して決定することを特徴とする。

また、前記映像符号化装置において、前記色差予測モード決定手段は、前記輝度信号の予測モードが前記平面予測のいずれかである場合に、周囲の予測モードに基づいて色差信号が取り得る方向性予測のうち１つを決定する最頻モード決定手段を備え、色差信号の予測モードを前記最頻モード決定手段で決定された予測モードと前記平面予測の全モードのいずれかから判定して決定することが望ましい。

また、前記映像符号化装置において、前記色差予測モード決定手段は、Ｎ（≧３）種類以上の予測モードから判定して色差信号の予測モード決定するときに、前記輝度信号の予測モードと異なるＮ−１種類の予測モードを判定して暫定的な予測モードを決定し、前記色差信号の予測モードを前記暫定的な予測モードと前記輝度信号の予測モードから判定して決定することが望ましい。

また、前記映像符号化装置において、前記判定は、RD最適化、SATD、SAD、SSEの少なくとも一つで比較することが望ましい。

また、前記映像符号化装置において、前記平面予測は、DC予測及びPlanar予測の少なくとも一方を含むことが望ましい。

上記課題を解決するために本発明に係る映像符号化装置は、同一画面内で隣接する符号化済みの参照画素から画素値を予測して予測画像を生成し、前記予測画像の情報と前記予測画像に対応する部分の原画像との差分を伝送する映像符号化装置において、前記予測画像を生成する予測モードは少なくとも１以上の平面予測と１以上の方向性予測とがあり、輝度信号の予測モードを決定する輝度予測モード決定手段と、色差信号の予測モードを決定する色差予測モード決定手段とを備え、前記色差予測モード決定手段は、平面予測と所定の方向性予測の中から、色差信号の一つの予測モードを決定し、前記輝度予測モード決定手段は、前記色差信号の予測モードが前記平面予測のいずれかである場合に、輝度信号の予測モードを前記平面予測の全モードから判定して決定することを特徴とする。

また、前記映像符号化装置において、前記輝度予測モード決定手段は、前記色差信号の予測モードが前記方向性予測のいずれかである場合に、輝度信号の予測モードを前記平面予測の全モードと前記色差信号の予測モードのいずれかから判定して決定することが望ましい。

また、前記映像符号化装置において、前記輝度予測モード決定手段は、前記色差信号の予測モードが前記方向性予測のいずれかであって、前記色差信号の予測モードが輝度信号の予測モードとして最適であると判断された場合に、さらに、前記色差信号の予測モードの近傍で輝度信号に最適な方向性予測モードを判定して決定することが望ましい。

また、前記映像符号化装置において、前記判定は、RD最適化、SATD、SAD、SSEの少なくとも一つで比較することが望ましい。

また、前記映像符号化装置において、前記平面予測は、DC予測及びPlanar予測の少なくとも一方を含むことが望ましい。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記映像符号化装置として機能させることを特徴とする。

本発明の映像符号化装置およびプログラムによれば、イントラ予測モードを決定するための演算量を少なくすることができ、適切なモードを選択することができるため、符号化品質がよくなるという効果がある。

実施例１の映像符号化装置の動作を示すフローチャートである。 輝度信号の方向性予測と色差信号の方向性予測との対応例を示す図である。 実施例２の映像符号化装置の動作を示すフローチャートである。 実施例２の映像符号化装置の動作を示すフローチャートである。 HEVCの輝度信号のイントラ予測モードを説明する図である。

本発明の実施の形態について説明する。以下、HEVCを例として説明するが、本発明はHEVCのみに限定されるものではなく、平面予測と方向性予測を有する任意の符号化方法を用いる映像符号化装置に適用できる。

実施例１は、輝度信号のイントラ予測モードを決定した後に、色差信号のイントラ予測モードを効率的に決定する映像符号化装置である。

従来、HMでは全５種類の色差信号のイントラ予測モードに対してR-D最適化を行っている。色差信号の予測モードはDMが最も多く、DM, 0（Planar予測）, 1（DC予測）で８０％以上の数のPUを占める。さらにDMはモードを示すフラグの符号量が少ないため、ビットレート設定が低くなるほどDMが多く選択される傾向にある。

実施例１の映像符号化装置は、輝度信号のイントラ予測モード等に基づいて、色差信号のイントラ予測モードの候補を絞り込んだ後に、最適な予測モードを判定する。

図１に、本発明の実施例１による符号化処理のフローチャートを示す。実施例１の映像符号化装置は、色差信号の予測モードを決定する色差予測モード決定手段を備えており、色差予測モード決定手段が図１に示される符号化処理を行う。

図１において、ステップ１（以下、単にS1等と記す。）では、予測を行うPUのDM（輝度信号のイントラ予測モード）が平面予測である0(Planar予測）または1(DC予測)であるかを判定する。0, 1以外の場合はS2へ、0, 1の場合はS3へ進む。

S2では、DM, 0, 1から最適なモードを判定して終了する。モード判定はR-D最適化でも良いし、原画像と各予測モードの予測画像とのSSE (Sum of Square Error: 残差二乗和）、SAD (Sum of Absolute Difference: 残差絶対値和)、SATD (Hadamard transformed SAD: 残差に対してアダマール変換を行った後の絶対値和)のいずれかを計算して、色差信号U,Vの結果を足し合わせたものを比較しても良い。DMとその他のモードとではフラグ量が異なるため、DMでないモード0と1をSADやSSEで比較した後、残差和が少ない方のモードとDMをR-D最適化やSATDで詳細に比較しても良い。SATDで詳細に比較するにあたっては、DMのフラグ量が少ないことを考慮して、単純に値を比較するのではなく、所定の差があるかどうかを判定するとよい。すなわち、0又は1のSATD値をDMのSATD値と比較して、等しいか或いは所定値以上の改善が見られないときは、フラグ量の少ないDMを選択する。

S3では、周囲のPU（隣接するPUあるいは64x64画素などの所定の範囲内のPUなど）の色差信号のイントラ予測モードから、色差信号が取り得る方向予測モード10, 26, 34のうち最頻のモードXを選択してS4へ進む。最頻のモードXの選択は、最頻モード決定手段によって行う。Xを選択するにあたっては、例えば図２に示すように、モード番号2〜18は10、19〜30は26、31〜34は34としてカウントする。なお、図２に示すモード番号と方向予測モードXとの対応関係は一例であって、モード番号2〜34の区切りは適宜設定することができる。最も頻度が高いモードが複数ある場合には、小さい方のモード番号を選択する等、必要に応じて選択ルールを設定してよい。周囲のPUの色差信号に10, 26, 34のいずれもなかった場合は輝度信号を同様に探索する。探索するPUの範囲は符号化処理を行うPUのサイズに合わせて拡大・縮小してもよい。輝度信号にもなかった場合は、最頻モードXは選択されない。

S4では、0, 1とS3で選択したXから最適なモードを判定して終了する。モード判定はR-D最適化でも良いし、原画像と各予測モードの予測画像とのSSE (Sum of Square Error: 残差二乗和）、SAD (Sum of Absolute Difference: 残差絶対値和)、SATD (Hadamard transformed SAD: 残差に対してアダマール変換を行った後の絶対値和)のいずれかを計算して、色差信号U,Vの結果を足し合わせたものを比較しても良い。DMとその他のモードとではフラグ量が異なるため、0か1のDMではない方とXをSADやSSEで比較した後、残差和が少ない方のモードとDMをR-D最適化やSATDで詳細に比較しても良い。SATDで詳細に比較するにあたっては、DMのフラグ量が少ないことを考慮して、単純に値を比較するのではなく、所定の差があるかどうかを判定するとよい。

ビットレート設定が低い場合（例えばHEVCの1920x1080/60p相当で5Mbps以下など）にはDMの割合が増えるため、S3, S4に代えて0, 1から最適なモードを判定するようにしても良い。

本実施例による符号化処理を行うことにより、色差信号のイントラ予測モードを判定する回数および演算量を減らすことができる。

なお、HEVCでは平面予測としてPlanar予測とDC予測があるが、他の映像符号化方法を採用する場合は、S1においてその他の平面予測方法を含めて平面予測であるか否かを判断しても良い。HEVCでは色差U, Vともに同じ予測モードが選択されるが、U, Vそれぞれで同様の判定を行い、別のモードを選択するようにしても良い。

実施例２は、色差信号のイントラ予測モードを決定した後に、輝度信号のイントラ予測モードを効率的に決定する映像符号化装置である。

HMの実験結果より、輝度信号と色差信号のイントラ予測モードの相関が高いことから、色差信号のイントラ予測モード選択を先に行ってから輝度信号のイントラ予測モードを決定することができる。HMでは輝度信号と色差信号のイントラ予測モードを決定する際に、ほぼ全通りの予測モードに対してR-D最適化を行っている。

実施例２の映像符号化装置は、色差信号のイントラ予測モード等に基づいて、輝度信号のイントラ予測モードの候補を絞り込んだ後に、最適な予測モードを判定する。

図３および図４に本発明の実施例２による符号化処理のフローチャートを示す。実施例２の映像符号化装置は、色差信号の予測モードを決定する色差予測モード決定手段と、輝度信号の予測モードを決定する輝度予測モード決定手段を備えており、両信号の予測モード決定手段により、フローチャートに示される符号化処理を行う。

図３のS1では、色差信号が取り得る予測モード0, 1, 10, 26, 34から色差信号に最適なモードXを判定してS2へ進む。モード判定は原画像と各予測モードの予測画像とのSSE (Sum of Square Error: 残差二乗和）、SAD (Sum of Absolute Difference: 残差絶対値和)、SATD (Hadamard transformed SAD: 残差に対してアダマール変換を行った後の絶対値和)のいずれかを計算して、色差信号U,Vの結果を足し合わせることによって行う。

S2では、S1で選択されたモードXが平面予測である0（Planar予測）又は1（DC予測）であるかを判定する。0, 1である場合はS3へ、0, 1でない場合はS5へ進む。

S3では、予測モード0, 1から輝度信号に最適なモードAを判定し、S4へ進む。これは輝度信号のイントラ予測モードでは、0, 1をとる割合が多いためである。モード判定は輝度信号について、原画像と各予測モードの予測画像とのSSE (Sum of Square Error: 残差二乗和）、SAD (Sum of Absolute Difference: 残差絶対値和)、SATD (Hadamard transformed SAD: 残差に対してアダマール変換を行った後の絶対値和)のいずれかを計算して、比較することによって行う。

S4では、輝度信号の予測モードをA, 色差信号の予測モードをXとして終了する。A==Xの場合は、色差信号の予測モードはDMとなる。

S5では、予測モードX, 0, 1から輝度信号に最適なモードYを判定して、S6へ進む。モード判定はS3と同様に行う。

S6では、モードYは0, 1のいずれかであるかを判定する。0, 1である場合はS7へ、そうでない場合はS8へ進む。

S7では、輝度信号の予測モードをY, 色差信号の予測モードをXとして終了する。

図４にS8以降の処理を示す。S8では、モードY近傍で輝度信号に最適な方向予測モードZを判定し、S9へ進む。最適な方向予測モードZの探索は、例えば図２に示すように、Y=10のときは2〜18、Y=26のときは19〜30、Y=34のときは31〜34の範囲で探索する。Y=10, 26のときは探索するモード数が多いため、45度ずつ方向が異なるモード2, 10, 18, 26, 34とYとの判定値を比較してから探索範囲を狭めて判定を行うことが望ましい。例えば、Y=10のときにはモード2, 10, 18の判定を行い、モード10, 18, 2の順に予測精度が良ければモード10〜14を探索して最適な方向予測モードZを判定する。これらのモードの判定はS3と同様に行う。

S9では、色差信号の予測モードXと輝度信号の方向予測モードZと等しいかを判定し、等しければS10へ、異ればS11へ進む。

S10では、輝度信号の予測モードをX, 色差信号の予測モードをX(DM)として終了する。

S11では、モードXとZから色差信号に最適なモードBを判定してS12へ進む。判定はS1と同様に行う。

S12において、輝度信号の予測モードZと色差信号の予測モードBの組み合わせが、規格で許されるかを判定し、許される組み合わせの場合はS13へ、許されない組み合わせの場合はS14へ進む。

S13では、輝度信号の予測モードをZ, 色差信号の予測モードをBとして終了する。

S12で規格上許されないと判定された場合（例えば輝度信号の予測モードZ=31と色差信号のモードX=34など、HEVCでは取れない組み合わせの場合）には、S14で、輝度信号の予測モードをZ, 色差信号の予測モードをZ(DM)として終了する。

本発明による符号化処理を行うことにより、輝度信号および色差信号のイントラ予測モードを判定する回数および演算量を減らすことができる。

なお、HEVCでは平面予測としてPlanar予測とDC予測があるが、S2、S6ではその他の平面予測方法を含めて平面予測であるか否かを判断しても良い。HEVCでは色差U, Vともに同じ予測モードが選択されるが、U, Vそれぞれで同様の判定を行い、別のモードを選択するようにしても良い。

なお、上述した映像符号化装置として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、映像符号化装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロックやステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

２〜３４ 方向性予測のモード番号

Claims (11)

1. 同一画面内で隣接する符号化済みの参照画素から画素値を予測して予測画像を生成し、前記予測画像の情報と前記予測画像に対応する部分の原画像との差分を伝送する映像符号化装置において、
   前記予測画像を生成する予測モードは少なくとも１以上の平面予測と１以上の方向性予測とがあり、
   色差信号の予測モードを決定する色差予測モード決定手段を備え、
   前記色差予測モード決定手段は、輝度信号の予測モードが前記方向性予測のいずれかである場合に、色差信号の予測モードを前記平面予測の全モードと前記輝度信号の予測モードのいずれかから判定して決定することを特徴とする映像符号化装置。
2. 請求項１に記載の映像符号化装置において、前記色差予測モード決定手段は、前記輝度信号の予測モードが前記平面予測のいずれかである場合に、周囲の予測モードに基づいて色差信号が取り得る方向性予測のうち１つを決定する最頻モード決定手段を備え、
   色差信号の予測モードを前記最頻モード決定手段で決定された予測モードと前記平面予測の全モードのいずれかから判定して決定することを特徴とする映像符号化装置。
3. 請求項１又は２に記載の映像符号化装置において、前記色差予測モード決定手段は、Ｎ（≧３）種類以上の予測モードから判定して色差信号の予測モード決定するときに、前記輝度信号の予測モードと異なるＮ−１種類の予測モードを判定して暫定的な予測モードを決定し、前記色差信号の予測モードを前記暫定的な予測モードと前記輝度信号の予測モードから判定して決定することを特徴とする映像符号化装置。
4. 請求項１から３のいずれか一項に記載の映像符号化装置において、前記判定は、RD最適化、SATD、SAD、SSEの少なくとも一つで比較することを特徴とする映像符号化装置。
5. 請求項１から３のいずれか一項に記載の映像符号化装置において、前記平面予測は、DC予測及びPlanar予測の少なくとも一方を含むことを特徴とする映像符号化装置。
6. 同一画面内で隣接する符号化済みの参照画素から画素値を予測して予測画像を生成し、前記予測画像の情報と前記予測画像に対応する部分の原画像との差分を伝送する映像符号化装置において、
   前記予測画像を生成する予測モードは少なくとも１以上の平面予測と１以上の方向性予測とがあり、
   輝度信号の予測モードを決定する輝度予測モード決定手段と、色差信号の予測モードを決定する色差予測モード決定手段とを備え、
   前記色差予測モード決定手段は、平面予測と所定の方向性予測の中から、色差信号の一つの予測モードを決定し、
   前記輝度予測モード決定手段は、前記色差信号の予測モードが前記平面予測のいずれかである場合に、輝度信号の予測モードを前記平面予測の全モードから判定して決定することを特徴とする映像符号化装置。
7. 請求項６に記載の映像符号化装置において、前記輝度予測モード決定手段は、前記色差信号の予測モードが前記方向性予測のいずれかである場合に、輝度信号の予測モードを前記平面予測の全モードと前記色差信号の予測モードのいずれかから判定して決定することを特徴とする映像符号化装置。
8. 請求項７に記載の映像符号化装置において、前記輝度予測モード決定手段は、前記色差信号の予測モードが前記方向性予測のいずれかであって、前記色差信号の予測モードが輝度信号の予測モードとして最適であると判断された場合に、さらに、前記色差信号の予測モードの近傍で輝度信号に最適な方向性予測モードを判定して決定することを特徴とする映像符号化装置。
9. 請求項６から８のいずれか一項に記載の映像符号化装置において、前記判定は、RD最適化、SATD、SAD、SSEの少なくとも一つで比較することを特徴とする映像符号化装置。
10. 請求項６から８のいずれか一項に記載の映像符号化装置において、前記平面予測は、DC予測及びPlanar予測の少なくとも一方を含むことを特徴とする映像符号化装置。
11. コンピュータを、請求項１から１０のいずれか一項に記載の映像符号化装置として機能させるためのプログラム。

Images