JP2018082274A - 動画像符号化装置及び動画像復号装置並びにプログラム - Google Patents

動画像符号化装置及び動画像復号装置並びにプログラム Download PDF

Info

Publication number
JP2018082274A
JP2018082274A JP2016222616A JP2016222616A JP2018082274A JP 2018082274 A JP2018082274 A JP 2018082274A JP 2016222616 A JP2016222616 A JP 2016222616A JP 2016222616 A JP2016222616 A JP 2016222616A JP 2018082274 A JP2018082274 A JP 2018082274A
Authority
JP
Japan
Prior art keywords
prediction
block
value
correction
quantization parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016222616A
Other languages
English (en)
Other versions
JP2018082274A5 (ja
JP6660868B2 (ja
Inventor
圭 河村
Kei Kawamura
圭 河村
内藤　整
Hitoshi Naito
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2016222616A priority Critical patent/JP6660868B2/ja
Priority to CN201780069167.5A priority patent/CN109964483B/zh
Priority to US16/348,017 priority patent/US10819980B2/en
Priority to PCT/JP2017/033908 priority patent/WO2018092409A1/ja
Priority to EP17870889.7A priority patent/EP3544301A4/en
Publication of JP2018082274A publication Critical patent/JP2018082274A/ja
Publication of JP2018082274A5 publication Critical patent/JP2018082274A5/ja
Application granted granted Critical
Publication of JP6660868B2 publication Critical patent/JP6660868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】正距円筒図法のフレームで構成された動画像であっても適切な量子化パラメータを利用する。
【解決手段】符号化ブロックへ適用すべき量子化パラメータを符号化前ブロックの画素値及び当該符号化ブロックのフレーム内位置に基づいて算出する算出部11と、適用すべき量子化パラメータを符号化ブロックの左隣ブロック、上隣ブロック又は既に符号化されたブロックに対して算出部11により算出された量子化パラメータに基づいて予測して予測値を得る予測部12と、符号化ブロックがフレーム左端に位置しており、かつ符号化ブロックと、隣接する上と左の両符号化ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合に、予測値を補正して補正値を得る補正部14と、を備え、補正値と適用すべき量子化パラメータとの差分を符号化してエンコーダ側を構成する。デコーダ側も同様に構成する。
【選択図】図６

Description

本発明は、正距円筒図法形式のフレームで構成された動画像の量子化パラメータを適切に設定して符号化及び復号することのできる動画像符号化装置及び動画像復号装置並びにプログラムに関する。
非特許文献１は、イントラ予測（フレーム内予測）またはインター予測（フレーム間予測）と、残差変換と、エントロピー符号化とを用いた動画像符号化方式の標準規格としてHEVC(H. 265)を規定している。
HEVCに即した従来例に係る動画像符号化装置の全体概略的な動作は次の通りである。まず、入力画像を複数の符号化木ブロックに分割する。次に、分割した符号化木ブロックをさらに符号化ブロック単位に分割し、符号化ブロック単位で、入力画像と、イントラ予測画像またはインター予測画像と、の誤差（残差）信号を変換および量子化してレベル値を生成する。次に、生成したレベル値をサイド情報（画素値の再構成に必要な予測モードや動きベクトルなどの関連情報）とともにエントロピー符号化して、ビットストリームを生成する。
一方、上述の動画像符号化方式に対応する従来例に係る動画像復号装置は、上述の従来例に係る動画像符号化装置で行われる手順と逆の手順により、ビットストリームから出力画像を得る。具体的には、ビットストリームから得られたレベル値を逆量子化および逆変換して残差信号を生成し、イントラ予測画像またはインター予測画像と合算し、イントラ予測に用いられると同時に、インループフィルタ（例えば、デブロックフィルタ）を適用して局所復号画像を生成し、フレームバッファに蓄積する。この局所復号画像は、インター予測に用いられる。なお、ビットストリームからサイド情報およびレベル値を得る処理のことは、パース処理と呼ばれ、これらサイド情報およびレベル値を用いて画素値を再構成することは、復号処理と呼ばれる。
以上の従来例に係る動画像符号化装置及び動画像復号装置において、量子化における量子化パラメータは、予測された量子化パラメータと差分量子化パラメータを加算して導出される。図１に、当該従来例に係る導出処理のブロック構成（符号化時の構成）を示す。すなわち、符号化時には当該ブロックに対して適用すべき量子化パラメータQPを算出処理301によって算出すると共に、予測処理302によって当該ブロックの当該量子化パラメータQPの予測値QP[予測]を求める。そして、差分処理に303よって得られる差分量子化パラメータΔQP=QP-QP[予測]が符号化される。ここで、適切に予測処理302を行うことにより、符号化対象となる差分量子化パラメータΔQPによる発生符号量を抑制し、効率的な符号化が可能となる。
復号時（ブロック構成は不図示）には、上記符号化時の逆の処理によって、差分量子化パラメータを復号して量子化パラメータを導出する。図２に、当該従来例に係る導出処理のブロック構成（復号時の構成）を示す。当該示す通り、復号された差分量子化パラメータΔQPと、予測処理402によって求められた予測値QP[予測]と、を加算処理403によって加算することで、当該ブロックの量子化パラメータQP=QP[予測]+ΔQPが復号されたものとして得られる。
以上において、量子化パラメータの予測（図１の符号化時の予測処理302及び図２の復号時の予測処理402の両者）には、当該フレームに設定された量子化パラメータ、または当該量子化ブロックに隣接する量子化ブロックにおける量子化パラメータ、または符号化順（復号順）でひとつ前に利用した量子化パラメータを用いる。当該量子化パラメータの予測については非特許文献２や特許文献１などに開示されている。
また、360度映像やバーチャルリアリティと呼ばれる映像や映像体験がある。ある1地点から空間全体を見渡した時の画像を撮影し、閲覧時に任意の一部分を通常視野角のカメラで撮影したときのように射影して映像を見る体験である。ここで、360度映像は球の表面に画素が存在しており、内側から覗き込んでいるとモデル化可能である。球表面を均等にサンプリングすることが画素値を得られるが、この画素値集合をそのまま記録すると位置情報が必要となり、既存の画像処理では扱いにくい。
そこで、360度映像において利用される映像形式のひとつに正距円筒図法（Equirectangular Projection）がある。これは図３に模式的に示すように、球SPの赤道に当たる線L1Aを矩形画像Rの長辺L1Bとし、北極と南極を結ぶ線L2Aを矩形画像Rの短辺L2Bとして、球SPを矩形画像Rへと展開したものである。すなわち、正距離円筒図法とは球面SP上の（東西方向の経度値、南北方向の緯度値）ペアで特定される点をそのまま地図（矩形画像R）の（横座標値、縦座標値）ペアで特定される点に割り当てる図法である。ここで球の半径をrとすると、展開される矩形のサイズ（横長さ×縦長さ）は図３にも示すように(2πr)×(πr)となり、アスペクト比が2:1となる。また、矩形の上辺と下辺は球の極付近が引き伸ばされていることになる。例えば、赤道付近における拡大率は1%以下であるが、赤道と極の中間点では約30%の増加、極近くでは10倍以上にもなる。
国際公開第2013/088721号
ITU-T H.265 High Efficiency Video Coding. JCTVC-H0204 for San Jose meeting (MPEG number m23078) [online] インターネット<URL：http://phenix.it-sudparis.eu/jct/doc_end_user/current_document.php?id=4506 >
このような正距離図法の画像を符号化の観点で検討すると、球表面において（緯度値、経度値）の観点から等間隔サンプリングされていた画素は、展開された矩形画像において上辺・下辺（球の場合の北極・南極）に近いほど、過剰サンプリングされる。したがって、正距離投影図法における上辺・下辺に近い画素は、高周波成分を含んでおらず符号化が容易である、もしくは高周波成分を正確に符号化しても球表面に射影すると高周波成分は不要である。ここで、冗長に存在する画素を効率的に符号化するためには、球表面において適切に量子化した場合と同様の結果となるように、正距円筒図法形式のフレームで場所に応じた量子化を行う必要がある。
しかしながら、従来技術ではこのように正距円筒図法形式のフレームで場所に応じた量子化を行うことや、当該場所に応じた量子化に適した量子化パラメータ予測を行うことに関しては考慮されていなかった。
すなわち、HEVC（非特許文献１）の量子化パラメータ導出は量子化ブロックのフレーム内位置を考慮しないため、画面端における量子化パラメータ予測性能が低下するという課題があった。また、仮に画素数のみに着目して正距円筒図法形式のフレームにおける量子化パラメータを決定したとすると、過剰に量子化されてブロックノイズが知覚されてしまい、例えばバーチャルリアリティ映像体験時等における臨場感を損なってしまうという課題があった。
上記のような従来技術の課題に鑑み、本発明は、正距円筒図法形式のフレームで構成された動画像の量子化パラメータを適切に設定し、且つ、当該量子化パラメータを適切に予測して符号化又は復号することのできる動画像符号化装置及び動画像復号装置並びにプログラムを提供することを目的とする。
上記目的を達成するため、本発明は、正距円筒図法で与えられるフレームを分割した符号化木ブロック単位にフレーム間予測又はフレーム内予測を適用して得られる予測残差を、符号化木ブロックを構成する符号化ブロックごとに変換及び量子化して符号化する動画像符号化装置であって、当該符号化ブロックへ適用すべき量子化パラメータ(QP)を符号化前ブロックの画素値及び当該符号化ブロックのフレーム内位置に基づいて算出する算出部と、前記適用すべき量子化パラメータ(QP)を当該符号化ブロックの左隣ブロック、上隣ブロック又は既に符号化されたブロックに対して前記算出部により算出された量子化パラメータに基づいて予測して予測値(QP[予測])を得る予測部と、当該符号化ブロックがフレーム左端に位置しており、かつ当該符号化ブロックと、隣接する上と左の両符号化ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合に、前記予測値(QP[予測])を補正して補正値(QP[予測][補正])を得て、当該条件を満たさない場合には前記予測値（QP[予測]）の値をそのまま補正値(QP[予測][補正])となす補正部と、を備え、前記補正値(QP[補正][予測])と前記適用すべき量子化パラメータ(QP)との差分を符号化することを特徴とする。また、コンピュータを当該動画像符号化装置として機能させるプログラムであることを特徴とする。
また、本発明は、正距円筒図法で与えられるフレームを分割した符号化木ブロック単位にフレーム間予測又はフレーム内予測を適用して得られた予測残差を、符号化木ブロックを構成する符号化ブロックごとに変換及び量子化し、適用すべき量子化パラメータ(QP)とその予測値(QP[予測])との差分量子化パラメータ(ΔQP)を符号化して得られた符号化ストリームを、当該符号化ブロックに対応する復号ブロックごとに復号する動画像復号装置であって、当該復号ブロックへ適用すべき量子化パラメータ(QP)の予測値(QP[予測])を当該復号ブロックの左隣ブロック、上隣ブロック又は既に復号されたブロックにおいて既に復号された適用すべき量子化パラメータ(QP)に基づいて予測する予測部と、当該復号ブロックがフレーム左端に位置しており、かつ当該復号ブロックと、隣接する上と左の両復号ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合に、 前記予測値(QP[予測])を補正して補正値(QP[予測][補正])を得て、当該条件を満たさない場合には前記予測値（QP[予測]）の値をそのまま補正値(QP[予測][補正])となす補正部と、前記符号化ストリームを復号して得られる当該復号ブロックの差分量子化パラメータ(ΔQP)と前記補正値(QP[予測][補正])とを加算して、当該復号ブロックへ適用すべき量子化パラメータ(QP)を得ることを特徴とする。また、コンピュータを当該動画像復号装置として機能させるプログラムであることを特徴とする。
本発明によれば、正距円筒図法形式のフレームで構成された動画像の量子化パラメータを適切に設定して符号化又は復号することができる。
従来例に係る符号化時の量子化パラメータの導出処理のブロック構成図である。 従来例に係る復号時の量子化パラメータの導出処理のブロック構成図である。 正距円筒図法を説明するための模式図である。 一実施形態に係る動画像符号化装置の機能ブロック図である。 一実施形態に係る動画像復号装置の機能ブロック図である。 一実施形態に係る図４の変換・量子化部の詳細を示す機能ブロック図である。 一実施形態に係る図５の逆量子化・逆変換部の詳細を示す機能ブロック図である。 四分木構造の符号化木単位の例を示す図である。 （条件A）に該当する量子化ブロックの模式例を示す図である。
図４は、本発明の一実施形態に係る動画像符号化装置の機能ブロック図である。動画像符号化装置100は、入力部101、差分器102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、加算器106、ローカル復号画像メモリ107、インループフィルタ108、フレームバッファ109、動き補償部110、制御部111、イントラ予測部112及びスイッチ113を備える。
図５は、本発明の一実施形態に係る動画像復号装置の機能ブロック図である。動画像復号装置200は、出力部201、エントロピー復号部204、逆量子化・逆変換部205、加算器206、ローカル復号画像メモリ207、インループフィルタ208、フレームバッファ209、動き補償部210、デプスイントラ予測部211、イントラ予測部212及び制御部213を備える。
動画像符号化装置100には、図３で説明したような360度映像の各フレームを正距円筒図法によって矩形画像Rのフレームとすることで通常形式の動画像となったものが入力される。動画像符号化装置100は当該入力された動画像に種々の予測などを適用してから、これを符号化する。動画像復号装置200は、当該符号化されたデータを復号して、対応する予測などを適用してから、当初の動画像を復号して出力する。
なお、動画像符号化装置100をエンコーダ、動画像復号装置200をデコーダと略称する。当該図４及び図５にそれぞれ示したエンコーダ及びデコーダの全体的な構成自体に関しては、前掲の非特許文献１などで開示されているHEVCの構成に即したものである。
以下、エンコーダ及びデコーダの各部の概要を説明するが、上記の通り当該全体概要の動作はHEVCに即したものである。なお、同一又は対応する処理については、エンコーダ及びデコーダの機能部を併記しながら説明する。
入力部101では、正距円筒図法が適用された動画像をエンコーダ側での符号化対象の入力として受け取り、当該データを差分器102に渡す。出力部201では、当該動画像がエンコーダ側で符号化されて得られたビットストリームがデコーダ側で復号されてフレームバッファ209に蓄積されているのを、デコーダ側の出力として、出力する。差分器102は、入力部101から受け取った動画像データにおける信号と、その予測信号として、制御部111の判断によってインター予測部110またはイントラ予測部112が生成した信号と、の差分を求めて、当該差分の値を変換・量子化部103へ渡す。
変換・量子化部103は、差分器102より得た差分を、ブロック単位で直交変換して変換係数とし、さらに当該変換係数を量子化して、量子化値をエントロピー符号化部104及び逆量子化・逆変換部105へ渡す。エントロピー符号化部104は、変換・量子化部103から得た量子化値と、制御部111が適宜、必要に応じて出力した予測のパラメータ等（スイッチ113の切り替えで適用されたインター予測部110又はイントラ予測部112における予測のパラメータ等）と、をエントロピー符号化して、エンコーダ側の出力とする。
本発明においては特に、変換・量子化部103において正距円筒図法の動画像の特性に適した量子化パラメータによる量子化が行われる。エントロピー符号化部104はまた、上記量子化値に加えてさらに、当該量子化パラメータの差分値も符号化する。これらの詳細については図６を参照して後述する。
エントロピー復号部204は、エンコーダ側がエントロピー符号化部104で出力したビットストリームを、デコーダ側での入力として受け取り、エントロピー復号して、量子化値及び予測パラメータ等並びに量子化値パラメータ差分値を得る。量子化値及び量子化値パラメータ差分値は逆量子化・逆変換部205へ渡され、予測パラメータ等は、制御部211に渡される。
逆量子化・逆変換部105（逆量子化・逆変換部205）は、変換・量子化部103（エントロピー復号部204）より受け取った量子化値を、変換・量子化部103の逆の処理によって、逆量子化及び逆変換して、差分値（画素の差分値であり、予測残差としての差分値）となし、加算器106,206に渡す。なお、逆量子化・逆変換部205では当該画素の差分値を得る際に、エントロピー復号部204から受け取った量子化値パラメータ差分値を利用するが、その詳細については図７を参照して後述する。
加算器106,206は、制御部111,211の判断によって、インター予測部110,210またはイントラ予測部112,212のいずれかが生成した予測信号と、逆量子化・逆変換部105,205が出力した差分値（予測残差）と、を加算して、復号された信号となし、当該復号された信号を、ローカル復号画像メモリ107,207に渡す。
ローカル復号画像メモリ107,207は、当該復号された信号を保持して、イントラ予測部112,212が予測を行う際の参照に供すると共に、当該復号された信号をインループフィルタ108,208に出力する。インループフィルタ108,208は、当該復号された信号にインループフィルタの処理を施して、フレームバッファ109,209に出力する。
フレームバッファ109,209は、フィルタ処理された信号を保持して、インター予測部110,210が予測を行う際の参照に供する。デコーダ側では前述のように、フレームバッファ209は当該フィルタ処理された信号をデコーダの出力として、出力部201へ渡す。
インター予測部110,210は、フレームバッファ109,209の参照信号を用いてインター予測（動き予測、画面間予測）を行って予測信号を生成し、スイッチ113,213を経由して当該予測信号を差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡す。動きベクトルなどの予測パラメータは、デコーダ側では、予測信号の生成の際に生成され符号化されるのに対し、エンコーダ側では、予測信号の生成の際に利用される。
イントラ予測部112,212は、ローカル復号画像メモリ107,207の参照信号を用いてイントラ予測（画面内予測）を行って予測信号を生成し、スイッチ113,213を経由して当該予測信号を差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡す。イントラ予測における予測モードなどの予測パラメータは、デコーダ側では、予測信号の生成の際に生成され符号化されるのに対し、エンコーダ側では、予測信号の生成の際に利用される。
スイッチ113,213は、制御部111,211の制御に従い、当該ブロックにインター予測部110,210が適用された場合には当該インター予測部110,210が出力する予測信号を差分器102及び加算器106（デコーダ側では加算器206のみ）へと通すようにし、当該ブロックにイントラ予測部112,212が適用された場合には当該イントラ予測部112,212が出力する予測信号を差分器102及び加算器106（デコーダ側では加算器206のみ）へと通すようにする。
制御部111,211は、動画像符号化装置100の符号化及び動画像復号装置200の復号における全体的な制御を行う。当該制御には動画像の各フレームにおけるインター予測・イントラ予測の適用区別やブロックサイズの設定、図８で説明する各フレームを分割した符号化木単位における具体的な四分木分割構造の設定などが含まれる。エンコーダ側では、当該制御に必要なパラメータ等を符号化させるようにし、デコーダ側では、復号して当該パラメータを必要とする機能部に渡す。
エンコーダ側では、制御部111は、いずれかのインター予測部110又はイントラ予測部112において予測パラメータが生成された場合、図１に点線で示されるように当該予測パラメータをエントロピー符号化部104へと渡すように制御して、エントロピー符号化部104において当該予測パラメータを符号化させる。デコーダ側では、予測パラメータが復号された場合、対応する予測部（インター予測部210又はイントラ予測部212）へと渡す。
なお、図４，５では、当該制御部111又は211と、予測部110,112又は210,212と、の間における予測パラメータの授受の流れや、当該制御部111,211のその他の制御処理の際の制御対象の機能部との間のデータ授受の流れは、図が煩雑となるため、描くのを省略している。すなわち、図４，５は符号化及び復号の際の画素関連の処理の流れ（図６，７を参照して後述する量子化パラメータ関連の処理の流れを除く）に着目して描かれたものであり、その他の制御信号の授受の流れは描くのを省略している。
図６は、図４の変換・量子化部103における量子化パラメータ関連の処理の一実施形態に関してより詳細に示す機能ブロック図である。変換・量子化部103は、変換部15、量子化部16及び導出部50を備え、導出部50はさらに記憶部10、算出部11、予測部12、減算部13及び補正部14を備える。
導出部50は全体として、図１で説明した従来例における導出処理に対応する処理、すなわち、量子化部16で利用する当該ブロックに対する量子化パラメータの導出処理を行う。ここで、算出部11が図１の算出処理301に対応する処理を行い、記憶部10及び予測部12が図１の予測処理302に対応する処理を行い、減算部13が図１の減算処理303に対応する処理を行う。そして、本発明の導出部50は特に、当該対応する図１の構成に対してさらに、補正部14が追加された構成となることで、図１の予測処理302に対して補正処理が追加される構成となっている。
変換部15及び量子化部16は、前掲の非特許文献１に規定されるHEVCに即した変換処理及び量子化処理を行う。具体的には以下の通りである。
変換部15は、差分器102より出力された予測残差に対して離散コサイン変換などの直交変換またはその近似変換などを適用して変換係数となし、当該変換係数を量子化部16へと出力する。量子化部16は、導出部50から出力される当該ブロックに対する量子化パラメータに対応する量子化マトリクスを用いて、変換部15から出力された変換係数を量子化して量子化値となし、エントロピー符号化部104へと出力する。量子化部106で利用する量子化マトリクスは、導出部50から出力された量子化パラメータに加えてさらに、当該ブロックに対して適用された予測（インター予測又はイントラ予測）や当該ブロックのサイズ等に対応した所定のものとすることができる。
導出部50は前述の通り、図１の導出処理に対応する処理を、本発明の補正部14による補正処理を追加したうえで実行する。具体的には以下の通りである。
算出部11では、当該符号化対象ブロックの変換係数に対して適用すべき量子化パラメータQPの算出を行い、当該量子化パラメータQPを補正部14へと出力する。ここで、量子化パラメータQPの算出処理には、前掲の非特許文献１に規定されたHEVCに即した算出処理を用いることができ、入力部101を参照して得られる当該符号化対象ブロックの符号化前の状態の画素のアクティビティ、及び／又は、エントロピー符号化部104が継続的に出力している符号化ビットストリームのデータ量実績値の推移と予め設定されている目標ビットレートから定まる当該時点における目標符号量との差分値（すなわち、当該ブロックに割り当て可能な符号量の目安）、に基づいて適切な量子化パラメータQPを算出することができる。
ここで、当該ブロックのアクティビティは当該符号化前の状態のブロックの画素値の分散などによって算出することができる。なお、算出部11では上記のようにエントロピー符号化部104の出力する符号化ビットストリームのデータ量を監視するが、当該監視する流れの矢印等は図６では描くのを省略している。
ここで、本発明における算出部11ではさらに、以上のような従来手法通りの量子化パラメータ算出においてさらに、符号化対象の動画像フレームが図３で説明したような正距円筒図法で用いるものとして構成されていることも考慮したうえで、適切な量子化パラメータの算出を行う。具体的には、以下の通りである。
すなわち、以下の（式１）のように、当該ブロック位置が図３で説明した赤道から北極又は南極の側へと離れているほど、より大きくなる関数値COR(D)（Dは図３の矩形画像Rにおける赤道線L1Bと当該ブロック位置（重心等）との距離、すなわち当該ブロックの赤道からの乖離距離）を加算することによって、正距円筒図法の映像に適した量子化パラメータQP(D)を得ることができる。
QP(D)=QP(0)+COR(D) …（式１）
上記の（式１）においてQP(0)は当該ブロックが基準位置としての赤道位置（D=0の位置）に該当する場合の所定の量子化パラメータであり、前述した従来手法で算出することができる。ここで、上記の（式１）における加算量を定める関数COR(D)は具体的には、以下のような考察に基づいて設定すればよい。
場所に応じた球表面と正距円筒図法との画素数の比（拡大率、すなわち、正距円筒図法で与えられるフレームの位置Dにおいて、正距円筒図法によりフレーム内の矩形から球表面に射影した際の面積比）は指数関数ほどではないが、多項式の次数6程度以上で拡大している。また、量子化パラメータは6大きくなるごとに、量子化ステップが2倍になる。例えば、75度〜90度に位置する画素数の比は約7.7倍となる。この関係を考慮して補正するための加算量COR(75度〜90度の位置)を決めると、量子化パラメータの補正値は23となる。これではブロックノイズが発生してしまうため、6程度に抑える必要がある。そこで、当該ブロックの位置Dにおける面積比の対数に比例させた加算値COR(D)とすることで、符号量の削減とブロックノイズの抑制を実現可能となる。
上記COR(D)の別の例として、以下の（式１A）のような数式で与えられるCOR2(y)としてもよい。
ここで、yは正距円筒図法において画像の高さにより正規化した画像上部（または画像下部）からの距離（値としては0〜1.0）を表す。すなわち、yは距離Dを規格化し、向きの定義付けを変更したもの（Dは赤道中心からの乖離であるのに対して、yは極の側からの乖離である）に相当し、COR(D)=COR2(y)として表現したものに相当する。clip(v,V)は値vを0以上V以下にするクリップ関数、floor(v)は値vを整数にする切り捨て関数である。係数aとbは補正値である。例えばaとbは9.0と10.0とする。
以上、算出部11では各ブロックにおいて、従来通りのHEVCに即した算出処理によって前述の通り画素のアクティビティ及び／又は目標符号量との差分値によって算出される量子化パラメータを、（式１）におけるQP(0)の値すなわち基準値としての赤道位置を想定した場合の値（当該ブロックが仮に赤道位置にあった場合を想定しての基準値）として求めたうえで、（式１）における加算量COR(D)又はその別の例としての（式１A）におけるCOR2(y)を加えることで、位置Dを考慮した適切な量子化パラメータQP(D)を求めることができる。
また、上記では赤道位置の場合を基準値として従来通りのHEVCに即した算出処理による量子化パラメータの値を求めるものとしたが、基準値となる位置は赤道位置から離れた位置に設定するようにしてもよい。
記憶部10では、算出部11が上記のように算出した量子化パラメータQP（QP（D））を記憶することで、当該記憶した量子化パラメータを次に説明する予測部12の予測処理のための参照に供する。
予測部12では、当該現在の量子化ブロックよりも過去に既に符号化され記憶部10に記憶されている量子化パラメータQPを参照することで、当該現在の量子化ブロックに対して適用すべき量子化パラメータの予測値QP[予測]を求め、補正部14へと出力する。
補正部14では、当該現在の量子化ブロックが一定の条件に該当する場合に、予測部12から出力された予測値QP[予測]を補正して補正された量子化パラメータ予測値QP[予測][補正]となし、減算部13へと出力する。補正部14では、当該一定の条件に該当しない場合は、予測部12から出力された予測値QP[予測]に対して補正を行うことなくそのままの値で、減算部13へと出力する。当該一定条件及び補正の詳細に関しては後述する。
減算部13では、当該量子化ブロックに対して算出部11より算出された量子化パラメータQP（QP(D)）から、予測部12で予測され補正部14で一定条件該当の場合に補正された予測量子化パラメータQP[予測][補正]（当該表記で補正される場合とされない場合の両方の値を示すものとする。以下同様。）を減算して差分量子化パラメータΔQPを得て、当該差分量子化パラメータΔQPを符号化対象としてエントロピー符号化部104へと出力する。
予測部12による予測処理は、前掲の非特許文献２又は特許文献１に即したものを利用することができる。すなわち、前述の通り、（１）当該フレームに設定された量子化パラメータ、または（２）当該量子化ブロックに隣接する量子化ブロックにおける量子化パラメータ、または（３）符号化順（復号順）でひとつ前に利用した量子化パラメータを用いて、予測部12は予測を行う。ここで、（２）及び（３）は記憶部10に記憶されており、（１）についても設定値として記憶部10に記憶しておくことができる。
具体的には、以下の（式２）のように、原則として当該量子化ブロックの左隣の量子化ブロックの量子化パラメータQP[LEFT]と、当該量子化ブロックの上隣の量子化ブロックの量子化パラメータQP[ABOVE]と、の平均値を予測値QP[予測]とする。
QP[予測]=(QP[LEFT]+QP[ABOVE])/2 …（式２）
ただし、例外として、上記（式２）において平均値として予測するに際して、当該量子化ブロックの左隣の量子化ブロックが異なる符号化木ブロックに属している場合はQP[LEFT]の値を符号化順（復号順）でひとつ前に利用した量子化パラメータQP[PREV]の値に置き換えるようにし、同様に、当該量子化ブロックの上隣の量子化ブロックが異なる符号化木ブロックに属している場合はQP[ABOVE]の値を符号化順（復号順）でひとつ前に利用した量子化パラメータQP[PREV]の値に置き換えるようにする。従って、当該量子化ブロックの左隣と上隣の両ブロックが異なる符号化木ブロックに属している場合は、QP[予測]=QP[PREV]となる。また、予測が利用できない場合や指定されている場合は前述の通り（１）当該フレームに設定された量子化パラメータを予測値として用いることができる。
ここで、上記の予測部12による予測（非特許文献２の従来手法の予測）をそのまま適用すると、一定条件に該当する場合に、算出部11において正距円筒図法のフレームを想定して算出されている量子化パラメータQP(D)の予測値として不適切となる（すなわち、減算部13で得られる差分量ΔQPが大きくなってしまう）ことがある。具体的に、当該一定条件に該当する場合とは以下の（条件A）の通りである。
（条件A）…当該量子化ブロックがフレーム左端に位置しており、かつ当該量子化ブロックと、隣接する上と左の両量子化ブロックとが異なる符号化木ブロック（CTU）に属している場合
図８は、HEVCにおける符号化木ブロック(CTU)と、当該CTUを構成する量子化ブロックの一例を示す図である。図８では、符号化木ブロックCTUの一例として、ブロックCTUがサイズ64×64で構成されており、図示するような13個の個別の量子化ブロック（すなわち変換ブロックであり符号化ブロックでもある）TU1〜TU13を含んで構成される場合が示されている。符号化木ブロックCTUには所定の量子化（及びこれに伴う符号化）の順序が定めされており、当該ブロックTU1〜TU13は付与した符号の順番（TU1→TU2→TU3→ … →TU12→TU13の順番）に量子化される。図示する通り、ブロックTU9のみがその他のブロックの2倍のサイズ（32×32）であり、その他のブロックはサイズ（16×16）で構成されている。
例えば、ブロックTU8とブロックTU9との間は空間的に離れてしまっているため、ブロックTU9の量子化パラメータとしてブロックTU8のものを利用すると不都合が生ずる。また、ブロックTU9の左隣は別の符号化木ブロックとなっており、これも予測のための参照領域としては不適切である。そこで、ブロックTU9の量子化パラメータの予測のために、ブロックTU3を参照して利用するといったことが、予測部12（前掲の非特許文献２の予測手法）によって可能となる。
一方、図９は、前述の（条件A）に該当する量子化ブロックの模式例を示す図であり、フレームFの模式例として、横4個×縦3個の合計12個のCTUで構成される例が示されている。図９の一連のCTUのうち、「当該量子化ブロックがフレーム左端に位置している」ものは、太枠で示すフレーム左端（ラスタスキャン順で早い側）の３個のCTU内の最も左側にあるTU20〜TU25の6個であり、且つ、当該6個のうち、当該量子化ブロックの左隣及び上隣（の両方）が当該CTUと異なるCTUに属しているものは、グレー表記で示したTU20,TU22,TU24の３個であり、これらが（条件A）に該当する例である。なお、当該図９の例においては、符号化木ブロック内でのスキャン順は、図８で例示したものと概ね同様であることを想定している。図９では当該図示しているTU以外の箇所は任意のTUに分割されているものとし、特にTUの分割の詳細は図示していない。
これら（条件A）に該当するTU20,TU22,TU24に関して、予測部12による予測を適用することを考えると、次のような不都合が生ずる。すなわち、TU20に関しては、フレームFの先頭CTUの先頭量子化ブロックであるため、そもそも予測（イントラ予測）として参照するのに適切な量子化ブロックが存在しない。また、TU22に関しては、一段上側にあり且つフレーム右端のCTU内にあるTU220が予測参照ブロックとなる。しかしながら、TU220はTU22と縦方向での位置Dの相違があるため、（式１）によって定まる適切な量子化パラメータの値に、COR(D)の項のDの値の相違によって発生する差分がある。従って、単純に予測部12の予測を適用すると当該位置Dの相違によって発生した差分が、ゼロとならずに減算部13での符号化対象として残ってしまい、余分な符号化量を発生させてしまう。同様に、TU24に関しても予測部12の予測ではTU240が参照されることとなるが、COR(D)のDの値の相違に起因する差分が、余分な符号化量を発生させる。
そこで、本発明の補正部14においては、第一実施形態として、上記のように当該量子化ブロックが（条件A）に該当する場合に、予測参照される量子化ブロックの縦方向位置の相違によって発生してしまう、適切な予測値に対する差分をゼロとするように、補正処理を行う。具体的には、当該量子化ブロックの縦位置がD[現在]であり、予測部12が前述の（式２）によって予測値を計算するために参照する量子化ブロック（（条件A）に該当することから当該量子化ブロックによる予測値QP[予測]の値はQP[PREV]となる）の縦位置がD[参照]であるとすると、予測部12の予測値QP[予測]を以下の（式３）のように補正して、補正値QP[予測][補正]を得る。（式３）のCOR(D)については（式１）で説明した通りである。前述の通り、（式３）のCOR(D)の代わりに（式1A）で与えられるCOR2(y)を用いてもよい。
QP[予測][補正]=QP[予測]+COR(D[現在])-COR(D[参照]) …(式３)
補正部12ではまた、第二実施形態として、以下の(式４)のように補正値QP[予測][補正]を得てもよい。
QP[予測][補正]=QP[付与] …（式４）
（式４）において、QP[付与]は、当該量子化ブロックの属するスライスに付与されている量子化パラメータであり、具体的な値は前述の（式１）すなわち算出部11が当該位置Dの量子化ブロックにおいて適切な量子化パラメータとして計算する値を設定しておけばよい。
（式３）による第一実施形態では「COR(D[現在])-COR(D[参照])」の項によって差分（すなわち相対値）として予測部12の予測値を補正しており、一方、（式４）による第二実施形態では、位置Dに依存する絶対値QP[付与]で予測部12の予測値を（いわば完全に上書きして置き換えることにより）補正している。以上では、図６を参照してエンコーダ側の補正処理を担う補正部14を説明したが、次に説明するように、デコーダ側でも全く同様の補正処理が補正部24によって行われる。補正部24も上記第一実施形態又は第二実施形態による補正処理を行うが、当該補正処理を可能とすべく、エンコーダ側とデコーダ側とは（式１）が共通であるものとする。(式１)の情報のうち、関数COR(D)の情報を参照することで、エンコーダ側の補正部24では第一実施形態が可能となる。また、（式１）の情報全体を参照することで、エンコーダ側の補正部24では第二実施形態が可能となる。（式1）の利用の有無はピクチャ単位のフラグをサイド情報として送る。
なお、前述の第一実施形態の補正部14による、（式3）による「COR(D[現在])-COR(D[参照])」の項による差分として予測部12の予測値を補正する手法と実質的に同一のアプローチとなる第三実施形態として、次のようにしてもよい。すなわち、(条件A)に該当する量子化ブロックに関しては、（式3）で与えられる「COR(D[現在])-COR(D[参照])」の項による差分を当該量子化ブロックに対応する差分量子化パラメータ(ΔQP)の値として符号化しておけばよい。さらに、（条件A）に該当する量子化ブロックに関しては、当該量子化ブロックに対して予測部12で得られる予測値QP[予測]と、当該差分量子化パラメータΔQPと、を加算して得られる量子化パラメータを符号化することで、当該量子化ブロックの位置D（すなわち、フレーム内縦方向位置D）に該当する場合の基準値としての量子化パラメータをデコーダ側でも参照可能とすることができる。なお、当該参照可能とするための加算処理及び符号化処理の流れは、図６（補正部14が省略された構成の図６）では描くのを省略している。
当該第三実施形態においては、（条件A）に該当する量子化ブロックに直接、適切な差分量子化パラメータ(ΔQP)を対応付けて符号化することとなり、非特許文献２の手法に従う予測部12では前述の通り（１）〜（３）の３種類のいずれかの手法で予測する。従って、当該第三実施形態において結果的に補正部12は省略されることとなる。
図７は、図５の逆量子化・逆変換部205の量子化パラメータ関連の処理の一実施形態に関してより詳細に示す機能ブロック図である。逆量子化・逆変換部205は、逆量子化部26、逆変換部25及び導出部60を備え、導出部60はさらに記憶部20、予測部22、加算部23及び補正部24を備える。
導出部60は全体として、図２で説明した導出処理に対応する処理、すなわち、逆量子化部26で利用する当該ブロックに対する量子化パラメータの導出処理を行う。ここで、記憶部20及び予測部22が図２の予測処理402に対応する処理を行い、加算部23が図２の加算処理403に対応する処理を行う。そして、本発明の導出部60は特に、当該対応する図２の構成に対してさらに、補正部24が追加された構成となっている。
逆量子化部26及び逆変換部25は、前掲の非特許文献１に規定されるHEVCに即した逆量子化処理及び逆変換処理を行う。具体的には以下の通りである。
逆量子化部26は、エントロピー復号部104から出力された量子化値に対して導出部60で得られた当該ブロックの量子化パラメータに対応する量子化マトリクスを逆に適用して変換係数となし、当該変換係数を逆変換部25へと出力する。逆変換部25は当該変換係数を逆変換して予測残差となし、加算器206へと出力する。すなわち、逆量子化部26及び逆変換部25はそれぞれ、図６の量子化部16と変換部15の逆の処理を行う。
導出部60は前述の通り、図２の導出処理に対応する処理を、本発明の補正部24による補正処理を追加したうえで実行する。具体的には以下の通りである。
加算部23は、エントロピー復号部205より復号されて得られる差分量子化パラメータΔQPと、補正部24より得られる量子化パラメータ予測値の補正値QP[予測][補正]と、を加算することによって当該ブロックに対する復号された量子化パラメータQP= QP[予測][補正]+ΔQPを求め、逆量子化部26及び記憶部20へと出力する。
記憶部20では、加算部23が出力した補正値としての量子化パラメータQPを記憶することで、当該記憶した値QPを次に説明する予測部22の予測処理のための参照に供する。すなわち、当該デコーダ側の記憶部20の予測部22に対する役割は、エンコーダ側の記憶部10の予測部12に対する役割と同様である。
予測部22は、記憶部20を参照して、当該対象となる量子化ブロックに対する量子化パラメータQP[予測]を求めて補正部24へと出力する。当該デコーダ側の予測部22の当該予測処理は、図６で説明したエンコーダ側の予測部12の予測処理と同様であるため、その詳細な説明は省略する。
補正部24は、予測部22より得られた予測値QP[予測]を補正して予測値の補正値QP[予測][補正]を得て、加算部23へと出力する。当該デコーダ側の補正部24による当該補正処理は、図６で説明したエンコーダ側の補正部14の補正処理と同様であるため、その詳細な説明は省略する。なお、エンコーダ側の補正部14で説明した通り、デコーダ側の補正部24においても、当該復号対象の量子化ブロックが（条件A）に該当する場合に、第一実施形態又は第二実施形態によって予測値QP[予測]を補正して加算部23へと出力し、（条件A）に該当しない場合には、予測部22より得られた予測値QP[予測]の値を補正することなくそのまま、加算部23へと出力する。
さらに、エンコーダ側の補正部14で説明した通り、エンコーダ側が前述の第三実施形態を取り、（条件A）に該当する量子化ブロックに対して直接、差分量子化パラメータを符号化する場合、デコーダ側の補正部24も省略可能である。
すなわち、第三実施形態はエンコーダ側及びデコーダ側の全体として、次のような効果を奏することが可能である。エンコーダ側においては、（条件A）に該当する量子化ブロックについては前述の通り、フレーム内縦方向位置Dに応じた正距離円筒図法を考慮した適切な量子化パラメータを予測部22に予測処理と加算部23に差分量子化パラメータの加算処理を行わせることによって得たうえで符号化すると共に、差分量子化パラメータを符号化してデコーダ側にも伝達する。
デコーダ側は同じく、（条件A）に該当する量子化ブロックについては、予測部22は当該量子化ブロックに対応する予測値を出力し、当該伝達された差分量子化パラメータΔQPを加算する。従って、補正部24はスキップされ、加算部23が出力した量子化パラメータがそのまま、逆量子化部26において利用される。デコーダ側ではまた、HEVCに即した既存の復号装置の枠組みに従って、前述したエンコーダ側で符号化された当該量子化ブロックの位置D（すなわち、フレーム内縦方向位置D）に該当する場合の基準値としての量子化パラメータを復号して参照可能とするが、当該参照可能とするための処理の流れは図７（補正部24が省略された構成の図７）では描くのを省略している。
以上、エンコーダ側及びデコーダ側の両者において（条件A）に該当する場合は、適切な差分量子化パラメータ（本発明特有の正距離円筒図法を考慮した適切な差分量子化パラメータ）を利用するよう動作を制御することは、前掲の非特許文献２の予測の枠組み内で可能である。さらに、（条件A）に該当しない量子化ブロックに関しても、エンコーダ側及びデコーダ側の両者において、（条件A）の量子化ブロックにおいて与えられている適切な量子化パラメータをもとに、予測部12,22が、前掲の非特許文献２の手法によって適切な予測量子化パラメータを求めることができる。
すなわち、第三実施形態では、以上のように動作することで、図６における補正部14を省略し、且つ、図７における補正部24を省略した構成によって、エンコーダ側及びデコーダ側の両者において、前掲の非特許文献２の手法に即した予測部12,22の動作で、正距離円筒図法を考慮した適切な符号化及び復号が可能となる。
以上、本発明によれば、正距円筒図法形式 のフレームで構成された動画像の量子化パラメータを適切に設定し、且つ、当該量子化パラメータを適切に予測して符号化又は復号することができる。本発明の動画像符号化装置100（図４）及び動画像復号装置（図５）は、一般的な構成のコンピュータ、すなわち、CPU、当該CPUにワークエリアを提供する一次メモリ、所定データやプログラム等を格納する二次記憶装置などを備えた一般的な構成のコンピュータによって、図４及び図５（並びに図6及び図７）の各部の機能を所定プログラムを読み込んで実行するCPUが実現することができる。また、図４及び図５（並びに図6及び図７）のうちの任意の一部分又は全部を、汎用的なCPUがプログラムを実行することによって実現するのに代えて、専用ハードウェア（専用LSIなど）によって実現するようにしてもよい。
100…動画像符号化装置、50…導出部、10…記憶部、11…算出部、12…予測部、13…減算部、14…補正部
200…動画像復号装置、60…導出部、20…記憶部、22…予測部、23…加算部、24…補正部

Claims (9)

  1. 正距円筒図法で与えられるフレームを分割した符号化木ブロック単位にフレーム間予測又はフレーム内予測を適用して得られる予測残差を、符号化木ブロックを構成する符号化ブロックごとに変換及び量子化して符号化する動画像符号化装置であって、
    当該符号化ブロックへ適用すべき量子化パラメータ(QP)を符号化前ブロックの画素値及び当該符号化ブロックのフレーム内位置に基づいて算出する算出部と、
    前記適用すべき量子化パラメータ(QP)を当該符号化ブロックの左隣ブロック、上隣ブロック又は既に符号化されたブロックに対して前記算出部により算出された量子化パラメータに基づいて予測して予測値(QP[予測])を得る予測部と、
    当該符号化ブロックがフレーム左端に位置しており、かつ当該符号化ブロックと、隣接する上と左の両符号化ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合に、前記予測値(QP[予測])を補正して補正値(QP[予測][補正])を得て、当該条件を満たさない場合には前記予測値（QP[予測]）の値をそのまま補正値(QP[予測][補正])となす補正部と、を備え、
    前記補正値(QP[補正][予測])と前記適用すべき量子化パラメータ(QP)との差分を符号化することを特徴とする動画像符号化装置。
  2. 正距円筒図法で与えられるフレームを分割した符号化木ブロック単位にフレーム間予測又はフレーム内予測を適用して得られる予測残差を、符号化木ブロックを構成する符号化ブロックごとに変換及び量子化して符号化する動画像符号化装置であって、
    前記適用すべき量子化パラメータ(QP)を当該符号化ブロックの左隣ブロック、上隣ブロック又は既に符号化されたブロックに対して前記算出部により算出された量子化パラメータに基づいて予測して予測値(QP[予測])を得る予測部を備え、
    該符号化ブロックがフレーム左端に位置しており、かつ当該符号化ブロックと、隣接する上と左の両符号化ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合にのみ、正距円筒図法によりフレーム内の矩形から球表面に射影した際の面積比に基づいて設定される所定関数を用いて差分量子化パラメータ(ΔQP)を符号化し、
    前記予測部により得られた予測値（QP[予測]）に前記差分量子化パラメータ(ΔQP)を加算して当該量子化ブロックのフレーム内縦方向位置における量子化パラメータとして符号化とすることを特徴とする動画像符号化装置。
  3. 正距円筒図法で与えられるフレームを分割した符号化木ブロック単位にフレーム間予測又はフレーム内予測を適用して得られた予測残差を、符号化木ブロックを構成する符号化ブロックごとに変換及び量子化し、適用すべき量子化パラメータ(QP)とその予測値(QP[予測])との差分量子化パラメータ(ΔQP)を符号化して得られた符号化ストリームを、当該符号化ブロックに対応する復号ブロックごとに復号する動画像復号装置であって、
    当該復号ブロックへ適用すべき量子化パラメータ(QP)の予測値(QP[予測])を当該復号ブロックの左隣ブロック、上隣ブロック又は既に復号されたブロックにおいて既に復号された適用すべき量子化パラメータ(QP)に基づいて予測する予測部と、
    当該復号ブロックがフレーム左端に位置しており、かつ当該復号ブロックと、隣接する上と左の両復号ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合に、前記予測値(QP[予測])を補正して補正値(QP[予測][補正])を得て、当該条件を満たさない場合には前記予測値（QP[予測]）の値をそのまま補正値(QP[予測][補正])となす補正部と、
    前記符号化ストリームを復号して得られる当該復号ブロックの差分量子化パラメータ(ΔQP)と前記補正値(QP[予測][補正])とを加算して、当該復号ブロックへ適用すべき量子化パラメータ(QP)を得ることを特徴とする動画像復号装置。
  4. 前記補正部は、前記条件を満たす場合に、
    前記予測値(QP[予測])をQP[予測]とし、前記補正値(QP[予測][補正])をQP[予測][補正]とし、関数COR(D)を復号ブロックの位置のフレーム内における縦中心位置からの縦方向の乖離Dの増加関数とし、当該復号ブロックの位置をD[現在]とし、当該復号ブロックに対して前記予測部が前記予測値(QP[予測])を予測するために参照した既に復号されたブロックの位置をD[参照]として、
    以下の式によって補正することを特徴とする請求項３に記載の動画像復号装置。
    QP[予測][補正]=QP[予測]+COR(D[現在])-COR(D[参照])
  5. 前記補正部は、前記条件を満たす場合に、当該復号ブロックが属するスライスに付与されている量子化パラメータを前記補正値(QP[予測][補正])として得ることを特徴とする請求項３に記載の動画像復号装置。
  6. 前記復号ブロックが属するスライスに付与されている量子化パラメータQP(D)が、
    関数COR(D)を復号ブロックの位置のフレーム内における縦中心位置からの縦方向の乖離Dの増加関数とし、フレーム内の縦中心位置に対して適用すべき量子化パラメータの所定値をQP(0)として、
    以下の式で与えられる請求項５に記載の動画像復号装置。
    QP(D)=QP(0)+COR(D)
  7. 前記関数COR(D)は、正距円筒図法で与えられるフレームの位置Dにおいて、正距円筒図法によりフレーム内の矩形から球表面に射影した際の面積比に基づいて設定される所定関数であることを特徴とする請求項４または６に記載の動画像復号装置。
  8. コンピュータを、
    正距円筒図法で与えられるフレームを分割した符号化木ブロック単位にフレーム間予測又はフレーム内予測を適用して得られる予測残差を、符号化木ブロックを構成する符号化ブロックごとに変換及び量子化して符号化する動画像符号化装置であって、
    当該符号化ブロックへ適用すべき量子化パラメータ(QP)を符号化前ブロックの画素値及び当該符号化ブロックのフレーム内位置に基づいて算出する算出部と、
    前記適用すべき量子化パラメータ(QP)を当該符号化ブロックの左隣ブロック、上隣ブロック又は既に符号化されたブロックに対して前記算出部により算出された量子化パラメータに基づいて予測して予測値(QP[予測])を得る予測部と、
    当該符号化ブロックがフレーム左端に位置しており、かつ当該符号化ブロックと、隣接する上と左の両符号化ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合に、前記予測値(QP[予測])を補正して補正値(QP[予測][補正])を得て、当該条件を満たさない場合には前記予測値（QP[予測]）の値をそのまま補正値(QP[予測][補正])となす補正部と、を備え、
    前記補正値(QP[補正][予測])と前記適用すべき量子化パラメータ(QP)との差分を符号化する動画像符号化装置として機能させることを特徴とするプログラム。
  9. コンピュータを、
    正距円筒図法で与えられるフレームを分割した符号化木ブロック単位にフレーム間予測又はフレーム内予測を適用して得られた予測残差を、符号化木ブロックを構成する符号化ブロックごとに変換及び量子化し、適用すべき量子化パラメータ(QP)とその予測値(QP[予測])との差分量子化パラメータ(ΔQP)を符号化して得られた符号化ストリームを、当該符号化ブロックに対応する復号ブロックごとに復号する動画像復号装置であって、
    当該復号ブロックへ適用すべき量子化パラメータ(QP)の予測値(QP[予測])を当該復号ブロックの左隣ブロック、上隣ブロック又は既に復号されたブロックにおいて既に復号された適用すべき量子化パラメータ(QP)に基づいて予測する予測部と、
    当該復号ブロックがフレーム左端に位置しており、かつ当該復号ブロックと、隣接する上と左の両復号ブロックとが異なる符号化木ブロックに属しているという条件を満たす場合に、前記予測値(QP[予測])を補正して補正値(QP[予測][補正])を得て、当該条件を満たさない場合には前記予測値（QP[予測]）の値をそのまま補正値(QP[予測][補正])となす補正部と、
    前記符号化ストリームを復号して得られる当該復号ブロックの差分量子化パラメータ(ΔQP)と前記補正値(QP[予測][補正])とを加算して、当該復号ブロックへ適用すべき量子化パラメータ(QP)を得る動画像復号装置として機能させることを特徴とするプログラム。
JP2016222616A 2016-11-15 2016-11-15 動画像符号化装置及び動画像復号装置並びにプログラム Active JP6660868B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016222616A JP6660868B2 (ja) 2016-11-15 2016-11-15 動画像符号化装置及び動画像復号装置並びにプログラム
CN201780069167.5A CN109964483B (zh) 2016-11-15 2017-09-20 动态图像编码装置、解码装置以及计算机可读存储介质
US16/348,017 US10819980B2 (en) 2016-11-15 2017-09-20 Moving image coding device, moving image decoding device, and program
PCT/JP2017/033908 WO2018092409A1 (ja) 2016-11-15 2017-09-20 動画像符号化装置及び動画像復号装置並びにプログラム
EP17870889.7A EP3544301A4 (en) 2016-11-15 2017-09-20 MOVIE IMAGE CODING DEVICE, MOVIE IMAGE DECODING DEVICE, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016222616A JP6660868B2 (ja) 2016-11-15 2016-11-15 動画像符号化装置及び動画像復号装置並びにプログラム

Publications (3)

Publication Number Publication Date
JP2018082274A true JP2018082274A (ja) 2018-05-24
JP2018082274A5 JP2018082274A5 (ja) 2019-05-16
JP6660868B2 JP6660868B2 (ja) 2020-03-11

Family

ID=62146415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016222616A Active JP6660868B2 (ja) 2016-11-15 2016-11-15 動画像符号化装置及び動画像復号装置並びにプログラム

Country Status (5)

Country Link
US (1) US10819980B2 (ja)
EP (1) EP3544301A4 (ja)
JP (1) JP6660868B2 (ja)
CN (1) CN109964483B (ja)
WO (1) WO2018092409A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166783A (zh) * 2019-06-03 2019-08-23 深圳市华星光电技术有限公司 补偿表压缩方法、显示器制造设备和具有存储功能的装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3064145A1 (fr) * 2017-03-16 2018-09-21 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
WO2020041003A1 (en) * 2018-08-23 2020-02-27 Interdigital Vc Holdings, Inc. Coding of quantization matrices using parametric models
CN112055211B (zh) * 2019-08-15 2021-10-26 华为技术有限公司 视频编码器及qp设置方法
CN114424549A (zh) * 2019-10-31 2022-04-29 株式会社索思未来 运动图像编码方法、编码处理方法、运动图像编码装置及编码处理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239221A (ja) * 2009-03-30 2010-10-21 Panasonic Corp 画像通信システム
JP2011023885A (ja) * 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
JP2015207909A (ja) * 2014-04-21 2015-11-19 日本電信電話株式会社 エンコード方法、エンコード装置及びエンコードプログラム
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1173025A1 (en) * 2000-07-10 2002-01-16 STMicroelectronics S.r.l. A method of compressing digital images
ZA200500417B (en) * 2002-07-15 2006-10-25 Thomson Licensing Sa Adaptive weighting of reference pictures in video decoding
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
US8355041B2 (en) * 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
KR20130049523A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
EP2793467B1 (en) * 2011-12-13 2017-10-11 JVC KENWOOD Corporation Video coding device, video coding method, video coding program, video decoding device, video decoding method, and video decoding program
US10230950B2 (en) * 2013-05-30 2019-03-12 Intel Corporation Bit-rate control for video coding using object-of-interest data
US9258566B1 (en) * 2014-07-17 2016-02-09 Yahoo! Inc. System and method of spherical image compression
JP6629523B2 (ja) 2015-06-02 2020-01-15 花王株式会社 自己乳化型浴用剤組成物
CN105554506B (zh) * 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
CN109076241B (zh) * 2016-05-04 2023-06-23 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239221A (ja) * 2009-03-30 2010-10-21 Panasonic Corp 画像通信システム
JP2011023885A (ja) * 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
JP2015207909A (ja) * 2014-04-21 2015-11-19 日本電信電話株式会社 エンコード方法、エンコード装置及びエンコードプログラム
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166783A (zh) * 2019-06-03 2019-08-23 深圳市华星光电技术有限公司 补偿表压缩方法、显示器制造设备和具有存储功能的装置
US10965314B2 (en) 2019-06-03 2021-03-30 Tcl China Star Optoelectronics Technology Co., Ltd. Compensation table compression method, display manufacturing apparatus, and memory

Also Published As

Publication number Publication date
EP3544301A4 (en) 2020-04-15
WO2018092409A1 (ja) 2018-05-24
US10819980B2 (en) 2020-10-27
CN109964483A (zh) 2019-07-02
US20190289290A1 (en) 2019-09-19
EP3544301A1 (en) 2019-09-25
JP6660868B2 (ja) 2020-03-11
CN109964483B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
RU2654129C2 (ru) Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений
CN105917650B (zh) 视频和图像编/解码的方法、计算设备及计算机可读介质
JP6336058B2 (ja) ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
WO2018092409A1 (ja) 動画像符号化装置及び動画像復号装置並びにプログラム
KR20160105855A (ko) 중첩 구역 내에서의 재구성된 샘플 값의 블록 벡터 예측 및 추정에서의 혁신
JP7343669B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
JP7297918B2 (ja) ビデオ符号化のための色変換
KR20200005648A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2022515850A (ja) 統合位置依存予測組み合わせプロセスを使用するデコードのための方法、装置およびコンピュータ・プログラム
JP7357678B2 (ja) ビデオ復号のための方法、装置、およびプログラム
JP2023505270A (ja) ビデオコーディングのための方法および装置
JP2024024080A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
JP7467650B2 (ja) ビデオ復号の方法、機器、及びコンピュータプログラム
JP2023546962A (ja) 成分間のブロック終了フラグの符号化
WO2021187023A1 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
TWI803709B (zh) 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式
JP7412443B2 (ja) 非線形ループフィルタリングのための方法および装置
WO2023181546A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2012227612A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR20240042644A (ko) 매핑을 사용한 루마로부터의 크로마 예측
KR20220104041A (ko) 비디오 코딩을 위한 방법 및 장치
JP2023508292A (ja) ビデオコーディングのための方法、装置及びプログラム
JP2013223036A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2020202473A (ja) 画像符号化装置及び画像復号装置及び方法及びプログラム
JP2021002724A (ja) 画像符号化装置及び画像復号装置及び方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R150 Certificate of patent or registration of utility model

Ref document number: 6660868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150