JP2020108077A - 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム - Google Patents

映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム Download PDF

Info

Publication number
JP2020108077A
JP2020108077A JP2018247370A JP2018247370A JP2020108077A JP 2020108077 A JP2020108077 A JP 2020108077A JP 2018247370 A JP2018247370 A JP 2018247370A JP 2018247370 A JP2018247370 A JP 2018247370A JP 2020108077 A JP2020108077 A JP 2020108077A
Authority
JP
Japan
Prior art keywords
block
information
area
video
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018247370A
Other languages
English (en)
Inventor
数井　君彦
Kimihiko Kazui
君彦 数井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018247370A priority Critical patent/JP2020108077A/ja
Priority to PCT/JP2019/032585 priority patent/WO2020136987A1/ja
Priority to CN201980075320.4A priority patent/CN113039786A/zh
Publication of JP2020108077A publication Critical patent/JP2020108077A/ja
Priority to US17/237,093 priority patent/US20210243433A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】符号化対象画像を、ブロックを含む複数の領域に分割して符号化する映像符号化において、符号化効率を向上させる。【解決手段】分割部は、映像に含まれる符号化対象画像を複数の領域に分割して、それらの領域を示す領域情報を生成し、参照制約情報を生成する。参照制約情報は、第１領域と第２領域との境界において、第１領域内のブロックから第２領域内のブロックの情報を参照する場合の参照制約と、第２領域内のブロックから第１領域内のブロックの情報を参照する場合の参照制約とを、非対称に規定する。判定部は、符号化対象ブロックと、符号化対象ブロックに隣接する隣接ブロックとの間の位置関係と、参照制約情報とに基づいて、隣接ブロックの情報を参照するか否かを示す判定結果を生成する。第１符号化部は、判定結果に従って、符号化対象ブロックを符号化し、第２符号化部は、領域情報と参照制約情報と符号化対象ブロックの符号化結果とを符号化する。【選択図】図５

Description

本発明は、映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラムに関する。
映像データの圧縮符号化に関する国際規格として、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）が知られている（例えば、非特許文献１を参照）。以下では、Ｈ．２６５／ＨＥＶＣを指して、ＨＥＶＣと記載することがある。
また、現在では、次期国際規格であるＶＶＣ（Versatile Video Coding）の標準化作業が進められている（例えば、非特許文献２を参照）。これらの規格では、映像に含まれる各ピクチャが複数の処理単位に分割される。
ＨＥＶＣ規格における分割単位は、ＣＴＵ（Coding Tree Unit）である。ＣＴＵは、横Ｍ画素、縦Ｍ画素の輝度成分（Ｙ）の輝度ブロックと、同一位置の２つの色差成分（Ｃｂ、Ｃｒ）の色差ブロックとを含む。Ｍは、主に６４、３２のような、２のべき乗の値となる。なお、ＣＴＵがピクチャ境界に隣接している場合、有効な縦画素数又は横画素数がＭよりも小さくなることがある。
ＨＥＶＣ規格では、スライス又はタイルと呼ばれる上位の分割単位が規定されている。特に、タイルは、ＨＥＶＣ規格で新たに導入された分割単位であり、スライスでは実現されなかった、横Ｘ個（Ｘ＞２）、縦Ｙ個（Ｙ＞２）のＣＴＵを含む矩形領域に対応する。
図１は、タイルによるピクチャ分割の例を示している。図１のピクチャは、横に４分割され、縦に２分割されて、タイル１０１〜タイル１０８に分割されている。例えば、タイル１０１は、６個のＣＴＵ１１１を含む。
各タイルの高さ及び幅は任意に設定できるが、同一の縦位置に存在する全タイル（例えば、タイル１０１〜タイル１０４）は、同じ高さを有し、同一の横位置に存在する全タイル（例えば、タイル１０１及びタイル１０５）は、同じ幅を有する。
図１のピクチャ内において、各ＣＴＵは処理順序１２１に従って処理される。ピクチャ内に含まれる複数のタイルは、ラスタスキャン順（左上から右下）で処理され、各タイル内に含まれる複数のＣＴＵも、ラスタスキャン順で処理される。
各タイルの処理は、タイル毎に独立して行うことが可能である。具体的には、エントロピー符号化において、タイル内の最終ＣＴＵの終端によって区切りが挿入される。また、タイル内のＣＵ（Coding Unit）に対するイントラ予測又は動きベクトル予測では、そのタイルの外部に存在するＣＵの情報を参照することが禁止される。タイル分割は、ピクチャ内の複数の矩形領域を並列に処理する場合等に有用である。
ＨＥＶＣ等の多くの映像符号化規格では、符号化ピクチャの復号タイミング及び復号ピクチャの出力（表示）タイミングを示すＨＲＤ（Hypothetical Reference Decoder）モデルが規定されている。ＨＲＤモデルにより、復号タイミング及び出力タイミングの観点でビットストリームが制約される。
ＨＥＶＣ規格よりも前の規格では、符号化ピクチャの復号タイミングが符号化ピクチャ単位でのみ規定されている。ＨＥＶＣ規格では、符号化ピクチャに加えて、ピクチャ内の小領域毎の復号タイミングを規定することが可能である。ＨＥＶＣ規格では、符号化ピクチャはＡＵ（Access Unit）と呼ばれ、ピクチャ内の小領域は、ＤＵ（Decoding Unit）と呼ばれる。
ＤＵは、複数のスライスを含む。ＤＵ単位で復号タイミングを規定することで、符号化ピクチャ全体が映像復号装置に送信される前に、映像復号装置は、各ＤＵの復号を開始することができる。このため、符号化ピクチャ全体の復号完了を前倒しでき、結果として復号ピクチャの出力タイミングを早めることが可能になる。ＨＥＶＣ規格のＨＲＤモデルは、以下に述べる超低遅延符号化に有用である。
超低遅延符号化は、映像符号化装置に各ピクチャが入力されてから、映像復号装置がそのピクチャに対応する復号ピクチャを出力するまでの伝送遅延を、１ピクチャ時間未満に抑える符号化制御である。
伝送遅延は、映像復号装置の符号化ピクチャバッファの容量に比例した遅延と、映像復号装置の復号ピクチャバッファのリオーダリング用ピクチャバンク数に比例した遅延との合計となる。ＨＲＤモデルの規定では、符号化ピクチャバッファはＣＰＢ（Coded Picture Buffer）と呼ばれ、復号ピクチャバッファは、ＤＰＢ（Decoded Picture Buffer）と呼ばれる。
ＣＰＢには、バッファ溢れを起こさないように、復号単位（ＡＵ又はＤＵ）の最大データ量分のバッファ容量が確保される。ＤＰＢには、双方向フレーム間予測の際に行われるピクチャリオーダリング処理に十分な数の復号ピクチャバンク数が確保される。
ピクチャ符号化順序として、ピクチャリオーダリング処理が不要な順序（すなわち、映像符号化装置が入力順に各ピクチャを符号化する順序）を採用し、かつ、ＣＰＢのサイズとして、復号単位の平均データ量を採用することで、伝送遅延が最小化される。特に、復号単位としてＤＵを採用することで、伝送遅延を１ピクチャ時間未満の超低遅延にすることができる。
ビットレートを低く保ちつつ、ＣＰＢサイズをＤＵの平均データ量にするための方法として、縦方向イントラリフレッシュライン方式が知られている。イントラリフレッシュでは、映像復号装置がビットストリームの途中から復号を開始した場合にも、完全な復号ピクチャを出力できるようにするリフレッシュ動作が行われる。縦方向イントラリフレッシュライン方式では、リフレッシュ動作のためのイントラ符号化ブロックが、全ピクチャ及び全ＣＴＵラインに対して均等に割り振られる。
ここで、「完全復号」とは、ビットストリームの先頭から復号を開始した場合と全く同じ復号結果が得られる復号を意味する。縦方向イントラリフレッシュライン方式によって、一般的なイントラ符号化ピクチャを用いるリフレッシュ動作では困難であった、１ピクチャ時間未満のデータ容量となるＣＰＢが実現される。
図２は、縦方向イントラリフレッシュライン方式による復号処理の例を示している。時刻Ｔ［ｉ］（ｉ＝０〜Ｎ）（Ｎは１以上の整数）において、映像復号装置にピクチャ２０１−ｉの符号化データが入力される。各ピクチャ２０１−ｉは、イントラ符号化された領域２１１−ｉ（ｉ＝０〜Ｎ）と、インター符号化された領域２１２−ｉ（ｉ＝０〜Ｎ−１）と、インター符号化された領域２１３−ｉ（ｉ＝１〜Ｎ）とを含む。
周期（Ｎ＋１）のリフレッシュ動作では、時刻Ｔ［０］において、映像復号装置が復号を開始し、時刻Ｔ［Ｎ］においてピクチャ全体の正常復号を完了する。このリフレッシュ動作を実現するために、ピクチャ内のイントラ符号化された領域２１１−ｉの位置が、左から右へピクチャ毎にずれていき、時刻Ｔ［Ｎ］までに、領域２１１−０〜領域２１１−Ｎによって１ピクチャに相当する領域がカバーされる。
領域２１１−ｉの形状として縦長矩形を用い、時刻Ｔ［０］から時刻Ｔ［Ｎ］にかけて、領域２１１−ｉをピクチャの左端から右端まで移動させることで、全ピクチャ及び全ＣＴＵラインに対して、常に同じ個数のイントラ符号化ブロックを挿入することができる。
データ量２２１は、各ピクチャの各ＣＴＵラインに含まれるイントラ符号化ブロックの理想的なデータ量を表し、データ量２２２は、各ピクチャの各ＣＴＵラインに含まれるインター符号化ブロックの理想的なデータ量を表す。ＣＴＵライン内のイントラ符号化ブロックの個数を一定に保つことで、低ビットレートの条件下でも、ブロック毎の画質変動を抑えつつ、各ＣＴＵラインのデータ量を理想的（均一）にする制御を、容易に実現することができる。
映像データの圧縮符号化に関連して、ピクチャ分割符号化方式において符号化効率を向上させる技術が知られている（例えば、特許文献１を参照）。フレキシブルなタイル分割方法も知られている（例えば、非特許文献３を参照）。
特開２０１３−０９８７３４号公報
"High Efficiency Video Coding", Recommendation ITU-T H.265, February 2018 "Versatile Video Coding (Draft 3)", JVET-L1001, October 2018 "AHG12: Flexible Tile Splitting", JVET-L0359, October 2018
既存の映像符号化規格の下で、縦方向イントラリフレッシュライン方式を用いた超低遅延符号化を実現する場合、符号化効率の低下という問題が発生する。
なお、かかる問題は、縦方向イントラリフレッシュライン方式を用いた映像符号化に限らず、符号化対象画像を複数の領域に分割して符号化する他の映像符号化においても生ずるものである。
１つの側面において、本発明は、符号化対象画像を、ブロックを含む複数の領域に分割して符号化する映像符号化において、符号化効率を向上させることを目的とする。
１つの案では、映像符号化装置は、分割部、判定部、第１符号化部、及び第２符号化部を含む。
分割部は、映像に含まれる符号化対象画像を複数の領域に分割して、それらの領域を示す領域情報を生成し、参照制約情報を生成する。参照制約情報は、第１領域と第２領域との境界において、第１領域内のブロックから第２領域内のブロックの情報を参照する場合の参照制約と、第２領域内のブロックから第１領域内のブロックの情報を参照する場合の参照制約とを、非対称に規定する。
判定部は、符号化対象ブロックと、符号化対象ブロックに隣接する隣接ブロックとの間の位置関係と、参照制約情報とに基づいて、隣接ブロックの情報を参照するか否かを示す判定結果を生成する。第１符号化部は、判定結果に従って、符号化対象ブロックを符号化し、第２符号化部は、領域情報と参照制約情報と符号化対象ブロックの符号化結果とを符号化する。
実施形態によれば、符号化対象画像を、ブロックを含む複数の領域に分割して符号化する映像符号化において、符号化効率を向上させることができる。
タイルによるピクチャ分割を示す図である。 縦方向イントラリフレッシュライン方式による復号処理を示す図である。 スライス境界を設定したピクチャを示す図である。 タイル境界を設定したピクチャを示す図である。 映像符号化装置の構成図である。 第１のピクチャ分割を示す図である。 第１のピクチャ分割における参照制約を示す図である。 ビットストリームを示す図である。 映像符号化処理のフローチャートである。 映像復号装置の構成図である。 映像復号処理のフローチャートである。 第２のピクチャ分割を示す図である。 第２のピクチャ分割における参照制約を示す図である。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
ＨＥＶＣ規格では、ＤＵが複数のスライスを含むことが規定されている。この理由は、ビットストリーム内でのＤＵの区切りを明確に定めるためである。ＨＥＶＣ規格のエントロピー符号化では、算術符号化であるＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）が採用されている。
ＣＡＢＡＣは、ビンと呼ばれる複数の符号化対象データをまとめて１ビットに符号化することが可能である。このため、ＣＴＵ間の区切りをビットストリーム上で規定することが難しい。ＨＥＶＣ規格では、スライス又はタイルの境界でＣＡＢＡＣが終端される。これにより、各スライス又は各タイルのＣＡＢＡＣ符号化を独立して行うことができる。
伝送遅延を１ＣＴＵラインに相当する時間まで削減するために、１つのＣＴＵラインを１つのＤＵとして採用した場合、ＣＴＵライン毎にスライス境界又はタイル境界が挿入される。ＣＴＵライン毎にスライス境界又はタイル境界を挿入することで、ＣＴＵライン間の境界を跨ぐ画素値の参照及び符号化パラメータの参照が禁止されるため、イントラ予測及びループ内フィルタの効率が低下し、全体の符号化効率が低下する。
この問題とは別に、リフレッシュ周期内でのピクチャの完全復号を保証するための符号化処理においても、符号化効率の低下という問題が生じる。
完全復号を保証するためには、図２に示したイントラ符号化された領域２１１−ｉと、領域２１１−ｉの左側に存在するインター符号化された領域２１３−ｉとが、常に完全に復号されるように符号化することが望まれる。このため、復号画素値を参照する際に、領域２１１−ｉの右側に存在するインター符号化された領域２１２−ｉの参照を禁止する、参照制限を設けることが好ましい。この理由は、領域２１２−ｉ内のブロックは、完全復号が保証されていないためである。
特許文献１は、符号化効率の低下を抑えつつ、完全復号を実現する方法を開示している。この方法では、映像符号化装置及び映像復号装置の双方が、仮想的な参照境界を跨ぐ参照を制限しながら動作する。例えば、図２の例では、領域２１１−ｉと領域２１２−ｉとの間に仮想的な参照境界が設定される。
しかし、ＨＥＶＣ規格等の既存の映像符号化規格では、特許文献１のような仮想的な参照境界は規定されていない。同等の参照制限を実現するためには、スライス境界又はタイル境界を仮想的な参照境界の位置に設定することが望ましい。
仮想的な参照境界の位置にスライス境界を設定する場合、１つのＣＴＵラインに２個のスライスが挿入され、ＣＡＢＡＣ終端の回数が増加し、符号化効率が低下する。また、領域２１１−ｉと領域２１２−ｉの境界以外にも、ＣＴＵライン間の境界を跨ぐ参照が禁止されるため、符号化効率が低下する。
図３は、仮想的な参照境界の位置にスライス境界を設定したピクチャの例を示している。図３のピクチャには、仮想的な参照境界３０１が設定され、スライス３１１−１〜スライス３１１−Ｋ及びスライス３１２−１〜スライス３１２−Ｋ（Ｋは２以上の整数）が含まれている。１つのＣＴＵラインには、スライス３１１−ｊ及びスライス３１２−ｊ（ｊ＝１〜Ｋ）の２個のスライスが挿入されている。
このようなスライスを挿入することで、参照境界３０１の左右に存在するブロック間での参照を禁止することができる。しかしながら、例えば、スライス３１１−２内のブロックから、その上に隣接するスライス３１１−１内のブロックの情報を参照することも禁止されるため、符号化効率が低下する。
一方、仮想的な参照境界の位置にタイル境界を設定する場合、ＣＴＵライン間の境界を跨ぐ参照は可能になる。しかし、ＨＥＶＣ規格のタイル規定では、ＣＴＵの処理順序がタイル内におけるラスタスキャン順であるため、ＣＰＢのサイズを最小化することが困難になる。
図４は、仮想的な参照境界の位置にタイル境界を設定したピクチャの例を示している。図４のピクチャには、仮想的な参照境界４０１が設定され、タイル４１１及びタイル４１２が含まれている。タイル４１１は、イントラ符号化された領域４２１を含む。
データ量４３１は、タイル４１１に含まれる、イントラ符号化された領域４２１のデータ量を表し、データ量４３２は、タイル４１１に含まれる、インター符号化された領域のデータ量を表す。データ量４３３は、タイル４１２に含まれる、インター符号化された領域のデータ量を表す。タイル４１２はイントラ符号化された領域を含まないため、データ量４３３は、データ量４３１とデータ量４３２の合計よりも小さくなり、結果としてＤＵ毎のデータ量のばらつきが大きくなる。
このような問題は、ＨＥＶＣ規格による映像符号化に限らず、ＶＶＣ規格による映像符号化においても起こり得る。
図５は、実施形態の映像符号化装置の構成例を示している。図５の映像符号化装置５０１は、符号化制御部５１１、画面分割部５１２、符号化順序制御部５１３、参照ブロック決定部５１４、ソース符号化部５１５、及びフレームメモリ５１６を含む。映像符号化装置５０１は、さらに、画面分割部５１７、復号時刻計算部５１８、エントロピー符号化部５１９、及びストリームバッファ５２０を含む。
画面分割部５１２は、分割部の一例であり、参照ブロック決定部５１４は、判定部の一例であり、ソース符号化部５１５は、第１符号化部の一例であり、エントロピー符号化部５１９は、第２符号化部の一例である。画面分割部５１７及び復号時刻計算部５１８は、生成部の一例である。
映像符号化装置５０１は、例えば、ハードウェア回路として実装することができる。この場合、映像符号化装置５０１の各構成要素を個別の回路として実装してもよく、１つの集積回路として実装してもよい。
映像符号化装置５０１は、入力される映像を縦方向イントラリフレッシュライン方式で符号化し、符号化映像をビットストリームとして出力する。映像符号化装置５０１は、ビットストリームを、通信ネットワークを介して、映像復号装置へ送信することができる。
例えば、映像符号化装置５０１は、ビデオカメラ、映像送信装置、テレビ電話システム、コンピュータ、又は携帯端末装置に組み込まれていてもよい。
入力される映像は、複数の時刻それぞれに対応する複数の画像を含む。各時刻の画像は、ピクチャ又はフレームと呼ばれることもある。各画像は、カラー画像であってもよく、モノクロ画像であってもよい。カラー画像の場合、画素値はＲＧＢ形式であってもよく、ＹＵＶ形式であってもよい。
符号化制御部５１１は、外部の装置から入力される符号化パラメータを基に、各画像内における仮想的な参照境界の位置、画像間において参照境界が移動する移動方向、及び各画像内における復号単位の個数を決定する。例えば、画像サイズ、ビットレート、遅延時間、リフレッシュ周期等が符号化パラメータとして入力され、ＤＵ（復号ユニット）が復号単位として用いられる。
画面分割部５１２は、符号化制御部５１１が決定した、参照境界の位置及び移動方向を基に、入力される映像に含まれる符号化対象画像内における、矩形領域の個数及び位置を決定し、符号化対象画像を複数の矩形領域に分割する。そして、画面分割部５１２は、決定した矩形領域の個数及び位置を示す領域情報を、符号化順序制御部５１３、参照ブロック決定部５１４、及びエントロピー符号化部５１９へ出力する。例えば、矩形領域としてはタイルが用いられ、各矩形領域には、ＣＴＵ、ＣＵ等のような、複数のブロックが含まれる。
また、画面分割部５１２は、参照境界の移動方向を基に、ＣＴＵ間の参照制約情報を生成し、参照ブロック決定部５１４及びエントロピー符号化部５１９へ出力する。参照制約情報は、矩形領域間の境界において、一方の矩形領域内のブロックから他方の矩形領域内のブロックの情報を参照する場合の参照制約と、他方の矩形領域内のブロックから一方の矩形領域内のブロックの情報を参照する場合の参照制約とを、非対称に規定する。
符号化順序制御部５１３は、画面分割部５１２が出力する領域情報を基に、符号化対象画像内におけるＣＴＵの総数と、各ＣＴＵの形状及びソース符号化順序を決定する。
参照ブロック決定部５１４は、符号化対象画像内のブロック間の位置関係と、画面分割部５１２が出力する参照制約情報とを基に、各ＣＴＵ内の符号化対象ブロックに対する参照制約を決定し、決定した参照制約を示す判定結果を生成する。ブロック間の位置関係には、符号化対象ブロックと、その符号化対象ブロックに隣接する隣接ブロックとの間の位置関係が含まれ、判定結果は、符号化対象ブロックの符号化処理において、隣接ブロックの情報の参照を許可するか否かを示す。
ソース符号化部５１５は、符号化対象画像を複数のＣＴＵに分割し、ＣＴＵ内の各ブロックを、ＣＴＵ内におけるラスタスキャン順でソース符号化により符号化する。ソース符号化は、イントラ予測又はインター予測、予測誤差の直交変換と量子化、量子化結果の逆量子化と逆直交変換、復元予測誤差と予測値の加算、及びループ内フィルタを含む。量子化結果は、予測誤差の直交変換係数を量子化した結果（量子化係数）であり、ソース符号化における符号化結果を表す。
ソース符号化部５１５は、符号化順序制御部５１３が決定したソース符号化順序に従って、各ＣＴＵの処理順序及び各ＣＴＵの形状を制御するとともに、参照ブロック決定部５１４の判定結果に従って、隣接ブロックの情報を参照するか否かを決定する。そして、ソース符号化部５１５は、各ブロックの符号化パラメータ及び量子化結果を、エントロピー符号化部５１９へ出力する。
フレームメモリ５１６は、ソース符号化部５１５によって生成される、ＣＴＵの局所復号画素値を記憶し、ソース符号化部５１５が後続するＣＴＵを符号化する際に、局所復号画素値をソース符号化部５１５へ出力する。出力された局所復号画素値は、後続するＣＴＵの予測値を生成するために使用される。
画面分割部５１７は、符号化制御部５１１が決定した遅延時間を基に、符号化対象画像内におけるＤＵの個数と、ＣＡＢＡＣの終端処理を行うＣＴＵ位置とを決定する。ＣＡＢＡＣの終端処理を行うＣＴＵ位置は、符号化対象画像に含まれる複数のブロックの符号化結果において、矩形領域間の境界とは異なる区切り位置を示している。そして、画面分割部５１７は、決定したＤＵの個数を示すＤＵ情報を、復号時刻計算部５１８及びエントロピー符号化部５１９へ出力し、決定したＣＴＵ位置を示す位置情報を、エントロピー符号化部５１９へ出力する。
復号時刻計算部５１８は、画面分割部５１７が出力するＤＵ情報に従って、各ＤＵの復号が開始される復号時刻を決定し、決定した復号時刻を示す復号時刻情報を、エントロピー符号化部５１９へ出力する。
エントロピー符号化部５１９は、ソース符号化部５１５が出力する、各ブロックの符号化パラメータ及び量子化結果を、ＣＡＢＡＣを用いたエントロピー符号化により符号化し、ビットストリームを生成する。このとき、各ブロックの符号化パラメータ及び量子化結果とともに、画面分割部５１２が出力する領域情報及び参照制約情報、画面分割部５１７が出力するＤＵ情報及び位置情報、及び復号時刻計算部５１８が出力する復号時刻情報も符号化される。
ストリームバッファ５２０は、各ブロックの符号化パラメータ及び量子化結果、領域情報、参照制約情報、ＤＵ情報、位置情報、及び復号時刻情報を含むビットストリームを記憶し、ビットストリームを通信ネットワークへ出力する。
図６は、矩形領域としてタイルを用いた場合の第１のピクチャ分割の例を示している。図６（ａ）は、符号化対象画像に対応するピクチャ内のタイルの例を示している。ピクチャ６０１は、タイル６１１及びタイル６１２に分割され、タイル６１１とタイル６１２との間の境界は、仮想的な参照境界６０２に一致している。参照境界６０２は、ピクチャ６０１内において垂直方向（縦方向）に延びている。
図６（ｂ）は、ピクチャ６０１内のＣＴＵの例を示している。ピクチャ６０１は、複数のＣＴＵ６２１に分割されている。この例では、参照境界６０２の横方向位置が、ＣＴＵ幅の整数倍の位置ではないため、参照境界６０２の左側に隣接するＣＴＵの形状は、正方形ではなく、矩形である。
ピクチャ６０１内における各ＣＴＵの処理順序６２２は、タイル６１１及びタイル６１２の形状とは独立して、ピクチャ６０１内におけるラスタスキャン順である。なお、各ＣＴＵ内の各ＣＵの処理順序は、ＨＥＶＣ規格と同様に、ＣＴＵ内におけるラスタスキャン順である。
ＣＴＵ位置６３１〜ＣＴＵ位置６３３は、ピクチャ６０１が３個のＤＵに分割される場合のＤＵ間の境界を示し、ピクチャ６０１の右端に接するブロックの符号化結果の直後の位置に設定される。この場合、エントロピー符号化部５１９は、ＣＴＵ位置６３１〜ＣＴＵ位置６３３に従ってエントロピー符号化を行う。したがって、ＣＴＵ位置６３１〜ＣＴＵ位置６３３それぞれにおいて、ＣＡＢＡＣの終端処理が行われる。
図７は、図６の第１のピクチャ分割における参照制約の例を示している。タイル間の境界７１１は、図６の参照境界６０２に対応し、ＣＴＵ７０１〜ＣＴＵ７０３は、境界７１１の左側に隣接しており、ＣＴＵ７０４〜ＣＴＵ７０６は、境界７１１の右側に隣接している。
画面分割部５１２は、参照境界６０２の移動方向を基に、ＣＴＵ間の参照制約情報を生成する。例えば、参照境界６０２が左から右へ移動する場合、境界７１１の左側に存在するＣＴＵ内のブロックから、境界７１１の右側に存在するＣＴＵ内のブロックの情報を参照することが制限される。
例えば、ＣＴＵ７０１が処理対象である場合、ＣＴＵ７０１内のＣＵからは、境界７１１の左側に存在するＣＴＵ７０１〜ＣＴＵ７０３内のＣＵの情報のみを参照することができる。したがって、境界７１１の右側に存在するＣＴＵ７０４〜ＣＴＵ７０６内のＣＵの情報を参照することは、禁止される。
一方、ＣＴＵ７０４が処理対象である場合、ＣＴＵ７０４内のＣＵからは、ＣＴＵ７０４〜ＣＴＵ７０６内のＣＵの情報に加えて、ＣＴＵ７０１〜ＣＴＵ７０３内のＣＵの情報も参照することができる。
このように、境界７１１において、左側のタイル６１１内のブロックから右側のタイル６１２内のブロックの情報を参照する場合の参照制約と、タイル６１２内のブロックからタイル６１１内のブロックの情報を参照する場合の参照制約とが、非対称に規定される。
なお、イントラ予測を行う際には、ＨＥＶＣ規格と同様に、処理順序による参照制約がさらに適用される。例えば、イントラ予測において、ＣＴＵ７０４内のＣＵからは、ＣＴＵ７０３内のＣＵの情報を参照することが禁止される。
図６のピクチャ分割と図７の参照制約は、映像復号装置においても、映像符号化装置５０１と同様に適用される。
図８は、映像符号化装置５０１が出力するビットストリームの例を示している。図８のビットストリームは、１つの符号化画像に対応し、シーケンスパラメータセット（ＳＰＳ）８０１、ピクチャパラメータセット（ＰＰＳ）８０２、ＳＥＩ（Supplemental Enhancement Information）８０３、及びＣＴＵ符号化データ８０４を含む。
ＳＰＳ８０１は、ＨＥＶＣ規格のＳＰＳに相当し、複数の符号化画像毎に付加される。ＰＰＳ８０２は、ＨＥＶＣ規格のＰＰＳに相当する。ＳＥＩ８０３は、補助データであり、ＨＥＶＣ規格のピクチャタイミングＳＥＩに相当する。ＣＴＵ符号化データ８０４は、画像内の各ＣＴＵの符号化結果であり、ＨＥＶＣ規格のSliceSegmentData()に相当する。
ＳＰＳ８０１は、ＨＥＶＣ規格のタイルとは別のＣＴＵ処理順序及び参照制限を用いることを示すフラグAlternativeTileModeFlagを含む。AlternativeTileModeFlagが０の場合、ＨＥＶＣ規格のタイルと同様のＣＴＵ処理順序及び参照制限が用いられる。ＳＰＳ８０１のその他のシンタックスは、ＨＥＶＣ規格のＳＰＳと同等である。
ＰＰＳ８０２は、タイルを使用することを示すTilesEnableFlagを含む。TilesEnableFlagは、ＨＥＶＣ規格と同等である。TilesEnableFlagが１の場合、ＰＰＳ８０２は、タイルの個数及び位置を記述するパラメータ群TilesGeomParams()を含む。TilesGeomParams()は、NumTileColumnsMinus1等を含み、ＨＥＶＣ規格又は非特許文献３と同等である。
AlternativeTileModeFlagが１の場合、ＰＰＳ８０２は、さらに、タイル境界での参照制限の有無及び制限方向を記述するBoundaryCntlIdcと、ＤＵのサイズ（ＣＴＵラインの個数）を示すDuSizeInCtuLineとを含む。画像内におけるＤＵの個数は、ｃｅｉｌ（Ｈ／DuSizeInCtuLine）によって求められる。ｃｅｉｌ（）は、天井関数（切り上げ関数）であり、Ｈは、画像内に含まれるＣＴＵラインの個数を表す。
ＳＥＩ８０３は、画像内における最後のＤＵを除く、各ＤＵの復号時刻情報DuCpbRemovalDelayIncを含む。DuCpbRemovalDelayIncから各ＤＵの復号時刻を計算する方法と、ＳＥＩ８０３のその他のシンタックスは、ＨＥＶＣ規格のピクチャタイミングＳＥＩと同等である。
ＣＴＵ符号化データ８０４は、１つのＣＴＵに相当するCodingTreeUnit()、ＣＡＢＡＣの終端を意味するEndOfSubsetOneBit、及びバイトアラインのための追加ビット列ByteAlignment()を含む。AlternativeTileModeFlagが０の場合には、EndOfSubsetOneBitは、ＨＥＶＣ規格でのタイル境界（ＣＴＵのTileIdが不連続になる箇所）に挿入される。一方、AlternativeTileModeFlagが１の場合には、EndOfSubsetOneBitは、DuSizeInCtuLineによって決定されるＣＴＵに対応するCodingTreeUnit()の直後に挿入される。
次に、図８に示したビットストリーム内のパラメータに基づく映像符号化装置５０１及び映像復号装置の動作について説明する。AlternativeTileModeFlagが０の場合の動作はＨＥＶＣ規格と同様であるため、以下では、AlternativeTileModeFlagが１の場合の動作のみを説明する。
ＣＴＵのエントロピー復号順序は、画像内におけるラスタスキャン順である。例えば、１つのＣＴＵラインに含まれるＣＴＵの個数をＷとすると、画像の左端からＸ番目（Ｘ＝０，１，２，．．．）、画像の上端からＹ番目（Ｙ＝０，１，２，．．．）のＣＴＵのエントロピー復号順序は、（Ｘ＋Ｗ＊Ｙ）番目である。
ＨＥＶＣ規格のTilesGeomParams()に準ずる場合、Ｗは、ｃｅｉｌ（PicWidth/CtuWidth）によって与えられる。PicWidth及びCtuWidthは、それぞれ、ＳＰＳパラメータによって決定される画像幅（単位は画素）及びＣＴＵ幅（単位は画素）である。
一方、非特許文献３のTilesGeomParams()に準ずる場合、Ｗは、同一の縦位置に存在する全タイルについて、各タイル内の横方向におけるＣＴＵの個数を合計した結果になる。ここで、タイル内の横方向におけるＣＴＵの個数は、ｃｅｉｌ（TileWidth/CtuWidth）によって与えられる。TileWidthは、ColumnWidthMinus1から計算されるタイル幅（単位は画素）である。
TilesGeomParams()の取り扱い（タイルの個数、各タイルのサイズ、及び各タイルの位置の決定）は、ＨＥＶＣ規格又は非特許文献３と同等である。例えば、NumTileColumnsMinus1が１である場合、横方向におけるタイルの個数は２となる。
BoundaryCntlIdcの値によって、以下のように動作が切り替わる。
BoundaryCntlIdc＝０の場合：タイル境界を跨ぐイントラ予測参照は不可であり、ループ内フィルタ用画素参照は可能である。この動作は、ＨＥＶＣ規格のLoopFilterAcrossTilesEnabledFlagが１の場合に相当する。
BoundaryCntlIdc＝１の場合：タイル境界を跨ぐイントラ予測参照は不可であり、ループ内フィルタ用画素参照も不可である。この動作は、ＨＥＶＣ規格のLoopFilterAcrossTilesEnabledFlagが０の場合に相当する。
BoundaryCntlIdc＝２の場合：TileIdが小さいタイルに含まれるＣＵから、TileIdが大きいタイルに含まれるＣＵの情報を参照することが不可である。この動作は、仮想的な参照境界の左側にイントラ符号化された領域が存在する場合に採用される。
BoundaryCntlIdc＝３の場合：TileIdが大きいタイルに含まれるＣＵから、TileIdが小さいタイルに含まれるＣＵの情報を参照することが不可である。この動作は、仮想的な参照境界の右側にイントラ符号化された領域が存在する場合に採用される。
なお、同じタイル内に含まれるＣＵ間における情報の参照は、常に可能である。
DuSizeInCtuLineの値によって、ＣＡＢＡＣの終端処理を行うＣＴＵ位置（エントロピー符号化順）が決定される。１つのＣＴＵラインに含まれるＣＴＵの個数をＷとすると、（DuSizeInCtuLine＊Ｗ）番目のＣＴＵ毎に、そのＣＴＵの直前にＣＡＢＡＣの終端が挿入される。
図９は、映像符号化装置５０１が行う映像符号化処理の例を示すフローチャートである。図９の映像符号化処理は、映像に含まれる各画像に対して適用される。この映像符号化処理では、矩形領域としてタイルが用いられる。
まず、映像符号化装置５０１は、符号化対象画像のタイル構造を決定し（ステップ９０１）、決定したタイル構造に従って、タイルパラメータを符号化する（ステップ９０２）。
次に、映像符号化装置５０１は、処理対象のＣＴＵ（処理ＣＴＵ）を決定する（ステップ９０３）。このとき、映像符号化装置５０１は、画像内におけるラスタスキャン順で、処理ＣＴＵの位置及びサイズを決定する。そして、映像符号化装置５０１は、処理ＣＴＵの位置及びタイル境界の位置を基に、隣接ブロックに対する参照制限を決定する（ステップ９０４）。
次に、映像符号化装置５０１は、処理ＣＴＵのソース符号化を行う（ステップ９０５）。ソース符号化において、映像符号化装置５０１は、処理ＣＴＵを含むＤＵが、ピクチャタイミングＳＥＩによって記述される、映像復号装置におけるＤＵの復号時刻よりも先にＣＰＢに到達するように、量子化パラメータの調整等を行ってデータ量を制御する。
次に、映像符号化装置５０１は、処理ＣＴＵのエントロピー符号化を行い（ステップ９０６）、処理ＣＴＵがＤＵの終端に対応するか否かをチェックする（ステップ９０７）。
処理ＣＴＵがＤＵの終端に対応する場合（ステップ９０７，ＹＥＳ）、映像符号化装置５０１は、ＣＡＢＡＣの終端処理を行い（ステップ９０８）、符号化対象画像内に未処理のＣＴＵが残っているか否かをチェックする（ステップ９０９）。一方、処理ＣＴＵがＤＵの終端に対応しない場合（ステップ９０７，ＮＯ）、映像符号化装置５０１は、ステップ９０９の処理を行う。
未処理のＣＴＵが残っている場合（ステップ９０９，ＹＥＳ）、映像符号化装置５０１は、ステップ９０３以降の処理を繰り返す。未処理のＣＴＵが残っていない場合（ステップ９０９，ＮＯ）、映像符号化装置５０１は、処理を終了する。
図５の映像符号化装置５０１によれば、符号化対象画像を複数の矩形領域に分割して符号化する映像符号化において、符号化効率を向上させることができる。したがって、復号画像の画質を保ちつつ、符号量を削減することが可能になる。特に、縦方向イントラリフレッシュライン方式を用いた超低遅延符号化において、符号化効率を向上することができる。
図１０は、映像符号化装置５０１から出力されるビットストリームを復号する、映像復号装置の構成例を示している。図１０の映像復号装置１００１は、ストリームバッファ１０１１、エントロピー復号部１０１２、画面分割部１０１３、復号時刻計算部１０１４、画面分割部１０１５、参照ブロック決定部１０１６、ソース復号部１０１７、及びフレームメモリ１０１８を含む。
エントロピー復号部１０１２は、第１復号部の一例であり、ソース復号部１０１７は、第２復号部の一例である。画面分割部１０１５は、分割部の一例であり、参照ブロック決定部１０１６は、判定部の一例である。
映像復号装置１００１は、例えば、ハードウェア回路として実装することができる。この場合、映像復号装置１００１の各構成要素を個別の回路として実装してもよく、１つの集積回路として実装してもよい。
映像復号装置１００１は、入力される符号化映像のビットストリームを復号し、復号映像を出力する。映像復号装置１００１は、図５の映像符号化装置５０１から、通信ネットワークを介して、ビットストリームを受信することができる。
例えば、映像復号装置１００１は、ビデオカメラ、映像受信装置、テレビ電話システム、コンピュータ、又は携帯端末装置に組み込まれていてもよい。
ストリームバッファ１０１１は、入力されるビットストリームを記憶し、各符号化画像のヘッダ情報（ＳＰＳ、ＰＰＳ、ＳＥＩ）がストリームバッファ１０１１に到着したとき、ヘッダ情報の到着をエントロピー復号部１０１２に通知する。
エントロピー復号部１０１２は、ビットストリームのエントロピー復号を行う。エントロピー復号部１０１２は、ストリームバッファ１０１１からヘッダ情報の到着が通知されたとき、ストリームバッファ１０１１からヘッダ情報の符号化データを読み出して、エントロピー復号により復号する。これにより、領域情報、参照制約情報、ＤＵ情報、位置情報、及び復号時刻情報が復元される。エントロピー復号部１０１２は、ＤＵ情報、位置情報、及び復号時刻情報を画面分割部１０１３へ出力し、領域情報及び参照制約情報を画面分割部１０１５へ出力する。
エントロピー復号部１０１２は、復号時刻計算部１０１４から通知される、ＤＵの復号時刻になったとき、ストリームバッファ１０１１からＤＵの符号化データを読み出して、ＤＵ内の各ＣＴＵのエントロピー復号をデータ順に行う。これにより、各ブロックの符号化結果が、符号化ブロックの復号対象符号として復元される。エントロピー復号部１０１２は、符号化ブロックの復号対象符号をソース復号部１０１７へ出力する。
画面分割部１０１３は、エントロピー復号部１０１２が出力するＤＵ情報及び位置情報を基に、各ＤＵ内の最終ＣＴＵのＣＴＵ位置を計算し、計算したＣＴＵ位置と各ＤＵの復号時刻情報とを、復号時刻計算部１０１４へ出力する。
復号時刻計算部１０１４は、画面分割部１０１３が出力する、各ＤＵの復号時刻情報から各ＤＵの復号時刻を計算し、エントロピー復号部１０１２に通知する。
画面分割部１０１５は、エントロピー復号部１０１２が出力する領域情報を基に、矩形領域の個数と、各矩形領域の位置及びサイズを決定し、画像を複数の矩形領域に分割する。そして、画面分割部１０１５は、複数の矩形領域の情報及び参照制約情報を、参照ブロック決定部１０１６へ出力する。
参照ブロック決定部１０１６は、符号化画像内のブロック間の位置関係と、画面分割部１０１５が出力する複数の矩形領域の情報及び参照制約情報とを基に、各ＣＴＵ内の符号化ブロックに対する参照制約を決定し、決定した参照制約を示す判定結果を生成する。
符号化ブロックは、ソース復号の復号対象となるブロックを表し、ブロック間の位置関係には、符号化ブロックと、その符号化ブロックに隣接する隣接ブロックとの間の位置関係が含まれる。判定結果は、符号化ブロックの復号処理において、隣接ブロックの情報の参照を許可するか否かを示す。
ソース復号部１０１７は、エントロピー復号部１０１２が出力する復号対象符号を、ソース復号により復号順に復号する。このとき、ソース復号部１０１７は、参照ブロック決定部１０１６の判定結果に従って、隣接ブロックの情報を参照するか否かを決定する。ソース復号は、逆量子化、逆直交変換、復元予測誤差と予測値の加算、及びループ内フィルタを含む。
フレームメモリ１０１８は、ソース復号部１０１７によって生成される、ＣＴＵの復号画素値からなる復号画像を記憶し、ソース復号部１０１７が後続する符号化ＣＴＵを復号する際に、復号画素値をソース復号部１０１７へ出力する。出力された復号画素値は、後続する符号化ＣＴＵの予測値を生成するために使用される。そして、フレームメモリ１０１８は、複数の復号画像を復号順に出力することで、復号映像を生成する。
図１１は、映像復号装置１００１が行う映像復号処理の例を示すフローチャートである。図１１の映像復号処理は、ビットストリームに含まれる各符号化画像に対して適用される。この映像復号処理では、矩形領域としてタイルが用いられる。
まず、映像復号装置１００１は、エントロピー復号により、符号化画像のヘッダ情報の符号化データを復号する（ステップ１１０１）。そして、映像復号装置１００１は、符号化画像のタイル構造を復元し（ステップ１１０２）、各ＤＵの復号時刻を復元する（ステップ１１０３）。
映像復号装置１００１は、次の処理対象であるＤＵの復号時刻になるまで待機する（ステップ１１０４）。ＤＵの復号時刻になると、映像復号装置１００１は、ビットストリーム順に、ＤＵ内のＣＴＵのエントロピー復号を行う（ステップ１１０５）。そして、映像復号装置１００１は、そのＣＴＵ内の符号化ブロックに対する参照制限を決定する（ステップ１１０６）。
次に、映像復号装置１００１は、ＣＴＵのソース復号を行い（ステップ１１０７）、ＤＵ内に未処理のＣＴＵが残っているか否かをチェックする（ステップ１１０８）。未処理のＣＴＵが残っている場合（ステップ１１０８，ＹＥＳ）、映像復号装置１００１は、ステップ１１０５以降の処理を繰り返す。未処理のＣＴＵが残っていない場合（ステップ１１０８，ＮＯ）、映像復号装置１００１は、ＣＡＢＡＣの終端処理を行う（ステップ１１０９）。
次に、映像復号装置１００１は、符号化画像内に未処理のＤＵが残っているか否かをチェックする（ステップ１１１０）。未処理のＤＵが残っている場合（ステップ１１１０，ＹＥＳ）、映像復号装置１００１は、ステップ１１０４以降の処理を繰り返す。未処理のＤＵが残っていない場合（ステップ１１１０，ＮＯ）、映像復号装置１００１は、処理を終了する。
図１２は、矩形領域としてタイルを用いた場合の第２のピクチャ分割の例を示している。図１２（ａ）は、符号化対象画像に対応するピクチャ内のタイルの例を示している。ピクチャ１２０１内の各ＣＴＵラインは２個のタイルに分割され、ピクチャ１２０１は、タイル１２１１〜タイル１２２２に分割される。各ＣＴＵラインに含まれる２個のタイルの間の境界は、仮想的な参照境界１２０２に一致している。参照境界１２０２は、ピクチャ１２０１内において垂直方向（縦方向）に延びている。
図１２（ｂ）は、ピクチャ１２０１内のＣＴＵの例を示している。ピクチャ１２０１は、複数のＣＴＵ１２３１に分割されている。この例では、参照境界１２０２の横方向位置が、ＣＴＵ幅の整数倍の位置ではないため、参照境界１２０２の左側に隣接するＣＴＵの形状は、正方形ではなく、矩形である。
ピクチャ１２０１内における各ＣＴＵの処理順序１２３２は、タイル１２１１〜タイル１２２２の形状とは独立して、ピクチャ１２０１内におけるラスタスキャン順である。
ＣＴＵ位置１２４１〜ＣＴＵ位置１２４３は、ピクチャ１２０１が３個のＤＵに分割される場合のＤＵ間の境界を示し、ピクチャ１２０１の右端に接するブロックの符号化結果の直後の位置に設定される。この場合、エントロピー符号化部５１９は、ＣＴＵ位置１２４１〜ＣＴＵ位置１２４３に従ってエントロピー符号化を行う。したがって、ＣＴＵ位置１２４１〜ＣＴＵ位置１２４３それぞれにおいて、ＣＡＢＡＣの終端処理が行われる。
図１３は、図１２の第２のピクチャ分割における参照制約の例を示している。タイル間の境界１３２１は、図１２の参照境界１２０２に対応し、タイル間の境界１３２２及び境界１３２３は、ＣＴＵライン間の境界に対応する。ＣＴＵ１３０１〜ＣＴＵ１３０６は、境界１３２１の左側に存在し、ＣＴＵ１３１１〜ＣＴＵ１３１６は、境界１３２１の右側に存在する。
画面分割部５１２は、参照境界１２０２の移動方向を基に、ＣＴＵ間の参照制約情報を生成する。例えば、参照境界１２０２が左から右へ移動する場合、境界１３２１の左側に存在するＣＴＵ内のブロックから、境界１３２１の右側に存在するＣＴＵ内のブロックの情報を参照することが制限される。
例えば、ＣＴＵ１３０５が処理対象である場合、ＣＴＵ１３０５内のＣＵからは、境界１３２１の左側に存在するＣＴＵ１３０１〜ＣＴＵ１３０６内のＣＵの情報のみを参照することができる。したがって、境界１３２１の右側に存在するＣＴＵ１３１１〜ＣＴＵ１３１６内のＣＵの情報を参照することは、禁止される。
一方、ＣＴＵ１３１２が処理対象である場合、ＣＴＵ１３１２内のＣＵからは、ＣＴＵ１３１１〜ＣＴＵ１３１６内のＣＵの情報に加えて、ＣＴＵ１３０１〜ＣＴＵ１３０６内のＣＵの情報も参照することができる。
このように、境界１３２１において、左側のタイル内のブロックから右側のタイル内のブロックの情報を参照する場合の参照制約と、右側のタイル内のブロックから左側のタイル内のブロックの情報を参照する場合の参照制約とが、非対称に規定される。これらの参照制約は、境界１３２２及び境界１３２３に対しては適用されない。
なお、イントラ予測を行う際には、ＨＥＶＣ規格と同様に、処理順序による参照制約がさらに適用される。例えば、イントラ予測において、ＣＴＵ１３１２内のＣＵからは、ＣＴＵ１３０６内のＣＵの情報を参照することが禁止される。
図１２のピクチャ分割と図１３の参照制約は、映像復号装置１００１においても、映像符号化装置５０１と同様に適用される。
図１２のピクチャ分割を採用した場合のビットストリームは、図８のビットストリームと同様である。ただし、BoundaryCntlIdcの値によって、以下のように動作が切り替わる。
BoundaryCntlIdc＝０の場合：タイル境界を跨ぐイントラ予測参照は不可であり、ループ内フィルタ用画素参照は可能である。この動作は、ＨＥＶＣ規格のLoopFilterAcrossTilesEnabledFlagが１の場合に相当する。
BoundaryCntlIdc＝１の場合：タイル境界を跨ぐイントラ予測参照は不可であり、ループ内フィルタ用画素参照も不可である。この動作は、ＨＥＶＣ規格のLoopFilterAcrossTilesEnabledFlagが０の場合に相当する。
BoundaryCntlIdc＝２の場合：処理対象のＣＵから、そのＣＵに左隣接する垂直方向のタイル境界の反対側に存在するＣＵの情報を参照することが不可である。この動作は、仮想的な参照境界の左側にイントラ符号化された領域が存在する場合に採用される。
BoundaryCntlIdc＝３の場合：処理対象のＣＵから、そのＣＵに右隣接する垂直方向のタイル境界の反対側に存在するＣＵの情報を参照することが不可である。この動作は、仮想的な参照境界の右側にイントラ符号化された領域が存在する場合に採用される。
なお、同じタイル内に含まれるＣＵ間における情報の参照は、常に可能である。
図５の映像符号化装置５０１の構成は一例に過ぎず、映像符号化装置５０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図１０の映像復号装置１００１の構成は一例に過ぎず、映像復号装置１００１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図９及び図１１に示したフローチャートは一例に過ぎず、映像符号化装置５０１又は映像復号装置１００１の構成又は条件に応じて、一部の処理を省略又は変更してもよい。
図５の映像符号化装置５０１と図１０の映像復号装置１００１は、ハードウェア回路として実装することもでき、情報処理装置（コンピュータ）を用いて実装することもできる。
図１４は、映像符号化装置５０１又は映像復号装置１００１として用いられる情報処理装置の構成例を示している。図１４の情報処理装置は、ＣＰＵ（Central Processing Unit）１４０１、メモリ１４０２、入力装置１４０３、出力装置１４０４、補助記憶装置１４０５、媒体駆動装置１４０６、及びネットワーク接続装置１４０７を含む。これらの構成要素はバス１４０８により互いに接続されている。
メモリ１４０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１４０２は、図５のフレームメモリ５１６及びストリームバッファ５２０として用いることができる。メモリ１４０２は、図１０のストリームバッファ１０１１及びフレームメモリ１０１８としても用いることができる。
ＣＰＵ１４０１（プロセッサ）は、例えば、メモリ１４０２を利用してプログラムを実行することにより、図５の符号化制御部５１１、画面分割部５１２、符号化順序制御部５１３、参照ブロック決定部５１４、及びソース符号化部５１５として動作する。ＣＰＵ１４０１は、メモリ１４０２を利用してプログラムを実行することにより、画面分割部５１７、復号時刻計算部５１８、及びエントロピー符号化部５１９としても動作する。
ＣＰＵ１４０１は、メモリ１４０２を利用してプログラムを実行することにより、図１０のエントロピー復号部１０１２、画面分割部１０１３、及び復号時刻計算部１０１４としても動作する。ＣＰＵ１４０１は、メモリ１４０２を利用してプログラムを実行することにより、画面分割部１０１５、参照ブロック決定部１０１６、及びソース復号部１０１７としても動作する。
入力装置１４０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置１４０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。処理結果は、復号映像であってもよい。
補助記憶装置１４０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１４０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１４０５にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。
媒体駆動装置１４０６は、可搬型記録媒体１４０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１４０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１４０９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、又はＵＳＢ（Universal Serial Bus）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体１４０９にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ１４０２、補助記憶装置１４０５、及び可搬型記録媒体１４０９のような、物理的な（非一時的な）記録媒体が含まれる。
ネットワーク接続装置１４０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。ネットワーク接続装置１４０７は、ビットストリームを映像復号装置１００１へ送信したり、ビットストリームを映像符号化装置５０１から受信したりすることができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１４０７を介して受信し、それらをメモリ１４０２にロードして使用することができる。
なお、情報処理装置が図１４のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要である場合は、入力装置１４０３及び出力装置１４０４を省略してもよい。また、情報処理装置が可搬型記録媒体１４０９にアクセスしない場合は、媒体駆動装置１４０６を省略してもよい。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
１０１〜１０８、４１１、４１２、６１１、６１２、１２１１〜１２２２ タイル
１１１、６２１、７０１〜７０６、１２３１、１３０１〜１３０６、１３１１〜１３１６ ＣＴＵ
１２１、６２２、１２３２ 処理順序
２０１−０、２１１−１、２０１−Ｎ、６０１、１２０１ ピクチャ
２１１−０、２１１−１、２１１−Ｎ、２１２−０、２１２−１、２１３−１、２１３−Ｎ、４２１ 領域
２２１、２２２、４３１〜４３３ データ量
３０１、４０１、６０２、１２０２ 参照境界
３１１−１〜３１１−Ｋ、３１２−１〜３１２−Ｋ スライス
５０１ 映像符号化装置
５１１ 符号化制御部
５１２、５１７、１０１３、１０１５ 画面分割部
５１３ 符号化順序制御部
５１４、１０１６ 参照ブロック決定部
５１５ ソース符号化部
５１６、１０１８ フレームメモリ
５１８、１０１４ 復号時刻計算部
５１９ エントロピー符号化部
５２０、１０１１ ストリームバッファ
６３１〜６３３、１２４１〜１２４３ ＣＴＵ位置
７１１、１３２１〜１３２３ 境界
８０１ ＳＰＳ
８０２ ＰＰＳ
８０３ ＳＥＩ
８０４ ＣＴＵ符号化データ
１００１ 映像復号装置
１０１２ エントロピー復号部
１０１７ ソース復号部
１４０１ ＣＰＵ
１４０２ メモリ
１４０３ 入力装置
１４０４ 出力装置
１４０５ 補助記憶装置
１４０６ 媒体駆動装置
１４０７ ネットワーク接続装置
１４０８ バス
１４０９ 可搬型記録媒体

Claims (11)

  1. 映像に含まれる符号化対象画像を複数の領域に分割して、前記複数の領域を示す領域情報を生成し、前記複数の領域のうち第１領域と第２領域との境界において、前記第１領域内のブロックから前記第２領域内のブロックの情報を参照する場合の参照制約と、前記第２領域内のブロックから前記第１領域内のブロックの情報を参照する場合の参照制約とを非対称に規定する、参照制約情報を生成する分割部と、
    符号化対象ブロックと前記符号化対象ブロックに隣接する隣接ブロックとの間の位置関係と、前記参照制約情報とに基づいて、前記隣接ブロックの情報を参照するか否かを示す判定結果を生成する判定部と、
    前記判定結果に従って、前記符号化対象ブロックを符号化する第１符号化部と、
    前記領域情報と前記参照制約情報と前記符号化対象ブロックの符号化結果とを符号化する第２符号化部と、
    を備えることを特徴とする映像符号化装置。
  2. 前記第２符号化部は、前記符号化対象画像に含まれる複数のブロックの符号化結果において、前記複数の領域の間の境界とは異なる区切り位置に従って、前記領域情報と前記参照制約情報と前記符号化対象ブロックの符号化結果とを符号化することを特徴とする請求項１記載の映像符号化装置。
  3. 前記複数の領域の間の境界とは異なる区切り位置を示す位置情報と、２つの区切り位置の間に含まれる符号化結果の復号が開始される時刻を示す復号時刻情報とを生成する生成部をさらに備え、
    前記第２符号化部は、前記領域情報、前記参照制約情報、及び前記符号化対象ブロックの符号化結果とともに、前記位置情報と前記復号時刻情報とを符号化することを特徴とする請求項２記載の映像符号化装置。
  4. 前記生成部は、前記符号化対象画像の右端に接するブロックの符号化結果の直後に、前記複数の領域の間の境界とは異なる区切り位置を設定することを特徴とする請求項３記載の映像符号化装置。
  5. 前記第１領域と第２領域との境界は、前記符号化対象画像内において垂直方向に延びる境界であることを特徴とする請求項１乃至４のいずれか１項に記載の映像符号化装置。
  6. 映像符号化装置によって実行される映像符号化方法であって、
    前記映像符号化装置が、
    映像に含まれる符号化対象画像を複数の領域に分割して、前記複数の領域を示す領域情報を生成し、
    前記複数の領域のうち第１領域と第２領域との境界において、前記第１領域内のブロックから前記第２領域内のブロックの情報を参照する場合の参照制約と、前記第２領域内のブロックから前記第１領域内のブロックの情報を参照する場合の参照制約とを非対称に規定する、参照制約情報を生成し、
    符号化対象ブロックと前記符号化対象ブロックに隣接する隣接ブロックとの間の位置関係と、前記参照制約情報とに基づいて、前記隣接ブロックの情報を参照するか否かを示す判定結果を生成し、
    前記判定結果に従って、前記符号化対象ブロックを符号化し、
    前記領域情報と前記参照制約情報と前記符号化対象ブロックの符号化結果とを符号化する、
    ことを特徴とする映像符号化方法。
  7. 映像に含まれる符号化対象画像を複数の領域に分割して、前記複数の領域を示す領域情報を生成し、
    前記複数の領域のうち第１領域と第２領域との境界において、前記第１領域内のブロックから前記第２領域内のブロックの情報を参照する場合の参照制約と、前記第２領域内のブロックから前記第１領域内のブロックの情報を参照する場合の参照制約とを非対称に規定する、参照制約情報を生成し、
    符号化対象ブロックと前記符号化対象ブロックに隣接する隣接ブロックとの間の位置関係と、前記参照制約情報とに基づいて、前記隣接ブロックの情報を参照するか否かを示す判定結果を生成し、
    前記判定結果に従って、前記符号化対象ブロックを符号化し、
    前記領域情報と前記参照制約情報と前記符号化対象ブロックの符号化結果とを符号化する、
    処理をコンピュータに実行させるための映像符号化プログラム。
  8. 符号化映像を復号して、前記符号化映像に含まれる符号化画像内の複数の領域を示す領域情報を復元し、前記複数の領域のうち第１領域と第２領域との境界において、前記第１領域内のブロックから前記第２領域内のブロックの情報を参照する場合の参照制約と、前記第２領域内のブロックから前記第１領域内のブロックの情報を参照する場合の参照制約とを非対称に規定する、参照制約情報を復元し、前記符号化画像内の符号化ブロックを示す復号対象符号を復元する第１復号部と、
    前記領域情報に基づいて、前記符号化画像を前記複数の領域に分割する分割部と、
    前記符号化ブロックと前記符号化ブロックに隣接する隣接ブロックとの間の位置関係と、前記参照制約情報とに基づいて、前記隣接ブロックの情報を参照するか否かを示す判定結果を生成する判定部と、
    前記判定結果に従って、前記復号対象符号を復号する第２復号部と、
    を備えることを特徴とする映像復号装置。
  9. 前記第１復号部は、前記符号化画像に含まれる複数の符号化ブロックにおいて、前記複数の領域の間の境界とは異なる区切り位置に従って、前記符号化映像を復号することを特徴とする請求項８記載の映像復号装置。
  10. 映像復号装置によって実行される映像復号方法であって、
    前記映像復号装置が、
    符号化映像を復号して、前記符号化映像に含まれる符号化画像内の複数の領域を示す領域情報を復元し、前記複数の領域のうち第１領域と第２領域との境界において、前記第１領域内のブロックから前記第２領域内のブロックの情報を参照する場合の参照制約と、前記第２領域内のブロックから前記第１領域内のブロックの情報を参照する場合の参照制約とを非対称に規定する、参照制約情報を復元し、前記符号化画像内の符号化ブロックを示す復号対象符号を復元し、
    前記領域情報に基づいて、前記符号化画像を前記複数の領域に分割し、
    前記符号化ブロックと前記符号化ブロックに隣接する隣接ブロックとの間の位置関係と、前記参照制約情報とに基づいて、前記隣接ブロックの情報を参照するか否かを示す判定結果を生成し、
    前記判定結果に従って、前記復号対象符号を復号する、
    ことを特徴とする映像復号方法。
  11. 符号化映像を復号して、前記符号化映像に含まれる符号化画像内の複数の領域を示す領域情報を復元し、前記複数の領域のうち第１領域と第２領域との境界において、前記第１領域内のブロックから前記第２領域内のブロックの情報を参照する場合の参照制約と、前記第２領域内のブロックから前記第１領域内のブロックの情報を参照する場合の参照制約とを非対称に規定する、参照制約情報を復元し、前記符号化画像内の符号化ブロックを示す復号対象符号を復元し、
    前記領域情報に基づいて、前記符号化画像を前記複数の領域に分割し、
    前記符号化ブロックと前記符号化ブロックに隣接する隣接ブロックとの間の位置関係と、前記参照制約情報とに基づいて、前記隣接ブロックの情報を参照するか否かを示す判定結果を生成し、
    前記判定結果に従って、前記復号対象符号を復号する、
    処理をコンピュータに実行させるための映像復号プログラム。
JP2018247370A 2018-12-28 2018-12-28 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム Pending JP2020108077A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018247370A JP2020108077A (ja) 2018-12-28 2018-12-28 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
PCT/JP2019/032585 WO2020136987A1 (ja) 2018-12-28 2019-08-21 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
CN201980075320.4A CN113039786A (zh) 2018-12-28 2019-08-21 视频编码装置、视频编码方法、视频编码程序、视频解码装置、视频解码方法以及视频解码程序
US17/237,093 US20210243433A1 (en) 2018-12-28 2021-04-22 Video coding device, video coding method, and video decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018247370A JP2020108077A (ja) 2018-12-28 2018-12-28 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム

Publications (1)

Publication Number Publication Date
JP2020108077A true JP2020108077A (ja) 2020-07-09

Family

ID=71127044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018247370A Pending JP2020108077A (ja) 2018-12-28 2018-12-28 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム

Country Status (4)

Country Link
US (1) US20210243433A1 (ja)
JP (1) JP2020108077A (ja)
CN (1) CN113039786A (ja)
WO (1) WO2020136987A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009037726A1 (ja) * 2007-09-18 2009-03-26 Fujitsu Limited 動画像符号化装置および動画像復号装置
JP5152190B2 (ja) * 2007-10-04 2013-02-27 富士通株式会社 符号化装置、符号化方法、符号化プログラムおよび符号化回路
WO2012008037A1 (ja) * 2010-07-15 2012-01-19 富士通株式会社 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
JP5429105B2 (ja) * 2010-08-18 2014-02-26 コニカミノルタ株式会社 画像形成装置
CN105612749A (zh) * 2013-10-17 2016-05-25 日本电信电话株式会社 视频编码装置及方法以及视频解码装置及方法
KR20150045819A (ko) * 2013-10-21 2015-04-29 삼성전자주식회사 움직임 보상을 수행하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP2016103707A (ja) * 2014-11-27 2016-06-02 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム

Also Published As

Publication number Publication date
CN113039786A (zh) 2021-06-25
WO2020136987A1 (ja) 2020-07-02
US20210243433A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
TWI812694B (zh) 以角度模式延伸之位置相關框內預測組合
TWI759604B (zh) 廣義三叉樹
KR102443959B1 (ko) 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
CN107277539B (zh) 减少用于上下文自适应熵解码中的行缓存的方法及装置
KR20210030352A (ko) 광각 인트라 예측을 이용한 포지션 종속 인트라 예측 조합
WO2018116924A1 (ja) 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
RU2589341C2 (ru) Размер элемента мозаичного изображения при кодировании видео
JP2017535145A (ja) 波面並列処理が可能にされた場合のピクチャ内予測モードに関する規則
KR20150008405A (ko) Ｈｅｖｃ에서 무손실 코딩의 개선된 인트라 예측
TW202114415A (zh) 具有虛擬邊界的跨分量自適應環路濾波的視頻編解碼方法及裝置
TW202103495A (zh) 解碼影像資料的方法、編碼影像資料的方法及儲存編碼影片資訊的非暫態電腦可讀取儲存媒介
US20220021895A1 (en) Method and device for video coding using various transform techniques
KR20200013765A (ko) 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20210023754A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
TWI737097B (zh) 越界節點視訊資料之處理方法及裝置
WO2020184229A1 (ja) 画像符号化装置、画像符号化方法、及びプログラム
CN113243106B (zh) 一种用于视频图像的预测块的帧内预测的设备和方法
JP2024503193A (ja) フレーム内予測方法、装置、及びデコーダとエンコーダ
WO2018043256A1 (ja) 画像符号化装置および画像復号装置
WO2020136987A1 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
JP7403245B2 (ja) 画像復号装置、画像復号方法
WO2020059341A1 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
CN112262574A (zh) 一种用于帧内预测的设备和方法
CN114175653B (zh) 用于视频编解码中的无损编解码模式的方法和装置
WO2022117036A1 (zh) 量化参数的解码方法和装置