JP2016519517A - Ｓｈｖｃでの注目領域スケーラビリティ - Google Patents

Ｓｈｖｃでの注目領域スケーラビリティ Download PDF

Info

Publication number
JP2016519517A
JP2016519517A JP2016507615A JP2016507615A JP2016519517A JP 2016519517 A JP2016519517 A JP 2016519517A JP 2016507615 A JP2016507615 A JP 2016507615A JP 2016507615 A JP2016507615 A JP 2016507615A JP 2016519517 A JP2016519517 A JP 2016519517A
Authority
JP
Japan
Prior art keywords
interest
region
coding tree
enhancement layer
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016507615A
Other languages
English (en)
Other versions
JP6269813B2 (ja
Inventor
チョン アヨン
チョン アヨン
ジュン シュー
ジュン シュー
央二 中神
央二 中神
アリ タバタバイ
アリ タバタバイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2016519517A publication Critical patent/JP2016519517A/ja
Application granted granted Critical
Publication of JP6269813B2 publication Critical patent/JP6269813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

全体のピクチャではなくピクチャの一部に対してスケーラビリティが使用されるＳＨＶＣでの注目領域（ＲＯＩ）スケーラビリティを実施することができる。ＲＯＩスケーラビリティの用途は、トラフィックモニタリング、セキュリティモニタリング、及びタイル化ストリーミングを含む。【選択図】図２

Description

〔関連出願への相互参照〕
本出願は、２０１３年４月８日出願の「ＲＥＧＩＯＮ ＯＦ ＩＮＴＥＲＥＳＴ ＳＣＡＬＡＢＩＬＩＴＹ ＷＩＴＨ ＳＨＶＣ」という名称の米国特許仮出願出願番号第６１／８０９，７４７号及び２０１３年７月１５日出願の「ＲＥＧＩＯＮ ＯＦ ＩＮＴＥＲＥＳＴ ＳＣＡＬＡＢＩＬＩＴＹ ＷＩＴＨ ＳＨＶＣ」という名称の米国特許仮出願出願番号第６１／８４６，５５８号の「３５ Ｕ．Ｓ．Ｃ．§１１９（ｅ）」の下での優先権を主張するものであり、これらは、両方ともこれにより全ての目的に対してそれらの全体が引用によって組み込まれる。
本発明は、画像化の分野に関する。より具体的には、本発明は、ビデオ符号化に関する。
スケーラブルＨＥＶＣモデル（ＳＨＭ）１．０において、より高い解像度が、空間スケーラビリティによって与えられ、より高い品質が、ＳＮ比（ＳＮＲ）スケーラビリティによって与えられ、エンハンスメントが、ピクチャ全体に適用される。しかし、トラヒックモニタリング及びセキュリティモニタリングのような一部の用途では、ピクチャ全体のエンハンスメントは必要ではない。
ＳＨＶＣでの注目領域（ＲＯＩ）スケーラビリティを実施することができ、スケーラビリティは、全体のピクチャではなくピクチャの一部に対して使用される。ＲＯＩスケーラビリティの用途は、トラフィックモニタリング、セキュリティモニタリング、及びタイル化ストリーミングを含む。
一態様において、デバイスの非一時的なメモリにプログラムされた方法は、ベースレイヤ画像及びエンハンスメントレイヤ画像を取得する段階と、注目領域スケーラビリティインプリメンテーションをエンハンスメントレイヤ画像の一部に適用する段階とを含み、エンハンスメントレイヤ画像の一部は、完全なエンハンスメントレイヤ画像よりも小さい。注目領域スケーラビリティインプリメンテーションは、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む。付加エンハンスメント情報メッセージは、注目領域の位置を示す。各注目領域は、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である。付加エンハンスメント情報メッセージは、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む。アドレスは、差分符号化を用いて符号化される。アドレスは、差分符号化を用いずに符号化される。付加エンハンスメント情報メッセージは、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と、符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる。注目領域スケーラビリティインプリメンテーションは、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する。
別の態様において、カメラデバイスの非一時的なメモリにプログラムされたシステムは、ベースレイヤ画像及びエンハンスメントレイヤ画像を取得するように構成されたセンサと、注目領域スケーラビリティインプリメンテーションをエンハンスメントレイヤ画像の一部に適用するように構成された適用構成要素とを含み、エンハンスメントレイヤ画像の一部は、完全なエンハンスメントレイヤ画像よりも小さい。注目領域スケーラビリティインプリメンテーションは、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む。付加エンハンスメント情報メッセージは、注目領域の位置を示す。各注目領域は、有意符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である。付加エンハンスメント情報メッセージは、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む。アドレスは、差分符号化を用いて符号化される。アドレスは、差分符号化を用いずに符号化される。付加エンハンスメント情報メッセージは、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と、符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる。注目領域スケーラビリティインプリメンテーションは、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する。
別の態様において、装置は、ベースレイヤ画像及びエンハンスメントレイヤ画像を取得するためのかつ完全なエンハンスメントレイヤ画像よりも小さい、エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用するためのアプリケーションを格納するための非一時的なメモリと、メモリに結合され、アプリケーションを処理するように構成された処理構成要素とを含む。注目領域スケーラビリティインプリメンテーションは、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む。付加エンハンスメント情報メッセージは、注目領域の位置を示す。各注目領域は、有意符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である。付加エンハンスメント情報メッセージは、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む。アドレスは、差分符号化を用いて符号化される。アドレスは、差分符号化を用いずに符号化される。付加エンハンスメント情報メッセージは、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と、符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる。注目領域スケーラビリティインプリメンテーションは、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する。
一部の実施形態によるＲＯＩスケーラビリティの図である。 一部の実施形態による方法１による例示的タイルの図である。 一部の実施形態による方法２による例示的タイルの図である。 一部の実施形態によるタイルを用いた例示的暗黙的ＲＯＩマップの図である。 一部の実施形態によるＲＯＩスケーラビリティ方法を利用する方法の流れ図である。 一部の実施形態によるＲＯＩスケーラビリティ方法を実施するように構成された例示的コンピュータデバイスのブロック図である。
インテリジェントトラフィックモニタリングシステム、セキュリティモニタリングシステム、又はあらゆる他のシステムでは、コンピュータビジョンは、１つ又はそれよりも多くの「注目領域（ＲＯＩ）」をインテリジェントに識別するためにビデオ記録システムと組み合わせることができる。図１に示すように、記録システムは、より広い視聴区域を有する低解像度のピクチャをベースとして記録し、より高い空間解像度又はより高いピクチャ品質を有するピクチャにおける１つ又はそれよりも多くのＲＯＩをエンハンスメントとして記録することができる。ＲＯＩはまた、ベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤに記録することができる。
ＲＯＩスケーラビリティを使用する用途は、ＲＯＩ内にスケーラビリティを提供することだけに関心がある。従って、ＲＯＩ内のピクセルは、スケーラブルな復号器に対して有意であり、ＲＯＩの外側のピクセルは、復号器に対しては非有意である。
一部の実施形態において、以下が定義される。
ＲＯＩは、「符号化ツリーユニット（ＣＴＵ）」の１つ又はそれよりも多くの矩形集合である。
エンハンスメントレイヤピクチャは、１つ又はそれよりも多くのＲＯＩを有する。
ＲＯＩ内のＣＴＵは、有意なＣＴＵとして定義される。
どのＲＯＩにも存在しないＣＴＵは、非有意なＣＴＵとしてとして定義される。
ＲＯＩの符号化は、高レベル構文変更、低レベル構文変更、又はその両方を用いて実行することができる。
ＲＯＩ内のより多くの詳細を提供する方法を本明細書に説明する。空間スケーラビリティを有するＲＯＩに関しては、「ベースレイヤ（ＢＬ）」のＲＯＩのより多くの詳細を提供することが望ましい。これは、「エンハンスメントレイヤ（ＥＬ）」においてＲＯＩのより多くの詳細を提供することによって達成することができる。ＲＯＩの位置及びエンハンスメントデータが重要である。
ＳＮ比（ＳＮＲ）スケーラビリティを有するＲＯＩに関しては、「ベースレイヤ（ＢＬ）」のＲＯＩのより多くの詳細を提供することが望ましい。これは、「エンハンスメントレイヤ（ＥＬ）」においてＲＯＩのより高い「ピークＳＮＲ（ＰＳＮＲ）」を提供することによって達成することができる。ＲＯＩの位置及びエンハンスメントデータが重要である。
スケーラビリティを有するＲＯＩに関しては、ピクチャ内のＣＴＵは、２つの別々の群に分割される。群のうちの１つにおけるＣＴＵは、有意として指定される。有意ＣＴＵは、ＣＴＵの１つ又はそれよりも多くの矩形集合である。ＲＯＩは、有意ＣＴＵの１つ又はそれよりも多くの矩形集合である。他の群におけるＣＴＵは、非有意として指定される。ＳＮＲスケーラビリティに関しては、非有意ＣＴＵは、同一位置のベースレイヤからピクセルをコピーすることによってＥＬ復号器によって再構成される。空間スケーラビリティに関しては、非有意ＣＴＵは、同一位置のアップサンプリングされたベースレイヤからピクセルをコピーすることによってＥＬ復号器によって再構成される。シグナリング方法に応じて、各非有意ＣＴＵは、スライスセグメントデータにおいて符号化されるか又はされない場合がある。
２つの群のＣＴＵの位置は、以下のタイプの方法、すなわち、明示的又は暗黙的の一方によってシグナリングすることができる。明示的方法では、注目領域の位置は、ビットストリームにおいて明示的にシグナリングされる。暗黙的方法では、注目領域の位置は、ビットストリームにおいて明示的にシグナリングされない。位置は、他の手段により、例えば、「ネットワーク・アブストラクション・レイヤ（ＮＡＬ）」タイプによって暗黙的に導出される。
高レベル構文を用いてＲＯＩをシグナリングするようにＳＨＶＣを拡張するための複数の方法が存在する。以下の方法を説明する。
−ＲＯＩマップをシグナリングするためのＳＥＩメッセージを用いる符号器トリック、
−非有意ＣＴＵを復号するのに復号器を必要としないことを示すためのＳＥＩメッセージ、
−タイル方法１を用いたＲＯＩマップの明示的シグナリング、
−タイル方法２を用いたＲＯＩマップの明示的シグナリング、
−タイルを用いたＲＯＩマップの暗黙的シグナリング、及び
−タイルを用いないＲＯＩマップの暗黙的シグナリング。
符号器トリックを用いた明示的ＲＯＩマップ
エンハンスメントレイヤは、注目領域の位置を示すための「付加エンハンスメント情報（ＳＥＩ）」メッセージを用いて符号化される。ピクチャは、１つ又はそれよりも多くのＲＯＩを有する。各ＲＯＩは、有意ＣＴＵの１つ又はそれよりも多くの矩形集合である。ＳＥＩメッセージは、ＲＯＩの数と、各ＲＯＩに対するピクチャの走査順番におけるＲＯＩ内の有意ＣＴＵの各矩形集合の第１のＣＴＵのアドレスとを含み、このアドレスは、差分符号化、ＣＴＵの数におけるＲＯＩの列幅を導出するための情報、及びＣＴＵの数におけるＲＯＩの行高さを導出するための情報を用いて／用いずに符号化される。ＳＥＩがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意ＣＴＵを符号化し、ＳＮＲスケーラビリティに関してエンハンスメントレイヤの全ての非有意ＣＴＵが同一位置のベースレイヤからコピーされるという結果をもたらす。空間スケーラビリティに関しては、エンハンスメントレイヤの全ての非有意ＣＴＵは、同一位置のアップサンプリングされたベースレイヤからコピーされる。
表１は、差分符号化を用いない注目領域ＳＥＩメッセージ構文を示している。
（表１）
Figure 2016519517
表２は、差分符号化を用いた注目領域ＳＥＩメッセージ構文を示している。
（表２）
Figure 2016519517
表３は、レイヤ間制約タイルセットＳＥＩメッセージ構文を示している。
（表３）
Figure 2016519517
レイヤ間制約タイルセットＳＥＩメッセージの範囲は、完全な「符号化ビデオストリーム（ＣＶＳ）」である。レイヤ間制約タイルセットＳＥＩメッセージがＣＶＳのいずれかのアクセスユニットに存在する時に、それは、復号順番におけるＣＶＳの第１のアクセスユニットに存在すべきであり、かつＣＶＳの別のアクセスユニットに対しても同じく存在することができる。
レイヤ間制約タイルセットＳＥＩメッセージは、ｔｉｌｅｓ_ｅｎａｂｌｅｄ_ｆｌａｇが、レイヤに関してアクティブであるいずれかのＰＰＳに対して０に等しい時には、そのレイヤに対して存在すべきではない。
レイヤ間制約タイルセットＳＥＩメッセージは、レイヤに関してアクティブであるあらゆるＰＰＳが、１に等しいｔｉｌｅ_ｂｏｕｎｄａｒｉｅｓ_ａｌｉｇｎｅｄ_ｆｌａｇを有するか、又はｔｉｌｅ_ｂｏｕｎｄａｒｉｅｓ_ａｌｉｇｎｅｄ_ｆｌａｇが１に等しいことで示されるであろう条件を満たさない限り、レイヤに存在すべきではない。
レイヤ間制約タイルセットＳＥＩメッセージの存在は、レイヤ間予想間処理が、各識別タイルセットの外側のサンプル値と識別タイルセットの外側の１つ又はそれよりも多くのサンプル値を使用して導出される部分サンプル位置でのサンプル値とが識別タイルセット内のいずれのサンプルのレイヤ間予想にも使用されないように制約されることを示す。
ループフィルタリング及び再サンプリングフィルタがタイル境界を横切って適用される時に、ピクチャ境界でもないレイヤ間制約タイルセット境界からの８個のサンプル内のサンプルを参照するレイヤ間制約タイルセット内のいずれかのサンプルのレイヤ間予想は、ミスマッチエラーの伝播をもたらす場合がある。符号器は、このような参照を引き起こす動きベクトルの使用を回避することにより、このような潜在的エラー伝播を回避することができる。
１つよりも多いレイヤ間制約タイルセットＳＥＩメッセージがＣＶＳのアクセスユニット内に存在する時に、それらは、同一コンテンツを含むべきである。
一部の実施形態において、各アクセスユニット内のレイヤ間制約タイルセットＳＥＩメッセージの数は、５を超えてはならない。
１に等しいｉｌ_ａｌｌ_ｔｉｌｅｓ_ｅｘａｃｔ_ｓａｍｐｌｅ_ｖａｌｕｅ_ｍａｔｃｈ_ｆｌａｇは、ＣＶＳ内で、あらゆる識別タイルの外側にある符号化ツリーブロックが復号されず、かつ識別タイルの境界が復号処理のためにピクチャ境界として処理される時に、識別タイル内の各サンプルの値が、ＣＶＳ内の全てのピクチャの全ての符号化ツリーブロックが復号される時に得られるサンプルの値とちょうど同じであることを示す。０に等しいｉｌ_ａｌｌ_ｔｉｌｅｓ_ｅｘａｃｔ_ｓａｍｐｌｅ_ｖａｌｕｅ_ｍａｔｃｈ_ｆｌａｇは、ＣＶＳ内で、あらゆる識別タイルの外側にある符号化ツリーブロックが復号されず、かつ識別タイルの境界が復号処理のためにピクチャ境界として処理される時に、識別タイル内の各サンプルの値が、ＣＶＳ内の全てのピクチャの全ての符号化ツリーブロックが復号される時の同じサンプルの値とちょうど同じであるか又は同じでない場合があることを示す。
１に等しいｉｌ_ｏｎｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｓｅｔ_ｆｌａｇは、各レイヤ間制約タイルセットが１つのタイルを含み、かつｉｌ_ｎｕｍ_ｓｅｔｓ_ｉｎ_ｍｅｓｓａｇｅ_ｍｉｎｕｓ１が存在しないことを示す。ｉｌ_ｏｎｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｓｅｔ_ｆｌａｇが０に等しい時に、タイルセットは、明示的にシグナリングされる。
ｉｌ_ｎｕｍ_ｓｅｔｓ_ｉｎ_ｍｅｓｓａｇｅ_ｍｉｎｕｓ１プラス１は、ＳＥＩメッセージ内で識別されるレイヤ間タイルセットの数を指定する。ｉｌ_ｎｕｍ_ｓｅｔｓ_ｉｎ_ｍｅｓｓａｇｅ_ｍｉｎｕｓ１の値は、包含的に０から２５５の範囲にあるべきである。
１に等しいｓｋｉｐｐｅｄ_ｔｉｌｅ_ｓｅｔ_ｐｒｅｓｅｎｔ_ｆｌａｇは、ＣＶＳ内で、タイルセットが、同じメッセージ内の前のどのタイルセットにも含まれないタイルセットの残りのタイルを含み、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する識別タイルセットの内側にある全ての予想ブロックが、ＲｅｆＬａｙｅｒＩｄ［ｉｃｔｓＮｕｈＬａｙｅｒＩｄ］［ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉｃｔｓＮｕｈＬａｙｅｒＩｄ］−１］に等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有するレイヤ間参照ピクチャからレイヤ間予想され、ｒｅｓｉｄｕａｌ_ｃｏｄｉｎｇ（）構文構造体が、識別タイルセットのどの変換ユニットにも存在しないことを示し、ここで、ｉｃｔｓＮｕｈＬａｙｅｒＩｄは、このＳＥＩメッセージのｎｕｈ_ｌａｙｅｒ_ｉｄの値である。０に等しいｓｋｉｐｐｅｄ_ｔｉｌｅ_ｓｅｔ_ｐｒｅｓｅｎｔ_ｆｌａｇは、ＣＶＳ内のビットストリーム制約を示さない。ｓｋｉｐｐｅｄ_ｔｉｌｅ_ｓｅｔ_ｐｒｅｓｅｎｔ_ｆｌａｇが存在しない時に、ｓｋｉｐｐｅｄ_ｔｉｌｅ_ｓｅｔ_ｐｒｅｓｅｎｔ_ｆｌａｇの値は、０に等しいと推測される。
ｉｌｃｔｓ_ｉｄ［ｉ］は、ｉ番目の識別タイルセットの目的（例えば、特定の目的で符号化ビデオシーケンスから抽出されることになる区域を識別するため）を識別するために使用することができる識別数を含む。ｉｌｃｔｓ_ｉｄ［ｉ］の値は、包含的に０から２32−２の範囲にあるべきである。
０から２５５及び５１２から２31−１のｉｌｃｔｓ_ｉｄ［ｉ］の値は、用途によって決定されるように使用することができる。２５６から５１１及び２31から２32−２のｉｌｃｔｓ_ｉｄ［ｉ］の値は、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約されている。２５６から５１１の範囲内又は２31から２32−２の範囲にあるｉｌｃｔｓ_ｉｄ［ｉ］の値に遭遇する復号器は、それを無視すべきである（ビットストリームから取り除き、廃棄する）。
ｉｌ_ｎｕｍ_ｔｉｌｅ_ｒｅｃｔｓ_ｉｎ_ｓｅｔ_ｍｉｎｕｓ１［ｉ］プラス１は、ｉ番目の識別レイヤ間制約タイルセット内のタイルの矩形領域の数を指定する。ｉｌ_ｎｕｍ_ｔｉｌｅ_ｒｅｃｔｓ_ｉｎ_ｓｅｔ_ｍｉｎｕｓ１［ｉ］の値は、包含的に０から（ｎｕｍ_ｔｉｌｅ_ｃｏｌｕｍｎｓ_ｍｉｎｕｓ１＋１）*（ｎｕｍ_ｔｉｌｅ_ｒｏｗｓ_ｍｉｎｕｓ１＋１）−１の範囲にあるべきである。
ｉｌ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｎｄｅｘ［ｉ］［ｊ］及びｉｌ_ｂｏｔｔｏｍ_ｒｉｇｈｔ_ｔｉｌｅ_ｉｎｄｅｘ［ｉ］［ｊ］は、それぞれ、ラスター走査順番におけるｉ番目の識別レイヤ間制約タイルセットの矩形領域内の左上タイルのタイル位置及び右下タイルのタイル位置を識別する。
１に等しいｉｌｃ_ｉｄｃ［ｉ］は、ＣＶＳ内で、ｉ番目の識別タイルセットの外側のサンプルとｉ番目の識別タイルセットの外側の１つ又はそれよりも多くのサンプルを使用して導出される部分サンプルの位置でのサンプルとが、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有するｉ番目の識別タイルセット内のいずれかサンプルのレイヤ間予想にも使用されことを示し、ここで、ｉｃｔｓＮｕｈＬａｙｅｒＩｄは、このメッセージのｎｕｈ_ｌａｙｅｒ_ｉｄの値である。２に等しいｉｌｃ_ｉｄｃ［ｉ］［ｊ］は、ＣＶＳ内で、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有するｉ番目の識別タイルセット内の予想ブロックが、レイヤ間参照ピクチャから予想されないことを示す。０に等しいｉｌｃ_ｉｄｃ［ｉ］［ｊ］は、ＣＶＳ内で、レイヤ間予想処理が、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有するｉ番目の識別タイルセット内の予想ブロックに関して制約することができるか又は制約できないことを示す。３に等しいｉｌｃ_ｉｄｃ［ｉ］の値は予約されている。
１に等しいｉｌ_ｅｘａｃｔ_ｓａｍｐｌｅ_ｖａｌｕｅ_ｍａｔｃｈ_ｆｌａｇ［ｉ］は、レイヤ間制約タイルセットに属しない符号化ツリーブロックが復号されず、かつｉ番目のレイヤ間制約タイルセットの境界が復号処理のためにピクチャ境界として処理される時に、ＣＶＳ内で、レイヤ間制約タイルセット内の各サンプルの値が、符号化ビデオシーケンス内の全てのピクチャの全ての符号化ツリーブロックが復号される時に得られるサンプルの値とちょうど同じであることを示す。０に等しいｉｌ_ｅｘａｃｔ_ｓａｍｐｌｅ_ｖａｌｕｅ_ｍａｔｃｈ_ｆｌａｇ［ｉ］は、ｉ番目の識別レイヤ間制約タイルセットの外側にある符号化ツリーブロックが復号されず、かつｉ番目のレイヤ間制約タイルセットの境界が復号処理のためにピクチャ境界として処理される時に、ＣＶＳ内で、識別タイルセット内の各サンプルの値が、ピクチャの全ての符号化ツリーブロックが復号される時の同じサンプルの値とちょうど同じであるか又は同じでない場合があることを示す。
ｌｏｏｐ_ｆｉｌｔｅｒ_ａｃｒｏｓｓ_ｔｉｌｅｓ_ｅｎａｂｌｅｄ_ｆｌａｇと、ｐｐｓ_ｌｏｏｐ_ｆｉｌｔｅｒ_ａｃｒｏｓｓ_ｓｌｉｃｅｓ_ｅｎａｂｌｅｄ_ｆｌａｇと、ｐｐｓ_ｄｅｂｌｏｃｋｉｎｇ_ｆｉｌｔｅｒ_ｄｉｓａｂｌｅｄ_ｆｌａｇと、ｓｌｉｃｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ａｃｒｏｓｓ_ｓｌｉｃｅｓ_ｅｎａｂｌｅｄ_ｆｌａｇと、ｓｌｉｃｅ_ｄｅｂｌｏｃｋｉｎｇ_ｆｉｌｔｅｒ_ｄｉｓａｂｌｅｄ_ｆｌａｇと、ｓａｍｐｌｅ_ａｄａｐｔｉｖｅ_ｏｆｆｓｅｔ_ｅｎａｂｌｅｄ_ｆｌａｇと、ｓｌｉｃｅ_ｓａｏ_ｌｕｍａ_ｆｌａｇと、ｓｌｉｃｅ_ｓａｏ_ｃｈｒｏｍａ_ｆｌａｇとのある一定の組合せを使用する時に、１に等しいｉｌ_ｅｘａｃｔ_ｓａｍｐｌｅ_ｖａｌｕｅ_ｍａｔｃｈ_ｆｌａｇを使用することが適切である。１に等しいａｌｌ_ｔｉｌｅｓ_ｉｌｃ_ｉｄｃは、ＣＶＳ内で、各識別タイルの外側のサンプル値と識別タイルの外側の１つ又はそれよりも多くのサンプルを使用して導出される部分サンプルの位置でのサンプル値とが、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する識別タイル内のいずれのサンプルのレイヤ間予想にも使用されないことを示し、ここで、ｉｃｔｓＮｕｈＬａｙｅｒＩｄは、ＳＥＩメッセージのｎｕｈ_ｌａｙｅｒ_ｉｄの値である。２に等しいａｌｌ_ｔｉｌｅｓ_ｉｌｃ_ｉｄｃは、ＣＶＳ内で、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する各識別タイル内の予想ブロックが、レイヤ間参照ピクチャから予想されないことを示す。０に等しいａｌｌ_ｔｉｌｅｓ_ｉｌｃ_ｉｄｃは、ＣＶＳ内で、レイヤ間予想処理が、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有するタイルに関して制約することができるか又は制約できないことを示す。３に等しいａｌｌ_ｔｉｌｅｓ_ｉｌｃ_ｉｄｃの値は予約されている。
ＳＥＩを復号しないメッセージ
ＳＥＩを復号しないメッセージを送って、復号器が、エンハンスメントレイヤの有意ＣＴＵを復号するためにエンハンスメントレイヤの非有意ＣＴＵを復号する必要がないことを示すことができる。ＳＥＩを復号しないメッセージは、符号器が、動き補償処理、予想内処理、及び／又はエントロピー符号化処理に制限を加えることを示すことができる。
タイル方法１を用いた明示的ＲＯＩマップ
エンハンスメントレイヤは、各ＲＯＩがタイルの矩形領域であり、かつＲＯＩマップが有意タイルのリストによってシグナリングされるタイル構造を用いて符号化される。
ＲＯＩ内にあるタイルは、有意タイルと呼ばれ、そうでなければ、タイルは、非有意タイルである。有意タイルは、有意ＣＴＵの集合である。非有意タイルは、非有意ＣＴＵの集合である。
有意タイルのリストは、「ピクチャパラメータセット（ＰＰＳ）」「生バイトシーケンスペイロード（ＲＢＳＰ）」、又はスライスセグメントレイヤＲＢＳＰ上の新しいＲＢＳＰタイプによってシグナリングされる。このリストは、タイルインデクスのリストによってシグナリングされる。このタイルインデクスは、ピクチャ内のタイルの走査順序におけるタイルのインデクスである。タイルインデクスは、差分符号化を用いて又はそれを用いずに符号化される。
エンハンスメントレイヤは、以下の条件下でも符号化される。第１のタイルが第１の有意タイルでない時に、このタイルは、第１の有意タイルの前の全ての非有意タイルの集合がピクチャの第１のスライスであること、及び第１の有意タイルの第１のＣＴＵが第２のスライスの第１のＣＴＵであることのうちの全ての条件下で符号化される。そうでなければ、第１のタイルは、第１の有意タイルであり、第１の有意タイルの第１のＣＴＵは、第１のスライスの第１のＣＴＵである。スライスの第１のＣＴＵは、ピクチャの第１のＣＴＵ又は有意タイルの第１のＣＴＵのいずれかである。２つの有意タイルの間に１つ又はそれよりも多くの非有意タイルが存在する時に、２つの有意タイルの間の非有意タイルは、スライスセグメントを形成する。ピクチャ内の最後の有意タイルの後に１つ又はそれよりも多くの非有意タイルが存在する時に、最後の有意タイルの後の非有意タイルは、スライスセグメントを形成する。条件のうちの一方は、真であり、すなわち、連続した番号の有意タイルは、スライス又はスライスセグメントを形成し、又は有意タイルは、１つ又はそれよりも多くのスライス又はスライスセグメントである。任意的なメッセージを使用して、各ＲＯＩが、動き補償処理をＲＯＩ内に制限することによって個別に復号可能であることを示すことができる。この制限は、ＳＨＶＣにおけるエンハンスメントレイヤ内の個々のＲＯＩに対するものである。
図２は、方法１を用いたタイルの実施例のブロック図である。エンハンスメントレイヤのピクチャは、１６個のタイルに分割される。エンハンスメントレイヤの非有意タイルは、非有意ＣＴＵのみを有するタイルである。エンハンスメントレイヤの非有意ＣＴＵは、ベースレイヤ（ＳＮＲスケーラビリティ）又は補間ベースレイヤ（空間スケーラビリティ）のいずれかからコピーされたＣＴＵピクセルを有するＣＴＵである。図２に示すように、タイル５は、２つのスライスセグメントを有し、タイル１０は、１つのスライスセグメントを有する。タイル５及びタイル１０のみが、有意タイルである。タイル５及びタイル１０のみが、ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｌａｙｅｒ_ｒｂｓｐ（）を用いて符号化される。非有意タイルは、非有意スライスセグメントレイヤＲＢＳＰによってシグナリングされ、有意タイルは、規則的スライスセグメントレイヤＲＢＳＰによってシグナリングされる。
タイル方法２を用いた明示的ＲＯＩマップ
エンハンスメントレイヤは、以下を用いて符号化される。エンハンスメントレイヤは、タイル構造を用いて符号化される。各ＲＯＩは、タイルの矩形領域である。ＲＯＩ内にあるタイルは、有意タイルと呼ばれ、そうでなければ、タイルは、非有意タイルである。有意タイルは、有意ＣＴＵの集合である。非有意タイルは、非有意ＣＴＵの集合である。
ＲＯＩマップは、有意タイルのリストによってシグナリングされる。有意タイルのリストは、「ピクチャパラメータセット（ＰＰＳ）」「生バイトシーケンスペイロード（ＲＢＳＰ）」、又はスライスセグメントレイヤＲＢＳＰ上の新しいＲＢＳＰタイプによってシグナリングされる。このリストは、タイルインデクスのリストによってシグナリングされる。このタイルインデクスは、ピクチャ内のタイルの走査順序におけるタイルのインデクスである。タイルインデクスは、差分符号化を用いて又はそれを用いずに符号化される。
スライスセグメントが１つ又はそれよりも多くのタイルを有する時に、スライスセグメントが１つ又はそれよりも多くの有意タイルを有すること、スライスセグメントが１つよりも多い有意タイルを有する時に有意タイルが連続的な順番にあること（例えば、ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｄａｔｅ（）におけるＣＴＵが連続的な順番である）、及びスライスセグメント内の最後のタイルが、それがピクチャ内の最後のスライスセグメントであることを除いて有意であることの全ては、真であるとして符号化される。
タイルが１つ又はそれよりも多くのセグメントを有する時に、タイルは有意である。
任意的なメッセージを使用して、各ＲＯＩが、動き補償処理をＲＯＩ内に制限することによって個別に復号可能であることを示すことができる。この制限は、ＳＨＶＣにおけるエンハンスメントレイヤ内の個々のＲＯＩに対するものである。
図３は、方法２を用いたタイルの実施例のブロック図である。ピクチャは、１６個のタイルに分割される。非有意タイルは、非有意ＣＴＵのみを有するタイルである。非有意ＣＴＵは、ベースレイヤ（ＳＮＲスケーラビリティ）又は補間ベースレイヤ（空間スケーラビリティ）のいずれかからコピーされたＣＴＵピクセルを有するＣＴＵである。図３に示すように、タイル５は、Ｓｌｉｃｅ０−Ｓｅｇ０のｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｄａｔａ（）において符号化され、タイル１０は、Ｓｌｉｃｅ０−Ｓｅｇ１のｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｄａｔａ（）において符号化される。
表４は、ＰＰＳにおいてタイルを用いた明示的ＲＯＩマップの例示的コードを示している。
（表４）
Figure 2016519517

Figure 2016519517
（表５）
タイルインデクスに対する差分符号化を用いたタイル有意性マップ
Figure 2016519517
（表６）
タイルインデクスに対する差分符号化を用いないタイル有意性マップ
Figure 2016519517
タイルを用いた暗黙的ＲＯＩマップ
エンハンスメントレイヤは、以下を用いて符号化される。エンハンスメントレイヤは、タイル構造を用いて符号化される。タイルは、有意タイル又は非有意タイルのいずれかである。有意タイルは、有意ＣＴＵの集合である。非有意タイルは、非有意ＣＴＵの集合である。有意タイルが１つ又はそれよりも多くのスライス又はスライスセグメントを含むこと、又は連続した番号の有意タイルがスライス又はスライスセグメントであることのうちの一方は、真であるとして符号化される。
ＲＯＩマップは、以下のように暗黙的にシグナリングされる。１つ又はそれよりも多くの非有意タイルは、非有意スライスセグメントのための新しいＮＡＬユニットタイプを有するｎｏｎ_ｓｉｇｎｉｆｉｃａｎｔ_ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｒｂｓｐ（）によってシグナリングされる。有意タイルは、ｎａｌ_ｕｎｉｔ_ｔｙｐｅが符号化スライスセグメントＮＡＬユニットであることを示すｎａｌ_ｕｎｉｔ_ｔｙｐｅを有するＮＡＬユニットにおいて符号化される。
任意的なメッセージを使用して、各ＲＯＩが、動き補償処理をＲＯＩ内に制限することによって個別に復号可能であることを示すことができる。この制限は、ＳＨＶＣにおけるエンハンスメントレイヤ内の個々のＲＯＩに対するものである。
表７は、タイルを用いたｎｏｎ_ｓｉｇｎｉｆｉｃａｎｔ_ｌａｙｅｒ_ｒｂｓｐ（）を示している。
（表７）
Figure 2016519517
図４は、タイルを用いた暗黙的ＲＯＩマップの図である。ピクチャは、１６個のタイルに分割される。非有意タイルは、非有意ＣＴＵのみを有するタイルである。非有意ＣＴＵは、ベースレイヤ（ＳＮＲスケーラビリティ）又は補間ベースレイヤ（空間スケーラビリティ）のいずれかからコピーされたＣＴＵピクセルを有するＣＴＵである。図４に示すように、セグメント０、セグメント３、及びセグメント５は、非有意スライスセグメントである。セグメント１、セグメント２、及びセグメント４は、規則的スライスセグメントである。
タイルを用いない暗黙的ＲＯＩマップ
エンハンスメントレイヤは、以下を用いて符号化される。ＲＯＩマップは、以下のように暗黙的にシグナリングされる。１つ又はそれよりも多くの非有意ＣＴＵは、非有意スライスセグメントのための新しいＮＡＬユニットタイプを有するｎｏｎ_ｓｉｇｎｉｆｉｃａｎｔ_ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｒｂｓｐ（）によってシグナリングされる。１つ又はそれよりも多くの連続有意ＣＴＵは、ｎａｌ_ｕｎｉｔ_ｔｙｐｅが符号化スライスセグメントＮＡＬユニットであることを示すｎａｌ_ｕｎｉｔ_ｔｙｐｅを有するＮＡＬユニットにおいて符号化される。
任意的なメッセージを使用して、各ＲＯＩが、動き補償処理をＲＯＩ内に制限することによって個別に復号可能であることを示すことができる。この制限は、ＳＨＶＣにおけるエンハンスメントレイヤ内の個々のＲＯＩに対するものである。
表８は、タイルを用いないｎｏｎ_ｓｉｇｎｉｆｉｃａｎｔ_ｌａｙｅｒ_ｒｂｓｐ（）を示している。
（表８）
Figure 2016519517
表９は、ＰＰＳにおける明示的ＲＯＩマップの例示的コードを示している。
（表９）
Figure 2016519517

Figure 2016519517
表１０は、差分符号化を用いない注目領域マップを示している。
（表１０）
Figure 2016519517
表１１は、差分符号化を用いた注目領域マップを示している。
（表１１）
Figure 2016519517
省略ピクチャ及び省略スライス
非有意スライスセグメントは、スライスセグメント内のＣＴＵが、ＳＮＲスケーラビリティのためのベースレイヤからピクセルをコピーするか、又は空間スケーラビリティのためのアップサンプリングされたベースレイヤからピクセルをコピーすることによってＳＨＶＣ復号器により再構成されることを示すことができる。
エンハンスメントレイヤ内の全体のピクチャが、１つ又はそれよりも多くの非有意スライスセグメントのみを含む時に、ピクチャ内のＣＴＵの全ては、ＳＮＲスケーラビリティのためのベースレイヤからピクセルをコピーするか、又は空間スケーラビリティのためのアップサンプリングされたベースレイヤからピクセルをコピーすることによってＳＨＶＣ復号器により再構成される。
エンハンスメントレイヤ内の全体のスライスが、１つ又はそれよりも多くの非有意スライスセグメントのみを含む時に、スライス内のＣＴＵの全ては、ＳＮＲスケーラビリティのためのベースレイヤからピクセルをコピーするか、又は空間スケーラビリティのためのアップサンプリングされたベースレイヤからピクセルをコピーすることによってＳＨＶＣ復号器により再構成される。
図５は、一部の実施形態によるＲＯＩスケーラビリティ方法を実施する方法の流れ図である。段階５００において、ビデオが取得される。一部の実施形態において、ベースレイヤ画像及びエンハンスメントレイヤ画像が取得される。段階５０２において、ＲＯＩスケーラビリティ方法が、ビデオ内のビデオ又は画像の一部に適用される。一部の実施形態において、ＲＯＩスケーラビリティ方法は、エンハンスメントレイヤ画像の一部に適用される。一部の実施形態において、ＲＯＩスケーラビリティ方法は、ビデオが取得されている間及び／又はその後に適用される。例えば、ＲＯＩスケーラビリティ方法は、ビデオが記録されている間に適用される。一部の実施形態において、より少ないか又は追加の段階が実施される。
図６は、一部の実施形態によってＲＯＩスケーラビリティ方法を実施するように構成された例示的コンピュータデバイスのブロック図である。コンピュータデバイス６００を使用して画像及びビデオのような情報を取得、格納、計算、処理、通信、及び／又は表示することができる。一般的に、コンピュータデバイス６００を実施するのに好ましいハードウエア構造は、ネットワークインタフェース６０２、メモリ６０４、プロセッサ６０６、Ｉ／Ｏデバイス６０８、バス６１０、及びストレージデバイス６１２を含む。プロセッサの選択は、十分な速度が選択される限り重要でない。メモリ６０４は、当業技術で公知のいずれかの従来型コンピュータメモリとすることができる。ストレージデバイス６１２は、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード、又は他のいずれかのストレージデバイスを含むことができる。コンピュータデバイス６００は、１つ又はそれよりも多くのネットワークインタフェース６０２を含むことができる。ネットワークインタフェースの例は、イーサネット(登録商標)又は他のタイプのＬＡＮに接続したネットワークカードを含む。Ｉ／Ｏデバイス６０８は、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、及び他のデバイスのうちの１つ又はそれよりも多くを含むことができる。ＲＯＩスケーラビリティ方法を実施するのに使用されるＲＯＩスケーラビリティアプリケーション６３０は、ストレージデバイス６１２及びメモリ６０４に格納される可能性が高く、かつアプリケーションが典型的に処理されるように処理される。コンピュータデバイス６００には、図６に示されているよりも多いか又は少ない構成要素を含めることができる。一部の実施形態において、ＲＯＩスケーラビリティハードウエア６２０が含まれる。図６におけるコンピュータデバイス６００は、ＲＯＩスケーラビリティ方法のためのアプリケーション６３０及びハードウエア６２０を含むが、ＲＯＩスケーラビリティ方法は、コンピュータデバイス上でハードウエア、ファームウエア、ソフトウエア、又はそれらのいずれかの組合せに実施することができる。例えば、一部の実施形態において、ＲＯＩスケーラビリティアプリケーション６３０は、メモリにプログラムされ、かつプロセッサを使用して実行される。別の例では、一部の実施形態において、ＲＯＩスケーラビリティハードウエア６２０は、ＲＯＩスケーラビリティ方法を実施するように専用に設計されたゲートを含むプログラム式ハードウエア論理である。
一部の実施形態において、ＲＯＩスケーラビリティアプリケーション６３０は、いくつかのアプリケーション及び／又はモジュールを含む。一部の実施形態において、モジュールはまた、１つ又はそれよりも多くのサブモジュールを含む。一部の実施形態において、より少ないか又は追加のモジュールを含むことができる。
適切なコンピュータデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー電話／携帯電話、スマート家電、ゲームコンソール、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤ、タブレットコンピュータ、モバイルデバイス、ビデオプレーヤ、ビデオディスク書込機／再生機（例えば、ＤＶＤ書込機／再生機、高精細ディスク書込機／再生機、超高精細ディスク書込機／再生機）、テレビジョン、ホームエンタテインメントシステム、スマートジュエリー（例えば、スマートウォッチ）、又は他のいずれかの適切なコンピュータデバイスを含む。
ＲＯＩスケーラビリティ方法を利用するために、デジタルビデオカメラのようなデバイスを使用してビデオを取得することができる。ＲＯＩスケーラビリティ方法は、ビデオを取得している間又はその後に自動的に実施される。ＲＯＩスケーラビリティ方法は、ユーザが関わることなく自動的に実施することができる。
作動において、全体のピクチャではなくピクチャの一部（例えば、全体のエンハンスメント画像ではなくエンハンスメント画像の一部）に対してスケーラビリティを使用するＲＯＩスケーラビリティ方法を実施することができる。ＲＯＩスケーラビリティの用途は、トラフィックモニタリング、セキュリティモニタリング、及びタイル化ストリーミングを含む。
ＳＨＶＣでの注目領域スケーラビリティの一部の実施形態
１．ａ．ベースレイヤ画像及びエンハンスメントレイヤ画像を取得する段階と、ｂ．完全なエンハンスメントレイヤ画像よりも小さい、エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用する段階とを含むデバイスの非一時的なメモリにプログラムされた方法。
２．注目領域スケーラビリティインプリメンテーションが、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む条項１の方法。
３．付加エンハンスメント情報メッセージが注目領域の位置を示す条項２の方法。
４．各注目領域が、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である条項２の方法。
５．付加エンハンスメント情報メッセージが、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む条項２の方法。
６．アドレスが、差分符号化を用いて符号化される条項５の方法。
７．アドレスが、差分符号化を用いずに符号化される条項５の方法。
８．付加エンハンスメント情報メッセージが、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む条項２の方法。
９．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる条項２の方法。
１０．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる条項２の方法。
１１．注目領域スケーラビリティインプリメンテーションが、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む条項１の方法。
１２．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する条項１の方法。
１３．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する条項１の方法。
１４．ａ．ベースレイヤ画像及びエンハンスメントレイヤ画像を取得するように構成されたセンサと、ｂ．完全なエンハンスメントレイヤ画像よりも小さい、エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用するように構成された適用構成要素とを含むカメラデバイスの非一時的なメモリにプログラムされたシステム。
１５．注目領域スケーラビリティインプリメンテーションが、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む条項１４のシステム。
１６．付加エンハンスメント情報メッセージが注目領域の位置を示す条項１５のシステム。
１７．各注目領域が、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である条項１５のシステム。
１８．付加エンハンスメント情報メッセージが、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む条項１５のシステム。
１９．アドレスが、差分符号化を用いて符号化される条項１８のシステム。
２０．アドレスが、差分符号化を用いずに符号化される条項１８のシステム。
２１．付加エンハンスメント情報メッセージが、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む条項１５のシステム。
２２．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる条項１５のシステム。
２３．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる条項１５のシステム。
２４．注目領域スケーラビリティインプリメンテーションが、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む条項１４のシステム。
２５．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する条項１４のシステム。
２６．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する条項１４のシステム。
２７．ａ．ｉ．ベースレイヤ画像及びエンハンスメントレイヤ画像を取得し、かつｉｉ．完全なエンハンスメントレイヤ画像よりも小さい、エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用するためのアプリケーションを格納するための非一時的なメモリと、ｂ．メモリに結合され、アプリケーションを処理するように構成された処理構成要素とを含む装置。
２８．注目領域スケーラビリティインプリメンテーションが、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む条項２７の装置。
２９．付加エンハンスメント情報メッセージが注目領域の位置を示す条項２８の装置。
３０．各注目領域が、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である条項２８の装置。
３１．付加エンハンスメント情報メッセージが、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む条項２８の装置。
３２．アドレスが、差分符号化を用いて符号化される条項３１の装置。
３３．アドレスが、差分符号化を用いずに符号化される条項３１の装置。
３４．付加エンハンスメント情報メッセージが、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む条項２８の装置。
３５．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる条項２８の装置。
３６．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる条項２８の装置。
３７．注目領域スケーラビリティインプリメンテーションが、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む条項２７の装置。
３８．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する条項２７の装置。
３９．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する条項２７の装置。
本発明は、本発明の構成及び作動の原理の理解を容易にするための詳細が組み込まれた特定の実施形態に関して説明した。特定の実施形態及びその詳細に関する本明細書でのこのような言及は、本明細書に添付の特許請求の範囲を限定するように意図していない。特許請求の範囲によって定められる本発明の精神及び範囲を逸脱することなく、例示のために選択された実施形態に他の様々な修正を加えることができることは、当業者には容易に明らかであろう。
ＥＬ エンハンスメントレイヤ
ＮＡＬ ネットワーク・アブストラクション・レイヤ
ＮＳ Ｔｉｌｅ 非有意タイル
ＲＯＩ 注目領域

Claims (39)

  1. デバイスの非一時的なメモリにプログラムされた方法であって、
    ａ．ベースレイヤ画像及びエンハンスメントレイヤ画像を取得する段階、及び
    ｂ．完全なエンハンスメントレイヤ画像よりも小さい、前記エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用する段階、
    を含むことを特徴とする方法。
  2. 前記注目領域スケーラビリティインプリメンテーションは、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含むことを特徴とする請求項１に記載の方法。
  3. 前記付加エンハンスメント情報メッセージは、前記注目領域の位置を示すことを特徴とする請求項２に記載の方法。
  4. 各注目領域が、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合であることを特徴とする請求項２に記載の方法。
  5. 前記付加エンハンスメント情報メッセージは、注目領域の数と、各注目領域に対する前記画像の走査順序における該注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含むことを特徴とする請求項２に記載の方法。
  6. 前記アドレスは、差分符号化を用いて符号化されることを特徴とする請求項５に記載の方法。
  7. 前記アドレスは、差分符号化を用いずに符号化されることを特徴とする請求項５に記載の方法。
  8. 前記付加エンハンスメント情報メッセージは、符号化ツリーユニットの数における前記注目領域の列幅を導出するための情報と符号化ツリーユニットの数における該注目領域の行高さを導出するための情報とを含むことを特徴とする請求項２に記載の方法。
  9. 前記付加エンハンスメント情報メッセージがシグナリングされる時に、前記符号器は、ビットストリームに前記エンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、
    前記エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる、
    ことを特徴とする請求項２に記載の方法。
  10. 前記付加エンハンスメント情報メッセージがシグナリングされる時に、前記符号器は、ビットストリームに前記エンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、
    前記エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる、
    ことを特徴とする請求項２に記載の方法。
  11. 前記注目領域スケーラビリティインプリメンテーションは、復号器が前記エンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含むことを特徴とする請求項１に記載の方法。
  12. 前記注目領域スケーラビリティインプリメンテーションは、前記画像内の注目領域を記録するために前記ベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用することを特徴とする請求項１に記載の方法。
  13. 前記注目領域スケーラビリティインプリメンテーションは、前記画像内の注目領域を記録するために前記ベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用することを特徴とする請求項１に記載の方法。
  14. カメラデバイスの非一時的なメモリにプログラムされたシステムであって、
    ａ．ベースレイヤ画像及びエンハンスメントレイヤ画像を取得するように構成されたセンサ、及び
    ｂ．完全なエンハンスメントレイヤ画像よりも小さい、前記エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用するように構成された適用構成要素、
    を含むことを特徴とするシステム。
  15. 前記注目領域スケーラビリティインプリメンテーションは、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含むことを特徴とする請求項１４に記載のシステム。
  16. 前記付加エンハンスメント情報メッセージは、前記注目領域の位置を示すことを特徴とする請求項１５に記載のシステム。
  17. 各注目領域が、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合であることを特徴とする請求項１５に記載のシステム。
  18. 前記付加エンハンスメント情報メッセージは、注目領域の数と、各注目領域に対する前記画像の走査順序における該注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含むことを特徴とする請求項１５に記載のシステム。
  19. 前記アドレスは、差分符号化を用いて符号化されることを特徴とする請求項１８に記載のシステム。
  20. 前記アドレスは、差分符号化を用いずに符号化されることを特徴とする請求項１８に記載のシステム。
  21. 前記付加エンハンスメント情報メッセージは、符号化ツリーユニットの数における前記注目領域の列幅を導出するための情報と符号化ツリーユニットの数における該注目領域の行高さを導出するための情報とを含むことを特徴とする請求項１５に記載のシステム。
  22. 前記付加エンハンスメント情報メッセージがシグナリングされる時に、前記符号器は、ビットストリームに前記エンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、
    前記エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる、
    ことを特徴とする請求項１５に記載のシステム。
  23. 前記付加エンハンスメント情報メッセージがシグナリングされる時に、前記符号器は、ビットストリームに前記エンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、
    前記エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる、
    ことを特徴とする請求項１５に記載のシステム。
  24. 前記注目領域スケーラビリティインプリメンテーションは、復号器が前記エンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含むことを特徴とする請求項１４に記載のシステム。
  25. 前記注目領域スケーラビリティインプリメンテーションは、前記画像内の注目領域を記録するために前記ベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用することを特徴とする請求項１４に記載のシステム。
  26. 前記注目領域スケーラビリティインプリメンテーションは、前記画像内の注目領域を記録するために前記ベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用することを特徴とする請求項１４に記載のシステム。
  27. ａ．ｉ．ベースレイヤ画像及びエンハンスメントレイヤ画像を取得し、かつ
    ｉｉ．完全なエンハンスメントレイヤ画像よりも小さい、前記エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用する、
    ためのアプリケーションを格納するための非一時的なメモリ、及び
    ｂ．前記メモリに結合され、前記アプリケーションを処理するように構成された処理構成要素、
    を含むことを特徴とする装置。
  28. 前記注目領域スケーラビリティインプリメンテーションは、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含むことを特徴とする請求項２７に記載の装置。
  29. 前記付加エンハンスメント情報メッセージは、前記注目領域の位置を示すことを特徴とする請求項２８に記載の装置。
  30. 各注目領域が、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合であることを特徴とする請求項２８に記載の装置。
  31. 前記付加エンハンスメント情報メッセージは、注目領域の数と、各注目領域に対する前記画像の走査順序における該注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含むことを特徴とする請求項２８に記載の装置。
  32. 前記アドレスは、差分符号化を用いて符号化されることを特徴とする請求項３１に記載の装置。
  33. 前記アドレスは、差分符号化を用いずに符号化されることを特徴とする請求項３１に記載の装置。
  34. 前記付加エンハンスメント情報メッセージは、符号化ツリーユニットの数における前記注目領域の列幅を導出するための情報と符号化ツリーユニットの数における該注目領域の行高さを導出するための情報とを含むことを特徴とする請求項２８に記載の装置。
  35. 前記付加エンハンスメント情報メッセージがシグナリングされる時に、前記符号器は、ビットストリームに前記エンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、
    前記エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる、
    ことを特徴とする請求項２８に記載の装置。
  36. 前記付加エンハンスメント情報メッセージがシグナリングされる時に、前記符号器は、ビットストリームに前記エンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、
    前記エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる、
    ことを特徴とする請求項２８に記載の装置。
  37. 前記注目領域スケーラビリティインプリメンテーションは、復号器が前記エンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含むことを特徴とする請求項２７に記載の装置。
  38. 前記注目領域スケーラビリティインプリメンテーションは、前記画像内の注目領域を記録するために前記ベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用することを特徴とする請求項２７に記載の装置。
  39. 前記注目領域スケーラビリティインプリメンテーションは、前記画像内の注目領域を記録するために前記ベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用することを特徴とする請求項２７に記載の装置。
JP2016507615A 2013-04-08 2014-04-08 Ｓｈｖｃでの注目領域スケーラビリティ Active JP6269813B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361809747P 2013-04-08 2013-04-08
US61/809,747 2013-04-08
US201361846558P 2013-07-15 2013-07-15
US61/846,558 2013-07-15
PCT/US2014/033375 WO2014168972A1 (en) 2013-04-08 2014-04-08 Region of interest scalability with shvc

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017238553A Division JP2018078602A (ja) 2013-04-08 2017-12-13 Ｓｈｖｃでの注目領域スケーラビリティ

Publications (2)

Publication Number Publication Date
JP2016519517A true JP2016519517A (ja) 2016-06-30
JP6269813B2 JP6269813B2 (ja) 2018-01-31

Family

ID=51689962

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016507615A Active JP6269813B2 (ja) 2013-04-08 2014-04-08 Ｓｈｖｃでの注目領域スケーラビリティ
JP2017238553A Pending JP2018078602A (ja) 2013-04-08 2017-12-13 Ｓｈｖｃでの注目領域スケーラビリティ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017238553A Pending JP2018078602A (ja) 2013-04-08 2017-12-13 Ｓｈｖｃでの注目領域スケーラビリティ

Country Status (6)

Country Link
US (1) US10390024B2 (ja)
EP (1) EP2965510B1 (ja)
JP (2) JP6269813B2 (ja)
KR (2) KR101852669B1 (ja)
CN (1) CN105075271A (ja)
WO (1) WO2014168972A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
EP3562170A1 (en) 2013-07-29 2019-10-30 Koninklijke KPN N.V. Providing tile video streams to a client
CN105519115A (zh) 2013-09-10 2016-04-20 株式会社Kt 用于对可扩展视频信号进行编码/解码的方法及装置
JP6440747B2 (ja) 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
JPWO2016098280A1 (ja) * 2014-12-16 2017-11-16 日本電気株式会社 映像符号化装置、映像復号装置および映像配信システム
WO2016187483A1 (en) * 2015-05-20 2016-11-24 Brian Mullins Light-based radar system for augmented reality
WO2017029400A1 (en) 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
US10674185B2 (en) 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
CN108605148B (zh) * 2016-02-09 2022-02-11 索尼互动娱乐股份有限公司 视频显示系统
EP3226561A1 (en) 2016-03-31 2017-10-04 Thomson Licensing Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
US9924131B1 (en) 2016-09-21 2018-03-20 Samsung Display Co., Ltd. System and method for automatic video scaling
KR101861929B1 (ko) * 2016-09-28 2018-05-28 가천대학교 산학협력단 관심 영역을 고려한 가상 현실 서비스 제공
CN114531590A (zh) 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
EP3593536A1 (en) 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
KR20180137917A (ko) * 2017-06-20 2018-12-28 가천대학교 산학협력단 모바일 vr을 위한 타일 기반 비디오 스트리밍
EP3503561A1 (en) * 2017-12-19 2019-06-26 Advanced Digital Broadcast S.A. System and method for optimization of video bitrate
ES2971545T3 (es) * 2018-04-03 2024-06-05 Huawei Tech Co Ltd Señalización de formato de archivo de mitigación de errores en una codificación de vídeo dependiente del área de visualización basada en flujos de bits de subimágenes
KR102644707B1 (ko) 2018-07-02 2024-03-06 노키아 테크놀로지스 오와이 비디오 코딩에서 타일 관련 어드레싱을 위한 방법 및 장치
CN112771873A (zh) * 2018-09-20 2021-05-07 夏普株式会社 用于发信号通知视频编码中的参数的系统和方法
US11140403B2 (en) * 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
JP7427688B2 (ja) 2019-03-06 2024-02-05 シャープ株式会社 ビデオ符号化におけるタイルグループ情報をシグナリングするためのシステム及び方法
KR102218187B1 (ko) * 2019-06-10 2021-02-23 주식회사 엘지유플러스 영상 콘텐츠 제공을 위한 장치 및 방법
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
US11833419B2 (en) * 2020-03-16 2023-12-05 Tencent America LLC Method and apparatus for cloud gaming
US11388423B2 (en) * 2020-03-23 2022-07-12 Alibaba Group Holding Limited Region-of-interest based video encoding
WO2024063928A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Multi-layer foveated streaming

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
JP2007259149A (ja) * 2006-03-23 2007-10-04 Sanyo Electric Co Ltd 符号化方法
JP2009512342A (ja) * 2005-10-12 2009-03-19 トムソン ライセンシング スケーラブルビデオエンコーディング及びデコーディングのための方法及び装置
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
JP2010212811A (ja) * 2009-03-06 2010-09-24 Panasonic Corp 動画像符号化装置及び動画像復号化装置
JP2010532121A (ja) * 2007-06-29 2010-09-30 トムソン ライセンシング ビデオを索引化する方法及びビデオを索引化する装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014086A (ja) 2004-06-28 2006-01-12 Canon Inc 動画像符号化装置及び動画像符号化方法
MX2007014744A (es) * 2005-05-24 2008-02-14 Nokia Corp Metodo y aparatos para transmision/recepcion jerarquica en transmision digital.
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
CN102271249B (zh) 2005-09-26 2014-04-09 韩国电子通信研究院 用于可伸缩视频的感兴趣区域信息设置方法和解析方法
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US20080129844A1 (en) * 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
JP2009182442A (ja) * 2008-01-29 2009-08-13 Univ Of Fukui 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置
CN101742324A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码系统及编解码器
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
EP2560396A4 (en) * 2010-04-12 2013-12-18 Lg Electronics Inc METHOD AND APPARATUS FOR IMAGE DISPLAY
KR101789636B1 (ko) * 2010-04-30 2017-10-25 엘지전자 주식회사 이미지 처리 방법 및 장치
US8994792B2 (en) * 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US20120106622A1 (en) * 2010-11-03 2012-05-03 Mediatek Inc. Method and Apparatus of Slice Grouping for High Efficiency Video Coding
EP3057326A1 (en) 2011-06-10 2016-08-17 MediaTek, Inc Method and apparatus of scalable video coding
WO2013070174A1 (en) * 2011-11-09 2013-05-16 Agency For Science, Technology And Research Compression devices, decompression devices, compression methods, and decompression methods
KR102001415B1 (ko) * 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
JP6295951B2 (ja) * 2012-06-25 2018-03-20 ソニー株式会社 画像復号装置及び画像復号方法
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
GB2505912B (en) * 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
JP2009512342A (ja) * 2005-10-12 2009-03-19 トムソン ライセンシング スケーラブルビデオエンコーディング及びデコーディングのための方法及び装置
JP2007259149A (ja) * 2006-03-23 2007-10-04 Sanyo Electric Co Ltd 符号化方法
JP2010532121A (ja) * 2007-06-29 2010-09-30 トムソン ライセンシング ビデオを索引化する方法及びビデオを索引化する装置
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
JP2010212811A (ja) * 2009-03-06 2010-09-24 Panasonic Corp 動画像符号化装置及び動画像復号化装置

Also Published As

Publication number Publication date
CN105075271A (zh) 2015-11-18
JP6269813B2 (ja) 2018-01-31
KR20180045050A (ko) 2018-05-03
US20150350659A1 (en) 2015-12-03
KR101972284B1 (ko) 2019-04-24
KR20150122781A (ko) 2015-11-02
EP2965510B1 (en) 2021-06-16
JP2018078602A (ja) 2018-05-17
EP2965510A1 (en) 2016-01-13
US10390024B2 (en) 2019-08-20
WO2014168972A1 (en) 2014-10-16
KR101852669B1 (ko) 2018-04-26
EP2965510A4 (en) 2016-07-27

Similar Documents

Publication Publication Date Title
JP6269813B2 (ja) Ｓｈｖｃでの注目領域スケーラビリティ
JP6610705B2 (ja) インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
JP7345051B2 (ja) サブピクチャ、スライス、およびタイルをサポートするビデオ符号化
JP2023502131A (ja) ループフィルタリングを制御するための画像コーディング装置および方法
US20230300350A1 (en) Image encoding/decoding method and apparatus for performing sub-bitstream extraction process on basis of maximum time identifier, and computer-readable recording medium storing bitstream
US11997298B2 (en) Systems and methods of video decoding with improved buffer storage and bandwidth efficiency
US20230156201A1 (en) Image encoding/decoding method and device for determining sub-layers on basis of required number of sub-layers, and bit-stream transmission method
BR122023024026A2 (pt) Dispositivo de codificação de imagem e método para controlar filtragem em loop
BR122023024024A2 (pt) Aparelho de decodificação para decodificação de imagem, aparelho de codificação para codificação de imagem e aparelho para transmissão de dados para uma imagem
BR122023025838A2 (pt) Aparelho de decodificação para decodificação de imagens, aparelho de codificação para codificação de imagens, o aparelho de codificação, mídia de armazenamento legível por computador não transitória e aparelho para transmissão de dados para uma imagem
BR122023026924A2 (pt) Aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de transmissão
BR122023025846A2 (pt) Aparelho de decodificação para decodificação de imagem, aparelho de codificação para codificação de imagem, meio de armazenamento legível por computador e aparelho para transmissão de dados para uma imagem
BR122023022586A2 (pt) Método e aparelho para sinalizar informações de particionamento de gravura
CN115668940A (zh) 基于与画面输出相关的信息的图像或视频编码

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160601

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171218

R151 Written notification of patent or utility model registration

Ref document number: 6269813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151