JP2022545452A - 位置に基づく係数のスケーリング - Google Patents

位置に基づく係数のスケーリング Download PDF

Info

Publication number
JP2022545452A
JP2022545452A JP2022511034A JP2022511034A JP2022545452A JP 2022545452 A JP2022545452 A JP 2022545452A JP 2022511034 A JP2022511034 A JP 2022511034A JP 2022511034 A JP2022511034 A JP 2022511034A JP 2022545452 A JP2022545452 A JP 2022545452A
Authority
JP
Japan
Prior art keywords
video
transform
matrix
scaling
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022511034A
Other languages
English (en)
Other versions
JP7397172B2 (ja
Inventor
リー ジャン
カイ ジャン
ホンビン リウ
ジジョン シュー
ユエ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022545452A publication Critical patent/JP2022545452A/ja
Priority to JP2023194599A priority Critical patent/JP2024020419A/ja
Application granted granted Critical
Publication of JP7397172B2 publication Critical patent/JP7397172B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像処理方法は、規則に従って、映像の映像ブロックの一部にセカンダリ変換行列が適用されているかどうかに基づいて、スケーリング行列を適用するかどうかを決定することであって、スケーリング行列は、映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、セカンダリ変換行列は、変換中に映像ブロックの部分の少なくともいくつかの残差係数を変換するために使用される、決定することと、選択されたスケーリング行列を使用して、映像の映像ブロックと映像のビットストリーム表現との変換を行うことと、を含む。【選択図】図１８

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０１９年８月２０日出願の国際特許出願第ＰＣＴ／ＣＮ２０１９／１０１５５５号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
この特許文献は、映像符号化技術、デバイスおよびシステムに関する。
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
デジタル映像符号化に関し、具体的には、スケーリング行列および／または変換行列を使用する映像符号化および復号化に関するデバイス、システム、および方法である。
１つの例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像ブロックと映像の符号化表現との変換を行うことを含み、前記符号化表現は、フォーマット規則に準拠しており、前記フォーマット規則は、前記映像ブロックへの変換スキップモードの適用可能性が前記映像ブロックの符号化条件によって判定されることを規定し、前記フォーマット規則は、前記変換スキップモードの利用可能性を表す構文要素が前記符号化表現から省略されており、前記変換スキップモードは、前記符号化表現に符号化する前に順方向変換を少なくともいくつかの係数に適用することをスキップすることと、復号化時に、前記符号化表現から復号化する前に逆方向変換を少なくともいくつかの係数に適用することをスキップすることと、を含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の２つの隣接する映像ブロックと前記映像の符号化表現との変換のために、順方向変換と逆方向変換のどちらを変換に使用するかによって、インループフィルタと再構成後フィルタのどちらを変換に使用するかを判定することを含み、前記順方向変換は、前記符号化表現に符号化する前に前記順方向変換を少なくともいくつかの係数に適用することをスキップすることと、復号化時に、前記符号化表現から復号化する前に前記逆方向変換を少なくともいくつかの係数に適用することをスキップすることと、前記インループフィルタまたは再構成後フィルタの使用に基づいて前記変換を行うことと、を含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像ブロックとこの映像の符号化表現との変換のために、前記映像ブロックの符号化モードに基づいてスケーリングツールの倍数を判定することと、スケーリングツールを使用して変換を行うことと、を含み、前記スケーリングツールの使用は、符号化時にこの映像ブロックを表す少なくともいくつかの係数をスケーリングすること、または復号化時にこの符号化表現から少なくともいくつかの係数をデスケーリングすることを含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像ブロックと映像の符号化表現との変換のために、前記映像ブロックの前記変換のためのブロック差分パルス符号変調（ＢＤＰＣＭ）符号化ツールまたは量子化残差ＢＤＰＣＭ（ＱＲーＢＤＰＣＭ）符号化ツールに起因して、スケーリングツールの使用を無効化すると判定することと、スケーリングツールを使用せずに変換を行うこととを含み、前記スケーリングツールの使用は、符号化時に映像ブロックを表す少なくともいくつかの係数をスケーリングすること、または復号化時に符号化表現から少なくともいくつかの係数をデスケーリングすることを含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像ブロックと映像の符号化表現との変換のために、前記変換のために選択された変換行列に基づいてスケーリング行列を選択することであって、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、前記変換行列は、前記変換時に前記映像ブロックの少なくともいくつかの係数を変換するために使用される、選択することと、スケーリング行列を使用して変換を行うことと、を含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、規則に従って、映像の映像ブロックの一部にセカンダリ変換行列が適用されているかどうかに基づいて、スケーリング行列を適用するかどうかを判定することであって、スケーリング行列は、映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、セカンダリ変換行列は、変換時に映像ブロックの部分の少なくともいくつかの残差係数を変換するために使用される、判定することと、選択されたスケーリング行列を使用して、映像の映像ブロックと映像のビットストリーム表現との変換を行うことと、を含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、非正方形の形状を有する映像ブロックに対して、映像の前記映像ブロックと前記映像の符号化表現との変換に使用するためのスケーリング行列を判定することであって、前記符号化表現における構文要素が、前記スケーリング行列を信号通知し、前記スケーリング行列は、前記変換時に前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用される、判定することと、
前記スケーリング行列に基づいて前記変換を行うことと、を含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像ブロックと前記映像の符号化表現との変換を行うことを含む映像処理方法であって、
前記映像ブロックは、規則に基づいて、前記変換時に前記スケーリング行列が適用される第１の数の位置と、前記変換時にスケーリング行列が適用されない第２の数の位置とを含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像ブロックと前記映像の符号化表現との変換時にスケーリング行列が適用されることを判定することと、
前記スケーリング行列に基づいて、前記変換を行うことと、を含む方法であって、
前記符号化表現は前記スケーリング行列の要素の数を示し、前記数は、ゼロ化する係数を前記映像ブロックの係数に適用するかどうかに依存する。
別の例示的な態様において、映像処理の方法が開示される。この方法は、規則に従って、映像の映像ブロックと前記映像の符号化表現との変換を行うことを含む映像処理方法であって、
前記映像ブロックは、前記映像ブロックの係数を変換すべくＫ×Ｌ変換行列を適用した後に、左上のＭ×Ｎ変換係数を除いたすべての変換係数をゼロ化した後の前記符号化表現で表現され、
前記符号化表現は、前記ゼロ化したことに対応する位置にあるスケーリング行列の要素の信号通知を排除するように構成され、
前記スケーリング行列は、前記変換係数をスケーリングするために使用される。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像ブロックと前記映像の符号化表現との変換時に、前記映像ブロックのサイズに基づいて単一の量子化行列を使用するかどうかを、規則に基づいて判定することであって、前記サイズを有するすべての映像ブロックが前記単一の量子化行列を使用する、判定することと、
前記量子化行列を使用して前記変換を行うことと、を含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像ブロックの符号化表現と前記映像ブロックとの変換のために、符号化モード情報に基づいて、変換スキップモードが前記変換に対して有効化されているかどうかを判定することと、この判定することに基づいて、この変換を行うことと、を含み、前記変換スキップモードにおいて、前記変換時に、前記映像ブロックを表す少なくともいくつかの係数に変換を適用することをスキップする。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、前記変換のためのブロック差分パルス符号変調（ＢＤＰＣＭ）または量子化残差ＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）モードの使用に起因して、映像ブロックの符号化表現と映像ブロックとの変換のためにスケーリング行列を使用すると判定することと、前記スケーリング行列を使用して前記変換を行うこととを含み、スケーリング行列は、変換時にこの映像ブロックを表す少なくともいくつかの係数をスケーリングするために使用される。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、前記変換のためのブロック差分パルス符号変調（ＢＤＰＣＭ）または量子化残差ＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）モードの使用に起因して、映像ブロックの符号化表現と映像ブロックとの変換のためのスケーリング行列の使用を無効化すると判定することと、前記スケーリング行列を使用して前記変換を行うこととを含み、スケーリング行列は、変換時に映像ブロックを表す少なくともいくつかの係数をスケーリングするために使用される。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、映像の映像ブロックの符号化表現と前記映像ブロックとの変換のために、変換スキップモードが前記変換に対して有効化されているかどうかによってインループフィルタの適用可能性を判定することと、この前記インループフィルタの適用可能性に基づいて、この変換を行うことと、を含み、前記変換スキップモードにおいて、前記変換時に、前記映像ブロックを表す少なくともいくつかの係数に変換を適用することをスキップする。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、映像の映像ブロックとこの映像ブロックの符号化表現との変換のために、スケーリング行列を、インター符号化およびイントラブロックコピー符号化に基づく変換のために同じスケーリング行列が選択されるように選択することと、前記選択されたケーリング行列を使用して前記変換を行うこととを含み、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用される。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、映像の映像ブロックと前記映像の符号化表現との変換のために、前記変換のために選択された変換行列に基づいて、スケーリング行列を選択することと、前記選択されたスケーリング行列を使用して前記変換を行うこととを含み、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、前記変換行列は、前記変換時に前記映像ブロックの少なくともいくつかの係数を変換するために使用される、選択する。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、映像の映像ブロックと前記映像の符号化表現との変換のために、前記変換のために選択されたセカンダリ変換行列に基づいて、スケーリング行列を選択することと、前記選択されたケーリング行列を使用して前記変換を行うこととを含み、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、前記セカンダリ変換行列は、前記変換時に前記映像ブロックの少なくともいくつかの残差係数を変換するために使用される。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、非正方形の形状を有する映像ブロックのために、前記映像ブロックとこの映像ブロックの符号化表現との変換に使用されるスケーリング行列を判定することであって、前記符号化表現における構文要素が前記スケーリング行列を信号通知する、判定することと、前記スケーリング行列に基づいて前記変換を行うことと、を含み、前記スケーリング行列は、前記変換時に前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用される。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、映像ブロックの符号化表現と映像ブロックとの変換時に、スケーリング行列を部分的に適用することを判定することと、前記ビデオブロックにおいて、第１の位置の集合に前記スケーリング行列を適用し、残りの位置では前記スケーリング行列を無効にするように、前記スケーリング行列を部分的に適用することにより、変換を行うこととを含む。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、映像ブロックの符号化表現と前記映像ブロックとの変換時にスケーリング行列が適用されることを判定することと、
前記スケーリング行列に基づいて、前記変換を行うことと、を含む方法であって、
前記符号化表現は前記スケーリング行列の要素の数を信号通知し、前記数は、前記変換においてゼロ化する係数の適用に依存する。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、映像の映像ブロックと前記映像の符号化表現との変換時に、特定のタイプの前記映像ブロックのサイズに基づいて、使用する単一の量子化行列を判定することと、前記量子化行列を使用して前記変換を行うことと、を含む。
さらに別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で実施され、コンピュータ可読プログラム媒体に記憶される。
さらに別の代表的な態様において、上述した方法を行うように構成された、または動作可能なデバイスが開示される。この装置は、この方法を実装するようにプログラムされた処理装置を含んでもよい。
さらに別の代表的な態様において、映像デコーダ装置は、本明細書で説明されるような方法を実装してもよい。
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される
映像エンコーダの実装形態の例のブロック図である。 セカンダリ変換の例を示す。 縮小セカンダリ変換（ＲＳＴ）を例示している。 提案された従属量子化方法に使用される２つのスカラー量子化モジュールを示す図である。 提案された従属量子化のためのステートトランジションおよび量子化モジュールの選択を例示する。 対角走査順序の例を示す。 対角走査順序の例を示す。 ＱＭ信号通知（３２×３２変換の大きさ）のために選択された位置の例を示す。 ＱＭ信号通知（６４×６４変換規模）のために選択された位置の例を示す。 係数にゼロ化を適用する例を示す。 破線領域（例えば、Ｍ×Ｎ領域）における選択された要素のみが信号通知される例を示す。 映像処理ハードウェアプラットフォームの例を示すブロック図である。 映像処理の方法の一例を示すフローチャートである。 映像デコーダを例示するブロック図である。 本明細書で開示される様々な技術が実装され得る例示的な映像処理システムを示すブロック図である。 本開示の技法を利用し得る例示的な映像符号化システムを示すブロック図である。 映像エンコーダを例示するブロック図である。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。
開示される技術の実施形態は、圧縮性能を向上させるために、既存の映像符号化規格（例えば、ＨＥＶＣ、Ｈ．２６５）および将来の規格に適用されてもよい。本明細書では、説明の可読性を向上させるために章の見出しを使用しており、説明または実施形態（および／または実装形態）をそれぞれの章のみに限定するものではない。
１．発明の概要
本明細書は、画像／映像符号化技術に関する。具体的には、画像／映像符号化における量子化マトリックスに関する。ＨＥＶＣのような既存の映像符号化規格に適用してもよいし、規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を確定させるために適用してもよい。本発明は、将来の映像符号化規格または映像コーデックにも適用可能である。
２．背景技術
映像符号化規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４ Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。ＨＥＶＣを超えた将来の映像符号化技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ）と呼ばれる参照ソフトウェアに組み込まれてきた。２０１８年４月には、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）の間にＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔ Ｔｅａｍ（ＪＶＥＴ）が発足し、ＨＥＶＣと比較して５０％のビットレート削減を目標にＶＶＣ規格の策定に取り組んでいる。
ＶＶＣドラフトの最新バージョン、即ち、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ドラフト５）は、以下を参照することができる。
ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝６６４０
ＶＴＭと呼ばれるＶＶＣの最新の参照ソフトウェアは、以下で確認することができる。
ｈｔｔｐｓ：／／ｖｃｇｉｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｊｖｅｔ／ＶＶＣＳｏｆｔｗａｒｅ＿ＶＴＭ／ｔａｇｓ／ＶＴＭ－４．０
２．１．色空間およびクロマサブサンプリング
色空間は、カラーモデル（又はカラーシステム）としても知られ、色の範囲を数字のタプル（ｔｕｐｌｅ）として簡単に記述する抽象的な数学モデルであり、典型的には３又は４つの値又は色成分（例えばＲＧＢ）である。基本的には、色空間は座標系とサブ空間とを合成したものである。
映像圧縮の場合、最も頻繁に使用される色空間は、ＹＣｂＣｒおよびＲＧＢである。
ＹＣｂＣｒ、Ｙ’ＣｂＣｒ、またはＹ Ｐｂ／Ｃｂ Ｐｒ／Ｃｒは、ＹＣＢＣＲまたはＹ’ＣＢＣＲとも呼ばれ、映像およびデジタル写真システムのカラー画像パイプラインの一部として使用される色空間のファミリーである。Ｙ’は輝度成分であり、ＣＢおよびＣＲは青色差および赤色差クロマ成分である。Ｙ’（素数を有する）はＹとは区別され、Ｙは輝度であり、ガンマ補正されたＲＧＢ原色に基づいて光強度が非線形に符号化されることを意味する。
クロマサブサンプリングは、人間の視覚システムが、輝度よりも色差の方が知覚が低いことを利用して、輝度情報よりもクロマ情報の方が解像度が低くなるように実装して画像を符号化する方法である。
２．１．１． ４：４：４
３つのＹ’ＣｂＣｒ成分の各々は、同じサンプルレートを有し、従って、クロマサブサンプリングは存在しない。この方式は、ハイエンドフィルムスキャナおよび映画のポストプロダクションに用いられることがある。
２．１．２． ４：２：２
２つのクロマ成分は、輝度のサンプルレートの半分でサンプリングされ、水平クロマ解像度は半分にされる。これにより、視覚的にほとんど又は全く差がなく、非圧縮の映像信号の帯域幅を１／３に縮小する。
２．１．３． ４：２：０
４：２：０では、水平サンプリングは４：１：１に比べて２倍になるが、このスキームではＣｂおよびＣｒチャネルを各１行おきのラインでのみサンプリングするので、垂直解像度は半分になる。従って、データレートは同じである。ＣｂおよびＣｒはそれぞれ水平および垂直方向の両方に２倍ずつサブサンプリングされる。異なる水平および垂直位置を有する４：２：０スキームの３つの変形がある。
● ＭＰＥＧ－２において、ＣｂおよびＣｒは水平方向に共座している。Ｃｂ、Ｃｒは垂直方向の画素間に位置する（格子間に位置する）。
● ＪＰＥＧ／ＪＦＩＦにおいて、Ｈ．２６１、およびＭＰＥＧ－１、Ｃｂ、およびＣｒは、交互の輝度サンプルの中間の格子間に位置する。
● ４：２：０ ＤＶにおいて、ＣｂおよびＣｒは、水平方向に共座している。垂直方向には、それらは交互に共座している。
２．２．典型的な映像コーデックの符号化フロー
図１は、３つのインループフィルタリングブロック、すなわち非ブロック化フィルタ（ＤＦ）、サンプル適応オフセット（ＳＡＯ）およびＡＬＦを含むＶＶＣのエンコーダブロック図の例を示す。ＤＦ（予め定義されたフィルタを使用する）とは異なり、ＳＡＯおよびＡＬＦは、現在のピクチャのオリジナルサンプルを利用し、それぞれ、オフセットを追加することにより、および、有限インパルス応答（ＦＩＲ）フィルタを適用することにより、オフセットおよびフィルタ係数を信号通知する符号化側情報を用いて、元のサンプルと再構成サンプルとの間の平均二乗誤差を低減する。ＡＬＦは、各ピクチャの最後の処理ステージに位置し、前のステージで生成されたアーチファクトを捕捉し、修正しようとするツールと見なすことができる。
２．３．量子化ユニット
人間の視覚システム（ＨＶＳ）の周知の空間周波数感度は、ＪＰＥＧ、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ Ｈｉｇｈ Ｐｒｏｆｉｌｅ、およびＨＥＶＣを含む、現代の画像および映像符号化アルゴリズムおよび規格の設計の多くの態様の後ろで重要な要因となっている。
ＭＰＥＧ２に用いられる量子化行列は、８×８行列である。Ｈ．２６４／ＡＶＣにおいて、量子化行列のブロックサイズは、４×４および８×８の両方を含む。これらのＱＭは、ＳＰＳ（シーケンスパラメータ集合）およびＰＰＳ（ピクチャパラメータ集合）に符号化される。Ｈ．２６４／ＡＶＣにおけるＱＭ信号通知のための圧縮方法は、差分パルス符号変調（ＤＰＣＭ）である。
Ｈ．２６４／ＡＶＣ Ｈｉｇｈ Ｐｒｏｆｉｌｅでは、４×４のブロックサイズおよび８×８のブロックサイズが用いられる。４×４ブロックサイズのための６つのＱＭ（すなわち、イントラ／インター符号化のための別個の行列およびＹ／Ｃｂ／Ｃｒ成分）および８×８ブロックサイズのための２つのＱＭ（すなわち、イントラ／インターＹ成分のための別個の行列）に対し、８つの量子化行列のみをビットストリームに符号化する必要がある。
２．４．ＶＶＣにおける変換および量子化設計
２．４．１．変換
ＨＥＶＣは、離散コサイン変換（ＤＣＴ）の有限精度近似である、４×４～３２×３２の様々なサイズの２次元変換を規定する。また、ＨＥＶＣは、４×４輝度イントラ予測残差ブロックに使用するために、離散正弦変換（ＤＳＴ）に基づいて代替の４×４整数変換を規定する。これに加え、特定のブロックサイズの場合、変換スキップを許可してもよい。
ｎＳ＝４，８，１６，３２，ＤＣＴ－ＩＩの変換行列ｃｉｊ（ｉ，ｊ＝０．ｎＳ－１）は、以下のように定義される。
ｎＳ＝４
｛６４，６４，６４，６４｝
｛８３，３６，－３６，－８３｝
｛６４，－６４，－６４，６４｝
｛３６，－８３，８３，－３６｝
ｎＳ＝８
｛６４，６４，６４，６４，６４，６４，６４，６４｝
｛８９，７５，５０，１８，－１８，－５０，－７５，－８９｝
｛８３，３６，－３６，－８３，－８３，－３６，３６，８３｝
｛７５，－１８，－８９，－５０，５０，８９，１８，－７５｝
｛６４，－６４，－６４，６４，６４，－６４，－６４，６４｝
｛５０，－８９，１８，７５，－７５，－１８，８９，－５０｝
｛３６，－８３，８３，－３６，－３６，８３，－８３，３６｝
｛１８，－５０，７５，－８９，８９，－７５，５０，－１８｝
ｎＳ＝１６
｛６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４｝
｛９０，８７，８０，７０，５７，４３，２５，９，－９－２５－４３－５７－７０－８０－８７－９０｝
｛８９，７５，５０，１８－１８－５０－７５－８９－８９－７５－５０－１８，１８，５０，７５，８９｝
｛８７，５７，９－４３－８０－９０－７０－２５，２５，７０，９０，８０，４３，－９－５７－８７｝
｛８３，３６－３６－８３－８３－３６，３６，８３，８３，３６－３６－８３－８３－３６，３６，８３｝
｛８０，９－７０－８７－２５，５７，９０，４３－４３－９０－５７，２５，８７，７０，－９－８０｝
｛７５－１８－８９－５０，５０，８９，１８－７５－７５，１８，８９，５０－５０－８９－１８，７５｝
｛７０－４３－８７，９，９０，２５－８０－５７，５７，８０－２５－９０，－９，８７，４３－７０｝
｛６４－６４－６４，６４，６４－６４－６４，６４，６４－６４－６４，６４，６４－６４－６４，６４｝
｛５７－８０－２５，９０，－９－８７，４３，７０－７０－４３，８７，９－９０，２５，８０－５７｝
｛５０－８９，１８，７５－７５－１８，８９－５０－５０，８９－１８－７５，７５，１８－８９，５０｝
｛４３－９０，５７，２５－８７，７０，９－８０，８０，－９－７０，８７－２５－５７，９０－４３｝
｛３６－８３，８３－３６－３６，８３－８３，３６，３６－８３，８３－３６－３６，８３－８３，３６｝
｛２５－７０，９０－８０，４３，９－５７，８７－８７，５７，－９－４３，８０－９０，７０－２５｝
｛１８－５０，７５－８９，８９－７５，５０－１８－１８，５０－７５，８９－８９，７５－５０，１８｝
｛９－２５，４３－５７，７０－８０，８７－９０，９０－８７，８０－７０，５７－４３，２５，－９｝
ｎＳ＝３２
｛６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４｝
｛９０，９０，８８，８５，８２，７８，７３，６７，６１，５４，４６，３８，３１，２２，１３，４，－４－１３－２２－３１－３８－４６－５４－６１－６７－７３－７８－８２－８５－８８－９０－９０｝
｛９０，８７，８０，７０，５７，４３，２５，９，－９－２５－４３－５７－７０－８０－８７－９０－９０－８７－８０－７０－５７－４３－２５，－９，９，２５，４３，５７，７０，８０，８７，９０｝
｛９０，８２，６７，４６，２２，－４－３１－５４－７３－８５－９０－８８－７８－６１－３８－１３，１３，３８，６１，７８，８８，９０，８５，７３，５４，３１，４－２２－４６－６７－８２－９０｝
｛８９，７５，５０，１８－１８－５０－７５－８９－８９－７５－５０－１８，１８，５０，７５，８９，８９，７５，５０，１８－１８－５０－７５－８９－８９－７５－５０－１８，１８，５０，７５，８９｝
｛８８，６７，３１－１３－５４－８２－９０－７８－４６，－４，３８，７３，９０，８５，６１，２２－２２－６１－８５－９０－７３－３８，４，４６，７８，９０，８２，５４，１３－３１－６７－８８｝
｛８７，５７，９－４３－８０－９０－７０－２５，２５，７０，９０，８０，４３，－９－５７－８７－８７－５７，－９，４３，８０，９０，７０，２５－２５－７０－９０－８０－４３，９，５７，８７｝
｛８５，４６－１３－６７－９０－７３－２２，３８，８２，８８，５４，－４－６１－９０－７８－３１，３１，７８，９０，６１，４－５４－８８－８２－３８，２２，７３，９０，６７，１３－４６－８５｝
｛８３，３６－３６－８３－８３－３６，３６，８３，８３，３６－３６－８３－８３－３６，３６，８３，８３，３６－３６－８３－８３－３６，３６，８３，８３，３６－３６－８３－８３－３６，３６，８３｝
｛８２，２２－５４－９０－６１，１３，７８，８５，３１－４６－９０－６７，４，７３，８８，３８－３８－８８－７３，－４，６７，９０，４６－３１－８５－７８－１３，６１，９０，５４－２２－８２｝
｛８０，９－７０－８７－２５，５７，９０，４３－４３－９０－５７，２５，８７，７０，－９－８０－８０，－９，７０，８７，２５－５７－９０－４３，４３，９０，５７－２５－８７－７０，９，８０｝
｛７８，－４－８２－７３，１３，８５，６７－２２－８８－６１，３１，９０，５４－３８－９０－４６，４６，９０，３８－５４－９０－３１，６１，８８，２２－６７－８５－１３，７３，８２，４－７８｝
｛７５－１８－８９－５０，５０，８９，１８－７５－７５，１８，８９，５０－５０－８９－１８，７５，７５－１８－８９－５０，５０，８９，１８－７５－７５，１８，８９，５０－５０－８９－１８，７５｝
｛７３－３１－９０－２２，７８，６７－３８－９０－１３，８２，６１－４６－８８，－４，８５，５４－５４－８５，４，８８，４６－６１－８２，１３，９０，３８－６７－７８，２２，９０，３１－７３｝
｛７０－４３－８７，９，９０，２５－８０－５７，５７，８０－２５－９０，－９，８７，４３－７０－７０，４３，８７，－９－９０－２５，８０，５７－５７－８０，２５，９０，９－８７－４３，７０｝
｛６７－５４－７８，３８，８５－２２－９０，４，９０，１３－８８－３１，８２，４６－７３－６１，６１，７３－４６－８２，３１，８８－１３－９０，－４，９０，２２－８５－３８，７８，５４－６７｝
｛６４－６４－６４，６４，６４－６４－６４，６４，６４－６４－６４，６４，６４－６４－６４，６４，６４－６４－６４，６４，６４－６４－６４，６４，６４－６４－６４，６４，６４－６４－６４，６４｝
｛６１－７３－４６，８２，３１－８８－１３，９０，－４－９０，２２，８５－３８－７８，５４，６７－６７－５４，７８，３８－８５－２２，９０，４－９０，１３，８８－３１－８２，４６，７３－６１｝
｛５７－８０－２５，９０，－９－８７，４３，７０－７０－４３，８７，９－９０，２５，８０－５７－５７，８０，２５－９０，９，８７－４３－７０，７０，４３－８７，－９，９０－２５－８０，５７｝
｛５４－８５，－４，８８－４６－６１，８２，１３－９０，３８，６７－７８－２２，９０－３１－７３，７３，３１－９０，２２，７８－６７－３８，９０－１３－８２，６１，４６－８８，４，８５－５４｝
｛５０－８９，１８，７５－７５－１８，８９－５０－５０，８９－１８－７５，７５，１８－８９，５０，５０－８９，１８，７５－７５－１８，８９－５０－５０，８９－１８－７５，７５，１８－８９，５０｝
｛４６－９０，３８，５４－９０，３１，６１－８８，２２，６７－８５，１３，７３－８２，４，７８－７８，－４，８２－７３－１３，８５－６７－２２，８８－６１－３１，９０－５４－３８，９０－４６｝
｛４３－９０，５７，２５－８７，７０，９－８０，８０，－９－７０，８７－２５－５７，９０－４３－４３，９０－５７－２５，８７－７０，－９，８０－８０，９，７０－８７，２５，５７－９０，４３｝
｛３８－８８，７３，－４－６７，９０－４６－３１，８５－７８，１３，６１－９０，５４，２２－８２，８２－２２－５４，９０－６１－１３，７８－８５，３１，４６－９０，６７，４－７３，８８－３８｝
｛３６－８３，８３－３６－３６，８３－８３，３６，３６－８３，８３－３６－３６，８３－８３，３６，３６－８３，８３－３６－３６，８３－８３，３６，３６－８３，８３－３６－３６，８３－８３，３６｝
｛３１－７８，９０－６１，４，５４－８８，８２－３８－２２，７３－９０，６７－１３－４６，８５－８５，４６，１３－６７，９０－７３，２２，３８－８２，８８－５４，－４，６１－９０，７８－３１｝
｛２５－７０，９０－８０，４３，９－５７，８７－８７，５７，－９－４３，８０－９０，７０－２５－２５，７０－９０，８０－４３，－９，５７－８７，８７－５７，９，４３－８０，９０－７０，２５｝
｛２２－６１，８５－９０，７３－３８，－４，４６－７８，９０－８２，５４－１３－３１，６７－８８，８８－６７，３１，１３－５４，８２－９０，７８－４６，４，３８－７３，９０－８５，６１－２２｝
｛１８－５０，７５－８９，８９－７５，５０－１８－１８，５０－７５，８９－８９，７５－５０，１８，１８－５０，７５－８９，８９－７５，５０－１８－１８，５０－７５，８９－８９，７５－５０，１８｝
｛１３－３８，６１－７８，８８－９０，８５－７３，５４－３１，４，２２－４６，６７－８２，９０－９０，８２－６７，４６－２２，－４，３１－５４，７３－８５，９０－８８，７８－６１，３８－１３｝
｛９－２５，４３－５７，７０－８０，８７－９０，９０－８７，８０－７０，５７－４３，２５，－９，－９，２５－４３，５７－７０，８０－８７，９０－９０，８７－８０，７０－５７，４３－２５，９｝
｛４－１３，２２－３１，３８－４６，５４－６１，６７－７３，７８－８２，８５－８８，９０－９０，９０－９０，８８－８５，８２－７８，７３－６７，６１－５４，４６－３８，３１－２２，１３，－４｝
２．４．２．量子化
ＨＥＶＣ量子化器の設計は、Ｈ．２６４／ＡＶＣの設計に類似しており、ここで、０～５１（８ビットの映像シーケンスの場合）の範囲の量子化パラメータ（ＱＰ）を、ＱＰ値が６だけ増加する度に２倍になる量子化ステップサイズにマッピングする。しかしながら、重要な違いは、ＨＥＶＣにおいて、Ｈ．２６４／ＡＶＣのデスケーリング行列に組み込まれる変換基本ノルム補正係数がもはや必要とされず、量子化器の設計を簡単にすることである。レート制御および知覚量子化のために、８×８サンプルという小さな量子化グループに対してＱＰ値を（デルタＱＰの形式で）送信することができる。デルタＱＰを算出するためのＱＰ予測モジュールは、左、上、前回のＱＰ値の組み合わせを用いる。ＨＥＶＣはまた、すべての変換ブロックサイズに対して量子化行列を使用することによって、周波数依存量子化をサポートする。詳細は２．４．３項で説明する。
量子化変換係数ｑｉｊ（ｉ，ｊ＝０．．ｎＳ－１）は、変換係数ｄｉｊ（ｉ，ｊ＝０．．ｎＳ－１）から以下のように導出される。
ｑｉｊ＝（ｄｉｊ＊ｆ［ＱＰ％６］＋ｏｆｆｓｅｔ）＞＞（２９＋ＱＰ／６－ｎＳ－ＢｉｔＤｅｐｔｈ），ｗｉｔｈ ｉ，ｊ＝０，．．．，ｎＳ－１
ここで
ｆ［ｘ］＝｛２６２１４，２３３０２，２０５６０，１８３９６，１６３８４，１４５６４｝，ｘ＝０，…，５
２２８＋ＱＰ／６－ｎＳ－ＢｉｔＤｅｐｔｈ＜ｏｆｆｓｅｔ＜２２９＋ＱＰ／６－ｎＳ－ＢｉｔＤｅｐｔｈ
ＱＰは１つの変換ユニットのための量子化パラメータを表し、ＢｉｔＤｅｐｔｈは現在の色成分に関連付けられたビット深度を表す。
ＨＥＶＣにおいて、ＱＰの範囲は［０，５１］である。
２．４．３．量子化ユニット
量子化行列（ＱＭ）は、ＪＰＥＧ、ＪＰＥＧ－２０００等の画像符号化規格、およびＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣ等の映像規格に採用されている。ＱＭは、異なる周波数係数に対する周波数重み付けによって、主観的品質を改善することができる。ＨＥＶＣ規格において、量子化ブロックのサイズは、３２×３２まで拡大することができる。ビットストリームにおいて、４×４、８×８、１６×１６、３２×３２のサイズのＱＭを符号化してもよい。各ブロックサイズに対して、イントラ／インター予測タイプおよびＹ／Ｃｂ／Ｃｒ色成分は、異なる量子化行列を必要とする。合計２４個の量子化行列（４×４、８×８、１６×１６、および３２×３２個の４つのブロックサイズ、イントラ／インターおよびＹ，Ｕ，Ｖ成分のための別個の行列）が、符号化されるべきである。
量子化行列のためのパラメータは、参照量子化行列から直接コピーされてもよく、または明確に信号通知されてもよい。明確に信号通知される場合、第１のパラメータ（行列の（０，０）成分の値）を直接符号化する。そして、行列のラスタスキャンによる予測符号化で残りのパラメータを符号化する。
ＨＥＶＣにおけるスケーリング行列の符号化および信号通知は、以下の３つのモードを意味する：ＯＦＦ、ＤＥＦＡＵＬＴ、およびＵＳＥＲ＿ＤＥＦＩＮＥＤ。なお、８×８よりも大きい変換単位サイズ（即ち、１６×１６、３２×３２）に対して、スケーリング行列は、８×８スケーリング行列から、より大きいサイズにアップサンプリングすることによって得られる（要素の複製）。８×８よりも大きいＴＢのスケーリング行列のために、追加のＤＣ値を信号通知しなければならない。
ＨＥＶＣにおける１つのスケーリング行列のための符号化値の最大数は、６４である。
ＤＥＦＡＵＬＴモードのＤＣ値は、すべてのＴＢサイズに対して１６である。
２．４．３．１．構文および意味論
７．３．２．２ シーケンスパラメータセットＲＢＳＰ構文
７．３．２．２．１ 一般シーケンスパラメータセットＲＢＳＰ構文
Figure 2022545452000002
７．３．２．３ ピクチャパラメータセットＲＢＳＰ構文
７．３．２．３．１ 一般ピクチャパラメータセットＲＢＳＰ構文
Figure 2022545452000003
７．３．４ スケーリングリストデータ構文
Figure 2022545452000004
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、変換係数のスケーリング処理にスケーリングリストを使用することを規定する。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、変換係数のスケーリング処理に対してスケーリングリストを使用しないことを規定する。
ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１の場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）構文構造がＳＰＳに存在することを規定する。ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０の場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）構文構造がＳＰＳに存在しないことを規定する。存在しない場合、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０と推測される。
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である場合、アクティブＳＰＳで規定されたスケーリングリストと、ＰＰＳで規定されたスケーリングリストとに基づいて、ＰＰＳを参照するピクチャに使用されるスケーリングリストデータを導出することを規定する。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０である場合、ＰＰＳを参照するピクチャに使用されるスケーリングリストデータが、アクティブＳＰＳで規定されたスケーリングリストデータと等しいと推論される。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０であるとき、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０である。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であるとき、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは０であり、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０であるとき、デフォルトのスケーリングリストデータは、項目７．４．５に規定したスケーリングリストデータ意味論に説明したような配列ＳｃａｌｉｎｇＦａｃｔｏｒを導出するのに使用される。
７．４．５ スケーリングリストデータの意味論
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が０である場合、スケーリングリストの値が参照スケーリングリストの値と同じであることを規定する。参照スケーリングリストは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］により規定される。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が１である場合、スケーリングリストの値は明示的に信号通知されることを規定する。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］は、ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］を導出するための参照スケーリングリストを以下のように規定する。
－ ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が０である場合、ｉ＝０．．Ｍｉｎ（６３，（１＜＜（４＋（ｓｉｚｅＩｄ＜＜１）））－１）に対して表７－５および表７－６に規定するように、デフォルトのスケーリングリストＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ］から推論される。
－ そうでない場合、スケーリングリストは、参照スケーリングリストから以下のように推論される。
ｒｅｆＭａｔｒｉｘＩｄ＝ｍａｔｒｉｘＩｄ－
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］＊（ｓｉｚｅＩｄ＝＝３？３：１） （７－４２）
ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ］＝ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｒｅｆＭａｔｒｉｘＩｄ］［ｉ］
ｗｉｔｈ ｉ＝０．．Ｍｉｎ（６３，（１＜＜（４＋（ｓｉｚｅＩｄ＜＜１）））－１） （７－４３）
ｓｉｚｅＩｄが２以下である場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］の値は、０からｍａｔｒｉｘＩｄまでの範囲内にあるべきである。そうでない場合（ｓｉｚｅＩｄが３である）、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］の値は、０からｍａｔｒｉｘＩｄ／３までの範囲内にあるべきである。
表７－３ － ｓｉｚｅＩｄの仕様
Figure 2022545452000005
表７－４ － ｓｉｚｅＩｄ、予測モード、および色成分に基づくｍａｔｒｉｘＩｄの仕様
Figure 2022545452000006
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［ｓｉｚｅＩｄ－２］［ｍａｔｒｉｘＩｄ］＋８ ｓｉｚｅＩｄが２である場合、１６×１６サイズのスケーリングリストの変数ＳｃａｌｉｎｇＦａｃｔｏｒ［２］［ｍａｔｒｉｘＩｄ］［０］［０］の値を規定し、ｓｉｚｅＩｄが３である場合、３２×３２サイズのスケーリングリストのＳｃａｌｉｎｇＦａｃｔｏｒ［３］［ｍａｔｒｉｘＩｄ］［０］［０］の値を規定する。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［ｓｉｚｅＩｄ－２］［ｍａｔｒｉｘＩｄ］の値は、－７～２４７の範囲内にあるべきである。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が０、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が０、ｓｉｚｅＩｄが１より大きい場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［ｓｉｚｅＩｄ－２］［ｍａｔｒｉｘＩｄ］の値は、８になると推論される。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が０でなく、ｓｉｚｅＩｄが１より大きい場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［ｓｉｚｅＩｄ－２］［ｍａｔｒｉｘＩｄ］の値は、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［ｓｉｚｅＩｄ－２］［ｒｅｆＭａｔｒｉｘＩｄ］であると推論される。ここで、ｒｅｆＭａｔｒｉｘＩｄの値は数式７－４２によって与えられる。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｅｌｔａ＿ｃｏｅｆは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ］が１である場合、現在の行列係数ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ］と前回の行列係数ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ－１］との差を規定する。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｅｌｔａ＿ｃｏｅｆの値は、－１２８以上１２７以下とする。ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ］の値は、０よりも大きい。
表７－５ － ｉ＝０．．１５の場合のＳｃａｌｉｎｇＬｉｓｔ［０］［ｍａｔｒｉｘＩｄ］［ｉ］のデフォルト値の仕様
Figure 2022545452000007
表７－６ － ｉ＝０．．６３の場合のＳｃａｌｉｎｇＬｉｓｔ［１．．３］［ｍａｔｒｉｘＩｄ］［ｉ］のデフォルト値の仕様
Figure 2022545452000008
４次元配列ＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］，ｗｉｔｈ ｘ，ｙ＝０．．（１＜＜（２＋ｓｉｚｅＩｄ））－１は、表７－３に規定された変数ｓｉｚｅＩｄおよび表７－４に規定されたｍａｔｒｉｘＩｄに従って、倍率の配列を規定する。
サイズ４×４の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［０］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［０］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］＝ＳｃａｌｉｎｇＬｉｓｔ［０］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－４４）
ｗｉｔｈ ｉ＝０．．１５，ｍａｔｒｉｘＩｄ＝０．．５，ｘ＝ＳｃａｎＯｒｄｅｒ［２］［０］［ｉ］［０］，ａｎｄ ｙ＝ＳｃａｎＯｒｄｅｒ［２］［０］［ｉ］［１］
サイズ８×８の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［１］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［１］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］＝ＳｃａｌｉｎｇＬｉｓｔ［１］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－４５）
ｗｉｔｈ ｉ＝０．．６３，ｍａｔｒｉｘＩｄ＝０．．５，ｘ＝ＳｃａｎＯｒｄｅｒ［３］［０］［ｉ］［０］，ａｎｄ ｙ＝ＳｃａｎＯｒｄｅｒ［３］［０］［ｉ］［１］
サイズ１６×１６の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［２］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［２］［ｍａｔｒｉｘＩｄ］［ｘ＊２＋ｋ］［ｙ＊２＋ｊ］＝ＳｃａｌｉｎｇＬｉｓｔ［２］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－４６）
ｗｉｔｈ ｉ＝０．．６３，ｊ＝０．．１，ｋ＝０．．１，ｍａｔｒｉｘＩｄ＝０．．５，ｘ＝ＳｃａｎＯｒｄｅｒ［３］［０］［ｉ］［０］，ａｎｄ ｙ＝ＳｃａｎＯｒｄｅｒ［３］［０］［ｉ］［１］
ＳｃａｌｉｎｇＦａｃｔｏｒ［２］［ｍａｔｒｉｘＩｄ］［０］［０］＝ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［０］［ｍａｔｒｉｘＩｄ］＋８ （７－４７）
ｗｉｔｈ ｍａｔｒｉｘＩｄ＝０．．５
サイズ３２×３２の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［３］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［３］［ｍａｔｒｉｘＩｄ］［ｘ＊４＋ｋ］［ｙ＊４＋ｊ］＝ＳｃａｌｉｎｇＬｉｓｔ［３］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－４８）
ｗｉｔｈ ｉ＝０．．６３，ｊ＝０．．３，ｋ＝０．．３，ｍａｔｒｉｘＩｄ＝０，３，ｘ＝ＳｃａｎＯｒｄｅｒ［３］［０］［ｉ］［０］，ａｎｄ ｙ＝ＳｃａｎＯｒｄｅｒ［３］［０］［ｉ］［１］
ＳｃａｌｉｎｇＦａｃｔｏｒ［３］［ｍａｔｒｉｘＩｄ］［０］［０］＝ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［１］［ｍａｔｒｉｘＩｄ］＋８ （７－４９）
ｗｉｔｈ ｍａｔｒｉｘＩｄ＝０，３
ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが３である場合、ｍａｔｒｉｘＩｄ＝１，２，４，５の場合、サイズ３２×３２のクロマ量子化行列の要素ＳｃａｌｉｎｇＦａｃｔｏｒ［３］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［３］［ｍａｔｒｉｘＩｄ］［ｘ＊４＋ｋ］［ｙ＊４＋ｊ］＝ＳｃａｌｉｎｇＬｉｓｔ［２］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－５０）
ｗｉｔｈ ｉ＝０．．６３，ｊ＝０．．３，ｋ＝０．．３，ｘ＝ＳｃａｎＯｒｄｅｒ［３］［０］［ｉ］［０］，ａｎｄ ｙ＝ＳｃａｎＯｒｄｅｒ［３］［０］［ｉ］［１］
ＳｃａｌｉｎｇＦａｃｔｏｒ［３］［ｍａｔｒｉｘＩｄ］［０］［０］＝ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［０］［ｍａｔｒｉｘＩｄ］＋８ （７－５１）
２．５．ＶＶＣにおける変換および量子化設計
２．５．１．ＭＴＳ（多重変換選択）
離散正弦関数変換ファミリーは、周知の離散フーリエ、コサイン、サイン、およびカルーネン－レーベ（１次マルコフ条件下）変換を含む。すべてのメンバーの中で、コサイン関数に基づく８つのタイプの変換、およびサイン関数に基づく８つのタイプの変換、すなわち、それぞれ、ＤＣＴ－Ｉ、ＩＩ、・・、ＶＩＩＩ、およびＤＳＴ－Ｉ、ＩＩ、・・・、ＶＩＩＩがある。これらの離散コサイン変換およびサイン変換の変形は、それらに対応する対称－周期的シーケンスの異なる対称性に由来する。提案される方法に利用されるような、選択されたタイプのＤＣＴおよびＤＳＴの変換基底関数を、以下の表１にまとめる。
表１．Ｎ点入力用ＤＣＴ－ＩＩ／Ｖ／ＶＩＩＩ、ＤＳＴ－Ｉ／ＶＩＩの変換ベースの関数
Figure 2022545452000009
１つのブロックに対して、変換スキップまたはＤＣＴ２／ＤＳＴ７／ＤＣＴ８のいずれかを選択することができる。このような方法は、多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）と呼ばれる。
ＭＴＳスキームを制御するために、ＳＰＳレベルにおいて、イントラおよびインターに対してそれぞれ別個の有効化フラグを規定する。ＳＰＳにおいてＭＴＳが有効化されると、ＭＴＳが適用されているかどうかを示すように、ＣＵレベルフラグが信号通知される。ここで、ＭＴＳは輝度に対してのみ適用される。ＭＴＳ ＣＵレベルフラグは、以下の条件が満たされる場合に信号通知される。
－ 幅および高さが共に３２以下
－ ＣＢＦ フラグが１である
ＭＴＳ ＣＵフラグがゼロである場合、ＤＣＴ２が両方向に適用される。しかしながら、ＭＴＳ ＣＵフラグが１である場合、２つの他のフラグが追加的に信号通知され、それぞれ水平方向および垂直方向の変換タイプを示す。以下の表に示すように、マッピングテーブルを変換し、信号通知する。行列精度を変換する場合、８ビットのプライマリ変換コアを使用する。そのため、ＨＥＶＣで使用されるすべての変換コアは、４ポイントＤＣＴ－２、ＤＳＴ－７、８ポイント、１６ポイント、３２ポイントＤＣＴ－２など、同じに保たれる。また、６４ポイントＤＣＴ－２、４ポイントＤＣＴ－８、８ポイント、１６ポイント、３２ポイントＤＳＴ－７、ＤＣＴ－８などの他の変換コアは、８ビットのプライマリ変換コアを使用する。
表６．Ｎ点入力用ＤＣＴ－ＩＩ／Ｖ／ＶＩＩＩ、ＤＳＴ－Ｉ／ＶＩＩの変換ベースの関数
Figure 2022545452000010
ＨＥＶＣにおけるように、ブロックの残差は、変換スキップモードで符号化してもよい。構文符号化の冗長性を回避するために、ＣＵレベルＭＴＳ＿ＣＵ＿ｆｌａｇがゼロでない場合、変換スキップフラグは信号通知されない。変換スキップのブロックサイズの制限は、ＪＥＭ４におけるＭＴＳの場合と同じであり、ブロックの幅および高さが両方とも３２以下である場合、変換スキップがＣＵに適用可能であることを示す。
２．５．１．１．高周波数のゼロ化
ＶＴＭ４において、サイズが６４×６４までの大きなブロックサイズの変換が有効化され、これは、主に高解像度映像、例えば、１０８０ｐおよび４Ｋシーケンスに有用である。サイズ（幅または高さ、または幅と高さの両方）が６４である変換ブロックに対して、高周波数変換係数をゼロにし、低周波数係数のみを保持する。例えば、Ｍ×Ｎ変換ブロックの場合、ブロック幅をＭ、ブロック高さをＮとすると、Ｍが６４である場合、左３２列の変換係数のみが保持される。同様に、Ｎが６４である場合、変換係数の上位３２行のみが保持される。大きなブロックに対して変換スキップモードを使用する場合、値をゼロ化することなくブロック全体を使用する。
大きなサイズのＤＳＴ－７およびＤＣＴ－８の複雑性を低減するために、サイズ（幅または高さ、または幅と高さの両方）が３２であるＤＳＴ－７およびＤＣＴ－８ブロックに対して、高周波数変換係数をゼロ化する。１６×１６個の低周波数領域内の係数のみが保持される。
２．５．２．縮小セカンダリ変換
ＪＥＭにおいて、セカンダリ変換は、順方向プライマリ変換と量子化（エンコーダにおいて）の間、および逆量子化と逆方向プライマリ変換（デコーダ側において）の間に適用される。図２に示すように、ブロックサイズにより４×４（または８×８）個のセカンダリ変換を行う。例えば、４×４のセカンダリ変換は、小さなブロック（すなわち、ｍｉｎ（幅、高さ）＜８）に適用され、８×８のセカンダリ変換は、８×８ブロック当たりより大きなブロック（すなわち、ｍｉｎ（幅、高さ）＞４）に適用される。
セカンダリ変換には、非可分変換が適用されるので、これは非可分二次変換（Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）とも呼ばれている。全体で３５個の変換セットがあり、１つの変換セット当たり３つの非可分変換行列（カーネル、それぞれ１６×１６行列を有する）が使用される。
イントラ予測方向に従って、ＪＶＥＴ－Ｋ００９９では縮小セカンダリ変換（ＲＳＴ）が導入され、ＪＶＥＴ－Ｌ０１３３では４つの変換セット（３５の変換セットの代わりに）マッピングが導入された。この寄与において、、８×８ブロックおよび４×４ブロックのために、それぞれ１６×４８および１６×１６行列が使用される。表記の便宜上、１６×４８変換をＲＳＴ８×８として、１６×１６変換をＲＳＴ４×４として表す。このような方法は、近年、ＶＶＣによって採用されている。
図３は、縮小セカンダリ変換（ＲＳＴ）を例示している。
セカンダリの順方向および逆方向変換は、プライマリ変換の処理ステップとは別個の処理ステップである。
エンコーダの場合、まずプライマリ順方向変換を行い、次にセカンダリ順方向変換および量子化、並びにＣＡＢＡＣビット符号化を行う。デコーダ、ＣＡＢＡＣビット復号化、および逆量子化の場合、まずセカンダリ逆変換を実行し、次にプライマリ逆変換を行う。
ＲＳＴは、イントラ符号化ＴＵｓにのみ適用される。
２．５．３．量子化
ＶＴＭ４において、最大ＱＰは５１から６３に拡大し、そして最初のＱＰの信号通知はそれに応じて変化した。ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａの非ゼロ値を符号化する場合、ＳｌｉｃｅＱｐＹの初期値はスライスセグメント層で変更される。具体的には、ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６の値を、－（２６＋ＱｐＢｄＯｆｆｓｅｔＹ）～＋３７の範囲に修正する。
また、同じＨＥＶＣスカラー量子化が、従属スカラー量子化と呼ばれる新しい概念とともに使用される。従属スカラー量子化は、変換係数のための許容可能な再構成値の集合が、再構成順に現在の変換係数レベルに先行する変換係数レベルの値に依存するアプローチを指す。このアプローチの主な効果は、ＨＥＶＣで使用されるような従来の独立したスカラー量子化に比べ、許容可能な再構成ベクトルがＮ次元ベクトル空間においてより密にパックされる（Ｎは変換ブロックにおける変換係数の数を表す）ことである。これは、Ｎ次元単位体積当たりの許容可能な再構成ベクトルの所与の平均数に対して、入力ベクトルと最も近い再構成ベクトルとの平均歪みが低減されることを意味する。従属スカラー量子化のアプローチは、（ａ）異なる再構成レベルを有する２つのスカラー量子化モジュールを規定すること、および（ｂ）２つのスカラー量子化モジュールを切り替えるプロセスを規定することによって実現される。
図４は、提案された従属量子化方法に使用される２つのスカラー量子化モジュールを示す図である。
Ｑ０およびＱ１で表される、使用される２つのスカラー量子化モジュールを図４に示す。利用可能な再構成レベルの位置は、量子化ステップサイズΔによって一意に規定される。使用されるスカラー量子化モジュール（Ｑ０またはＱ１）は、ビットストリームにおいて明確に信号通知されない。その代わりに、現在の変換係数に使用される量子化モジュールは、符号化／再構成順に現在の変換係数に先行する変換係数レベルのパリティによって判定される。
図５に示すように、２つのスカラー量子化モジュール（Ｑ０およびＱ１）の切り替えは、４つの状態を有するステートマシンによって実現される。この状態は、４つの異なる値をとることができる。０，１，２，３．これは、符号化／再構成順に現在の変換係数に先行する変換係数レベルのパリティによって一意に判定される。変換ブロックの逆量子化の開始時に、状態を０に等しく設定する。変換係数は、走査順に（即ち、それらがエントロピー復号化されるのと同じ順に）再構成される。今回の変換係数を再構成した後、図５に示すように、変換係数レベルの値をｋとすると、次のように更新される。
２．５．４．ＪＶＥＴ－Ｎ０８４７におけるユーザ定義量子化行列
この寄与において、ＶＴＭ４．０の上にデフォルトおよびユーザ定義のスケーリング行列を信号通知するためのサポートを追加することが提案される。この提案は、ブロックのより大きいサイズ範囲（輝度の場合、４×４～６４×６４、クロマの場合、２×２～３２×３２）、矩形ＴＢ、従属量子化、多重変換選択（ＭＴＳ）、ゼロ化（ｚｅｒｏｉｎｇ－ｏｕｔ）高周波数係数を用いた大きな変換（ＴＢの場合、スケーリング行列のワンステップ定義手順に整列される）、イントラサブブロック分割（ＩＳＰ）、およびイントラブロックコピー（ＩＢＣ、現在のピクチャの参照ＣＰＲとしても知られる）に準拠する。
以下に準拠するように、ＶＴＭ４．０の上にデフォルトおよびユーザ定義のスケーリング行列の信号通知をサポートするために構文を追加することが提案される。
－ スケーリング行列の３つのモードＯＦＦ、ＤＥＦＡＵＬＴ、およびＵＳＥＲ＿ＤＥＦＩＮＥＤ
－ ブロックのより大きいサイズ範囲（輝度に対して４×４～６４×６４、クロマに対して２×２～３２×３２）
－ 矩形変換ブロック（ＴＢｓ）
－ 従属量子化
－ 多重変換選択（ＭＴＳ）
－ ゼロ化した高周波数係数を有する大きな変換
－ イントラサブブロック分割（ＩＳＰ）
－ イントラブロックコピー（ＩＢＣ、現在のピクチャの参照ＣＰＲとしても知られる）は、イントラ符号化ブロックと同じＱＭを共有する。
－ ＤＥＦＡＵＬＴスケーリング行列は、すべてのＴＢサイズに対してフラットであり、デフォルト値は１６である。
－ スケーリング行列は、以下のために適用されてはならない。
○ すべてのＴＢサイズに対するＴＳ
○ セカンダリ変換（別名ＲＳＴ）
２．５．４．１．二乗変換サイズのためのＱＭの信号通知
２．５．４．１．１．スケーリング行列における要素の走査順序
これらの素子は、係数符号化に使用されるのと同じ走査順に、即ち対角走査順に符号化される。対角走査順序の一例を図６Ａ－６Ｂに示す。
図６Ａ－図６Ｂは、対角走査順序の例を示す。図６Ａは、スキャン方向の例を示す。図６Ｂは、個々の要素の座標および走査順序インデックスを示す。
この順序に対応する仕様を以下のように定義する。
６．５．２ 右上対角走査順序配列初期化処理
この処理には、ブロック幅ｂｌｋＷｉｄｔｈおよびブロックサイズ高さｂｌｋＨｅｉｇｈｔが入力される。
このプロセスの出力は、ａｒｒａｙ ｄｉａｇＳｃａｎ［ｓＰｏｓ］［ｓＣｏｍｐ］である。配列インデックスｓＰｏｓは、０から（ｂｌｋＷｉｄｔｈ＊ｂｌｋＨｅｉｇｈｔ）－１までの範囲の走査位置を規定する。配列インデックスｓＣｏｍｐが０である場合、水平成分が規定され、配列インデックスｓＣｏｍｐが１である場合、垂直成分が規定される。ｂｌｋＷｉｄｔｈおよびｂｌｋＨｅｉｇｈｔの値に基づいて、配列ｄｉａｇＳｃａｎは、以下のように導出される。
ｉ＝０
ｘ＝０
ｙ＝０
ｓｔｏｐＬｏｏｐ＝ＦＡＬＳＥ
ｗｈｉｌｅ（！ｓｔｏｐＬｏｏｐ）｛
ｗｈｉｌｅ（ｙ＞＝０）｛
ｉｆ（ｘ＜ｂｌｋＷｉｄｔｈ＆＆ｙ＜ｂｌｋＨｅｉｇｈｔ）｛（６－１１）
ｄｉａｇＳｃａｎ［ｉ］［０］＝ｘ
ｄｉａｇＳｃａｎ［ｉ］［１］＝ｙ
ｉ＋＋
｝
ｙ－－
ｘ＋＋
｝
ｙ＝ｘ
ｘ＝０
ｉｆ（ｉ＞＝ｂｌｋＷｉｄｔｈ＊ｂｌｋＨｅｉｇｈｔ）
ｓｔｏｐＬｏｏｐ＝ＴＲＵＥ
｝
２．５．４．１．２．選択要素の符号化
ＤＣ値（すなわち、行列の左上の０である走査インデックスに位置する要素）は、以下のスケーリング行列、１６×１６、３２×３２および６４×６４のために別個に符号化される。
８×８（Ｎ＜＝８）以下のサイズのＴＢ（Ｎ×Ｎ）の場合
８×８以下のサイズのＴＢの場合、１つのスケーリング行列におけるすべての要素が信号通知される。
８×８（Ｎ＞８）より大きいサイズのＴＢ（Ｎ×Ｎ）の場合
ＴＢのサイズが８×８よりも大きい場合、１つの８×８スケーリング行列における６４個の要素のみが、基本スケーリング行列として信号通知される。６４個の要素は、座標（ｍ＊Ｘ，ｍ＊Ｙ）に対応し、ここで、ｍ＝Ｎ／８であり、Ｘ、Ｙは、［０…７］である。すなわち、１つのＮ×Ｎ個のブロックを複数のｍ×ｍ個の非重複領域に分割し、領域ごとに同じ要素を共有し、この共有された要素が信号通知される。
８×８より大きいサイズの正方行列を得るために、８×８基本スケーリング行列を、対応する正方形のサイズ（すなわち、１６×１６、３２×３２、６４×６４）にアップサンプリングする（要素の複製による）。
３２×３２および６４×６４を例として、信号通知されるべき素子の選択された位置に丸印を付ける。各正方形は１つの要素を表す。
図７は、ＱＭ信号通知（３２×３２変換サイズ）のために選択された位置の例を示す。
図８は、ＱＭ信号通知（６４×６４変換サイズ）のために選択された位置の例を示す。
２．５．４．２．非二乗変換サイズに対するＱＭの導出
非二乗変換サイズのためのＱＭの追加の信号通知はない。その代わりに、非二乗変換サイズのＱＭは、二乗変換サイズのＱＭから導出される。例を図７に示す。
具体的には、矩形ＴＢのためのスケーリング行列を生成する場合、以下の２つの場合を考える。
１．矩形行列Ｈの高さは、幅Ｗより大きく、次に、サイズＷ×Ｈの矩形ＴＢのためのＳｃａｌｉｎｇＭａｔｒｉｘは、次のようなサイズｂａｓｅＬ×ｂａｓｅＬから定義され、ｂａｓｅＬはｍｉｎ（ｌｏｇ２（Ｈ），３）である。
Figure 2022545452000011
２．矩形行列Ｈの高さは、幅Ｗより小さく、次に、サイズＷ×Ｈの矩形ＴＢのためのスケーリング行列を、サイズｂａｓｅＬ×ｂａｓｅＬの参照スケーリング行列から次のように定義する。式中、ｂａｓｅＬはｍｉｎ（ｌｏｇ２（Ｗ），３）である。
Figure 2022545452000012
ここで、ｉｎｔ（ｘ）は、端数部分を切り捨ててｘの値を変更する。
図８は、正方形ブロックからの非正方形ブロックのＱＭ導出の例を示し、（ａ）８×８ブロックから導出された２×８ブロックのＱＭ、（ｂ）その８×８ブロックから導出された８×２ブロックのＱＭである。
２．５．４．３．ゼロ化した変換ブロックのためのＱＭの信号通知
また、６４点変換のために高周波数係数のゼロ化を適用する場合、対応するスケーリング行列の高周波数もゼロ化される。すなわち、ＴＢの巾または高さが３２以上である場合、図９に示すように、係数の左側または上側半分のみを維持し、残りの係数に０を割り当てる。そのため、式（１）、（２）に従って矩形行列を得る場合はチェックを行って、ＳｃａｌｉｎｇＭａｔｒｉｘ（ｉ，ｊ）の対応する要素に０を割り当てる。
２．５．４．４．量子化行列の構文、意味論
ＳＰＳおよびＰＰＳには、ＨＥＶＣと同じ構文要素が付加されている。しかしながら、スケーリングリストデータ構文の信号通知が以下のように変更される。
７．３．２．１１ スケーリングリストデータ構文
Figure 2022545452000013
７．４．３．１１ スケーリングリストデータの意味論
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が０である場合、スケーリングリストの値が参照スケーリングリストの値と同じであることを規定する。参照スケーリングリストは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］により規定される。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が１である場合、スケーリングリストの値は明示的に信号通知されることを規定する。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］は、ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］を導出するために使用される参照スケーリングリストを規定し、ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］の導出は、以下のように、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］に基づく。
－ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が０である場合、スケーリングリストは、ｉ＝０．．Ｍｉｎ（６３，（１＜＜（ｓｉｚｅＩｄ＜＜１））－１）について表７－１５、表７－１６、表７－１７、表７－１８に規定されるように、デフォルトのスケーリングリストＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ］から推論される。
－そうでない場合、スケーリングリストは、参照スケーリングリストから以下のように推論される。
ｓｉｚｅＩｄ＝１…６の場合、
ｒｅｆＭａｔｒｉｘＩｄ＝ｍａｔｒｉｘＩｄ－ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］＊（ｓｉｚｅＩｄ＝＝６ ？３：１） （７－ＸＸ）
ｓｉｚｅＩｄが１である場合、ｒｅｆＭａｔｒｉｘＩｄの値は０または３でない。あるいは、ｓｉｚｅＩｄが５以下である場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］の値は、０からｍａｔｒｉｘＩｄまでの範囲内にあるべきである。そうでない場合（ｓｉｚｅＩｄが６である）、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］の値は、０からｍａｔｒｉｘＩｄ／３までの範囲内にあるべきである。
表７－１３ － ｓｉｚｅＩｄの仕様
Figure 2022545452000014
表７－１４ － ｓｉｚｅＩｄ、予測モードおよび色成分に基づくｍａｔｒｉｘＩｄの仕様
Figure 2022545452000015
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］＋８ｓｉｚｅＩｄが４である場合、１６×１６サイズのスケーリングリストの変数ＳｃａｌｉｎｇＦａｃｔｏｒ［４］［ｍａｔｒｉｘＩｄ］［０］［０］の値を規定し、ｓｉｚｅＩｄが５である場合、３２×３２サイズのスケーリングリストのＳｃａｌｉｎｇＦａｃｔｏｒ［５］［ｍａｔｒｉｘＩｄ］［０］［０］の値を規定し、ｓｉｚｅＩｄが６の場合に６４ｘ６４サイズに対するスケーリングリストのＳｃａｌｉｎｇＦａｃｔｏｒ［６］［ｍａｔｒｉｘＩｄ］［０］［０］の値を規定する。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］の値は、－７～２４７の範囲内にあるべきである。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が０、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が０、ｓｉｚｅＩｄが３より大きい場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］の値は、８になると推論される。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が０でなく、ｓｉｚｅＩｄが３より大きい場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］の値は、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［ｓｉｚｅＩｄ］［ｒｅｆＭａｔｒｉｘＩｄ］であると推論され、ここで、ｒｅｆＭａｔｒｉｘＩｄの値は数式７－ＸＸによって与えられる。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｅｌｔａ＿ｃｏｅｆは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ］が１である場合、現在の行列係数ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ］と前回の行列係数ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ－１］との差を規定する。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｅｌｔａ＿ｃｏｅｆの値は、－１２８以上１２７以下とする。ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ］の値は、０よりも大きい。Ｗｈｅｎ ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が１の場合、かつｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｅｌｔａ＿ｃｏｅｆが存在しない場合、ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｉ］の値は、０であると推論される。
表７－１５ － ＳｃａｌｉｎｇＬｉｓｔ［１］［ｍａｔｒｉｘＩｄ］［ｉ］のデフォルト値の仕様（ｉ＝０．．３）
Figure 2022545452000016
表７－１６ － ｉ＝０．．１５の場合のＳｃａｌｉｎｇＬｉｓｔ［２］［ｍａｔｒｉｘＩｄ］［ｉ］のデフォルト値の仕様
Figure 2022545452000017
表７－１７ － ｉ＝０．．６３の場合のＳｃａｌｉｎｇＬｉｓｔ［３．．．６］［ｍａｔｒｉｘＩｄ］［ｉ］のデフォルト値の仕様
Figure 2022545452000018
表７－１８ － ＳｃａｌｉｎｇＬｉｓｔ［６］［ｍａｔｒｉｘＩｄ］［ｉ］のデフォルト値の仕様（ｉ＝０．．６３）
Figure 2022545452000019
５次元配列ＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄ］［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］（ｘ，ｙ＝０．．（１＜＜ｓｉｚｅＩｄ）－１）は、表７－１３に規定する変数ｓｉｚｅＩｄおよび表７－１４に規定するｍａｔｒｉｘＩｄに従って、倍率の配列を規定する。
サイズ２×２の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［１］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［１］［１］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］＝ＳｃａｌｉｎｇＬｉｓｔ［１］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－ＸＸ）
ｗｉｔｈ ｉ＝０．．３，ｍａｔｒｉｘＩｄ＝１，２，４，５，ｘ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［１］［１］［ｉ］［０］，ａｎｄ ｙ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［１］［１］［ｉ］［１］
サイズ４×４の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［２］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［２］［２］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］＝ＳｃａｌｉｎｇＬｉｓｔ［２］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－ＸＸ）
ｗｉｔｈ ｉ＝０．．１５，ｍａｔｒｉｘＩｄ＝０．．５，ｘ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［２］［２］［ｉ］［０］，ａｎｄ ｙ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［２］［２］［ｉ］［１］
サイズ８×８の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［３］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［３］［３］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］＝ＳｃａｌｉｎｇＬｉｓｔ［３］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－ＸＸ）
ｗｉｔｈ ｉ＝０．．６３，ｍａｔｒｉｘＩｄ＝０．．５，ｘ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［３］［３］［ｉ］［０］，ａｎｄ ｙ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［３］［３］［ｉ］［１］
サイズ１６×１６の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［４］［ｍａｔｒｉｘＩｄ］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［４］［４］［ｍａｔｒｉｘＩｄ］［ｘ＊２＋ｋ］［ｙ＊２＋ｊ］＝ＳｃａｌｉｎｇＬｉｓｔ［４］［ｍａｔｒｉｘＩｄ］［ｉ］（７－ＸＸ）
ｗｉｔｈ ｉ＝０．．６３，ｊ＝０．．１，ｋ＝０．．１，ｍａｔｒｉｘＩｄ＝０．．５，ｘ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［３］［３］［ｉ］［０］，ａｎｄ ｙ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［３］［３］［ｉ］［１］
ＳｃａｌｉｎｇＦａｃｔｏｒ［４］［４］［ｍａｔｒｉｘＩｄ］［０］［０］＝ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［０］［ｍａｔｒｉｘＩｄ］＋８ （７－ＸＸ）
ｗｉｔｈ ｍａｔｒｉｘＩｄ＝０．．５
サイズ３２×３２の量子化行列の要素ＳｃａｌｉｎｇＦａｃｔｏｒ［５］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［５］［５］［ｍａｔｒｉｘＩｄ］［ｘ＊４＋ｋ］［ｙ＊４＋ｊ］＝ＳｃａｌｉｎｇＬｉｓｔ［５］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－ＸＸ）
ｗｉｔｈ ｉ＝０．．６３，ｊ＝０．．３，ｋ＝０．．３，ｍａｔｒｉｘＩｄ＝０．．５，ｘ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［３］［３］［ｉ］［０］，ａｎｄ ｙ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［３］［３］［ｉ］［１］
ＳｃａｌｉｎｇＦａｃｔｏｒ［５］［５］［ｍａｔｒｉｘＩｄ］［０］［０］＝ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［１］［ｍａｔｒｉｘＩｄ］＋８ （７－ＸＸ）
ｗｉｔｈ ｍａｔｒｉｘＩｄ＝０．．５
サイズ６４×６４の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［６］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［６］［６］［ｍａｔｒｉｘＩｄ］［ｘ＊８＋ｋ］［ｙ＊８＋ｊ］＝ＳｃａｌｉｎｇＬｉｓｔ［６］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－ＸＸ）
ｗｉｔｈ ｉ＝０．．６３，ｊ＝０．．７，ｋ＝０．．７，ｍａｔｒｉｘＩｄ＝０，３，ｘ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［３］［３］［ｉ］［０］，ａｎｄ ｙ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［３］［３］［ｉ］［１］
ＳｃａｌｉｎｇＦａｃｔｏｒ［６］［６］［ｍａｔｒｉｘＩｄ］［０］［０］＝ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［２］［ｍａｔｒｉｘＩｄ］＋８ （７－ＸＸ）
ｗｉｔｈ ｍａｔｒｉｘＩｄ＝０，３
ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが３である場合、ｍａｔｒｉｘＩｄ＝１，２，４，５であるなら、サイズ６４×６４のクロマ量子化行列の要素ＳｃａｌｉｎｇＦａｃｔｏｒ［６］［６］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
ＳｃａｌｉｎｇＦａｃｔｏｒ［６］［６］［ｍａｔｒｉｘＩｄ］［ｘ＊８＋ｋ］［ｙ＊８＋ｊ］＝ＳｃａｌｉｎｇＬｉｓｔ［５］［ｍａｔｒｉｘＩｄ］［ｉ］ （７－ＸＸ）
ｗｉｔｈ ｉ＝０．．６３，ｊ＝０．．７，ｋ＝０．．７，ｘ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［３］［３］［ｉ］［０］，ａｎｄ ｙ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［３］［３］［ｉ］［１］
ＳｃａｌｉｎｇＦａｃｔｏｒ［６］［６］［ｍａｔｒｉｘＩｄ］［０］［０］＝ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［１］［ｍａｔｒｉｘＩｄ］＋８ （７－ＸＸ）
／／非正方形の場合
長方形のサイズを有する量子化行列の場合、
ｘ＝０．．（１＜＜ｓｉｚｅＩｄＷ）－１，ｙ＝０．．（１＜＜ｓｉｚｅＩｄＨ）－１，ｓｉｚｅＩｄＷ！＝ｓｉｚｅＩｄＨの場合の５次元配列ＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄＷ］［ｓｉｚｅＩｄＨ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］は、表７－１９に規定された変数ｓｉｚｅＩｄＷ、ｓｉｚｅＩｄＨに従って、倍率の配列を規定するとともに、次のように導出される。
ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＬｉｄ］［ｍａｔｒｉｘＩｄ］［ｉ］により、ＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄＷ］［ｓｉｚｅＩｄＨ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］を生成することができる。
ただし、ｓｉｚｅＬＩｄ＝ｍａｘ（ｓｉｚｅＩｄＷ，ｓｉｚｅＩｄＨ），ｓｉｚｅＩｄＷ＝０，１．．６，ｓｉｚｅＩｄＨ＝０，１．．６，ｍａｔｒｉｘＩｄ＝０．．５，ｘ＝０．．（１＜＜ｓｉｚｅＩｄＷ）－１，ｙ＝０．．（１＜＜ｓｉｚｅＩｄＨ）－１，，ｘ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［ｋ］［ｋ］［ｉ］［０］，およびｙ＝ＤｉａｇＳｃａｎＯｒｄｅｒ［ｋ］［ｋ］［ｉ］［１］，ｋ＝ｍｉｎ（ｓｉｚｅＬＩｄ，３），
およびｒａｔｉｏＷ＝（１＜＜ｓｉｚｅＩｄＷ）／（１＜＜ｋ），ｒａｔｉｏＨ＝（１＜＜ｓｉｚｅＩｄＨ）／（１＜＜ｋ），ａｎｄ ｒａｔｉｏＷＨ＝（１＜＜ａｂｓ（ｓｉｚｅＩｄＷ－ｓｉｚｅＩｄＨ））。下記の規則を参照：
－ （ｓｉｚｅＩｄＷ＞ｓｉｚｅＩｄＨ）の場合、
ＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄＷ］［ｓｉｚｅＩｄＨ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］
＝ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＬＩｄ］［ｍａｔｒｉｘＩｄ］［Ｒａｓｔｅｒ２Ｄｉａｇ［（１＜＜ｋ）＊（（ｙ＊ｒａｔｉｏＷＨ）／ｒａｔｉｏＷ）＋ｘ／ｒａｔｉｏＷ］］
－ その他
ＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄＷ］［ｓｉｚｅＩｄＨ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］
＝ＳｃａｌｉｎｇＬｉｓｔ［ｓｉｚｅＬＩｄ］［ｍａｔｒｉｘＩｄ］［Ｒａｓｔｅｒ２Ｄｉａｇ［（１＜＜ｋ）＊（ｙ／ｒａｔｉｏＨ）＋（ｘ＊ｒａｔｉｏＷＨ）／ｒａｔｉｏＨ］］，
ここで、Ｒａｓｔｅｒ２Ｄｉａｇ［］は、１つの８×８ブロックにおけるラスタ走査位置を対角走査位置に変換する関数である。
／／ゼロ化する場合
以下の条件を満たすサンプルに対して、矩形サイズを有する量子化行列をゼロ化する。
－ ｘ＞３２
－ ｙ＞３２
－ 復号化されたｔｕはデフォルトの変換モードで符号化されない（１＜＜ｓｉｚｅＩｄＷ）＝＝３２、ｘ＞１６
－ 復号化されたｔｕはデフォルトの変換モードで符号化されない（１＜＜ｓｉｚｅＩｄＨ）＝＝３２、ｙ＞１６
表７－１９ － ｓｉｚｅＩｄＷおよびｓｉｚｅＩｄＨの仕様
Figure 2022545452000020
２．６ 量子化残差ブロック差動パルスコード変調
ＪＶＥＴ－Ｍ０４１３において、量子化された残差ブロック差動パルスコード変調（ＱＲ－ＢＤＰＣＭ）が、スクリーンコンテンツを効率的に符号化するために提案されている。
ＱＲ－ＢＤＰＣＭで使用される予測方向は、垂直予測モードおよび水平予測モードであり得る。イントラ予測は、イントラ予測と同様に、予測方向（水平または垂直予測）にサンプルコピーすることで、ブロック全体で予測する。残差を量子化し、量子化された残差とその予測子（水平または垂直）量子化値との間のデルタを符号化する。これは、以下のように説明することができる。サイズＭ（行）×Ｎ（列）のブロックについて、ｒｉ，ｊ，０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１を、上または左ブロックの境界サンプルからのフィルタリングされていないサンプルを使用して、水平方向（予測ブロックに対して左隣の画素値を１ラインずつコピーする）または垂直方向（予測ブロックにおける各ラインに上隣のラインをコピーする）にイントラ予測を行った後の予測残差とする。Ｑ（ｒｉ，ｊ）、０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１は、残差ｒｉ，ｊの量子化バージョンを表し、この場合、残差は、元のブロックと予測ブロック値との間の差である。次に、ブロックＤＰＣＭが量子化された残差サンプルに適用され、その結果、要素ｒ～ｉ，ｊを有する修正されたＭ×Ｎ個の配列Ｒ～が得られる。垂直ＢＤＰＣＭが信号通知されると、以下のようになる。
Figure 2022545452000021
水平予測の場合、類似した規則が適用され、残差量子化サンプルは、以下の式によって得られる。
Figure 2022545452000022
残差量子化サンプルｒ～ｉ，ｊはデコーダに送られる。
デコーダ側では、上記の計算を逆にして、Ｑ（ｒｉ，ｊ）、０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１を生成する。垂直予測の場合、
Figure 2022545452000023
水平方向の場合、
Figure 2022545452000024
逆量子化された残差Ｑ－１（Ｑ（ｒｉ，ｊ））をイントラブロック予測値に加算し、再構成されたサンプル値を生成する。
このスキームの主な利点は、逆方向のＤＰＣＭを、係数の構文解析中にオンザフライで行うことができ、係数の構文解析中に予測子を追加するだけで済むこと、または、構文解析後に行うことができることである。
ＱＲ－ＢＤＰＣＭの本文変更案を以下に示す。
７．３．６．５ 符号化ユニット構文
Figure 2022545452000025
ｄｂｐｃｍ＿ｆｌａｇ［ｘ０］［ｙ０］が１の場合、位置（ｘ０，ｙ０）の輝度符号化ブロックを含む符号化ユニットにｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇが存在することを指定する。
ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇ［ｘ０］［ｙ０］＝０は、ｂｄｐｃｍブロックで使用される予測方向が水平であることを指定し、そうでない場合、垂直である。
３． 実施形態および技術が解決しようとする技術的課題の例
現在のＶＶＣ設計において、量子化行列の観点から以下のような問題が存在する。
１．ＱＲ－ＢＤＰＣＭおよびＢＤＰＣＭ－ｂｌｏｃｋｓの場合、変換は適用されない。そのため、このようなブロックに対して、他の変換適用ブロックと同様にスケーリング行列を適用することは、最適ではない。
２．ＩＢＣおよびイントラ符号化モードは、同じスケーリング行列を共有する。しかしながら、ＩＢＣはインター符号化ツールである可能性が高い。そのような設計は妥当でないと思われる。
３．ゼロ化大きなブロックの場合、いくつかの要素が信号通知されるが、ビットを浪費する復号化処理においてゼロにリセットされる。
４．いくつかのフレームワークにおいて、量子化は、常に量子化行列を適用するように行われる。このように、小さなブロックのための量子化行列は、頻繁に行列を変更させる可能性がある。
４． 実施形態および技術のリスト化
以下の詳細な発明は、一般的な概念を説明するための例であると考えられるべきである。これらの発明は狭い意味で解釈されるべきではない。さらに、これらの発明は、任意の方法で組み合わせることができる。
１．ＴＳ（Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ）フラグがビットストリームにおいて信号通知されない場合、このフラグの値をどのように設定するかは、符号化モード情報に依存し得る。
ａ．一例において、ＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭ符号化ブロックの場合、ＴＳフラグは１であると推論される。
ｂ．一例において、非ＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭ符号化ブロックの場合、ＴＳフラグは０であると推論される。
２．ＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭ符号化ブロックにスケーリング行列を適用することができることが提案される。
ａ．代替的に、ＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭ符号化ブロックのためのスケーリング行列を許可しないことが提案される。
ｂ．一例として、ＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭ符号化ブロックのスケーリング行列を選択する方法は、変換スキップ符号化ブロックと同じ方法で行われ得る。
ｃ．一例において、ＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭ符号化ブロックのためのスケーリング行列をどのように選択するかは、１つまたは複数の変換がブロックに適用されるかに依存し得る。
ｉ．一例において、１つのＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭ符号化ブロックに１つ以上の変換を適用する場合、スケーリング行列は許可され得る。
ｉｉ．一例において、１つまたは複数の変換がＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭ符号化ブロックに適用される場合、ＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭ符号化ブロックのためのスケーリング行列をどのように選択するかは、１つのイントラ符号化ブロックと同様にして行われ得る。
３．インループフィルタ（非ブロック化フィルタ）および／または他の再構成後フィルタにおいて、２つの隣接するブロック間のサンプル／エッジをフィルタリングするかどうか、および／またはどのようにフィルタリングするかは、２つの隣接するブロックのいずれかまたは両方が変換スキップ（ＴＳ）モードで符号化されるかどうかに依存し得る。
ａ．インループフィルタ（非ブロック化フィルタ）および／または他の再構成後フィルタにおいて、２つの隣接するブロック間のサンプル／エッジをフィルタリングするかどうか、および／またはどのようにフィルタリングするかは、２つの隣接するブロックがＴＳ、ＢＤＰＣＭ、ＱＲ－ＢＤＰＣＭ、パレットモードで符号化されるかどうかに依存し得る。
ｂ．一例において、境界フィルタリング強度の導出は、２つの隣接するブロックの一方または両方のＴＳモードフラグに依存し得る。
ｃ．一例において、ＴＳ符号化ブロックに位置するサンプルの場合、非ブロック化フィルタ／サンプル適応オフセット／適応ループフィルタ／他の種類のインループフィルタ／他の再構成後フィルタは、無効化されてもよい。
ｉ．一例において、２つの隣接するブロックが両方とも変換スキップモードで符号化される場合、これらの２つの間でこのようなエッジをフィルタリングする必要がない。
ｉｉ．一例において、２つの隣接するブロックのうちの一方が変換スキップモードで符号化され、他の一方が符号化されていない場合、ＴＳ符号化ブロックに位置するサンプルをフィルタリングする必要がない。
ｄ．代替的に、ＴＳ符号化ブロックに位置するサンプルに対して、異なるフィルタ（例えば、より平滑なフィルタ）を許可してもよい。
ｅ．インループフィルタ（例えば、非ブロック化フィルタ）および／または他の再構成後フィルタ（例えば、双方向フィルタ、拡散フィルタ）の処理中、ＰＣＭ／ＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭで符号化されたブロック、および／または変換が適用されない他の種類のモードは、上述したように、ＴＳモードで符号化されたものと同様に処理されてもよい。
４．ＩＢＣおよびインター符号化モードで符号化されたブロックは、同じスケーリング行列を共有してもよい。
５．スケーリング行列の選択は、変換行列のタイプに依存し得る。
ａ．一例において、スケーリング行列の選択は、ブロックがＤＣＴ２などのデフォルト変換を使用するかどうかに依存し得る。
ｂ．一例において、スケーリング行列は、複数の変換行列タイプに対して別々に信号通知されてもよい。
６．スケーリング行列の選択は、１つのブロックの動き情報に依存し得る。
ａ．一例において、スケーリング行列の選択は、ブロックがサブブロック符号化モード（例えば、アフィンモード）で符号化されているかどうかに依存し得る。
ｂ．一例において、アフィンモードと非アフィンモードとで別々にスケーリング行列を信号通知してもよい。
ｃ．一例において、スケーリング行列の選択は、ブロックがアフィンイントラ予測モードで符号化されるかどうかに依存し得る。
７．セカンダリ変換符号化ブロックのためにスケーリング行列を無効化する代わりに、スケーリング行列を有効にすることが提案される。仮に変換ブロックのサイズをＫ×Ｌで表すとしたら、左上のＭ×Ｎブロックに対してセカンダリ変換を行う。
ａ．セカンダリ変換および／または低減されたセカンダリ変換および／または回転変換に対して、タイルグループヘッダ／スライスヘッダ／ＰＰＳ／ＶＰＳ／ＳＰＳにおいてスケーリング行列を信号通知することができる。
ｂ．一例において、セカンダリ変換が適用されるか否かに従って、スケーリング行列を選択してもよい。
ｉ．一例において、左上のＭ×Ｎブロックのためのスケーリング行列の要素は、セカンダリ変換が適用されるか否かについて別個に信号通知されてもよい。
ｃ．代替的に、スケーリング行列は、セカンダリ変換が適用されない領域にのみ適用可能であってもよい。
ｄ．一例において、左上のＭ×Ｎ領域を除く残りの部分は、依然としてスケーリング行列を適用してもよい。
ｅ．代替的に、スケーリング行列は、セカンダリ変換が適用される領域にのみ適用可能であってもよい。
８．正方形ブロックから非正方形ブロックのためのスケーリング行列を導出する代わりに、非正方形ブロックのためのスケーリング行列を信号通知することが提案される。
ａ．一例において、非正方形ブロックのためのスケーリング行列は、正方形ブロックからの予測で符号化されてもよく、スケーリング行列は有効化されてもよい。
９．いくつかの位置に対するスケーリング行列の使用を無効化し、ブロック内の残りの位置に対するスケーリング行列を有効化することが提案される。
ａ．例えば、１つのブロックがＭ＊Ｎ個よりも多い位置を含む場合、左上のＭ＊Ｎ個の領域のみがスケーリング行列を使用してもよい。
ｂ．例えば、１つのブロックがＭ＊Ｎ個よりも多い位置を含む場合、上位Ｍ＊Ｎ個の位置のみがスケーリング行列を使用してもよい。
ｃ．例えば、１つのブロックがＭ＊Ｎ個よりも多い位置を含む場合、左側のＭ＊Ｎ個の位置のみがスケーリング行列を使用してもよい。
１０．スケーリング行列に信号通知されるべき要素が何個あるかは、ゼロ化が適用されるかどうかに依存し得る。
ａ．一例において、６４×６４変換の場合、左上のＭ×Ｎ個の変換係数のみが保持され、残りの係数はすべてゼロ化されると仮定する。そして、信号通知されるべき要素の数は、Ｍ／８＊Ｎ／８として導出されてもよい。
１１．ゼロ化のある変換の場合、ゼロ化領域に位置するスケーリング行列における要素の信号通知を無効化することが提案される。Ｋ×Ｌ変換の場合を仮定すると、左上のＭ×Ｎ個の変換係数のみが保持され、残りの係数はすべてゼロ化している。
ａ．一例において、Ｋ＝Ｌ＝６４、Ｍ＝Ｎ＝３２である。
ｂ．一例において、左上のＭ×Ｎ領域の外側の位置に対応するスケーリング行列において要素の信号通知は、省略される。
図１０は、破線領域（例えば、Ｍ×Ｎ領域）における選択された要素のみが信号通知される例を示す。
ｃ．一例において、スケーリング行列において要素を選択するためのサブサンプリング比は、Ｋおよび／またはＬによって判定されてもよい。
ｉ．例えば、変換ブロックを複数のサブ領域に分割し、各サブ領域のサイズをＵｗ＊Ｕｈとする。左上のＭ×Ｎ領域の各サブ領域内に位置する１つの要素を信号通知することができる。
ｉｉ．代替的に、符号化されるべき要素の数は、Ｍおよび／またはＮに依存し得る。
１）一例において、このようなゼロ化のあるＫ×Ｌ変換に対して何個の要素が符号化されるべきかは、ゼロ化のないＭ×Ｎ変換ブロックに対するものとは異なる。
ｄ．一例において、スケーリング行列において要素を選択するためのサブサンプリング比は、ＫおよびＬの代わりにＭおよび／またはＮによって判定されてもよい。
ｉ．例えば、Ｍ×Ｎ領域は、複数のサブ領域に分割される。各（Ｍ／Ｕｗ，Ｎ／Ｕｈ）領域内の１つの要素が信号通知されてもよい。
ｉｉ．代替的に、さらに、このようなゼロ化のあるＫ×Ｌ変換に対して何個の要素が符号化されるべきかは、ゼロ化のないＭ×Ｎ変換ブロックに対するものと同じである。
ｅ．一例において、Ｋ＝Ｌ＝６４，Ｍ＝Ｎ＝３２，Ｕｗ＝Ｕｈ＝８である。
１２．小さなサイズのブロックのような、あるブロックサイズに対して、１つの量子化行列のみを使用することが提案される。
ａ．一例において、Ｗ×Ｈより小さいすべてのブロックは、ブロックのタイプにかかわらず、２つ以上の量子化行列を使用することが許可されないことがある。
ｂ．一例において、閾値より小さい幅を有するすべてのブロックは、２つ以上の量子化行列を使用することが許可されない場合がある。
ｃ．一例において、高さが閾値よりも小さいすべてのブロックは、２つ以上の量子化行列を使用することが許可されないことがある。
ｄ．一例において、量子化行列は、小さなサイズのブロックに適用されなくてもよい。
１３．上記の黒点は、変換を適用しない（またはアイデンティティ変換を適用しない）他の符号化方法にも適用可能である。
ａ．一例において、上記の黒点は、「ＴＳ／ＢＤＰＣＭ／ＱＲ－ＢＤＰＣＭ」を「Ｐａｌｅｔｔｅ」に置き換えることによって、パレットモードで符号化されたブロックに適用可能である。
５． 実施形態
５．１． 非ブロック化フィルタについての実施形態＃１
Figure 2022545452000026
８．８．２ 非ブロック化フィルタ処理
８．８．２．１ 一般
この処理への入力は、非ブロック化前の再構成ピクチャ、即ち配列ｒｅｃＰｉｃｔｕｒｅＬであり、且つＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０でない場合、配列ｒｅｃＰｉｃｔｕｒｅＣｂおよびｒｅｃＰｉｃｔｕｒｅＣｒである。
この処理の出力は、非ブロック化後の修正された再構成ピクチャ、即ち配列ｒｅｃＰｉｃｔｕｒｅＬであり、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０でない場合、配列ｒｅｃＰｉｃｔｕｒｅＣｂおよびｒｅｃＰｉｃｔｕｒｅＣｒである。
まずピクチャの垂直エッジを選別する。そして、垂直エッジフィルタリング処理で修正されたサンプルを入力として、ピクチャの水平エッジをフィルタリングする。各ＣＴＵのＣＴＢにおける垂直および水平エッジは、符号化ユニットごとに別個に処理される。符号化ユニットにおける符号化ブロックの垂直エッジは、符号化ブロックの左側のエッジから始まり、符号化ブロックの右側に向かってそれらの幾何学的順にエッジを通って進むようにフィルタリングされる。符号化ユニットにおける符号化ブロックの水平エッジは、符号化ブロックの上側のエッジから始まり、符号化ブロックの下側に向かってそれらの幾何学的順にエッジを通って進むようにフィルタリングされる。
注 － 本願明細書において、フィルタリング処理はピクチャ単位で述べられているが、同じ出力値を生成するように、デコーダが処理の従属順序を適切に考慮すれば、フィルタリング処理は等価な結果を有する符号化単位で実施されてもよい。
非ブロック化フィルタ処理は、以下のタイプのエッジを除き、ピクチャのすべての符号化サブブロックのエッジおよび変換ブロックのエッジに適用される。
－ ピクチャの境界にあるエッジ、
－ ｐｐｓ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｖｉｒｔｕａｌ＿ｂｏｕｎｄａｒｉｅｓ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが１である場合、ピクチャの仮想境界に合致するエッジ
－ ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｂｒｉｃｋｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である場合、ブリックの境界に合致するエッジ
－ ｓｌｉｃｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である、またはｓｌｉｃｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが１である場合、スライスの上または左の境界に一致するエッジ
－ ｓｌｉｃｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが１であるスライス内のエッジ
－ 考慮される成分の８×８個のサンプルグリッド境界に対応しないエッジ
－ エッジの両側がインター予測を用いるクロマ成分内のエッジ
－ 関連付けられた変換ユニットのエッジでないクロマ変換ブロックのエッジ
－ ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ値がＩＳＰ＿ＮＯ＿ＳＰＬＩＴでない符号化ユニットの輝度変換ブロック全体のエッジ
Figure 2022545452000027
５．２． スケーリング行列に関する実施形態＃２
この章は、章４の黒点１１．ｄの例を提供する。
Figure 2022545452000028
 サイズ６４×６４の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［６］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
Figure 2022545452000029
 また、
Figure 2022545452000030
 ＳｃａｌｉｎｇＦａｃｔｏｒ［６］［６］［ｍａｔｒｉｘＩｄ］［０］［０］＝ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［２］［ｍａｔｒｉｘＩｄ］＋８ （７－ＸＸ）
ｗｉｔｈ ｍａｔｒｉｘＩｄ＝０，３
／／ゼロ化する場合
以下の条件を満たすサンプルに対して、矩形サイズを有する量子化行列をゼロ化する。
Figure 2022545452000031
 － 復号化されたｔｕはデフォルトの変換モードにより符号化されない（１＜＜ｓｉｚｅＩｄＷ）＝＝３２、ｘ＞１６
－ 復号化されたｔｕはデフォルトの変換モードでは符号化されない（１＜＜ｓｉｚｅＩｄＨ）＝＝３２、ｙ＞１６
５．３． スケーリング行列に関する実施形態＃３
この章では、章４の黒点９、１１．ｃの例を示す。
Figure 2022545452000032
 ７．３．２．１１ スケーリングリストデータ構文
Figure 2022545452000033
サイズ６４×６４の量子化行列の要素であるＳｃａｌｉｎｇＦａｃｔｏｒ［６］［ｍａｔｒｉｘＩｄ］［］［］は、以下のように導出される。
Figure 2022545452000034
 また、
Figure 2022545452000035
 ＳｃａｌｉｎｇＦａｃｔｏｒ［６］［６］［ｍａｔｒｉｘＩｄ］［０］［０］＝ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｃ＿ｃｏｅｆ＿ｍｉｎｕｓ８［２］［ｍａｔｒｉｘＩｄ］＋８ （７－ＸＸ）
ｗｉｔｈ ｍａｔｒｉｘＩｄ＝０，３
／／ゼロ化する場合
以下の条件を満たすサンプルに対して、矩形サイズを有する量子化行列をゼロ化する。
Figure 2022545452000036
 － 復号化されたｔｕはデフォルトの変換モードにより符号化されない（１＜＜ｓｉｚｅＩｄＷ）＝＝３２、ｘ＞１６
－ 復号化されたｔｕはデフォルトの変換モードでは符号化されない（１＜＜ｓｉｚｅＩｄＨ）＝＝３２、ｙ＞１６
５．４． スケーリング行列に関する実施形態＃４
本章は、ＱＲ－ＢＤＰＣＭ符号化ブロックのためのスケーリング行列を許可しない例を提供する。
Figure 2022545452000037
 ８．７．３ 変換係数のスケーリング処理
この処理への入力は以下の通りである。
－ 現在のピクチャの左上の輝度サンプルに対する現在の輝度変換ブロックの左上のサンプルを規定する輝度位置（ｘＴｂＹ，ｙＴｂＹ）
－ 変換ブロックの幅を指定する変数ｎＴｂＷ、
－ 変換ブロックの高さを指定する変数ｎＴｂＨ、
－ 現在のブロックの色成分を規定する変数ｃＩｄｘ、
－ 現在の色成分のビット深度を指定する変数ｂｉｔＤｅｐｔｈ。
この処理の出力は、要素ｄ［ｘ］［ｙ］を有するスケーリングされた変換係数の（ｎＴｂＷ）×（ｎＴｂＨ）配列ｄである。
量子化パラメータｑＰは、以下のように導出される。
－ ｃＩｄｘが０に等しい場合、以下が適用される。
ｑＰ＝Ｑｐ’Ｙ （８－１０１９）
－ そうでない場合、ｃＩｄｘが１である場合、以下が適用される。
ｑＰ＝Ｑｐ’Ｃｂ （８－１０２０）
－ そうでない場合（ｃＩｄｘ＝２）、以下が適用される。
ｑＰ＝Ｑｐ’Ｃｒ （８－１０２１）
変数ｒｅｃｔＮｏｎＴｓＦｌａｇは、以下のように導出される。
ｒｅｃｔＮｏｎＴｓＦｌａｇ＝（（（Ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＆１）＝＝１ ＆＆ （８－１０２２）
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］＝＝０）
変数ｂｄＳｈｉｆｔ、ｒｅｃｔＮｏｒｍ、およびｂｄＯｆｆｓｅｔは、以下のように導出される。
ｂｄＳｈｉｆｔ＝ｂｉｔＤｅｐｔｈ＋（（ｒｅｃｔＮｏｎＴｓＦｌａｇ？８：０）＋ （８－１０２３）
（Ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））／２）－５＋ｄｅｐ＿ｑｕａｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ
ｒｅｃｔＮｏｒｍ＝ｒｅｃｔＮｏｎＴｓＦｌａｇ ？ １８１：１ （８－１０２４）
ｂｄＯｆｆｓｅｔ＝（１＜＜ｂｄＳｈｉｆｔ）＞＞１ （８－１０２５）
ｌｉｓｔ ｌｅｖｅｌＳｃａｌｅ［］は、ｋ＝０．．５の時、ｌｅｖｅｌＳｃａｌｅ［ｋ］＝｛４０，４５，５１，５７，６４，７２｝として規定される。
ｘ＝０．．ｎＴｂＷ－１，ｙ＝０．．ｎＴｂＨ－１である場合、スケーリングされた変換係数ｄ［ｘ］［ｙ］を導出するために、以下が適用される。
－ 中間倍率ｍ［ｘ］［ｙ］は、以下のように導出される。
－ 以下の条件の１つ以上が真である場合、ｍ［ｘ］［ｙ］は、１６に等しく設定される。
－ ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０と等しい。
－ ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］は、１である。
Figure 2022545452000038
 － そうでない場合、以下が適用される。
－ ｍ［ｘ］［ｙ］＝ＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄＷ］［ｓｉｚｅＩｄＨ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］ （８－ＸＸＸ）
ｓｉｚｅＩｄＷをＬｏｇ２（ｎＴｂＷ）に設定する場合、ｓｉｚｅＩｄＨをＬｏｇ２（ｎＴｂＨ）に等しく設定し、ｍａｔｒｉｘＩｄを表７－１４に規定する。
－ 倍率ｌｓ［ｘ］［ｙ］は、以下のように導出される。
－ ｄｅｐ＿ｑｕａｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合、以下が適用される。
ｌｓ［ｘ］［ｙ］＝（ｍ［ｘ］［ｙ］＊ｌｅｖｅｌＳｃａｌｅ［（ｑＰ＋１）％６］）＜＜（（ｑＰ＋１）／６） （８－１０２６）
－ そうでない場合（ｄｅｐ＿ｑｕａｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい）、以下が適用される。
ｌｓ［ｘ］［ｙ］＝（ｍ［ｘ］［ｙ］＊ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］）＜＜（ｑＰ／６） （８－１０２７）
－ 値ｄｎｃ［ｘ］［ｙ］は、以下のように導出される。
ｄｎｃ［ｘ］［ｙ］＝ （８－１０２８）
（ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］［ｘ］［ｙ］＊ｌｓ［ｘ］［ｙ］＊ｒｅｃｔＮｏｒｍ＋ｂｄＯｆｆｓｅｔ）＞＞ｂｄＳｈｉｆｔ
－ スケーリングされた変換係数ｄ［ｘ］［ｙ］は、以下のように導出される。
ｄ［ｘ］［ｙ］＝Ｃｌｉｐ３（ＣｏｅｆｆＭｉｎ，ＣｏｅｆｆＭａｘ，ｄｎｃ［ｘ］［ｙ］） （８－１０２９）
５．５． 変換スキップフラグの意味論に関する実施形態＃５
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は、輝度変換ブロックに対して変換を適用するかどうかを指定する。配列インデックスｘ０，ｙ０は、ピクチャの左上輝度サンプルに対する、考慮される符号化ブロックの左上輝度サンプルの位置（ｘ０，ｙ０）を指定する。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］＝１は、輝度変換ブロックに変換を適用しないことを指定する。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］＝０は、輝度変換ブロックに変換を適用するかどうかの決定が他の構文要素に依存することを指定する。
Figure 2022545452000039
図１１は、映像処理装置１１００のブロック図である。装置１１００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置１１００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（モノのインターネット）受信機等により実施されてもよい。装置１１００は、１つ以上の処理装１１０２と、１つ以上のメモリ１１０４と、映像処理ハードウェア１１０６と、を含んでもよい。処理装置（単数または複数）１１０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（単数または複数）１１０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア１１０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
本発明の実施形態において、次の解決策を好適な解決策として実施することができる。
以下の解決策は、前章に記載された項目（例えば、項目１）に記載された追加の技術とともに実施されてもよい。
１．映像の映像ブロックの符号化表現と前記映像ブロックとの変換のために、符号化モード情報に基づいて、変換スキップモードが前記変換に対して有効化されているかどうかを判定すること（１２０２）と、判定することに基づいて、この変換を行う（１２０４）ことと、を含み、前記変換スキップモードにおいて、前記変換時に、前記映像ブロックを表す少なくともいくつかの係数に変換を適用することをスキップする、映像処理方法（例えば、図１２に示す方法１２００）。
２．ブロック差分パルス符号変調（ＢＤＰＣＭ）または量子化残差ＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）モードを示す符号化モード情報に起因して、変換スキップモードを有効にすると判定される、解決策１に記載の方法。
３．前記変換スキップモードを示す前記符号化表現におけるフラグは、構文解析されない、解決策１に記載の方法。
４．符号化表現における変換スキップモードを示すフラグは、構文解析から省略される、解決策１に記載の方法。
以下の解決策は、前章に記載された項目（例えば、項目２）に記載された追加の技術とともに実施されてもよい。
５．ブロック差分パルス符号変調（ＢＤＰＣＭ）又は量子化残差ＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）モードを変換に使用することによって、映像ブロックの符号化表現と映像ブロックとの変換のためにスケーリング行列を使用することを判定することと、前記スケーリング行列を使用して前記変換を行うこととを含み、このスケーリング行列は、この変換時にこの映像ブロックを表す少なくともいくつかの係数をスケーリングするために使用される、映像処理方法。
６．前記変換は、前記変換時に前記係数に適用される変換の数に依存する１つのモードに基づいて、前記スケーリング行列を適用することを含む、解決策５に記載の方法。
７．変換のためのブロック差分パルス符号変調（ＢＤＰＣＭ）又は量子化残差ＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）モードの使用に起因して、映像ブロックの符号化表現と映像ブロックとの変換のためにスケーリング行列の使用を無効化すると判定することと、前記スケーリング行列を使用して前記変換を行うこととを含み、スケーリング行列は、変換時に映像ブロックを表す少なくともいくつかの係数をスケーリングするために使用される、映像処理方法。
以下の解決策は、前章に記載された項目（例えば、項目３）に記載された追加の技術とともに実施されてもよい。
８．映像の映像ブロックの符号化表現と前記映像ブロックとの変換のために、変換スキップモードが前記変換に対して有効化されているかどうかによってインループフィルタの適用可能性を判定することと、この前記インループフィルタの適用可能性に基づいて、この変換を行うことと、を含み、前記変換スキップモードにおいて、前記変換時に、前記映像ブロックを表す少なくともいくつかの係数に変換を適用することをスキップする、映像処理方法。
９．前記インループフィルタは、非ブロック化フィルタを備える、解決策８に記載の方法。
１０．映像ブロックの変換スキップモードおよび隣接ブロックの別の変換スキップモードに基づいて、インループフィルタの強度を判定することをさらに含む、解決策８～９のいずれかに記載の方法。
１１．前記判定することは、前記映像ブロックのために前記変換スキップモードが無効化されているために、前記インループフィルタが適用可能でないことを判定することを含む、解決策８～９のいずれかに記載の方法。
以下の解決策は、前章に記載された項目（例えば、項目４および５）に記載された追加の技術とともに実施されてもよい。
１２．映像の映像ブロックとこの映像ブロックの符号化表現との変換のために、インター符号化およびイントラブロックコピー符号化に基づく変換のために同じスケーリング行列が選択されるように、スケーリング行列を選択することと、前記選択されたスケーリング行列を使用して前記変換を行うこととを含み、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用される、映像処理方法。
以下の解決策は、前章に記載された項目（例えば、項目６）に記載された追加の技術とともに実施されてもよい。
１３．映像の映像ブロックと前記映像の符号化表現との変換のために、前記変換のために選択された変換行列に基づいて、スケーリング行列を選択することと、前記選択されたスケーリング行列を使用して前記変換を行うこととを含み、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、前記変換行列は、前記変換時に前記映像ブロックの少なくともいくつかの係数を変換するために使用される、映像処理装置。
１４．前記スケーリング行列を選択することは、前記映像ブロックの変換がサブブロック符号化モードを使用するかどうかに基づいている、解決策１３に記載の方法。
１５．前記サブブロック符号化モードは、アフィン符号化モードである、解決策１４に記載の方法。
１６．アフィン符号化モードのためのスケーリング行列は、アフィン符号化モードを使用しない別の映像ブロックのための別のスケーリング行列とは異なる、解決策１５に記載の方法。
以下の解決策は、前章に記載された項目（例えば、項目７）に記載された追加の技術とともに実施されてもよい。
１７．映像の映像ブロックと前記映像ブロックの符号化表現との変換のために、前記変換のために選択されたセカンダリ変換行列に基づいて、スケーリング行列を選択することと、前記選択されたスケーリング行列を使用して前記変換を行うこととを含み、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、前記セカンダリ変換行列は、前記変換時に前記映像ブロックの少なくともいくつかの残差係数を変換するために使用される、映像処理方法。
１８．前記セカンダリ変換行列は、前記映像ブロックのＭ×Ｎ左上部分に適用され、前記スケーリング行列は、前記映像ブロックのＭ×Ｎ左上部分よりも大きい部分に適用される、解決策１７に記載の方法。
１９．前記セカンダリ変換行列は、前記映像ブロックのＭ×Ｎ左上部分に適用され、前記スケーリング行列は、前記映像ブロックのＭ×Ｎ左上部分のみに適用される、解決策１７に記載の方法。
２０．前記符号化表現における構文要素は、前記スケーリング行列を示す、解決策１７～１９のいずれかに記載の方法。
以下の解決策は、前章に記載された項目（例えば、項目８）に記載された追加の技術とともに実施されてもよい。
２１．非正方形の形状を有する映像ブロックに対して、映像ブロックと映像ブロックの符号化表現との変換で用いるスケーリング行列を判定することであって、前記符号化表現における構文要素が前記スケーリング行列を信号通知する、判定することと、前記スケーリング行列に基づいて前記変換を行うことと、を含み、前記スケーリング行列は、前記変換時に前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用される、映像処理方法。
２２．前記構文要素は、前の正方形ブロックのスケーリング行列から前記スケーリング行列を予測符号化する、解決策２１に記載の方法。
以下の解決策は、前章に記載された項目（例えば、項目９）に記載された追加の技術とともに実施されてもよい。
２３．映像ブロックの符号化表現と映像ブロックとの変換時に、スケーリング行列を部分的に適用することを判定することと、前記映像ブロックにおいて、第１の位置の集合に前記スケーリング行列を適用し、残りの位置では前記スケーリング行列を無効にするように、前記スケーリング行列を部分的に適用することにより、変換を行うこととを含む、映像処理方法。
２４．前記第１の位置の集合は、前記映像ブロックの左上のＭ＊Ｎ個の位置を含む、解決策２３に記載の方法。
２５．前記第１の位置の集合は、前記映像ブロックの上部のＭ＊Ｎ個の位置を含む、解決策２３に記載の方法。
２６．前記第１の位置の集合は、前記映像ブロックの左のＭ＊Ｎ個の位置を含む、解決策２３に記載の方法。
以下の解決策は、前章に記載された項目（例えば、項目１０および１１）に記載された追加の技術とともに実施されてもよい。
２７．映像ブロックの符号化表現と前記映像ブロックとの変換時にスケーリング行列が適用されることを判定することと、
前記スケーリング行列に基づいて、前記変換を行うことと、を含む方法であって、
前記符号化表現は前記スケーリング行列の要素の数を信号通知し、前記数は、前記変換においてゼロ化する係数の適用に依存する、映像処理方法。
２８．前記変換は、前記映像ブロックの左上Ｍ×Ｎ個の位置を除くすべての位置をゼロ化することを含み、数がＭ／８＊Ｎ／８である、解決策２７に記載の方法。
以下の解決策は、前章に記載された項目（例えば、項目１１）に記載された追加の技術とともに実施されてもよい。
２９．前記数は、変換時に使用される変換行列に依存する、解決策２７～２８に記載の方法。
３０．前記変換行列は、サイズＫ×Ｌであり、上位Ｍ×Ｎ個の係数のみがゼロ化されない、解決策２９に記載の方法。
３１．前記スケーリング行列は、ＫまたはＬから判定される倍数でサブサンプリングすることによって適用される、解決策２７～３０のいずれかに記載の方法。
以下の解決策は、前章に記載された項目（例えば、項目１２）に記載された追加の技術とともに実施されてもよい。
３２．映像ブロックと前記映像ブロックの符号化表現との変換時に、特定のタイプの映像ブロックのサイズに基づいて使用する単一の量子化行列を判定することと、この量子化行列を使用して変換を行うこととを含む、映像処理方法。
３３．前記映像ブロックのサイズは、Ｗ×Ｈよりも小さく、ＷおよびＨは整数である、解決策３２に記載の方法。
３４．前記映像ブロックの幅が閾値よりも小さい、解決策３２～３３のいずれかに記載の方法。
３５．前記映像ブロックの高さが閾値よりも小さい、解決策３２～３３のいずれかに記載の方法。
３６．前記量子化行列は、量子化値に影響を及ぼさない恒等量子化行列である、解決策３２に記載の方法。
３７．前記変換は、前記映像を前記符号化表現に符号化することを含む、解決策１～３６のいずれかに記載の方法。
３８．前記変換は、前記映像の画素値を生成すべく前記符号化表現を復号化することを含む、解決策１～３６のいずれかに記載の方法。
３９．解決策１～３８の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像復号化装置。
４０．解決策１～３８の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像符号化装置。
４１．コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、処理装置により実行されると、前記処理装置に、解決策１～３８のいずれかに記載の方法を実装させるコンピュータプログラム製品。
４２．本明細書に記載の方法、装置またはシステム。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、１つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて無効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。
図１５は、本開示の技法を利用し得る例示的な映像符号化システム１００を示すブロック図である。図１５に示すように、映像符号化システム１００は、送信元デバイス１１０と、送信先デバイス１２０と、を備えてもよい。送信元デバイス１１０は、映像符号化機器とも称され得る符号化映像データを生成する。送信先デバイス１２０は、送信元デバイス１１０によって生成された、映像復号化デバイスと呼ばれ得る符号化映像データを復号し得る。送信元デバイス１１０は、映像ソース１１２と、映像エンコーダ１１４と、入出力（Ｉ／Ｏ）インターフェース１１６と、を備えてもよい。
映像ソース１１２は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、１つ以上のピクチャを含んでもよい。映像エンコーダ１１４は、映像ソース１１２からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データの符号化表現を形成するビットシーケンスを含んでもよい。ビットストリームは、符号化ピクチャおよび関連付けられたデータを含んでもよい。符号化ピクチャは、ピクチャの符号化表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変復調器（モデム）および／または送信機を含んでもよい。符号化された映像データは、ネットワーク１３０ａを介して、Ｉ／Ｏインターフェース１１６を介して直接送信先デバイス１２０に送信されることができる。符号化された映像データは、送信先デバイス１２０がアクセスするために、記憶媒体／サーバ１３０ｂに記憶してもよい。
送信先デバイス１２０は、Ｉ／Ｏインターフェース１２６、映像デコーダ１２４、および表示デバイス１２２を含んでもよい。
Ｉ／Ｏインターフェース１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインターフェース１２６は、送信元デバイス１１０または記憶媒体／サーバ１３０ｂから符号化映像データを取得してもよい。映像デコーダ１２４は、符号化された映像データを復号化してもよい。表示デバイス１２２は、復号化した映像データをユーザに表示してもよい。表示デバイス１２２は、送信先デバイス１２０と一体化されてもよく、または外部表示デバイスとインターフェースするように構成される送信先デバイス１２０の外部にあってもよい。
映像エンコーダ１１４および映像デコーダ１２４は、高効率映像符号化（ＨＥＶＣ）規格、汎用映像符号化（ＶＶＶＭ）規格、および他の現在のおよび／またはさらなる規格等の映像圧縮規格に従って動作してもよい。
図１６は、映像エンコーダ２００の一例を示すブロック図であり、この映像エンコーダ２００は、図１５に示されるシステム１００における映像エンコーダ１１４であってもよい。
映像エンコーダ２００は、本開示の技術のいずれか又は全部を実行するように構成されてもよい。図１６の実施例において、映像エンコーダ２００は、複数の機能モジュールを備える。本開示で説明される技法は、映像エンコーダ２００の様々なコンポーネント間で共有され得る。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
映像エンコーダ２００の機能モジュールは、分割ユニット２０１と、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５およびイントラ予測ユニット２０６を含んでもよい予測ユニット２０２と、残差生成ユニット２０７と、変換ユニット２０８と、量子化ユニット２０９と、逆量子化ユニット２１０と、逆変換ユニット２１１と、再構成ユニット２１２と、バッファ２１３と、エントロピー符号化ユニット２１４とを含んでもよい。
他の例において、映像エンコーダ２００は、より多くの、より少ない、又は異なる機能コンポーネントを含んでもよい。一例において、予測ユニット２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいて予測（ｐｒｅｄｉｃａｔｉｏｎ）を行うことができる。
さらに、動き推定ユニット２０４および動き補償ユニット２０５などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図１６の例においては別々に表されている。
分割ユニット２０１は、１つのピクチャを１つ以上の映像ブロックに分割することができる。映像エンコーダ２００および映像デコーダ３００は、様々な映像ブロックサイズをサポートしてもよい。
モード選択ユニット２０３は、例えば、エラー結果に基づいて、イントラ又はインターのいずれかの符号化モードの１つを選択し、得られたイントラ又はインター符号化ブロックを、残差生成ユニット２０７に供給して残差ブロックデータを生成し、また再構成ユニット２１２に供給して参照ピクチャとして符号化ブロックを再構成してもよい。本発明の実施例において、モード選択ユニット２０３は、インター予測信号およびイントラ予測信号に基づいて予測を行うイントラおよびインター予測（ＣＩＩＰ）モードの組み合わせを選択してもよい。また、モード選択ユニット２０３は、インター予測の場合、ブロックのために動きベクトルの解像度（例えば、サブピクセル又は整数ピクセル精度）を選択してもよい。
現在の映像ブロックに対してインター予測を実行するために、動き推定ユニット２０４は、バッファ２１３からの１つ以上の参照フレームと現在の映像ブロックとを比較することで、現在の映像ブロックのために動き情報を生成してもよい。動き補償ユニット２０５は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ２１３からのピクチャの動き情報および復号化サンプルに基づいて、現在の映像ブロックのために予測映像ブロックを判定してもよい。
動き推定ユニット２０４および動き補償ユニット２０５は、例えば、現在の映像ブロックがＩスライスであるか、Ｐスライスであるか、又はＢスライスであるかに基づいて、現在の映像ブロックに対して異なる演算を実行してもよい。
いくつかの例において、動き推定ユニット２０４は、現在の映像ブロックに対して単方向予測を実行し、動き推定ユニット２０４は、現在の映像ブロックに対して、リスト０又はリスト１の参照ピクチャを検索して、参照映像ブロックを求めてもよい。そして、動き推定ユニット２０４は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト０またはリスト１における参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット２０４は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。
他の例において、動き推定ユニット２０４は、現在の映像ブロックを双方向予測してもよく、動き推定ユニット２０４は、リスト０における参照ピクチャの中から現在の映像ブロックために参照映像ブロックを検索してもよく、また、リスト１における参照ピクチャの中から現在の映像ブロックのために別の参照映像ブロックを検索してもよい。そして、動き推定ユニット２０４は、参照映像ブロックを含むリスト０およびリスト１における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット２０４は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。
いくつかの例において、動き推定ユニット２０４は、デコーダの復号化処理のために、動き情報のフルセットを出力してもよい。
いくつかの例では、動き推定ユニット２０４は、現在の映像のために動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット２０４は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していると判定してもよい。
一例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ３００に示す値を示してもよい。
別の例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差（ＭＶＤ）とを識別してもよい。動きベクトルの差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ３００は、指示された映像ブロックの動きベクトルと、動きベクトルの差分を用いて、現在の映像ブロックの動きベクトルを判定してもよい。
上述したように、映像エンコーダ２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ２００によって実装され得る予測信号通知技法の２つの例は、高度動きベクトル予測（ＡＭＶＰ）およびマージモード信号通知を含む。
イントラ予測ユニット２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット２０６が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット２０６は、同じピクチャにおける他の映像ブロックの復号化されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。
残差生成ユニット２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって（例えば、マイナス符号によって示されている）、現在の映像ブロックのために残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。
他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成ユニット２０７は、減算演算を実行しなくてもよい。
変換処理ユニット２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１つ以上の変換を適用することによって、現在の映像ブロックのために１つ以上の変換係数映像ブロックを生成してもよい。
変換処理ユニット２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット２０９は、現在の映像ブロックに関連付けられた１つ以上の量子化パラメータ（ＱＰ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
逆量子化ユニット２１０および逆変換ユニット２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット２１２は、予測ユニット２０２が生成した１つ以上の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを加え、現在のブロックに関連付けられた再構成映像ブロックを生成し、バッファ２１３に記憶することができる。
再構成ユニット２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作を行ってもよい。
エントロピー符号化ユニット２１４は、映像エンコーダ２００の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット２１４は、データを受信すると、１つ以上のエントロピー符号化演算を行い、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力してもよい。
図１３は、映像デコーダ３００の一例を示すブロック図であり、この映像デコーダ３００は、図１５に示されるシステム１００における映像デコーダ１１４であってもよい。
映像デコーダ３００は、本開示の技術のいずれか又は全部を実行するように構成されてもよい。図１３の実施例において、映像デコーダ３００は、複数の機能モジュールを備える。本開示で説明される技法は、映像デコーダ３００の様々なモジュール間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
図１３の実施例において、映像デコーダ３００は、エントロピー復号化ユニット３０１、動き補償ユニット３０２、イントラ予測ユニット３０３、逆量子化ユニット３０４、逆変換ユニット３０５、および再構成ユニット３０６、並びにバッファ３０７を備える。映像デコーダ３００は、いくつかの例では、映像エンコーダ２００（図１６）に関して説明した符号化パスとほぼ逆の復号化パスを行ってもよい。
エントロピー復号化ユニット３０１は、符号化ビットストリームを取り出す。符号化ビットストリームは、エントロピー符号化された映像データ（例えば、映像データの符号化ブロック）を含んでもよい。エントロピー復号化ユニット３０１は、エントロピー符号化された映像データを復号化し、エントロピー復号された映像データから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット３０２は、例えば、ＡＭＶＰおよびマージモードを実行することで、このような情報を判定してもよい。
動き補償ユニット３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を実行する。構文要素には、サブピクセルの精度で使用される補間フィルタのための識別子が含まれてもよい。
動き補償ユニット３０２は、映像ブロックの符号化中に映像エンコーダ２０によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間値を計算してもよい。動き補償ユニット３０２は、受信した構文情報に基づいて、映像エンコーダ２００が使用する補間フィルタを決定し、この補間フィルタを使用して予測ブロックを生成してもよい。
動き補償ユニット３０２は、構文情報の一部を用いて、符号化された映像シーケンスのフレーム（複数可）および／またはスライス（複数可）を符号化するために使用されるブロックのサイズ、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、インター符号化ブロック間の各１つ以上の参照フレーム（および参照フレームリスト）、および符号化された映像シーケンスを復号化するための他の情報を決定してもよい。
イントラ予測ユニット３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット３０３は、ビットストリームに提供され、エントロピー復号化ユニット３０１によって復号された量子化された映像ブロック係数を逆量子化（すなわち、逆量子化）する。逆変換ユニット３０３は、逆変換を適用する。
再構成ユニット３０６は、残差ブロックと、動き補償ユニット２０２又はイントラ予測ユニット３０３によって生成された対応する予測ブロックとを合計し、復号化されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号化されたブロックをフィルタリングするために非ブロック化フィルタを適用してもよい。復号化された映像ブロックは、バッファ３０７に記憶され、バッファ３０７は、後続の動き補償／イントラ予測のために参照ブロックを提供し、且つ表示装置に表示するために復号化された映像を生成する。
本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つの映像ブロックは、変換および符号化された誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文フィールドを符号化表現に含めるか、または符号化表現から除外することによって、それに応じて符号化表現を生成してもよい。
図１４は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム２０００を示すブロック図である。様々な実装形態は、システム２０００のモジュールの一部又は全部を含んでもよい。システム２０００は、映像コンテンツを受信するための入力ユニット２００２を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、８又は１０ビットのマルチコンポーネント画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット２００２は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。
システム２０００は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化コンポーネント２００４を含んでもよい。符号化コンポーネント２００４は、入力ユニット２００２からの映像の平均ビットレートを符号化コンポーネント２００４の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化コンポーネント２００４の出力は、コンポーネント２００６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット２００２において受信された、記憶された又は通信された映像のビットストリーム（又は符号化）表現は、コンポーネント２００８によって使用されて、表示インターフェース２０１０に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張（映像展開）と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダおよびそれに対応する、復号化の結果を逆にする復号化ツール又は動作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースまたは表示インターフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理および／又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
図１７は、映像処理の方法の一例１７００を示すフローチャートである。この方法１７００は、映像の映像ブロックと映像の符号化表現との変換を行うこと（１７０２）を含み、前記符号化表現は、フォーマット規則に準拠しており、前記フォーマット規則が、前記映像ブロックへの変換スキップモードの適用可能性が前記映像ブロックの符号化条件によって判定されることを規定し、前記フォーマット規則は、前記変換スキップモードの利用可能性を表す構文要素が前記符号化表現から省略されており、前記変換スキップモードが、前記符号化表現への符号化前に順方向変換を少なくともいくつかの係数に適用することをスキップすることと、復号化時に、前記符号化表現からの復号化前に逆方向変換を少なくともいくつかの係数に適用することをスキップすることと、を含む。
図１８は、映像処理の方法の一例１８００を示すフローチャートである。この方法１８００は、映像の２つの隣接する映像ブロックと前記映像の符号化表現との変換のために、順方向変換と逆方向変換のどちらを変換に使用するかによって、インループフィルタと再構成後フィルタのどちらを変換に使用するかを判定すること（１８０２）を含み、前記順方向変換は、前記符号化表現に符号化する前に前記順方向変換を少なくともいくつかの係数に適用することをスキップすることと、復号化時に、前記符号化表現から復号化する前に前記逆方向変換を少なくともいくつかの係数に適用することをスキップすることと、前記インループフィルタ又は再構成後フィルタの使用に基づいて前記変換を行うこと（１８０４）と、を含む。
図１９は、映像処理の方法の一例１９００を示すフローチャートである。この方法１９００は、映像の映像ブロックと映像の符号化表現との変換のために、前記映像ブロックの前記変換に使用されているブロック差分パルス符号変調（ＢＤＰＣＭ）符号化ツールまたは量子化残差ＢＤＰＣＭ（ＱＲーＢＤＰＣＭ）符号化ツールによりスケーリングツールを使用して行うことを判定すること（１９０２）と、スケーリングツールを使用して変換を行うこと（１９０４）と、を含み、前記符号化表現における構文要素は、前記スケーリングツールの使用を示し、前記スケーリングツールの使用は、符号化時に映像ブロックを表す少なくともいくつかの係数をスケーリングすること、又は復号化時に符号化表現から少なくともいくつかの係数をデスケーリングすることを含む。
図２０は、映像処理の方法の一例２０００を示すフローチャートである。この方法２０００は、映像の映像ブロックと映像の符号化表現との変換のために、映像ブロックの変換のためのブロック差分パルス符号変調（ＢＤＰＣＭ）符号化ツールまたは量子化残差ＢＤＰＣＭ（ＱＲーＢＤＰＣＭ）符号化ツールに起因して、スケーリングツールの使用を無効化すると判定すること（２００２）と、スケーリングツールを使用せずに変換を行うこと（２００４）とを含み、前記スケーリングツールの使用は、符号化時に映像ブロックを表す少なくともいくつかの係数をスケーリングすること、又は復号化時に符号化表現から少なくともいくつかの係数をデスケーリングすることを含む。
図２１は、映像処理の方法の一例２１００を示すフローチャートである。この方法２１００は、映像の映像ブロックと映像の符号化表現との変換のために、前記変換のために選択された変換行列に基づいてスケーリング行列を選択すること（２１０２）であって、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、前記変換行列は、前記変換時に前記映像ブロックの少なくともいくつかの係数を変換するために使用される、選択することと、スケーリング行列を使用して変換を行うこと（２１０４）と、を含む。
図２２は、映像処理の方法の一例２２００を示すフローチャートである。この方法２２００は、規則に従って、映像の映像ブロックの一部にセカンダリ変換行列が適用されているかどうかに基づいて、スケーリング行列を適用するかどうかを判定すること（２２０２）であって、スケーリング行列は、映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、セカンダリ変換行列は、変換時に映像ブロックの部分の少なくともいくつかの残差係数を変換するために使用される、判定することと、選択されたスケーリング行列を使用して、映像の映像ブロックと映像のビットストリーム表現との変換を行うこと（２２０４）と、を含む。
図２３は、映像処理の方法の一例２３００を示すフローチャートである。この方法２３００は、非正方形の形状を有する映像ブロックに対して、映像の前記映像ブロックと前記映像の符号化表現との変換に使用するためのスケーリング行列を判定すること（２３０２）であって、前記符号化表現における構文要素が、前記スケーリング行列を信号通知し、前記スケーリング行列は、前記変換時に前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用される、判定することと、
前記スケーリング行列に基づいて前記変換を行うこと（２３０４）と、を含む。
図２４は、映像処理の方法の一例２４００を示すフローチャートである。この方法２４００は、映像の映像ブロックと前記映像の符号化表現との変換を行うこと（２４０２）を含む映像処理方法であって、
前記映像ブロックは、規則に基づいて、前記変換時に前記スケーリング行列が適用される第１の数の位置と、前記変換時にスケーリング行列が適用されない第２の数の位置とを含む。
図２５は、映像処理の方法の一例２５００を示すフローチャートである。この方法２５００は、映像の映像ブロックと前記映像の符号化表現との変換時にスケーリング行列が適用されることを判定すること（２５０２）と、
前記スケーリング行列に基づいて、前記変換を行うことと、を含む方法であって、
前記符号化表現は前記スケーリング行列の要素の数を示し、前記数は、ゼロ化する係数を前記映像ブロックの係数に適用するかどうかに依存する。
図２６は、映像処理の方法の一例２６００を示すフローチャートである。この方法２６００は、規則に従って、映像の映像ブロックと前記映像の符号化表現との変換を行うこと（２６０２）を含む映像処理方法であって、
前記映像ブロックは、前記映像ブロックの係数を変換すべくＫ×Ｌ変換行列を適用した後に、左上のＭ×Ｎ変換係数を除いたすべての変換係数をゼロ化した後の前記符号化表現で表現され、
前記符号化表現は、前記ゼロ化したことに対応する位置にあるスケーリング行列の要素の信号通知を排除するように構成され、
前記スケーリング行列は、前記変換係数をスケーリングするために使用される。
図２７は、映像処理の方法の一例２７００を示すフローチャートである。この方法２７００は、映像の映像ブロックと前記映像の符号化表現との変換時に、前記映像ブロックのサイズに基づいて単一の量子化行列を使用するかどうかを、規則に基づいて判定すること（２７０２）であって、前記サイズを有するすべての映像ブロックが前記単一の量子化行列を使用する、判定することと、
前記量子化行列を使用して前記変換を行うことと、を含む。
以下の３つのセクションは、番号が付けられた例示的な映像処理技術を説明する。
セクションＡ：
１．映像の映像ブロックとこの映像の符号化表現との変換を行うことを含み、前記符号化表現は、フォーマット規則に準拠しており、前記フォーマット規則が、前記映像ブロックへの変換スキップモードの適用可能性が前記映像ブロックの符号化条件によって判定されることを規定し、前記フォーマット規則は、前記変換スキップモードの利用可能性を表す構文要素が前記符号化表現から省略されており、前記変換スキップモードが、前記符号化表現に符号化する前に順方向変換を少なくともいくつかの係数に適用することをスキップすることと、復号化時に、前記符号化表現から復号化する前に逆方向変換を少なくともいくつかの係数に適用することをスキップすることと、を含む映像処理方法。
２．ブロック差分パルス符号変調（ＢＤＰＣＭ）または量子化残差ＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）が、映像ブロックに対して使用されていることを示す映像ブロックの符号化条件に起因して、変換スキップモードを有効化すると判定される、実施例１の方法。
３．非ブロック差分パルス符号変調（非ＢＤＰＣＭ）または非量子化残差ＢＤＰＣＭ（非ＱＲ－ＢＤＰＣＭ）が、映像ブロックに対して使用されていることを示す映像ブロックの符号化条件に起因して、変換スキップモードを無効化すると判定される、実施例１の方法。
４．映像の２つの隣接する映像ブロックと前記映像の符号化表現との変換のために、順方向変換と逆変換のどちらを変換に使用するかによって、インループフィルタと再構成後フィルタのどちらを変換に使用するかを判定することを含み、前記順方向変換は、前記符号化表現に符号化する前に前記順方向変換を少なくともいくつかの係数に適用することをスキップすることと、復号化時に、前記符号化表現から復号化する前に前記逆方向変換を少なくともいくつかの係数に適用することをスキップすることと、前記インループフィルタ又は再構成後フィルタの使用に基づいて前記変換を行うことと、を含む、映像処理方法。
５．前記順方向変換または逆方向変換は、変換スキップモード、またはブロック差分パルス符号変調（ＢＤＰＣＭ）、または量子化残差ＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）、またはパレットモードを含み、前記２つの隣接する映像ブロックへのインループフィルタまたは再構成後フィルタの使用は、前記２つの隣接する映像ブロックに対して、変換スキップモード、またはブロック差分パルス符号変調（ＢＤＰＣＭ）、または量子化残差ＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）、またはパレットモードが使用されるかに基づく、実施例４に記載の方法。
６．前記順方向変換または逆方向変換は、変換スキップモードを含み、境界フィルタリング強度の導出は、２つの隣接する映像ブロックの一方または両方に対して前記変換スキップモードが有効化されるかどうかを示す１つ以上の構文要素に依存する、実施例４に記載の方法。
７．前記順方向変換または逆方向変換は、変換スキップモードを含み、２つの隣接する映像ブロックに位置するサンプルが前記変換スキップモードで符号化されることに応答して、非ブロック化フィルタ、サンプル適応オフセット、適応ループフィルタ、または前記再構成後フィルタを無効化する、実施例４に記載の方法。
８．前記順方向変換または逆方向変換は、変換スキップモードを含み、２つの隣接する映像ブロックに対して前記変換スキップモードが有効化されることに応答して、前記インループフィルタおよび前記再構成後フィルタは、２つの隣接する映像ブロック間のエッジに適用されない、実施例７に記載の方法。
９．前記順方向変換または逆方向変換は、変換スキップモードを含み、２つの隣接する映像ブロックのうちの１つに対して前記変換スキップモードが有効化されることに応答して、前記インループフィルタおよび前記再構成後フィルタは、２つの隣接する映像ブロック間のサンプルに適用されない、実施例７に記載の方法。
１０．前記順方向変換または逆方向変換は、変換スキップモードを含み、２つの隣接する映像ブロックに対して前記変換スキップモードが有効化されることに応答して、インループフィルタまたは再構成後フィルタ以外のフィルタを使用して前記サンプルをフィルタリングする、実施例４に記載の方法。
１１．前記フィルタは、より平滑なフィルタを備える、実施例１０に記載の方法。
１２．前記映像は、パルス符号変調（ＰＣＭ）またはブロック差分パルス符号変調（ＢＤＰＣＭ）若しくは量子化残差ＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）で符号化された映像ブロック、あるいは映像ブロックに順方向変換または逆変換を適用しない別のタイプのモードで符号化される映像ブロックを備え、前記インループフィルタまたは再構成後フィルタを映像ブロックの変換に使用するかどうかは、前記２つの隣接する映像ブロックに対して変換スキップモードを有効化する時に、前記２つの隣接する映像ブロックに対するものと同様にして判定される、実施例４に記載の方法。
１３．前記インループフィルタは、非ブロック化フィルタを備える、実施例４～１２のいずれかに記載の方法。
１４．前記再構成後フィルタは、双方向フィルタまたは拡散フィルタを備える、実施例４～１２のいずれかに記載の方法。
１５．前記変換は、前記映像ブロックを前記符号化表現に符号化することを含む、実施例１～１４のいずれかに記載の方法。
１６．前記変換は、前記映像ブロックの画素値を生成すべく前記符号化表現を復号化することを含む、実施例１～１４のいずれかに記載の方法。
１７．実施例１～１６の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像復号化装置。
１８．コンピュータコードが記憶されたコンピュータプログラム製品において、前記コードが処理装置により実行されると、前記処理装置は、実施例１～１７のいずれかに記載の方法を実装する。
セクションＢ：
１．映像の映像ブロックと映像の符号化表現との変換のために、前記映像ブロックの符号化モードに基づいてスケーリングツールの倍数を判定することと、スケーリングツールを使用して変換を行うことと、を含み、前記スケーリングツールの使用は、符号化時にこの映像ブロックを表す少なくともいくつかの係数をスケーリングすること、又は復号化時にこの符号化表現から少なくともいくつかの係数をデスケーリングすることを含む、映像処理方法。
２．映像ブロックの変換のために使用されているブロック差分パルス符号変調（ＢＤＰＣＭ）符号化ツールまたは量子化残差ＢＤＰＣＭ（ＱＲ－ＢＤＰＣＭ）符号化ツールに応答して、予め定義された値に基づいてスケーリングツールの倍数を判定することをさらに含む、実施例１に記載の方法。
３．ＢＤＰＣＭ符号化ツールまたはＱＲ－ＢＤＰＣＭ符号化ツールが適用される映像ブロックに使用されるスケーリングツールの倍数は、変換スキップモードが適用される映像ブロックに使用されるものと同じであり、変換スキップモードは、符号化表現への符号化前に少なくともいくつかの係数に順方向変換を適用することをスキップすること、または復号化時に、符号化表現からの復号化前に少なくともいくつかの係数に逆方向変換を適用することをスキップすることを含む、実施例２に記載の方法。
４．前記変換は、前記変換時に前記映像ブロックの少なくともいくつかの係数に適用される１つ以上の変換に基づいて、前記スケーリングツールの倍数を判定することを含む、実施例２に記載の方法。
５．前記映像ブロックの前記少なくともいくつかの係数に適用される前記１つ以上の変換に応答して、前記変換に対して前記スケーリングツールを許可する、実施例４に記載の方法。
６．映像ブロックの少なくともいくつかの係数に適用される１つ以上の変換に応答して、スケーリングツールの倍数を判定するための技法が、イントラ符号化ブロックに使用される技法と同じである、実施例４に記載の方法。
７．イントラブロックコピーモードおよびインターモードを使用して符号化される映像の映像ブロックに対して、同じ方法でスケーリング行列の倍数を判定する、実施例１に記載の方法。
８．映像の映像ブロックと映像の符号化表現との変換のために、前記映像ブロックの前記変換のためのブロック差分パルス符号変調（ＢＤＰＣＭ）符号化ツールまたは量子化残差ＢＤＰＣＭ（ＱＲーＢＤＰＣＭ）符号化ツールに起因して、スケーリングツールの使用を無効化すると判定することと、スケーリングツールを使用せずに変換を行うこととを含み、前記スケーリングツールの使用は、符号化時に映像ブロックを表す少なくともいくつかの係数をスケーリングすること、又は復号化時に符号化表現から少なくともいくつかの係数をデスケーリングすることを含む、映像処理方法。
９．映像の映像ブロックと映像の符号化表現との変換のために、前記変換のために選択された変換行列に基づいてスケーリング行列を選択することであって、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、前記変換行列は、前記変換時に前記映像ブロックの少なくともいくつかの係数を変換するために使用される、選択することと、スケーリング行列を使用して変換を行うことと、を含む、映像処理方法。
１０．前記スケーリング行列を選択することは、前記映像ブロックの変換がデフォルト変換モードを使用するかどうかに基づいている、実施例９に記載の方法。
１１．前記デフォルト変換モードは、離散コサイン変換２（ＤＣＴ２）を含む、実施例１０に記載の方法。
１２．前記スケーリング行列は、複数の変換行列に対して別個に信号通知される、実施例９に記載の方法。
１３．前記スケーリング行列を選択することは、前記映像ブロックの動き情報に基づく、実施例９に記載の方法。
１５．前記スケーリング行列を選択することは、前記映像ブロックの変換がサブブロック符号化モードを使用するかどうかに基づいている、実施例１３に記載の方法。
１５．前記サブブロック符号化モードは、アフィン符号化モードを含む、実施例１４に記載の方法。
１６．アフィン符号化モードのためのスケーリング行列が、非アフィン符号化モードを使用する変換を行う別の映像ブロックのためのスケーリング行列とは異なるように信号通知される、実施例１５に記載の方法。
１７．前記スケーリング行列を選択することは、前記映像ブロックがアフィンイントラ予測モードで符号化されているかどうかに基づいている、実施例１３に記載の方法。
１８．前記変換は、前記映像ブロックまたは前記映像ブロックを前記符号化表現に符号化することを含む、実施例１～１７のいずれかに記載の方法。
１９．前記変換は、前記符号化表現を復号化して、前記映像ブロックまたは前記映像ブロックの画素値を生成することを含む、実施例１～１７のいずれかに記載の方法。
２０．実施例１～１９の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像復号化装置。
２１．実施例１～１９の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像符号化装置。
２２．コンピュータコードが記憶されたコンピュータプログラム製品において、前記コードが処理装置により実行されると、前記処理装置は、実施例１～１９のいずれかに記載の方法を実装する。
セクションＣ：
１．規則に従って、映像の映像ブロックの一部にセカンダリ変換行列が適用されているかどうかに基づいて、スケーリング行列を適用するかどうかを判定することであって、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、前記セカンダリ変換行列は、変換時に前記映像ブロックの前記部分の少なくともいくつかの残差係数を変換するために使用される、判定することと、
選択された前記スケーリング行列を使用して、前記映像の前記映像ブロックと前記映像のビットストリーム表現との変換を行うことと、を含む映像処理方法。
２．前記規則は、Ｋ×Ｌ変換ブロックサイズを含む前記映像ブロックのＭ×Ｎの左上部分に適用された前記セカンダリ変換行列に呼応して、前記スケーリング行列が前記映像ブロックの前記Ｍ×Ｎの左上部分に適用されることを規定する、実施例１に記載の方法。
３．前記スケーリング行列は、前記ビットストリーム表現で信号通知される、実施例１に記載の方法。
４．前記スケーリング行列は、前記セカンダリ変換行列に対して、または縮小セカンダリ変換に対して、または回転変換に対して、タイルグループヘッダ、スライドヘッダ、ピクチャパラメータセット（ＰＰＳ）、映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）で信号通知される、実施例３に記載の方法。
５．前記ビットストリーム表現は、前記スケーリング行列を適用するかどうかを示す第１の構文要素を含み、前記ビットストリーム表現は、前記セカンダリ変換行列を適用するかどうかを示す第２の構文要素を含む、実施例１に記載の方法。
６．前記規則は、前記セカンダリ変換行列を適用しない前記映像ブロックの部分にのみ前記スケーリング行列が適用されることを規定する、実施例１に記載の方法。
７．前記規則は、前記セカンダリ変換行列を適用する前記映像ブロックのＭ×Ｎの左上部分を除いた部分に前記スケーリング行列が適用されることを規定する、実施例１に記載の方法。
８．前記規則は、前記セカンダリ変換行列を適用する前記映像ブロックの部分のみに前記スケーリング行列が適用されることを規定する、実施例１に記載の方法。
９．非正方形の形状を有する映像ブロックに対して、映像の前記映像ブロックと前記映像の符号化表現との変換に使用するためのスケーリング行列を判定することであって、前記符号化表現における構文要素が、前記スケーリング行列を信号通知し、前記スケーリング行列は、前記変換時に前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用される、判定することと、
前記スケーリング行列に基づいて前記変換を行うことと、を含む映像処理方法。
１０．前記構文要素は、前記映像の前の正方形ブロックの別のスケーリング行列から前記スケーリング行列を予測符号化する、実施例９に記載の方法。
１１．映像の映像ブロックと前記映像の符号化表現との変換を行うことを含む映像処理方法であって、
前記映像ブロックは、規則に基づいて、前記変換時に前記スケーリング行列が適用される第１の数の位置と、前記変換時にスケーリング行列が適用されない第２の数の位置とを含む、映像処理方法。
１２．前記第１の数の位置は、前記映像ブロックの左上のＭ＊Ｎ個の位置を含み、前記映像ブロックは、Ｍ＊Ｎ個よりも多い位置を含む、実施例１１に記載の方法。
１３．前記第１の数の位置は、前記映像ブロックの上部のＭ＊Ｎ個の位置を含み、前記映像ブロックは、Ｍ＊Ｎ個よりも多い位置を含む、実施例１１に記載の方法。
１４．前記第１の数の位置は、前記映像ブロックの左のＭ＊Ｎ個の位置を含み、前記映像ブロックは、Ｍ＊Ｎ個よりも多い位置を含む、実施例１１に記載の方法。
１５．映像の映像ブロックと前記映像の符号化表現との変換時にスケーリング行列が適用されることを判定することと、
前記スケーリング行列に基づいて、前記変換を行うことと、を含む映像処理方法であって、
前記符号化表現は前記スケーリング行列の要素の数を示し、前記数は、ゼロ化する係数を前記映像ブロックの係数に適用するかどうかに依存する、映像処理方法。
１６．６４×６４変換に対して、前記変換は、前記映像ブロックの左上のＭ×Ｎ個の位置を除いたすべての位置をゼロ化することを含み、前記スケーリング行列の要素の前記数はＭ／８＊Ｎ／８である、実施例１５に記載の方法。
１７．規則に従って、映像の映像ブロックと前記映像の符号化表現との変換を行うことを含む映像処理方法であって、
前記映像ブロックは、前記映像ブロックの係数を変換すべくＫ×Ｌ変換行列を適用した後に、左上のＭ×Ｎ変換係数を除いたすべての変換係数をゼロ化した後の前記符号化表現で表現され、
前記符号化表現は、前記ゼロ化したことに対応する位置にあるスケーリング行列の要素の信号通知を排除するように構成され、
前記スケーリング行列は、前記変換係数をスケーリングするために使用される、映像処理方法。
１８．前記左上のＭ×Ｎ個の係数の外側の領域に位置する前記スケーリング行列の要素の前記信号通知は、スキップされる、実施例１７に記載の方法。
１９．前記スケーリング行列は、前記Ｋおよび／または前記Ｌから判定される比率でサブサンプリングすることにより適用される、実施例１７に記載の方法。
２０．前記映像ブロックは複数のサブ領域に分割され、各サブ領域のサイズがＵｗ＊Ｕｈであり、前記映像ブロックの左上のＭ×Ｎ個の係数を含む領域の各サブ領域内に位置する前記スケーリング行列の１つの要素が、前記符号化表現で信号通知される、実施例１９に記載の方法。
２１．前記符号化表現で示される前記スケーリング行列の前記要素の数が、前記Ｍおよび／または前記Ｎに基づく、実施例１９に記載の方法。
２２．前記Ｋ×Ｌ変換行列に対して前記符号化表現で示された前記スケーリング行列の前記要素の第１の数が、ゼロ化のない前記左上のＭ×Ｎ個の係数に対して前記符号化表現で示された前記スケーリング行列の前記要素の第２の数とは異なる、実施例１９に記載の方法。
２３．前記スケーリング行列は、前記Ｍおよび／または前記Ｎから判定される比率でサブサンプリングすることにより適用される、実施例１７に記載の方法。
２４．前記左上のＭ×Ｎ個の係数を含む領域が複数のサブ領域に分割され、各サブ領域のサイズがＵｗ＊Ｕｈであり、各サブ領域内の１つの要素が前記符号化表現で信号通知される、実施例２３に記載の方法。
２５．前記Ｋ×Ｌ変換行列に対して前記符号化表現で示された前記スケーリング行列の前記要素の数が、ゼロ化のない前記左上のＭ×Ｎ個の係数に対して前記符号化表現で示されたものと同じである、実施例２３に記載の方法。
２６．Ｋ＝Ｌ＝６４であり、Ｍ＝Ｎ＝３２である、実施例１７～２５のいずれかに記載の方法。
２７．Ｋ＝Ｌ＝６４であり、Ｍ＝Ｎ＝３２であり、Ｕｗ＝Ｕｈ＝８である、実施例２０または２４に記載の方法。
２８．映像の映像ブロックと前記映像の符号化表現との変換時に、前記映像ブロックのサイズに基づいて単一の量子化行列を使用するかどうかを、規則に基づいて判定することであって、前記サイズを有するすべての映像ブロックが前記単一の量子化行列を使用する、判定することと、
前記量子化行列を使用して前記変換を行うことと、を含む映像処理方法。
２９．前記規則は、前記映像ブロックの前記サイズが、ＷおよびＨが整数である場合にＷ×Ｈよりも小さいことに呼応して、前記単一の量子化行列のみを許可することを規定する、実施例２８に記載の方法。
３０．前記規則は、前記映像ブロックの幅が閾値よりも小さいことに呼応して、前記単一の量子化行列のみを許可することを規定する、実施例２８に記載の方法。
３１．前記規則は、前記映像ブロックの高さが閾値よりも小さいことに呼応して、前記単一の量子化行列のみを許可することを規定する、実施例２８に記載の方法。
３２．前記規則は、前記単一の量子化行列が、小さなサイズの映像ブロックに関連付けられた前記サイズを有する前記映像ブロックには適用されないことを規定する、実施例２８に記載の方法。
３３．パレットモードが、前記映像ブロックに適用される、実施例１～３２のいずれかに記載の方法。
３４．前記変換は、前記映像を前記符号化表現に符号化することを含む、実施例１～３３のいずれかに記載の方法。
３５．前記変換は、前記映像ブロックの画素値を生成すべく前記符号化表現を復号化することを含む、実施例１～３３のいずれかに記載の方法。
３６．実施例１～３５の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像復号化装置。
３７．実施例１～３５の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像符号化装置。
３８．コンピュータコードが記憶されたコンピュータプログラム製品において、前記コードが処理装置により実行されると、前記処理装置は、実施例１～３５のいずれかに記載の方法を実装する。
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための１つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
関連出願の相互参照
本願は、２０１９年８月２０日出願の国際特許出願第ＰＣＴ／ＣＮ２０１９／１０１５５５号の優先権と利益を主張する、２０２０年８月２０日出願の国際特許出願第ＰＣＴ／ＣＮ２０２０／１１０２２９号の国内段階である。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

Claims (38)

  1. 規則に従って、映像の映像ブロックの一部にセカンダリ変換行列が適用されているかどうかに基づいて、スケーリング行列を適用するかどうかを決定することであって、前記スケーリング行列は、前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用され、前記セカンダリ変換行列は、変換中に前記映像ブロックの前記部分の少なくともいくつかの残差係数を変換するために使用される、決定することと、
    選択された前記スケーリング行列を使用して、前記映像の前記映像ブロックと前記映像のビットストリーム表現との変換を行うことと、を含む映像処理方法。
  2. 前記規則は、Ｋ×Ｌ変換ブロックサイズを含む前記映像ブロックのＭ×Ｎの左上部分に適用された前記セカンダリ変換行列に呼応して、前記スケーリング行列が前記映像ブロックの前記Ｍ×Ｎの左上部分に適用されることを規定する、請求項１に記載の方法。
  3. 前記スケーリング行列は、前記ビットストリーム表現で信号通知される、請求項１に記載の方法。
  4. 前記スケーリング行列は、前記セカンダリ変換行列に対して、または縮小セカンダリ変換に対して、または回転変換に対して、タイルグループヘッダ、スライドヘッダ、ピクチャパラメータセット（ＰＰＳ）、映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）で信号通知される、請求項３に記載の方法。
  5. 前記ビットストリーム表現は、前記スケーリング行列を適用するかどうかを示す第１の構文要素を含み、前記ビットストリーム表現は、前記セカンダリ変換行列を適用するかどうかを示す第２の構文要素を含む、請求項１に記載の方法。
  6. 前記規則は、前記セカンダリ変換行列を適用しない前記映像ブロックの部分にのみ前記スケーリング行列が適用されることを規定する、請求項１に記載の方法。
  7. 前記規則は、前記セカンダリ変換行列を適用する前記映像ブロックのＭ×Ｎの左上部分を除いた部分に前記スケーリング行列が適用されることを規定する、請求項１に記載の方法。
  8. 前記規則は、前記セカンダリ変換行列を適用する前記映像ブロックの部分のみに前記スケーリング行列が適用されることを規定する、請求項１に記載の方法。
  9. 非正方形の形状を有する映像ブロックに対して、映像の前記映像ブロックと前記映像の符号化表現との変換に使用するためのスケーリング行列を決定することであって、前記符号化表現における構文要素が、前記スケーリング行列を信号通知し、前記スケーリング行列は、前記変換中に前記映像ブロックの少なくともいくつかの係数をスケーリングするために使用される、決定することと、
    前記スケーリング行列に基づいて前記変換を行うことと、を含む映像処理方法。
  10. 前記構文要素は、前記映像の前の正方形ブロックの別のスケーリング行列から前記スケーリング行列を予測符号化する、請求項９に記載の方法。
  11. 映像の映像ブロックと前記映像の符号化表現との変換を行うことを含む映像処理方法であって、
    前記映像ブロックは、規則に基づいて、前記変換中に前記スケーリング行列が適用される第１の数の位置と、前記変換中にスケーリング行列が適用されない第２の数の位置とを含む、映像処理方法。
  12. 前記第１の数の位置は、前記映像ブロックの左上のＭ＊Ｎ個の位置を含み、前記映像ブロックは、Ｍ＊Ｎ個よりも多い位置を含む、請求項１１に記載の方法。
  13. 前記第１の数の位置は、前記映像ブロックの上部のＭ＊Ｎ個の位置を含み、前記映像ブロックは、Ｍ＊Ｎ個よりも多い位置を含む、請求項１１に記載の方法。
  14. 前記第１の数の位置は、前記映像ブロックの左のＭ＊Ｎ個の位置を含み、前記映像ブロックは、Ｍ＊Ｎ個よりも多い位置を含む、請求項１１に記載の方法。
  15. 映像の映像ブロックと前記映像の符号化表現との変換中にスケーリング行列が適用されることを決定することと、
    前記スケーリング行列に基づいて、前記変換を行うことと、を含む映像処理方法であって、
    前記符号化表現は前記スケーリング行列の要素の数を示し、前記数は、ゼロ設定する係数を前記映像ブロックの係数に適用するかどうかに依存する、映像処理方法。
  16. ６４×６４変換に対して、前記変換は、前記映像ブロックの左上のＭ×Ｎ個の位置を除いたすべての位置をゼロ設定することを含み、前記スケーリング行列の要素の前記数はＭ／８＊Ｎ／８である、請求項１５に記載の方法。
  17. 規則に従って、映像の映像ブロックと前記映像の符号化表現との変換を行うことを含む映像処理方法であって、
    前記映像ブロックは、前記映像ブロックの係数を変換すべくＫ×Ｌ変換行列を適用した後に、左上のＭ×Ｎ変換係数を除いたすべての変換係数をゼロ設定した後の前記符号化表現で表現され、
    前記符号化表現は、前記ゼロ設定したことに対応する位置にあるスケーリング行列の要素の信号通知を排除するように構成され、
    前記スケーリング行列は、前記変換係数をスケーリングするために使用される、映像処理方法。
  18. 前記左上のＭ×Ｎ個の係数の外側の領域に位置する前記スケーリング行列の要素の前記信号通知は、スキップされる、請求項１７に記載の方法。
  19. 前記スケーリング行列は、前記Ｋおよび／または前記Ｌから決定される比率でサブサンプリングすることにより適用される、請求項１７に記載の方法。
  20. 前記映像ブロックは複数のサブ領域に分割され、各サブ領域のサイズがＵｗ＊Ｕｈであり、前記映像ブロックの左上のＭ×Ｎ個の係数を含む領域の各サブ領域内に位置する前記スケーリング行列の１つの要素が、前記符号化表現で信号通知される、請求項１９に記載の方法。
  21. 前記符号化表現で示される前記スケーリング行列の前記要素の数が、前記Ｍおよび／または前記Ｎに基づく、請求項１９に記載の方法。
  22. 前記Ｋ×Ｌ変換行列に対して前記符号化表現で示された前記スケーリング行列の前記要素の第１の数が、ゼロ設定していない前記左上のＭ×Ｎ個の係数に対して前記符号化表現で示された前記スケーリング行列の前記要素の第２の数とは異なる、請求項１９に記載の方法。
  23. 前記スケーリング行列は、前記Ｍおよび／または前記Ｎから決定される比率でサブサンプリングすることにより適用される、請求項１７に記載の方法。
  24. 前記左上のＭ×Ｎ個の係数を含む領域が複数のサブ領域に分割され、各サブ領域のサイズがＵｗ＊Ｕｈであり、各サブ領域内の１つの要素が前記符号化表現で信号通知される、請求項２３に記載の方法。
  25. 前記Ｋ×Ｌ変換行列に対して前記符号化表現で示された前記スケーリング行列の前記要素の数が、ゼロ設定していない前記左上のＭ×Ｎ個の係数に対して前記符号化表現で示されたものと同じである、請求項２３に記載の方法。
  26. Ｋ＝Ｌ＝６４であり、Ｍ＝Ｎ＝３２である、請求項１７～２５のいずれかに記載の方法。
  27. Ｋ＝Ｌ＝６４であり、Ｍ＝Ｎ＝３２であり、Ｕｗ＝Ｕｈ＝８である、請求項２０または２４に記載の方法。
  28. 映像の映像ブロックと前記映像の符号化表現との変換中に、前記映像ブロックのサイズに基づいて単一の量子化行列を使用することとなるかどうかを、規則に基づいて決定することであって、前記サイズを有するすべての映像ブロックが前記単一の量子化行列を使用する、決定することと、
    前記量子化行列を使用して前記変換を行うことと、を含む映像処理方法。
  29. 前記規則は、前記映像ブロックの前記サイズが、ＷおよびＨが整数である場合にＷ×Ｈよりも小さいことに呼応して、前記単一の量子化行列のみを許可することを規定する、請求項２８に記載の方法。
  30. 前記規則は、前記映像ブロックの幅が閾値よりも小さいことに呼応して、前記単一の量子化行列のみを許可することを規定する、請求項２８に記載の方法。
  31. 前記規則は、前記映像ブロックの高さが閾値よりも小さいことに呼応して、前記単一の量子化行列のみを許可することを規定する、請求項２８に記載の方法。
  32. 前記規則は、前記単一の量子化行列が、小さなサイズの映像ブロックに関連付けられた前記サイズを有する前記映像ブロックには適用されないことを規定する、請求項２８に記載の方法。
  33. パレットモードが、前記映像ブロックに適用される、請求項１～３２のいずれかに記載の方法。
  34. 前記変換は、前記映像を前記符号化表現に符号化することを含む、請求項１～３３のいずれかに記載の方法。
  35. 前記変換は、前記映像ブロックの画素値を生成すべく前記符号化表現を復号することを含む、請求項１～３３のいずれかに記載の方法。
  36. 請求項１～３５のいずれかに記載の方法を実装するように構成された処理装置を備える、映像復号装置。
  37. 請求項１～３５のいずれかに記載の方法を実装するように構成された処理装置を備える映像符号化装置。
  38. コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、処理装置により実行されると、前記処理装置に、請求項１～３５のいずれかに記載の方法を実装させるコンピュータプログラム製品。
JP2022511034A 2019-08-20 2020-08-20 位置に基づく係数のスケーリング Active JP7397172B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023194599A JP2024020419A (ja) 2019-08-20 2023-11-15 位置に基づく係数のスケーリング

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019101555 2019-08-20
CNPCT/CN2019/101555 2019-08-20
PCT/CN2020/110229 WO2021032158A1 (en) 2019-08-20 2020-08-20 Position-based coefficients scaling

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023194599A Division JP2024020419A (ja) 2019-08-20 2023-11-15 位置に基づく係数のスケーリング

Publications (2)

Publication Number Publication Date
JP2022545452A true JP2022545452A (ja) 2022-10-27
JP7397172B2 JP7397172B2 (ja) 2023-12-12

Family

ID=74659756

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2022511033A Active JP7444970B2 (ja) 2019-08-20 2020-08-20 デフォルトおよびユーザ定義のスケーリング行列の使用法
JP2022511034A Active JP7397172B2 (ja) 2019-08-20 2020-08-20 位置に基づく係数のスケーリング
JP2023194599A Pending JP2024020419A (ja) 2019-08-20 2023-11-15 位置に基づく係数のスケーリング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022511033A Active JP7444970B2 (ja) 2019-08-20 2020-08-20 デフォルトおよびユーザ定義のスケーリング行列の使用法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023194599A Pending JP2024020419A (ja) 2019-08-20 2023-11-15 位置に基づく係数のスケーリング

Country Status (6)

Country Link
US (4) US11539970B2 (ja)
EP (2) EP4000258A4 (ja)
JP (3) JP7444970B2 (ja)
KR (2) KR20220045955A (ja)
CN (4) CN114270817A (ja)
WO (3) WO2021032162A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2585030A (en) * 2019-06-25 2020-12-30 British Broadcasting Corp Method of signalling in a video codec
WO2021032162A1 (en) 2019-08-20 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Signaling for transform skip mode
US11949852B2 (en) * 2019-09-19 2024-04-02 Hfi Innovation Inc. Method and apparatus of residual coding selection for lossless coding mode in video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195666A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法
WO2020218564A1 (ja) * 2019-04-26 2020-10-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2009050897A1 (ja) 2007-10-19 2011-02-24 パナソニック株式会社 符号化レート変換装置、符号化レート変換方法および集積回路
US8634466B2 (en) * 2009-03-17 2014-01-21 Freescale Semiconductor, Inc. Video decoder plus a discrete cosine transform unit
US9118898B2 (en) * 2009-06-24 2015-08-25 Qualcomm Incorporated 8-point transform for media data coding
CN102137261A (zh) * 2011-04-20 2011-07-27 深圳市融创天下科技发展有限公司 一种视频编码16x16整数变换方法
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
US20130170555A1 (en) * 2011-12-28 2013-07-04 Broadcom Corporation Adapting transform coefficient scaling in video/image coding to block features identified in the transform domain
US20130177084A1 (en) 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9866829B2 (en) 2012-01-22 2018-01-09 Qualcomm Incorporated Coding of syntax elements that correspond to coefficients of a coefficient block in video coding
DK3300370T3 (da) 2012-02-29 2019-05-20 Sony Corp Anordning og fremgangsmåde til billedbehandling
JPWO2013154028A1 (ja) 2012-04-13 2015-12-17 ソニー株式会社 画像処理装置および方法
PT2840791T (pt) * 2012-04-16 2018-04-16 Electronics & Telecommunications Res Inst Método e dispositivo para codificação/descodificação de imagem
US20130294524A1 (en) * 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
CN108156463B (zh) 2012-08-29 2022-07-01 Vid拓展公司 用于可分级视频编码的运动矢量预测的方法和装置
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
EP2904803A1 (en) * 2012-10-01 2015-08-12 GE Video Compression, LLC Scalable video coding using derivation of subblock subdivision for prediction from base layer
CN103796015A (zh) * 2012-10-31 2014-05-14 朱洪波 系数数目自适应的量化参数差分编码
US20140254661A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for applying secondary transforms on enhancement-layer residuals
CN109982094A (zh) 2013-04-02 2019-07-05 Vid拓展公司 针对可伸缩视频编码的增强型时间运动向量预测
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US10404988B2 (en) 2014-03-16 2019-09-03 Vid Scale, Inc. Method and apparatus for the signaling of lossless video coding
US9432696B2 (en) * 2014-03-17 2016-08-30 Qualcomm Incorporated Systems and methods for low complexity forward transforms using zeroed-out coefficients
BR112016021529B1 (pt) 2014-03-27 2023-02-28 Microsoft Technology Licensing, Llc Dispositivo de computação, método e meio legível por computador para ajuste de quantização/escalada e quantização/escalada inversa ao alternar áreas de cor
US10200700B2 (en) 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
EP3192261A1 (en) 2014-09-12 2017-07-19 VID SCALE, Inc. Inter-component de-correlation for video coding
CN106663209B (zh) * 2014-09-19 2020-05-08 华为技术有限公司 用于非均匀映射图像/视频编码中不同尺寸的量化矩阵之间的量化矩阵系数的方法和装置
EP3222044A1 (en) * 2014-11-21 2017-09-27 VID SCALE, Inc. One-dimensional transform modes and coefficient scan order
CN111601110B (zh) 2015-01-29 2023-11-07 Vid拓展公司 用于调色编码模式的逃逸色彩编码
WO2016123792A1 (en) 2015-02-06 2016-08-11 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
US10574988B2 (en) * 2015-11-19 2020-02-25 Qualcomm Incorporated System and methods for reducing slice boundary visual artifacts in display stream compression (DSC)
WO2017088093A1 (en) 2015-11-23 2017-06-01 Mediatek Singapore Pte. Ltd. On the smallest allowed block size in video coding
WO2017156669A1 (en) 2016-03-14 2017-09-21 Mediatek Singapore Pte. Ltd. Methods for motion vector storage in video coding
WO2017196128A1 (ko) * 2016-05-12 2017-11-16 엘지전자(주) 계수 유도 복원을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN109076226B (zh) * 2016-05-13 2021-08-13 索尼公司 图像处理装置和方法
CN109417621A (zh) * 2016-07-04 2019-03-01 索尼公司 图像处理装置及方法
US11722698B2 (en) * 2016-08-24 2023-08-08 Sony Corporation Image processing apparatus and image processing method
WO2018038554A1 (ko) * 2016-08-24 2018-03-01 엘지전자(주) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
CN109661820A (zh) * 2016-09-13 2019-04-19 联发科技股份有限公司 用于视频编解码的多个量化矩阵集合的方法
EP3523977A4 (en) * 2016-10-05 2020-03-18 Telefonaktiebolaget LM Ericsson (publ) DERINGING FILTER FOR VIDEO CODING
CN110249629A (zh) 2017-01-31 2019-09-17 夏普株式会社 用于将图片分割成视频块以进行视频码处理的系统和方法
US10779007B2 (en) * 2017-03-23 2020-09-15 Mediatek Inc. Transform coding of video data
CN116866585A (zh) * 2017-05-17 2023-10-10 株式会社Kt 对图像解码和编码的方法以及存储压缩视频数据的装置
EP3644606A4 (en) * 2017-07-28 2020-05-20 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD, AND DECODING METHOD
WO2019022099A1 (ja) 2017-07-28 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR102453811B1 (ko) * 2017-07-31 2022-10-12 에스케이텔레콤 주식회사 비-제로 계수들의 위치를 표현하는 방법 및 장치
US11736687B2 (en) 2017-09-26 2023-08-22 Qualcomm Incorporated Adaptive GOP structure with future reference frame in random access configuration for video coding
US10812797B2 (en) * 2018-02-05 2020-10-20 Tencent America LLC Method, apparatus and medium for decoding or encoding using a low-complexity transform
JP7088606B2 (ja) 2018-04-02 2022-06-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
EP3804315A4 (en) 2018-05-31 2022-03-09 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR PARTITIONING VIDEO BLOCKS INTO A SLOT FOR INTERPRETING VIDEO DATA
US11533508B2 (en) * 2018-06-08 2022-12-20 Kt Corporation Method and apparatus for encoding/decoding residual data based on a plurality of transformations
TWI731358B (zh) 2018-06-29 2021-06-21 大陸商北京字節跳動網絡技術有限公司 改進的時域運動向量預測推導
CN110662050B (zh) 2018-06-29 2022-06-14 北京字节跳动网络技术有限公司 处理视频数据的方法、装置及存储介质
WO2020151765A1 (en) 2019-01-27 2020-07-30 Beijing Bytedance Network Technology Co., Ltd. Interpolation for bi-prediction with cu-level weight
US11190794B2 (en) * 2019-02-12 2021-11-30 Tencent America LLC Method and apparatus for video coding
WO2020176636A1 (en) 2019-02-27 2020-09-03 Futurewei Technologies, Inc. Luma mapping with chroma scaling adaptation parameter set in video coding
WO2020177703A1 (en) 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Signaling of filtering information in video processing
AU2020235190B2 (en) 2019-03-08 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Constraints on model-based reshaping in video processing
CN113574880B (zh) 2019-03-13 2023-04-07 北京字节跳动网络技术有限公司 关于子块变换模式的分割
CN117528068A (zh) 2019-04-18 2024-02-06 北京字节跳动网络技术有限公司 视频编解码中的跨分量模式中的选择性使用
AU2020258477A1 (en) 2019-04-19 2021-11-11 Bytedance Inc. Context coding for transform skip mode
WO2020216176A1 (en) 2019-04-20 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma syntax elements in video coding
US10904532B2 (en) 2019-05-20 2021-01-26 Samsung Display Co., Ltd. Differential prefix coding for high throughput entropy coder in display compression
US11218728B2 (en) * 2019-06-04 2022-01-04 Tencent America LLC Method and apparatus for video coding
KR20220017439A (ko) * 2019-07-08 2022-02-11 엘지전자 주식회사 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
WO2021032162A1 (en) 2019-08-20 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Signaling for transform skip mode

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195666A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法
WO2020218564A1 (ja) * 2019-04-26 2020-10-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OLENA CHUBACH, ET AL.: "CE7-related: Support of quantization matrices for VVC", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0847-v1, JPN6023006570, March 2019 (2019-03-01), pages 1 - 4, XP030204823, ISSN: 0004996784 *
SEETHAL PALURI, JIE ZHAO, JAEHYUN LIM, AND SEUNG HWAN KIM: "AHG17: APS support for default and user defined scaling matrices", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0299_r1, JPN6023006571, July 2019 (2019-07-01), pages 1 - 5, ISSN: 0004996785 *
TOMONORI HASHIMOTO, EIICHI SASAKI, TAKESHI CHUJOH, AND TOMOHIRO IKAI: "Non-CE7: Harmonization of scaling matrix and LFNST", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0383-v2, JPN6023006569, July 2019 (2019-07-01), pages 1 - 4, ISSN: 0004996783 *

Also Published As

Publication number Publication date
US20220174298A1 (en) 2022-06-02
JP7444970B2 (ja) 2024-03-06
EP4000265A4 (en) 2022-10-26
CN114342398A (zh) 2022-04-12
KR20220045955A (ko) 2022-04-13
JP2022545451A (ja) 2022-10-27
WO2021032162A1 (en) 2021-02-25
JP7397172B2 (ja) 2023-12-12
US11595671B2 (en) 2023-02-28
US20230209072A1 (en) 2023-06-29
CN114270838A (zh) 2022-04-01
WO2021032158A1 (en) 2021-02-25
CN114270838B (zh) 2024-04-12
EP4000258A1 (en) 2022-05-25
KR20220047759A (ko) 2022-04-19
JP2024020419A (ja) 2024-02-14
EP4000258A4 (en) 2023-03-15
US11641478B2 (en) 2023-05-02
WO2021032165A1 (en) 2021-02-25
CN114270817A (zh) 2022-04-01
US20220174299A1 (en) 2022-06-02
CN117336482A (zh) 2024-01-02
US11539970B2 (en) 2022-12-27
EP4000265A1 (en) 2022-05-25
US20220174280A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
KR20210152476A (ko) 코딩 된 비디오의 양자화된 잔차 차동 펄스 코드 변조 표현의 제약
WO2020228717A1 (en) Block dimension settings of transform skip mode
JP7397172B2 (ja) 位置に基づく係数のスケーリング
WO2021083376A1 (en) Derivation of linear parameter in cross-component video coding
WO2021110018A1 (en) Separable secondary transform processing of coded video
JP2023089032A (ja) コーディング映像における二次変換の使用
WO2020233664A1 (en) Sub-block based use of transform skip mode
WO2020228716A1 (en) Usage of transquant bypass mode for multiple color components
CN114930832A (zh) 跨分量自适应滤波和子块编解码
WO2021121419A1 (en) Interaction between adaptive color transform and quantization parameters
WO2022037701A1 (en) Coefficient reordering in video coding
WO2020221213A1 (en) Intra sub-block partitioning and multiple transform selection
JP7473680B2 (ja) クロスコンポーネント予測のための利用制約

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231130

R150 Certificate of patent or registration of utility model

Ref document number: 7397172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150