CN104885467A - 用于下一代视频编码的内容自适应参数变换 - Google Patents

用于下一代视频编码的内容自适应参数变换 Download PDF

Info

Publication number
CN104885467A
CN104885467A CN201380068546.4A CN201380068546A CN104885467A CN 104885467 A CN104885467 A CN 104885467A CN 201380068546 A CN201380068546 A CN 201380068546A CN 104885467 A CN104885467 A CN 104885467A
Authority
CN
China
Prior art keywords
closed type
conversion
parameter
subregion
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380068546.4A
Other languages
English (en)
Other versions
CN104885467B (zh
Inventor
N·N·戈卡莱
A·普里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104885467A publication Critical patent/CN104885467A/zh
Application granted granted Critical
Publication of CN104885467B publication Critical patent/CN104885467B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Systems (AREA)

Abstract

一种根据本发明的用于视频编码的方法包括如下步骤：接收预测误差数据或编码分区或原始像素数据的分区以用于变换编码；对预测误差数据或编码分区或原始像素数据的分区执行闭合式参数变换以生成变换系数；对所述变换系数进行量化以生成量化的变换系数；以及将与所述量化的变换系数相关联的数据熵编码到比特流中。

Description

用于下一代视频编码的内容自适应参数变换
相关申请
本发明要求于2013年1月30日递交的、名称为“NEXT GENERATIONVIDEO CODING”的美国临时申请No.61/758,314的优先权，该专利申请的公开内容由此全部并入本文。
背景技术
视频编码器压缩视频信息，使得更多的信息可以通过给定的带宽被发送。压缩的信号然后可以被发送到具有解码器的接收机，所述解码器在显示先前对信号进行解码或解压缩。
高效视频编码(HEVC)是最新的视频压缩标准，其是由ISO/IEC运动图片专家组(MPEG)和ITU-T视频编码专家组(VCEG)组成的视频编码联合组(JCT-VC)开发的。HEVC响应于以前的H.264/AVC(高级视频编码)标准不提供足够的压缩而进行开发，以用于发展较高分辨率视频应用。类似于以前的视频编码标准，HEVC包括基本功能模块，例如，帧内/帧间预测、变换、量化、循环内滤波和熵编码。
正在发展的HEVC标准可以试图改进对H.264/AVC标准的限制，例如，对被允许的预测分区和编码分区的有限选择、有限的被允许的多参考和预测生成、有限的变换块尺寸和实际变换、用于减少编码伪像的有限机制、和低效熵编码技术。然而，正在发展的HEVC标准可以使用迭代方法来解决这样的问题。
附图说明
本文描述的材料作为示例而不是作为限制在附图中示出。为了举例说明的简单和清楚，在附图中所示的元件不一定按比例绘制。例如，为了清楚，一些元件的尺寸可以相对于其它元件被放大。此外，在被认为适当的场合，附图标记在附图当中重复以指示相对应的或类似的元件。在附图中：
图1是示例下一代视频编码器的示意图；
图2是示例下一代视频解码器的示意图；
图3是示例编码器子系统的示意图；
图4是示例编码器子系统的示意图；
图5是示例编码器子系统的示意图；
图6是示例编码器子系统的示意图；
图7是示出了示例处理的流程图；
图8示出了使用二分树划分技术对视频数据的示例划分；
图9示出了使用k-d树划分技术对视频数据的示例划分；
图10(A)、图10(B)和图10(C)示出了在编码分区上操作的示例参数与混合参数变换；
图11(A)和11(B)示出了相对于编码分区的示例相邻的重构视频数据；
图12示出了用于编码分区的示例相邻的重构视频数据；
图13示出了通过参数变换用于对具有斜度的编码分区进行编码的像素定向重布置；
图14示出了示例比特流；
图15是示出了示例过程的流程图；
图16示出了示例良好变换对；
图17是示例基于小波的视频编码器的示意图；
图18是示例基于小波的视频解码器的示意图；
图19(A)和19(B)提供了在操作中的示例视频编码系统和视频编码过程的示意图；
图20是示例视频编码系统的示意图；
图21是示例系统的示意图；
图22示出了全部根据本公开的至少一些实现来布置的示例设备。
具体实施方式
现在参考所包含的附图来描述一个或多个实现。虽然讨论了特定的配置和布置，但是应理解，这仅出于例证性目的而被完成。相关领域中的技术人员将认识到，可以使用其它配置和布置而不偏离描述的精神和范围。对相关领域中的技术人员显而易见的是，还可以在除了本文描述的内容以外的各种其它系统和应用中使用本文描述的技术和/或布置。
虽然下面的描述阐述了可以在诸如芯片上系统(SoC)架构之类的架构中出现的各种实现，但是本文描述的技术和/或布置的实现并不限于特定的架构和/或计算系统，并且可以出于类似的目的由任何架构和/或计算系统实现。例如，使用例如多个集成电路(IC)芯片和/或封装、和/或各种计算设备和/或消费电子(CE)设备(例如，机顶盒、智能电话等)的各种架构可以实现本文描述的技术和/或布置。此外，虽然下面的描述可以阐述很多特定的细节，例如，逻辑实现、系统部件的类型和相互关系、逻辑划分/集成选择等，但是所主张的主题可以在没有这样的特定细节的情况下被实施。在其它实例中，一些材料(例如，控制结构和完整的软件指令序列)可以不详细示出，以便不使本文公开的材料难理解。
本文公开的材料可以在硬件、固件、软件或其任何组合中实现。本文公开的材料也可以被实现为存储在机器可读介质上的指令，所述指令可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以机器(例如，计算设备)可读的形式存储或发送信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其它形式的传播信号(例如，载波、红外信号、数字信号等)；及其它。
在说明书中对“一个实现”、“实现”、“示例实现”等的提及指示所述实现可以包括特定的特征、结构、或特性，但每个实施例可能不一定必须包括所述特定的特征、结构或特性。而且，这样的短语并不一定指同一实现。此外，当结合实施例来描述特定的特征、结构或特性时，提出的是，无论是否在本文被明确地描述，结合其它实现来实施这样的特征、结构、或特性是在本领域中的技术人员的知识范围内的。
下面关于用于视频编码的内容自适应变换来描述系统、装置、制品、以及方法。
下文将描述下一代视频(NGV)系统、装置、制品和方法。NGV视频编码可以在视频编码过程中结合基于重要内容的自适应性以达到更高的压缩。如上所述，H.264/AVC标准可能具有各种限制以及持续进行的尝试以对标准进行改进，例如，HEVC标准可以采用迭代方案来解决这样的限制。文中将描述包括编码器和解码器的NGV系统。
而且，如所论述的，H.264/AVC标准可以包括对编码分区和固定变换的有限选择。特别地，如本文所论述的，可以接收视频数据以用于变换编码。视频数据可以包括用于变换编码的任何适合的数据，诸如例如残留视频数据、预测分区、预测误差数据分区、瓦片(tile)或超片段(super-fragment)或小波数据。在一些示例中，视频数据可以包括具有用于预测分区的误差数据的预测误差数据分区。例如，预测分区可以包括视频帧的瓦片或超片段的分区。
可以对接收到的视频数据进行分区。在各个示例中，可以利用二分树划分或k-d树划分，基于与视频数据相关联的数据类型(例如，F/B图片(例如，功能的或双向的)、P图片(例如，预测的)、或I图片(例如，仅帧内补偿))或预测技术(例如，帧间的或帧内的等)来对视频数据进行分区。在一些示例中，视频数据可以包括预测误差数据分区(例如，与用于P图片和F/B图片的帧间预测相关联)，并且可以将预测误差数据分区划分成编码分区。例如，可以利用二分树划分或k-d树划分将预测误差数据分区划分成编码分区。如本文所使用的，术语F/B图片可以包括F图片(例如，功能的)或B图片(例如，双向的)，使得图片可以使用在先的或未来的先前解码的图片或帧用于预测。
在一些示例中，视频数据可以包括用于帧内预测(用于I图片或者用于P图片和F/B图片的帧内预测)的视频帧的瓦片或超片段，可以将视频帧的瓦片或超片段进行分区以生成用于预测的分区。在一些示例中，这样的分区可以利用用于I图片的k-d树划分以及利用用于P图片和F/B图片的二分树划分来执行。可以生成(例如，通过帧内预测技术)与用于预测的分区相关联的预测分区并且确定与原始像素数据的差异以生成预测误差数据分区。在这样的示例中，可以仅执行单一水平的分区，并且预测误差数据分区可以被视为编码分区。在一些示例中，视频数据可以包括原始像素数据(或其分区)，使得可以处理原始像素数据(例如，如本文所论述的进行变换编码等等)。例如，这样的原始像素数据可以通过I图片的比特流和帧内编码进行处理并且发送。
在一些示例中，可以对多个编码分区进行变换，使得利用内容自适应变换(例如，具有是逐块自适应基础的变换)来变换编码分区的子集(例如，小尺寸到中尺寸编码分区)，以及利用固定变换(例如，具有固定基础的变换)来变换编码分区的另一子集(例如，中尺寸到大尺寸分区)。在其他示例中，可以利用内容自适应变换来对编码分区的子集(例如，小尺寸到中尺寸分区)进行变换，并且可以利用固定变换来对基本上全部的编码分区进行变换。基于变换的成功以及相对比特成本和错误率，可以进行率失真优化等来在内容自适应变换和固定变换之间进行选择以用于编码分区。
在基于如所论述的图片或预测类型来使用二分树划分和k-d树划分的示例中，可以应用类似的技术。在一些示例中，可以对二分树编码分区进行变换，使得利用内容自适应变换来对编码分区的子集(例如，小尺寸到中尺寸分区)进行变换，而利用固定变换来对编码分区的另一子集(例如，中尺寸到大尺寸分区)进行变换。类似地，在一些示例中，可以对k-d树分区进行变换，使得利用内容自适应变换来对分区的子集(例如，小尺寸到中尺寸分区)进行变换，而利用固定变换来对分区的另一子集(例如，中尺寸到大尺寸分区)进行变换。在其他示例中，可以对二分树分区进行变换，使得可以利用内容自适应变换来对编码分区的子集(例如，小尺寸到中尺寸分区)的子集进行变换，而利用固定变换来对基本上全部的编码分区进行变换。基于变换的成功以及相对比特成本和错误率，可以进行率判定优化等来在内容自适应变换和固定变换之间进行选择。类似地，在一些示例中，可以对k-d树分区进行变换，使得可以利用内容自适应变换来对分区的子集(例如，小尺寸到中尺寸分区)进行变换，而利用固定变换来对基本上全部的编码分区进行变换，以及基于变换的成功以及相对比特成本和错误率，可以做出率判定优化等来在内容自适应变换结果和固定变换结果之间进行选择。
在各个示例中，可以将从有关变换得到的数据(例如，变换系数)以及限定相关编码分区的数据进行量化、扫描并且熵编码到比特流中以用于传输。可以对比特流进行解码，并且解码的数据可以进行反向变换而生成例如预测误差数据分区，该预测误差数据分区可以进一步用于解码过程以及最终经由显示设备进行显示。对于利用内容自适应变换进行变换的编码分区，编码过程可以确定可以被发送到解码过程的变换数据(例如，除了变换系数之外)。此外，对于利用内容自适应变换而变换得到的分区，编码过程和解码过程二者可以包括基于先前解码的视频数据的另一块来确定与分区相关联的基函数参数。此外，在一些示例中，内容自适应变换可以包括沿垂直方向或水平方向的自适应参数变换以及沿与自适应参数变换正交的方向的固定变换。在一些示例中，内容自适应变换可以包括闭合式混合参数变换。
在一些示例中，可以接收预测误差数据分区(预测分区或编码分区)或者原始像素数据的分区，用于变换编码。在一些示例中，可以对预测误差数据分区进行划分以生成预测误差数据分区的多个编程分区。可以对多个编码分区的单个编码分区或预测误差数据分区或原始像素数据的分区执行包括用于参数Haar变换的闭合式解的内容自适应变换以生成与单个编码分区相关联的变换系数。可以对变换系数进行量化以生成量化的变换系数。可以将与量化的变换系数相关联的数据熵编码到比特流中。
如在本文使用的，术语“编码器”可以指编码器和/或解码器。类似地，如在本文使用的，术语“编码”可以指经由编码器执行视频编码和/或经由解码器执行视频解码。例如，视频编码器和视频解码器二者都可以是能够对视频数据进行编码的编码器的示例。此外，如在本文使用的，术语“编码解码器”可以指任何过程、程序或操作的集合，例如，可以实现编码器和/或解码器的软件、固件和/或硬件的任何组合。此外，如在本文使用的，短语“视频数据”可以指与视频编码相关联的任何类型的数据，例如，视频帧、图像数据、编码的比特流数据等。
图1是根据本公开的至少一些实现布置的示例下一代视频编码器100的示意图。如所示出的，编码器100可以接收输入视频101。输入视频101可以包括用于编码的任何合适的输入视频，例如，视频序列的输入帧。如所示出的，输入视频101可以经由内容预分析器模块102进行接收。内容预分析器模块102可以被配置为执行对输入视频101的视频帧的内容的分析，以确定用于改进视频编码效率和速度性能的各种类型的参数。例如，内容预分析器模块102可以确定水平和垂直梯度信息(例如，Rs、Cs)、方差、每图片空间复杂度、每图片时间复杂度、场景改变检测、运动范围估计、增益检测、预测距离估计、物体数量的估计、区边界检测、空间复杂度图计算、焦距估计、胶片颗粒估计等。由内容预分析器模块102生成的参数可以由编码器100(例如，经由编码控制器103)使用和/或被量化和被传递到解码器。如所示出的，视频帧和/或其它数据可以从内容预分析器模块102被发送到自适应图片组织器模块104，自适应组织器模块104可以确定每一个视频帧的图片类型(例如，I-图片、P-图片、或F-图片/B-图片)以及按照需要对视频帧进行重排序。在一些示例中，自适应图片组织器模块104可以包括被配置为生成帧部分的帧部分发生器。在一些示例中，内容预分析器模块102和自适应图片组织器模块104共同可以被认为是编码器100的预分析子系统。
如所示出的，视频帧和/或其它数据可以从自适应图片组织器模块104被发送到预测分区发生器模块105。在一些示例中，预测分区发生器模块105可以将帧或图片分割为瓦片或超片段等。在一些示例中，附加的模块(例如，在模块104和105之间)可以被提供用于将帧或图片分割为瓦片或超片段。预测分区发生器模块105可以将每一个瓦片或超片段分割为潜在的预测分块或分区。在一些示例中，潜在的预测分块可以使用划分技术(例如，k-d树划分技术、二分树划分技术等)来确定，所述划分技术可以基于单独的视频帧的图片类型(例如，I-图片、P-图片或F-图片/B-图片)、被划分的帧部分的特性等来确定。在一些示例中，所确定的潜在的预测分块可以是用于预测(例如，帧间预测或帧内预测)的分区并且可以被描述为预测分区或预测块等。
在一些示例中，选定的择的预测分块(例如，预测分区)可以利用潜在的预测分块进行确定。例如，选定的择的预测分块可以基于针对每一个潜在的预测分块使用基于特性和运动的多参考预测或帧内预测来确定预测，以及基于确定预测参数。对于每一个潜在的预测分块，潜在的预测误差可以通过区分原始像素和预测像素的差异来确定，并且选定的择的预测分块可以是具有最小预测误差的潜在的预测分块。在其它示例中，选定的择的预测分块可以基于率失真优化来进行确定，所述率失真化包括基于用于对分块和与预测分块相关联的预测误差进行编码的比特的数量的加权的分数。
如所示出的，选定的择的预测分块(例如，当前帧的预测分区)的原始像素可以在差异确定器106处确定与预测的分区(例如，基于参考帧或多个参考帧以及其他预测数据(例如，帧间预测数据或帧内预测数据)对当前帧的预测分区的预测)的差异。对所预测的分区的确定将在下面进一步进行描述，并且可以包括在图1中所示出的解码循环。来自确定差异的任何残差或剩余数据(例如，分区预测误差数据)可以被发送到编码分区发生器模块107。在一些示例中，例如，对于任何图片类型(I-图片、F-图片/B-图片、或P-图片)中的预测分区的帧内预测，编码分区发生器模块107可以经由开关107a和107b来设置旁路。在这样的示例中，可以只执行分块的单个水平。这样的分块可以被描述为预测分块(正如所讨论的)或编码分块或二者。在各种示例中，这样的分块可以经由预测分区发生器模块105来执行(正如所讨论的)，或正如在本文中进一步讨论的，这样的分块可以通过经由编码分区发生器模块107实现的k-d树帧内预测/编码划分器模块或二分树帧内预测/编码划分器模块执行。
在一些示例中，分区预测误差数据，如果有，对于保证编码可能不是足够有效的。在其它示例中，可以期望的是对分区预测误差数据进行编码，并且所述分区预测误差数据与帧间预测等相关联，编码分区发生器模块107可以确定预测分区的编码分区。在一些示例中，编码分区发生器模块107可能不被需要，因为分区可以在没有编码分块(例如，通过经由开关107a和107b可用的旁路路径所示出的)的情况下进行编码。在有编码分块或没有编码分块的情况下，在残差或剩余数据需要进行编码的事件中，分区预测误差数据(其可以随后被描述为两个事件的任一事件中的编码分区)可以被发送到自适应变换模块108。在一些示例中，预测分区发生器模块105以及编码分区发生器模块107能够共同被考虑为编码器100的划分器子系统。在各种示例中，编码分区发生器模块107可以对分区预测误差数据、原始像素数据、剩余数据、或小波数据进行操作。
编码分区发生器模块107可以使用二分树和/或k-d树划分技术等来生成例如分区预测误差数据的潜在的编码分块(例如，编码分区)。在一些示例中，可以使用具有各种块尺寸的自适应变换或固定的变换经由自适应变换模块108来变换潜在的编码分区，并且可以至少部分地基于率失真优化或其它基础来确定选定的编码分块和选定的变换(例如，自适应或固定的)。在一些示例中，可以至少部分地基于至少部分地基于编码分区尺寸等的预定的选择方法来确定选定的编码分块和/或选定的变换。
例如，自适应变换模块108可以包括用于执行参数变换以允许小到中等尺寸块的局部最佳变换编码的第一部分或部件，以及用于使用固定变换(例如，离散余弦变换(DCT)或来自包括参数变换的各种变换的基于图片的变换)或如在本文进一步讨论的任何其它配置来执行全局稳定的、低开销变换编码的第二部分或部件。在一些示例中，对于局部最佳变换编码，可以执行参数Haar变换(PHT)或用于参数Haar变换(PHT)的闭合式解，如在本文进一步讨论的。在一些示例中，可以在大约4x4像素和64x64像素之间的矩形尺寸的2D块上执行变换，实际尺寸取决于多个因素，例如，所变换的数据是亮度还是色度，或帧间还是帧内、或所使用的确定的变换是PHT还是DCT等。
如所示出的，结果的变换系数可以被发送到自适应量化模块109。自适应量化模块109可以对结果的变换系数进行量化。此外，与参数变换相关联的任何数据按需要可以被发送到自适应量化模块109(如果需要量化)或自适应熵编码器模块110。同样如在图1中示出的，量化系数可以被扫描并且被发送到自适应熵编码器模块110。自适应熵编码器模块110可以对量化的系数进行熵编码，并且在输出比特流111中包括它们。在一些示例中，自适应变换模块108和自适应量化模块109可以共同被考虑为编码器100的变换编码器子系统。
同样如在图1中示出的，编码器100包括局部解码循环。局部解码循环可以在自适应反向量化模块112处开始。自适应反向量化模块112可以被配置为执行自适应量化模块109的相反操作，使得反向扫描可以被执行并且量化系数可以被解缩放以确定变换系数。例如，这样的自适应量化操作可以是有损的。如所示出的，变换系数可以被发送到自适应反向变换模块113。例如，自适应反向变换模块113可以执行如由自适应变换模块108所执行的反向变换，以生成残差或残余值或与编码分区相关联的分区预测误差数据(或原始数据或小波数据，如所讨论的)。在一些示例中，自适应反向量化模块112和自适应反向变换模块113可以共同被考虑为编码器100的变换解码器子系统。
如所示出的，分区预测误差数据(或类似数据)可以被发送到可选的编码分区装配器114。编码分区装配器114可以按需要将编码分区装配到解码的预测分区中(如所示出的，在一些示例中，编码分区装配器114可以经由开关114a和114b被跳过，使得解码的预测分区可以在自适应反向变换模块113处生成)以生成预测误差数据的预测分区或解码的残余预测分区等。
如所示出的，解码的残余预测分区可以在加法器115处被加到预测分区(例如，预测像素数据)以生成重构的预测分区。所述重构的预测分区可以被发送到预测分区装配器116。预测分区装配器116可以装配重构的预测分区以生成重构的瓦片或超分片。在一些示例中，编码分区装配器模块114和预测分区装配器模块116可以共同被考虑为编码器100的解划分器子系统。
重构的瓦片或超分片可以被发送到块效应分析器和解块滤波模块117。块效应分析器和解块滤波模块117可以使重构的瓦片或超分片(或瓦片或超分片的预测分区)解块和抖动。所生成的解块和抖动滤波器参数可以用于当前的滤波器操作和/或在比特流111中被编码以由例如解码器使用。块效应分析器和解块滤波模块117的输出可以被发送到质量分析器和质量恢复滤波模块118。质量分析器和质量恢复滤波模块118可以确定QR滤波参数(例如，用于QR分解)并且使用所确定的参数以用于滤波。QR滤波参数也可以被编码在输出比特流111中以由解码器使用。如所示出的，质量分析器和质量恢复滤波模块118的输出可以被发送到解码的图片缓冲器119。在一些示例中，质量分析器和质量恢复滤波模块118的输出可以是可以用于对其它帧进行的编码的预测的最终重构的帧(例如，最终重构的帧可以是参考帧等)。在一些示例中，块效应分析器和解块滤波模块117以及质量分析器和质量恢复滤波模块118可以共同被考虑为编码器100的滤波子系统。
在编码器100中，预测操作可以包括帧间和/或帧内预测。正如在图1中示出的，帧间预测可以由一个或多个模块执行，所述一个或多个模块包括变形分析器和生成模块120、合成分析器和生成模块121、以及特性和运动滤波预测器模块123。变形分析器和生成模块120可以对当前图片进行分析以确定针对增益变化、主要运动的变化、配准的变化以及相对于利用其进行编码的参考帧或者多个参考帧的模糊变化的参数。可以对所确定的变形参数进行量化/去量化，并对其加以使用(例如，由变形分析器和生成模块120加以使用)以生成变形参考帧，运动估算器模块122可以采用所述变形参考帧用于计算运动向量，从而实现对当前帧的有效运动(及特征)补偿预测。合成分析器和生成模块121可以针对运动生成超分辨(SR)率图片和投影插补(PI)图片等，从而确定用于实现这样的帧当中的有效运动补偿预测的运动向量。
运动估计器模块122可以基于变形参考帧和/或超分辨率(SR)图片和投影插补(PI)图片以及当前帧来生成运动向量数据。在一些示例中，运动估计器模块122可以被考虑为帧间预测模块。例如，运动向量数据可以被用于帧间预测。如果帧间预测被应用，则特性和运动补偿滤波预测器模块123可以将运动补偿应用作为如所讨论的局部解码循环的部分。
帧内预测可以由帧内定向预测分析器和预测生成模块124执行。帧内定向预测分析器和预测生成模块124可以被配置为执行空间定向预测，并且可以使用解码的相邻分区。在一些示例中，确定方向和生成预测二者可以通过帧内定向预测分析器和预测生成模块124执行。在一些示例中，帧内定向预测分析器和预测生成模块124可以被考虑在帧内预测模块中。
如图1所示出的，预测模式和参考类型分析器模块125可以允许从“跳过”、“自动”、“帧间”、“拆分”、“多重”、以及“帧内”当中选择预测模式，对于瓦片(或超片段)的每一个预测分区，可以将它们全部都应用到P-图片和F-图片/B-图片。除了预测模式之外，也允许取决于“帧间”或“多重”模式、以及针对P-图片和F-图片/B-图片来选择可以是不同的参考类型。预测模式和参考类型分析器模块125的输出处的预测信号可以由预测分析器和预测融合滤波模块126进行滤波。预测分析器和预测融合滤波模块126可以确定参数(例如，滤波系数、频率、开销)以用于滤波，并且可以执行滤波。在一些示例中，对预测信号进行滤波可以融合表示不同模式(例如，帧内、帧间、多重、拆分、跳过、以及自动)的不同类型的信号。在一些示例中，帧内预测信号可以与所有其它类型的帧间预测信号不同，使得合适的滤波可以极大地增强编码效率。在一些示例中，滤波参数可以被编码在输出比特流111中，以由解码器使用。滤波的预测信号可以将第二输入(例如，预测分区)提供给差异确定器106，如上所讨论的，差异确定器106可以确定预测差异信号(例如，分区预测误差)以用于编码，如更早前所讨论的。此外，同一滤波预测信号可以将第二输入提供给加法器115，同样如上面所讨论的。正如所讨论的，输出比特流111可以提供高效的编码比特流，以由解码器使用用于视频的呈现。
图2是根据本公开的至少一些实现进行布置的示例下一代生成视频解码器200的示意图。如所示出的，解码器200可以接收输入比特流201。在一些示例中，输入比特流201可以经由编码器100和/或经由本文所讨论的编码器技术进行编码。如所示出的，输入比特流201可以由自适应熵解码器模块202接收。自适应熵解码器202可以对各种类型的编码的数据(例如，开销、运动向量、变换系数等)进行解码。在一些示例中，自适应熵解码器202可以使用可变长解码技术。在一些示例中，自适应熵解码器202可以执行上面所讨论的自适应熵编码器模块101的反向操作。
解码的数据可以被发送到自适应反向量化模块203。自适应反向量化模块203可以被配置为对量化的系数进行反向扫描和解缩放，以确定变换系数。例如，这样的自适应量化操作可以是有损耗的。在一些示例中，自适应反向量化模块203可以被配置为执行自适应量化模块109的相反操作(例如，实质上与自适应反向量化模块112相同的操作)。如所示出的，变换系数(以及，在一些示例中，用于参数变换的变换数据)可以被发送到自适应反向变换模块204。自适应反向变换模块204可以对变换系数执行反向变换，以生成与编码分区相关联的残差或剩余值或分区预测误差数据(或原始数据或小波数据)。在一些示例中，自适应反向变换模块204可以被配置为执行自适应变换模块108的相反操作(例如，实质上与自适应反向变换模块113相同的操作)。在一些示例中，自适应反向变换模块204可以基于其它先前解码的数据(例如，解码的相邻分区)来执行反向变换。在一些示例中，自适应反向量化模块203和自适应反向变换模块204可以共同被考虑为解码器200的变换解码器子系统。
如所示出的，残差或剩余值或分区预测误差数据可以被发送到编码分区装配器205。编码分区装配器205可以按照需要将编码分区装配到解码的预测分区中(如所示出的，在一些示例中，编码分区装配器205可以经由开关205a和205b被跳过，使得解码的预测分区可以在自适应反向变换模块204处被生成)。预测误差数据的解码的预测分区(例如，预测分区残差)可以在加法器206处被添加到预测的分区(例如，预测像素数据)，以生成重构的预测分区。所述重构的预测分区可以被发送到预测分区装配器207。预测分区装配器207可以装配重构的预测分区，以生成重构的瓦片或超片段。在一些示例中，编码分区装配器模块205和预测分区装配器模块207可以共同被考虑为解码器200的解划分器子系统。
重构的瓦片或超片段可以被发送到解块滤波模块208。解块滤波模块208可以对重构的瓦片或超片段(或瓦片或超片段的预测分区)进行解块和抖动。例如，所生成的接口和抖动滤波参数可以根据输入比特流201确定。解块滤波模块208的输出可以被发送到质量恢复滤波模块209。质量恢复滤波模块209可以基于QR参数来应用质量滤波，例如，所述QR参数可以根据输入比特流201确定。如图2中示出的，质量恢复滤波模块209的输出可以被发送到解码的图片缓冲器210。在一些示例中，质量恢复滤波模块209的输出可以是可以用于对其他帧编码的预测的最终重构帧(例如，最终重构帧可以是参考帧或类似物)。在一些示例中，解块滤波模块208和质量恢复滤波模块209可以共同被考虑为解码器200的滤波子系统。
正如所讨论的，由于预测操作的补偿可以包括帧间预测补偿和/或帧内预测补偿。正如所示出的，帧间预测补偿可以由一个或多个模块执行，所述一个或多个模块包括变形图片生成模块211、合成图片生成模块212、以及特性和运动补偿滤波预测器模块213。变形生成模块211可以使用解量化的变形参数(例如，根据输入比特流210确定的)来生成变形的参考帧。合成生成模块212可以基于根据输入比特流201确定的参数来生成超分辨率(SR)图片和投影插补(PI)图片等。如果应用了帧间预测，则特性和运动补偿滤波预测器模块213可以基于输入比特流201中接收的帧和运动向量数据等来应用运动补偿。
帧内预测补偿可以由帧内定向预测生成模块214来执行。帧内定向预测生成模块214可以被配置为执行空间定向预测，并且可以根据输入比特流201中的帧内预测数据来使用解码的相邻分区。
正如在图2中所示出的，预测模式选择器模块215可以针对瓦片的每一个预测分区来从“跳过”、“自动”、“帧间”、“多重”、以及“帧内”当中确定预测模式选择，上述的全部可以基于在输入比特流201中的模式选择数据应用到P-图片和F-图片/B-图片。除了预测模式，还允许取决于“帧间”或“多重”模式以及对于P-图片和F-图片/B-图片选择可以是不同的参考类型。在预测模式选择器模块215的输出处的预测信号可以由预测融合滤波模块216进行滤波。预测融合滤波模块216可以基于经由输入比特流201确定的参数(例如，滤波系数、频率、开销)来执行滤波。在一些示例中，对预测信号进行滤波可以融合表示不同模式(例如，帧内、帧间、多重、跳过、以及自动)的不同类型的信号。在一些示例中，帧内预测信号可以与所有其它类型的帧间预测信号不同，使得合适的滤波可以极大地增强编码效率。所滤波的预测信号可以将第二输入(例如，预测分区)提供给差异确定器206，如上所讨论的。
如所讨论的，质量恢复滤波模块209的输出可以是最终的重构帧。最终的重构帧可以被发送到自适应图片重组织器217，自适应图片重组织器217可以基于输入比特流201中的排序参数按照需要对帧进行重排序和重组织。重排序的帧可以被发送到内容后恢复器模块218。内容后恢复器模块218可以是被配置为执行对解码的视频的感知质量的进一步改进的可选模块。改进处理可以响应于输入比特流201中的质量改进参数被执行，或它可以被执行作为单独的操作。在一些示例中，内容后恢复器模块218可以应用参数来改进质量，例如，对胶片颗粒噪声和剩余块效应减少的估计(例如，甚至在与解块滤波模块208相关讨论的解块操作之后)。如所示出的，解码器200可以提供显示视频219，显示视频219可以被配置用于经由显示设备(未示出)进行显示。
如所论述的，在一些示例中，编码器100和/或解码器200可以实现与用于对下一代视频编码的预测和编码的内容自适应划分相关的技术。在一些示例中，用于预测的内容自适应划分可以由编码器100的预测分区发生器模块105来执行。在一些示例中，用于编码的内容自适应划分可以由编码器100的编码分区发生器模块107来执行。在一些示例中，用于帧间预测等的用于预测的内容自适应划分可以由预测分区发生器模块105来执行，并且用于针对帧间预测等进行编码的内容自适应划分可以由编码器100的编码分区发生器模块107来执行。在一些示例中，用于帧内预测的预测/编码的内容自适应划分(例如，仅划分的一层)可以由编码器100的预测分区发生器模块105或编码分区发生器模块107来执行。此外，在一些示例中，基于编码的预测划分和/或编码划分，编码器100的编码分区装配器模块114和/或解码器200的编码分区装配器模块205可以将编码分区进行装配来形成预测分区。而且，在一些示例中，编码器100的预测分区装配器116和/或解码器200的预测分区装配器207可以将重构的预测分区进行装配来形成瓦片、超片段，可以将这样的瓦片和超片段进行装配以生成帧或图片。如所论述的，各种预测分区、编码分区、或瓦片或超片段可以用于如本文所论述的帧间预测、帧内预测、其他编码效率增强、或者图像或视频增强。
虽然图1和图2示出了特定的编码和解码模块，但是未被描绘的各种其他编码模块或部件还可以根据本公开被利用。此外，本公开不限于在图1和图2中所示出的特定的部件和/或各种部件被布置的方式。本文所描述的系统的各种部件可以被实现在软件、固件、和/或硬件和/或其任何组合中。例如，编码器100和/或解码器200的各种部件还可以至少部分地由例如可以在计算系统(例如，移动电话)中找到的计算片上系统(SoC)的硬件提供。
此外，可以认识到的是，编码器100可以与内容提供系统相关联和/或由内容提供系统提供，所述内容提供系统包括例如，视频内容服务器系统，并且输出比特流111可以通过各种通信部件和/或系统(例如，未在图1和图2中描绘的收发机、天线、网络系统等)被发送或传递到解码器(例如，解码器200)。还可以认识到的是，解码器200可以与客户端系统相关联，所述客户端系统例如计算设备(例如，桌面型计算机、膝上型计算机、平板计算机、可变换的膝上型计算机、移动电话等)，其是与编码器100远程的并且经由各种通信部件和/或系统(例如，未在图1和图2中描绘的收发机、天线、网络系统等)接收输入比特流201。因此，在各种实现中，编码器100和解码器子系统200可以被共同实现，或独立于另一个而被实现。
图3是根据本公开的至少一些实现布置的示例编码器子系统300的示意图。如图所示，编码器子系统300可以包括编码分区发生器模块107、编码控制器模块103、自适应变换模块108、自适应量化器模块109、和/或自适应熵编码器模块110。虽然图3中未示出，但是出于清晰呈现的理由，视频数据可以从差异确定器106、分区发生器模块105等输入到编码分区发生器模块107。由编码分区发生器模块107接收到的视频数据可以是任何适合的视频数据，诸如例如预测误差数据分区(例如，诸如用于帧间预测的预测分区的误差数据)。
例如，可以通过将帧划分成(相等或不同尺寸的)方形或矩形网格来生成视频帧的瓦片，或者可以通过例如根据视频帧生成瓦片以及根据视频帧来生成帧层(例如，基本上相同深度或其他特性的层)来形成超片段。然后，可以形成超片段，使得每个超片段是单独的瓦片中的单独的帧层。例如，具有一个帧层的瓦片将是单个超片段，而具有两个帧层的瓦片将划分成两个超片段，等等。值得注意的是，瓦片通常可以是方形的或矩形的，而超片段可以是任意形状(仅受粒度级约束)并且可以是连续的或不连续的。瓦片或超片段可以划分成潜在的预测分块，可以评估潜在预测分块以确定选定的预测分块(例如，预测分区的模式)。可以确定与选定的预测分块相关联的预测分区与原始像素数据的差异以确定预测误差数据分区。
在一些示例中，视频数据可以是原始预测分区数据或小波数据。在一些示例中，视频数据可以是帧内原始信号、帧内空间预测误差信号、小波数据、小波帧内LL带信号(例如，原始小波)、小波预测误差信号、帧内小波高带(例如，HL带、LH带或HH带)、运动补偿预测误差(例如，MCFD)信号、小波帧间LL带运动补偿预测误差信号、帧间小波高带(例如，HL带、LH带或HH带)、残留数据，等等。例如，视频数据可以提供或表示亮度数据或色度数据。如图所示，在示例编码器子系统300中，视频数据可以由编码分区发生器模块107的二分树编码划分器模块301来接收。
二分树编码划分器模块301可以利用如下面进一步参考图8论述的二分树划分技术将(例如)预测分区划分成多个分区。二分树编码划分器模块301可以提供灵活的划分，其可以允许沿水平方向和垂直方向交替地拆分成分区。这样的技术可以允许沿水平方向或垂直方向或者沿两个方向切割，并且由此可以允许多重的、灵活的分区。如图所示，编码分区(或潜在编码分区)可以从编码分区发生器模块107的二分树编码划分器模块301发送到自适应变换模块108。在各个示例中，编码分区可以是方形的或矩形的。虽然示出了二分树编码划分器模块301，但是在一些示例中，编码分区发生器模块107可以实现可以利用k-d树划分技术来划分预测分区的k-d树编码划分器模块。
如图所示，在一些示例中，自适应变换模块108可以包括内容自适应变换模块302和固定变换模块303，可以基于交换机304、305的操作来选择性地使用内容自适应变换模块302和固定变换模块303。例如，内容自适应变换可以包括具有内容相关的基函数的变换，可以根据对相邻视频数据(例如，相邻块、分区等)进行解码来确定内容相关的基函数。内容自适应变换可以与固定变换形成对比，固定变换可以具有固定的基函数，并且其中仅必须发送变换系数用来解码。如本文所使用的，内容自适应变换和固定变换二者可以使用自适应块尺寸，可以是离散变换，并且可以是二维可分离变换(例如，首先沿水平方向或垂直方向应用的，以及然后沿互补方向应用的变换)。
在一些示例中，内容自适应变换模块302可以应用内容自适应变换，诸如例如，参数变换、参数Haar变换、混合参数Haar变换(例如，沿一个方向的参数Haar变换以及沿正交方向的固定变换)、参数倾斜变换、混合参数倾斜变换，等等。在一些示例中，内容自适应变换模块302可以应用闭合式参数变换、闭合式混合参数变换、闭合式混合参数Haar变换、用于参数变换的闭合式解、或用于参数变换的闭合式表达式，等等。如所论述的，混合变换可以是可分离的2D变换，使得固定变换沿一个方向执行，以及参数变换沿正交方向执行。如图所示，在一些示例中，内容自适应变换模块302可以应用于小尺寸到中尺寸编码分区或者编码分区的小尺寸到中尺寸块。此处，这样的编码分区或变换块可以具有相同的尺寸，使得对于每种尺寸的编码分区，具有相同块尺寸的变换是可用的。在一些示例中，如果期望简化成更小数量的变换，则同样可以减小所允许的预测分区尺寸，或者可以通过编码器100来发送关于将编码分区细分成可用于变换的尺寸的进一步的信息。例如，小尺寸到中尺寸分区或块可以包括具有小于或等于16个像素的高度以及小于或等于16个像素的宽度的分区或块。例如，小尺寸到中尺寸分区或块可以包括具有4x4像素、4x8像素、8x4像素、8x8像素、4x16像素、16x4像素、8x16像素、16x8像素、16x16像素等尺寸的分区或块。
在一些示例中，固定变换模块303可以应用固定变换，诸如例如离散余弦变换、离散余弦变换近似器，等等。如图所示，在一些示例中，固定变换模块303可以应用于中尺寸到大尺寸编码分区或者编码分区的中尺寸到大尺寸块。例如，中尺寸到大尺寸编码分区或块可以包括具有大于或等于16个像素的高度以及大于或等于16个像素的宽度的编码分区或块。例如，中尺寸到大尺寸编码分区或块可以包括每个边具有至少16个像素宽的分区阵列(包括方形分区和矩形分区)，包括16x16像素、16x32像素、32x16像素、32x32像素、32x64像素、64x32像素、64x64像素等。在一些示例中，固定变换模块303可以利用高精度整数近似或高相关度整数变换来应用离散余弦变换。如所论述的，在一些示例中，在提供给内容自适应变换模块302的编码分区与提供给固定变换模块303的编码分区之间可能存在重叠。在这样的示例中，可以对提供给内容自适应变换模块302和固定变换模块303二者的编码分区进行评估以确定使用什么变换。在其他示例中，可能不存在重叠。例如，小尺寸到中尺寸的编码分区可以包括具有小于16个像素的宽度以及小于16个像素的高度等尺寸的编码分区，并且中尺寸到大尺寸的编码分区可以包括具有大于16个像素的宽度以及大于16个像素的高度等尺寸的编码分区。在其他示例中，可以实现启发式技术来确定将中尺寸块发送到哪个模块以用于变换处理。
如所述的，交换机304、305可以操作以从编码分区发生器107中选择用于编码分区的变换模块。在一些示例中，交换机304、305和/或编码分区发生器107可以在编码控制器103的率失真优化选择模块306或者经由编码控制器103实现的启发式参数的控制下操作。率失真优化选择模块306可以基于将小编码分区到中编码分区提供给内容自适应变换模块302以及将中编码分区到大编码分区提供给固定变换模块303等来确定用于编码分区的最佳选择以及可以引起最佳编码的相关联的变换尺寸。例如，一些开销(例如，附加的编码比特)可以与诸如变换数据的内容自适应变换相关联，解码器可能需要诸如变换数据的内容自适应变换来构造自适应基函数等。然而，可以通过发送重要信息来减少这样的开销，重要信息诸如例如包括变换类型(例如，xmtyp；例如，用于分区的变换是自适应的还是离散的)、变换方向(例如，xmdir；描述在混合变换中参数变换是水平的还是垂直的)、和/或变换模式(例如，xmmode；仅用于在使用预测差分信号或原始信号的模式选择之间的帧内编码信号)的一组指示符。如图3所示，这样的指示符或标记或数据等可以提供给自适应熵编码器模块110，以用于在诸如输出比特流111的比特流中进行编码。如图所示，编码控制器模块108还可以包括量化器/率控制器307，其可以控制自适应量化器模块109的量化器比率，诸如量化器(Qp)值。
图4是根据本公开的至少一些实现布置的示例编码器子系统400的示意图。如图所示，编码器子系统400可以包括编码分区发生器模块107、编码控制器模块103、自适应变换模块108、自适应量化器模块109、和/或自适应熵编码器模块110。虽然图4中为了清晰呈现的目的未示出，但是视频数据可以从差异确定器106、预测分区发生器模块105等输入到编码分区发生器模块107。如所论述的，由编码分区发生器模块107接收到的视频数据可以是任何适合的视频数据，诸如预测误差数据分区(例如，如用于帧间预测的预测分区的误差数据)，并且通过编码分区发生器模块107的二分树编码划分器模块301来接收视频数据。如所论述的，二分树编码划分器模块301可以利用二分树划分技术来将视频数据划分成多个分区。同样如所论述的，虽然示出了二分树编码划分器模块301，但是在一些示例中，编码分区发生器模块107可以实现k-d树编码划分器模块，所述k-d树编码划分器模块可以利用k-d树划分技术来对预测分区进行划分。
如图所示，在一些示例中，自适应变换模块108可以包括内容自适应变换模块402和固定变换模块403。内容自适应变换模块402可以应用具有内容相关的基函数的变换，可以根据如本文所论述的解码相邻视频数据来确定内容相关的基函数。在一些示例中，内容自适应变换模块402可以应用自适应变换，诸如例如参数变换、参数Haar变换、混合参数Haar变换(例如，沿一个方向的参数Haar变换以及沿正交方向的固定变换)、参数倾斜变换、混合参数倾斜变换，等等。在一些示例中，内容自适应变换模块402可以应用闭合式参数变换、闭合式混合参数变换、闭合式混合参数Haar变换、用于参数变换的闭合式解、或用于参数变换的闭合式表达式，等等。如图所示，在一些示例中，内容自适应变换模块402可以应用于小尺寸到中尺寸编码分区或块。例如，小尺寸到中尺寸编码分区或块可以包括具有小于或等于16个像素的高度以及小于或等于16个像素的宽度的编码分区或块。例如，小尺寸到中尺寸分区可以包括具有4x4像素、4x8像素、8x4像素、8x8像素、4x16像素、16x4像素、8x16像素、16x8像素、16x16像素等尺寸的分区。
在一些示例中，固定变换模块403可以应用固定变换，诸如例如离散余弦变换、离散余弦变换近似器，等等。如图所示，在一些示例中，固定变换模块403可以应用于小尺寸到大尺寸编码分区或块。在一些示例中，固定变换模块403可以应用于其所有的分区和/或块。例如，中尺寸到大尺寸编码分区或块可以包括具有大于或等于16个像素的高度以及大于或等于16个像素的宽度的编码分区或块。例如，中尺寸到大尺寸编码分区或块可以包括每个边具有至少16个像素的宽的编码分区或块阵列，所述编码分区或块阵列包括包含了16x16像素、16x32像素、32x16像素、32x32像素、32x64像素、64x32像素、64x64像素等的方形分区和矩形分区。在一些示例中，固定变换模块403可以利用高精度整数近似来应用离散余弦变换。如所论述的，在一些示例中，在提供给内容自适应变换模块402的分区与提供给固定变换模块403的分区之间可能存在重叠。
对于提供给内容自适应变换模块402和固定变换模块403二者的分区(例如，小尺寸到中尺寸编码分区或块)，可以基于经由率失真优化选择器模块306的权衡分析来做出使用哪个变换模块结果的决策。例如，可以确定编码分区和编码变换，其最终可以经由变换系数和开销数据(例如，如本文所述的用于变换类型、自适应变换方向和/或变换模式的指示符)来进行编码。对于中尺寸到大尺寸编码分区，因为固定变换仍可以应用于这样的编码分区或块，所以关于编码器子系统300的性能基本可能没有变化。编码器子系统400可以提供从编码效率/比特节约的视角，以附加的计算和决策开销为代价关于小尺寸到中尺寸编码分区或块做出最优决策的能力。
如所论述的，可以利用本文所论述的技术将一些开销数据从编码器提供给解码器。例如，可以提供包括变换类型(例如，xmtyp；例如，用于编码分区或块的变换是内容自适应的还是固定的)、变换方向(例如，xmdir；描述在混合内容自适应变换中参数变换是水平的还是垂直的)、和/或变换模式(例如，xmmode；仅用于使用预测差分信号或原始信号的模式选择之间的帧内编码信号)在内的一组指示符。如图4所示，这样的指示符或标记或数据等可以提供给自适应熵编码器模块110，以用于在诸如输出比特流111的比特流中进行编码。与图3的编码器子系统300相比，这样的开销数据在内容上可以相似或相同，但是在编码器子系统400的实现中可以更频繁地提供这样的开销数据。
图5是根据本公开的至少一些实现布置的示例编码器子系统500的示意图。如图所示，编码器子系统500可以包括编码分区发生器模块107、编码控制器模块108、自适应变换模块108、自适应量化器模块109、和/或自适应熵编码器模块110。虽然图5中未示出，但是为了清晰呈现的原因，视频数据可以从差异确定器106、预测分区发生器模块105等输入到编码分区发生器模块107。由编码分区发生器模块107接收到的视频数据可以是任何适合的视频数据，诸如例如预测误差数据分区、预测分区、瓦片或超片段、原始像素数据、小波数据、残留数据或者如本文所述的任何其他视频数据。视频数据可以提供或表示例如亮度数据或色度数据。如图所示，在示例编码器子系统500中，视频数据可以由编码分区发生器模块107来接收。
如图所示，编码分区发生器模块107可以包括k-d树帧内预测/编码划分器模块501和二分树编码划分器模块502。在交换机503的控制下，接收到的视频数据可以发送到k-d树帧内预测/编码划分器模块501或二分树编码划分器模块502。例如，交换机503可以基于视频数据的图片类型和/或与视频数据相关联的预测类型来对视频数据规定路线。例如，当图片类型是F/B-图片或P-图片以及预测类型是帧间预测或类似类型时，视频数据可以包括预测误差数据分区(例如，用于预测分区的误差数据或残差)，以及交换机503可以将视频数据路由到二分树编码划分器模块502，以用于划分成编码分区。例如，当图片类型是F/B-图片或P-图片以及预测类型是帧内预测时，视频数据可以包括瓦片或超片段视频，以及交换机503可以将视频数据路由到二分树编码划分器模块502以用于划分成可以被标记为预测分区或编码分区的分区(因为仅可以执行一种级别的划分)。如所述，在这样的示例中，可以通过二分树编码划分器模块502或预测分区发生器模块105来执行划分。当图片类型是I-图片(例如，可以利用帧内预测对其完全编码)时，视频数据可以包括瓦片或超片段，以及交换机503可以将视频数据路由到k-d树编码划分器模块501，以用于划分成可以被标记为预测分区或编码分区的分区(因为仅可以执行一种级别的划分)。如所述，在这样的示例中，可以通过k-d树编码划分器模块501或预测分区发生器模块105来执行划分。
虽然示出了二分树编码划分器模块502，但是在一些示例中，编码分区发生器模块107可以实现k-d树编码划分器模块，替代可以利用k-d树划分技术来划分预测分区的模块501。类似地，虽然示出了k-d树帧内预测/编码划分器模块501，但是在一些示例中，编码分区发生器模块107可以实现二分树编码划分器模块，替代可以利用二分树划分技术来划分预测分区的模块502。
如所述的，在一些示例中，诸如I-图片帧内编码，可以仅应用一层分块，其可被标记为预测分块或编码分块。在一些示例中，编码分区发生器107因此可以接收I-图片瓦片或超片段或帧，以用于通过k-d树帧内预测/编码划分器模块501利用k-d树划分技术来进行划分。在其他示例中，I-图片可能先前经由预测分区发生器105来进行划分，并且可能不再需要另外的划分。在这样的示例中，k-d树帧内预测/编码划分器模块501可以被绕过。在任一情况下，I-图片分区(被标记为预测分区或编码分区)可以发送到自适应变换模块108。
同样如所述的，在一些示例中，在P-图片或F/B-图片帧内编码，可以仅应用一层分块，其可以被标记为预测分块或编码分块。在一些示例中，编码分区发生器107因此可以接收P-图片或F/B-图片瓦片或超片段或帧，以用于通过二分树编码划分器模块502利用二分树划分技术来进行划分(在这样的情况下，二分树编码划分器模块501可以被视为二分树预测/编码划分器模块)。在其他示例中，P-图片或F/B-图片可能先前已经通过预测分区发生器105进行了划分，并且可能不再需要进一步的划分。在这样的示例中，二分树编码划分器模块502可以被绕过。在任一情况下，P-图片或F/B-图片分区(被标记为预测分区或编码分区)可以发送到自适应变换模块108。
在一些示例中，对于每个帧内预测分区，预测方向(例如，9个或31个预测方向中的1个预测方向)可以与帧内预测分区相关联，使得利用当前帧的同一瓦片中的过去解码的因果区域(causal area)、先前相邻瓦片和/或相邻分区的像素，可以对每个预测分区进行帧内预测。
二分树编码划分器模块502可以利用如下文结合图8进一步论述的二分树划分技术将视频数据划分成多个分区。二分树编码划分器模块502可以提供灵活的划分，其可以允许沿水平方向和垂直方向交替地拆分成分区。这样的技术可以允许沿水平方向或垂直方向或者沿两个方向进行切割，并且因此可以允许多个、灵活的分区。k-d树帧内预测/编码划分器模块501可以利用如下面结合图9进一步论述的k-d树划分技术将视频数据划分成多个分区。例如，k-d树帧内预测/编码划分器模块501可以提供甚至更大灵活度的划分，其可以允许在分区中点以及在沿分区的1/4点和3/4点在水平方向和垂直方向上交替地拆分成分区。这样的增加可能导致开销和计算增加，这对于例如I-图片是合理的。如图所示，分区或子分区(例如，用于预测的先前限定的分区的编码分区)可以从编码分区发生器模块107发送到自适应变换模块108。
首先以k-d树分区(例如，对于I-图片)为例，分区(例如，预测的或编码的)可以从k-d树帧内预测/编码划分器模块501或预测分区发生器模块105发送到自适应变换模块108。例如，可以利用k-d树划分技术将瓦片或超片段进行划分以生成分块(例如，用于预测的分区)。可以针对用于预测的分区来执行帧内预测以生成预测分区，可以确定预测分区与原始像素数据的差异以生成预测误差数据分区。如所论述的，可以基于率失真优化等来确定选定的分块。与选定的分块相关联的预测误差数据分区(和/或预测分区)可以发送到自适应变换模块108。如所述的，这样的预测分区可以交替地被标记为编码分区，这是因为仅可以执行单级分块。
如图所示，自适应变换模块108可以包括内容自适应变换模块504和固定变换模块505，可以基于交换机506、507的操作来选择性地操作内容自适应变换模块504和固定变换模块505。例如，内容自适应变换可以包括具有内容相关的基函数的变换或具有相关联的变换数据的变换，可以根据解码相邻视频数据(例如，相邻块、分区等)来确定内容相关的基函数，相关联的变换数据必须从解码器(例如，通过比特流)发送到解码器以用于解码，以及固定变换可以包括具有固定基函数的固定变换，并且在其中仅必须发送变换系数以用于解码，如上所述。
在一些示例中，内容自适应变换模块504可以应用自适应变换，诸如例如参数变换、参数Haar变换、混合参数Haar变换(例如，沿一个方向的参数Haar变换以及沿正交方向的固定变换)、参数倾斜变换、混合参数倾斜变换，等等。在一些示例中，内容自适应变换模块504可以应用闭合式参数变换、闭合式混合参数变换、闭合式混合参数Haar变换、用于参数变换的闭合式解或者用于参数变换的闭合式表达式，等等。如图所示，在一些示例中，内容自适应变换模块504可以应用于小尺寸到中尺寸分区。例如，小尺寸到中尺寸分区可以包括具有小于或等于16个像素的高度以及小于或等于16个像素的宽度的分区或块。例如，小尺寸到中尺寸的分区或块可以包括具有4x4像素、4x8像素、8x4像素、8x8像素、4x16像素、16x4像素、8x16像素、16x8像素、16x16像素等尺寸的分区。
在一些示例中，固定变换模块505可以应用固定变换，诸如例如离散余弦变换、离散余弦变换近似器等。如图所示，在一些示例中，固定变换模块505可以应用于中尺寸到大尺寸的分区或块。例如，中尺寸到大尺寸的分区或块可以包括具有大于或等于16个像素的高度以及大于或等于16个像素的宽度的分区。例如，中尺寸到大尺寸的分区或块可以包括每个边具有至少16个像素，包括16x16像素、16x32像素、32x16像素、32x32像素、32x64像素、64x32像素、64x64像素，等等宽(包括方形分区和矩形分区)的分区阵列。在一些示例中，固定变换模块505可以使用高精度整数近似来应用离散余弦变换。如所述的，在一些示例中，在提供给内容自适应变换模块504的分区与提供给固定变换模块505的分区之间可能存在重叠。在这样的示例中，可以对提供给内容自适应变换模块504和固定变换模块505二者的分区进行评估以确定使用何种变换。在其他示例中，可能不存在重叠。例如，小尺寸到中尺寸的分区或块可以包括具有小于16个像素的宽度以及小于16个像素的高度等的分区或块，以及中尺寸到大尺寸的像素可以包括具有大于16个像素的宽度以及大于16个像素的高度等的分区。在其他示例中，可以使用启发式技术来确定中尺寸块发送到哪个模块以用于变换处理。
如所述的，交换机506、507可以操作以选择用于k-d树分区(例如，I-图片的分区)的变换模块。在一些示例中，交换机506、507和/或编码分区发生器107可以在如上所述的编码控制器103的率失真优化选择器模块306的控制下操作，其可以将包括变换类型(例如，xmtyp；例如，用于分区的变换是自适应的还是离散的)、变换方向(例如，xmdir；描述在混合变换中参数变换是水平的还是垂直的)、和/或变换模式(例如，xmmode；仅用于在使用预测差分信号或原始信号模式选择之间的帧内编码信号)在内的指示符提供给自适应变换模块108。
现在转向二分树分区的示例，编码分区(例如，用于F/B-图片和P-图片的编码分区)可以发送到自适应变换模块108，如图所示，自适应变换模块108可以包括内容自适应变换模块508和固定变换模块509，可以基于交换机510、511的操作来选择性地操作内容自适应变换模块508和固定变换模块509。内容自适应变换模块508、固定变换模块509和交换机510、511可以类似于内容自适应变换模块504、固定变换模块505和交换机506、507地操作，并且为简要起见不对操作进行重复。如图所示，内容自适应变换模块108还可以包括交换机512，交换机512可以与交换机503相结合地操作以选择如上所述的各种视频数据(例如，与I-图片或F/B-图片和P-图片有关的视频数据分区)的恰当路径。
在图5的编码器子系统500中，在一些示例中，诸如混合参数Haar变换，可以仅对具有乘幂2的分区进行内容自适应变换。在这样的示例中，可以经由k-d树帧内预测/编码划分器模块501来施加约束，使得分区可以仅为乘幂2来适应可用的变换。在一些示例中，如果小分区到中分区可能未保持在乘幂2的尺寸，则可以对这样的分区使用固定变换(例如，离散余弦变换等)，而不需要额外的信令开销。
图6是根据本公开的至少一些实现布置的示例编码器子系统600的示意图。如图所示，编码器子系统600可以包括编码分区发生器模块107、编码控制器模块103、自适应变换模块108、自适应量化器模块109、和/或自适应熵编码器模块110。虽然为了呈现清晰的原因在图6中没有示出，但是视频数据可以从差异确定器106、预测分区发生器模块105等输入到编码分区发生器模块107。由编码分区发生器模块107接收到的视频数据可以是任何适合的视频数据，诸如例如预测误差数据分区、预测分区、瓦片或超片段、原始像素数据、小波数据、残差数据或如本文所述的任何其他视频数据。例如，视频数据可以提供或表示例如亮度数据或色度数据。如图所示，在示例编码器子系统500中，视频数据可以由编码分区发生器模块107来接收。
如图所示，编码分区发生器模块107可以包括k-d树帧内预测/编码划分器模块501和二分树编码划分器模块502，如上文结合图5所论述的，k-d树帧内预测/编码划分器模块501和二分树编码划分器模块502在交换机601的控制下操作。在交换机601的控制下，接收到的视频数据可以发送到k-d树帧内预测/编码划分器模块501或二分树编码划分器模块502。例如，交换机601可以基于视频数据的图片类型和/或与视频数据相关联的预测类型来路由视频数据。例如，当图片类型是F/B-图片或P-图片并且预测类型是帧间预测等时，视频数据可以包括预测误差数据分区(例如，用于预测分区的误差数据或残差)，并且交换机601可以将视频数据路由到二分树编码划分器模块502以用于划分成编码分区。例如，当图片类型是F/B-图片或P-图片并且预测类型是帧内预测时，视频数据可以包括瓦片或超片段视频，并且交换机601可以将视频数据路由到二分树编码划分器模块502以用于划分成可以被标记为预测分区或编码分区的分区(这是因为仅可以执行一个级别的划分)。如所述的，在这样的示例中，可以通过二分树编码划分器模块502或预测分区发生器模块105来执行划分。当图片类型是I-图片(例如，可以完全利用帧内预测来进行编码)时，视频数据可以包括瓦片或超片段，并且交换机503可以将视频数据路由到k-d树编码划分器模块501以用于划分成可以被标记为预测分区或编码分区的分区(这是因为仅可以执行一个级别的划分)。如所述的，在这样的示例中，可以通过k-d树编码划分器模块501或预测分区发生器模块105来执行划分。
如所述的，虽然示出了二分树编码划分器模块502，但是在一些示例中，编码分区发生器模块107可以实现k-d树编码划分器模块，来替代可以利用k-d树划分技术来划分预测分区的模块501。类似地，虽然示出了k-d树帧内预测/编码划分器模块501，但是在一些示例中，编码分区发生器模块107可以实现二分树编码划分器模块，来替代可以利用二分树划分技术来划分预测分区的模块502。
如所述的，在一些示例中，诸如在I-图片帧内编码中，仅可以应用一层划分，其可以被标记为预测划分或编码划分。在一些示例中，编码分区发生器107因此可以接收I-图片瓦片或超片段或帧，以用于通过k-d树帧内预测/编码划分器模块501利用k-d树划分技术来进行划分。在其他示例中，I-图片可能先前已经通过预测分区发生器105进行了划分，并且因此不需要进一步划分。在这样的示例中，k-d树帧内预测/编码划分器模块501可以被绕过。在任一情况下，I-图片分区(被标记为预测分区或编码分区)可以发送到自适应变换模块108。
而且如所述的，在一些示例中，在P-图片或F/B-图片帧内编码中，仅可以应用一层划分，其可以被标记为预测划分或编码划分。在一些示例中，编码分区发生器107因此可以接收P-图片或F/B-图片瓦片或超片段或帧，以用于通过二分树编码划分器模块502利用二分树划分技术来进行划分(在这样的情况下二分树编码划分器模块501可以被视为二分树预测/编码划分器模块)。在其他示例中，P-图片或F/B-图片可能先前已经通过预测分区发生器105进行了划分，并且因此不需要进一步的划分。在这样的示例中，示例二分树编码划分器模块502可以被绕过。在任一情况下，P-图片或F/B-图片分区(被标记为预测分区或编码分区)可以发送到自适应变换模块108。
二分树编码划分器模块502可以利用如下文结合图8所述的二分树划分技术将视频数据划分成多个分区。k-d树帧内预测/编码划分器模块501可以利用如下文结合图9进一步论述的k-d树划分技术将视频数据划分成多个分区。二分树编码划分器模块502可以利用二分树划分技术将预测误差数据分区(例如)划分成多个编码分区，并且k-d树帧内预测/编码划分器模块501可以利用如本文所述的k-d树划分技术将视频数据(例如，I-图片瓦片或超片段)划分成多个分区。如图6所示，编码分区，或者在I-图片的情况下，编码分区或预测分区(如所标记的)可以从编码分区发生器模块107发送到自适应变换模块108。
首先以k-d树分区为例，分区(例如，用于I-图片)可以发送到自适应变换模块108的内容自适应变换模块602和固定变换模块603。例如，可以利用k-d树划分技术来划分瓦片或超片段以生成分块(例如，用于预测的分区)。可以对用于预测的分区执行帧内预测以生成预测分区，可以确定预测分区与原始像素数据的差异以生成预测误差数据分区。如所述的，可以基于率失真优化等来确定选定的分块。与选定的分块相关联的预测误差数据分区(和/或预测分区)可以发送到自适应变换模块108。如所述的，这样的预测分区可以可选地被标记为编码分区，这是因为仅可以执行单一级别的划分。
如图所示，自适应变换模块108可以包括内容自适应变换模块602和固定变换模块603。例如，内容自适应变换可以包括具有内容相关的基函数的变换或具有相关联的变换数据的变换，可以根据对相邻视频数据(例如，相邻的块或分区等)进行解码来确定内容相关基函数，而相关联的变换数据必须从编码器(例如经由比特流)发送到解码器以便进行解码，并且固定变换可以包括具有固定基函数的变换，并且在其中必须仅发送变换系数以用于解码，如上所述的。
在一些示例中，内容自适应变换模块602可以应用自适应变换，诸如例如参数变换、参数Haar变换、混合参数Haar变换(例如，沿一个方向的参数Haar变换以及沿正交方向的固定变换)、参数倾斜变换、混合参数倾斜变换，等等。在一些示例中，内容自适应变换模块602可以应用闭合式参数变换、闭合式混合参数变换、闭合式混合参数Haar变换、用于参数变换的闭合式解、或用于参数变换的闭合式表达式，等等。如图所示，在一些示例中，内容自适应变换模块602可以应用于小尺寸到中尺寸的分区或块。例如，小尺寸到中尺寸的分区或块可以包括具有小于或等于16个像素的高度以及小于或等于16个像素的宽度的分区或块。例如，小尺寸到中尺寸的分区或块可以包括具有4x4像素、4x8像素、8x4像素、8x8像素、4x16像素、16x4像素、8x16像素、16x8像素、16x16像素等尺寸的分区或块。
在一些示例中，固定变换模块603可以应用固定变换，诸如例如离散余弦变换、离散余弦变换近似器，等等。如图所示，在一些示例中，固定变换模块603可以应用于中尺寸到大尺寸的分区或块。例如，中尺寸到大尺寸的分区或块可以包括具有大于或等于16个像素的高度以及大于或等于16个像素的宽度的分区或块。例如，中尺寸到大尺寸的分区或块可以包括每个边具有至少16个像素，包括16x16像素、16x32像素、32x16像素、32x32像素、32x64像素、64x32像素、64x64像素，等等宽(包括方形分区或矩形分区)的分区或块阵列。在一些示例中，固定变换模块603可以利用高精度整数近似来应用离散余弦变换。
现在转向二分树划分的示例，编码分区(例如，用于F/B-图片和P-图片的编码分区)可以发送到自适应变换模块108的自适应变换模块604和固定变换模块605。自适应变换模块604和固定变换模块605可以类似于自适应变换模块602和固定变换模块604操作，并且为简洁起见不对操作进行重复。如图所示，自适应变换模块108还可以包括交换机606，交换机606可以与交换机601相结合地工作，以选择用于各种视频数据的恰当路径。
对于提供给内容自适应变换模块602和固定变换模块603二者的分区或者提供给内容自适应变换模块604和固定变换模块605二者的分区(例如，小尺寸到中尺寸的分区)，可以通过率失真优化选择器模块306基于权衡分析来做出关于使用什么变换模块结果的决策。对于中尺寸到大尺寸的分区，关于编码器子系统500的性能基本上没有变化，这是因为固定变换仍可以应用于这样的分区。编码器子系统600可以提供从编码效率/比特节约的视角关于小尺寸到中尺寸分区，以额外的计算和决策开销为代价来做出最优决策的能力。这样的开销可以被编码为一组指示符，指示符包括变换类型(例如，xmtyp；例如，用于分区的变换是自适应的还是离散的)、变换方向(例如，xmdir；描述在混合变换中参数变换是水平的还是垂直的)、和/或变换模式(例如，xmmode；仅用于在使用预测差分信号或原始信号的模式选择之间的帧内编码信号)。如图6所示，这样的指示符或标记或数据等可以提供给自适应熵编码器模块110，以用于在诸如输出比特流111的比特流中进行编码。
如参考图3-6所论述的，可以对各种分区(例如，用于帧间预测的F/B-图片或P-图片的编码分区或者用于帧内预测的I-图片、F/B-图片或P-图片的预测/编码分区)进行变换编码。在这样的示例中，与分区相关联的数据(例如，描述分区的尺寸或位置等的数据)也可以通过诸如输出比特流111等比特流来提供。
此外，如所述的，已经在各种上下文(例如，图片类型和/或亮度或色度)中论述了小分区、中分区和大分区的概念。下面的表格在一些实现中示出了示例块尺寸和相关联的变换类型。
例如，表1示出了用于诸如用于亮度(例如，用于k-d树分区)的帧内编码(例如，用于I-图片)的混合参数Haar变换(例如，小尺寸到中尺寸预测/编码分区)的内容自适应变换的示例分区或块尺寸。
分区尺寸
4x4
4x8
4x16
8x4
16x4
8x8
8x16
16x8
16x16
表1：用于亮度的帧内编码的内容自适应变换的示例分区
例如，表2示出了用于诸如用于色度(例如，用于k-d树分区)的帧内编码(例如，用于I-图片)的混合参数Haar变换(例如，小尺寸到中尺寸的预测/编码分区)的内容自适应变换的示例分区。
分区尺寸
2x2
2x4
2x8
4x2
8x2
4x4
4x8
8x4
8x8
表2：用于色度的帧内编码的内容自适应变换的示例分区
例如，表3示出了用于诸如用于亮度(例如，用于二分树分区)的帧间编码(例如，用于F/B-图片和P-图片)的混合参数Haar变换(例如，小尺寸到中尺寸的编码分区)的内容自适应变换的示例分区。
分区尺寸
4x4
8x8
16x16
表3：用于亮度的帧间编码的内容自适应变换的示例分区
例如，表4示出了用于诸如用于色度(例如，用于二分树分区)的帧间编码(例如，用于F/B-图片和P-图片)的混合参数Haar变换(例如，小尺寸到中尺寸的编码分区)的内容自适应变换的示例分区。
分区尺寸
2x2
4x4
8x8
表4：用于色度的帧间编码的内容自适应变换的示例分区
例如，对于诸如用于帧内编码(例如，使用k-d树分区的I-图片)以及用于帧间编码(例如，使用二分树分区的F/B-图片和P-图片)的离散余弦变换(例如，所有的编码分区)的固定变换，具有从4x4到64x64的以4为因数的所有尺寸的组合可以具有可应用的变换。类似地，对于固定变换或亮度，具有从2x2到32x32的以2为因数的所有尺寸的组合可以具有可应用的变换。
图7是示出了根据本公开的至少一些实现布置的示例过程700的示意图。过程700可以包括如操作702、704、706和/或708中的一个或多个所示的一个或多个操作、功能或动作。过程700可以形成下一代视频编码过程的至少部分。通过非限制性的示例，过程700可以形成如图1的编码器系统100和/或图3-6的编码器子系统300、400、500和/或600中的任一个所实施的下一代视频编码过程的至少部分。
过程700可以开始于操作702，“接收用于变换编码的预测误差数据分区”，其中可以接收预测误差数据分区以用于变换编码。例如，可以通过编码分区发生器模块107或类似模块来接收一个或多个预测误差数据分区。如所论述的，在一些示例中，可以接收预测误差数据分区。在其他示例中，可以接收编码分区或原始像素数据的分区以用于变换编码。
过程700可以在操作704继续，“对预测误差数据分区进行划分以生成多个编码分区”，其中可以对预测误差数据分区进行划分以生成多个编码分区。例如，可以通过如本文所述的编码分区发生器模块107的二分树编码划分器模块或k-d树编码划分器模块来对诸如预测误差数据的视频数据进行划分。在一些示例中，可以通过二分树编码划分器模块来对与F/B-图片或P-图片相关联的视频数据进行划分。在一些示例中，可以通过k-d树编码划分器模块来对与I-图片相关联的视频数据进行划分。在一些示例中，通过k-d树编码划分器模块划分的视频数据可以包括I-图片的瓦片或超片段等。在一些示例中，可以通过一个或多个交换机来选择或选出编码划分器模块。
过程700可以在操作706继续，“对多个编码分区的第一子集执行内容自适应变换”，其中可以对多个编码分区的第一子集执行内容自适应变换。例如，可以对包括如本文所述的小尺寸到中尺寸的编码分区的多个编码分区的子集来执行内容自适应变换。在一些示例中，可以在交换机的控制下对包括小尺寸到中尺寸编码分区的多个分区的子集执行内容自适应变换。在一些示例中，内容自适应变换可以是闭合式参数变换，诸如闭合式混合参数变换或闭合式混合参数Haar变换。在一些示例中，内容自适应变换可以包括用于参数变换的闭合式解。可以对多个编码分区的单个编码分区来执行内容自适应变换以生成与单个编码分区相关联的变换系数。
过程700可以在操作708继续，“对多个编码分区的第二子集执行固定变换”，其中可以对多个编码分区的第二子集执行固定变换。在一些示例中，可以对包括如本文所述的中尺寸到大尺寸的编码分区在内的多个编码分区的子集执行固定变换。在一些示例中，可以在交换机的控制下对包括中尺寸到大尺寸编码分区在内的多个编码分区的子集执行固定变换。在一些示例中，可以对包括小尺寸到大尺寸编码分区或者基本上全部的编码分区在内的多个编码分区的子集执行固定变换。在这样的示例中，对于那些利用内容自适应变换和固定变换二者进行变换的编码分区，可以基于比特代价分析、性能优化、率失真优化等来选择任一个。
过程700可以经由如本文所述的编码器子系统300、400、500或600中的任一个来实现。此外，可以对诸如预测误差数据分区、原始数据分区或小波数据等视频数据的任意数量的具体实例串行地或者并行地重复过程700(例如，在操作702，过程700可以接收原始数据或小波数据来类似于所述预测误差数据分析进行处理)。在一些示例中，操作704可以仅包括二分树划分(例如，如结合编码器子系统300和400所示的)。在其他示例中，操作704可以包括基于目标视频数据的图片类型的二分树划分或k-d树划分(例如，如结合编码器子系统500和600所示的)。类似地，在一些示例中，可以对同一编码分区执行操作706和708，并且最优变换可以用来对视频数据进行编码。在一些示例中，可以基于如本文所论述的分区尺寸等来对不同分区执行操作706和708。此外，如本文其他地方所论述的，可以将基于操作706和708所确定的变换系数以及开销比特(例如，指示符等)进行扫描、量化和编码到比特流中，以便发送到例如一个或多个解码器。
如所论述的，可以在各个实现中对视频数据进行分区。而且，如所论述的，视频数据可以是视频帧的瓦片或超片段的预测分区。在一些示例中，使用瓦片可以提供简化的优势，而超片段可能更加复杂，但是可以提供增强帧间或帧内预测或图像增强的优势。在任意情况下，可以如本文所述地利用例如二分树划分技术或k-d树划分技术来对视频数据进行划分。
同样如所述的，可以对单个编码分区执行闭合式参数变换以生成与单个编码分区相关联的变换系数。在一些示例中，可以通过自适应量化器模块109等将所生成的变换系数进行量化以生成量化的变换系数。可以通过自适应熵编码器模块110等将与量化的变换系数(例如，编码的量化的变换系数等)相关联的数据熵编码到比特流中以用于发送到例如解码器系统。
图8示出了根据本公开的至少一些实现布置的使用二分树划分技术的视频数据800的示例划分。如图所示，在一些示例中，视频数据800可以包括方形形状。如所述的，在各个示例中，视频数据800可以包括任何适合的形状。此外，视频数据800可以包括如本文所述的预测分区、瓦片或超片段等。如所述的，在一些示例中，可以在F/B-图片或P-图片的上下文中将二分树划分应用于预测误差数据分区以生成编码分区。
如图8所示，二分树划分可以包括划分的进展。起始于视频数据800，分区1可以定义为视频数据800本身。分区1可以被垂直地划分成两个分区2、3。分区2、3中的每一个可以被进一步划分，这次垂直地划分成分区4、5(例如，分区3的分区)和分区6、7(例如，分区2的分区)。图8的第二行(从上方起)示出了将分区3进一步垂直划分成分区8、9，以及将分区2进一步垂直划分成分区10、11。图8的第三行(从上方起)示出了水平划分(例如，不是第一行(从上方起)的垂直划分)来由分区1生成分区12、13。图8的第三行(从上方起)还示出了将分区12、13进一步垂直划分以生成分区14、15(例如，分区13的分区)和分区16、17(例如，分区12的分区)。第四行或最底行示出了分区12的进一步水平划分以生成分区18、19以及分区13的进一步水平划分以生成分区20、21。如图所示，可以递归地使用二分树划分，一次一个维度(例如，水平地和垂直地)以将每个分区细分或划分成两个等同的分区，直到可以达到最小的分区尺寸。二分树划分可以将帧部划分成多种组合，并且可以提供分区的顺利进展。
图9示出了根据本公开的至少一些实现布置的利用k-d树划分技术对视频数据900的示例划分。如图所示，在一些示例中，视频数据900可以包括方形形状。如所论述的，在各个示例中，视频数据900可以包括任何适合的形状。此外，视频数据900可以包括预测分区、瓦片或超片段等，如本文所述的。如所述的，在一些示例中，可以在I-图片的上下文中将k-d树划分应用于瓦片或超片段以生成可以被标记为预测分区或编码分区的单个级别的划分，并且可以通过预测分区发生器模块105或编码分区发生器模块107来实现。
如图9所示，k-d树划分可以包括划分的进展。此外，如图所示，k-d树划分可以是二分树划分的超集，使得图9的行1-4(开始于图9的上方)可以匹配图8的行1-4。在一些示例中，图9所示的k-d树划分的过程可以迭代地将视频数据900划分成特定维度(例如，垂直的或水平的)上的四个矩形分区。以帧部分900开始，分区1可以定义为帧部分900本身。分区1可以被垂直地划分成两个分区2、3。分区2、3中的每一个可以被进一步划分，这次垂直地划分成分区4、5(例如，分区3的分区)以及分区6、7(例如，分区2的分区)。图9的第二行(从上方起)示出了分区3进一步垂直划分成分区8、9以及分区2进一步垂直划分成分区10、11。图9的第三行(从上方起)示出了进行水平划分(例如，不是第一行(从上方起)的垂直划分)以由分区1生成分区12、13。图9的第三行(从上方起)还示出了将分区12、13进一步垂直划分以生成分区14、15(例如，分区13的分区)和分区16、17(例如，分区12的分区)。第四行(从上方起)示出了分区12进一步水平划分以生成分区18、19以及将分区13进一步水平划分以生成分区20、21。
如所论述的，通过第四行，k-d树划分可以基本上匹配二分树划分。如在图9的第五行(从上方起)所示出的，视频数据900可以垂直地划分成1/4尺寸和3/4尺寸的分区以生成分区22、23。此外，分区23可以垂直地对半划分以生成分区24、25，并且分区22可以垂直地对半划分以形成分区26、27。如图9的第六行或最底行所示，视频数据900可以水平地划分成1/4尺寸和3/4尺寸的分区以生成分区28、29。此外，分区28可以水平地对半划分以生成分区30、31，以及分区29可以水平地对半划分以形成分区32、33。这样的划分过程可以递归地、交替维度(例如，水平的和垂直的)重复，以将每个分区细分或划分成2个等同的部分(半部)和2个不等同的部分(例如，以1：3的比率)，直到可以达到最小的分区尺寸。k-d树划分可以将帧部划分成各种组合，不仅是在分区和子分区(等等)的中点，而是在每次访问时以更大的精度。在示出的示例中，使用四分之一精度。在其他示例中，可以使用任意精度，可以使用诸如三分之一、五分之一等。
如结合图8和图9所论述的，可以将视频数据划分成各种分区。分区的每一个可以用索引值进行编索引并且发送到编码控制器103(请参考图1)。被编索引的和发送的分区可以包括数百分区，例如，通过各种划分技术来应用的分区(例如，划分或划分方案可以包括分区模式)。可以如结合图1所述的使用(例如选定的划分的)一个或多个分区，以用于变换编码。可以将与变换编码相关联的数据(例如，所需要的变换系数和变换数据)以及限定所使用分区的数据进行编码在比特流中，如下文进一步论述的。
在一些示例中，可以限制或约束各种划分选项。这样的约束可以在二分树划分示例或k-d树划分示例中应用。例如，划分视频数据可以包括：将第一分区预定义为在第一维度上(例如，水平或垂直)将视频数据对半分以及将第二分区预定义为在第二维度上(例如，与第一对半分的维度相反)将结果对半分。仅在例如这样的初始约束划分之后才可以得到进一步的分区，使得基于初始视频数据的其他可选分区将不再可用。这样的约束可以提供以64x64像素视频数据开始以及将视频数据划分成32x32尺寸的子部分，以及然后通过k-d树或二分树划分来划分每个子部分，这样可以限制分区的数量。
如所述的，分区可以用于变换编码。分区可以被定义(例如，可以定义它们的形状和/或位置)以由编码器和/或解码器使用。在一些示例中，可以利用基于像素块的符号运行编码来定义单个分区。在其他示例中，可以利用码本来定义单个分区。表5示出了用于定义瓦片或超片段的分区的具有32x32像素的片段尺寸的条目的示例二分树划分码本。在表5中，大的X表示非终结分区。
表5：二分树划分码本条目的示例
表6示出了用于定义分区的具有32x32像素的分片尺寸的条目的示例k-d树划分码本。
表6：k-d树划分码本条目的示例
表5和表6仅示出了示例码本条目。条目的完整码本可以提供全部的或者基本上全部的所有可能条目及其编码的列表。在一些示例中，码本可以考虑到如上所述的约束。在一些示例中，与用于分区(预测或编码)的码本条目相关联的数据可以被编码在比特流中以用于在解码器中使用，如本文所述的。
如所述的，在各个实现中，内容自适应变换可以应用于编码分区以进行变换编码。此外，变换系数以及所需的变换数据(例如，重构变换所需的数据；在一些示例中其可以缩减成变换类型、方向和/或模式)可以经熵编码并且发送到解码器以用于解码。论述现在转向用于各个实现的内容自适应变换示例。
图10(A)、10(B)和10(C)示出了根据本公开的至少一些实现布置的操作于编码分区1000上的示例参数变换和混合参数变换。如图10(A)、10(B)和10(C)所示，编码分区1000可以包括如本文所述的任何编码分区，任何编码分区包括预测误差数据分区、原始视频数据、残差视频数据、差分信号、小波数据等的编码分区。如图所示，编码分区1000可以是具有如本文所述的任意尺寸的MxN分区。在一些示例中，编码分区1000可以是小尺寸到中尺寸的分区。而且，如图所示，在各个示例中，不同的变换可以相对于编码分区1000应用于水平方向和垂直方向。
参考图10(A)，在一些示例中，一维(1D)内容自适应变换可以沿水平方向(例如，1D内容自适应变换1002)和垂直方向(例如，1D内容自适应变换1001)二者应用于编码分区1000。在各个示例中，1D内容自适应变换1001和1D内容自适应变换1002可以包括本文所述的任意内容自适应变换。在一些示例中，1D内容自适应变换1001和1D内容自适应变换1002可以为相同的变换，而在其他示例中，它们可以不同。
现在参考图10(B)和图10(C)，在一些示例中，1D内容自适应变换可以沿一个方向(例如，水平或垂直)应用，而1D固定变换可以沿正交方向应用以生成2D混合变换(例如，2D自适应变换)。例如，图10(B)示出了沿水平方向应用的1D内容自适应变换1012以及沿垂直方向应用的1D固定变换1011，并且图10(C)示出了沿水平方向应用的1D固定变换1022以及沿垂直方向应用的1D内容自适应变换1021。在各个示例中，1D内容自适应变换1012、1021可以包括本文所述的任意内容自适应变换，并且1D固定变换1011、1022可以包括本文所述的任意固定变换。在一些示例中，内容自适应变换的方向(例如，水平或垂直)可以被视为内容自适应变换方向或参数变换方向等。在一些示例中，固定变换可以在与内容自适应变换方向或参数变换方向正交的方向上执行。
如所述的，各种变换可以应用于预测误差数据分块或编码分区或原始像素数据的分区。例如，可以应用闭合式参数变换。闭合式参数变换可以是闭合式混合参数变换，诸如闭合式混合参数Haar变换，包括沿一个方向应用的一维参数Haar变换和沿正交方向执行的一维固定变换。
为示例说明的目的，以参数Haar变换(PHT)作为内容自适应变换的示例以及以离散余弦变换(DCT)作为固定变换的示例，提供了下面的示例。例如，用于4x4PHT的基矩阵可以由[TPHT]4x4来表示，4x4DCT的基矩阵可以由[TDCT]4x4来表示。如本文所述的，可以通过沿一个方向应用PHT以及沿正交方向应用固定变换来生成混合PHT(HPHT)。可以确定利于PHT的方向(例如，水平或垂直)。确定特定方向是否有利可以基于在前相邻重构块之间的比较、在前相邻预测误差块之间的比较等，如图11(A)和图11(B)所示。此外，如图11(A)和图11(B)所示，与闭合式参数变换等相关联的基函数参数可以基于先前解码(相邻)的视频数据来确定。
图11(A)和图11(B)示出了根据本公开的至少一些实现布置的相对于编码分区1000的示例相邻重构视频数据1101、1102。如图11(A)所示，在一些示例中，相邻视频数据1101(例如，相邻先前解码的和/或重构的块、因果数据等)可以相对于编码分区1000在垂直方向上。在这样的示例中，1D内容自适应变换1012可以在水平方向上操作，如图所示。如图11(B)所示，在一些示例中，相邻的视频数据1102(例如，相邻的先前重构的块、因果数据等)可以相对于编码分区1000在水平方向上。在这样的示例中，1D内容自适应变换1021可以在垂直方向上操作，如图所示。在一些示例中，相邻的视频数据可以相对于分区1000存在于垂直方向和水平方向二者上。在这样的示例中，可以使用自适应变换的默认方向，或者可以对相邻视频数据进行评估以确定最佳选择方向。在各个示例中，先前解码的视频数据可以包括相对于编码分区1000在上方、下方、左侧、右侧或成对角的相邻数据。
现在转到图10(B)和图10(C)，继续上述的4x4HPHT示例，假设为了示例原因要变换由[S]4x2表示的尺寸为4x2的编码分区，以及内容自适应变换(例如，在该示例中为PHT)的有利方向是垂直方向，正向编码变换可以确定如下：
[ C ] 4 x 2 = [ T P H T ] 4 x 4 [ S ] 4 x 2 [ T D C T ] 2 x 2 T
其中[C]4x2可以是变换系数。
出于举例示出的目的，取参数Haar变换(PHT)作为内容自适应变换以及离散余弦变换(DCT)作为固定变换的另一示例，8x8PHT的基矩阵可以由[TPHT]8x8表示，以及4x4DCT的基矩阵可以由[TDCT]4x4表示。如本文所述，混合PHT(HPHT)可以通过沿一个方向应用PHT(或任何内容自适应变换)而沿正交方向应用固定变换来生成。如所述的，内容自适应变换(例如，PHT)和固定变换可以是分离的，以及因此可以展现出可分离性。假设为了示例原因要变换由[S]4x8表示的尺寸为4x8的编码分区并且内容自适应变换(例如，在该示例中为PHT)的有利方向是水平方向，则正向编码变换可以确定如下：
[ C ] 4 x 8 = [ T D C T ] 4 x 4 [ S ] 4 x 8 [ T P H T ] 8 x 8 T
其中，[C]4x2可以是变换系数。
类似于所述的示例，可以针对如本文所述的任何尺寸的分区来确定变换系数。
如参考图11(A)和图11(B)所论述的，在一些示例中，相邻的视频数据(例如，先前解码的相邻的视频数据或因果数据等)可以相对于正在进行变换编码的编码分区为垂直的或水平的。在其他示例中，相邻的视频数据可以相对于分区为有角度的或倾斜的。
图12示出了根据本公开的至少一些实现布置的用于编码分区1202的示例相邻的重构视频数据1201。如图12所示，相对于编码分区1202成对角或有一定斜度的相邻的重构视频数据1201可以用于内容自适应变换0-3。在这样的示例中，1D内容自适应变换1211可以在水平方向上执行，1D固定垂直变换1212可以在垂直方向上(如图所示)执行，或者1D内容自适应变换可以在垂直方向上进行，而1D固定垂直变换可以在水平方向上执行。
如所述的，诸如因果数据的相邻的重构视频数据可以用来确定参数变换的至少一部分，诸如基函数参数等。在一些示例中，因果数据可以包括因果残差或误差数据(例如，在正在执行帧间编码的示例中)或因果像素。在一些示例中，例如，可以通过率失真优化选择器模块306(请参考图3-6)基于比特代价来做出因果残差与因果像素之间的选择。在一些示例中，可以在帧内编码环境下做出这样的优化选择。在残差值或误差数据不可用的一些示例中(例如，在帧内编码中)，可以通过确定因果像素沿给定方向的标准化加权和以及确定最近邻因果像素与标准化加权和的差异来确定残差值，来确定重新计算的残差。
如所述的，在一些示例中，内容自适应变换可以包括固定变换和参数变换的混合。在一些示例中，混合变换可以是垂直的混合变换，使得参数变换应用于行而固定变换应用于列。在一些示例中，用于变换合成的输入数据(例如，相邻的重构视频数据等)向量可以是块之上的紧邻的重构行。在一些示例中，用于合成的输入数据向量还可以是上面的行或子像素插值像素或因果残差或计算残差等的标准化加权和。
在其他示例中，混合变换可以是水平混合变换，使得参数变换应用于列，而固定变换应用于行。在一些示例中，用于变换合成的输入数据(例如，相邻的重构视频数据)向量可以是块左侧的紧邻重构列。在一些示例中，用于合成的输入数据向量还可以是列或子像素插值像素或因果残差或计算残差的标准化加权和。
而且，如所述的，在一些示例中，可以执行闭合式参数变换。在一些示例中，闭合式参数变换可以包括闭合式混合参数变换，闭合式混合参数变换具有沿参数变换方向的一维参数变换以及沿与参数变换方向正交的方向的一维固定变换。在一些示例中，一维参数变换可以包括参数Haar变换(例如，一维参数Haar变换)或参数倾斜变换等。在一些示例中，一维固定变换可以包括离散余弦变换(例如，一维离散余弦变换)或离散余弦变换近似器(例如，一维离散余弦变换近似器)等。
在一些示例中，内容自适应变换(或在第一基函数上的快速卷积)可以应用于输入数据向量，并且所得到的系数可以用于如本文所述的系数预测。
在一些示例中，诸如内容自适应变换的定向变换可以应用于重布置的像素。例如，定向内容自适应变换可以被设计为每个行或列(取决于如本文所述的内容自适应变换的方向)都具有重布置的像素。在这样的示例中，内容自适应变换可以应用于重布置的像素(或像素值、视频数据等)，并且可以利用如所述的相邻的重构视频数据来预测每个像素。
图13示出了根据本公开的至少一些实现布置的通过参数变换使用来对具有斜度的编码分区进行编码的对像素的定向重布置。如图所示，可以根据由线1301来指示的角梯度或斜度来重布置像素0-17。对像素的示例重排序在表7A和7B中示出如下：
P00 P12 P01 P13
P10 P22 P11 P23
P20 P32 P21 P33
P30 P31 P02 P03
表7A：4x4定向变换重布置
7 7 8 8
5 5 6 6
3 3 4 4
1 2 10 12
表7B：使用子像素的4x4定向变换
如所述的，可以对预测误差数据分区进行划分以生成编码分区。此外，可以利用符号运行编码或码本等来表征或定义编码分区。在各个示例中，可以利用内容自适应变换或固定变换来对编码分区进行变换编码以生成变换系数。而且，如所述的，与所描述的分区(例如变换系数或量化的变换系数)相关联的数据、开销数据(例如，如本文所述的用于变换类型、自适应变换方向和/或变换模式的指示符)、和/或表征分区的数据等等可以被编码(例如，通过熵编码器)成比特流。可以将比特流传送给解码器，解码器可以使用编码的比特流来对视频帧进行解码以用于显示。
图14示出了根据本公开的至少一些实现布置的示例比特流1400。在一些示例中，比特流1400可以与如图1所示的输出比特流111和/或如图2所示的输入比特流201相对应。虽然为了呈现清晰的原因在图14中没有示出，但是在一些示例中，比特流1400可以包括报头部分和数据部分。在各个示例中，比特流1400可以包括与如本文所述的对视频帧进行编码相关联的数据、指示符、索引值、模式选择数据等。如图所示，在一些示例中，比特流1400可以包括第一编码分区定义数据1410、第一编码分区变换系数数据1420、第一编码分区指示符1430、第二编码分区定义数据1440、第二编码分区变换系数数据1450、和/或第二编码分区指示符1460。示出的数据可以在比特流1400中以任何顺序，并且可以邻近各种用于对视频进行编码的附加数据中的任意其他数据或者通过各种用于对视频编码的附加数据中的任意其他数据进行分离。
例如，第一编码分区定义数据1410和/或第二编码分区定义数据1440可以包括与通过编码分区发生器107定义的编码分区相关联的数据。例如，第一编码分区定义数据1410和/或第二编码分区定义数据1440可以包括与利用符号运行编码或码本技术等来定义二分树分区或k-d树分区相关联的数据。例如，第一编码分区定义数据1410和第二编码分区定义数据1440可以分别与第一分区和第二分区相关联。比特流1400可以包括用于任意数量分区的编码分区定义数据。
此外，第一编码分区变换系数数据1420和/或第二编码分区变换编码系数数据1450可以包括通过如本文所述的任意内容自适应变换或固定正向变换确定的变换系数。在一些示例中，变换系数可以是量化的变换系数。在一些示例中，变换系数可以是经过量化和扫描的。例如，第一编码分区变换系数数据1410和第二编码分区变换系数数据1440可以与第一编码分区和第二编码分区相关联。比特流1400可以包括分别用于任意数量的分区的编码分区变换系数数据。在一些示例中，变换系数可以被描述为与编码分区相关联的数据。第一编码分区指示符1430和/或第二编码分区指示符1440可以包括比特、标记或者包含开销位的其他数据，诸如用于变换类型、自适应变换方向、指示分区的变换块尺寸的块尺寸数据、帧参考、合成参数、或与如本文所述的预测误差数据和/或变换模式相关联的合成参数的一个或多个指示符。
如所述的，比特流1400可以通过诸如例如编码器100的编码器来生成，和/或通过解码器200来接收以用于解码，使得解码的视频帧可以通过显示设备来呈现。
图15是示出了根据本公开的至少一些实现布置的示例过程1500的流程图。过程1500可以包括如操作1502、1504、1506、1508、1510、1512和/或1514中的一个或多个操作所示的一个或多个操作、功能或动作。过程1500可以形成下一代视频编码过程的至少部分。通过非限制的示例，过程1500可以形成如图2的解码器系统200所承担的下一代视频解码过程的至少部分。
过程1500可以开始于操作1502，“接收编码的比特流”，其中可以接收比特流。例如，可以在视频解码器处接收如本文所述的编码的比特流。在一些示例中，可以通过解码器200来接收比特流1500。
过程1500可以在操作1504继续，“对熵编码的比特流进行解码以确定编码分区指示符、块尺寸数据、变换类型数据、量化器(Qp)和量化的变换系数”，其中可以对比特流进行解码以确定编码分区指示符、块尺寸数据、变换类型数据、量化器(Qp)和量化的变换系数。例如，解码的数据可以包括与编码分区(例如，变换系数)相关联的数据以及与编码分区相关联的一个或多个指示符。例如，变换系数可以用于如本文所述的固定变换或内容自适应变换。变换类型数据可以指示用于编码分区的变换类型、参数变换方向(例如，用于如本文所述的混合参数变换)、和/或变换模式(例如，xmmode；仅用于在使用预测差分信号或原始信号的模式选择之间的帧内编码信号)。在一些示例中，可以通过自适应熵解码器模块202来执行解码。在一些示例中，对于单个编码分区，解码可以确定与量化的变换系数、参数变换方向和块尺寸数据相关联的数据。
过程1500可以在操作1506，“对量化的系数应用量化器(Qp)以生成反向量化的变换系数”，其中量化器(Qp)可以应用于量化的变换系数以生成反向量化的变换系数。例如，操作1506可以经由自适应反向量化模块203来应用。在一些示例中，可以至少部分地基于与量化的变换系数相关联的数据来执行反向扫描和反向量化以生成解码的变换系数。
过程1500可以在操作1508继续，“在编码(或帧内预测)分区中的系数的每个解码块上，基于变换类型和块尺寸数据执行反向变换以生成解码预测误差分区”，其中在编码(或帧内预测)分区中的变换系数的每个解码块上，可以基于变换类型和块尺寸数据来执行反向变换以生成解码的预测误差分区。在一些示例中，反向变换可以包括反向固定变换。在一些示例中，反向变换可以包括反向内容自适应变换。在这样的示例中，执行反向内容自适应变换可以包括：基于解码视频数据的相邻块来确定与反向内容自适应变换相关联的基函数，如本文所述的。如本文所述用于编码的任何正向变换可以用于使用相关联的反向变换进行解码。在一些示例中，反向变换可以通过自适应反向变换模块204来执行。在一些示例中，生成解码的预测误差分区还可以包括通过编码分区装配器205来装配编码分区。
在一些示例中，反向变换可以包括反向内容自适应变换，诸如反向闭合式参数变换。在这样的示例中，在执行反向变换先前，可以基于如本文所述的先前解码的视频数据来确定与单个编码分区相关联的解码器基函数参数。例如，先前解码的视频数据可以包括位于正在被解码的单个分区的上方、下方、左侧、右侧或对角的相邻数据。例如，先前解码的视频数据可以与在编码器处用于生成用于关于单个分区执行的正向闭合式参数变换的基函数参数的先前解码的视频数据相同或相似。
在一些示例中，可以基于解码器基函数参数、参数变换方向和块尺寸数据来执行反向内容自适应变换(例如，反向闭合式参数变换)以生成解码的编码分区(例如，当前正被解码的编码分区)。在一些示例中，可以将解码的编码分区组合以生成如本文所述的解码的预测误差数据分区。在其他示例中，执行反向内容自适应变换可以生成解码的预测误差数据分区(例如，在仅执行单级划分的示例中)，如所述的。
过程1500可以在操作1510处继续，“将预测分区添加到解码的预测误差数据分区以生成重构的分区”，其中预测分区可以添加到解码的预测误差数据分区以生成重构的预测分区。例如，解码的预测误差数据分区可以通过加法器206添加到相关联的预测分区。
过程1500可以在操作1512处继续，“装配重构的分区以生成瓦片或超片段”，其中可以装配重构的预测分区以生成瓦片或超片段。例如，可以通过预测分区装配器模块207来装配重构的预测分区以生成瓦片或超片段。
过程1500可以在操作1514处继续，“装配图片的瓦片或超片段以生成全解码图片”，其中可以装配图片的瓦片或超片段以生成全解码图片。例如，在任选的解块滤波和/或质量恢复滤波之后，可以装配瓦片或超片段以生成全解码图片，在通过自适应图片重组织器模块217和内容后恢复器模块218处理之后，全解码图片可以通过解码的图片缓冲器210来存储和/或被发送以用于经由显示设备呈现。
在一些示例中，利用本文所述的技术实现的内容自适应变换可以是参数变换，包括诸如参数Haar变换、参数倾斜变换等一系列变换。这样的变换可以是内容自适应的并且可以在编码器100和解码器200处由局部和/或全局先前解码的视频数据来构造。这样的参数内容自适应变换可以通过如本文所述的变换编码子系统中的效率增益来提高总的视频压缩效率。例如，内容自适应变换可以包括闭合式参数变换、闭合式参数Haar变换、用于参数变换的闭合式解、用于参数Haar变换的闭合式解、闭合式解的快速实现或者可以使用混合参数Haar变换(例如，使用自适应变换进行编码)或离散余弦变换(例如，使用固定变换进行编码)的编码解。
本文所述的内容自适应变换可以使用多种尺寸的内容自适应标准正交变换，其可以允许适应视频数据中的内容的特性。如本文所述的，在这样的内容自适应变换中，可以基于与正在进行变换编码的视频数据或分区有关的因果解码的相邻数据(例如，先前解码的相邻视频数据)，在编码器100和解码器200处确定基矩阵(例如，基函数或基函数参数的矩阵)。在一些示例中，内容自适应变换可以包括仅沿一个方向(例如，水平或垂直)的参数变换以及沿正交方向的固定变换，从而降低解码器复杂度。
如所述的，内容自适应变换可以包括闭合式参数变换或用于诸如参数Haar变换的参数变换的基矩阵的闭合式解。例如，对于2x2参数Haar变换，闭合式解可以给定如下：
[ T ] 2 x 2 = a r b r b r - a r
其中
r = a 2 + b 2
使得T包括基矩阵，a和b包括相邻像素近似数据，以及r包括基函数。
此外，对于4x4参数Haar变换，闭合式解可以给定如下：
[ T ] 4 x 4 = a r b r c r d r at 00 rs 00 bt 00 rs 00 - cs 00 rt 00 - ds 00 rt 00 b s 00 - a s 00 0 0 0 0 d t 00 - c t 00 ,
其中
s 00 = a 2 + b 2 ,
t 00 = c 2 + d 2 , 和
r = s 00 2 + t 00 2 = a 2 + b 2 + c 2 + d 2 ,
使得T包括基矩阵，a、b、c和d包括相邻像素近似数据，以及s、t和r包括基函数。
类似地，对于8x8参数Haar变换，闭合式解可以给定为：
[ T ] 8 x 8 = a r b r c r d r e r f r g r h r at 10 rs 10 bt 10 rs 10 ct 10 rs 10 dt 10 rs 10 - es 10 rs 10 - fs 10 rs 10 - gs 10 rs 10 - hs 10 rs 10 as 01 s 00 s 10 bs 01 s 00 s 10 - cs 01 s 01 s 10 - ds 01 s 01 s 10 0 0 0 0 0 0 0 0 et 01 t 00 t 10 ft 01 t 00 t 10 - gt 00 t 01 t 10 - ht 00 t 01 t 10 b s 00 - a s 00 0 0 0 0 0 0 0 0 d s 01 - c s 01 0 0 0 0 0 0 0 0 f t 00 - e t 00 0 0 0 0 0 0 0 0 h t 01 - g t 01 ,
其中
s 00 = a 2 + b 2 ,
s 01 = c 2 + d 2 ,
s 10 = s 00 2 + s 01 2 = a 2 + b 2 + c 2 + d 2
t 00 = e 2 + f 2 ,
t 01 = g 2 + h 2 ,
t 10 = t 00 2 + t 01 2 = e 2 + f 2 + g 2 + h 2 , 和
r = s 10 2 + t 10 2 = a 2 + b 2 + c 2 + d 2 + e 2 + f 2 + g 2 + h 2 ,
使得T包括基矩阵，a、b、c、d、e、f、g和h包括相邻像素近似数据，以及s、t和r包括基函数。
类似地，对于16x16参数Haar变换，闭合式解可以给定为：
[ T ] 16 x 16 = T Q 1 T Q 2 T Q 3 T Q 4
其中，S20，S11，S10，S01，S00，S03，S02，t20，t11，t10，t01，t00，t03，t02，和r可以通过类似上述的技术来确定，使得T包括基矩阵，a-p包括相邻像素近似数据，以及s、t和r包括基函数。
在一些示例中，为了降低解码器200和编码器100中的计算复杂度，可以使除数s和t的除法运算最小化或者避免除数s和t的除法运算。在这样的示例中，不使用全部的潜在参数变换，可以采用参数变换的有限子集。这样的技术可以允许通过乘法(计算强度较低)来取代除法。例如，可以使用以下：
[c]＝[T][s]
例如，对于4x4变换：
a r = c o s ( θ )
b r = s i n ( θ )
θ = a r c t a n ( a b )
cos(θ)＝[-1.0→1.0]
sin(θ)＝[-1.0→1.0]
T 4 x 4 = c o s ( θ ) s i n ( θ ) s i n ( θ ) - cos ( θ )
cos2(θ)+sin2(θ)＝1
在这样的示例中，变换可以与θ域相关联，这可以取决于相邻像素近似数据。在这样的示例中，CORDIC(坐标旋转数字计算器)计算技术可以用来确定cos(θ)和sin(θ)的变换对。
此外，在8x8变换的示例中：
a s 00 = c o s ( θ 0 )
b s 00 = s i n ( θ 0 )
θ 0 = a r c t a n ( a b )
cos(θ0)＝[-1.0→1.0]
sin(θ0)＝[-1.0→1.0]
cos2(θ0)+sin2(θ0)＝1
c t 00 = c o s ( θ 1 )
d t 00 = sin ( θ 1 )
θ 1 = a r c t a n ( c d )
cos(θ1)＝[-1.0→1.0]
sin(θ1)＝[-1.0→1.0]
cos2(θ1)+sin2(θ1)＝1
在这样的示例中，变换可以与θ域和φ域相关联，这可以取决于相邻像素近似数据。在这样的示例中，CORDIC(坐标旋转数字计算器)计算技术可以用来确定cos(θ)和sin(θ)的变换对。该示例可以在计算体系结构中实现如下：
log2(N)*max(x)*max_integer_cosine*max_integer_sine＜＝231
其中，例如N＝4提供：
log2(max_integer_cosine)＝log2(max_integer_sine)＝(31-2-8)/2＝B4
使得B4<＝10
并且可以提供设计规则使得：
Ck,4＝整数余弦的B4位表示
Sk，4＝整数正弦的B4位表示
Ck，4*Ck，4+Sk，4*Sk，4+Error＝1＜＜(B4*2)
Ck 2 + Sk 2 + &epsiv; = 1 < < B = ( C k , S k ) = &lsqb; - ( 1 < < B ) &rsqb; + 1 &RightArrow; ( 1 < < B ) - 1 &rsqb; : &epsiv; < &xi;
其中(Ck,Sk)对可以表示范数接近(1<<B)的三角数的所有优良对，并且
k＝0至K，使得
K＝这样的唯一变换对的数量
在这样的示例中，为了增大变换尺寸，有利的是确定对于(C,S)对产生小于ξ的范数误差的最小值B，其中C＝S。在这样的示例中，不存在具有(C,S)对的小于8的B，使得C＝S和范数误差也小，使得可以交换子误差最小化以用于压缩。该结果可以通过精度测试来示出如下：
a s 00 = c o s ( &theta; 0 ) , c s 01 = c o s ( &theta; 1 ) , e t 00 = c o s ( &theta; 2 ) , g t 01 = c o s ( &theta; 3 )
b s 00 = sin ( &theta; 0 ) , d s 01 = sin ( &theta; 1 ) , f t 00 = s i n ( &theta; 2 ) , h t 01 = s i n ( &theta; 3 )
&theta; 0 = arctan ( a b ) , &theta; 1 = arctan ( c d ) , &theta; 2 = arctan ( e f ) , &theta; 3 = arctan ( g h )
cos(θ)＝[-1.0→1.0]
sin(θ)＝[-1.0→1.0]
cos2(θ)+sin2(θ)＝1
s 10 r = c o s ( &omega; )
t 10 r = s i n ( &omega; )
&omega; = a r c t a n ( s 10 t 10 )
cos(ω)＝[-1.0→1.0]
sin(ω)＝[-1.0→1.0]
cos2(ω)+sin2(ω)＝1
T 8 x 8 = T Q 1 T Q 2 T Q 3 T Q 4
使得N变换尺寸的T.s乘积范围可以等于所需的最大比特：
log(N)*max(x)*max_integer_trig*max_integer_trig*max_integer_trig＝231
例如，N＝8提供如下：
log2(max_integer_cosine)＝log2(max_integer_sine)＝(31-3-9)/3＝B8
使得B8<＝6
并且可以提供设计规则使得：
Ck,8＝整数余弦的B8比特表示
Sk,8＝整数正弦的B8比特表示
Ck，8*Ck，8+Sk，8*Sk，8+Error＝1＜＜(B8*2)
上述技术试图不是通过整数实现的精度但是通过使用对于每个三角对具有最小范数误差的变换来使误差最小化。在一些示例中，当将所有的三角对相乘时，可以获得T。在一些示例中，所得到的T矩阵可以具有比要求的更高的精度。在一些示例中，T矩阵的预缩放可允许使用余弦和正弦的单个优良对库。在这样的示例中，然后变换可以对所得到的矩阵进行缩放以适合所要求的整数精度(例如，32位等)。例如，所得到的变换可以符合如下给定的精度定义。
因为8位余弦正弦对是优良对的最小比特深度组，所以所有的变换可以利用那些对来进行设计。例如：
如果所有的变换，使用B＝8
如果B2<＝12：不需要缩放C矩阵
如果B4<＝10：不需要缩放C矩阵
如果B8<＝6：缩放C矩阵
如果B16<＝4：缩放C矩阵
例如，可以使用如下的缩放因子(N＝8)：
log(N)*max(x)*scaled_coeff＝231
scaled_coeff＝(31-3-9)＝19
(max_integer_trig*max_integer_trig*max_integer_trig)＞＞scale_factor＜＝219
scale_factor＝24-19＝5
如上所示，通过T矩阵，可以通过确定θ来简化变换合成。而且，θ可以不是连续变量，而相反可以为参考每个唯一优良余弦-正弦对的离散量。例如CORDIC算法可以在固定步幅中将任意向量(a,b)解算成其标准化的角分量cos(θ)和sin(θ)。步幅可以通过例如解算分量所需的arctan(a/b)的精度来确定。
图16示出了根据本公开的至少一些实现布置的示例优良变换对。在一些示例中，为了简化解码操作，以及为了降低复杂度(例如，在解码器中进行除法运算)，不是允许所有的参数变换(例如，PHT)，而是仅允许有限数量的选定的或优良的参数变换，使得可以使用在编码器和解码器二者中已知的选定的参数变换或选定的闭合式参数变换的有限集合。例如，如本文所述的闭合式参数变换可以包括选定的闭合式参数变换的有限集合中的一个闭合式参数变换。可以基于如图16所示的用于选择的基于旋转的过程来确定一个闭合式参数变换。在图16所示的示例中，优化变换集合可以间隔分布使得需要10比特精度的arctan来求解分量。在该示例中，可以在10步内利用CORDIC技术来确定优良变换。例如，给定向量(a,b)的坐标，向量可以在数步内旋转，直至其最终角为零度，以及因此角度θ可以成反比。例如，向量可以在预定步内旋转。例如，对于快速运算，角步幅i可以为arctan(1/pow(2,i))：
(a,b)旋转45.00°arctan(1，pow(2，0))＝a1＝a+b，b1＝b-a；k+＝128；
(a,b)旋转26.56°arctan(1，pow(2，1))＝a2＝a+(b＞＞1)，b2＝b-(a＞＞1）；k+＝75
(a,b)旋转14.03°arctan(1，pow(2，2))＝a3＝a+(b＞＞2)，b3＝b-(a＞＞2)；k+＝40
等等。
如果象限变化，则角可以反转，直到达到最大数量的步幅，或者直到由于稀疏变换集而过早退出。在一些示例中，可以跟踪旋转索引，使得任意向量(a,b)可以导致标准化的优良变换对：
a/r＝cos(θ)＝Ck＝GoodTransforms[k].Cosine
b/r＝sin(θ)＝Sk＝GoodTransforms[k].Sine
利用所述的技术，可以确定变换，并且可以使用变换，而不必计算1/r，如上所述，这样可以节约计算资源。
如所述的，在一些示例中，本文所述的技术可以应用于小波数据。
图17是示例基于小波的视频编码器1700的示意图。如图所示，基于小波的视频编码器1700可以接收输入视频101并且可以包括预测划分器模块1701、小波分析滤波器模块1702(可以通过交换机1703、1704来实现)、差异确定器1705、编码划分器模块1706、编码控制器模块1707、自适应正向变换和量化器模块1708、自适应反向量化器与变换模块1709、自适应熵编码器模块1710、块效应分析器与解块滤波模块1712、小波合成滤波器模块1713(其可以经由交换机1714、175来任选地实现)、帧内预测模块1716、运动估计器、补偿预测器和图片缓冲器模块1717和预测模式分析器与模式选择器模块1718，这样的模块可以操作以生成输出比特流1711。
如所述的，编码器1700可以执行小波编码。例如，小波分析滤波器模块1702可以将输入视频101分解成小波带。例如，小波分析滤波器模块1702可以利用一级小波分解来分解输入视频101从而将输入视频101划分成4个子带。编码器1700还包括局部解码循环，该局部解码循环包括小波合成滤波器模块1713，小波合成滤波器模块1713可以被配置为将分析操作反转以组合4个子带以生成重构的视频帧。编码器1700的其余模块的操作基本上类似于本文结合编码器100所描述的那些模块的操作，并且为了简要起见不提供对这样的部件的描述。在一些示例中，编码划分器模块1706和自适应正向变换与量化器模块1708可以实现如本文所述的划分(例如，二分树划分和k-d树划分)以及变换(例如，离散变换和自适应变换)，并且可以包括如本文结合图3-6所描述的组件。
如图17所示，如果小波LL带编码要采用变换编码，则可以采用如本文所述的自适应变换概念，包括使用自适应变换尺寸，使用内容自适应变换以及用于对预测分区的编码分区的块进行编码的其他(例如，固定)变换。为简要起见，图17没有示出可以执行预测划分器模块1701和编码划分器模块1706的互补功能并且已在本文论述的预测分区装配器模块或编码分区装配器模块。图17还示出了对其他小波带(例如，LH带、HL带或HH带)的编码，但是图17确实示出了小波合成滤波器模块1713可以用来组合所有的带以生成解码帧。
图18是示例基于小波的视频解码器1800的示意图。如图所示，基于小波的视频解码器1800可以接收输入比特流101并且可以包括自适应熵解码器模块1801、自适应反向量化器与变换模块1802、加法器1803、解块滤波器模块1804、小波合成滤波器模块1806(其可以任选地经由交换机1806a、1806b来实现)、帧内预测模块1808、运动补偿预测器与图片缓冲器模块1809和预测模式分析器与模式选择器模块1807，这样的模块可以操作以生成显示视频1810。
如图所示，解码器1800可以执行小波解码。例如，小波合成滤波器模块1806可以被配置为将小波分析操作反转以组合4个子带(或类似带)以生成重构的视频帧(例如，操作类似于上述的小波合成滤波器模块1713)。解码器1800的其余模块的操作基本上类似于上文结合解码器200所述的那些模块的操作，为简要起见，不提供对那些组件的论述。在一些示例中，编码划分器模块1706和自适应反向量化器与变换模块1708可以实现如本文所述的反向变换(例如，离散反向变换和自适应反向变换)。
如图18所示，如果小波LL带解码要采用变换编码，则可以采用如本文所述的自适应变换概念，包括使用自适应变换尺寸，使用内容自适应变换以及用于将编码分区或预测分区的块进行解码的其他(例如，固定)变换。为简要起见，图18没有示出可以执行预测划分器模块1701和编码划分器模块1701的互补功能的预测分区装配器模块或编码分区装配器模块。图18也没有示出对其他小波带(例如，LH带、HL带或HH带)的解码，但是图18确实示出了小波合成滤波器模块1806可以用来组合所有带以产生解码帧。
可以在软件、固件、和/或硬件和/或其任何组合中实现本文所述的系统的各种部件。例如，系统300的各种部件可以至少部分地由例如可以在计算系统(例如，智能电话)中的计算片上系统(SoC)提供。本领域中的技术人员可以认识到，本文描述的系统可以包括未在相对应的图中描绘的附加部件。例如，本文讨论的系统可以包括为了清楚而未被描绘的附加部件，例如，比特流多路复用器或解多路复用器模块等。
与过程700、1400以及本文所述的其他过程有关的一些附加细节和/或可替代细节示出在尤其是结合下面的图19在本文论述的实现的一个或多个示例中。
图19(A)和19(B)提供了根据本公开的至少一些实现布置的在操作中的示例视频编码系统2000和视频编码过程1900的示意图。在所示出的实现中，过程1900可以包括由行动1901到1923中的一个或多个示出的一个或多个操作、功能或行动。作为非限制性示例，在本文中将关于包括图1的编码器100和图2的解码器200的示例视频编码系统2000来描述过程1900，正如下面关于图20在本文进一步讨论的。在一些示例中，视频编码系统2000可以包括图17的编码器1700和图18的解码器1800。在各种示例中，过程1900可以由包括编码器和解码器二者的系统或由具有使用编码器(和可选地解码器)的一个系统和使用解码器(和可选地编码器)的另一系统的单独系统实施。也注意，如上面所讨论的，编码器可以包括使用局部解码器作为编码器系统的一部分的局部解码循环。
在所示出的实现中，视频编码系统2000可以包括逻辑电路1950、类似物和/或其组合。例如，逻辑电路1950可以包括编码器100(或编码器700)，并且可以包括如关于图1(或图17)和/或图3-6讨论的任何模块和解码器200(或解码器1800)，并且可以包括如关于图2和/或图18讨论的任何模块。虽然如图19(A)和19(B)所示的视频编码系统2000可以包括与特定的模块相关联的特定的一组块或行动，但是这样的块或行动可以与和本文所示出的特定模块不同的模块相关联。虽然如所示出的过程1900目的在于编码和解码，但是所描述的概念和/或操作可以被单独地应用于编码和/或解码，以及更一般地被应用于视频编码。
过程1900可以在操作1901“接收视频序列的输入视频帧”开始，其中可以经由例如编码器100来接收视频序列的输入视频帧。
过程1900可以在操作1902“使图片类型与一组图片中的每一个视频帧相关联”继续，其中图片类型可以经由例如内容预分析器模块102与一组图片中的每一个视频帧相关联。例如，图片类型可以是F-图片/B-图片、P-图片或I-图片等。在一些示例中，视频序列可以包括图片组，并且本文描述的处理(例如操作1903到1911)可以在一组图片的帧或图片上执行，并且所述处理可以对一组的所有帧或图片重复，并且然后对视频序列中的所有组的图片重复。
过程1900可以在操作1903“将图片分成瓦片和/或超分片和潜在的预测分块”继续，其中图片可以经由例如预测分区发生器105被分成瓦片或超分片和潜在的预测分区。
过程1900可以在操作1904“对于每一个潜在的预测分块，执行预测并且确定预测参数”继续，其中对于每一个潜在的预测分块，可以执行预测并且可以确定预测参数。例如，可以生成一定范围的潜在的预测分块(每一个都具有各种预测分区)，并且可以确定相关联的预测和预测参数。例如，预测可以包括使用特性的预测以及基于运动的多参考预测或帧内预测。
如所讨论的，在一些示例中，可以执行帧间预测。在一些示例中，可以使用多达4个解码的过去和/或未来的图片和几个变形/合成预测来生成大量参考类型(例如，参考图片)。例如，在“帧间”模式中，可以在P-图片中支持多达9个参考类型，并且对于F-图片/B-图片可以支持多达十个参考类型。此外，“多重”模式可以提供一种类型的帧间预测模式，其中不使用1个参考图片，可以使用2个参考图片，并且P-图片和F-图片/B-图片分别可以允许3个和多达8个参考类型。例如，预测可以至少部分地基于使用变形技术或合成技术中的至少一种生成的以前解码的帧。在这样的示例中，比特流(下面关于操作1912讨论的)可以包括与预测分区相关联的帧参考、变形参数、或合成参数。
过程1900可以在操作1905“对于每一个潜在的预测分块，确定潜在的预测误差”继续，其中对于每一个潜在的预测分块，可以确定潜在的预测误差。例如，对于每一个预测分块(和相关联的预测分区、预测、和预测参数)，可以确定预测误差。例如，确定潜在的预测误差可以包括确定原始像素(例如，预测分区的原始像素数据)与预测像素的差异。在一些示例中，可以存储相关联的预测参数。如所讨论的，在一些示例中，预测误差数据分区可以包括至少部分地基于使用变形技术或合成技术中的至少一种来生成的以前解码的帧而生成的预测误差数据。
过程1900可以在操作1906“选择预测分块和预测类型并且保存参数”继续，其中可以选择预测分块和预测类型并且可以保存相关联的参数。在一些示例中，可以选择具有最小预测误差的潜在的预测分块。在一些示例中，可以至少部分地基于率失真优化(RDO)来选择潜在的预测分块。
过程1900可以在操作1907“在分区预测误差数据的各种潜在编码分块上执行具有各种块尺寸的固定或内容自适应变换”继续，其中可以在分区预测误差数据的各种潜在编码分块上执行具有各种块尺寸的固定的或内容自适应变换。例如，分区预测误差数据可以被划分以生成多个编码分区。例如，分区预测误差数据可以由如在本文讨论的编码分区发生器模块107的二分树编码划分器模块或k-d树编码划分器模块进行划分。在一些示例中，与F-图片/B-图片或P-图片相关联的分区预测误差数据可以由二分树编码划分器模块进行划分。在一些示例中，与I-图片(例如，在一些示例中，瓦片或超分片)相关联的视频数据可以由k-d树编码划分器模块划分。在一些示例中，可以经由一个或多个开关来选择或挑选编码划分器模块。例如，分区可以由编码分区发生器模块107生成。
过程1900可以在操作1908“确定最佳编码分块、变换块尺寸、以及实际的变换”继续，其中可以确定最佳编码分块、变换块尺寸、以及实际的变换。例如，可以基于RDO或另一基础来评估各种编码分块(例如，具有各种编码分区)以确定选定的编码分块(其也可以包括当编码分区与如所讨论的变换块尺寸不匹配时将编码分区进一步分成变换块)。例如，实际变换(或选定的变换)可以包括在本文描述的编码分区或如块尺寸上执行的任何内容自适应变换或固定变换。
过程1900可以在操作1909“量化和扫描变换系数”继续，其中可以量化和扫描与编码分区(和/或变换块)相关联的变换系数以为熵编码作准备。
过程1900可以在操作1910“重构像素数据、装配到图片中并且保存在参考图片缓冲器中”继续，其中像素数据可以被重构、装配到图片中并且被保存在参考图片缓冲器中。例如，在局部解码循环(例如，包括反向扫描、反向变换、和装配编码分区)之后，可以生成预测误差数据分区。预测误差数据分区可以与预测分区相加以生成重构的预测分区，所述重构的预测分区可以被装配到瓦片或超分片中。装配的瓦片或超分片可以可选地经由解块滤波和/或质量恢复滤波来处理并且被装配以生成图片。图片可以被保存在解码的图片缓冲器119中作为用于预测其它(例如，后面的)图片的参考图片。
过程1900可以在操作1911“对与每一个瓦片或超分片相关联的数据进行熵编码”继续，其中与每一个瓦片或超分片相关联的数据可以被熵编码。例如，与每一个视频序列的每一组图片的每一个图片的每一个瓦片或超分片相关联的数据可以被熵编码。被熵编码的数据可以包括预测分块、预测参数、选定的编码分块、选定的特性数据、运动向量数据、量化的变换系数、滤波器参数、选择数据(例如，模式选择数据)和指示符。在一些示例中，经过熵编码的数据可以包括变换类型、参数变换方向、用于编码分区的块尺寸数据等等。
过程1900可以在操作1912“生成比特流”继续，其中可以基于熵编码数据来生成比特流。如所讨论的，在一些示例中，比特流可以包括与预测分区相关联的帧或图片参考、变形参数、或合成参数。
过程1900可以在操作1913“发送比特流”继续，其中可以发送比特流。例如，视频编码系统2000可以经由天线2002(请参考图20)来发送输出比特流111、比特流1400等。
操作1901到1913可以提供可以由如本文讨论的编码器系统使用的视频编码和比特流传输技术。后面的操作，操作1914到1923可以提供可以由如本文讨论的解码器系统使用的视频解码和视频显示技术。
过程1900可以在操作1914“接收比特流”继续，其中可以接收比特流。例如，可以经由解码器200接收输入比特流201、比特流1400等。在一些示例中，比特流可以包括如上面讨论的与编码分区相关联的数据、一个或多个指示符、和/或限定编码分区的数据。在一些示例中，比特流可以包括预测分块、预测参数、选定的编码分块、选定的特性数据、运动向量数据、量化的变换系数、滤波器参数、选择数据(例如，模式选择数据)和指示符。
过程1900可以在操作1915“对比特流进行解码”继续，其中可以经由例如自适应熵解码器模块202对所接收的比特流进行解码。例如，所接收的比特流可以被熵解码以确定预测分块、预测参数、选定的编码分块、选定的特征数据、运动向量数据、量化的变换系数、滤波器参数、选择数据(例如，模式选择数据)和指示符。
过程1900可以在操作1916“在每一个编码分区的每一个块上执行反向扫描和反向量化”继续，其中可以在正处理的预测分区的每一个编码分区的每一个块上执行反向扫描和反向量化。例如，可以经由自适应反向量化模块203来执行反向扫描和反向量化。
过程1900可以在操作1917“执行固定的或内容自适应反向变换以对变换系数进行解码来确定解码的预测误差数据分区”继续，其中可以执行固定的或内容自适应反向变换以对变换系数进行解码来确定解码的预测误差数据分区。例如，反向变换可以包括反向内容自适应变换(例如，混合参数Haar反向变换)，使得混合参数Haar反向变换可以包括在参数变换方向的方向上的参数Haar反向变换和在垂直于参数变换方向的方向上的离散余弦反向变换。在一些示例中，固定的反向变换可以包括离散余弦反向变换或离散余弦反向变换近似器。例如，可以经由自适应反向变换模块204来执行固定的或内容自适应变换。如所讨论的，内容自适应反向变换可以基于其它以前解码的数据，例如，解码的相邻分区或块。在一些示例中，生成解码的预测误差数据分区可以包括经由编码分区装配器模块205来装配解码的编码分区。在一些示例中，反向变换可以包括反向闭型参数变换，可以至少部分地基于译码器基函数参数、参数变换方向和块尺寸数据来对解码的变换系数执行反向闭型参数变换以生成解码的编码分区，如所述的。
如本文所述，任何正向变换可以具有类似的反向变换。例如，反向闭合式参数变换可以是混合反向闭合式参数变换，包括一维反向参数变换和一维反向固定变换。在一些示例中，一维反向参数变换可以包括反向参数Haar变换或反向参数倾斜变换等。在一些示例中，一维反向固定变换可以包括反向离散余弦变换或反向离散余弦变换近似器等。
过程1900可以在操作1918“针对每一个预测分区来生成预测像素数据”继续，其中可以针对每一个预测分区来生成预测像素数据。例如，可以使用选定的预测类型(例如，基于特性和运动、或帧内、或其它类型)和相关联的预测参数来生成预测像素数据。
过程1900可以在操作1919“将每一个解码的预测误差分区加到相对应的预测分区以生成重构的预测分区”继续，其中可以将每一个解码的预测误差分区(例如，包括零预测误差分区)加到相对应的预测分区以生成重构的预测分区。例如，预测分区可以经由图2所示的解码循环来生成并且经由加法器206加到解码的预测误差分区。
过程1900可以在操作1920“装配重构的预测分区以生成解码的瓦片或超分片”继续，其中可以装配重构的预测分区以生成解码的瓦片或超分片。例如，可以经由预测分区装配器模块207来装配预测分区以生成解码的瓦片或超分片。
过程1900可以在操作1921“应用解块滤波和/或QR滤波以生成最终解码的瓦片或超分片”继续，其中可选的解块滤波和/或质量恢复滤波可以被应用于解码的瓦片或超分片以生成最终解码的瓦片或超分片。例如，可以经由解块滤波模块208来应用可选的解块滤波，和/或可以经由质量恢复滤波模块209来应用可选的质量恢复滤波。
过程1900可以在操作1922“装配解码的瓦片或超分片以生成解码的视频图片，并且保存在参考图片缓冲器中”继续，其中可以装配解码的(或最终解码的)瓦片或超分片以生成解码的视频图片，并且可以将解码的视频图片保存在参考图片缓冲器(例如，解码的图片缓冲器210)中以用于在未来预测中使用。
过程1900可以在操作1923“发送解码的视频帧以用于经由显示设备来呈现”继续，其中可以发送解码的视频帧以用于经由显示设备来呈现。例如，解码的视频图片可以经由自适应图片再组织器217和内容后恢复器模块218被进一步处理并且被发送到显示设备作为用于呈现给用户的显示视频219的视频帧。例如，视频帧可以被发送到显示设备2005(如图20所示)以用于呈现。
虽然本文的示例过程的实现可以包括实施以所示顺序示出的所有操作，但是本公开并不被限制在这个方面中，并且在各种示例中，本文的示例过程的实现可以包括仅实施所示的操作的子集和/或以与所示的不同的顺序来实施。
此外，可以响应于由一个或多个计算机程序产品提供的指令而实施本文讨论的操作中的任何一个或多个。这样的程序产品可以包括承载提供指令的介质的信号，所述指令当由例如处理器执行时可以提供本文所描述的功能。可以以任何形式的一个或多个机器可读介质来提供计算机程序产品。因此例如，包括一个或多个处理器核心的处理器可以响应于由一个或多个机器可读介质传送到处理器的程序代码和/或指令或指令集来实施本文的示例过程的操作中的一个或多个。通常，机器可读介质可以程序代码和/或指令或指令集的形式来传送软件，所述程序代码和/或指令或指令集可以使本文描述的设备和/或系统中的任何一个实现如本文讨论的视频系统的至少部分。
如在本文描述的任何实现中使用的，术语“模块”指被配置为提供本文描述的功能的软件逻辑、固件逻辑和/或硬件逻辑的任何组合。软件可以被体现为软件封装、代码和/或指令集或指令，并且如在本文描述的任何实现中使用的“硬件”，可以包括例如单独地或以任何组合的硬连线电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。模块可以共同或单独地被体现为形成大型系统的部分的电路，所述大型系统例如集成电路(IC)、片上系统(SoC)等。例如，模块可以被体现在逻辑电路中，用于经由本文公开的编码系统的软件、固件、或硬件来实现。
图20是根据本公开的至少一些实施例布置的示例视频编码系统2000的示意图。在所示的实现中，视频编码系统2000可以包括成像设备2001、视频编码器100、视频解码器200(和/或经由处理单元2020的逻辑电路1950实现的视频编码器)、天线2002、一个或多个处理器2003、一个或多个存储器存储装置2004、和/或显示设备2005。
如所示出的，成像设备2001、天线2002、处理单元2020、逻辑电路1950、视频编码器100、视频解码器200、处理器2003、存储器存储装置2004、和/或显示设备2005能够彼此通信。如所讨论的，虽然示出了视频编码器100和视频解码器200二者，但是在各种示例中，视频编码系统2000可以包括仅仅视频编码器100或仅仅视频解码器200。此外，虽然关于视频编码器和/或视频解码器进行了描述，但是在一些示例中，系统2000可以实现视频编码器1700和/或视频解码器1800。
如所示出的，在一些示例中，视频编码系统2000可以包括天线2002。天线2002可以被配置为发送或接收例如视频数据的编码的比特流。此外，在一些示例中，视频编码系统2000可以包括显示设备2005。显示设备2005可以被配置为呈现视频数据。如所示出的，在一些示例中，可以经由处理单元2020来实现逻辑电路1950。处理单元2020可以包括专用集成电路(ASIC)逻辑、图形处理器、通用处理器等。视频编码系统2000还可以包括可选的处理器2003，其可以类似地包括专用集成电路(ASIC)逻辑、图形处理器、通用处理器等。在一些示例中，可以经由硬件、视频编码专用硬件等来实现逻辑电路1950，以及可以经由通用软件、操作系统等来实现处理器2003。此外，存储器存储装置2004可以是任何类型的存储器，例如，易失性存储器(例如，静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如，闪存等)等。在非限制性示例中，存储器存储装置2004可以由高速缓冲存储器实现。在一些示例中，逻辑电路1950可以访问存储器存储装置2004(用于实现例如图像缓冲器)。在其它示例中，逻辑电路1950和/或处理单元2020可以包括用于实现图像缓冲器等的存储器存储装置(例如，高速缓冲存储器等)。
在一些示例中，经由逻辑电路实现的视频编码器100可以包括图像缓冲器(例如，经由处理单元2020或存储器存储装置2004)和图形处理单元(例如，经由处理单元2020)。图形处理单元可以通信地耦合到图像缓冲器。图形处理单元可以包括如经由逻辑电路1950实现以体现如关于图1和图3-图6实现的各种模块的视频编码器100(或编码器1700)。例如，图形处理单元可以包括编码分区发生器逻辑电路、自适应变换逻辑电路、内容预分析器、编码控制器逻辑电路、自适应熵编码器逻辑电路等。逻辑电路可以被配置为执行如本文讨论的各种操作。例如，编码分区发生器逻辑电路可以被配置为包括图像缓冲器和图形处理单元，所述图形处理单元包括变形分析器和生成逻辑电路、合成分析器和生成逻辑电路、运动估计器逻辑电路、以及特性和运动补偿滤波预测器逻辑电路，其中图形处理单元可以被耦合到图像缓冲区，以及其中变形分析器和生成逻辑电路可以被配置为接收第一解码的预测参考图片，并且至少部分地基于第一解码的预测参考图片来生成变形的预测参考图片和与变形的预测参考图片相关联的变形特性参数，其中合成分析器和生成逻辑电路可以被配置为接收第二解码的预测参考图片，并且至少部分地基于第二解码的预测参考图片来生成合成的预测参考图片和与合成的预测参考图片相关联的合成特性参数，其中运动估计器逻辑电路可以被配置为至少部分地基于变形的预测参考图片或合成的预测参考图片中的一个来生成与当前图片的预测分区相关联的运动数据，并且其中特性和运动补偿滤波预测器逻辑电路可以被配置为至少部分地基于运动数据和变形的预测参考图片或合成的预测参考图片中的至少一个来执行运动补偿以生成预测分区的预测的分区数据。视频解码器200可以用类似的方式实现。
在一些示例中，视频编码系统2000的天线2002可以被配置为接收视频数据的编码的比特流。如所述的，编码比特流可以包括与编码分区相关联的数据(例如，变换系数或量化的变换系数、任选的指示符(如所述的)、和/或限定编码分区的数据(例如，与利用符号运行编码或码本技术等限定二分树分区或k-d树分区相关联的数据)。视频编码系统2000还可以包括视频解码器200(或解码器1800)，其与天线2002耦合并且被配置为对编码比特流进行解码。例如，视频解码器200可以被配置为对比特流进行熵解码，以对于单个编码分区，确定与量化的变换系数相关联的数据、参数变换方向和块尺寸数据，至少部分地基于与量化的变换系数相关联的数据来执行反向扫描和反向量化以生成解码的变换系数，至少部分地基于先前解码的视频数据来确定与单个编码分区相关联的解码器基函数参数，至少部分地基于解码器基函数参数、参数变换方向和块尺寸数据来对解码的变换系数执行反向闭合式参数变换从而生成解码编码分区，并且将解码编码分区与第二解码编码分区组合以生成解码的预测误差数据分区。
在实施例中，可以响应于由一个或多个计算机程序产品提供的指令来实施本文描述的特征。这样的程序产品可以包括承载了提供指令的介质的信号，所述指令当由例如处理器执行时可以提供本文所描述的功能。计算机程序产品可以以一个或多个机器可读介质的任何形式被提供。因此例如，包括一个或多个处理器核心的处理器可以响应于由一个或多个机器可读介质传送到处理器的程序代码和/或指令或指令集来实施本文所述的示例过程的一个或多个特征。通常，机器可读介质可以传送以可以使本文描述的设备和/或系统中的任何一个实现本文描述的特征的至少部分的程序代码和/或指令或指令集的形式的软件。
图21是根据本公开的至少一些实现布置的示例系统2100的示意图。在各种实现中，系统2100可以是介质系统，但是系统2100不限于这个上下文。例如，系统2100可以被合并到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触控板、便携式计算机、手持计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如，智能电话、智能平板计算机或智能电视机)、移动互联网设备(MID)、消息发送设备、数据通信设备、照相机(例如，自动照相机、超级变焦照相机、数码单镜头反光(DSLR)照相机)等中。
在各种实现中，系统2100包括耦合到显示器2120的平台2102。平台2102可以从内容设备(例如，内容服务设备2130或内容分发设备2140或其它类似的内容源)接收内容。包括一个或多个导航特征的导航控制器2150可以用于与例如平台2102和/或显示器2120进行交互。下面更详细描述这样的部件中的每一个。
在各种实现中，平台2102可以包括芯片组2105、处理器2110、存储器2112、天线2113、存储装置2114、图形子系统2115、应用2116和/或无线装置2118的任何组合。芯片组2105可以提供在处理器2110、存储器2112、存储装置2114、图形子系统2115、应用2116和/或无线装置2118当中的相互通信。例如，芯片组2105可以包括能够提供与存储装置2114的相互通信的存储适配器(未描绘)。
处理器2110可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核心、或任何其它微处理器或中央处理单元(CPU)。在各种实现中，处理器2110可以是双核处理器、双核移动处理器等。
存储器2112可以被实现为易失性存储器设备，例如但不限于，随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。
存储装置2114可以被实现为非易失性存储设备，例如但不限于，磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附连的存储设备、闪存、电池备份SDRAM(同步DRAM)、和/或网络可访问的存储设备。在各种实现中，存储装置2114可以包括例如当多个硬盘驱动器被包括时增加对有价值的数字媒体的存储性能增强保护的技术。
图形子系统2115可以执行图像(例如，静止图像或视频)的处理以用于显示。图形子系统2115可以是例如图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以被用于通信地耦合图形子系统2115和显示器2120。例如，接口可以是高清多媒体接口、显示端口、无线HDMI、和/或兼容无线HD的技术中的任一个。图形子系统2115可以被集成到处理器2110或芯片组2105中。在一些实现中，图形子系统2115可以是通信地耦合到芯片组2105的独立设备。
本文描述的图形和/或视频处理技术可以在各种硬件体系结构中实现。例如，图形和/或视频功能可以被集成在芯片组中。可选地，可以使用分立的图形和/或视频处理器。作为又一实现，图形和/或视频功能可以由包括多核处理器的通用处理器提供。在另外的实施例中，可以在消费电子设备中实现功能。
无线电装置2118可以包括能够使用各种适当的无线通信技术来发送和接收信号的一个或多个无线装置。这样的技术可以涉及在一个或多个无线网络当中的通信。示例性无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络、和卫星网络。在这样的网络当中的通信中，无线装置2118可以根据任何版本的一个或多个可应用的标准来操作。
在各种实现中，显示器2120可以包括任何电视机型监视器或显示器。显示器2120可以包括例如计算机显示屏、触摸屏显示器、视频监视器、电视机型设备和/或电视机。显示器2120可以是数字的和/或模拟的。在各种实现中，显示器2120可以是全息显示器。此外，显示器2120可以是可以接收视觉投影的透明表面。这样的投影可以传送各种形式的信息、图像和/或对象。例如，这样的投影可以是用于移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用2116的控制下，平台2102可以在显示器2120上显示用户界面2122。
在各种实现中，内容服务设备2130可以由任何国家、国际和/或独立服务托管，并且因此是平台2102经由例如互联网可以访问的。内容服务设备2130可以耦合到平台2102和/或显示器2120。平台2102和/或内容服务设备2130可以耦合到网络2160以向和从网络2160传递(例如，发送和/或接收)媒体信息。内容分发设备2140还可以耦合到平台2102和/或显示器2120。
在各种实现中，内容服务设备2130可以包括有线电视盒、个人计算机、网络、电话、启用互联网的设备或能够分发数字信息和/或内容的电器、和能够经由网络2160或直接地在内容提供者和平台2102和/或显示器2120之间单向或双向地传递内容的任何其它类似设备。将认识到，可以经由网络2160从和向系统2100中的任一个部件和内容提供者单向和/或双向地传递内容。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等。
内容服务设备2130可以接收内容，例如，有线电视节目，包括媒体信息、数字信息、和/或其它内容。内容提供者的示例可以包括任何有线或卫星电视或广播或互联网内容提供者。所提供的示例并不是要以任何方式来限制根据本发明的实现。
在各种实现中，平台2102可以从具有一个或多个导航特征的导航控制器2150接收控制信号。控制器2150的导航特征可以用于与例如用户界面2122进行交互。在各种实施例中，导航控制器2150可以是定点设备，其可以是允许用户将空间(例如，连续和多维)数据输入到计算机中的计算机硬件部件(具体地，人机接口设备)。很多系统(例如，图形用户界面(GUI)和电视机和监视器)允许用户使用物理手势来控制数据和将数据提供到计算机或电视机。
可以通过指针、光标、聚焦环或显示在显示器上的其它视觉指示符的运动来在显示器(例如，显示器2120)上复制控制器2150的导航特征的运动。例如，在软件应用2116的控制下，位于导航控制器2150上的导航特征可以被映射到显示在用户界面2122上的虚拟导航特征。在各种实施例中，控制器2150可以不是单独的部件，但可以被集成到平台2102和/或显示器2120中。然而，本公开并不限于在本文所示或所述的元件或上下文中。
在各种实现中，驱动器(未示出)可以包括使用户能够像电视机一样例如在初始引导之后，当被启动时使用按钮的触摸即时地打开和关闭平台2102的技术。程序逻辑可以允许平台2102将内容流式地传送到媒体适配器或其它内容服务设备2130或内容分发设备2140，即使平台被“关闭”时。此外，芯片组2105可以包括例如支持5.1环绕声音频和/或高分辨率7.1环绕声音频的硬件和/或软件。驱动器可以包括集成图形平台的图形驱动器。在各种实施例中，图形驱动器可以包括快速外围部件互连(PCI)图形卡。
在各种实现中，可以集成在系统2100中示出的部件中的任何一个或多个。例如，可以集成平台2102和内容服务设备2130，或可以集成平台2102和内容分发设备2140，或例如可以集成平台2102、内容服务设备2130、和内容分发设备2140。在各种实施例中，平台2102和显示器2120可以是集成单元。例如可以集成显示器2120和内容服务设备2130，或可以集成显示器2120和内容分发设备2140。这样的示例并不是要限制本公开。
在各种实施例中，系统2100可以被实现为无线系统、有线系统、或这两者的组合。当被实现为无线系统时，系统2100可以包括适合于通过无线共享介质(例如，一个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等)进行通信的部件和接口。无线共享介质的示例可以包括无线频谱(例如，RF频谱等)的部分。当被实现为有线系统时，系统2100可以包括适合于通过有线通信介质(例如，输入/输出(I/O)适配器、用于使I/O适配器与相对应的有线通信介质连接的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等)进行通信的部件和接口。有线通信介质的示例可以包括电线、电缆、金属引线、印刷电路板(PCB)、底板、交换机结构、半导体材料、双绞线、同轴电缆、光纤等。
平台2102可以建立一个或多个逻辑或物理通道以传递信息。所述信息可以包括媒体信息和控制信息。媒体信息可以指表示用于用户的内容的任何数据。内容的示例可以包括例如来自语音对话、视频会议、流式视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据可以是例如说话信息、静默时间段、背景噪声、舒适噪声、音调等。控制信息可以指表示用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于通过系统按规定路线发送媒体信息或指示节点以预定方式处理媒体信息。然而，实施例并不限于图21所示或所述的元件或上下文中。
如上所述，系统2100可以体现在变化的物理风格或形状因子中。图22示出了系统2200可以体现于其中的小形状因子设备2200的实现中。在各种实施例中，例如，设备2200可以被实现为具有无线能力的移动计算设备。移动计算设备可以指例如具有处理系统和移动功率源或电源(例如，一个或多个电池)的任何设备。
如上所述，移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触控板、便携式计算机、手持计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如，智能电话、智能平板计算机或智能电视机)、移动互联网设备(MID)、消息发送设备、数据通信设备、照相机(例如，自动照相机、超级变焦照相机、数码单镜头反光(DSLR)照相机)等。
移动计算设备的示例还可以包括被布置为由人穿戴的计算机，例如，手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、衣服计算机，和其它可穿戴的计算机。在各种实施例中，例如移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。虽然作为示例可以使用被实现为智能电话的移动计算设备来描述一些实施例，但是可以认识到，也可以使用其它无线移动计算设备来实现其它实施例。实施例并不被限制在这个上下文中。
如图22所示，设备2200可以包括壳体2202、可以包括用户界面2210的显示器2204、输入/输出(I/O)设备2206、和天线2208。设备2200还可以包括导航特征2212。显示器2204可以包括用于显示适合于移动计算设备的信息的任何适当的显示单元。I/O设备2206可以包括用于将信息输入到移动计算设备中的任何适当的I/O设备。I/O设备2206的示例可以包括字母数字键盘、数字小键盘、触控板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件等。信息还可以通过麦克风(未示出)被输入到设备2200中。这样的信息可以由语音识别设备(未示出)被数字化。实施例并不被限制在所述上下文中。
可以使用硬件元件、软件元件或这两者的组合来实现各种实施例。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑设备(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片组等。软件的示例可以包括软件部件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任何组合。确定实施例是否是使用硬件元件和/或软件元件来实现的可以根据任何数量的因素(例如，期望的计算速率、功率电平、耐热性、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度、和其它设计或性能约束)而改变。
至少一个实施例的一个或多个方面可以由存储在表示在处理器内的各种逻辑的机器可读介质上的代表性指令实现，所述指令在由机器读取时使机器制造逻辑以执行本文描述的技术。被称为“IP核心”的这样的表示可以存储在有形、机器可读介质上并且被提供到各种消费者或制造设施以加载到实际上制造逻辑或处理器的制造机器中。
虽然关于各种实现描述了本文所阐述的某些特征，但是这个描述并不是要以限制性的意义被解释。因此，本文描述的实现以及对本公开所属的领域中的技术人员显而易见的其它实现的各种修改被认为在本公开的精神和范围内。
下面的示例涉及另外的实施例。
在一个示例中，用于视频编码的计算机实现方法可以包括：接收预测误差数据或编码分区或原始像素数据的分区，用于变换编码；对预测误差数据或编码分区或原始像素数据的分区执行闭合式参数变换以生成变换系数；对变换系数进行量化以生成量化的变换系数；以及将与所述量化的变换系数相关联的数据熵编码到比特流中。
在另一示例中，用于视频编码的计算机实现方法可以进一步包括：确定与闭合式参数变换相关联的基函数参数，使得闭合式参数变换可以包括具有一维参数变换和一维固定变换的闭合式混合参数变换，使得闭合式参数变换包括闭合式混合参数Haar变换，闭合式混合参数Haar变换包括一维参数Haar变换和一维固定变换，使得确定基函数参数可以包括至少部分地基于先前解码的视频数据来确定所述一维参数变换的基函数参数，使得先前解码的视频数据可以包括与单个编码分区相邻的数据，并且使得先前解码的视频数据可以包括位于单个编码分区的上方、下方、左侧、右侧或对角中的至少一个的相邻数据，确定一维参数变换的参数变换方向使得参数变换方向可以包括水平方向、垂直方向或对角方向中的至少一个，并且使得一维固定变换沿与参数变换方向正交的方向执行，将参数变换方向和指示单个编码分区的尺寸的块尺寸数据熵编码到比特流中，发送比特流，接收比特流，将比特流进行熵解码以确定与量化的变换系数、参数变换方向和块尺寸数据相关联的数据，至少部分地基于与量化的变换系数相关联的数据来执行反向扫描和反向量化以生成解码的变换系数，至少部分地基于第二先前解码的视频数据来确定与解码的单个编码分区相关联的解码器基函数参数，使得第二先前解码的视频数据可以包括解码的单个分区的相邻数据，使得第二先前解码的视频数据可以包括位于解码的单个分区的上方、下方、左侧、右侧或对角中的至少一个的相邻数据，并且使得第二先前解码的视频数据基本类似于先前解码的视频数据，至少部分地基于解码器基函数参数、参数变换方向和块尺寸数据来对解码的变换系数执行反向闭合式参数变换，从而生成解码的单个编码分区，将解码的单个编码分区与第二解码的单个编码分区组合以生成解码的预测误差数据分区，将预测分区与解码的预测误差数据分区相加以生成第一重构的分区，将第一重构的分区与第二重构的分区进行装配以生成瓦片或超片段中的至少一个，将解块滤波或质量恢复滤波中的至少一个应用于瓦片或超片段，以生成最终解码的瓦片或超片段，将最终解码的瓦片或超片段与第二最终解码的瓦片或超片段进行装配以生成解码的视频帧，以及发送解码的视频帧以便经由显示设备来呈现。一维参数变换可以包括参数Haar变换或参数倾斜变换中的至少一个。一维固定变换包括离散余弦变换或离散余弦变换近似器中的至少一个。单个编码分区包括4x4像素、8x8像素或16x16像素中至少一个的尺寸。用于闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 2 x 2 = a r b r b r - a r
其中
r = a 2 + b 2
使得T包括基矩阵，a和b包括相邻像素近似数据，以及r包括基函数。用于闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 4 x 4 = a r b r c r d r at 00 rs 00 bt 00 rs 00 - cs 00 rt 00 - ds 00 rt 00 b s 00 - a s 00 0 0 0 0 d t 00 - c t 00 ,
其中
s 00 = a 2 + b 2 ,
t 00 = c 2 + d 2 , 和
r = s 00 2 + t &omega; 2 = a 2 + b 2 + c 2 + d 2 ,
使得T包括基矩阵，a、b、c和d包括相邻像素近似数据，s、t和r包括基函数。用于闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 8 x 8 = a r b r c r d r e r f r g r h r at 10 rs 10 bt 10 rs 10 ct 10 rs 10 dt 10 rs 10 - es 10 rs 10 - fs 10 rs 10 - gs 10 rs 10 - hs 10 rs 10 as 01 s 00 s 10 bs 01 s 00 s 10 - cs 01 s 01 s 10 - ds 01 s 01 s 10 0 0 0 0 0 0 0 0 et 01 t 00 t 10 ft 01 t 00 t 10 - gt 00 t 01 t 10 - ht 00 t 01 t 10 b s 00 - a s 00 0 0 0 0 0 0 0 0 d s 01 - c s 01 0 0 0 0 0 0 0 0 f t 00 - e t 00 0 0 0 0 0 0 0 0 h t 01 - g t 01 ,
其中
s 00 = a 2 + b 2 ,
s 01 = c 2 + d 2 ,
s 10 = s 00 2 + s 01 2 = a 2 + b 2 + c 2 + d 2
t 00 = e 2 + f 2 ,
t 01 = g 2 + h 2 ,
t 10 = t 00 2 + t 01 2 = e 2 + f 2 + g 2 + h 2 , 和
r = s 10 2 + t 10 2 = a 2 + b 2 + c 2 + d 2 + e 2 + f 2 + g 2 + h 2 ,
使得T包括基矩阵，a、b、c、d、e、f、g和h包括相邻像素近似数据，以及s、t和r包括基函数。闭合式参数变换可以包括闭合式混合参数变换，闭合式混合参数变换包括一维参数变换和一维固定变换，使得对多个编码分区的单个编码分区执行闭合式参数变换以生成与单个编码分区相关联的变换系数可以包括通过下式来确定变换系数：
&lsqb; C &rsqb; 4 x 2 = &lsqb; T P H T &rsqb; 4 x 4 &lsqb; S &rsqb; 4 x 2 &lsqb; T D C T &rsqb; 2 x 2 T
其中C包括变换系数，TPHT包括一维参数变换，S包括编码分区，以及TDCT包括一维固定变换。闭合式参数变换可以包括选定的闭合式参数变换的有限集合的一个闭合式参数变换，使得可以至少部分地基于用于从选定的闭合式参数变换的有限集合中选择闭合式参数变换的基于旋转的过程来确定闭合式参数变换。
在其他示例中，视频编码器可以包括图像缓冲器和具有自适应变换逻辑电路的图形处理单元。图形处理单元可以与图像缓冲器通信地耦合，并且自适应变换逻辑电路可以被配置为接收预测误差数据分区或编码分区或原始像素数据的分区以用于变换编码并且对多个编码分区的单个编码分区执行闭合式参数变换以生成与单个编码分区相关联的变换系数。
在另一个示例视频编码器中，图形处理单元可以包括自适应量化逻辑电路和/或自适应熵编码器逻辑电路。自适应量化逻辑电路可以被配置为将变换系数进行量化以生成量化的变换系数。自适应熵编码器逻辑电路可以被配置为将与量化的变换系数、参数变换方向以及指示单个编码分区的尺寸的块尺寸数据相关联的数据熵编码到比特流中并且发送该比特流。自适应变换逻辑电路可以进一步配置为确定与闭合式参数变换相关联的基函数参数，使得闭合式参数变换可以包括具有一维参数变换和一维固定变换的闭合式混合参数变换，使得闭合式参数变换包括包含一维参数Haar变换和一维固定变换的闭合式混合参数Haar变换，使得用于确定基函数参数可以包括自适应变换逻辑电路被配置为至少部分地基于先前解码的视频数据来确定一维参数变换的基函数参数，使得先前解码的视频数据可以包括单个编码分区的相邻数据，并且使得先前解码的视频数据可以包括位于单个编码分区的上方、下方、左侧、右侧或对角中的至少一个的相邻数据，并且确定一维参数变换的参数变换方向，使得参数变换方向可以包括水平方向、垂直方向或对角方向中的至少一个，并且使得沿与参数变换方向正交的方向来执行一维固定变换。一维参数变换可以包括参数Haar变换或参数倾斜变换中的至少一个。一维固定变换包括离散余弦变换或离散余弦变换近似器中的至少一个。单个编码分区包括4x4像素、8x8像素或16x16像素中的至少一种的尺寸。用于闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 2 x 2 = a r b r b r - a r
其中
r = a 2 + b 2
使得T包括基矩阵，a和b包括相邻像素近似数据，以及r包括基函数。用于闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 4 x 4 = a r b r c r d r at 00 rs 00 bt 00 rs 00 - cs 00 rt 00 - ds 00 rt 00 b s 00 - a s 00 0 0 0 0 d t 00 - c t 00 ,
其中
s 00 = a 2 + b 2 ,
t 00 = c 2 + d 2 , 和
r = s 00 2 + t 00 2 = a 2 + b 2 + c 2 + d 2 ,
使得T包括基矩阵，a、b、c和d包括相邻像素近似数据，以及s、t和r包括基函数。用于闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 8 x 8 = a r b r c r d r e r f r g r h r at 10 rs 10 bt 10 rs 10 ct 10 rs 10 dt 10 rs 10 - es 10 rs 10 - fs 10 rs 10 - gs 10 rs 10 - hs 10 rs 10 as 01 s 00 s 10 bs 01 s 00 s 10 - cs 01 s 01 s 10 - ds 01 s 01 s 10 0 0 0 0 0 0 0 0 et 01 t 00 t 10 ft 01 t 00 t 10 - gt 00 t 01 t 10 - ht 00 t 01 t 10 b s 00 - a s 00 0 0 0 0 0 0 0 0 d s 01 - c s 01 0 0 0 0 0 0 0 0 f t 00 - e t 00 0 0 0 0 0 0 0 0 h t 01 - g t 01 ,
其中
s 00 = a 2 + b 2 ,
s 01 = c 2 + d 2 ,
s 10 = s 00 2 + s 01 2 = a 2 + b 2 + c 2 + d 2
t 00 = e 2 + f 2 ,
t 01 = g 2 + h 2 ,
t 10 = t 00 2 + t 01 2 = e 2 + f 2 + g 2 + h 2 , 和
r = s 10 2 + t 10 2 = a 2 + b 2 + c 2 + d 2 + e 2 + f 2 + g 2 + h 2 ,
使得T包括基矩阵，a、b、c、d、e、f、g和h包括相邻像素近似数据，以及s、t和r包括基函数。闭合式参数变换可以包括包含一维参数变换和一维固定变换的闭合式混合参数变换，使得要对多个编码分区的单个编码分区执行闭合式参数变换以生成与单个编码分区相关联的变换系数可以包括自适应变换逻辑电路被配置为通过下式来确定变换系数：
&lsqb; C &rsqb; 4 x 2 = &lsqb; T P H T &rsqb; 4 x 4 &lsqb; S &rsqb; 4 x 2 &lsqb; T D C T &rsqb; 2 x 2 T
其中C包括变换系数，TPHT包括一维参数变换，S包括编码分区，以及TDCT包括一维固定变换。闭合式参数变换可以包括选定的闭合式参数变换的有限集合的一个闭合式参数变换，使得可以至少部分地基于用于从选定的闭合式参数变换的有限集合中选择闭合式参数变换的基于旋转的过程来确定闭合式参数变换。
在又一示例中，解码器系统可以包括被配置为对编码比特流进行解码的视频解码器。视频解码器可以被配置为对比特流进行熵解码以针对单个编码分区，确定与量化的变换系数、参数变换方向和块尺寸数据相关联的数据，至少部分地基于与量化的变换系数相关联的数据来执行反向扫描和反向量化以生成解码的变换系数，至少部分地基于先前解码的视频数据来确定与单个编码分区相关联的解码器基函数参数，至少部分地基于解码器基函数参数、参数变换方向和块尺寸数据来对解码的变换系数执行反向闭合式参数变换以生成解码编码分区，并且将解码的编码分区与第二解码的编码分区进行组合以生成解码的预测误差数据分区。
在另一示例系统中，系统还可以包括天线和/或被配置为呈现视频帧的显示设备。天线可以被配置为接收视频数据的编码比特流以及与视频解码器通信地耦合。视频解码器可以进一步被配置为将预测分区与解码的预测误差数据分区相加以生成第一重构的分区，将第一重构的分区和第二重构的分区进行装配以生成瓦片或超片段中的至少一个，将解块滤波或质量恢复滤波中的至少一个应用于瓦片或超片段以生成最终解码的瓦片或超片段，将最终解码的瓦片或超片段与第二最终解码的瓦片或超片段进行装配以生成解码的视频帧，发送解码的视频帧以用于经由显示设备呈现。闭合式参数变换可以包括包含一维反向参数变换和一维反向固定变换的闭合式混合参数变换。先前解码的视频数据可以包括单个编码分区的相邻数据，使得先前解码的视频数据可以包括位于单个编码分区的上方、下方、左侧、右侧或对角中的至少一个的相邻数据。一维反向参数变换可以包括反向参数Haar变换或反向参数倾斜变换中的至少一个。一维反向固定变换可以包括反向离散余弦变换或反向离散余弦变换近似器中的至少一个。单个编码分区可以包括4x4像素、8x8像素或16x16像素中的至少一个的尺寸。用于闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 2 x 2 = a r b r b r - a r
其中
r = a 2 + b 2
使得T包括基矩阵，a和b包括相邻像素近似数据，以及r包括基函数。用于闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 4 x 4 = a r b r c r d r at 00 rs 00 bt 00 rs 00 - cs 00 rt 00 - ds 00 rt 00 b s 00 - a s 00 0 0 0 0 d t 00 - c t 00 ,
其中
s 00 = a 2 + b 2 ,
t 00 = c 2 + d 2 , 和
r = s 00 2 + t 00 2 = a 2 + b 2 + c 2 + d 2 ,
使得T包括基矩阵，a、b、c和d包括相邻像素近似数据，以及s、t和r包括基函数。用于闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 8 x 8 = a r b r c r d r e r f r g r h r at 10 rs 10 bt 10 rs 10 ct 10 rs 10 dt 10 rs 10 - es 10 rs 10 - fs 10 rs 10 - gs 10 rs 10 - hs 10 rs 10 as 01 s 00 s 10 bs 01 s 00 s 10 - cs 01 s 01 s 10 - ds 01 s 01 s 10 0 0 0 0 0 0 0 0 et 01 t 00 t 10 ft 01 t 00 t 10 - gt 00 t 01 t 10 - ht 00 t 01 t 10 b s 00 - a s 00 0 0 0 0 0 0 0 0 d s 01 - c s 01 0 0 0 0 0 0 0 0 f t 00 - e t 00 0 0 0 0 0 0 0 0 h t 01 - g t 01 ,
其中
s 00 = a 2 + b 2 ,
s 01 = c 2 + d 2 ,
s 10 = s 00 2 + s 01 2 = a 2 + b 2 + c 2 + d 2
t 00 = e 2 + f 2 ,
t 01 = g 2 + h 2 ,
t 10 = t 00 2 + t 01 2 = e 2 + f 2 + g 2 + h 2 , 和
r = s 10 2 + t 10 2 = a 2 + b 2 + c 2 + d 2 + e 2 + f 2 + g 2 + h 2 ,
使得T包括基矩阵，a、b、c、d、e、f、g和h包括相邻像素近似数据，以及s、t和r包括基函数。闭合式参数变换可以包括包含一维参数变换和一维固定变换的闭合式混合参数变换，使得要对多个编码分区的单个编码分区执行闭合式参数变换以生成与单个编码分区相关联的变换系数可以包括视频解码器被配置为通过下式来确定变换系数：
&lsqb; C &rsqb; 4 x 2 = &lsqb; T P H T &rsqb; 4 x 4 &lsqb; S &rsqb; 4 x 2 &lsqb; T D C T &rsqb; 2 x 2 T
其中C包括变换系数，TPHT包括一维参数变换，S包括编码分区，以及TDCT包括一维固定变换。闭合式参数变换可以包括选定的闭合式参数变换的有限集合的一个闭合式参数变换，使得可以至少部分地基于从选定的闭合式参数变换的有限集合中选择闭合式参数变换的基于旋转的过程来确定闭合式参数变换。
在另一示例中，至少一个机器可读介质可以包括多条指令，响应于在计算设备上执行，使得计算设备执行根据上述示例中任一个示例的方法。
在又一示例中，装置可以包括用于执行根据上述示例中的任一示例的方法的模块。
上述示例可以包括特征的具体组合。但是，上面的这样的示例不限于这方面，并且在各个实现中，上述示例可以包括仅实施这样的特征的子集，实施不同次序的这样的特征，实施这样的特征的不同组合，和/或实施与明确列出的那些特征不同的附加特征。例如，相对于示例方法所描述的全部特征可以相对于示例装置、示例系统和/或示例物品来实现，反之亦然。

Claims (29)

1.一种用于视频编码的计算机实现的方法，包括：
接收预测误差数据或编码分区或原始像素数据的分区，以用于变换编码；
对所述预测误差数据或编码分区或所述原始像素数据的分区执行闭合式参数变换以生成变换系数；
对所述变换系数进行量化以生成量化的变换系数；以及
将与所述量化的变换系数相关联的数据熵编码到比特流中。
2.如权利要求1所述的方法，还包括：
确定与所述闭合式参数变换相关联的基函数参数。
3.如权利要求1所述的方法，还包括：
确定与所述闭合式参数变换相关联的基函数参数，其中，所述闭合式参数变换包括闭合式混合参数Haar变换，所述闭合式混合参数Haar变换包括一维参数Haar变换和一维固定变换，并且其中，确定所述基函数参数包括至少部分地基于先前解码的视频数据来确定针对所述一维参数Haar变换的基函数参数。
4.如权利要求1所述的方法，其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数变换和一维固定变换。
5.如权利要求1所述的方法，其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数Haar变换和一维离散余弦变换。
6.如权利要求1所述的方法，还包括：
确定针对所述一维参数变换的参数变换方向，其中，所述参数变换方向包括水平方向、垂直方向或对角方向中的至少一个，并且其中，所述一维固定变换在与所述参数变换方向正交的方向上执行。
7.如权利要求1所述的方法，其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 2 x 2 = a r b r b r - a r
其中，
r = a 2 + b 2
使得T包括所述基矩阵，a和b包括相邻像素近似数据，以及r包括基函数。
8.如权利要求1所述的方法，其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 4 x 4 = a r b r c r d r at 00 rs 00 bt 00 rs 00 - cs 00 rt 00 - ds 00 rt 00 b s 00 - a S 00 0 0 0 0 d t 00 - C t 00 ,
其中，
s 00 = a 2 + b 2 ,
t 00 = c 2 + d 2 , 以及
r = s 00 2 + t 00 2 = a 2 + b 2 + c 2 + d 2 ,
使得T包括所述基矩阵，a、b、c和d包括相邻像素近似数据，以及s、t和r包括基函数。
9.如权利要求1所述的方法，其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 8 x 8 = a r b r c r d r e r f r g r h r at 10 rs 10 bt 10 rs 10 ct 10 rs 10 dt 10 rs 10 - es 10 rt 10 - fs 10 rt 10 - gs 10 rt 10 - hs 10 rt 10 as 01 s 00 s 10 bs 01 s 00 s 10 - cs 01 s 01 s 10 - ds 01 s 01 s 10 0 0 0 0 0 0 0 0 et 01 t 00 t 10 ft 01 t 00 t 10 - gt 00 t 01 t 10 - ht 00 t 01 t 10 b s 00 - a s 00 0 0 0 0 0 0 0 0 d s 01 - c s 01 0 0 0 0 0 0 0 0 f t 00 - e t 00 0 0 0 0 0 0 0 0 h t 01 - g t 01 ,
其中，
s 00 = a 2 + b 2 ,
s 01 = c 2 + d 2 ,
s 10 = s 00 2 + s 01 2 = a 2 + b 2 + c 2 + d 2
t 00 = e 2 + f 2 ,
t 01 = g 2 + h 2 ,
t 10 = t 00 2 + t 01 2 = e 2 + f 2 + g 2 + h 2 , 以及
r = s 10 2 + t 10 2 = a 2 + b 2 + c 2 + d 2 + e 2 + f 2 + g 2 + h 2 ,
使得T包括所述基矩阵，a、b、c、d、e、f、g和h包括相邻像素近似数据，以及s、t和r包括基函数。
10.如权利要求1所述的方法，其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数变换和一维固定变换，其中，对多个编码分区中的单个编码分区执行所述闭合式参数变换以生成与所述单个编码分区相关联的变换系数，包括通过如下来确定所述变换系数：
&lsqb; C &rsqb; 4 x 2 = &lsqb; T P H T &rsqb; 4 x 4 &lsqb; S &rsqb; 4 x 2 &lsqb; T D C T &rsqb; 2 x 2 T
其中，C包括所述变换系数，TPHT包括所述一维参数变换，S包括所述编码分区，以及TDCT包括所述一维固定变换。
11.如权利要求1所述的方法，其中，所述闭合式参数变换包括选定的闭合式参数变换的有限集中的一个闭合式参数变换。
12.如权利要求1所述的方法，其中，所述闭合式参数变换包括选定的闭合式参数变换的有限集中的一个闭合式参数变换，并且其中，所述闭合式参数变换至少部分地基于用于从所述选定的闭合式参数变换的有限集中选择所述闭合式参数变换的基于旋转的过程来确定。
13.如权利要求1所述的方法，还包括：
确定与所述闭合式参数变换相关联的基函数参数，其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数变换和一维固定变换，其中，所述闭合式参数变换包括闭合式混合参数Haar变换，所述闭合式混合参数Haar变换包括一维参数Haar变换和一维固定变换，其中，确定所述基函数参数包括至少部分地基于先前解码的视频数据来确定针对所述一维参数变换的基函数参数，其中，所述先前解码的视频数据包括关于所述单个编码分区的相邻数据，并且其中，所述先前解码的视频数据包括在所述单个编码分区的上方、下方、左侧、右侧或对角中的至少一个的相邻数据；
确定针对所述一维参数变换的参数变换方向，其中，所述参数变换方向包括水平方向、垂直方向或对角方向中的至少一个，并且其中，所述一维固定变换在与所述参数变换方向正交的方向上执行；
将所述参数变换方向和指示所述单个编码分区的尺寸的块尺寸数据熵编码到所述比特流中；
发送所述比特流；
接收所述比特流；
对所述比特流进行熵解码以确定与所述量化的变换系数、所述参数变换方向和所述块尺寸数据相关联的数据；
至少部分地基于与所述量化的变换系数相关联的数据来执行反向扫描和反向量化以生成解码的变换系数；
至少部分地基于第二先前解码的视频数据来确定与解码的单个编码分区相关联的解码器基函数参数，其中，所述第二先前解码的视频数据包括关于解码的单个分区的相邻数据，其中，所述第二先前解码的视频数据包括在所述解码的单个分区的上方、下方、左侧、右侧或对角中的至少一个的相邻数据，并且其中，所述第二先前解码的视频数据基本类似于所述先前解码的视频数据；
至少部分地基于所述解码器基函数参数、所述参数变换方向和所述块尺寸数据来对所述解码的变换系数执行反向闭合式参数变换，以生成解码的单个编码分区；
将所述解码的单个编码分区与第二解码的单个编码分区进行组合以生成解码的预测误差数据分区；
将预测分区添加到所述解码的预测误差数据分区以生成第一重构的分区；
将所述第一重构的分区和第二重构的分区进行装配以生成瓦片或超片段中的至少一个；
将解块滤波或质量恢复滤波中的至少一个应用于所述瓦片或所述超片段以生成最终解码的瓦片或超片段；
将所述最终解码的瓦片或超片段与第二最终解码的瓦片或超片段进行装配以生成解码的视频帧；以及
发送所述解码的视频帧以经由显示设备进行呈现，
其中，所述一维参数变换包括参数Haar变换或参数倾斜变换中的至少一个，
其中，所述一维固定变换包括离散余弦变换或离散余弦变换近似器中的至少一个，
其中，所述单个编码分区包括4×4像素、8×8像素或16×16像素中的至少一个的尺寸，
其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 2 x 2 = a r b r b r - a r
其中，
r = a 2 + b 2
使得T包括所述基矩阵，a和b包括相邻像素近似数据，以及r包括基函数，
其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 4 x 4 = a r b r c r d r at 00 rs 00 bt 00 rs 00 cs 00 rt 00 - ds 00 rt 00 b s 00 - a s 00 0 0 0 0 d t 00 - c t 00 ,
其中，
s 00 = a 2 + b 2 ,
t 00 = c 2 + d 2 , 以及
r = s 00 2 + t 00 2 = a 2 + b 2 + c 2 + d 2 ,
使得T包括所述基矩阵，a、b、c和d包括相邻像素近似数据，以及s、t和r包括基函数，
其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 8 x 8 = a r b r c r d r e r f r g r h r at 10 rs 10 bt 10 rs 10 ct 10 rs 10 dt 10 rs 10 - es 10 rt 10 - fs 10 rt 10 - gs 10 rt 10 - hs 10 rt 10 as 01 s 00 s 10 bs 01 s 00 s 10 - cs 01 s 01 s 10 - ds 01 s 01 s 10 0 0 0 0 0 0 0 0 et 01 t 00 t 10 ft 01 t 00 t 10 - gt 00 t 01 t 10 - ht 00 t 01 t 10 b s 00 - a s 00 0 0 0 0 0 0 0 0 d s 01 - c s 01 0 0 0 0 0 0 0 0 f t 00 - e t 00 0 0 0 0 0 0 0 0 h t 01 - g t 01 ,
其中，
s 00 = a 2 + b 2 ,
s 01 = c 2 + d 2 ,
s 10 = s 00 2 + s 01 2 = a 2 + b 2 + c 2 + d 2
t 00 = e 2 + f 2 ,
t 01 = g 2 + h 2 ,
t 10 = t 00 2 + t 01 2 = e 2 + f 2 + g 2 + h 2 , 以及
r = s 10 2 + t 10 2 = a 2 + b 2 + c 2 + d 2 + e 2 + f 2 + g 2 + h 2 ,
使得T包括所述基矩阵，a、b、c、d、e、f、g和h包括相邻像素近似数据，以及s、t和r包括基函数，
其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数变换和一维固定变换，其中，对多个编码分区中的单个编码分区执行所述闭合式参数变换以生成与所述单个编码分区相关联的变换系数，包括经由如下来确定所述变换系数：
&lsqb; C &rsqb; 4 x 2 = &lsqb; T P H T &rsqb; 4 x 4 &lsqb; S &rsqb; 4 x 2 &lsqb; T D C T &rsqb; 2 x 2 T
其中，C包括所述变换系数，TPHT包括所述一维参数变换，S包括所述编码分区，以及TDCT包括所述一维固定变换，并且
其中，所述闭合式参数变换包括选定的闭合式参数变换有限集中的一个闭合式参数变换，并且其中，至少部分地基于用于从所述选定的闭合式参数变换的有限集中选择所述闭合式参数变换的基于旋转的过程来确定所述闭合式参数变换。
14.一种视频编码器，包括：
图像缓冲器；
包括自适应变换逻辑电路的图形处理单元，其中，所述图形处理单元与所述图像缓冲器通信地耦合，并且其中，所述自适应变换逻辑电路被配置为：
接收预测误差数据预测或编码分区或原始像素数据的分区，以用于变换编码；以及
对多个编码分区中的单个编码分区执行闭合式参数变换以生成与所述单个编码分区相关联的变换系数。
15.如权利要求14所述的视频编码器，其中，所述自适应变换逻辑电路被进一步配置为：
确定与所述闭合式参数变换相关联的基函数参数。
16.如权利要求14所述的视频编码器，其中，所述自适应变换逻辑电路被进一步配置为：
确定与所述闭合式参数变换相关联的基函数参数，其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数Haar变换和一维固定变换，并且其中，确定所述基函数参数包括至少部分地基于先前解码的视频数据来确定针对所述一维参数Haar变换的基函数参数。
17.如权利要求14所述的视频编码器，其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数变换和一维固定变换。
18.如权利要求14所述的视频编码器，其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 2 x 2 = a r b r b r - a r
其中，
r = a 2 + b 2
使得T包括所述基矩阵，a和b包括相邻像素近似数据，以及r包括基函数。
19.如权利要求14所述的视频编码器，其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 4 x 4 = a r b r c r d r at 00 rs 00 bt 00 rs 00 - cs 00 rt 00 - ds 00 rt 00 b s 00 - a s 00 0 0 0 0 d t 00 - c t 00 ,
其中，
s 00 = a 2 + b 2 ,
t 00 = c 2 + d 2 , 以及
r = s 00 2 + t 00 2 = a 2 + b 2 + c 2 + d 2 ,
使得T包括所述基矩阵，a、b、c和d包括相邻像素近似数据，以及s、t和r包括基函数。
20.如权利要求14所述的视频编码器，其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 8 x 8 = a r b r c r d r e r f r g r h r at 10 rs 10 bt 10 rs 10 ct 10 rs 10 dt 10 rs 10 - es 10 rt 10 - fs 10 rt 10 - gs 10 rt 10 - hs 10 rt 10 as 01 s 00 s 10 bs 01 s 00 s 10 - cs 01 s 01 s 10 - ds 01 s 01 s 10 0 0 0 0 0 0 0 0 et 01 t 00 t 10 ft 01 t 00 t 10 - gt 00 t 01 t 10 - ht 00 t 01 t 10 b s 00 - a s 00 0 0 0 0 0 0 0 0 d s 01 - c s 01 0 0 0 0 0 0 0 0 f t 00 - e t 00 0 0 0 0 0 0 0 0 h t 01 - g t 01 ,
其中，
s &alpha; J = a 2 + b 2 ,
s 01 = c 2 + d 2 ,
s 10 = s 00 2 + s 01 2 = a 2 + b 2 + c 2 + d 2
t 00 = e 2 + f 2 ,
t 01 = g 2 + h 2 ,
t 10 = t 00 2 + t 01 2 = e 2 + f 2 + g 2 + h 2 , 以及
r = s 10 2 + t 10 2 = a 2 + b 2 + c 2 + d 2 + e 2 + f 2 + g 2 + h 2 ,
使得T包括所述基矩阵，a、b、c、d、e、f、g和h包括相邻像素近似数据，以及s、t和r包括基函数。
21.如权利要求14所述的视频编码器，其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数变换和一维固定变换，其中，对多个编码分区中的单个编码分区执行所述闭合式参数变换以生成与所述单个编码分区相关联的变换系数，包括经由如下来确定所述变换系数：
&lsqb; C &rsqb; 4 x 2 = &lsqb; T P H T &rsqb; 4 x 4 &lsqb; S &rsqb; 4 x 2 &lsqb; T D C T &rsqb; 2 x 2 T
其中，C包括所述变换系数，TPHT包括所述一维参数变换，S包括所述编码分区，TDCT包括所述一维固定变换。
22.如权利要求14所述的视频编码器，其中，所述闭合式参数变换包括选定的闭合式参数变换的有限集中的一个闭合式参数变换，并且其中，所述自适应变换逻辑电路被配置为至少部分地基于用于从所述选定的闭合式参数变换的有限集中选择所述闭合式参数变换的基于旋转的过程来确定所述闭合式参数变换。
23.如权利要求14所述的视频编码器，所述图形处理单元还包括：
自适应量化逻辑电路，其被配置为：
对所述变换系数进行量化以生成量化的变换系数；以及
自适应熵编码器逻辑电路，其被配置为：
将与所述量化的变换系数、参数变换方向、以及指示所述单个编码分区的尺寸的块尺寸数据相关联的数据熵编码到比特流中；以及
发送所述比特流，
其中，所述自适应变换逻辑电路被进一步配置为：
确定与所述闭合式参数变换相关联的基函数参数，其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数变换和一维固定变换，其中，所述闭合式参数变换包括闭合式混合参数Haar变换，所述闭合式混合参数Haar变换包括一维参数Haar变换和一维固定变换，其中，确定所述基函数参数包括所述自适应变换逻辑电路被配置为至少部分地基于先前解码的视频数据来确定针对所述一维参数变换的基函数参数，其中，所述先前解码的视频数据包括关于所述单个编码分区的相邻数据，并且其中，所述先前解码的视频数据包括在所述单个编码分区的上方、下方、左侧、右侧或对角中的至少一个的相邻数据；以及
确定针对所述一维参数变换的参数变换方向，其中，所述参数变换方向包括水平方向、垂直方向或对角方向中的至少一个，并且其中，所述一维固定变换在与所述参数变换方向正交的方向上执行，
其中，所述一维参数变换包括参数Haar变换或参数倾斜变换中的至少一个，
其中，所述一维固定变换包括离散余弦变换或离散余弦变换近似器中的至少一个，
其中，所述单个编码分区包括4×4像素、8×8像素或16×16像素中的至少一个的尺寸，
其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 2 x 2 = a r b r b r - a r
其中，
r = a 2 + b 2
使得T包括所述基矩阵，a和b包括相邻像素近似数据，以及r包括基函数，
其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 4 x 4 = a r b r c r d r at 00 rs 00 bt 00 rs 00 - cs 00 rt 00 - ds 00 rt 00 b s 00 - a s 00 0 0 0 0 d t 00 - c t 00 ,
其中，
s 00 = a 2 + b 2 ,
t 00 = c 2 + d 2 , 以及
r = s 00 2 + t 00 2 = a 2 + b 2 + c 2 + d 2 ,
使得T包括所述基矩阵，a、b、c和d包括相邻像素近似数据，以及s、t和r包括基函数，
其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 8 x 8 = a r b r c r d r e r f r g r h r at 10 rs 10 bt 10 rs 10 ct 10 rs 10 dt 10 rs 10 - es 10 rt 10 - fs 10 rt 10 - gs 10 rt 10 - hs 10 rt 10 as 01 s 00 s 10 bs 01 s 00 s 10 - cs 01 s 01 s 10 - ds 01 s 01 s 10 0 0 0 0 0 0 0 0 et 01 t 00 t 10 ft 01 t 00 t 10 - gt 00 t 01 t 10 - ht 00 t 01 t 10 b s 00 - a s 00 0 0 0 0 0 0 0 0 d s 01 - c s 01 0 0 0 0 0 0 0 0 f t 00 - e t 00 0 0 0 0 0 0 0 0 h t 01 - g t 01 ,
其中，
s 00 = a 2 + b 2 ,
s 01 = c 2 + d 2 ,
s 10 = s 00 2 + s 01 2 = a 2 + b 2 + c 2 + d 2
t 00 = e 2 + f 2 ,
t 01 = g 2 + h 2 ,
t 10 = t 00 2 + t 01 2 = e 2 + f 2 + g 2 + h 2 , 以及
r = s 10 2 + t 10 2 = a 2 + b 2 + c 2 + d 2 + e 2 + f 2 + g 2 + h 2 ,
使得T包括所述基矩阵，a、b、c、d、e、f、g和h包括相邻像素近似数据，以及s、t和r包括基函数，
其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数变换和一维固定变换，其中，对多个编码分区中的单个编码分区执行所述闭合式参数变换以生成与所述单个编码分区相关联的变换系数，包括所述自适应变换逻辑电路被配置为经由如下来确定所述变换系数：
&lsqb; C &rsqb; 4 x 2 = &lsqb; T P H T &rsqb; 4 x 4 &lsqb; S &rsqb; 4 x 2 &lsqb; T D C T &rsqb; 2 x 2 T
其中，C包括所述变换系数，TPHT包括所述一维参数变换，S包括所述编码分区，以及TDCT包括所述一维固定变换，并且
其中，所述闭合式参数变换包括选定的闭合式参数变换的有限集中的一个闭合式参数变换，并且其中，所述自适应变换逻辑电路被配置为至少部分地基于用于从所述选定的闭合式参数变换的有限集中选择所述闭合式参数变换的基于旋转的过程来确定所述闭合式参数变换。
24.一种解码器系统，包括：
视频解码器，其被配置为对编码的比特流进行解码，其中，所述视频解码器被配置为：
对所述比特流进行熵解码以针对单个编码分区，确定与量化的变换系数、参数变换方向和块尺寸数据相关联的数据；
至少部分地基于与所述量化的变换系数相关联的数据来执行反向扫描和反向量化以生成解码的变换系数；
至少部分地基于先前解码的视频数据来确定与所述单个编码分区相关联的解码器基函数参数；
至少部分地基于所述解码器基函数参数、所述参数变换方向和所述块尺寸数据来对所述解码的变换系数执行反向闭合式参数变换以生成解码的编码分区；以及
将所述解码的编码分区与第二解码的编码分区组合以生成解码的预测误差数据分区。
25.如权利要求24所述的系统，还包括：
天线，其被配置为接收视频数据的所述编码的比特流并且与所述视频解码器通信地耦合；以及
显示设备，其被配置为呈现视频帧。
26.如权利要求24所述的系统，其中，所述反向闭合式参数变换包括混合反向闭合式参数变换，所述混合反向闭合式参数变换包括一维反向参数变换和一维反向固定变换，并且其中，用于所述闭合式反向参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 4 x 4 = a r b r c r d r at 00 rs 00 bt 00 rs 00 - cs 00 rt 00 - ds 00 rt 00 b s 00 - a s 00 0 0 0 0 d t 00 - c t 00 ,
其中，
s 00 = a 2 + b 2 ,
t 00 = c 2 + d 2 , 以及
r = s 00 2 + t 00 2 = a 2 + b 2 + c 2 + d 2 ,
使得T包括所述基矩阵，a、b、c和d包括相邻像素近似数据，以及s、t和r包括基函数。
27.如权利要求24所述的系统，还包括：
天线，其被配置为接收视频数据的所述编码的比特流并且与所述视频解码器通信地耦合；以及
显示设备，其被配置为呈现视频帧，
其中，所述视频解码器被进一步配置为：
将预测分区添加到所述解码的预测误差数据分区以生成第一重构的分区；
将所述第一重构的分区与第二重构的分区进行装配以生成瓦片或超片段中的至少一个；
将解块滤波或质量恢复滤波中的至少一个应用于所述瓦片或所述超片段以生成最终解码的瓦片或超片段；
将所述最终解码的瓦片或超片段与第二最终解码的瓦片或超片段进行装配以生成解码的视频帧；以及
发送所述解码的视频帧以用于经由显示设备来呈现，
其中，所述反向闭合式参数变换包括混合反向闭合式参数变换，所述混合反向闭合式参数变换包括一维反向参数变换和一维反向固定变换，
其中，所述先前解码的视频数据包括关于所述单个编码分区的相邻数据，并且其中，所述先前解码的视频数据包括在所述单个编码分区的上方、下方、左侧、右侧或对角中的至少一个的相邻数据，
其中，所述一维反向参数变换包括反向参数Haar变换或反向参数倾斜变换中的至少一个，
其中，所述一维反向固定变换包括反向离散余弦变换或反向离散余弦变换近似器中的至少一个，
其中，所述单个编码分区包括4×4像素、8×8像素或16×16像素中的至少一个的尺寸，
其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 2 x 2 = a r b r b r - a r
其中，
r = a 2 + b 2
使得T包括所述基矩阵，a和b包括相邻像素近似数据，以及r包括基函数，
其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 4 x 4 = a r b r c r d r at 00 rs 00 bt 00 rs 00 - cs 00 rt 00 - ds 00 rt 00 b s 00 - a s 00 0 0 0 0 d t 00 - c t 00 ,
其中，
s 00 = a 2 + b 2 ,
t 00 = c 2 + d 2 , 以及
r = s 00 2 + t 00 2 = a 2 + b 2 + c 2 + d 2 ,
使得T包括所述基矩阵，a、b、c和d包括相邻像素近似数据，以及s、t和r包括基函数，
其中，用于所述闭合式参数变换的闭合式解包括如下给出的基矩阵：
&lsqb; T &rsqb; 8 x 8 = a r b r c r d r e r f r g r h r at 10 rs 10 bt 10 rs 10 ct 10 rs 10 dt 10 rs 10 - es 10 rt 10 - fs 10 rt 10 - gs 10 rt 10 - hs 10 rt 10 as 01 s 00 s 10 bs 01 s 00 s 10 - cs 01 s 01 s 10 - ds 01 s 01 s 10 0 0 0 0 0 0 0 0 et 01 t 00 t 10 ft 01 t 00 t 10 - gt 00 t 01 t 10 - ht 00 t 01 t 10 b s 00 - a s 00 0 0 0 0 0 0 0 0 d s 01 - c s 01 0 0 0 0 0 0 0 0 f t 00 - e t 00 0 0 0 0 0 0 0 0 h t 01 - g t 01 ,
其中，
s 00 = a 2 + b 2 ,
s 01 = c 2 + d 2 ,
s 10 = s 00 2 + s 01 2 = a 2 + b 2 + c 2 + d 2
t 00 = e 2 + f 2 ,
t 01 = g 2 + h 2 ,
t 10 = t 00 2 + t 01 2 = e 2 + f 2 + g 2 + h 2 , 以及
r = s 10 2 + t 10 2 = a 2 + b 2 + c 2 + d 2 + e 2 + f 2 + g 2 + h 2 ,
使得T包括所述基矩阵，a、b、c、d、e、f、g和h包括相邻像素近似数据，以及s、t和r包括基函数，
其中，所述闭合式参数变换包括闭合式混合参数变换，所述闭合式混合参数变换包括一维参数变换和一维固定变换，其中，对多个编码分区中的单个编码分区执行所述闭合式参数变换以生成与所述单个编码分区相关联的变换系数，包括所述视频解码器被配置为经由如下来确定所述变换系数：
&lsqb; C &rsqb; 4 x 2 = &lsqb; T P H T &rsqb; 4 x 4 &lsqb; S &rsqb; 4 x 2 &lsqb; T D C T &rsqb; 2 x 2 T
其中，C包括变换系数，TPHT包括所述一维参数变换，S包括所述编码分区，以及TDCT包括所述一维固定变换，以及
其中，所述闭合式参数变换包括选定的闭合式参数变换的有限集中的一个闭合式参数变换，并且其中，所述视频解码器被配置为至少部分地基于用于从所述选定的闭合式参数变换的有限集中选择所述闭合式参数变换的基于旋转的过程来确定所述闭合式参数变换。
28.至少一个机器可读介质，包括：
多条指令，其响应于在计算设备上被执行，使所述计算设备执行根据权利要求1-13中任一项所述的方法。
29.一种装置，包括：
用于执行根据权利要求1-13中任一项所述的方法的单元。
CN201380068546.4A 2013-01-30 2013-12-24 用于下一代视频编码的内容自适应参数变换 Expired - Fee Related CN104885467B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361758314P 2013-01-30 2013-01-30
US61/758,314 2013-01-30
PCT/US2013/077692 WO2014120367A1 (en) 2013-01-30 2013-12-24 Content adaptive parametric transforms for coding for next generation video

Publications (2)

Publication Number Publication Date
CN104885467A true CN104885467A (zh) 2015-09-02
CN104885467B CN104885467B (zh) 2018-08-17

Family

ID=51262831

Family Applications (10)

Application Number Title Priority Date Filing Date
CN201380068546.4A Expired - Fee Related CN104885467B (zh) 2013-01-30 2013-12-24 用于下一代视频编码的内容自适应参数变换
CN201380068582.0A Expired - Fee Related CN104885470B (zh) 2013-01-30 2013-12-24 用于下一代视频的预测和编码的内容自适应划分
CN201380053525.5A Expired - Fee Related CN104737542B (zh) 2013-01-30 2013-12-24 用于下一代视频的内容自适应熵编码
CN201380053523.6A Expired - Fee Related CN104718756B (zh) 2013-01-30 2013-12-27 利用经修改的参考的内容自适应预测性图片和功能预测性图片进行下一代视频译码
CN201380068583.5A Expired - Fee Related CN104885471B (zh) 2013-01-30 2013-12-27 用于下一代视频的编码/未编码的数据的内容自适应熵编码
CN201380053522.1A Expired - Fee Related CN105556964B (zh) 2013-01-30 2013-12-28 用于高效下一代视频编码的内容自适应双向或功能预测多遍图片
CN201480003744.7A Active CN105453570B (zh) 2013-01-30 2014-01-24 用于下一代视频的对分区数据的内容自适应熵编码
CN201480003751.7A Expired - Fee Related CN105052140B (zh) 2013-01-30 2014-01-28 用于下一代视频的模式和参考类型数据的内容自适应熵编码
CN201480003747.0A Expired - Fee Related CN104885455B (zh) 2013-01-30 2014-01-30 一种用于视频编码的计算机实现的方法及装置
CN201480003732.4A Expired - Fee Related CN105191309B (zh) 2013-01-30 2014-01-30 用于下一代视频编码的内容自适应预测距离分析器和分层运动估计系统

Family Applications After (9)

Application Number Title Priority Date Filing Date
CN201380068582.0A Expired - Fee Related CN104885470B (zh) 2013-01-30 2013-12-24 用于下一代视频的预测和编码的内容自适应划分
CN201380053525.5A Expired - Fee Related CN104737542B (zh) 2013-01-30 2013-12-24 用于下一代视频的内容自适应熵编码
CN201380053523.6A Expired - Fee Related CN104718756B (zh) 2013-01-30 2013-12-27 利用经修改的参考的内容自适应预测性图片和功能预测性图片进行下一代视频译码
CN201380068583.5A Expired - Fee Related CN104885471B (zh) 2013-01-30 2013-12-27 用于下一代视频的编码/未编码的数据的内容自适应熵编码
CN201380053522.1A Expired - Fee Related CN105556964B (zh) 2013-01-30 2013-12-28 用于高效下一代视频编码的内容自适应双向或功能预测多遍图片
CN201480003744.7A Active CN105453570B (zh) 2013-01-30 2014-01-24 用于下一代视频的对分区数据的内容自适应熵编码
CN201480003751.7A Expired - Fee Related CN105052140B (zh) 2013-01-30 2014-01-28 用于下一代视频的模式和参考类型数据的内容自适应熵编码
CN201480003747.0A Expired - Fee Related CN104885455B (zh) 2013-01-30 2014-01-30 一种用于视频编码的计算机实现的方法及装置
CN201480003732.4A Expired - Fee Related CN105191309B (zh) 2013-01-30 2014-01-30 用于下一代视频编码的内容自适应预测距离分析器和分层运动估计系统

Country Status (8)

Country Link
US (14) US9794569B2 (zh)
EP (12) EP2952002A4 (zh)
JP (3) JP6163674B2 (zh)
KR (6) KR102063385B1 (zh)
CN (10) CN104885467B (zh)
BR (1) BR112015015575A2 (zh)
RU (1) RU2612600C2 (zh)
WO (11) WO2014120367A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983771A (zh) * 2016-11-21 2019-07-05 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
CN110087072A (zh) * 2018-01-26 2019-08-02 三星电子株式会社 图像处理装置

Families Citing this family (255)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867823B (zh) * 2002-08-08 2012-05-02 松下电器产业株式会社 解码方法及解码装置
KR101215152B1 (ko) * 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US9380327B2 (en) * 2011-12-15 2016-06-28 Comcast Cable Communications, Llc System and method for synchronizing timing across multiple streams
US9591302B2 (en) 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
EP2920962A4 (en) 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
US9794569B2 (en) 2013-01-30 2017-10-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US11438609B2 (en) 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
US10057599B2 (en) * 2014-02-19 2018-08-21 Mediatek Inc. Method for performing image processing control with aid of predetermined tile packing, associated apparatus and associated non-transitory computer readable medium
CN103929642B (zh) * 2014-04-24 2017-04-12 北京航空航天大学 一种hevc变换系数的熵编码上下文模型偏移值快速计算方法
US9723377B2 (en) 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
US10397574B2 (en) * 2014-05-12 2019-08-27 Intel Corporation Video coding quantization parameter determination suitable for video conferencing
US11064204B2 (en) 2014-05-15 2021-07-13 Arris Enterprises Llc Automatic video comparison of the output of a video decoder
US20170249521A1 (en) * 2014-05-15 2017-08-31 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9699464B2 (en) * 2014-07-10 2017-07-04 Intel Corporation Adaptive bitrate streaming for wireless video
US9549188B2 (en) * 2014-07-30 2017-01-17 Intel Corporation Golden frame selection in video coding
CN104301724B (zh) * 2014-10-17 2017-12-01 华为技术有限公司 视频处理方法、编码设备和解码设备
TWI536799B (zh) * 2014-10-29 2016-06-01 虹光精密工業股份有限公司 智慧型複印設備
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10171807B2 (en) * 2015-01-29 2019-01-01 Arris Enterprises Llc Picture-level QP rate control for HEVC encoding
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
CN104780377B (zh) * 2015-03-18 2017-12-15 同济大学 一种基于分布式计算机系统的并行hevc编码系统及方法
CN108028942B (zh) 2015-06-04 2020-06-26 清华大学 像素预测方法、编码方法、解码方法及其装置、存储介质
GB2539198B (en) * 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
US9942552B2 (en) * 2015-06-12 2018-04-10 Intel Corporation Low bitrate video coding
US10354290B2 (en) * 2015-06-16 2019-07-16 Adobe, Inc. Generating a shoppable video
WO2016206748A1 (en) * 2015-06-25 2016-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Refinement of a low-pel resolution motion estimation vector
JP6715467B2 (ja) * 2015-07-01 2020-07-01 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
US10419512B2 (en) * 2015-07-27 2019-09-17 Samsung Display Co., Ltd. System and method of transmitting display data
US11076153B2 (en) * 2015-07-31 2021-07-27 Stc.Unm System and methods for joint and adaptive control of rate, quality, and computational complexity for video coding and video delivery
US10743059B2 (en) * 2015-08-30 2020-08-11 EVA Automation, Inc. Displaying HDMI content at an arbitrary location
US10430031B2 (en) * 2015-08-30 2019-10-01 EVA Automation, Inc. Displaying HDMI content in a tiled window
FR3040849A1 (fr) * 2015-09-04 2017-03-10 Stmicroelectronics (Grenoble 2) Sas Procede de compression d'un flux de donnees video
US9971791B2 (en) * 2015-09-16 2018-05-15 Adobe Systems Incorporated Method and apparatus for clustering product media files
WO2017052250A1 (ko) * 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2017057953A1 (ko) * 2015-09-30 2017-04-06 엘지전자 주식회사 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치
US10805627B2 (en) * 2015-10-15 2020-10-13 Cisco Technology, Inc. Low-complexity method for generating synthetic reference frames in video coding
US9998745B2 (en) * 2015-10-29 2018-06-12 Microsoft Technology Licensing, Llc Transforming video bit streams for parallel processing
US20180316914A1 (en) * 2015-10-30 2018-11-01 Sony Corporation Image processing apparatus and method
EP3166313A1 (en) 2015-11-09 2017-05-10 Thomson Licensing Encoding and decoding method and corresponding devices
US10283094B1 (en) * 2015-11-09 2019-05-07 Marvell International Ltd. Run-length compression and decompression of media tiles
WO2017083553A1 (en) * 2015-11-10 2017-05-18 Vid Scale, Inc. Systems and methods for coding in super-block based video coding framework
US20170155905A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Efficient intra video/image coding using wavelets and variable size transform coding
KR20230091200A (ko) * 2015-12-14 2023-06-22 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치 및 삼차원 데이터 복호 장치
WO2017114450A1 (en) * 2015-12-31 2017-07-06 Mediatek Inc. Method and apparatus of prediction binary tree structure for video and image coding
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US10445862B1 (en) * 2016-01-25 2019-10-15 National Technology & Engineering Solutions Of Sandia, Llc Efficient track-before detect algorithm with minimal prior knowledge
WO2017135663A2 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 행 -열 변환 (row- column transform)을 이용하여 변환을 수행하는 방법 및 장치
KR20170096088A (ko) * 2016-02-15 2017-08-23 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
CN109155857B (zh) 2016-03-11 2023-05-30 数字洞察力有限公司 视频编码方法以及装置
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
US20170280139A1 (en) * 2016-03-22 2017-09-28 Qualcomm Incorporated Apparatus and methods for adaptive calculation of quantization parameters in display stream compression
EP3298786A1 (en) * 2016-04-15 2018-03-28 Magic Pony Technology Limited In-loop post filtering for video encoding and decoding
EP3298783B1 (en) 2016-04-15 2020-11-18 Magic Pony Technology Limited Motion compensation using temporal picture interpolation
US10574999B2 (en) * 2016-05-05 2020-02-25 Intel Corporation Method and system of video coding with a multi-pass prediction mode decision pipeline
KR102571062B1 (ko) * 2016-05-10 2023-08-25 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
KR102480191B1 (ko) * 2016-05-13 2022-12-21 브이아이디 스케일, 인크. 비디오 코딩을 위한 일반화된 다중-가설 예측 시스템 및 방법
TWI689148B (zh) * 2016-05-17 2020-03-21 英屬開曼群島商鴻騰精密科技股份有限公司 電連接器組件
US10456672B2 (en) 2016-05-19 2019-10-29 Google Llc Methods and systems for facilitating participation in a game session
MX2018014493A (es) * 2016-05-25 2019-08-12 Arris Entpr Llc Particionamiento binario, ternario, cuaternario para jvet.
US10284845B2 (en) 2016-05-25 2019-05-07 Arris Enterprises Llc JVET quadtree plus binary tree (QTBT) structure with multiple asymmetrical partitioning
WO2017205704A1 (en) 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
ES2877362T3 (es) * 2016-05-25 2021-11-16 Arris Entpr Llc Particionamiento de árbol binario, ternario y cuaternario para la codificación JVET de datos de vídeo
US11146821B2 (en) 2016-05-25 2021-10-12 Arris Enterprises Llc JVET coding block structure with asymmetrical partitioning
US10743210B2 (en) * 2016-06-01 2020-08-11 Intel Corporation Using uplink buffer status to improve video stream adaptation control
KR102445668B1 (ko) * 2016-06-01 2022-09-21 삼성전자주식회사 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10880548B2 (en) 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
CN109643456A (zh) 2016-06-17 2019-04-16 因默希弗机器人私人有限公司 图像压缩方法与设备
US10169362B2 (en) 2016-07-07 2019-01-01 Cross Commerce Media, Inc. High-density compression method and computing system
CN109644267B (zh) * 2016-08-03 2023-07-04 株式会社Kt 视频信号处理方法和装置
WO2018023554A1 (en) * 2016-08-04 2018-02-08 SZ DJI Technology Co., Ltd. System and methods for bit rate control
US10715818B2 (en) * 2016-08-04 2020-07-14 Intel Corporation Techniques for hardware video encoding
WO2018023553A1 (en) * 2016-08-04 2018-02-08 SZ DJI Technology Co., Ltd. Parallel video encoding
US11089312B2 (en) 2016-08-08 2021-08-10 Lg Electronics Inc. Method for processing image and apparatus therefor
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
CN107872669B (zh) * 2016-09-27 2019-05-24 腾讯科技（深圳）有限公司 视频码率处理方法和装置
US10567775B2 (en) 2016-10-01 2020-02-18 Intel Corporation Method and system of hardware accelerated video coding with per-frame parameter control
CN114531590A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
WO2018066991A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
EP3306938A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for binary-tree split mode coding
EP3306927A1 (en) 2016-10-05 2018-04-11 Thomson Licensing Encoding and decoding methods and corresponding devices
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US20180103271A1 (en) * 2016-10-10 2018-04-12 Qualcomm Incorporated Systems and methods for signaling missing or corrupted video data
KR20180039323A (ko) * 2016-10-10 2018-04-18 디지털인사이트 주식회사 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
US10187178B2 (en) * 2016-10-11 2019-01-22 Microsoft Technology Licensing, Llc Dynamically partitioning media streams
US10779004B2 (en) 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
WO2018072675A1 (en) * 2016-10-18 2018-04-26 Zhejiang Dahua Technology Co., Ltd. Methods and systems for video processing
KR20180043151A (ko) 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화를 위한 장치 및 방법
CN116567211A (zh) * 2016-10-19 2023-08-08 Sk电信有限公司 视频编码/解码设备和方法及非暂时性记录介质
CN106454355B (zh) * 2016-10-24 2019-03-01 西南科技大学 一种视频编码方法及装置
WO2018092869A1 (ja) 2016-11-21 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018097590A1 (ko) * 2016-11-22 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
CN109997363B (zh) * 2016-11-28 2023-12-05 英迪股份有限公司 图像编码/解码方法和装置以及存储有比特流的记录介质
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
US10397590B2 (en) * 2016-12-05 2019-08-27 Nice-Systems Ltd. System and method for enabling seek in a video recording
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
CN116866575A (zh) * 2016-12-16 2023-10-10 夏普株式会社 图像解码装置
KR20230131958A (ko) 2016-12-23 2023-09-14 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트를 확장하기 위한 인트라 예측 장치
KR20180110061A (ko) * 2016-12-26 2018-10-08 닛본 덴끼 가부시끼가이샤 영상 인코딩 방법, 영상 디코딩 방법, 영상 인코딩 장치, 영상 디코딩 장치, 및 프로그램
KR20180110047A (ko) * 2016-12-26 2018-10-08 닛본 덴끼 가부시끼가이샤 영상 인코딩 방법, 영상 디코딩 방법, 영상 인코딩 장치, 영상 디코딩 장치, 및 프로그램
US10542275B2 (en) * 2016-12-28 2020-01-21 Arris Enterprises Llc Video bitstream coding
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
TWI617181B (zh) * 2017-01-04 2018-03-01 晨星半導體股份有限公司 用於高效率視訊編碼裝置之排程方法
CN115190301A (zh) * 2017-01-05 2022-10-14 弗劳恩霍夫应用研究促进协会 图像的基于块的预测编码和解码
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
EP3349454A1 (en) 2017-01-11 2018-07-18 Thomson Licensing Method and device for coding a block of video data, method and device for decoding a block of video data
KR20180088188A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 적응적 영상 변환 방법 및 장치
WO2018143687A1 (ko) * 2017-02-01 2018-08-09 엘지전자(주) 행-열 변환을 이용하여 변환을 수행하는 방법 및 장치
PL3477949T3 (pl) * 2017-02-06 2024-02-19 Huawei Technologies Co., Ltd. Sposób i urządzenie do dekodowania obrazu z zastosowaniem informacji o podziale jednostki drzewa kodowania
CN110494193A (zh) 2017-02-08 2019-11-22 因默希弗机器人私人有限公司 向多人游戏场地中的用户显示内容
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
US11496747B2 (en) 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
US10904531B2 (en) * 2017-03-23 2021-01-26 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video
CN108665410B (zh) * 2017-03-31 2021-11-26 杭州海康威视数字技术股份有限公司 一种图像超分辨率重构方法、装置及系统
US11010338B2 (en) * 2017-04-06 2021-05-18 Shanghai Cambricon Information Technology Co., Ltd Data screening device and method
DE112018002117T5 (de) 2017-04-21 2020-01-02 Zenimax Media Inc. Systeme und verfahren für verzögerte post-prozesse in der videocodierung
GB2583826B (en) 2017-04-21 2021-05-19 Zenimax Media Inc Systems and methods for rendering & pre-encoded load estimation based encoder hinting
GB2576846A (en) 2017-04-21 2020-03-04 Zenimax Media Inc Systems and methods for game-generated motion vectors
CN113628240A (zh) 2017-04-21 2021-11-09 泽尼马克斯媒体公司 通过预期运动矢量的玩家输入运动补偿
RU2730435C1 (ru) 2017-04-21 2020-08-21 Зенимакс Медиа Инк. Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика
US10979728B2 (en) * 2017-04-24 2021-04-13 Intel Corporation Intelligent video frame grouping based on predicted performance
CN108810556B (zh) * 2017-04-28 2021-12-24 炬芯科技股份有限公司 压缩参考帧的方法、装置及芯片
US10638127B2 (en) * 2017-05-15 2020-04-28 Qualcomm Incorporated Adaptive anchor frame and quantization parameter decision in video coding
WO2018223179A1 (en) 2017-06-05 2018-12-13 Immersive Robotics Pty Ltd Digital content stream compression
KR102315524B1 (ko) * 2017-06-16 2021-10-21 한화테크윈 주식회사 영상의 비트레이트 조절 방법 및 영상 획득 장치
CN107222751B (zh) * 2017-06-23 2019-05-10 宁波大学科学技术学院 基于多视点视频特征的3d-hevc深度视频信息隐藏方法
RU2770185C2 (ru) * 2017-06-26 2022-04-14 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Множество кандидатов предсказателя для компенсации движения
CN109151468B (zh) 2017-06-28 2020-12-08 华为技术有限公司 一种图像数据的编码、解码方法及装置
US10764582B2 (en) * 2017-06-29 2020-09-01 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
CN109218748B (zh) * 2017-06-30 2020-11-27 京东方科技集团股份有限公司 视频传输方法、装置及计算机可读存储介质
CN107360419B (zh) * 2017-07-18 2019-09-24 成都图必优科技有限公司 一种基于透视模型的运动前视视频帧间预测编码方法
KR102380233B1 (ko) 2017-07-19 2022-03-29 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11146608B2 (en) * 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
CN107483949A (zh) * 2017-07-26 2017-12-15 千目聚云数码科技（上海）有限公司 增加svac svc实用性的方法及系统
CN107295334B (zh) * 2017-08-15 2019-12-03 电子科技大学 自适应的参考图像抉择方法
CN107483960B (zh) * 2017-09-15 2020-06-02 信阳师范学院 一种基于空间预测的运动补偿帧率上转换方法
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
EP3457695A1 (en) 2017-09-18 2019-03-20 Thomson Licensing Method and apparatus for motion vector predictor adaptation for omnidirectional video
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
KR102419436B1 (ko) * 2017-09-28 2022-07-11 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
US10623744B2 (en) * 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
CN110678239B (zh) 2017-10-10 2024-02-09 谷歌有限责任公司 利用游戏元数据和量度的分布式基于样本的游戏剖析以及支持第三方内容的游戏api平台
AU2018373495B2 (en) 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Frequency component selection for image compression
US11153604B2 (en) 2017-11-21 2021-10-19 Immersive Robotics Pty Ltd Image compression for digital reality
CN111164972A (zh) * 2017-11-30 2020-05-15 深圳市大疆创新科技有限公司 用于在帧级别控制视频编码的系统和方法
CN110832856A (zh) 2017-11-30 2020-02-21 深圳市大疆创新科技有限公司 用于减小视频编码波动的系统及方法
WO2019104611A1 (en) 2017-11-30 2019-06-06 SZ DJI Technology Co., Ltd. System and method for controlling video coding within image frame
CN109949217B (zh) * 2017-12-20 2023-04-11 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
US11140207B2 (en) 2017-12-21 2021-10-05 Google Llc Network impairment simulation framework for verification of real time interactive media streaming systems
KR101975404B1 (ko) * 2017-12-27 2019-08-28 세종대학교산학협력단 절차적 콘텐츠 생성장치 및 방법
TWI680675B (zh) * 2017-12-29 2019-12-21 聯發科技股份有限公司 影像處理裝置與相關的影像處理方法
CN111801946A (zh) 2018-01-24 2020-10-20 Vid拓展公司 用于具有降低的译码复杂性的视频译码的广义双预测
KR102465206B1 (ko) * 2018-01-26 2022-11-09 삼성전자주식회사 이미지 처리 장치
EP3747192A1 (en) 2018-01-29 2020-12-09 InterDigital VC Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
EP3759919A1 (en) * 2018-02-26 2021-01-06 InterDigital VC Holdings, Inc. Method and apparatus for generalized obmc
US11765468B2 (en) * 2018-03-01 2023-09-19 Sony Corporation Image processing device and method thereof, imaging element, and imaging device
US11004178B2 (en) * 2018-03-01 2021-05-11 Nvidia Corporation Enhancing high-resolution images with data from low-resolution images
US10432962B1 (en) * 2018-03-13 2019-10-01 Pixelworks, Inc. Accuracy and local smoothness of motion vector fields using motion-model fitting
CN110309328B (zh) * 2018-03-14 2022-03-25 深圳云天励飞技术有限公司 数据存储方法、装置、电子设备及存储介质
EP3700640B1 (en) * 2018-03-22 2021-05-26 Google LLC Methods and systems for rendering and encoding content for online interactive gaming sessions
CN108449599B (zh) * 2018-03-23 2021-05-18 安徽大学 一种基于面透射变换的视频编码与解码方法
US11381834B2 (en) * 2018-04-02 2022-07-05 Hfi Innovation Inc. Video processing methods and apparatuses for sub-block motion compensation in video coding systems
US11077364B2 (en) 2018-04-02 2021-08-03 Google Llc Resolution-based scaling of real-time interactive graphics
CN111886057A (zh) 2018-04-02 2020-11-03 谷歌有限责任公司 用于电子系统的输入装置
JP7073526B2 (ja) 2018-04-02 2022-05-23 グーグル エルエルシー インタラクティブなクラウドゲームのための方法、デバイス、およびシステム
EP4141781B1 (en) 2018-04-10 2024-03-20 Google LLC Memory management in gaming rendering
US10491897B2 (en) * 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
EP3562162A1 (en) 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding based on neural network implementation of cabac
JP2021525468A (ja) * 2018-05-29 2021-09-24 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 部分的に共有されている輝度および彩度のコード化木を用いたビデオ符号化および復号化の方法および装置
CN110620929B (zh) 2018-06-19 2023-04-18 北京字节跳动网络技术有限公司 没有运动矢量预测截断的选择的运动矢量差精度
CN108848380B (zh) * 2018-06-20 2021-11-30 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
US10602147B2 (en) * 2018-07-10 2020-03-24 Samsung Display Co., Ltd. Efficient entropy coding group grouping methodology for transform mode
US11039315B2 (en) 2018-08-01 2021-06-15 At&T Intellectual Property I, L.P. On-demand super slice instantiation and orchestration
JP7410033B2 (ja) * 2018-08-20 2024-01-09 日本放送協会 符号化装置、復号装置及びプログラム
CN110876059B (zh) * 2018-09-03 2022-06-10 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
US10863179B1 (en) * 2018-09-05 2020-12-08 Amazon Technologies, Inc. Overlapped rate control for high-quality segmented video encoding
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
EP4325859A3 (en) 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
US11218694B2 (en) * 2018-09-24 2022-01-04 Qualcomm Incorporated Adaptive multiple transform coding
US11606569B2 (en) * 2018-09-25 2023-03-14 Apple Inc. Extending supported components for encoding image data
US10893281B2 (en) 2018-10-12 2021-01-12 International Business Machines Corporation Compression of a video stream having frames with relatively heightened quality parameters on blocks on an identified point of interest (PoI)
US10764589B2 (en) * 2018-10-18 2020-09-01 Trisys Co., Ltd. Method and module for processing image data
WO2020084476A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
CN109640082B (zh) * 2018-10-26 2021-02-12 浙江鼎越电子有限公司 音视频多媒体数据处理方法及其设备
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
US10939102B2 (en) * 2018-11-01 2021-03-02 Mediatek Inc. Post processing apparatus with super-resolution filter and loop restoration filter in block-level pipeline and associated post processing method
CN111436230A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 仿射预测的带宽控制方法
CN112204529A (zh) 2018-11-16 2021-01-08 谷歌有限责任公司 用于复杂系统分析的实时交互式仿真的影子追踪
US10666985B1 (en) * 2018-11-18 2020-05-26 Sony Corporation Sub-block based entropy coding for image coding
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
WO2020103933A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Configuration method for default motion candidate
US11184633B2 (en) 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
JP7040422B2 (ja) * 2018-11-28 2022-03-23 日本電信電話株式会社 動きベクトル生成装置、投影像生成装置、動きベクトル生成方法、およびプログラム
US11025947B2 (en) * 2018-11-29 2021-06-01 Mediatek Inc. Method and apparatus for generating motion field motion vectors for blocks of current frame in on-the-fly manner
US10855988B2 (en) 2018-12-19 2020-12-01 Qualcomm Incorporated Adaptive prediction structures
WO2020140908A1 (en) * 2018-12-31 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Mapping between distance index and distance in merge with mvd
US10645386B1 (en) * 2019-01-03 2020-05-05 Sony Corporation Embedded codec circuitry for multiple reconstruction points based quantization
CN113412623A (zh) 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
US10778972B1 (en) * 2019-02-27 2020-09-15 Google Llc Adaptive filter intra prediction modes in image/video compression
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
JP7252016B2 (ja) * 2019-03-13 2023-04-04 日本放送協会 動画像符号化装置、動画像復号装置及びプログラム
WO2020182213A1 (en) * 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Sub-block transform in transform skip mode
US10924625B2 (en) * 2019-03-20 2021-02-16 Xerox Corporation Dynamic compression acceleration using real-time image data entropy analysis
CN113767400A (zh) * 2019-03-21 2021-12-07 谷歌有限责任公司 使用率失真成本作为深度学习的损失函数
US11310496B2 (en) * 2019-03-27 2022-04-19 Ati Technologies Ulc Determining quality values for blocks of encoded video
EP3922014A4 (en) 2019-04-02 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. DECODER SIDE MOTION VECTOR BYPASS
CN111901593B (zh) * 2019-05-04 2024-01-02 华为技术有限公司 一种图像划分方法、装置及设备
US11223838B2 (en) * 2019-05-26 2022-01-11 Alibaba Group Holding Limited AI-assisted programmable hardware video codec
US10949982B1 (en) * 2019-06-21 2021-03-16 Amazon Technologies, Inc. Moving object recognition, speed estimation, and tagging
JP2022539657A (ja) 2019-06-24 2022-09-13 アリババ グループ ホウルディング リミテッド 映像処理における適応解像度変更
CN110339567B (zh) * 2019-07-17 2023-05-26 三星电子（中国）研发中心 系统资源配置、场景预测模型训练方法和装置
JP2022544164A (ja) 2019-08-06 2022-10-17 オーピー ソリューションズ， エルエルシー フレームタイプに基づく適応分解能管理の暗示的信号伝達
BR112022002204A2 (pt) 2019-08-06 2022-10-18 Op Solutions Llc Redimensionamento de previsão de gerenciamento de resolução adaptativa
AU2020326881A1 (en) 2019-08-06 2022-03-24 Op Solutions, Llc Block-based adaptive resolution management
WO2021026363A1 (en) * 2019-08-06 2021-02-11 Op Solutions, Llc Implicit signaling of adaptive resolution management based on frame type
GB2611864B (en) * 2019-08-23 2023-12-06 Imagination Tech Ltd Random accessible image data compression
CN112449140B (zh) * 2019-08-29 2021-09-14 华为技术有限公司 视频超分辨率处理方法及装置
US20220360781A1 (en) * 2019-09-23 2022-11-10 Interdigital Vc Holdings France, Sas Video encoding and decoding using block area based quantization matrices
CN112702603A (zh) * 2019-10-22 2021-04-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
EP3820138A1 (en) * 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation
BR112022008918A2 (pt) 2019-11-08 2022-08-02 Op Solutions Llc Métodos e sistemas para corte adaptável
US11843772B2 (en) * 2019-12-06 2023-12-12 Ati Technologies Ulc Video encode pre-analysis bit budgeting based on context and features
US11308093B1 (en) * 2019-12-13 2022-04-19 Amazon Technologies, Inc. Encoding scheme for numeric-like data types
CN111814844B (zh) * 2020-03-17 2023-07-11 同济大学 一种基于位置编码融合的密集型视频描述方法
EP3902244B1 (en) * 2020-04-23 2022-03-23 Axis AB Controlling a pan-tilt-zoom camera
CN111757107B (zh) * 2020-06-29 2024-03-05 北京百度网讯科技有限公司 一种视频编码方法、装置、设备及介质
US11790533B2 (en) 2020-07-02 2023-10-17 Sony Group Corporation Machine learning based image segmentation training with contour accuracy evaluation
US11388413B1 (en) 2020-08-03 2022-07-12 Meta Platforms, Inc. Fast encoding parameter selection for convex hull video encoding
US11436699B1 (en) * 2020-08-03 2022-09-06 Meta Platforms, Inc. Predicting encoding parameters for convex hull video encoding
US20210144377A1 (en) * 2020-11-19 2021-05-13 Intel Corporation Method and system of video coding with content adaptive quantization
US11363262B1 (en) * 2020-12-14 2022-06-14 Google Llc Adaptive GOP structure using temporal dependencies likelihood
CN114630120B (zh) * 2020-12-14 2024-03-29 瑞昱半导体股份有限公司 基于自适应压缩率的视频压缩方法与电路系统
KR20220090887A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
WO2022174118A1 (en) * 2021-02-13 2022-08-18 Meta Platforms, Inc. Video coding efficiency improvement using dynamic frame boost scaling
US20220264111A1 (en) * 2021-02-13 2022-08-18 Meta Platforms, Inc. Video coding efficiency improvement using dynamic frame boost scaling
US11638025B2 (en) * 2021-03-19 2023-04-25 Qualcomm Incorporated Multi-scale optical flow for learned video compression
US11523117B2 (en) * 2021-03-22 2022-12-06 Realtek Semiconductor Corp. Encoder using coding tree unit level adaptive quantization mode to adjust frame level quantization parameter and associated signal processing method
US11871061B1 (en) * 2021-03-31 2024-01-09 Amazon Technologies, Inc. Automated adaptive bitrate encoding
GB2608107B (en) * 2021-06-18 2023-06-14 Imagination Tech Ltd Mapping multi-dimensional coordinates to a 1D space
KR102562380B1 (ko) * 2021-10-18 2023-08-02 (주)카이미디어 8k 스케일러블 비디오 부호화 방법
US11991424B2 (en) 2021-11-05 2024-05-21 Tencent America LLC Immersive media data complexity analyzer for transformation of asset formats
CN115002482B (zh) * 2022-04-27 2024-04-16 电子科技大学 使用结构性保持运动估计的端到端视频压缩方法及系统
WO2023219600A1 (en) * 2022-05-07 2023-11-16 Google Llc Motion vector coding using a motion vector precision
US20230412812A1 (en) * 2022-06-15 2023-12-21 Tencent America LLC Systems and methods for joint signaling of transform coefficient signs
US20240080483A1 (en) * 2022-08-26 2024-03-07 Tencent America LLC Systems and methods for warp sample selection and grouping
CN115272083B (zh) * 2022-09-27 2022-12-02 中国人民解放军国防科技大学 一种图像超分辨率方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729691A (en) * 1995-09-29 1998-03-17 Intel Corporation Two-stage transform for video signals
CN102460425A (zh) * 2009-04-15 2012-05-16 高通股份有限公司 计算偶数尺寸的离散余弦变换

Family Cites Families (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0151011B1 (ko) 1994-11-30 1998-10-01 김광호 바이폴라 트랜지스터 및 그 제조방법
US6542547B1 (en) * 1995-05-30 2003-04-01 Texas Instruments Incorporated Efficient heuristic based motion estimation method for video compression
US5864711A (en) * 1995-07-05 1999-01-26 Microsoft Corporation System for determining more accurate translation between first and second translator, and providing translated data to second computer if first translator is more accurate
US6160846A (en) 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
EP0799550B1 (en) 1995-10-25 2000-08-09 Koninklijke Philips Electronics N.V. Segmented picture coding method and system, and corresponding decoding method and system
JP3743837B2 (ja) * 1996-06-14 2006-02-08 株式会社大宇エレクトロニクス ランレングス符号器
US5953506A (en) 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
BR9804764A (pt) * 1997-01-13 1999-08-17 Koninkl Philips Electronics Nv Processos e conjuntos para embutir e decodificar dados suplementares em um sinal de video e sinal de video codificado com dados suplementares embutidos
US6208693B1 (en) * 1997-02-14 2001-03-27 At&T Corp Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects
JP3843581B2 (ja) * 1998-03-05 2006-11-08 富士ゼロックス株式会社 画像符号化装置、画像復号化装置および画像処理装置、並びに画像符号化方法、画像復号化方法および画像処理方法
JP2000050263A (ja) * 1998-07-28 2000-02-18 Hitachi Ltd 画像符号化並びに復号化装置及びこれを用いた撮像装置
US6895051B2 (en) 1998-10-15 2005-05-17 Nokia Mobile Phones Limited Video data encoder and decoder
US6223162B1 (en) * 1998-12-14 2001-04-24 Microsoft Corporation Multi-level run length coding for frequency-domain audio coding
US7065253B2 (en) * 1999-09-03 2006-06-20 Intel Corporation Wavelet zerotree coding of ordered bits
WO2002051157A2 (en) 2000-12-19 2002-06-27 Pulsent Corporation Adaptive transforms
US20020122491A1 (en) 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
PT1445960T (pt) 2001-11-06 2016-11-02 Panasonic Ip Corp America Método de codificação de figuração em movimento e método de descodificação de figuração em movimento
US7453936B2 (en) * 2001-11-09 2008-11-18 Sony Corporation Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system
GB2382940A (en) * 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
AU2002351389A1 (en) * 2001-12-17 2003-06-30 Microsoft Corporation Skip macroblock coding
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
AU2003285850A1 (en) 2002-04-23 2004-04-30 Nokia Corporation Method and device for indicating quantizer parameters in a video coding system
JP2003324731A (ja) 2002-04-26 2003-11-14 Sony Corp 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
JP4767992B2 (ja) 2002-06-06 2011-09-07 パナソニック株式会社 可変長符号化方法および可変長復号化方法
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
JP2004007778A (ja) 2003-07-14 2004-01-08 Victor Co Of Japan Ltd 動き補償復号化方法
US20050094729A1 (en) 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
CN1332563C (zh) 2003-12-31 2007-08-15 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
KR100654431B1 (ko) * 2004-03-08 2006-12-06 삼성전자주식회사 가변 ｇｏｐ 사이즈를 갖는 스케일러블 비디오 코딩방법및 이를 위한 스케일러블 비디오 인코더
US7461525B2 (en) * 2004-03-13 2008-12-09 Wilson Rodney W Tile sponge washing and conditioning apparatus
JP2005301457A (ja) 2004-04-07 2005-10-27 Fuji Xerox Co Ltd 画像処理装置、プログラムおよび記録媒体
US7689051B2 (en) * 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
CN102833539B (zh) * 2004-06-27 2015-03-25 苹果公司 多通路视频编码
KR100664932B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
EP1675402A1 (en) 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
JP2006270301A (ja) * 2005-03-23 2006-10-05 Nippon Hoso Kyokai <Nhk> シーンチェンジ検出装置およびシーンチェンジ検出プログラム
KR100703773B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 향상된 코딩 효율을 갖는 엔트로피 코딩 및 디코딩 방법과이를 위한 장치, 이를 포함하는 비디오 코딩 및 디코딩방법과 이를 위한 장치
WO2006109974A1 (en) * 2005-04-13 2006-10-19 Samsung Electronics Co., Ltd. Method for entropy coding and decoding having improved coding efficiency and apparatus for providing the same
US7397933B2 (en) 2005-05-27 2008-07-08 Microsoft Corporation Collusion resistant desynchronization for digital video fingerprinting
US8064516B2 (en) * 2005-06-02 2011-11-22 Broadcom Corporation Text recognition during video compression
KR20070006445A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 하이브리드 엔트로피 부호화, 복호화 방법 및 장치
WO2007011851A2 (en) 2005-07-15 2007-01-25 Texas Instruments Incorporated Filtered and warped motion compensation
CN101263513A (zh) 2005-07-15 2008-09-10 德克萨斯仪器股份有限公司 过滤和扭曲的运动补偿
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US9258519B2 (en) 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
RU2369038C1 (ru) 2005-11-30 2009-09-27 Кабусики Кайся Тосиба Способ кодирования изображения/декодирования изображения, устройство кодирования изображения/декодирования изображения
US8243804B2 (en) * 2005-12-01 2012-08-14 Lsi Corporation Hierarchical motion estimation for images with varying horizontal and/or vertical dimensions
US8265145B1 (en) * 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
US8279928B2 (en) * 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
US8275045B2 (en) * 2006-07-12 2012-09-25 Qualcomm Incorporated Video compression using adaptive variable length codes
WO2008023968A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
EP2055108B1 (en) 2006-08-25 2011-04-20 Thomson Licensing Methods and apparatus for reduced resolution partitioning
US20080075173A1 (en) * 2006-09-22 2008-03-27 Texas Instruments Incorporated Systems and Methods for Context Adaptive Video Data Preparation
US20100040146A1 (en) 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
EP2082583A2 (en) 2006-11-08 2009-07-29 THOMSON Licensing Methods and apparatus for in-loop de-artifact filtering
US7460725B2 (en) 2006-11-09 2008-12-02 Calista Technologies, Inc. System and method for effectively encoding and decoding electronic information
US8875199B2 (en) * 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
EP1926321A1 (en) 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
US8396118B2 (en) * 2007-03-19 2013-03-12 Sony Corporation System and method to control compressed video picture quality for a given average bit rate
TW200840366A (en) 2007-03-28 2008-10-01 Univ Nat Central Complexity control method of video encoder
KR101336445B1 (ko) * 2007-06-08 2013-12-04 삼성전자주식회사 비디오 인코딩 데이터율 제어 방법
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8437564B2 (en) 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
GB0716158D0 (en) 2007-08-17 2007-09-26 Imagination Tech Ltd Data compression
US8526489B2 (en) * 2007-09-14 2013-09-03 General Instrument Corporation Personal video recorder
JP5427785B2 (ja) * 2007-09-28 2014-02-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ圧縮技法及びビデオ伝達技法
CN103124354B (zh) * 2007-09-28 2016-01-20 杜比实验室特许公司 处理视频信息
US20090135901A1 (en) * 2007-11-28 2009-05-28 The Hong Kong University Of Science And Technology Complexity adaptive video encoding using multiple reference frames
US8149915B1 (en) 2007-11-29 2012-04-03 Lsi Corporation Refinement of motion vectors in hierarchical motion estimation
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
JP5203717B2 (ja) * 2007-12-19 2013-06-05 パナソニック株式会社 符号器、復号器、符号化方法、及び、復号方法
JP4309453B2 (ja) 2007-12-26 2009-08-05 株式会社東芝 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
US20090167775A1 (en) 2007-12-30 2009-07-02 Ning Lu Motion estimation compatible with multiple standards
US8126054B2 (en) 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
CN101272494B (zh) * 2008-01-25 2011-06-08 浙江大学 利用合成参考帧的视频编解码方法及装置
US8798137B2 (en) 2008-02-29 2014-08-05 City University Of Hong Kong Bit rate estimation in data or video compression
US8254469B2 (en) 2008-05-07 2012-08-28 Kiu Sha Management Liability Company Error concealment for frame loss in multiple description coding
EP2277314A1 (en) 2008-05-22 2011-01-26 Telefonaktiebolaget LM Ericsson (publ) Content adaptive video encoder and coding method
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
TWI359617B (en) 2008-07-03 2012-03-01 Univ Nat Taiwan Low-complexity and high-quality error concealment
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR101441903B1 (ko) 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP4427600B1 (ja) 2008-11-28 2010-03-10 株式会社東芝 映像解析装置およびプログラム
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
TWI498003B (zh) 2009-02-02 2015-08-21 Thomson Licensing 代表一序列圖像的碼式資料連流之解碼方法和一序列圖像之寫碼方法及碼式圖像資料結構
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
EP2271102A1 (en) 2009-06-29 2011-01-05 Thomson Licensing Adaptive residual image coding
KR20120046727A (ko) 2009-08-06 2012-05-10 파나소닉 주식회사 부호화 방법, 복호 방법, 부호화 장치 및 복호 장치
US8379718B2 (en) 2009-09-02 2013-02-19 Sony Computer Entertainment Inc. Parallel digital picture encoding
US8711938B2 (en) * 2009-09-04 2014-04-29 Sharp Laboratories Of America, Inc. Methods and systems for motion estimation with nonlinear motion-field smoothing
JP2011066844A (ja) 2009-09-18 2011-03-31 Toshiba Corp 並列復号装置及びプログラム並びに符号化データの並列復号方法
WO2011039931A1 (ja) 2009-09-30 2011-04-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US8705623B2 (en) * 2009-10-02 2014-04-22 Texas Instruments Incorporated Line-based compression for digital image data
EP2312854A1 (de) * 2009-10-15 2011-04-20 Siemens Aktiengesellschaft Verfahren zur Codierung von Symbolen aus einer Folge digitalisierter Bilder
US9445119B2 (en) * 2009-10-29 2016-09-13 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and device for processing a video sequence
US9473792B2 (en) 2009-11-06 2016-10-18 Texas Instruments Incorporated Method and system to improve the performance of a video encoder
US20110109721A1 (en) 2009-11-06 2011-05-12 Sony Corporation Dynamic reference frame reordering for frame sequential stereoscopic video encoding
KR20120086232A (ko) 2011-01-25 2012-08-02 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
US9819358B2 (en) 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US8559511B2 (en) 2010-03-30 2013-10-15 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for video coding by ABT-based just noticeable difference model
KR101390620B1 (ko) * 2010-03-31 2014-04-30 인텔 코포레이션 비디오 인코딩을 위한 전력 효율적인 움직임 추정 기법
JP5377395B2 (ja) 2010-04-02 2013-12-25 日本放送協会 符号化装置、復号装置及びプログラム
KR20110112168A (ko) 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
US8410959B2 (en) * 2010-04-09 2013-04-02 Qualcomm, Incorporated Variable length codes for coding of video data
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8942282B2 (en) 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
EP2559166B1 (en) * 2010-04-13 2017-11-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Probability interval partioning encoder and decoder
ES2907203T3 (es) * 2010-04-13 2022-04-22 Ge Video Compression Llc Codificación de vídeo que usa subdivisiones multiárbol de imágenes
EP2559238B1 (en) 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
US20110255594A1 (en) * 2010-04-15 2011-10-20 Soyeb Nagori Rate Control in Video Coding
KR101444691B1 (ko) 2010-05-17 2014-09-30 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
WO2011150109A1 (en) 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
KR20110135787A (ko) 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
WO2011158225A1 (en) * 2010-06-17 2011-12-22 Mirtemis Ltd. System and method for enhancing images
US8934540B2 (en) * 2010-07-20 2015-01-13 Cisco Technology, Inc. Video compression using multiple variable length coding methods for multiple types of transform coefficient blocks
WO2012025790A1 (en) 2010-08-26 2012-03-01 Freescale Semiconductor, Inc. Video processing system and method for parallel processing of video data
KR101583200B1 (ko) 2010-09-27 2016-01-07 엘지전자 주식회사 블록 분할 방법 및 복호화 장치
JP2012080213A (ja) 2010-09-30 2012-04-19 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US8902988B2 (en) 2010-10-01 2014-12-02 Qualcomm Incorporated Zero-out of high frequency coefficients and entropy coding retained coefficients using a joint context model
US9628821B2 (en) * 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
WO2012047304A1 (en) * 2010-10-04 2012-04-12 Vidyo, Inc. Delay aware rate control in the context of hierarchical p picture coding
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
WO2012052968A1 (en) * 2010-10-20 2012-04-26 Nokia Corporation Method and device for video coding and decoding
US8873627B2 (en) * 2010-12-07 2014-10-28 Mediatek Inc Method and apparatus of video coding using picture structure with low-delay hierarchical B group
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US9462280B2 (en) 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
CN102572419B (zh) * 2010-12-28 2014-09-03 深圳市云宙多媒体技术有限公司 一种帧间预测方法、装置
US20130287106A1 (en) 2011-01-07 2013-10-31 Samsung Electronics Co., Ltd. Video prediction method capable of performing bilateral prediction and unilateral prediction and a device thereof, video encoding method and device thereof, and video decoding method and device thereof
JP5988252B2 (ja) * 2011-01-12 2016-09-07 サン パテント トラスト 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置
US9602819B2 (en) * 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
US8953690B2 (en) * 2011-02-16 2015-02-10 Google Technology Holdings LLC Method and system for processing video data
GB2488159B (en) 2011-02-18 2017-08-16 Advanced Risc Mach Ltd Parallel video decoding
JP2012186763A (ja) 2011-03-08 2012-09-27 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9848197B2 (en) * 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding
US9154799B2 (en) * 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US20120262545A1 (en) * 2011-04-18 2012-10-18 Paul Kerbiriou Method for coding and decoding a 3d video signal and corresponding devices
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
KR101215152B1 (ko) 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US8494290B2 (en) 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US8989270B2 (en) * 2011-06-23 2015-03-24 Apple Inc. Optimized search for reference frames in predictive video coding system
US20130003857A1 (en) 2011-06-29 2013-01-03 General Instrument Corporation Methods and system for using a scan coding pattern during inter coding
NO335667B1 (no) 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
MY164252A (en) 2011-07-01 2017-11-30 Samsung Electronics Co Ltd Method and apparatus for entropy encoding using hierarchical data unit, and method and apparatus for decoding
KR101362696B1 (ko) 2011-10-19 2014-02-17 전북대학교산학협력단 하이브리드 아키텍쳐가 적용된 신호 변환 장치, 신호 변환 방법 및 기록매체
KR20130045425A (ko) 2011-10-25 2013-05-06 (주)케이테크 소셜 온톨로지 기반 지식 전문가 추천방법
EP2777287A2 (en) 2011-11-07 2014-09-17 VID SCALE, Inc. Video and data processing using even-odd integer transforms background
US20130223524A1 (en) * 2012-02-29 2013-08-29 Microsoft Corporation Dynamic insertion of synchronization predicted video frames
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
KR101327078B1 (ko) * 2012-04-27 2013-11-07 엘지이노텍 주식회사 카메라 및 이의 영상 처리 방법
JP6055555B2 (ja) 2012-11-13 2016-12-27 インテル コーポレイション 次世代ビデオのためのビデオコーデックアーキテクチャ
EP2920962A4 (en) 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
US9794569B2 (en) 2013-01-30 2017-10-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729691A (en) * 1995-09-29 1998-03-17 Intel Corporation Two-stage transform for video signals
CN102460425A (zh) * 2009-04-15 2012-05-16 高通股份有限公司 计算偶数尺寸的离散余弦变换

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S. MINASYAN, J. ASTOLA, D. GUEVORKIAN: "An Image Compression Scheme Based on Parametric Haar-like Transform", 《IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983771A (zh) * 2016-11-21 2019-07-05 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
CN110087072A (zh) * 2018-01-26 2019-08-02 三星电子株式会社 图像处理装置
CN110087072B (zh) * 2018-01-26 2022-10-28 三星电子株式会社 图像处理装置
US11991347B2 (en) 2018-01-26 2024-05-21 Samsung Electronics Co., Ltd. Image processing device

Also Published As

Publication number Publication date
CN104885470A (zh) 2015-09-02
US10009610B2 (en) 2018-06-26
CN105556964B (zh) 2019-02-01
CN104718756B (zh) 2019-02-15
EP2952002A4 (en) 2016-09-21
US9794568B2 (en) 2017-10-17
US20150010062A1 (en) 2015-01-08
KR102063385B1 (ko) 2020-01-07
US9787990B2 (en) 2017-10-10
US9973758B2 (en) 2018-05-15
EP2951993A1 (en) 2015-12-09
JP6339099B2 (ja) 2018-06-06
EP3013053A2 (en) 2016-04-27
KR20150090194A (ko) 2015-08-05
WO2014120375A2 (en) 2014-08-07
US20140362922A1 (en) 2014-12-11
EP2952001A1 (en) 2015-12-09
EP2952004A4 (en) 2016-09-14
KR20150058324A (ko) 2015-05-28
EP3008900A4 (en) 2017-03-15
US10021392B2 (en) 2018-07-10
US10284852B2 (en) 2019-05-07
EP2952002A1 (en) 2015-12-09
BR112015015575A2 (pt) 2020-02-04
JP2016508327A (ja) 2016-03-17
EP3013053A3 (en) 2016-07-20
US20160277739A1 (en) 2016-09-22
WO2014120960A1 (en) 2014-08-07
CN105052140B (zh) 2019-01-15
US20180176577A1 (en) 2018-06-21
US9686551B2 (en) 2017-06-20
US20170318297A1 (en) 2017-11-02
RU2015126241A (ru) 2017-01-11
RU2612600C2 (ru) 2017-03-09
KR101770047B1 (ko) 2017-08-21
EP2951999A1 (en) 2015-12-09
CN104737542B (zh) 2018-09-25
EP2951999A4 (en) 2016-07-20
CN104885455A (zh) 2015-09-02
CN104885471A (zh) 2015-09-02
CN105052140A (zh) 2015-11-11
CN104718756A (zh) 2015-06-17
CN104885467B (zh) 2018-08-17
US9609330B2 (en) 2017-03-28
EP2951994A1 (en) 2015-12-09
WO2014120368A1 (en) 2014-08-07
WO2014120575A1 (en) 2014-08-07
WO2014120656A1 (en) 2014-08-07
JP6286718B2 (ja) 2018-03-07
EP2951995A1 (en) 2015-12-09
EP2951995A4 (en) 2016-09-21
WO2014120373A1 (en) 2014-08-07
CN105191309A (zh) 2015-12-23
US20150319441A1 (en) 2015-11-05
US9973757B2 (en) 2018-05-15
EP2952003B1 (en) 2019-07-17
EP2996338A3 (en) 2016-07-06
US20160127741A1 (en) 2016-05-05
WO2014120369A1 (en) 2014-08-07
CN105453570A (zh) 2016-03-30
US10284853B2 (en) 2019-05-07
CN104737542A (zh) 2015-06-24
JP2016506187A (ja) 2016-02-25
US20150229926A1 (en) 2015-08-13
US20150036737A1 (en) 2015-02-05
WO2014120374A1 (en) 2014-08-07
WO2015099814A1 (en) 2015-07-02
JP2016514378A (ja) 2016-05-19
JP6163674B2 (ja) 2017-07-19
EP3008900A2 (en) 2016-04-20
EP2951998A1 (en) 2015-12-09
CN104885471B (zh) 2019-06-28
WO2014120375A3 (en) 2016-03-17
US20170006284A1 (en) 2017-01-05
EP2952003A1 (en) 2015-12-09
US20150319442A1 (en) 2015-11-05
KR20150090206A (ko) 2015-08-05
US20150373328A1 (en) 2015-12-24
US9794569B2 (en) 2017-10-17
CN105191309B (zh) 2018-08-10
EP2952004A1 (en) 2015-12-09
EP2996338A2 (en) 2016-03-16
EP2952001A4 (en) 2016-09-14
EP2951993A4 (en) 2016-09-14
WO2014120987A1 (en) 2014-08-07
US20160277738A1 (en) 2016-09-22
CN105453570B (zh) 2020-03-17
WO2014120367A1 (en) 2014-08-07
EP2951994A4 (en) 2016-10-12
US20150016523A1 (en) 2015-01-15
KR20170066712A (ko) 2017-06-14
EP2951998A4 (en) 2016-09-28
CN104885455B (zh) 2019-02-22
CN104885470B (zh) 2018-08-07
EP2952003A4 (en) 2016-09-14
KR20150055005A (ko) 2015-05-20
US9762911B2 (en) 2017-09-12
CN105556964A (zh) 2016-05-04
KR20150090178A (ko) 2015-08-05

Similar Documents

Publication Publication Date Title
CN104885467B (zh) 用于下一代视频编码的内容自适应参数变换
CN104704827B (zh) 用于下一代视频的内容自适应变换译码
Han et al. A technical overview of AV1
CN104737540B (zh) 用于下一代视频的视频编解码器架构
CN104902272B (zh) 视频解码设备
CN108293138B (zh) 有效和可缩放帧内视频/图像编码
CN105325004B (zh) 基于用信号传输样点自适应偏移参数的视频编码方法和设备以及视频解码方法和设备
CN104641643A (zh) 在分层层级中信号编码、解码和重构期间残差数据的分解
CN107005713A (zh) 施加边缘类型偏移的视频编码方法和设备以及视频解码方法和设备
CN116648906A (zh) 通过指示特征图数据进行编码
CN104604228B (zh) 图像解码方法和使用其的装置
KR20230072487A (ko) 분할 정보의 시그널링으로 디코딩
KR20230070492A (ko) 피처 맵 데이터의 시그널링으로 디코딩
CN104798373A (zh) 包括在多个独立编码流之间的共享运动估计的视频编码
Sun et al. On rate-distortion modeling and extraction of H. 264/SVC fine-granular scalable video
CN113728632A (zh) 视频编码、解码方法及系统
US9049432B1 (en) Motion differential set partition coding for color image sequence compression
RU2786022C1 (ru) Устройство и способ для ограничений уровня блока в зависимости от режима и размера
CN117714705A (zh) 图像编解码方法、装置、设备及存储介质
CN117395431A (zh) 用于解码/编码视频的神经处理单元及其装置

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180817

Termination date: 20191224