CN113473148A - 一种用于视频编码的计算系统及视频编码方法 - Google Patents

一种用于视频编码的计算系统及视频编码方法 Download PDF

Info

Publication number
CN113473148A
CN113473148A CN202110340437.XA CN202110340437A CN113473148A CN 113473148 A CN113473148 A CN 113473148A CN 202110340437 A CN202110340437 A CN 202110340437A CN 113473148 A CN113473148 A CN 113473148A
Authority
CN
China
Prior art keywords
video content
given
titles
content
scenes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110340437.XA
Other languages
English (en)
Other versions
CN113473148B (zh
Inventor
裴泰延
秦明海
吴冠霖
陈彦光
周擎岗
谢少林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of CN113473148A publication Critical patent/CN113473148A/zh
Application granted granted Critical
Publication of CN113473148B publication Critical patent/CN113473148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

场景感知视频内容编码技术可确定视频内容是否是给定内容类型并且是否是包括一个或多个给定场景的一个或多个给定标题中的一个。可使用对应的场景特定的编码参数值来对所述给定类型和所述标题中的给定标题的视频内容的一个或多个给定场景进行编码，并且可使用一个或多个通用编码参数值来对非给定场景进行编码。可基于所述给定类型的各种视频内容标题的流式传输的速率来选择所述一个或多个给定标题。

Description

一种用于视频编码的计算系统及视频编码方法
背景技术
视频编码器被利用来对视频内容进行压缩以供存储和/或传输。参考图1，示出了根据常规技术的视频编码器。视频编码器110可用硬件或软件加以实现。视频编码器110可基于一个或多个编码器参数130的集合对所接收到的视频内容120的数据进行压缩以生成编码视频内容140。编码器参数130可包括但不限于目标比特率、帧速率、分辨率、最大编译单元(LCU)大小、图片组(GOP)长度、GOP中的双向预测图片(B)帧数、运动搜索范围、帧内编译图片(I)、B和预测图片(P)帧初始量化参数(QP)以及I、B和P帧之间的比特比。对于诸如不同的视频游戏、不同的电影等的不同的视频内容，不同的编码器参数值130可具有不同的结果。例如，可使用相同的编码器参数值130来在视频游戏内容与电影内容之间实现不同的编码性能。同样地，可使用相同的编码器参数值130来在动作电影与浪漫电影之间实现不同的编码性能。然而，确定编码器参数130的值以实现对诸如电影和视频游戏的不同的视频内容120的最佳压缩可以是计算密集的。因此，持续需要可在减少为不同的视频内容确定优化编码器参数值的计算工作负载的同时改进压缩的视频编码技术。
发明内容
可以通过参考以下描述和附图最好地理解本技术，附图用于图示针对场景感知视频内容编码的本技术的实施例。
在一个实施例中，一种计算系统可包括一个或多个处理器、一个或多个存储器和视频编码器。存储在存储器中的指令可使处理器执行视频编码方法，该视频编码方法包括确定接收到的视频内容是否是给定类型的视频内容。当所接收到的视频内容不是给定类型的视频内容时，可选择默认编码参数。当所接收到的视频内容是给定类型的视频内容时，可确定所接收到的视频内容是否是一个或多个预定内容标题中的一个。如果所接收到的视频内容不是一个或多个预定内容标题中的一个，则可选择用于给定类型的视频内容的通用编码参数。当所接收到的视频内容是一个或多个预定内容标题中的一个时，可确定所接收到的视频内容是否包括一个或多个预定场景。如果所接收到的视频内容是一个或多个预定内容标题中的一个，则可选择用于对所接收到的视频内容的一个或多个非预定场景进行编码的通用编码参数。如果所接收到的视频内容是一个或多个预定内容标题中的一个，则可选择用于对一个或多个预定场景中的对应场景进行编码的场景特定的编码参数。视频编码器可被配置成基于所接收到的视频内容和适用选择的编码器参数来生成编码视频内容。
在另一实施例中，一种视频编码方法可包括确定所接收到的视频内容是否是给定类型的视频内容。当视频内容不是给定类型的视频内容时，可使用一个或多个默认编码参数值来对视频内容进行编码。当视频内容是给定类型时，可确定视频内容是否是一个或多个给定标题中的一个。当视频内容不是一个或多个给定标题中的一个时，可使用一个或多个通用编码参数值来对视频内容进行编码。当视频内容是给定类型并且是一个或多个给定标题中的一个时，可确定视频内容是否包括一个或多个给定场景。当视频内容是给定类型的一个或多个给定标题中的一个时，可使用对应的一个或多个场景特定的编码参数值来对一个或多个确定的给定场景进行编码。可使用一个或多个通用编码参数值来对给定类型和一个或多个标题中的一个的视频内容的非给定场景进行编码。
本发明内容被提供来以简化形式引入在下面在具体实施方式中进一步描述的一系列构思。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，它也不旨在用于限制所要求保护的主题的范围。
附图说明
在附图的各图中，通过示例而不通过限制图示本技术的实施例，并且在附图中相似的附图标记是指类似的元素，而且在附图中：
图1示出了根据常规技术的视频编码器。
图2示出了依照本技术的各方面的场景感知内容压缩的方法。
图3示出了依照本技术的各方面的用于场景感知内容压缩的计算系统。
图4示出了依照本技术的各方面的示例性处理核心。
图5示出了依照本技术的各方面的针对给定类型的视频内容的一个或多个选择标题生成场景特定的编码参数的映射的方法。
具体实施方式
现在将详细地参考本技术的实施例，其示例被图示在附图中。虽然将结合这些实施例描述本技术，但是应理解，它们不旨在将本技术限于这些实施例。相反，本发明旨在涵盖可以被包括在如由所附权利要求所限定的本发明的范围内的替代方案、修改和等同物。此外，在本技术的以下详细描述中，阐述了许多具体细节以便提供对本技术的透彻理解。然而，应理解，可以在没有这些具体细节的情况下实践本技术。在其他情况下，尚未详细地描述公知方法、过程、组件和电路，以免不必要地使本技术的各方面混淆。
本技术的接下来的一些实施例是按例程、模块、逻辑块以及在一个或多个电子设备内对数据进行的操作的其他符号表示呈现的。这些描述和表示是由本领域的技术人员使用来将其工作的实质最有效地传达给本领域的其他技术人员的手段。在本文中并通常将例程、模块、逻辑块和/或类似物构思为导致期望结果的进程或指令的自洽序列。进程是包括对物理量的物理操纵的那些。通常，尽管不一定，但是这些物理操纵采取能够在电子设备中被存储、转移、比较和以其他方式操纵的电信号或磁信号的形式。出于方便的原因，并参考常见用法，这些信号参考本技术的实施例被称为数据、比特、值、元素、符号、字符、项、数字、字符串和/或类似物。
然而，应该牢记，这些术语将被解释为引用物理操纵和量并且仅仅是方便的标签，而且将鉴于本领域中通常使用的术语被进一步解释。除非如从以下讨论中显而易见的那样具体地另外陈述，否则应理解，通过对本技术的讨论，利用诸如“接收”和/或类似物的术语的讨论是指诸如对数据进行操纵和变换的电子计算设备的电子设备的动作和进程。数据被表示为电子设备的逻辑电路、寄存器、存储器和/或类似物内的物理(例如，电子)量，并且被变换成类似地表示为电子设备内的物理量的其他数据。
在本申请中，析取词的使用旨在包括连接词。定冠词或不定冠词的使用不旨在指示基数。特别地，对“该”对象或“一”对象的引用旨在还表示多个可能的此类对象中的一个。术语“包括”、“包括有”、“包含”、“包含有”等的使用指定存在陈述的元素，但是不排除存在或添加一个或多个其他元素和或其组。还应当理解，尽管可以在本文中使用术语第一、第二等来描述各种元素，但是此类元素不应该受这些术语限制。这些术语在本文中用于区分一个元素和另一元素。例如，在不脱离实施例的范围的情况下，能将第一元素称为第二元素，并且类似地能将第二元素称为第一元素。还应当理解，当一个元素被称为“耦合”到另一元素时，它可以直接或间接地连接到另一元素，或者可以存在中间元素。相比之下，当一个元素被称为“直接连接”到另一元素时，不存在中间元素。还应当理解，术语“和或”包括关联元素中的一个或多个的任何和所有组合。还应当理解，本文使用的措词和术语是出于描述的目的，而不应该被认为是限制性的。
诸如电影和视频游戏的视频内容的流式传输已变得非常流行。视频编码被利用来对视频内容进行压缩以供在视频流服务和其他类似应用中存储和传输。视频游戏内容可占流内容带宽利用率的三分之一或以上。已发现少数视频游戏标题在任何给定时间主导流视频内容。例如，五个最多流视频游戏通常可占流行流服务上的全部流视频游戏内容的大约百分之五十。另外，在给定时间最流行的游戏可以占流行流服务上的全部流视频游戏内容的大约百分之十三。因此，通过使用优化编码器参数值实现的改进的视频内容压缩可证明为占传输或存储利用率的相当大部分的选择视频内容集确定优化编码器参数值的计算工作负载。
参考图2，示出了依照本技术的各方面的场景感知内容压缩的方法。该方法可从在210处接收视频内容开始。在一个实现方式中，视频内容可以是包括但不限于电影、视频游戏等的多种不同类型的流内容中的任一种。在215处，可确定视频内容的类型。在一个实现方式中，可根据所接收到的视频内容的元数据确定视频内容的类型。在另一实现方式中，可通过使用一个或多个人工智能模型来分析所接收到的视频内容以确定给定类型的视频内容来确定视频内容。
如果所接收到的视频内容不是给定类型的视频内容，则可在220处使用一个或多个默认编码参数来对所接收到的视频内容进行编码。在一个实现方式中，给定类型的内容可以为视频游戏内容。因此，如果所接收到的视频内容被确定为电影类型的视频内容，则可使用用于对视频内容进行编码的默认编码参数集来对所接收到的视频内容进行编码。例如，具有适于对各种视频内容进行编码的默认值的一个或多个编码参数，包括但不限于目标比特率、帧速率、分辨率、最大编译单元(LCU)大小、图片组(GOP)长度、GOP中的双向预测图片(B)帧数、运动搜索范围、帧内编译图片(I)、B和预测图片(P)帧初始量化参数(QP)以及I、B和P帧之间的比特比，可用于对所接收到的视频内容进行编码。
如果所接收到的视频内容被确定为给定类型，则在225处，可确定所接收到的视频内容是否是一个或多个给定标题中的一个。在一个实现方式中，一个或多个给定标题可以是选择视频游戏标题的集合。例如，一个或多个给定标题可以为基于给定流服务上的各种游戏的流式传输的当前速率而选择的视频游戏标题的集合。在另一示例中，可确定视频游戏内容是否是诸如但不限于最活跃地流式传输的视频内容标题集的预定视频游戏标题集中的一个。在一个实现方式中，可根据所接收到的视频内容的元数据确定视频内容的标题。在另一实现方式中，可通过使用一个或多个人工智能模型来分析所接收到的视频内容以确定视频内容的标题来确定视频内容。
如果接收到的视频内容不是一个或多个给定标题中的一个，则在230处，可使用一个或多个通用编码参数来对接收到的视频内容进行编码。在一个实现方式中，如果视频内容的标题不是视频游戏标题的列表中的一个中，则可使用用于对视频游戏内容进行编码的通用编码参数集来对所接收到的视频内容进行编码。例如，可使用具有适于视频游戏内容的通用编码的值的一个或多个编码参数，包括但不限于目标比特率、帧速率、分辨率、最大编译单元(LCU)大小、图片组(GOP)长度、GOP中的双向预测图片(B)帧数、运动搜索范围、帧内编译图片(I)、B和预测图片(P)帧初始量化参数(QP)以及I、B和P帧之间的比特比。
如果所接收到的视频内容被确定为给定类型和一个或多个给定标题中的一个，则在235处，可确定所接收到的视频内容是否包括一个或多个给定场景。在一个实现方式中，如果视频游戏内容是选择标题中的一个，则可确定所接收到的视频游戏内容是否包括一个或多个给定场景，诸如但不限于标题场景、片尾场景和各种玩游戏场景。在一个实现方式中，可根据所接收到的视频内容的元数据确定视频内容的场景。在另一实现方式中，可使用一个或多个人工智能模型来分析所接收到的视频内容以确定视频内容的一个或多个场景。
如果所接收到的视频内容包括一个或多个给定场景，则可使用对应的场景特定的编码参数集来对给定场景进行编码。例如，为对标题场景进行编码而优化的第一编码参数集可用于对第一人称射击视频游戏的标题场景进行编码。第二组编码参数可用于对具有小场地的一个或多个动态动作场景进行编码。可用又一编码参数集来对在帧内具有大视场、缓慢或局部动作的场景进行编码。例如，可使用具有适于视频游戏内容的具体场景的值的一个或多个编码参数，包括但不限于目标比特率、帧速率、分辨率、最大编译单元(LCU)大小、图片组(GOP)长度、GOP中的双向预测图片(B)帧数、运动搜索范围、帧内编译图片(I)、B和预测图片(P)帧初始量化参数(QP)以及I、B和P帧之间的比特比。对于不是一个或多个给定场景中的一个的场景，可使用一个或多个通用编码参数来对非给定场景进行编码。
现在参考图3，示出了依照本技术的各方面的用于场景感知内容压缩的计算系统。计算系统300可包括一个或多个处理器302、一个或多个存储器304和一个或多个视频编码器306。一个或多个视频编码器306可用单独的硬件或者用在一个或多个处理器302上执行的软件加以实现。在一个实现方式中，计算系统300可以为服务器计算机、数据中心、云计算系统、流服务系统、互联网服务提供商系统、蜂窝服务提供商系统等。
一个或多个处理器302可以为中央处理单元(CPU)、图形处理单元(GPU)、神经处理单元(NPU)、矢量处理器、存储器处理单元等或它们的组合。在一个实现方式中，处理器302可包括诸如外围组件接口(PCIe4)308和集成电路间(I2C)接口310的一个或多个通信接口、诸如联合测试行动小组(JTAG)引擎312的片上电路测试器、直接存储器存取引擎314、命令处理器(CP)316和一个或多个核心318-324。可按照方向环总线配置耦合一个或多个核心318-324。
现在参考图4，示出了依照本技术的各方面的示例性处理核心的框图。处理核心400可包括张量引擎(TE)410、池化引擎(PE)415、存储器复制引擎(ME)420、定序器(SEQ)425、指令缓冲器(IB)430、本地存储器(LM)435和常数缓冲器(CB)440。本地存储器435可被预先安装有模型权重并且可及时存储使用中的激活。常数缓冲器440可存储用于批量归一化、量化等的常数。可利用张量引擎410来加速融合卷积和/或矩阵乘法。池化引擎415可支持池化、内插、感兴趣区域等操作。存储器复制引擎420可被配置用于核心间和/或核心内数据复制、矩阵转置等。张量引擎410、池化引擎415和存储器复制引擎420可并行地运行。定序器425可根据来自指令缓冲器430的指令来编排张量引擎410、池化引擎415、存储器复制引擎420、本地存储器435和常数缓冲器440的操作。处理核心400可在操作融合粗粒度指令的控制下提供视频编译高效计算。示例性处理单元核心400的详细描述不是理解本技术的各方面所必需的，并且因此将在此不进一步描述。
再次参考图3，一个或多个核心318-324可执行一个或多个计算设备可执行指令集以执行一个或多个功能，包括但不限于视频内容类型分类器326、视频内容标题分类器328、视频内容场景分类器330和编码器参数选择器332。一个或多个功能可在个别核心318-324上被执行，可跨多个核心318-324分布，可连同一个或多个核心上的一个或多个其他功能一起被执行，和或类似物。
视频内容类型分类器326可被配置成确定接收到的视频内容334是否是给定类型的视频内容。例如，视频内容类型分类器326可确定所接收到的视频内容334是否是视频游戏类型内容、电影类型内容等。在一个实现方式中，视频内容类型分类器326可根据诸如流标题名称的元数据或者根据对视频的分析确定所接收到的视频内容334的内容类型。如果视频内容类型分类器326确定所接收到的视频内容334不是给定类型的视频内容，则编码器参数选择器332可从存储在存储器304中的编码器参数集合336中选择默认编码器参数。例如，编码器参数集合336可存储一个或多个默认编码器参数集、针对给定内容类型的一个或多个通用编码器参数集以及特定于给定内容类型的给定标题的一个或多个场景的一个或多个编码器参数集。编码器参数选择器332可从用于由视频编码器306对非视频游戏内容进行编码的编码器参数集合336中选择默认的一个或多个编码参数值集，包括但不限于目标比特率、帧速率、分辨率、最大编译单元(LCU)大小、图片组(GOP)长度、GOP中的双向预测图片(B)帧数、运动搜索范围、帧内编译图片(I)、B和预测图片(P)帧初始量化参数(QP)以及I、B和P帧之间的比特比。
如果视频内容类型分类器326确定所接收到的视频内容334是给定类型的内容，则视频内容标题分类器328可确定所接收到的视频内容是否是一个或多个预定内容标题中的一个。例如，如果所接收到的视频内容334是视频游戏类型的内容，则视频内容标题分类器328可确定视频内容334是否是预定视频游戏标题集中的一个。在一个实现方式中，视频内容标题分类器328可根据诸如流标题名称的元数据或者根据对视频的分析确定所接收到的视频内容334的标题。如果视频内容标题分类器328确定所接收到的视频内容334不是一个或多个给定视频标题中的一个，则编码器参数选择器332可从存储在存储器304中的编码器参数集合336中选择通用编码参数。例如，编码器参数选择器332可从用于由视频编码器306对非视频游戏内容进行编码的编码器参数集合336中选择通用的一个或多个编码参数值集，包括但不限于目标比特率、帧速率、分辨率、最大编译单元(LCU)大小、图片组(GOP)长度、GOP中的双向预测图片(B)帧数、运动搜索范围、帧内编译图片(I)、B和预测图片(P)帧初始量化参数(QP)以及I、B和P帧之间的比特比。
如果视频内容标题分类器328确定所接收到的视频内容334是一个或多个给定标题中的一个，则视频内容场景分类器330可确定所接收到的视频内容334是否包括一个或多个给定场景。例如，如果视频游戏内容是选择标题中的一个，则可确定所接收到的视频游戏内容是否包括一个或多个预定场景，诸如但不限于标题场景、片尾场景和各种玩游戏场景。在一个实现方式中，可根据诸如场景名称的元数据或者根据对视频的分析确定视频内容的场景。如果视频内容场景分类器330确定所接收到的视频内容334包括一个或多个非预定场景，则编码器参数选择器332可从用于在对非预定场景进行编码时使用的编码器参数集合336中选择通用编码参数。例如，编码器参数选择器332可从用于由视频编码器306对视频游戏内容的非预定场景进行编码的编码器参数集合336中选择通用的一个或多个编码参数值集，包括但不限于目标比特率、帧速率、分辨率、最大编译单元(LCU)大小、图片组(GOP)长度、GOP中的双向预测图片(B)帧数、运动搜索范围、帧内编译图片(I)、B和预测图片(P)帧初始量化参数(QP)以及I、B和P帧之间的比特比。如果视频内容场景分类器330确定所接收到的视频内容334包括一个或多个给定场景，则编码器参数选择器332可从用于在对预定场景中的对应场景进行编码时使用的编码器参数集合336中选择场景特定的编码参数。例如，编码器参数选择器332可从用于由视频编码器306对视频游戏内容的对应预定场景进行编码的编码器参数集合336中选择场景特定的一个或多个编码参数值集，包括但不限于目标比特率、帧速率、分辨率、最大编译单元(LCU)大小、图片组(GOP)长度、GOP中的双向预测图片(B)帧数、运动搜索范围、帧内编译图片(I)、B和预测图片(P)帧初始量化参数(QP)以及I、B和P帧之间的比特比。在一个实现方式中，编码器参数集合336可包括给定类型视频内容的一个或多个预定游戏标题的预定场景到一个或多个场景特定的编码参数值集中的对应集的映射。该映射可在表格数据结构中包括一个或多个预定内容标题的标识符、一个或多个预定内容标题的一个或多个场景的标识符以及用于对应内容标题的对应场景的场景特定的编码参数值集。编码器参数集合还可包括通用编码参数值集和默认编码参数值集。
本技术的实施例可有利地应用一个或多个场景特定的优化编码器参数集来对诸如流视频游戏内容的给定类型的视频内容的给定标题的选择场景进行编码。通常针对给定类型的内容的视频内容优化的一个或多个场景特定的编码器参数集可被应用于给定类型的给定标题的部分，并应用于给定类型的视频内容的其他标题。因此，对于给定类型的内容，可将优化编码器参数有利地向下应用于场景级别以改进编码器性能，诸如但不限于降低的比特率、改进的质量、改进的编码器等待时间和降低的编码器功耗。场景特定的编码器参数的应用可被应用于为消耗流式传输带宽的相当大部分的选择标题选择给定类型的标题。因此，编码器参数的优化可局限于包括流式传输带宽的相当大部分的选择标题，其中它们将具有明显的影响。对用于消耗较少带宽的内容标题和类型的优化编码器参数的计算在计算成本未被改进的视频压缩抵消的情况下可以是有利的。
现在参考图5，示出了依照本技术的各方面的为给定类型的视频内容的一个或多个选择标题生成场景特定的编码参数的映射的方法。该方法可包括在510处，基于流式传输的速率周期性地确定给定类型的视频内容的一个或多个选择标题。例如，在一个或多个处理器302的一个或多个核心上执行的当前流式传输标题分类器可确定当前正在流式传输的给定标题的选择数量的最受欢迎视频内容的视频内容标题。在另一示例中，当前流式传输标题分类器可确定正在消耗最大流式传输带宽的给定内容类型的选择数量的当前流式传输的标题。可根据流服务或相似数据确定给定类型的视频内容的一个或多个选择标题。
在520处，可确定给定类型的视频内容的一个或多个选择标题中的每个的一个或多个场景。例如，内容场景分类器330可用于确定一个或多个选择标题中的一个或多个场景。可根据诸如场景名称的元数据或者根据对视频的分析确定视频内容的场景。
在530处，可为给定类型的视频内容的一个或多个选择标题的每一个的一个或多个确定的场景中的每一个确定场景特定的编码参数。例如，在一个或多个处理器302的一个或多个核心上执行的编码器参数优化引擎可用于为一个或多个选择标题的确定的场景中的每个场景确定一个或多个编码器参数值集。场景特定的一个或多个编码参数值集可包括但不限于目标比特率、帧速率、分辨率、最大编译单元(LCU)大小、图片组(GOP)长度、GOP中的双向预测图片(B)帧数、运动搜索范围、帧内编译图片(I)、B和预测图片(P)帧初始量化参数(QP)以及I、B和P帧之间的比特比。在一个实现方式中，可通过离线蛮力搜索为给定类型的视频内容的选择标题的每个确定的场景确定场景特定的一个或多个编码参数值集。
在540处，可保存场景特定的编码参数到给定类型的视频内容的一个或多个选择标题的每个对应的一个或多个确定的场景的映射。在一个实现方式中，映射可作为编码器参数集合336的一部分被保存在存储器304中。可在如以上参考图2和图3所描述的场景感知内容压缩中有利地利用场景特定的编码参数到给定类型的视频内容的一个或多个选择标题的每个对应的一个或多个确定的场景的映射。
已出于说明和描述的目的呈现了本技术的具体实施例的前面的描述。它们不旨在为详尽的或者将本技术限于所公开的精确形式，并且显然，许多修改和变化鉴于以上教导是可能的。实施例被选取和描述以便最好地说明本技术的原理及其实际应用，从而使得本领域的其他技术人员能够最好地利用本技术以及具有如适于设想的特定用途的各种修改的各种实施例。本发明的范围旨在由所附权利要求及其等同物来限定。

Claims (26)

1.一种计算系统，所述计算系统包括：
一个或多个处理器；
一个或多个非暂时性计算设备可读存储介质，所述一个或多个非暂时性计算设备可读存储介质存储计算可执行指令，所述计算可执行指令当由所述一个或多个处理器执行时，执行包括以下步骤的方法：
确定所接收到的视频内容是给定类型的视频内容；
确定所接收到的视频内容是所述给定类型的视频内容的一个或多个预定内容标题中的一个；
确定所接收到的视频内容包括所述一个或多个预定内容标题的一个或多个预定场景；
基于用于所述一个或多个预定场景中的对应场景的场景特定的编码参数来选择用于对所接收到的视频内容的一个或多个预定场景进行编码的编码参数；和
视频编码器，所述视频编码器被配置成基于所接收到的视频内容和所选择的编码器参数来生成编码视频内容。
2.根据权利要求1所述的计算系统，其中所述给定类型的视频内容包括视频游戏内容。
3.根据权利要求1所述的计算系统，其中所述视频编码器被配置成使用所选择的编码器参数来对所接收到的视频内容的数据进行压缩以生成所述编码视频内容。
4.根据权利要求1所述的计算系统，其中确定所接收到的视频内容是所述给定类型的视频内容包括使用一个或多个人工智能模型来分析所接收到的视频内容以确定所述给定类型的视频内容。
5.根据权利要求1所述的计算系统，其中确定所接收到的视频内容是所述给定类型的视频内容包括根据所接收到的视频内容的元数据确定视频内容的类型。
6.根据权利要求1所述的计算系统，还包括：
当所接收到的视频内容不是所述给定类型的视频内容时，基于默认编码参数选择编码参数。
7.根据权利要求1所述的计算系统，其中确定所接收到的视频内容是一个或多个预定内容标题中的一个包括使用一个或多个人工智能模型来分析所接收到的视频内容以确定所接收到的视频内容的内容标题。
8.根据权利要求1所述的计算系统，其中确定所接收到的视频内容是一个或多个预定内容标题中的一个包括根据所接收到的视频内容的元数据确定所接收到的视频内容的标题。
9.根据权利要求1所述的计算系统，还包括：
当所接收到的视频内容不是所述一个或多个预定内容标题中的一个时，基于用于所述给定类型的视频内容的通用参数来选择所述编码参数。
10.根据权利要求1所述的计算系统，其中确定所接收到的视频内容包括一个或多个预定场景包括使用一个或多个人工智能模型来分析所接收到的视频内容以确定所述一个或多个预定场景。
11.根据权利要求1所述的计算系统，其中确定所接收到的视频内容包括一个或多个预定场景包括根据所接收到的视频内容的元数据确定所述一个或多个场景。
12.根据权利要求1所述的计算系统，还包括：
当所接收到的视频内容是所述一个或多个预定标题中的一个时，基于所述通用编码参数选择用于对所接收到的视频内容的一个或多个非预定场景进行编码的所述编码参数。
13.根据权利要求12所述的计算系统，其中选择用于对所接收到的视频内容的一个或多个预定场景进行编码的所述编码参数包括根据所述给定类型的视频内容的一个或多个预定内容标题的预定场景到一个或多个场景特定的编码参数集中的对应集的映射来确定所选择的编码参数。
14.根据权利要求13所述的计算系统，其中所述映射包括所述一个或多个预定内容标题的标识符、所述一个或多个预定内容标题的一个或多个场景的标识符以及用于对应内容标题的对应场景的场景特定的编码参数值集。
15.根据权利要求1所述的计算系统，其中所述计算系统包括视频流系统。
16.一种视频编码方法，所述视频编码方法包括：
接收视频内容；
确定所述视频内容是给定类型的视频内容；
确定所述给定类型的视频内容是所述给定类型的视频内容的一个或多个给定标题中的一个；
确定所述给定类型和所述一个或多个给定标题中的一个的视频内容包括所述一个或多个预定内容标题的一个或多个给定场景；以及
使用对应的一个或多个场景特定的编码参数值来对所述给定类型和所述一个或多个给定标题中的一个的视频内容的一个或多个给定场景进行编码。
17.根据权利要求16所述的方法，其中所述给定类型的视频内容包括视频游戏内容。
18.根据权利要求16所述的方法，其中用于对所接收到的视频内容的一个或多个给定场景进行编码的所述对应的一个或多个场景特定的编码参数值包括根据所述给定类型的视频内容的一个或多个给定标题的给定场景到对应的一个或多个场景特定的编码参数值集的映射来确定所述对应的一个或多个场景特定的编码参数值。
19.根据权利要求18所述的方法，其中所述映射包括所述一个或多个给定标题的标识符、所述一个或多个给定标题的一个或多个场景的标识符以及用于对应内容标题的对应场景的场景特定的编码参数值集。
20.根据权利要求16所述的方法，其中确定所述给定类型的视频内容包括根据所述视频内容的元数据或者根据对所述视频内容的分析确定所述给定类型的视频内容。
21.根据权利要求16所述的方法，还包括：
当所述视频内容不是所述给定类型的视频内容时，使用一个或多个默认编码参数值来对所述视频内容进行编码。
22.根据权利要求16所述的方法，其中确定所述视频内容的给定标题包括根据所述视频内容的元数据或者根据对所述视频内容的分析确定所述视频内容的给定标题。
23.根据权利要求16所述的方法，还包括：
当所述视频内容不是所述一个或多个标题中的一个时，使用一个或多个通用编码参数值来对所述视频内容进行编码。
24.根据权利要求16所述的方法，其中确定所述视频内容的给定标题的一个或多个给定场景包括根据所述视频内容的元数据或者根据对所述视频内容的分析确定所述视频内容的一个或多个给定场景。
25.根据权利要求16所述的方法，还包括：
使用所述一个或多个通用编码参数值来对所述给定类型和所述一个或多个给定标题中的一个的视频内容的非给定场景进行编码。
26.根据权利要求13所述的方法，还包括：
基于流式传输的速率周期性地确定给定类型的视频内容的一个或多个选择标题；
确定所述给定类型的视频内容的一个或多个选择标题中的每一个的一个或多个场景；
为所述给定类型的视频内容的一个或多个选择标题中的每一个的一个或多个确定的场景中的每一个确定场景特定的编码参数；以及
保存映射到所述给定类型的视频内容的对应选择标题的对应场景的所述给定类型的视频内容的一个或多个选择标题的一个或多个确定的场景中的每一个的场景特定的编码参数。
CN202110340437.XA 2020-03-30 2021-03-30 一种用于视频编码的计算系统及视频编码方法 Active CN113473148B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
USUS16/834,367 2020-03-30
US16/834,367 US11470327B2 (en) 2020-03-30 2020-03-30 Scene aware video content encoding

Publications (2)

Publication Number Publication Date
CN113473148A true CN113473148A (zh) 2021-10-01
CN113473148B CN113473148B (zh) 2023-05-09

Family

ID=77856670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110340437.XA Active CN113473148B (zh) 2020-03-30 2021-03-30 一种用于视频编码的计算系统及视频编码方法

Country Status (2)

Country Link
US (2) US11470327B2 (zh)
CN (1) CN113473148B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470327B2 (en) 2020-03-30 2022-10-11 Alibaba Group Holding Limited Scene aware video content encoding
US20210352347A1 (en) * 2020-05-08 2021-11-11 Synaptics Incorporated Adaptive video streaming systems and methods
US11785068B2 (en) 2020-12-31 2023-10-10 Synaptics Incorporated Artificial intelligence image frame processing systems and methods
CN114466221B (zh) * 2022-01-14 2024-02-02 杭州华橙软件技术有限公司 一种图像处理方法、装置、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120029917A1 (en) * 2010-08-02 2012-02-02 At&T Intellectual Property I, L.P. Apparatus and method for providing messages in a social network
CN103493481A (zh) * 2011-01-28 2014-01-01 艾艾欧有限公司 基于场景的适应性比特率控制
CN103503454A (zh) * 2011-01-28 2014-01-08 艾艾欧有限公司 场景形式的视频流编码
US20180070150A1 (en) * 2016-09-06 2018-03-08 Comigo Ltd. Systems and methods for providing flexible access to scenes contained within a video content item
CN107846605A (zh) * 2017-01-19 2018-03-27 湖南快乐阳光互动娱乐传媒有限公司 主播端流媒体数据生成系统及方法、网络直播系统及方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5392072A (en) 1992-10-23 1995-02-21 International Business Machines Inc. Hybrid video compression system and method capable of software-only decompression in selected multimedia systems
US6911987B1 (en) 1995-07-05 2005-06-28 Microsoft Corporation Method and system for transmitting data for a shared application
US6675387B1 (en) 1999-04-06 2004-01-06 Liberate Technologies System and methods for preparing multimedia data using digital video data compression
US7085420B2 (en) 2002-06-28 2006-08-01 Microsoft Corporation Text detection in continuous tone image segments
US7072512B2 (en) 2002-07-23 2006-07-04 Microsoft Corporation Segmentation of digital video and images into continuous tone and palettized regions
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US8840475B2 (en) 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8549574B2 (en) 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
KR100656645B1 (ko) 2004-12-22 2006-12-11 엘지전자 주식회사 동영상 부호화 장치와 방법
JP4405419B2 (ja) 2005-03-31 2010-01-27 株式会社東芝 画面送信装置
WO2007119236A2 (en) 2006-04-13 2007-10-25 Yosef Mizrachi Method and apparatus for providing gaming services and for handling video content
US20080201751A1 (en) 2006-04-18 2008-08-21 Sherjil Ahmed Wireless Media Transmission Systems and Methods
EP2338278B1 (en) 2008-09-16 2015-02-25 Intel Corporation Method for presenting an interactive video/multimedia application using content-aware metadata
CN101420614B (zh) 2008-11-28 2010-08-18 同济大学 一种混合编码与字典编码整合的图像压缩方法及装置
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9578336B2 (en) 2011-08-31 2017-02-21 Texas Instruments Incorporated Hybrid video and graphics system with automatic content detection process, and other circuits, processes, and systems
US20180316942A1 (en) 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Systems and methods and interfaces for video processing, combination and display of heterogeneous sources
US20180316948A1 (en) 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
US9197947B2 (en) 2013-03-14 2015-11-24 Arris Technology, Inc. Devices and methods for dynamic video processing
US9858050B2 (en) 2013-07-02 2018-01-02 Youi Labs Inc. System and method for streamlining user interface development
US9071814B1 (en) 2013-08-15 2015-06-30 Google Inc. Scene detection based on video encoding parameters
WO2015025309A1 (en) 2013-08-20 2015-02-26 Smarter Tv Ltd. System and method for real-time processing of ultra-high resolution digital video
US10291827B2 (en) 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
US20150189222A1 (en) 2013-12-30 2015-07-02 Google Inc. Content-adaptive chunking for distributed transcoding
WO2015103496A2 (en) 2014-01-02 2015-07-09 Vid Scale, Inc. Two-demensional palette coding for screen content coding
US10834470B2 (en) 2014-01-17 2020-11-10 Telefonaktiebolaget Lm Ericsson (Publ) Processing media content with scene changes
US9344748B2 (en) 2014-03-31 2016-05-17 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US10592926B2 (en) 2014-12-18 2020-03-17 Nbcuniversal Media, Llc System and method for multimedia content composition
US9942557B2 (en) 2016-01-26 2018-04-10 Beamr Imaging Ltd. Method and system of video encoding optimization
US10482574B2 (en) 2016-07-06 2019-11-19 Gopro, Inc. Systems and methods for multi-resolution image stitching
EP3535644B1 (en) 2016-11-04 2023-02-22 Koninklijke KPN N.V. Streaming virtual reality video
US10979721B2 (en) 2016-11-17 2021-04-13 Dolby Laboratories Licensing Corporation Predicting and verifying regions of interest selections
US10536693B2 (en) 2016-11-22 2020-01-14 Pixvana, Inc. Analytic reprocessing for data stream system and method
EP3442240A1 (en) 2017-08-10 2019-02-13 Nagravision S.A. Extended scene view
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
US10616590B1 (en) * 2018-05-16 2020-04-07 Amazon Technologies, Inc. Optimizing streaming video encoding profiles
US10860860B1 (en) * 2019-01-03 2020-12-08 Amazon Technologies, Inc. Matching videos to titles using artificial intelligence
US10972792B2 (en) * 2019-06-27 2021-04-06 Rovi Guides, Inc. Systems and methods for scene change recommendations
US11321259B2 (en) * 2020-02-14 2022-05-03 Sony Interactive Entertainment Inc. Network architecture providing high speed storage access through a PCI express fabric between a compute node and a storage server
US11470327B2 (en) 2020-03-30 2022-10-11 Alibaba Group Holding Limited Scene aware video content encoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120029917A1 (en) * 2010-08-02 2012-02-02 At&T Intellectual Property I, L.P. Apparatus and method for providing messages in a social network
CN103493481A (zh) * 2011-01-28 2014-01-01 艾艾欧有限公司 基于场景的适应性比特率控制
CN103503454A (zh) * 2011-01-28 2014-01-08 艾艾欧有限公司 场景形式的视频流编码
US20180070150A1 (en) * 2016-09-06 2018-03-08 Comigo Ltd. Systems and methods for providing flexible access to scenes contained within a video content item
CN107846605A (zh) * 2017-01-19 2018-03-27 湖南快乐阳光互动娱乐传媒有限公司 主播端流媒体数据生成系统及方法、网络直播系统及方法

Also Published As

Publication number Publication date
US11470327B2 (en) 2022-10-11
CN113473148B (zh) 2023-05-09
US12003732B2 (en) 2024-06-04
US20210306636A1 (en) 2021-09-30
US20230199192A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
CN113473148B (zh) 一种用于视频编码的计算系统及视频编码方法
He et al. Rubiks: Practical 360-degree streaming for smartphones
EP2962461B1 (en) Systems and methods of encoding multiple video streams for adaptive bitrate streaming
US9350990B2 (en) Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming
WO2014190308A1 (en) Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming
US20110293009A1 (en) Video processing system, computer program product and method for managing a transfer of information between a memory unit and a decoder
TWI806199B (zh) 特徵圖資訊的指示方法，設備以及電腦程式
US20200374534A1 (en) Ai-assisted programmable hardware video codec
CN116208770A (zh) 用于视频编码的增强型实时视觉质量度量生成
TWI691200B (zh) 用於在視訊編碼中的順延後處理的系統及方法
US20220094961A1 (en) Estimated optimal video encoding parameter set systems and methods
WO2022042325A1 (zh) 视频处理方法、装置、设备及存储介质
US11277626B2 (en) Region of interest quality controllable video coding techniques
US11403783B2 (en) Techniques to dynamically gate encoded image components for artificial intelligence tasks
CN116980616A (zh) 模式判决调度方法及相关装置
US11792408B2 (en) Transcoder target bitrate prediction techniques
US20220021888A1 (en) Systems and methods to encode regions-of-interest based on video content detection
CN112437308A (zh) 一种WebP编码方法及装置
Shichao et al. A scalable multi-pipeline JPEG encoding architecture
Jubran et al. Sequence-level reference frames in video coding
WO2024060213A1 (en) Viewport switch latency reduction in live streaming
WO2024119404A1 (en) Visual quality enhancement in cloud gaming by 3d information-based segmentation and per-region rate distortion optimization
CN111953988B (zh) 视频转码方法、计算机设备和存储介质
WO2022250397A1 (en) Methods and apparatus for processing of high-resolution video content
US10582207B2 (en) Video processing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant