CN109286825A - 用于处理视频的方法和装置 - Google Patents

用于处理视频的方法和装置 Download PDF

Info

Publication number
CN109286825A
CN109286825A CN201811536277.0A CN201811536277A CN109286825A CN 109286825 A CN109286825 A CN 109286825A CN 201811536277 A CN201811536277 A CN 201811536277A CN 109286825 A CN109286825 A CN 109286825A
Authority
CN
China
Prior art keywords
video
sample
coding parameter
quality
clip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811536277.0A
Other languages
English (en)
Other versions
CN109286825B (zh
Inventor
邢怀飞
王加良
沈慧锋
曹菲菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811536277.0A priority Critical patent/CN109286825B/zh
Publication of CN109286825A publication Critical patent/CN109286825A/zh
Priority to JP2019161973A priority patent/JP6928041B2/ja
Priority to KR1020190112159A priority patent/KR102235590B1/ko
Priority to US16/567,976 priority patent/US10897620B2/en
Application granted granted Critical
Publication of CN109286825B publication Critical patent/CN109286825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了用于处理视频的方法和装置。该方法的一具体实施方式包括：获取待处理的视频，以及将视频根据场景划分成至少一个视频片段；对于至少一个视频片段中的视频片段，提取该视频片段的特征；将特征和目标视频质量输入预先训练的编码参数预测模型中，得到该视频片段的编码参数，其中，编码参数预测模型用于表征视频片段的特征与目标视频质量下的编码参数的对应关系；根据至少一个视频片段中的视频片段对应的编码参数对视频进行编码处理，生成编码后的视频。该实施方式实现了基于场景内容的自适应编码，可以提高压缩率，并提升视频质量。

Description

用于处理视频的方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及用于处理视频的方法和装置。
背景技术
视频转码(Video transcoding)是指将已经压缩编码的视频码流转换成另一种视频码流，以适应不同的网络带宽、不同的终端处理能力或者不同的用户需求。
相关的内容自适应的编码技术，基本都是利用多次编码的方式，即首先用CRF(constant ratefactor，保证一定质量智能分配码率)的编码来计算出整个视频的复杂度因子，然后调节整个视频的编码参数，也就说内容自适应的基本是片子(title)的级别。
但是不同的长度的视频内容，里边的场景可能是多变的，不同的场景就意味着一个更细颗粒度的内容自适应的精度。
发明内容
本申请实施例提出了用于处理视频的方法和装置。
第一方面，本申请实施例提供了一种用于处理视频的方法，包括：获取待处理的视频，以及将视频根据场景划分成至少一个视频片段；对于至少一个视频片段中的视频片段，提取该视频片段的特征；将特征和目标视频质量输入预先训练的编码参数预测模型中，得到该视频片段的编码参数，其中，编码参数预测模型用于表征视频片段的特征与目标视频质量下的编码参数的对应关系；根据至少一个视频片段中的视频片段对应的编码参数对视频进行编码处理，生成编码后的视频。
在一些实施例中，该方法还包括：确定编码后的视频的视频质量；响应于确定出的视频质量与目标视频质量不匹配，输出预定信息。
在一些实施例中，提取该视频片段的特征，包括：将该视频片段解码，提取该视频片段的时域特征和/或频域特征。
在一些实施例中，编码参数预测模型是通过以下方式训练得到的：获取样本视频集，以及标注样本视频集中样本视频的编码参数和视频质量；对于样本视频集中的样本视频，提取该样本视频的特征，以及根据该样本视频的特征确定该样本视频的复杂度因子；根据复杂度因子将样本视频集中的样本视频划分成至少一个类别；对于至少一个类别中的类别，将属于该类别的样本视频的编码参数和视频质量进行回归，得到编码参数和视频质量的关系曲线。
在一些实施例中，标注样本视频集中样本视频的编码参数和视频质量，包括：对于样本视频集中的样本视频，根据预定的恒定质量的值对该样本视频进行编码，以及对编码过程中的编码参数、视频质量进行标注。
在一些实施例中，复杂度因子与编码后的样本视频的像素深度相关。
第二方面，本申请实施例提供了一种用于处理视频的装置，包括：划分单元，被配置成获取待处理的视频，以及将视频根据场景划分成至少一个视频片段；提取单元，被配置成对于至少一个视频片段中的视频片段，提取该视频片段的特征；输入单元，被配置成将特征和目标视频质量输入预先训练的编码参数预测模型中，得到该视频片段的编码参数，其中，编码参数预测模型用于表征视频片段的特征与目标视频质量下的编码参数的对应关系；处理单元，被配置成根据至少一个视频片段中的视频片段对应的编码参数对视频进行编码处理，生成编码后的视频。
在一些实施例中，该装置还包括验证单元，被配置成：确定编码后的视频的视频质量；响应于确定出的视频质量与目标视频质量不匹配，输出预定信息。
在一些实施例中，提取单元进一步被配置成：将该视频片段解码，提取该视频片段的时域特征和/或频域特征。
在一些实施例中，该装置还包括训练单元，被配置成：获取样本视频集，以及标注样本视频集中样本视频的编码参数和视频质量；对于样本视频集中的样本视频，提取该样本视频的特征，以及根据该样本视频的特征确定该样本视频的复杂度因子；根据复杂度因子将样本视频集中的样本视频划分成至少一个类别；对于至少一个类别中的类别，将属于该类别的样本视频的编码参数和视频质量进行回归，得到编码参数和视频质量的关系曲线。
在一些实施例中，训练单元进一步被配置成：对于样本视频集中的样本视频，根据预定的恒定质量的值对该样本视频进行编码，以及对编码过程中的编码参数、视频质量进行标注。
在一些实施例中，复杂度因子与编码后的样本视频的像素深度相关。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中任一的方法。
本申请实施例提供的用于处理视频的方法和装置，通过基于场景将视频分片，并通过机器学习出的编码参数预测模型预测目标视频质量下的编码参数。根据预测出的编码参数对视频进行内容自适应编码。从而提高压缩率并提升视频质量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于处理视频的方法的一个实施例的流程图；
图3是根据本申请的用于处理视频的方法的一个应用场景的示意图；
图4是根据本申请的用于处理视频的方法的又一个实施例的流程图；
图5a、5b是根据本申请的用于处理视频的方法的编码参数和视频质量的关系曲线；
图6是根据本申请的用于处理视频的装置的一个实施例的结构示意图；
图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于处理视频的方法或用于处理视频的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用，例如网页浏览器应用、视频播放器、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的视频进行处理的视频处理服务器。视频处理服务器可以对接收到的待转码视频等数据进行分析等处理，并将处理结果(例如转码后视频片段)反馈给终端设备。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于处理视频的方法一般由服务器105执行，相应地，用于处理视频的装置一般设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的用于处理视频的方法的一个实施例的流程200。该用于处理视频的方法，包括以下步骤：
步骤201，获取待处理的视频，以及将视频根据场景划分成至少一个视频片段。
在本实施例中，用于处理视频的方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式获取待处理(即待转码)的视频，以及将待处理的视频根据场景划分成至少一个视频片段。基于场景分片的方法有很多的公知的技术，比如，采用帧间标准差、均方差值等，作为一个指标，固定一个阈值，当大于一个阈值，就可以作为一个场景分割的边界。所谓的一个场景(scene)可以认为在一个场景之内，这个场景内都是连续变换的一个镜头，认为复杂度都是比较一致的。
步骤202，对于至少一个视频片段中的视频片段，提取该视频片段的特征。
在本实施例中，按照场景作为分片转码的一个基本的单位，将这个场景内的视频解码，提取视频时域或者频域的特征，这些特征可以包括相邻帧间的motion(运动)信息、VIF(visual information fidelity，人眼质量保真)、DLM(detail loss measure，细节损失测量)等。
可根据视频的特征确定出视频的复杂度因子从而对视频进行分类。每一个场景的分片，按照给定的恒定质量的值进行CRF的转码，转码后统计给分片的所有帧的平均每一个像素所占用的比特数BPP(bits per pixel，每像素比特数，即像素深度)，然后根据BPP的值取一定的数学运算(比如Log10)，将该值取到缩放到一定的范围内，作为视频的复杂度系数。统计一个视频中所有视频片段的视频复杂度系数的平均值作为平均复杂度系数，然后计算出每一个视频片段的复杂度因子：
复杂度因子＝复杂度系数/(平均复杂度系数)。
步骤203，将特征和目标视频质量输入预先训练的编码参数预测模型中，得到该视频片段的编码参数。
在本实施例中，编码参数预测模型可以是一个深度神经网络预测器。编码参数预测模型用于表征视频片段的特征与目标视频质量下的编码参数的对应关系。具体的，作为示例，编码参数预测模型可以为技术人员基于对大量的特征和用于表征不同视频质量下的编码参数的统计而预先制定的、存储有多个特征与用于表征不同视频质量下的编码参数的对应关系的对应关系表；也可以是技术人员基于对大量数据的统计而预先设置并存储至上述电子设备中的、对不同视频质量下的编码参数的一个或多个数值进行回归以得到的回归曲线。可以根据视频的特征确定出的复杂度因子分类查询不同的回归曲线，每条回归曲线表征一种复杂度因子的视频的不同视频质量下的编码参数。编码参数可以包括码率、分辨率、CRF等。
视频的质量可通过PSNR(Peak Signal to Noise Ratio，峰值信噪比)、VMAF(Visual Multimethod Assessment Fusion，视频质量多方法评价融合)、MOS(MeanOpinion Score，平均主观意见分)来表示。目标视频质量指的是用户期望得到的视频质量。
步骤204，根据至少一个视频片段中的视频片段对应的编码参数对视频进行编码处理，生成编码后的视频。
在本实施例中，不同的视频片段可能采用不同的编码方式，各视频片段采用相应的编码方式分别进行编码后合并成完整的视频。
在本实施例的一些可选的实现方式中，该方法还包括：确定编码后的视频的视频质量。响应于确定出的视频质量与目标视频质量不匹配，输出预定信息。对预测的编码参数进行验证，以防止编码参数预测模型不准确导致的不良结果。预定信息可以是用来提示编码后的视频质量未达到目标视频质量的信息。
继续参见图3，图3是根据本实施例的用于处理视频的方法的应用场景的一个示意图。在图3的应用场景中，首先服务器301可以获取终端设备302发送的待转码视频303，以及将待转码视频303根据场景划分成两个待转码视频片段3031和3032。然后对于待转码视频片段3031和待转码视频片段3032，服务器301可以执行以下步骤：分别确定待转码视频片段3031和待转码视频片段3032的特征。分别将所生成的特征输入预先训练的编码参数预测模型，同时输入目标视频质量，获得目标视频质量下待转码视频片段3031的最优的编码参数和目标视频质量下待转码视频片段3032的最优的编码参数。然后，基于所获得的编码参数，服务器301可以确定待转码视频片段3031的转码用码率304和待转码视频片段3032的转码用码率305。最后服务器301可以基于所确定的转码用码率304、305，分别对待转码视频片段3031和3032进行转码，生成转码后视频片段306和307。然后将视频片段306和307合并成转码后视频308再返回给终端设备302。
本申请的上述实施例提供的方法通过根据场景将待转码的视频分成视频片段后，再分别输入预先训练的编码参数预测模型，得到不同视频片段的编码参数。然后每个视频片段根据各自的编码参数进行编码后，合并成转码后的视频。实现了基于内容的复杂度来进行编码参数设定，达到提高编码压缩效率、提升视频质量的目的。
进一步参考图4，其示出了用于处理视频的方法的又一个实施例的流程400。该用于处理视频的方法的流程400，包括以下步骤：
步骤401，获取样本视频集，以及标注样本视频集中样本视频的编码参数和视频质量。
在本实施例中，用于处理视频的方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从第三方服务器获取样本视频集。样本视频可以是指定的测试序列，每一个测试序列表征了不同的空间复杂度(SI，Spatialperceptual Information)与时间复杂度(TI，Temporal perceptual Information)。TI，SI的计算方法在国际标准ITU-T P.910中是有建议的。
样本视频集的构建，可以来自开放的数据集；也可以来自于实际的线上的视频数据集，这些数据集都是来各种不同的类别，或者说每一个视频都有自己独一无二的复杂度。我们认为，具有相同的空间复杂度和时间复杂度的视频，通过视频编码算法压缩出的视频，具有相同的编码复杂度。可通过手工标注或自动标注的方式标注样本视频集中样本视频的编码参数和视频质量。
在本实施例的一些可选的实现方式中，标注样本视频集中样本视频的编码参数和视频质量，包括：对于样本视频集中的样本视频，根据预定的恒定质量的值对该样本视频进行编码，以及对编码过程中的编码参数、视频质量进行标注。对于相同复杂度(时间、空间)的视频，具有相同的编码特性，比如用相同的CRF(如CRF＝23)编码出来的视频具有相同的码率；同时也可能具有相同的视频质量。
可分别采用CRF＝8，10，12，……49这些离散的值，对样本视频集中的样本视频，进行编码，然后对编码产生码率的码率(bps)、视频质量进行统计(例如，PSNR、VMAF或MOS)。这样就实现了对所有样本视频的标注工作。还可标注SI和TI。
步骤402，对于样本视频集中的样本视频，提取该样本视频的特征，以及根据该样本视频的特征确定该样本视频的复杂度因子。
在本实施例中，对于样本视频集中的每个样本视频，将该样本视频解码，提取视频时域或者频域的特征，这些特征可以包括相邻帧间的motion(运动)信息、VIF(visualinformation fidelity，人眼质量保真)、DLM(detail loss measure，细节损失测量)等。
可根据视频的特征确定出视频的复杂度因子从而对视频进行分类。每一个场景的分片，按照给定的恒定质量的值进行CRF的转码，转码后统计给分片的所有帧的平均每一个像素所占用的比特数BPP(bits per pixel，像素深度)，然后根据BPP的值取一定的数学运算(比如Log10)，将该值取到缩放到一定的范围内，作为视频的复杂度系数。统计一个视频中所有视频片段的视频复杂度的平均值作为平均复杂度系数，然后计算出每一个视频片段的复杂度因子：
复杂度因子＝复杂度系数/(平均复杂度系数)。
步骤403，根据复杂度因子将样本视频集中的样本视频划分成至少一个类别。
在本实施例中，将相同复杂度因子的样本视频划分为一个类别。然后针对每个类别的样本视频的视频质量和编码参数进行回归分析，确定出回归曲线。
步骤404，对于至少一个类别中的类别，将属于该类别的样本视频的编码参数和视频质量进行回归，得到编码参数和视频质量的关系曲线。
在本实施例中，可使用常规的回归方式进行曲线拟合，得到编码参数和视频质量的关系曲线。如图5a、5b所示。右边的标注是不同的视频内容(BQ-1080,BI-1080等代表不同的视频序列)，不同的视频内容具有不同的复杂度因子，相当于每个复杂度因子对应一条曲线。横坐标是编码参数(CRF或码率(bit rate))，纵坐标是视频的质量VMAF。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于处理视频的方法的流程400体现了训练编码参数预测模型的步骤。由此，本实施例描述的方案可以引入更多种类的视频复杂度的视频的相关数据。从而实现更全面的视频编码参数预测。
进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种用于处理视频的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的用于处理视频的装置600包括：划分单元601、提取单元602、输入单元603和处理单元604。其中，划分单元601，被配置成获取待处理的视频，以及将视频根据场景划分成至少一个视频片段。提取单元602，被配置成对于至少一个视频片段中的视频片段，提取该视频片段的特征。输入单元603，被配置成将特征和目标视频质量输入预先训练的编码参数预测模型中，得到该视频片段的编码参数，其中，编码参数预测模型用于表征视频片段的特征与目标视频质量下的编码参数的对应关系。处理单元604，被配置成根据至少一个视频片段中的视频片段对应的编码参数对视频进行编码处理，生成编码后的视频。
在本实施例中，用于处理视频的装置600的划分单元601、提取单元602、输入单元603和处理单元604的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204。
在本实施例的一些可选的实现方式中，装置600还包括验证单元(未示出)，被配置成：确定编码后的视频的视频质量。响应于确定出的视频质量与目标视频质量不匹配，输出预定信息。
在本实施例的一些可选的实现方式中，提取单元602进一步被配置成：将该视频片段解码，提取该视频片段的时域特征和/或频域特征。
在本实施例的一些可选的实现方式中，装置600还包括训练单元(未示出)，被配置成：获取样本视频集，以及标注样本视频集中样本视频的编码参数和视频质量；对于样本视频集中的样本视频，提取该样本视频的特征，以及根据该样本视频的特征确定该样本视频的复杂度因子；根据复杂度因子将样本视频集中的样本视频划分成至少一个类别；对于至少一个类别中的类别，将属于该类别的样本视频的编码参数和视频质量进行回归，得到编码参数和视频质量的关系曲线。
在本实施例的一些可选的实现方式中，训练单元进一步被配置成：对于样本视频集中的样本视频，根据预定的恒定质量的值对该样本视频进行编码，以及对编码过程中的编码参数、视频质量进行标注。
在本实施例的一些可选的实现方式中，复杂度因子与编码后的样本视频的像素深度相关。
下面参考图7，其示出了适于用来实现本申请实施例的电子设备(如图1所示的服务器)的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括划分单元、提取单元、输入单元和处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，划分单元还可以被描述为“获取待处理的视频，以及将视频根据场景划分成至少一个视频片段的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取待处理的视频，以及将视频根据场景划分成至少一个视频片段；对于至少一个视频片段中的视频片段，提取该视频片段的特征；将特征和目标视频质量输入预先训练的编码参数预测模型中，得到该视频片段的编码参数，其中，编码参数预测模型用于表征视频片段的特征与目标视频质量下的编码参数的对应关系；根据至少一个视频片段中的视频片段对应的编码参数对视频进行编码处理，生成编码后的视频。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于处理视频的方法，包括：
获取待处理的视频，以及将所述视频根据场景划分成至少一个视频片段；
对于所述至少一个视频片段中的视频片段，提取该视频片段的特征；
将所述特征和目标视频质量输入预先训练的编码参数预测模型中，得到该视频片段的编码参数，其中，所述编码参数预测模型用于表征视频片段的特征与目标视频质量下的编码参数的对应关系；
根据所述至少一个视频片段中的视频片段对应的编码参数对所述视频进行编码处理，生成编码后的视频。
2.根据权利要求1所述的方法，其中，所述方法还包括：
确定编码后的视频的视频质量；
响应于确定出的视频质量与所述目标视频质量不匹配，输出预定信息。
3.根据权利要求1所述的方法，其中，所述提取该视频片段的特征，包括：
将该视频片段解码，提取该视频片段的时域特征和/或频域特征。
4.根据权利要求1-3之一所述的方法，其中，所述编码参数预测模型是通过以下方式训练得到的：
获取样本视频集，以及标注所述样本视频集中样本视频的编码参数和视频质量；
对于所述样本视频集中的样本视频，提取该样本视频的特征，以及根据该样本视频的特征确定该样本视频的复杂度因子；
根据复杂度因子将所述样本视频集中的样本视频划分成至少一个类别；
对于所述至少一个类别中的类别，将属于该类别的样本视频的编码参数和视频质量进行回归，得到编码参数和视频质量的关系曲线。
5.根据权利要求4所述的方法，其中，所述标注所述样本视频集中样本视频的编码参数和视频质量，包括：
对于所述样本视频集中的样本视频，根据预定的恒定质量的值对该样本视频进行编码，以及对编码过程中的编码参数、视频质量进行标注。
6.根据权利要求4所述的方法，其中，所述复杂度因子与编码后的样本视频的像素深度相关。
7.一种用于处理视频的装置，包括：
划分单元，被配置成获取待处理的视频，以及将所述视频根据场景划分成至少一个视频片段；
提取单元，被配置成对于所述至少一个视频片段中的视频片段，提取该视频片段的特征；
输入单元，被配置成将所述特征和目标视频质量输入预先训练的编码参数预测模型中，得到该视频片段的编码参数，其中，所述编码参数预测模型用于表征视频片段的特征与目标视频质量下的编码参数的对应关系；
处理单元，被配置成根据所述至少一个视频片段中的视频片段对应的编码参数对所述视频进行编码处理，生成编码后的视频。
8.根据权利要求7所述的装置，其中，所述装置还包括验证单元，被配置成：
确定编码后的视频的视频质量；
响应于确定出的视频质量与所述目标视频质量不匹配，输出预定信息。
9.根据权利要求7所述的装置，其中，所述提取单元进一步被配置成：
将该视频片段解码，提取该视频片段的时域特征和/或频域特征。
10.根据权利要求7-9之一所述的装置，其中，所述装置还包括训练单元，被配置成：
获取样本视频集，以及标注所述样本视频集中样本视频的编码参数和视频质量；
对于所述样本视频集中的样本视频，提取该样本视频的特征，以及根据该样本视频的特征确定该样本视频的复杂度因子；
根据复杂度因子将所述样本视频集中的样本视频划分成至少一个类别；
对于所述至少一个类别中的类别，将属于该类别的样本视频的编码参数和视频质量进行回归，得到编码参数和视频质量的关系曲线。
11.根据权利要求10所述的装置，其中，所述训练单元进一步被配置成：
对于所述样本视频集中的样本视频，根据预定的恒定质量的值对该样本视频进行编码，以及对编码过程中的编码参数、视频质量进行标注。
12.根据权利要求10所述的装置，其中，所述复杂度因子与编码后的样本视频的像素深度相关。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201811536277.0A 2018-12-14 2018-12-14 用于处理视频的方法和装置 Active CN109286825B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811536277.0A CN109286825B (zh) 2018-12-14 2018-12-14 用于处理视频的方法和装置
JP2019161973A JP6928041B2 (ja) 2018-12-14 2019-09-05 動画を処理するための方法および装置
KR1020190112159A KR102235590B1 (ko) 2018-12-14 2019-09-10 비디오를 처리하기 위한 방법 및 장치
US16/567,976 US10897620B2 (en) 2018-12-14 2019-09-11 Method and apparatus for processing a video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811536277.0A CN109286825B (zh) 2018-12-14 2018-12-14 用于处理视频的方法和装置

Publications (2)

Publication Number Publication Date
CN109286825A true CN109286825A (zh) 2019-01-29
CN109286825B CN109286825B (zh) 2021-04-30

Family

ID=65174380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811536277.0A Active CN109286825B (zh) 2018-12-14 2018-12-14 用于处理视频的方法和装置

Country Status (4)

Country Link
US (1) US10897620B2 (zh)
JP (1) JP6928041B2 (zh)
KR (1) KR102235590B1 (zh)
CN (1) CN109286825B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139113A (zh) * 2019-04-30 2019-08-16 腾讯科技（深圳）有限公司 视频资源的传输参数分发方法及装置
CN110324621A (zh) * 2019-07-04 2019-10-11 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备和存储介质
CN110401834A (zh) * 2019-08-06 2019-11-01 杭州微帧信息科技有限公司 一种基于深度学习的自适应视频编码方法
CN110490845A (zh) * 2019-07-26 2019-11-22 北京大米科技有限公司 一种图像特征提取方法、装置、存储介质及电子设备
CN110545418A (zh) * 2019-08-27 2019-12-06 杭州当虹科技股份有限公司 一种基于场景的自适应视频编码方法
CN110650370A (zh) * 2019-10-18 2020-01-03 北京达佳互联信息技术有限公司 一种视频编码参数确定方法、装置、电子设备及存储介质
CN110971784A (zh) * 2019-11-14 2020-04-07 北京达佳互联信息技术有限公司 一种视频处理方法、装置、电子设备及存储介质
CN110996131A (zh) * 2020-03-02 2020-04-10 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
CN111083483A (zh) * 2019-12-31 2020-04-28 北京奇艺世纪科技有限公司 一种视频编码码率确定方法、装置、电子设备及存储介质
CN111083473A (zh) * 2019-12-28 2020-04-28 杭州当虹科技股份有限公司 一种基于机器学习的内容自适应视频编码方法
CN111107395A (zh) * 2019-12-31 2020-05-05 广州市百果园网络科技有限公司 一种视频转码的方法、装置、服务器和存储介质
CN111246209A (zh) * 2020-01-20 2020-06-05 北京字节跳动网络技术有限公司 自适应编码方法、装置、电子设备及计算机存储介质
CN111263154A (zh) * 2020-01-22 2020-06-09 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
CN111263243A (zh) * 2020-02-17 2020-06-09 网易（杭州）网络有限公司 视频编码方法、装置、计算机可读介质及电子设备
CN111277826A (zh) * 2020-01-22 2020-06-12 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
CN111316326A (zh) * 2019-02-21 2020-06-19 深圳市大疆创新科技有限公司 图像编码方法、设备及计算机可读存储介质
CN111405285A (zh) * 2020-03-27 2020-07-10 北京百度网讯科技有限公司 用于压缩图像的方法及装置
CN111630570A (zh) * 2019-05-31 2020-09-04 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN112188310A (zh) * 2020-09-28 2021-01-05 北京金山云网络技术有限公司 测试序列构建方法、装置、电子设备及存储介质
CN112468816A (zh) * 2019-09-06 2021-03-09 上海哔哩哔哩科技有限公司 固定码率系数预测模型建立及视频编码的方法
CN112565775A (zh) * 2020-11-26 2021-03-26 北京达佳互联信息技术有限公司 用于音视频转码的方法、装置及存储介质
CN112653892A (zh) * 2020-12-18 2021-04-13 杭州当虹科技股份有限公司 一种利用视频特征实现转码测试评估的方法
CN112672157A (zh) * 2020-12-22 2021-04-16 广州博冠信息科技有限公司 视频编码方法、装置、设备及存储介质
CN113014922A (zh) * 2021-02-23 2021-06-22 北京百度网讯科技有限公司 模型训练、视频编码方法，装置，设备以及存储介质
CN113329226A (zh) * 2021-05-28 2021-08-31 北京字节跳动网络技术有限公司 数据的生成方法、装置、电子设备及存储介质
CN113382241A (zh) * 2021-06-08 2021-09-10 北京奇艺世纪科技有限公司 视频编码方法、装置、电子设备和存储介质
CN113748683A (zh) * 2019-05-12 2021-12-03 脸谱公司 用于在压缩视频文件中保存带内元数据的系统和方法
CN115842925A (zh) * 2022-11-22 2023-03-24 魏洪源 视频转码方法、装置、设备及存储介质
WO2023207205A1 (zh) * 2022-04-29 2023-11-02 上海哔哩哔哩科技有限公司 视频编码方法及装置
WO2024017106A1 (zh) * 2022-07-19 2024-01-25 广州市百果园信息技术有限公司 一种码表更新方法、装置、设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109000887B (zh) * 2018-05-25 2021-04-23 京东方科技集团股份有限公司 一种图案检测装置及方法、图案化控制系统及方法
US11792408B2 (en) * 2020-03-30 2023-10-17 Alibaba Group Holding Limited Transcoder target bitrate prediction techniques
CN111757118B (zh) * 2020-06-29 2023-04-21 北京百度网讯科技有限公司 视频转码处理方法、装置、设备和介质
US20220046237A1 (en) * 2020-08-07 2022-02-10 Tencent America LLC Methods of parameter set selection in cloud gaming system
US11875495B2 (en) 2020-08-10 2024-01-16 Tencent America LLC Methods of video quality assessment using parametric and pixel level models
CN111950653B (zh) * 2020-08-24 2021-09-10 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质及电子设备
US11818373B1 (en) * 2020-09-08 2023-11-14 Block, Inc. Machine-learning based data compression for streaming media
CN113705628B (zh) * 2021-08-06 2024-02-06 北京百度网讯科技有限公司 预训练模型的确定方法、装置、电子设备以及存储介质
US11870833B2 (en) 2021-08-31 2024-01-09 Google Llc Methods and systems for encoder parameter setting optimization
CN114268815A (zh) * 2021-12-15 2022-04-01 北京达佳互联信息技术有限公司 视频质量确定方法、装置、电子设备及存储介质
CN115379259B (zh) * 2022-08-18 2024-04-26 百度在线网络技术（北京）有限公司 视频处理方法、装置、电子设备和存储介质
CN116385947B (zh) * 2023-06-06 2023-08-25 南京云创大数据科技股份有限公司 一种视频目标分割方法、装置、计算机设备及存储介质
CN117058596B (zh) * 2023-10-11 2023-12-29 上海凯翔信息科技有限公司 一种获取片名的视频处理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780901A (zh) * 2014-01-22 2014-05-07 上海交通大学 基于视频空间和时间信息的视频质量及压缩码率估计方法
WO2015183910A1 (en) * 2014-05-30 2015-12-03 Alibaba Group Holding Limited Method and apparatus of content-based self-adaptive video transcoding
CN108174290A (zh) * 2018-01-25 2018-06-15 北京百度网讯科技有限公司 用于处理视频的方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4428680B2 (ja) 2000-11-06 2010-03-10 パナソニック株式会社 映像信号符号化方法および映像信号符号化装置
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US7456760B2 (en) 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US9832540B2 (en) 2010-12-15 2017-11-28 Hulu, LLC Method and apparatus for hybrid transcoding of a media program
US10460033B2 (en) * 2015-11-11 2019-10-29 Adobe Inc. Structured knowledge modeling, extraction and localization from images
CN106856571B (zh) * 2015-12-09 2019-12-06 阿里巴巴集团控股有限公司 一种转码方法及装置
US11166027B2 (en) * 2016-06-10 2021-11-02 Apple Inc. Content adaptation for streaming
US10721475B2 (en) * 2017-09-01 2020-07-21 Ittiam Systems (P) Ltd. K-nearest neighbor model-based content adaptive encoding parameters determination

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780901A (zh) * 2014-01-22 2014-05-07 上海交通大学 基于视频空间和时间信息的视频质量及压缩码率估计方法
WO2015183910A1 (en) * 2014-05-30 2015-12-03 Alibaba Group Holding Limited Method and apparatus of content-based self-adaptive video transcoding
CN108174290A (zh) * 2018-01-25 2018-06-15 北京百度网讯科技有限公司 用于处理视频的方法和装置

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111316326A (zh) * 2019-02-21 2020-06-19 深圳市大疆创新科技有限公司 图像编码方法、设备及计算机可读存储介质
WO2020168526A1 (zh) * 2019-02-21 2020-08-27 深圳市大疆创新科技有限公司 图像编码方法、设备及计算机可读存储介质
CN110139113B (zh) * 2019-04-30 2021-05-14 腾讯科技（深圳）有限公司 视频资源的传输参数分发方法及装置
CN110139113A (zh) * 2019-04-30 2019-08-16 腾讯科技（深圳）有限公司 视频资源的传输参数分发方法及装置
WO2020220902A1 (zh) * 2019-04-30 2020-11-05 腾讯科技（深圳）有限公司 视频资源的传输参数分发方法及装置
CN113748683A (zh) * 2019-05-12 2021-12-03 脸谱公司 用于在压缩视频文件中保存带内元数据的系统和方法
CN111630570A (zh) * 2019-05-31 2020-09-04 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
WO2020237646A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN110324621B (zh) * 2019-07-04 2021-05-18 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备和存储介质
CN110324621A (zh) * 2019-07-04 2019-10-11 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备和存储介质
CN110490845A (zh) * 2019-07-26 2019-11-22 北京大米科技有限公司 一种图像特征提取方法、装置、存储介质及电子设备
CN110401834A (zh) * 2019-08-06 2019-11-01 杭州微帧信息科技有限公司 一种基于深度学习的自适应视频编码方法
CN110545418A (zh) * 2019-08-27 2019-12-06 杭州当虹科技股份有限公司 一种基于场景的自适应视频编码方法
CN112468816B (zh) * 2019-09-06 2022-07-19 上海哔哩哔哩科技有限公司 固定码率系数预测模型建立及视频编码的方法
CN112468816A (zh) * 2019-09-06 2021-03-09 上海哔哩哔哩科技有限公司 固定码率系数预测模型建立及视频编码的方法
CN110650370A (zh) * 2019-10-18 2020-01-03 北京达佳互联信息技术有限公司 一种视频编码参数确定方法、装置、电子设备及存储介质
CN110650370B (zh) * 2019-10-18 2021-09-24 北京达佳互联信息技术有限公司 一种视频编码参数确定方法、装置、电子设备及存储介质
CN110971784A (zh) * 2019-11-14 2020-04-07 北京达佳互联信息技术有限公司 一种视频处理方法、装置、电子设备及存储介质
CN110971784B (zh) * 2019-11-14 2022-03-25 北京达佳互联信息技术有限公司 一种视频处理方法、装置、电子设备及存储介质
CN111083473B (zh) * 2019-12-28 2022-03-08 杭州当虹科技股份有限公司 一种基于机器学习的内容自适应视频编码方法
CN111083473A (zh) * 2019-12-28 2020-04-28 杭州当虹科技股份有限公司 一种基于机器学习的内容自适应视频编码方法
CN111107395A (zh) * 2019-12-31 2020-05-05 广州市百果园网络科技有限公司 一种视频转码的方法、装置、服务器和存储介质
CN111083483A (zh) * 2019-12-31 2020-04-28 北京奇艺世纪科技有限公司 一种视频编码码率确定方法、装置、电子设备及存储介质
CN111107395B (zh) * 2019-12-31 2021-08-03 广州市百果园网络科技有限公司 一种视频转码的方法、装置、服务器和存储介质
WO2021135983A1 (zh) * 2019-12-31 2021-07-08 百果园技术(新加坡)有限公司 视频转码的方法、装置、服务器和存储介质
CN111246209B (zh) * 2020-01-20 2022-08-02 北京字节跳动网络技术有限公司 自适应编码方法、装置、电子设备及计算机存储介质
CN111246209A (zh) * 2020-01-20 2020-06-05 北京字节跳动网络技术有限公司 自适应编码方法、装置、电子设备及计算机存储介质
CN111277826A (zh) * 2020-01-22 2020-06-12 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
CN111263154B (zh) * 2020-01-22 2022-02-11 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
CN111263154A (zh) * 2020-01-22 2020-06-09 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
WO2021147448A1 (zh) * 2020-01-22 2021-07-29 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
CN111263243A (zh) * 2020-02-17 2020-06-09 网易（杭州）网络有限公司 视频编码方法、装置、计算机可读介质及电子设备
WO2021174878A1 (zh) * 2020-03-02 2021-09-10 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
CN110996131B (zh) * 2020-03-02 2020-11-10 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
CN110996131A (zh) * 2020-03-02 2020-04-10 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
CN111405285A (zh) * 2020-03-27 2020-07-10 北京百度网讯科技有限公司 用于压缩图像的方法及装置
CN112188310B (zh) * 2020-09-28 2022-08-16 北京金山云网络技术有限公司 测试序列构建方法、装置、电子设备及存储介质
CN112188310A (zh) * 2020-09-28 2021-01-05 北京金山云网络技术有限公司 测试序列构建方法、装置、电子设备及存储介质
CN112565775A (zh) * 2020-11-26 2021-03-26 北京达佳互联信息技术有限公司 用于音视频转码的方法、装置及存储介质
CN112565775B (zh) * 2020-11-26 2023-09-05 北京达佳互联信息技术有限公司 用于音视频转码的方法、装置及存储介质
CN112653892B (zh) * 2020-12-18 2024-04-23 杭州当虹科技股份有限公司 一种利用视频特征实现转码测试评估的方法
CN112653892A (zh) * 2020-12-18 2021-04-13 杭州当虹科技股份有限公司 一种利用视频特征实现转码测试评估的方法
CN112672157A (zh) * 2020-12-22 2021-04-16 广州博冠信息科技有限公司 视频编码方法、装置、设备及存储介质
CN112672157B (zh) * 2020-12-22 2022-08-05 广州博冠信息科技有限公司 视频编码方法、装置、设备及存储介质
CN113014922A (zh) * 2021-02-23 2021-06-22 北京百度网讯科技有限公司 模型训练、视频编码方法，装置，设备以及存储介质
CN113014922B (zh) * 2021-02-23 2023-04-07 北京百度网讯科技有限公司 模型训练、视频编码方法，装置，设备以及存储介质
CN113329226B (zh) * 2021-05-28 2022-12-20 北京字节跳动网络技术有限公司 数据的生成方法、装置、电子设备及存储介质
CN113329226A (zh) * 2021-05-28 2021-08-31 北京字节跳动网络技术有限公司 数据的生成方法、装置、电子设备及存储介质
CN113382241A (zh) * 2021-06-08 2021-09-10 北京奇艺世纪科技有限公司 视频编码方法、装置、电子设备和存储介质
WO2023207205A1 (zh) * 2022-04-29 2023-11-02 上海哔哩哔哩科技有限公司 视频编码方法及装置
WO2024017106A1 (zh) * 2022-07-19 2024-01-25 广州市百果园信息技术有限公司 一种码表更新方法、装置、设备及存储介质
CN115842925A (zh) * 2022-11-22 2023-03-24 魏洪源 视频转码方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US10897620B2 (en) 2021-01-19
KR102235590B1 (ko) 2021-04-05
JP6928041B2 (ja) 2021-09-01
JP2020096342A (ja) 2020-06-18
CN109286825B (zh) 2021-04-30
US20200195934A1 (en) 2020-06-18
KR20200074845A (ko) 2020-06-25

Similar Documents

Publication Publication Date Title
CN109286825A (zh) 用于处理视频的方法和装置
CN108805091B (zh) 用于生成模型的方法和装置
CN109446990B (zh) 用于生成信息的方法和装置
CN108960316B (zh) 用于生成模型的方法和装置
CN106407425A (zh) 基于人工智能的推送信息的方法和装置
CN108509457A (zh) 一种视频数据的推荐方法和装置
CN108174290B (zh) 用于处理视频的方法和装置
CN110659657B (zh) 训练模型的方法和装置
CN108932220A (zh) 文章生成方法和装置
CN107944481A (zh) 用于生成信息的方法和装置
CN108388563B (zh) 信息输出方法和装置
CN108491267A (zh) 用于生成信息的方法和装置
CN106354856B (zh) 基于人工智能的深度神经网络强化搜索方法和装置
CN110084317A (zh) 用于识别图像的方法和装置
CN107977678A (zh) 用于输出信息的方法和装置
CN108491825A (zh) 信息生成方法和装置
CN108090885A (zh) 用于处理图像的方法和装置
CN109871791A (zh) 图像处理方法和装置
CN108595448A (zh) 信息推送方法和装置
CN110046571A (zh) 用于识别年龄的方法和装置
CN109543068A (zh) 用于生成视频的评论信息的方法和装置
CN110008926A (zh) 用于识别年龄的方法和装置
CN109241344A (zh) 用于处理信息的方法和装置
CN110335237A (zh) 用于生成模型的方法、装置和用于识别图像的方法、装置
CN107483595A (zh) 信息推送方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant