CN116506622B - 模型训练方法及视频编码参数优化方法和装置 - Google Patents

模型训练方法及视频编码参数优化方法和装置 Download PDF

Info

Publication number
CN116506622B
CN116506622B CN202310753374.XA CN202310753374A CN116506622B CN 116506622 B CN116506622 B CN 116506622B CN 202310753374 A CN202310753374 A CN 202310753374A CN 116506622 B CN116506622 B CN 116506622B
Authority
CN
China
Prior art keywords
video
coding parameter
coding
evaluation model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310753374.XA
Other languages
English (en)
Other versions
CN116506622A (zh
Inventor
舒晓
李想
殷婷
邵明凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanbo Semiconductor Shanghai Co ltd
Original Assignee
Hanbo Semiconductor Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanbo Semiconductor Shanghai Co ltd filed Critical Hanbo Semiconductor Shanghai Co ltd
Priority to CN202310753374.XA priority Critical patent/CN116506622B/zh
Publication of CN116506622A publication Critical patent/CN116506622A/zh
Application granted granted Critical
Publication of CN116506622B publication Critical patent/CN116506622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Pure & Applied Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了基于神经网络的模型训练方法及视频编码参数优化方法和装置。视频编码参数优化方法包括：将从源视频中提取的视频特征输入经训练的参数优化模型，获得在预设质量指标下的优化编码参数组合；利用优化编码参数组合对源视频进行编码，获得有损编码视频。根据本申请的视频编码参数优化方法和装置可以根据视频特征输出预设质量指标下的优化编码参数组合，用于对源视频进行编码，从而在确保编码视频满足预设质量指标的情况下提高编码效率。

Description

模型训练方法及视频编码参数优化方法和装置
技术领域
本申请涉及视频编码领域，具体涉及基于神经网络的模型训练方法及视频编码参数优化方法和装置。
背景技术
为了方便存储、减小传输成本，在绝大多数视频应用场合里，采集后的源视频都会经有损视频编码器转为特定格式，在需要回放时使用对应的解码器将其还原为可用于显示的视频信号。针对不同应用的特点，视频编解码算法工程师们通常需要调整视频编码器的参数和行为，在确保编码后的视频符合现有标准的前提下，满足应用对输出视频码率和响应速度等诸多指标的要求。调节编码参数时最重要的优化目标是视频质量。常用的视频质量评价模型有基于逐点差异的PSNR、基于局部方差的SSIM、基于机器学习的VMAF等。这些模型通过逐帧对比源视频，将有损编码所带来的视频质量下降量化为一个实数，方便比较不同参数对视频质量造成的影响。
传统视频质量评价体系中用一个实数来量化视觉质量的方法虽然方便、直观，但是对编码参数的适配和调整缺乏明确的指导意义。当一个质量评价指标因编码器的改动发生了变化时，这个变化对观测者的主观视觉造成了什么样以及多大程度的影响是无法通过一个单一评价指标来确定的。此问题存于在图像质量评价算法中，由此也引发了大量关于主观视觉质量衡量标准的研究。而与图像相比，视频引入了一个新的维度，也带来了更复杂的主观质量问题，如时间域不一致性、运动速度不一致性等在视频编码领域中的常见问题。这些质量问题也会因应用环境的不同，对观测者的主观感受造成不同的影响，这进一步削弱了传统质量量化指标在视频编码中应用的价值。
在目前现有技术缺乏合适的视频质量评价方法作为指引的情况下，调整编码器中众多自由度高且有紧密耦合的参数是一件需要大量经验和时间的工作。编码参数组合的任何改动都需要辅以大量的主观实验才可确定其正确性和有效性。任何新应用中遇到的主观视觉问题都需要测试大量的参数组合才能找到合适的解决方案。这些都直接导致了针对应用的编码器参数域优化的高昂成本。
因此，需要提供一种能够方便高效地对视频编码器的编码参数进行优化的方法。
发明内容
鉴于此，本申请提供了基于神经网络的模型训练方法及视频编码参数优化方法和装置，以用于解决现有技术中的上述技术问题。
根据本申请的一个方面，提供了一种基于神经网络的视频评价模型的训练方法，视频评价模型用于根据输入的源视频和有损编码视频输出对应于有损编码视频的质量标签，该方法包括：
生成视频评价模型训练数据，视频评价模型训练数据包括源视频、有损编码视频以及有损编码视频对应的质量标签，质量标签包括缺陷类型和缺陷程度；
利用视频评价模型训练数据对视频评价模型进行监督式训练。
根据本申请的一些实施例，缺陷类型包括以下组合中的至少一项：主体模糊、背景模糊、边缘有锯齿、有块效应、物体有闪烁；缺陷程度包括：轻度、中度、重度。
根据本申请的一些实施例，生成视频评价模型训练数据的步骤包括：
利用已知的会造成特定缺陷的编码参数对视频进行编码，获得具有特定缺陷的视频片段以及对应的特定缺陷的质量标签。
根据本申请的一些实施例，生成视频评价模型训练数据的步骤包括：
对具有缺陷的视频片段进行人工标注，获得对应于有缺陷的视频的质量标签。
根据本申请的一个方面，提供了一种基于神经网络的编码参数评价模型的训练方法，编码参数评价模型用于根据输入的视频特征和编码参数组合输出对应的质量标签和编码性能指标，该方法包括：
生成编码参数评价模型训练数据，编码参数评价模型训练数据包括视频特征、编码参数组合以及对应的质量标签和编码性能指标；
利用编码参数评价模型训练数据对编码参数评价模型进行监督式训练，
其中，生成编码参数评价模型训练数据的步骤包括：
从源视频中提取视频特征；
利用设定的编码参数组合对源视频进行有损编码，获得有损编码视频和编码性能指标；
将源视频和有损编码视频输入根据上述视频评价模型的训练方法训练得到的视频评价模型，获得有损编码视频对应的质量标签。
根据本申请的一些实施例，编码性能指标包括编码时间、内存开销、视频大小、和/或缓冲器长度。
根据本申请的一个方面，提供了一种基于神经网络的编码参数优化模型的训练方法，编码参数优化模型用于根据输入的视频特征输出在预设质量指标下的优化编码参数组合，该方法包括：
生成编码参数优化模型训练数据，编码参数优化模型训练数据包括视频特征；
以最小化综合质量指标为训练目标，利用编码参数优化模型训练数据对编码参数优化模型进行监督式训练，包括：
将视频特征输入编码参数优化模型，生成编码参数组合；
将视频特征和编码参数组合输入通过上述编码参数评价模型的训练方法训练得到的编码参数评价模型，获得对应的质量标签和编码性能指标；
对质量标签和编码性能指标进行加权量化，获得综合质量指标。
根据本申请的一个方面，提供了一种基于神经网络的视频编码参数优化方法，该方法包括：
将从源视频中提取的视频特征输入通过上述编码参数优化模型的训练方法训练得到的编码参数优化模型，获得在预设质量指标下的优化编码参数组合；
利用优化编码参数组合对源视频进行编码，获得有损编码视频。
根据本申请的一个方面，一种基于神经网络的视频评价模型的训练装置，视频评价模型用于根据输入的源视频和有损编码视频输出对应于有损编码视频的质量标签，该装置包括：
视频评价模型训练数据生成单元，用于生成视频评价模型训练数据，视频评价模型训练数据包括源视频、有损编码视频以及有损编码视频对应的质量标签，每个质量标签包括缺陷类型和缺陷程度；
第一训练单元，用于利用视频评价模型训练数据对视频评价模型进行监督式训练。
根据本申请的一个方面，提供了一种基于神经网络的编码参数评价模型的训练装置，编码参数评价模型用于根据输入的视频特征和编码参数组合输出对应的质量标签和编码性能指标，该方法包括：
编码参数评价模型训练数据生成单元，用于生成编码参数评价模型训练数据，编码参数评价模型训练数据包括视频特征、编码参数组合以及对应的质量标签和编码性能指标；
第二训练单元，用于利用编码参数评价模型训练数据对编码参数评价模型进行监督式训练，
其中，编码参数评价模型训练数据生成单元包括：
视频特征提取单元，用于从源视频中提取视频特征；
编码单元，用于利用设定的编码参数组合对源视频进行有损编码，获得有损编码视频和编码性能指标；
质量标签生成单元，用于将源视频和有损编码视频输入通过上述视频评价模型的训练装置训练得到的视频评价模型，获得有损编码视频对应的质量标签。
根据本申请的一个方面，提供了一种基于神经网络的编码参数优化模型的训练装置，编码参数优化模型用于根据输入的视频特征输出在预设质量指标下的优化编码参数组合，该装置包括：
编码参数优化模型训练数据生成单元，用于生成编码参数优化模型训练数据，编码参数优化模型训练数据包括视频特征；
第三训练单元，用于以最小化综合质量指标为训练目标，利用编码参数优化模型训练数据对编码参数优化模型进行监督式训练，第三训练单元包括：
编码参数组合生成单元，用于将视频特征输入编码参数优化模型，获得编码参数组合；
编码参数评价单元，用于将视频特征和编码参数组合输入通过上述编码参数评价模型的训练装置训练得到的编码参数评价模型，获得对应的质量标签和编码性能指标；
综合质量指标生成单元，用于对质量标签和编码性能指标进行加权量化，获得综合质量指标。
根据本申请的一个方面，提供了一种基于神经网络的视频编码参数优化装置，该装置包括：
优化编码参数组合生成单元，用于将从源视频中提取的视频特征输入通过上述编码参数优化模型的训练装置训练得到的编码参数优化模型，获得在预设质量指标下的优化编码参数组合；
编码单元，用于利用优化编码参数组合对源视频进行编码，获得有损编码视频。
根据本申请的又一个方面，提供了一种电子设备，包括：一个或多个处理器以及存储器，其中，存储器用于存储可执行指令；一个或多个处理器被配置为经由可执行指令来实现上述的方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使处理器执行上述的方法。
从以上技术方案可以看出，本申请所提供的技术方案至少存在以下优点：
根据本申请实施例的训练方法训练的视频评价模型可以快速估计有损编码的视频具有的缺陷类型和缺陷程度，方便视频编码工程师了解视频质量。
根据本申请实施例的训练方法训练的编码参数评价模型可以在不对源视频进行编码的情况下快速估计编码参数在给定视频上可能导致的质量问题，方便视频编码工程师确定这组编码参数是否符合应用场景的需求。
根据本申请实施例的训练方法训练的编码参数优化模型可以根据视频特征输出预设质量指标下的优化编码参数组合，用于对源视频进行编码，从而在确保编码视频满足预设质量指标的情况下提高编码效率。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
图1示出了本申请示例性实施例所提供的视频评价模型的训练方法的流程图；
图2示出了本申请示例性实施例所提供的视频评价模型的训练和使用的示意图；
图3示出了本申请示例性实施例所提供的编码参数评价模型的训练方法的流程图；
图4示出了本申请示例性实施例所提供的编码参数评价模型的训练和使用的示意图；
图5示出了本申请示例性实施例所提供的编码参数优化模型的训练方法的流程图；
图6示出了本申请示例性实施例所提供的编码参数优化模型的训练和使用的示意图；
图7示出了本申请示例性实施例所提供的视频编码参数优化方法的流程图；
图8示出了本申请示例性实施例所提供的视频评价模型的训练装置的结构框图；
图9示出了本申请示例性实施例所提供的编码参数评价模型的训练装置的结构框图；
图10示出了本申请示例性实施例所提供的编码参数优化模型的训练装置的结构框图；
图11示出了本申请示例性实施例所提供的视频编码参数优化装置的结构框图；
图12示出了本申请示例性实施例所提供的的电子设备的结构框图。
具体实施方式
下面将参照附图来详细描述本申请的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，并不作为对本申请及其应用或使用的任何限制。本申请可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本申请透彻且完整，并且向本领域技术人员充分表达本申请的范围。
除非上下文另外明确地表明，如果未特意限定要素的数量，则该要素可以是一个也可以是多个。如本说明书使用的，术语“多个/若干/这些”意指两个或更多，并且术语“基于/根据”应解释为“至少部分地基于/根据”。此外，术语“和/或”以及“…中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
参考图1，其示出了本申请示例性实施例所提供的视频评价模型的训练方法的流程图。视频评价模型用于根据输入的源视频和有损编码视频输出对应于有损编码视频的质量标签。如图1所示，本申请示例性实施例所提供的基于神经网络的视频评价模型的训练方法包括：
S11：生成视频评价模型训练数据，视频评价模型训练数据包括源视频、有损编码视频以及有损编码视频对应的质量标签，质量标签包括缺陷类型和缺陷程度；
S12：利用视频评价模型训练数据对视频评价模型进行监督式训练。
在步骤S11中，使用一组视频质量标签来概括有损编码所带来的缺陷。质量标签包括缺陷类型和缺陷程度。缺陷类型包括主体模糊、背景模糊、边缘有锯齿、有块效应、物体有闪烁等有具体意义的描述。缺陷程度包括轻度、中度、重度。这些标签并不将编码缺陷量化为一个数字。
用于训练的数据最主要来源是数据合成。通过枚举一些已知的会造成特定缺陷的编码参数和容易产生此缺陷的视频，可以合成大量具有缺陷的视频片段，并给它们加上对应的缺陷标签，成为监督数据集。训练数据同样也可以来自于人工标注。可以将编码后的视频与源视频并排在屏幕上播放，让经过训练的测试者标记出编码后视频与源视频对比所存在的问题，从而获得视频质量标签。
在步骤S12中，利用视频评价模型训练数据对视频评价模型进行监督式训练。在本实施例中，视频质量评价模型可以通过有监督的机器学习训练一个基于神经网络的人工智能分类器来实现。配合使用大量的合成数据和少量的人工标注数据，即可训练出的基于标签的质量评价模型。
根据本申请实施例的训练方法训练的视频评价模型可以快速估计有损编码的视频具有的缺陷类型和缺陷程度，方便视频编码工程师了解视频质量。
参考图2，其示出了本申请示例性实施例所提供的视频评价模型的训练和使用的示意图。图2上半部分和下半部分别示出了视频评价模型的使用过程和训练数据合成过程。在训练数据合成过程中，基于源视频和经视频编码器编码后的具有缺陷的视频，人工标记视频质量标签，进而生成合成的训练数据，用于对视频评价模型进行训练。在视频评价模型的使用过程中，分别将源视频和经视频编码器编码后的视频输入视频评价模型，视频评价模型能够输出经视频编码器编码后的视频的质量标签。
参考图3，其示出了本申请示例性实施例所提供的编码参数评价模型的训练方法的流程图。编码参数评价模型用于根据输入的视频特征和编码参数组合输出对应的质量标签和编码性能指标。如图3所示，本申请示例性实施例所提供的基于神经网络的编码参数评价模型的训练方法包括：
S21：生成编码参数评价模型训练数据，编码参数评价模型训练数据包括视频特征、编码参数组合以及对应的质量标签和编码性能指标；
S22：利用编码参数评价模型训练数据对编码参数评价模型进行监督式训练。
生成编码参数评价模型训练数据的步骤S21具体包括：
从源视频中提取视频特征；
利用设定的编码参数组合对源视频进行有损编码，获得有损编码视频和编码性能指标；
将源视频和有损编码视频输入通过本申请实施例的视频评价模型的训练方法训练得到的视频评价模型，获得有损编码视频对应的质量标签。
根据本实施例的方法训练得到的参数评价模型可以用于评估一个编码参数组合对于特定类型视频的有损编码后的影响。这个参数评价模型包括两个输入：视频特征和编码参数组合。视频特征可以是视频的某种统计特征（例如直方图、方差、帧间差别等），也可以是视频本身。参数评价模型的输出包含两部分：视频质量评价标签分布和编码器性能指标分布。编码性能指标可以包括码率波动幅度、响应延迟、运算复杂度、编码时间、内存开销、视频大小、和/或缓冲器长度等。
参考图4，其示出了本申请示例性实施例所提供的编码参数评价模型的训练和使用的示意图。图4上半部分和下半部分别示出了编码参数评价模型的使用过程和训练数据合成过程。在训练数据合成过程中，视频编码器根据编码参数组合对源视频进行编码，获得编码视频以及编码性能指标。然后将源视频和编码视频输入训练得到的视频评价模型，从而获得视频质量标签。通过合成源视频、编码参数组合、编码性能指标以及视频质量标签，获得合成的训练数据，用于对参数评价模型进行训练。在参数评价模型的使用过程中，分别视频特征和编码参数组合输入参数评价模型，参数评价模型能够输出视频质量标签和编码性能指标。
根据本申请实施例的训练方法训练的参数评价模型可以在不对源视频进行编码的情况下快速估计一组编码参数在给定视频上可能导致的质量问题，方便视频编码工程师确定这组编码参数是否符合应用场景的需求。
参考图5，其示出了本申请示例性实施例所提供的编码参数优化模型的训练方法的流程图。编码参数优化模型用于根据输入的视频特征输出在预设质量指标下的优化编码参数组合。如图5所示，本申请示例性实施例所提供的基于神经网络的编码参数优化模型的训练方法包括：
S31：生成编码参数优化模型训练数据，编码参数优化模型训练数据包括视频特征；
S32：以最小化综合质量指标为训练目标，利用编码参数优化模型训练数据对编码参数优化模型进行监督式训练。
对编码参数优化模型进行监督式训练的步骤32具体包括：
将视频特征输入编码参数优化模型，生成编码参数组合；
将视频特征和编码参数组合输入根据本申请实施例的训练方法训练得到的编码参数评价模型，获得对应的质量标签和编码性能指标；
对质量标签和编码性能指标进行加权量化，获得综合质量指标。
编码参数优化模型的输入为视频特征，输出在某个质量指标意义下最优的参数组合。编码参数优化模型输出的参数组合在经过参数评价模型之后会得到质量评价标签和编码性能指标。根据应用的要求对视频质量标签以及编码性能指标进行加权量化，从而得到综合质量指标。这样原参数优化问题就变成了最小化量化指标的问题，可用机器学习的方法训练参数评价模型来解决。
参考图6，其示出了本申请示例性实施例所提供的编码参数优化模型的训练和使用的示意图。图6上半部分和下半部分别示出了编码参数评价模型的使用过程和训练过程。在训练过程中，将视频特征以及参数优化模型输出的编码参数组合输入根据本申请实施例的训练方法训练的参数评价模型，获得视频质量标签和编码性能指标。根据应用的要求对视频质量标签以及编码性能指标进行加权量化，从而得到综合质量指标。训练过程中使用的训练数据是从源视频提供的视频特征。以最小化综合质量指标为训练目标，通过向编码参数优化模型输入训练数据进行训练，从而得到经训练的编码参数优化模型。在使用过程中，只需向参数优化模型输入视频特征，就可以获得满足应用要求的优化参数组合。
根据本申请实施例的训练方法训练的参数优化模型可以快速获得满足预设质量指标的优化的编码参数组合，从而极大简化了编码器参数的优化过程，提高了编码效率。
参考图7，其示出了本申请示例性实施例所提供的编码参数优化方法的流程图。如图7所示，本申请示例性实施例所提供的基于神经网络的视频编码参数优化方法包括：
S41：将从源视频中提取的视频特征输入通过根据本申请实施例的训练方法训练得到的参数优化模型，获得在预设质量指标下的优化编码参数组合；
S42：利用优化编码参数组合对源视频进行编码，获得编码视频。
利用在预设质量指标下的优化编码参数组合对源视频进行编码，可以确保获得的有损编码视频满足预设质量指标，提高了编码效率。
根据本申请的实施例还提供了执行上述训练方法的训练装置。
参见图8，其示出了本申请示例性实施例所提供的视频评价模型的训练装置的结构框图。视频评价模型用于根据输入的源视频和有损编码视频输出对应于有损编码视频的质量标签。根据本实施例的基于神经网络的视频评价模型的训练装置100包括：
视频评价模型训练数据生成单元101，用于生成视频评价模型训练数据，视频评价模型训练数据包括源视频、有损编码视频以及有损编码视频对应的质量标签，每个质量标签包括缺陷类型和缺陷程度；
第一训练单元102，用于利用所述视频评价模型训练数据对视频评价模型进行监督式训练。
参见图9，其示出了本申请示例性实施例所提供的编码参数评价模型的训练装置的结构框图。编码参数评价模型用于根据输入的视频特征和编码参数组合输出对应的质量标签和编码性能指标。根据本实施例的基于神经网络的编码参数评价模型的训练装置200包括：
编码参数评价模型训练数据生成单元201，用于生成编码参数评价模型训练数据，编码参数评价模型训练数据包括视频特征、编码参数组合以及对应的质量标签和编码性能指标；
第二训练单元202，用于利用编码参数评价模型训练数据对编码参数评价模型进行监督式训练，
其中，编码参数评价模型训练数据生成单元包括：
视频特征提取单元，用于从源视频中提取视频特征；
编码单元，用于利用设定的编码参数组合对源视频进行有损编码，获得有损编码视频和编码性能指标；
质量标签生成单元，用于将源视频和有损编码视频输入根据本申请实施例的视频评价模型的训练装置100训练得到的视频评价模型，获得有损编码视频对应的质量标签。
参见图10，其示出了本申请示例性实施例所提供的编码参数优化模型的训练装置的结构框图。编码参数优化模型用于根据输入的视频特征输出在预设质量指标下的优化编码参数组合。根据本实施例的编码参数优化模型的训练装置300包括：
编码参数优化模型训练数据生成单元301，用于生成编码参数优化模型训练数据，编码参数优化模型训练数据包括视频特征；
第三训练单元302，用于以最小化综合质量指标为训练目标，利用编码参数优化模型训练数据对编码参数优化模型进行监督式训练。
根据本实施例，第三训练单元包括：
编码参数组合生成单元，用于将视频特征输入编码参数优化模型，获得编码参数组合；
编码参数评价单元，用于将视频特征和编码参数组合输入通过根据本申请实施例的编码参数评价模型的训练装置200训练得到的编码参数评价模型，获得对应的质量标签和编码性能指标；
综合质量指标生成单元，用于对质量标签和编码性能指标进行加权量化，获得综合质量指标。
参见图11，其示出了本申请示例性实施例所提供的视频编码参数优化装置400的结构框图。根据本实施例，视频编码参数优化装置400包括：
优化编码参数组合生成单元401，用于将从源视频中提取的视频特征输入通过根据本申请实施例的编码参数优化模型的训练装置300训练得到的参数优化模型，获得在预设质量指标下的优化编码参数组合；
编码单元402，用于利用优化编码参数组合对源视频进行编码，获得有损编码视频。
应当理解，图8至图11中所示的装置可以与本说明书前文描述的方法相对应。由此，上面针对训练方法描述的操作、特征和优点同样适用于装置及其包括的单元模块；上面针对装置及其包括的单元模块描述的操作、特征和优点同样适用于方法。为了简洁起见，实质相同/相似的操作、特征和优点在此不再赘述。
虽然上面参考特定模块讨论了特定功能，但是应当注意，本申请技术方案中各个单元模块的功能也可以分为多个单元模块进行实现，和/或多个单元模块的至少一些功能可以组合成单个单元模块进行实现。本申请技术方案中特定单元模块执行动作的方式包括，该特定单元模块本身执行动作，或者由该特定单元模块调用或以其他方式访问执行动作（或结合该特定单元模块一起执行动作）。因此，执行动作的特定单元模块可以包括执行动作的该特定单元模块本身和/或该特定单元模块调用或以其他方式访问的、执行动作的另一单元模块。
除上述技术方案外，本申请还提供了一种电子设备，该电子设备包括一个或多个处理器以及用于存储可执行指令存储器。其中，该一个或多个处理器被配置为经由可执行指令来实现上述方法。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使得处理器执行上述方法。
在本说明书的以下部分，将结合图12来描述前述电子设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。
图12示出了本申请示例性实施例所提供的的电子设备的结构框图。本申请技术方案所提供的系统也可以全部或至少部分地由电子设备900或类似设备或系统实现。
电子设备900可以是各种不同类型的设备。电子设备900的示例包括但不限于：台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备、可穿戴设备、娱乐设备、电视或其他显示设备、汽车计算机等。
电子设备900可以包括能够诸如通过系统总线911或其他适当的连接彼此通信的至少一个处理器902、存储器904、（多个）通信接口909、显示设备901、其他输入/输出（I/O）设备910以及一个或更多大容量存储设备903。
处理器902可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器902可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器902可以被配置成获取并且执行存储在存储器904、大容量存储设备903或者其他计算机可读介质中的计算机可读指令，诸如操作系统905的程序代码、应用程序906的程序代码、其他程序907的程序代码等。
存储器904和大容量存储设备903是用于存储指令的计算机可读存储介质的示例，指令由处理器902执行来实施前面所描述的各种功能。举例来说，存储器904一般可以包括易失性存储器和非易失性存储器。此外，大容量存储设备903一般可以包括硬盘驱动器、固态驱动器、可移除介质等。存储器904和大容量存储设备903在本申请中都可以被统称为存储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，计算机程序代码可以由处理器902作为被配置成实施在本申请的示例中所描述的操作和功能的特定机器来执行。
多个程序可以存储在大容量存储设备903上。这些程序包括操作系统905、一个或多个应用程序906、其他程序907和程序数据908，并且它们可以被加载至存储器904以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑（例如，计算机程序代码或指令）：本申请所提供的方法（包括该方法的任何合适的步骤）和/或本申请描述的另外的实施例。
虽然在图12中被图示成存储在电子设备900的存储器904中，但是操作系统905、一个或多个应用程序906、其他程序907和程序数据908或者其部分可以使用可由电子设备900访问的任何形式的计算机可读介质来实施。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质，以及能传播能量波的无线介质。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质中的已调制数据信号。调制可以是模拟的、数字的或混合调制技术。
作为示例性说明，计算机可读存储介质可包括以用于存储例如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括但不限于，易失性存储器，例如随机存储器；以及非易失性存储器，例如闪存、各种只读存储器、磁性和铁磁/铁电存储器；以及磁性和光学存储设备；或其它已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
一个或更多通信接口909用于诸如通过网络、直接连接等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口、有线或无线接口、Wi-MAX接口、以太网接口、通用串行总线接口、蜂窝网络接口、Bluetooth接口、NFC接口等。通信接口909可以促进在多种网络和协议类型内的通信，其中包括有线网络和无线网络、因特网等。通信接口909还可以提供与诸如存储阵列、网络附属存储、存储区域网等中的外部存储设备（图中未示出）的通信。
在一些示例中，可以包括诸如监视器之类的显示设备901，以用于向用户显示信息和图像。其他I/O设备910可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等。本申请描述的技术方案可以由电子设备900的这些各种配置来支持，并且不限于本申请所描述的技术方案的具体示例。
虽然在附图和前面的描述中已经详细地说明和描述了本申请，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。
因此，本申请所要求保护的范围由权利要求而非上述说明限定，落在权利要求的等同要件的含义和范围内的所有变化均涵盖在本申请的保护范围内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。

Claims (10)

1.一种基于神经网络的编码参数优化模型的训练方法，所述编码参数优化模型用于根据输入的视频特征输出在预设质量指标下的优化编码参数组合，其特征在于，所述方法包括：
生成编码参数优化模型训练数据，编码参数优化模型训练数据包括视频特征；
以最小化综合质量指标为训练目标，利用所述编码参数优化模型训练数据对编码参数优化模型进行监督式训练，包括：
将视频特征输入编码参数优化模型，生成编码参数组合；
将视频特征和编码参数组合输入编码参数评价模型，获得对应的质量标签和编码性能指标；
对质量标签和编码性能指标进行加权量化，获得综合质量指标,
其中，所述编码参数评价模型是通过以下步骤训练得到的：
生成编码参数评价模型训练数据，编码参数评价模型训练数据包括视频特征、编码参数组合以及对应的质量标签和编码性能指标；
利用所述编码参数评价模型训练数据对编码参数评价模型进行监督式训练，
其中，生成编码参数评价模型训练数据的步骤包括：
从源视频中提取视频特征；
利用设定的编码参数组合对源视频进行有损编码，获得有损编码视频和编码性能指标；
将源视频和有损编码视频输入视频评价模型，获得有损编码视频对应的质量标签，
其中，所述视频评价模型是通过以下步骤训练得到的：
生成视频评价模型训练数据，视频评价模型训练数据包括源视频、有损编码视频以及有损编码视频对应的质量标签，质量标签包括缺陷类型和缺陷程度；
利用所述视频评价模型训练数据对视频评价模型进行监督式训练。
2.根据权利要求1所述的方法，其特征在于，缺陷类型包括以下组合中的至少一项：主体模糊、背景模糊、边缘有锯齿、有块效应、物体有闪烁；缺陷程度包括：轻度、中度、重度。
3.根据权利要求1所述的方法，其特征在于，生成视频评价模型训练数据的步骤包括：
利用已知的会造成特定缺陷的编码参数对视频进行编码，获得具有特定缺陷的视频片段以及对应的特定缺陷的质量标签。
4.根据权利要求1所述的方法，其特征在于，生成视频评价模型训练数据的步骤包括：
对具有缺陷的视频片段进行人工标注，获得对应于有缺陷的视频的质量标签。
5.根据权利要求1所述的方法，其特征在于，编码性能指标包括编码时间、内存开销、视频大小、和/或缓冲器长度。
6.一种基于神经网络的视频编码参数优化方法，其特征在于，所述方法包括：
将从源视频中提取的视频特征输入通过权利要求1所述的方法训练得到的编码参数优化模型，获得在预设质量指标下的优化编码参数组合；
利用优化编码参数组合对源视频进行编码，获得有损编码视频。
7.一种基于神经网络的编码参数优化模型的训练装置，所述编码参数优化模型用于根据输入的视频特征输出在预设质量指标下的优化编码参数组合，其特征在于，所述装置包括：
编码参数优化模型训练数据生成单元，用于生成编码参数优化模型训练数据，编码参数优化模型训练数据包括视频特征；
第三训练单元，用于以最小化综合质量指标为训练目标，利用所述编码参数优化模型训练数据对编码参数优化模型进行监督式训练，第三训练单元包括：
编码参数组合生成单元，用于将视频特征输入编码参数优化模型，获得编码参数组合；
编码参数评价单元，用于将视频特征和编码参数组合输入编码参数评价模型，获得对应的质量标签和编码性能指标；
综合质量指标生成单元，用于对质量标签和编码性能指标进行加权量化，获得综合质量指标，
其中，所述编码参数评价模型是通过编码参数评价模型训练装置训练得到的，所述编码参数评价模型训练装置包括：
编码参数评价模型训练数据生成单元，用于生成编码参数评价模型训练数据，编码参数评价模型训练数据包括视频特征、编码参数组合以及对应的质量标签和编码性能指标；
第二训练单元，用于利用所述编码参数评价模型训练数据对编码参数评价模型进行监督式训练，
其中，编码参数评价模型训练数据生成单元包括：
视频特征提取单元，用于从源视频中提取视频特征；
编码单元，用于利用设定的编码参数组合对源视频进行有损编码，获得有损编码视频和编码性能指标；
质量标签生成单元，用于将源视频和有损编码视频输入视频评价模型，获得有损编码视频对应的质量标签，
其中，所述视频评价模型是通过视频评价模型训练装置训练得到的，所述视频评价模型训练装置包括：
视频评价模型训练数据生成单元，用于生成视频评价模型训练数据，视频评价模型训练数据包括源视频、有损编码视频以及有损编码视频对应的质量标签，每个质量标签包括缺陷类型和缺陷程度；
第一训练单元，用于利用所述视频评价模型训练数据对视频评价模型进行监督式训练。
8.一种基于神经网络的视频编码参数优化装置，其特征在于，所述视频编码参数优化装置包括：
优化编码参数组合生成单元，用于将从源视频中提取的视频特征输入通过权利要求7所述的编码参数优化模型的训练装置训练得到的编码参数优化模型，获得在预设质量指标下的优化编码参数组合；
编码单元，用于利用优化编码参数组合对源视频进行编码，获得有损编码视频。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，其用于存储可执行指令；
所述一个或多个处理器被配置为经由所述可执行指令来实现权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行权利要求1至6中任一项所述的方法。
CN202310753374.XA 2023-06-26 2023-06-26 模型训练方法及视频编码参数优化方法和装置 Active CN116506622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310753374.XA CN116506622B (zh) 2023-06-26 2023-06-26 模型训练方法及视频编码参数优化方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310753374.XA CN116506622B (zh) 2023-06-26 2023-06-26 模型训练方法及视频编码参数优化方法和装置

Publications (2)

Publication Number Publication Date
CN116506622A CN116506622A (zh) 2023-07-28
CN116506622B true CN116506622B (zh) 2023-09-08

Family

ID=87323429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310753374.XA Active CN116506622B (zh) 2023-06-26 2023-06-26 模型训练方法及视频编码参数优化方法和装置

Country Status (1)

Country Link
CN (1) CN116506622B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760988B (zh) * 2023-08-18 2023-11-10 瀚博半导体(上海)有限公司 基于人类视觉系统的视频编码方法和装置
CN116996680B (zh) * 2023-09-26 2023-12-12 上海视龙软件有限公司 一种用于视频数据分类模型训练的方法及装置

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715146A (zh) * 2008-10-08 2010-05-26 中国移动通信集团公司 压缩视频质量评价方法及评价系统
CN107959848A (zh) * 2017-12-08 2018-04-24 天津大学 基于三维卷积神经网络的通用型无参考视频质量评价算法
CN110351561A (zh) * 2018-04-03 2019-10-18 朱政 一种用于视频编码优化的高效强化学习训练方法
CN110870310A (zh) * 2018-09-04 2020-03-06 深圳市大疆创新科技有限公司 图像编码方法和装置
CN111163338A (zh) * 2019-12-27 2020-05-15 广州市百果园网络科技有限公司 视频清晰度评估模型训练方法、视频推荐方法及相关装置
CN111182292A (zh) * 2020-01-05 2020-05-19 西安电子科技大学 无参考视频质量评估方法、系统、视频接收器、智能终端
CN111246209A (zh) * 2020-01-20 2020-06-05 北京字节跳动网络技术有限公司 自适应编码方法、装置、电子设备及计算机存储介质
CN111630570A (zh) * 2019-05-31 2020-09-04 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN112104863A (zh) * 2020-09-18 2020-12-18 北京金山云网络技术有限公司 视频质量评测模型训练、视频质量评测的方法和相关装置
CN112381216A (zh) * 2021-01-14 2021-02-19 蚂蚁智信(杭州)信息技术有限公司 混合图神经网络模型的训练、预测方法和装置
CN112969065A (zh) * 2021-05-18 2021-06-15 浙江华创视讯科技有限公司 一种评估视频会议质量的方法、装置及计算机可读介质
CN113196761A (zh) * 2018-10-19 2021-07-30 三星电子株式会社 用于评估视频的主观质量的方法及装置
CN113938685A (zh) * 2021-09-26 2022-01-14 中国科学院计算技术研究所 面向大规模图像存储的认知型软件可调整图像编码装置
WO2022018427A2 (en) * 2020-07-20 2022-01-27 Deep Render Ltd Image compression and decoding, video compression and decoding: training methods and training systems
CN114125495A (zh) * 2020-08-11 2022-03-01 中国电信股份有限公司 视频质量评估模型训练方法、视频质量评价方法和装置
CN114299361A (zh) * 2021-12-27 2022-04-08 北京达佳互联信息技术有限公司 视频质量确定模型的训练方法、视频推荐方法及装置
US11330263B1 (en) * 2020-12-03 2022-05-10 Synamedia Limited Machine learning based coded size estimation in rate control of video encoding
KR20220068880A (ko) * 2020-11-19 2022-05-26 네이버 주식회사 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램
CN114785978A (zh) * 2022-02-10 2022-07-22 东莞市毅豪电子科技有限公司 一种面向视频会议的视频图像质量确定方法
CN114979625A (zh) * 2022-05-20 2022-08-30 腾讯科技（深圳）有限公司 视频质量评价方法、装置、设备、存储介质及程序产品
CN115037926A (zh) * 2022-06-28 2022-09-09 广州欢聚时代信息科技有限公司 视频质量评估方法及其装置、设备、介质
US11445252B1 (en) * 2021-07-08 2022-09-13 Meta Platforms, Inc. Prioritizing encoding of video data received by an online system to maximize visual quality while accounting for fixed computing capacity
CN115131603A (zh) * 2022-05-27 2022-09-30 支付宝(杭州)信息技术有限公司 一种模型处理方法、装置、存储介质及电子设备
CN115205188A (zh) * 2021-04-13 2022-10-18 腾讯科技（深圳）有限公司 基于逼近值评估图像视频质量的方法和相关装置
CN115496734A (zh) * 2022-09-28 2022-12-20 百度在线网络技术（北京）有限公司 视频内容的质量评价方法、网络训练方法和装置
CN115689996A (zh) * 2022-09-28 2023-02-03 宁波大学 一种基于深度学习的全景拼接图像质量评价方法
WO2023071464A1 (zh) * 2021-10-29 2023-05-04 华为技术有限公司 图像处理方法、装置及存储介质
CN116320429A (zh) * 2023-04-12 2023-06-23 瀚博半导体(上海)有限公司 视频编码方法、装置、计算机设备及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8804815B2 (en) * 2011-07-29 2014-08-12 Dialogic (Us) Inc. Support vector regression based video quality prediction
WO2014094313A1 (en) * 2012-12-21 2014-06-26 Thomson Licensing Video quality model, method for training a video quality model, and method for determining video quality using a video quality model
US10674158B2 (en) * 2017-06-15 2020-06-02 Beamr Imaging Ltd Method and system of video coding optimization
US20200021815A1 (en) * 2018-07-10 2020-01-16 Fastvdo Llc Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (vqa)
US11836597B2 (en) * 2018-08-09 2023-12-05 Nvidia Corporation Detecting visual artifacts in image sequences using a neural network model
US20230117603A1 (en) * 2021-10-15 2023-04-20 Microsoft Technology Licensing, Llc Quality estimation models for various signal characteristics

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715146A (zh) * 2008-10-08 2010-05-26 中国移动通信集团公司 压缩视频质量评价方法及评价系统
CN107959848A (zh) * 2017-12-08 2018-04-24 天津大学 基于三维卷积神经网络的通用型无参考视频质量评价算法
CN110351561A (zh) * 2018-04-03 2019-10-18 朱政 一种用于视频编码优化的高效强化学习训练方法
CN110870310A (zh) * 2018-09-04 2020-03-06 深圳市大疆创新科技有限公司 图像编码方法和装置
WO2020047756A1 (zh) * 2018-09-04 2020-03-12 深圳市大疆创新科技有限公司 图像编码方法和装置
CN113196761A (zh) * 2018-10-19 2021-07-30 三星电子株式会社 用于评估视频的主观质量的方法及装置
CN111630570A (zh) * 2019-05-31 2020-09-04 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN111163338A (zh) * 2019-12-27 2020-05-15 广州市百果园网络科技有限公司 视频清晰度评估模型训练方法、视频推荐方法及相关装置
CN111182292A (zh) * 2020-01-05 2020-05-19 西安电子科技大学 无参考视频质量评估方法、系统、视频接收器、智能终端
CN111246209A (zh) * 2020-01-20 2020-06-05 北京字节跳动网络技术有限公司 自适应编码方法、装置、电子设备及计算机存储介质
WO2022018427A2 (en) * 2020-07-20 2022-01-27 Deep Render Ltd Image compression and decoding, video compression and decoding: training methods and training systems
CN114125495A (zh) * 2020-08-11 2022-03-01 中国电信股份有限公司 视频质量评估模型训练方法、视频质量评价方法和装置
CN112104863A (zh) * 2020-09-18 2020-12-18 北京金山云网络技术有限公司 视频质量评测模型训练、视频质量评测的方法和相关装置
KR20220068880A (ko) * 2020-11-19 2022-05-26 네이버 주식회사 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램
US11330263B1 (en) * 2020-12-03 2022-05-10 Synamedia Limited Machine learning based coded size estimation in rate control of video encoding
CN112381216A (zh) * 2021-01-14 2021-02-19 蚂蚁智信(杭州)信息技术有限公司 混合图神经网络模型的训练、预测方法和装置
CN115205188A (zh) * 2021-04-13 2022-10-18 腾讯科技（深圳）有限公司 基于逼近值评估图像视频质量的方法和相关装置
CN112969065A (zh) * 2021-05-18 2021-06-15 浙江华创视讯科技有限公司 一种评估视频会议质量的方法、装置及计算机可读介质
US11445252B1 (en) * 2021-07-08 2022-09-13 Meta Platforms, Inc. Prioritizing encoding of video data received by an online system to maximize visual quality while accounting for fixed computing capacity
CN113938685A (zh) * 2021-09-26 2022-01-14 中国科学院计算技术研究所 面向大规模图像存储的认知型软件可调整图像编码装置
WO2023071464A1 (zh) * 2021-10-29 2023-05-04 华为技术有限公司 图像处理方法、装置及存储介质
CN114299361A (zh) * 2021-12-27 2022-04-08 北京达佳互联信息技术有限公司 视频质量确定模型的训练方法、视频推荐方法及装置
CN114785978A (zh) * 2022-02-10 2022-07-22 东莞市毅豪电子科技有限公司 一种面向视频会议的视频图像质量确定方法
CN114979625A (zh) * 2022-05-20 2022-08-30 腾讯科技（深圳）有限公司 视频质量评价方法、装置、设备、存储介质及程序产品
CN115131603A (zh) * 2022-05-27 2022-09-30 支付宝(杭州)信息技术有限公司 一种模型处理方法、装置、存储介质及电子设备
CN115037926A (zh) * 2022-06-28 2022-09-09 广州欢聚时代信息科技有限公司 视频质量评估方法及其装置、设备、介质
CN115496734A (zh) * 2022-09-28 2022-12-20 百度在线网络技术（北京）有限公司 视频内容的质量评价方法、网络训练方法和装置
CN115689996A (zh) * 2022-09-28 2023-02-03 宁波大学 一种基于深度学习的全景拼接图像质量评价方法
CN116320429A (zh) * 2023-04-12 2023-06-23 瀚博半导体(上海)有限公司 视频编码方法、装置、计算机设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CNN-based parameter selection for fast VVC intra-picture encoding;Gerhard Tech等;《2021 IEEE International Conference on Image Processing (ICIP)》;第2109-2113页 *

Also Published As

Publication number Publication date
CN116506622A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN116506622B (zh) 模型训练方法及视频编码参数优化方法和装置
KR102235590B1 (ko) 비디오를 처리하기 위한 방법 및 장치
Perarnau et al. Invertible conditional gans for image editing
US10602163B2 (en) Encoder pre-analyser
US8804815B2 (en) Support vector regression based video quality prediction
CN114549935B (zh) 信息生成方法和装置
CN111182303A (zh) 共享屏幕的编码方法、装置、计算机可读介质及电子设备
CN114245209B (zh) 视频分辨率确定、模型训练、视频编码方法及装置
US8582876B2 (en) Hybrid codec for compound image compression
JP7451591B2 (ja) 機械学習モデルベースのビデオ圧縮
CN113724136A (zh) 一种视频修复方法、设备及介质
CN111327946A (zh) 视频质量评价和特征字典的训练方法、装置和介质
CN114071190A (zh) 云应用视频流处理方法、相关装置及计算机程序产品
CN112399177B (zh) 一种视频编码方法、装置、计算机设备及存储介质
CN113450276B (zh) 视频图像增强方法及其模型训练方法、相关设备
CN110891195A (zh) 花屏图像的生成方法、装置、设备和存储介质
US20230186608A1 (en) Method, device, and computer program product for video processing
CN112866715B (zh) 一种支持人机混合智能的通用视频压缩编码系统
CN111104053A (zh) 存储数据的方法、装置和计算机程序产品
WO2022178975A1 (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
CN112995673B (zh) 一种样本图像处理方法、装置、电子设备以及介质
CN113378921A (zh) 数据筛选方法、装置及电子设备
CN102948147A (zh) 基于变换系数直方图的视频速率控制
CN113628121A (zh) 数据处理、训练多媒体数据的方法和装置
CN114222124B (zh) 一种编解码方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant