CN117391961A - 画质增强模型训练方法、装置、计算机设备和存储介质 - Google Patents

画质增强模型训练方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117391961A
CN117391961A CN202210742259.8A CN202210742259A CN117391961A CN 117391961 A CN117391961 A CN 117391961A CN 202210742259 A CN202210742259 A CN 202210742259A CN 117391961 A CN117391961 A CN 117391961A
Authority
CN
China
Prior art keywords
image
quality enhancement
application
image quality
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210742259.8A
Other languages
English (en)
Inventor
李志成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210742259.8A priority Critical patent/CN117391961A/zh
Publication of CN117391961A publication Critical patent/CN117391961A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请涉及一种画质增强模型训练方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：通过获取初始训练图像和应用场景标识，并基于应用场景标识获取对应的图像应用参数；按照图像应用参数对初始训练图像进行应用图像生成，得到与应用场景标识匹配的目标训练图像；将目标训练图像输入初始画质增强模型进行图像画质增强，得到初始画质增强图像；基于初始画质增强图像与初始训练图像进行损失计算，得到损失信息，基于损失信息更新初始画质增强模型，得到更新画质增强模型；将更新画质增强模型作为初始画质增强模型并进行循环迭代，直到训练完成时，得到应用场景标识对应的目标画质增强模型。采用本方法能够提高模型的泛化性能。

Description

画质增强模型训练方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种画质增强模型训练方法、装 置、计算机设备、存储介质和计算机程序产品。
背景技术
随着图像处理技术的发展，出现了图像画质增强技术，比如图像超分辨率 技术，图像超分辨率是指由一幅低分辨率图像或图像序列画质增强出高分辨率 图像。目前，通常使用人工智能的深度学习算法建立画质增强模型来进行图像 画质增强。即通过从开源数据集取到高清图像数据，然后对高清图像数据通过 高斯模糊、上下采样、高斯噪声以及质量压缩等方法来生成对应的低画质图像 作为训练样本，然后使用训练样本和高清图像数据训练画质增强模型，然后使 用画质增强模型对图像进行画质增强。
然而，目前的使用训练样本和高清图像数据训练得到的画质增强模型存在 泛化性能差的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高泛化性能的画质增 强模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种画质增强模型训练方法。所述方法包括：
获取初始训练图像和应用场景标识，并基于应用场景标识获取对应的图像 应用参数；
按照图像应用参数对初始训练图像进行应用图像生成，得到与应用场景标 识匹配的目标训练图像；
将目标训练图像输入到初始画质增强模型中进行图像画质增强，得到初始 画质增强图像；
基于初始画质增强图像与初始训练图像进行损失计算，得到损失信息，基 于损失信息反向更新初始画质增强模型，得到更新画质增强模型；
将更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的 步骤执行，直到达到训练完成条件时，得到应用场景标识对应的目标画质增强 模型，目标画质增强模型用于对应用场景标识对应的图像进行画质增强。
第二方面，本申请还提供了一种画质增强模型训练装置。所述装置包括：
参数获取模块，用于获取初始训练图像和应用场景标识，并基于应用场景 标识获取对应的图像应用参数；
图像生成模块，用于按照图像应用参数对初始训练图像进行应用图像生成， 得到与应用场景标识匹配的目标训练图像；
图像画质增强模块，用于将目标训练图像输入到初始画质增强模型中进行 图像画质增强，得到初始画质增强图像；
更新模块，用于基于初始画质增强图像与初始训练图像进行损失计算，得 到损失信息，基于损失信息反向更新初始画质增强模型，得到更新画质增强模 型；
迭代模块，用于将更新画质增强模型作为初始画质增强模型，并返回获取 初始训练图像的步骤执行，直到达到训练完成条件时，得到应用场景标识对应 的目标画质增强模型，目标画质增强模型用于对应用场景标识对应的图像进行 画质增强。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器 和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时 实现以下步骤：
获取初始训练图像和应用场景标识，并基于应用场景标识获取对应的图像 应用参数；
按照图像应用参数对初始训练图像进行应用图像生成，得到与应用场景标 识匹配的目标训练图像；
将目标训练图像输入到初始画质增强模型中进行图像画质增强，得到初始 画质增强图像；
基于初始画质增强图像与初始训练图像进行损失计算，得到损失信息，基 于损失信息反向更新初始画质增强模型，得到更新画质增强模型；
将更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的 步骤执行，直到达到训练完成条件时，得到应用场景标识对应的目标画质增强 模型，目标画质增强模型用于对应用场景标识对应的图像进行画质增强。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存 储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步 骤：
获取初始训练图像和应用场景标识，并基于应用场景标识获取对应的图像 应用参数；
按照图像应用参数对初始训练图像进行应用图像生成，得到与应用场景标 识匹配的目标训练图像；
将目标训练图像输入到初始画质增强模型中进行图像画质增强，得到初始 画质增强图像；
基于初始画质增强图像与初始训练图像进行损失计算，得到损失信息，基 于损失信息反向更新初始画质增强模型，得到更新画质增强模型；
将更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的 步骤执行，直到达到训练完成条件时，得到应用场景标识对应的目标画质增强 模型，目标画质增强模型用于对应用场景标识对应的图像进行画质增强。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品， 包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取初始训练图像和应用场景标识，并基于应用场景标识获取对应的图像 应用参数；
按照图像应用参数对初始训练图像进行应用图像生成，得到与应用场景标 识匹配的目标训练图像；
将目标训练图像输入到初始画质增强模型中进行图像画质增强，得到初始 画质增强图像；
基于初始画质增强图像与初始训练图像进行损失计算，得到损失信息，基 于损失信息反向更新初始画质增强模型，得到更新画质增强模型；
将更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的 步骤执行，直到达到训练完成条件时，得到应用场景标识对应的目标画质增强 模型，目标画质增强模型用于对应用场景标识对应的图像进行画质增强。
上述画质增强模型训练方法、装置、计算机设备、存储介质和计算机程序 产品，通过获取初始训练图像和应用场景标识，并基于应用场景标识获取对应 的图像应用参数；按照图像应用参数对初始训练图像进行应用图像生成，得到 与应用场景标识匹配的目标训练图像；将目标训练图像输入到初始画质增强模 型中进行图像画质增强，得到初始画质增强图像；基于初始画质增强图像与初 始训练图像进行损失计算，得到损失信息，基于损失信息反向更新初始画质增 强模型，得到更新画质增强模型；将更新画质增强模型作为初始画质增强模型， 并返回获取初始训练图像的步骤执行，直到达到训练完成条件时，得到应用场 景标识对应的目标画质增强模型，目标画质增强模型用于对应用场景标识对应 的图像进行画质增强，即通过应用场景标识获取对应的图像应用参数，然后使 用图像应用参数得到与应用场景标识匹配的目标训练图像，最后再使用目标训 练图像训练初始画质增强模型，从而得到目标画质增强模型，从而使训练得到 的目标画质增强模型能够适用对应的应用场景，从而提高了目标画质增强模型 的泛化性能，然后使用目标画质增强模型对应用场景标识对应的图像进行画质 增强，提高了应用场景标识对应的应用场景中的画质增强效果。
附图说明
图1为一个实施例中画质增强模型训练方法的应用环境图；
图2为一个实施例中画质增强模型训练方法的流程示意图；
图3为一个实施例中建立第一关联关系的流程示意图；
图4为一个实施例中建立第二关联关系的流程示意图；
图5为一个实施例中得到初始画质增强图像的流程示意图；
图6为一个具体实施例中画质增强模型的架构示意图；
图7为一个实施例中得到目标画质增强模型的流程示意图；
图8为一个具体实施例中画质增强模型训练的流程示意图；
图9为一个具体实施例中对比测试结果的示意图；
图10为另一个具体实施例中对比测试结果的示意图；
图11为一个实施例中画质增强模型训练装置的结构框图；
图12为一个实施例中计算机设备的内部结构图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用以解释本申请，并不用于限定本申请。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器 “看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识 别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察 或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和 技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机 视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视 频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现 实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常 见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像处理、视频处理等技术，具 体通过如下实施例进行说明:
本申请实施例提供的画质增强模型训练方法，可以应用于如图1所示的应 用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可 以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上， 也可以放在云上或其他服务器上。获取初始训练图像和应用场景标识，并基于 应用场景标识获取对应的图像应用参数；按照图像应用参数对初始训练图像进 行应用图像生成，得到与应用场景标识匹配的目标训练图像；将目标训练图像 输入到初始画质增强模型中进行图像画质增强，得到初始画质增强图像；基于 初始画质增强图像与初始训练图像进行损失计算，得到损失信息，基于损失信 息反向更新初始画质增强模型，得到更新画质增强模型；将更新画质增强模型 作为初始画质增强模型，并返回获取初始训练图像的步骤执行，直到达到训练 完成条件时，得到应用场景标识对应的目标画质增强模型，目标画质增强模型 用于对应用场景标识对应的图像进行画质增强。其中，终端102可以但不限于 是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式 可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备 等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布 式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服 务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智 能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记 本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服 务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限 制。
在一个实施例中，如图2所示，提供了一种画质增强模型训练方法，以该 方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取初始训练图像和应用场景标识，并基于应用场景标识获取对 应的图像应用参数。
其中，初始训练图像是指初始获取到的训练的时候使用的高画质图像，该 初始训练图像是作为训练标签的图像。应用场景标识是指要进行图像画质增强 的应用场景的标识，不同的应用场景有不同的应用场景标识。图像应用参数是 指在应用场景标识对应的应用场景中生成图像时所使用的参数，在不同的应用 场景中有不同的图像应用参数，该图像应用参数可以是应用场景设备采集图像、 编码图像、前处理图像时使用的参数。图像应用参数与应用场景标识匹配。
具体地，服务器可以从数据库中获取到初始训练图像，服务器也可以从提 供数据服务的服务方获取到初始训练图像，服务器也可以获取到终端上传的初 始训练图像。同时，服务器获取到要生成对应画质增强模型的应用场景标识， 可以是从终端获取到的，也可以是从数据库中获取到的，还可以是从互联网获 取到的。然后服务器根据应用场景标识获取对应的图像应用参数，其中，服务 器可以根据应用场景标识从数据库中查找到已保存的对应的图像应用参数，服 务器也可以根据预先设置好的应用场景标识与图像应用参数的关联关系获取到 该应用场景标识对应的图像应用参数。服务器也可以根据应用场景标识从对应 的应用场景设备获取到图像应用参数。
步骤204，按照图像应用参数对初始训练图像进行应用图像生成，得到与应 用场景标识匹配的目标训练图像。
其中，目标训练图像是指训练画质增强模型时使用的图像。该目标训练图 像是与应用场景标识对应的应用场景匹配的。不同的应用场景有不同的图像应 用参数，就有不同的目标训练图像，该目标训练图像是编码压缩后的图像，是 低画质的图像。
具体地，服务器将图像应用参数应用到初始训练图像上，即对初始训练图 像使用图像应用参数模拟应用场景图像的生成，即使用应用场景设备采集图像、 编码图像、前处理图像时使用的参数对初始训练图像进行调整，得到与应用场 景标识匹配的目标训练图像。在一个实施例中，当获取到初始训练图像集时， 可以使用图像应用参数对初始训练图像集中的每个初始训练图像集进行调整， 得到目标训练图像集，然后可以将目标训练图像集拆分成训练图像子集、验证 图像子集和测试图像子集，然后使用训练图像子集中的目标训练图像进行画质 增强模型的训练，再使用验证图像子集中的目标训练图像对训练好的画质增强 模型进行验证，最后再使用测试图像子集对验证通过的画质增强模型进行测试，当测试通过时，得到最终训练完成的画质增强模型。
步骤206，将目标训练图像输入到初始画质增强模型中进行图像画质增强， 得到初始画质增强图像。
其中，初始画质增强模型是指模型参数初始化的画质增强模型，该画质增 强模型用于通过低画质图像画质增强出相应的高画质图像的。该画质增强模型 时通过人工智能中的深度学习网络建立的。初始画质增强图像是指训练是初始 画质增强模型输出的画质增强后的图像。该初始画质增强图像是对目标训练图 像进行画质增强后得到的。
具体地，服务器将目标训练图像输入到初始画质增强模型中进行前向传播， 即通过初始画质增强模型中的深度学习神经网络进行图像画质增强，得到输出 的初始画质增强图像。深度学习神经网络通过数据输入、权重和偏差的组合来 模仿人脑。这些元素协同工作以准确识别、分类和描述数据中的对象。
步骤208，基于初始画质增强图像与初始训练图像进行损失计算，得到损失 信息，基于损失信息反向更新初始画质增强模型，得到更新画质增强模型。
其中，损失信息用于表征初始画质增强图像与初始训练图像之间的误差， 误差越小，说明训练得到的模型越准确。更新画质增强模型是指模型参数更新 后的画质增强模型。
具体地，服务器使用损失函数计算初始画质增强图像与初始训练图像之间 的误差，得到损失信息，然后使用损失信息通过梯度下降算法来反向更新初始 画质增强模型中的初始化参数，当参数更新完成时，得到更新画质增强模型。
步骤210，将更新画质增强模型作为初始画质增强模型，并返回获取初始训 练图像的步骤执行，直到达到训练完成条件时，得到应用场景标识对应的目标 画质增强模型，目标画质增强模型用于对应用场景标识对应的图像进行画质增 强。
其中，训练完成条件是指模型训练完成的条件，包括但不限于迭代次数达 到最大迭代次数，模型损失信息达到预设阈值或者模型参数不再发生变化等。 目标画质增强模型是指训练完成的画质增强模型，该目标画质增强模型是应用 于该应用场景标识对应的应用场景中的。
具体地，服务器判断是否达到训练完成条件时，当未达到训练完成条件时， 将更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的步骤 迭代执行，直到服务器判断达到训练完成条件时，将达到训练完成条件时的画 质增强模型作为最终训练完成的目标画质增强模型，即得到应用场景标识对应 的应用场景的目标画质增强模型，然后可以将该目标画质增强模型部署到应用 场景标识对应的应用场景中，并在需要进行画质增强时，获取到该应用场景下 的图像，将该图像输入到目标画质增强模型进行画质增强，得到增强画质后的 图像。
上述画质增强模型训练方法，通过获取初始训练图像和应用场景标识，并 基于应用场景标识获取对应的图像应用参数；按照图像应用参数对初始训练图 像进行应用图像生成，得到与应用场景标识匹配的目标训练图像；将目标训练 图像输入到初始画质增强模型中进行图像画质增强，得到初始画质增强图像； 基于初始画质增强图像与初始训练图像进行损失计算，得到损失信息，基于损 失信息反向更新初始画质增强模型，得到更新画质增强模型；将更新画质增强 模型作为初始画质增强模型，并返回获取初始训练图像的步骤执行，直到达到 训练完成条件时，得到应用场景标识对应的目标画质增强模型，即通过应用场 景标识获取对应的图像应用参数，然后使用图像应用参数得到与应用场景标识 匹配的目标训练图像，最后再使用目标训练图像训练初始画质增强模型，从而 得到目标画质增强模型，从而使训练得到的目标画质增强模型能够适用对应的 应用场景，从而提高了目标画质增强模型的泛化性能，然后使用目标画质增强 模型对应用场景标识对应的图像进行画质增强，提高了应用场景标识对应的应 用场景中图像的画质增强效果。
在一个实施例中，如图3所示，在步骤202之前，在获取初始训练图像和 应用场景标识，并基于应用场景标识获取对应的图像应用参数之前，还包括：
步骤302，获取各个应用场景标识对应的应用场景视频。
其中，应用场景标识用于标识应用场景，该应用场景是指图像或者视频的 具体应用场景。该应用场景可以是娱乐向应用程序，例如视频直播平台、短视 频平台、视频平台等。该应用场景还可以是基于开放互联网的视频服务场景， 比如，电视服务、电影服务等应用场景。应用场景视频是指应用场景标识对应 的应用场景的实际视频，该应用场景视频是低画质视频，是实际应用时得到的 编码压缩后的视频。
具体地，服务器可以从数据库中获取到各个应用场景标识对应的应用场景 视频，服务器也可以根据各个应用场景标识从对应的应用场景中获取到应用场 景视频，比如，从应用场景的业务服务器中获取到应用场景视频。又比如，服 务器获取到通过应用场景设备上传的应用场景视频。
步骤304，使用预设视频分析命令对应用场景视频进行分析，得到应用场景 视频对应的视频生成参数，将视频生成参数作为图像应用参数。
其中，预设视频分析命令对是指预先设置好的用于进行视频分析的命令。 视频生成参数是指应用场景在生成应用场景视频时使用的参数。
具体地，服务器使用预先设置好的视频分析命令调用视频分析工具对应用 场景视频进行分析。视频分析工具是用于进行视频分析的工具，可以是使用 FFmpeg(多媒体编解码框架)或者Intel的Video Pro Analyzer(音视频分析工 具)等分析工具获取到应用场景视频在编码时设定的参数。然后得到应用场景 视频对应的视频生成参数，并将该视频生成参数直接作为图像应用参数。服务 器对每个应用场景标识对应的应用场景视频进行分析，得到每个应用场景标识 对应的图像应用参数。
步骤306，建立各个应用场景标识与对应的图像应用参数的第一关联关系.
具体地，服务器将每个应用场景标识分别与对应的图像应用参数进行关联， 得到第一关联关系，然后将第一关联关系保存到数据库中。该第一关联关系时 根据视频分析工具进行视频分析得到的图像应用参数建立的。
步骤202，基于应用场景标识获取对应的图像应用参数，包括：
根据第一关联关系查找应用场景标识对应的图像应用参数。
具体地，服务器在获取图像应用参数时，可以直接在数据库中查找与应用 场景标识关联的图像应用参数。服务器也可以在第一关联关系中查找到应用场 景标识对应的图像应用参数。
在一个实施例中，如图4所示，在步骤202之前，即在获取初始训练图像 和应用场景标识，并基于应用场景标识获取对应的图像应用参数之前，还包括：
步骤402，获取各个应用场景标识对应的应用场景视频。
步骤404，基于应用场景视频获取对应的视频编码格式，基于视频编码格式 确定应用场景视频对应的视频生成参数，将视频生成参数作为图像应用参数。
其中，视频编码格式是指视频在进行编码时使用的格式，不同的应用场景 选取对应的视频编码格式来得到不同的应用场景视频。
具体地，服务器可以从数据库中获取各个应用场景标识对应的应用场景视 频。然后根据应用场景视频获取对应的视频编码格式，根据视频编码格式进行 视频分析确定应用场景视频对应的视频生成参数，然后将视频生成参数作为图 像应用参数。通过对每个应用场景标识对应的应用场景视频使用对应的视频编 码格式进行分析，得到每个应用场景标识对应的图像应用参数。
步骤406，建立各个应用场景标识与对应的图像应用参数的第二关联关系。
具体地，服务器将每个应用场景标识分别与对应的图像应用参数进行关联， 得到第二关联关系，然后将第二关联关系保存到数据库中。该第二关联关系时 根据视频编码格式进行视频分析得到的图像应用参数建立的。
步骤202，基于应用场景标识获取对应的图像应用参数，包括：
根据第二关联关系查找应用场景标识对应的图像应用参数。
具体地，服务器在获取图像应用参数时，可以直接在数据库中查找与应用 场景标识关联的图像应用参数。服务器也可以在第二关联关系中查找到应用场 景标识对应的图像应用参数。
上述实施例中，通过获取到各个应用场景标识对应的应用场景视频，然后 对应用场景视频进行分析，得到视频生成参数，然后将视频生成参数作为图像 应用参数。然后进行后续的使用，提高了得到的图像应用参数的准确性。
在一个实施例中，步骤202，基于应用场景标识获取对应的图像应用参数， 包括步骤：
当应用场景标识为特定应用场景标识时，获取特定应用场景标识对应的图 像生成设备标识；获取图像生成设备标识对应的图像生成参数，将图像生成参 数作为特定应用场景标识对应的图像应用参数。
其中，特定应用场景标识是指特定应用场景的唯一标识，特定应用场景是 指预先设置好的需要使用应用场景自身的设备来获取图像生成参数的应用场 景。图像生成设备标识用于唯一标识图像生成的设备。该图像生成的设备是在 特定应用场景标识的特定应用场景中使用的。
具体地，当需要训练得到特定应用场景的画质增强模型时，获取到的应用 场景标识为特定应用场景标识。此时，获取该特定应用场景标识对应的图像生 成设备标识，然后根据预先设置好的图像生成设备标识与图像生成参数的对应 关系获取到该图像生成设备标识对应的图像生成参数。服务器可以预先将图像 生成设备标识与图像生成参数的对应关系保存到数据库中，当需要使用时，在 数据库中查找图像生成设备标识对应的图像生成参数，然后将图像生成参数作 为特定应用场景标识对应的图像应用参数。
在一个实施例中，目标训练图像也可以是将初始训练图像输入到图像生成 设备标识对应的图像生成设备中进行图像生成得到的。
在上述实施例中，通过获取到特定应用场景标识对应的图像生成设备标识； 然后根据图像生成设备标识获取对应的图像生成参数，将图像生成参数作为特 定应用场景标识对应的图像应用参数，从而使得到的图像应用参数更加准确。
在一个实施例中，图像应用参数包括图像预处理参数和图像压缩编码参数；
步骤204，按照图像应用参数对初始训练图像进行应用图像生成，得到与应 用场景标识匹配的目标训练图像，包括步骤：
使用图像预处理参数对初始训练图像进行预处理，得到预处理图像；使用 图像压缩编码参数对预处理图像进行压缩编码，得到应用场景标识匹配的目标 训练图像。
其中，图像预处理参数是指对图像预处理时使用的参数，该图像预处理参 数是在应用场景中生成图像时使用的参数，包括在应用场景中采集图像时的采 集参数以及采集图像后对图像进行人为操作的参数。预处理图像是指对初始训 练图像使用图像预处理参数进行处理后得到的图像。
具体地，服务器模拟应用场景生成图像时的环境，即使用图像应用参数对 初始训练图像进行处理，其中，可以先使用图像预处理参数对初始训练图像进 行预处理，得到预处理图像，然后再使用图像压缩编码参数对预处理图像进行 压缩编码，得到应用场景标识匹配的目标训练图像。其中，图像压缩编码参数 包括的主要项有：编码内核算法，profile(编码速度和质量相关)、ref(控制解 码图片缓冲的大小)、Bitrate(目标比特率)、width(宽)、Height(高)、Frame rate(视频帧率)、Color space(色彩空间)、Bit depth(比特位深)、qp(固 定量化值)、keyint(关键帧间隔)、bframes(B帧)、aq-mode(自适应量化 器模式)、me/subme(子像素估算复杂度)、aq-strength(码率控制参数)、 rc-lookahead(mb-tree比特率控制和vbv-lookahead使用的帧数)、deblock(去 块滤波)、partitions、b-adapt(设定弹性B帧配置决策算法)、sao(传输参数)、 wpp(并行)、crf(固定比特率系数)、ipratio(I帧量化值)、pbratio(码率控 制参数)、vbv-maxrate(填满VBV缓冲的最大比特率)等。
上述实施例中，通过使用图像预处理参数和图像压缩编码参数对初始训练 图像进行应用，得到应用场景标识匹配的目标训练图像，由于该图像预处理参 数和图像压缩编码参数都是与应用场景标识对应的应用场景中图像生成参数一 致，从而使得到的目标训练图像符合应用场景的实际生产环境，然后使用目标 训练图像训练的初始画质增强模型，使训练得到的画质增强模型提高了模型泛 化性能。
在一个实施例中，图像预处理参数包括图像退化参数和对象设置参数；
使用图像预处理参数对初始训练图像进行预处理，得到预处理图像，包括 步骤：
通过图像退化参数对初始训练图像进行图像退化，得到退化图像；对退化 图像使用对象设置参数进行图像设置，得到预处理图像。
其中，图像在形成、记录、处理和传输过程中，由于成像系统、记录设备、 传输介质和处理方法的不完善，导致图像质量的下降，这种现象叫做图像退化。 可以使用图像退化算法对初始训练图像进行图像退化，其中，图像退化算法通 常包括：添加噪声，使用模糊核对图像进行模糊，上下采样和图像压缩等。
对象设置参数是指对象对图像进行设置时使用的参数。比如，对象可以对 图像进行美颜、画质增强和添加特效等操作，将对图像的操作对应的参数作为 对象设置参数。其中，该对象可以是真实对象，比如人物，也可以是虚拟对象， 比如虚拟主播等。
具体地，服务器使用图像退化参数通过图像退化算法对初始训练图像进行 图像退化，可以使将初始训练图像经过退化算子或退化系统作用，再和噪声进 行叠加，形成退化后图像，即推荐图像，其中，退化算子、退化系统以及噪声 是根据图像退化参数得到的。然后对退化图像使用对象设置参数进行图像设置， 得到预处理图像。
在上述实施例中，通过使用图像退化参数、对象设置参数以及图像压缩编 码参数对初始训练图像进行应用，能够模拟应用场景的图像生成，从而使得到 目标训练图像提高了准确性。
在一个实施例中，初始画质增强模型包括初始超分辨率模型，初始超分辨 率模型包括特征提取网络、映射网络和重构网络；
如图5所示，步骤206，将目标训练图像输入到初始画质增强模型中进行图 像画质增强，得到初始画质增强图像，包括：
步骤502，将目标训练图像输入到特征提取网络中进行特征提取，得到初始 图像特征。
其中，目标训练图像是使用初始训练图像通过图像应用参数生成的。初始 训练图像可以使从各种高清数据源获取到的，比如，开源数据集包括FDDB(人 脸图像数据集)、lickr2K(超分画质增强数据集)、div2K(超分画质增强数据 集)、Vimeo8K(图像超分数据集)、Middlebury(双目立体匹配测试数据集)、 UCF101(动作识别数据集)等，开源数据源集包括的是高画质图像，该高画质 图像可以是指2K/4K/8K分辨率的图像或者是指30FPS/60FPS/120FPS(FPS，画 面每秒传输帧数)视频中的图像。可以将开源数据集中的图像使用图像应用参数 进行应用，得到目标训练图像集，该目标训练图像集中的图像是低画质图像， 该低画质图像可以是480P/720P/1080P的图像。该低画质图像也可以是存在低码 率、模糊噪声、抖动、压缩块效应及画质损失的图像。特征提取网络是用于进 行图像特征提取的神经网络，该神经网络可以是卷积神经网络。该初始图像特 征是指训练时提取得到的图像特征。该低画质图像的画质相比于高画质图像的 画质质量低，比如，低画质图像可以是1080P的图像，则高画质图像可以是8k 分辨率的图像，又比如，该低画质图像可以是2k分辨率的图像，则高画质图像 可以是8k分辨率的图像。
具体地，服务器目标训练图像输入到初始画质增强模型中，通过初始画质 增强模型中的特征提取网络进行图像特征提取，得到初始图像特征，该初始图 像特征可以使用特征图来表示。
步骤504，将初始图像特征输入到映射网络中进行特征映射，得到映射特征。
其中，映射网络用于进行特征映射，通过卷积操作实现，可以是非线性映 射，也可以是线性映射。映射特征是训练过程中通过卷积操作进行映射后得到 的特征。
具体地，服务器将初始图像特征输入到初始画质增强模型中的映射网络中， 该映射网络通过对输出的初始图像特征进行卷积运算，得到输出的映射特征。
步骤506，将映射特征输入到重构网络中进行图像重构，得到初始画质增强 图像。
其中，图像重构用于将一幅低画质图像或图像序列进行处理，恢复出高画 质图像。初始画质增强图像是指训练时得到的画质增强的图像，该图像是高画 质的图像。
具体地，服务器将映射特征作为重构网络的输入，通过重构网络进行图像 重构，得到输出的初始画质增强图像。
在上述实施例中，通过使用初始画质增强模型中的特征提取网络、映射网 络和重构网络来训练得到初始画质增强图像，能够提高得到的初始画质增强图 像的准确性。
在一个实施例中，步骤502，即将目标训练图像输入到特征提取网络中进行 特征提取，得到初始图像特征，包括步骤：
当目标训练图像的尺寸小于预设目标尺寸时，将目标训练图像进行图像放 大，得到符合预设目标尺寸的预处理图像；将符合预设目标尺寸的预处理图像 输入到特征提取网络中进行特征提取，得到初始图像特征。
其中，目标训练图像的尺寸可以与初始训练图像的尺寸一致，也可以与初 始训练图像的尺寸不一致。预设目标尺寸是指预先设置好的图像尺寸，该预设 目标尺寸是画质增强模型输入图像的固定尺寸。
具体地，服务器判断目标训练图像的尺寸与预设目标尺寸的大小关系，当 目标训练图像的尺寸小于预设目标尺寸时，说明该目标训练图像并不能直接作 为画质增强模型的输入，此时，将目标训练图像进行图像放大，可以使用图像 放大算法，比如，使用双三次插值算法进行图像放大，使用神经网络算法进行 图像放大，将目标训练图像的尺寸放大到预设目标尺寸，得到符合预设目标尺 寸的预处理图像，然后将符合预设目标尺寸的预处理图像作为初始画质增强模 型中的特征提取网络的输入，并通过特征提取网络进行特征提取，得到初始图 像特征，从而使得到的初始图像特征更加的准确。
在一个具体的实施例中，如图6所示，提供一种超分辨率模型的架构示意 图，其中，通过卷积神经网络(CNN)建立的超分辨率模型，包括一个三层的 全卷积神经网络，通过块析出与表示层将输出的低分辨率图像提取特征，得到 一系列特征图，如下公式(1)所示：
F1(Y)＝max(0，W1*Y+B1) 公式(1)
其中，W1和B1表示滤波器(卷积核)的权重和偏置，max操作对应ReLU 激活函数，CNN的卷积和激活，F1是输出的特征图，Y是指输入。
然后在通过非线性映射层进行非线性映射，该非线性映射层是使用卷积神 经网络实现的，如下公式(2)所示：
F2(Y)＝max(0，W2*F1(Y)+B2) 公式(2)
其中，W2和B2依旧表示滤波器的权重和偏置，max操作对应ReLU激活 函数，CNN的卷积和激活。F2是输出的映射特征，Y是输入。
然后，通过重构层进行图像重构，重构的过程也是进行卷积操作。可以使 用如下公式(3)实现。
F(Y)＝W3*F2(Y)+B3 公式(3)
其中，W3和B3依旧表示滤波器的权重和偏置，F是输出的高分辨率的图 像。Y是指输入。通过使用块析出与表示层提取图像特征，通过非线性映射层 进行非线性映射，最后再通过重构层进行图像重构，从而使得到的输出图像提 高了准确性。
在一个实施例中，在步骤210之后，即在将更新画质增强模型作为初始画 质增强模型，并返回获取初始训练图像的步骤执行，直到达到训练完成条件时， 得到应用场景标识对应的目标画质增强模型之后，还包括：
获取应用场景标识对应的应用图像，将应用图像输入到应用场景标识对应 的目标画质增强模型中进行图像画质增强，得到应用场景标识对应的目标画质 增强图像。
其中，应用图像是指应用场景标识对应的应用场景中实际生成的图像，该 图像是低画质的图像，该应用图像可以是在该应用场景通过图像采集装置采集， 然后进行前处理，最后进行图像压缩编码得到的图像，其中，前处理是指编码 前的图像处理，比如背景虚化、添加特效、画质增强等。即应用图像是使用该 应用场景标识对应的应用场景中图像生成参数生成的。目标画质增强图像是指 进行图像进行画质增强后得到的图像。
具体地，服务器当需要对应用场景中的图像进行画质增强时，可以从该应 用场景服务器中获取到该应用场景标识对应的应用图像。服务器也可以直接从 数据库中获取到应用场景标识对应的应用图像。服务器还可以是从业务服务器 中获取到应用场景标识对应的应用图像。服务器也可以获取到终端上传的应用 场景标识对应的应用图像。
服务器在训练好的各个应用场景对应的目标画质增强模型后，将各个应用 场景对应的目标画质增强模型进行部署，以便于后续的使用。当需要使用目标 画质增强模型时，服务器根据要使用的应用场景的标识查找到要调用的目标画 质增强模型，然后调用该目标画质增强模型，并将应用图像输入到应用场景标 识对应的目标画质增强模型中进行图像画质增强，得到输出的应用场景标识对 应的目标画质增强图像。在一个具体的实施例中，该画质增强模型可以应用于 压缩修复、超分插帧、人脸、字体及ROI(感兴趣区域)处理等画质增强场景 中，能够得到画质增强后的图像，其中，可以将待压缩修复图像输入到目标画 质增强模型中进行压缩修改，得到压缩前的图像，也可以将待超分插帧图像输 入到目标画质增强模型中进行压缩修改，得到超分插帧图像，也可以将人脸图 像输入到目标画质增强模型中进行画质增强，得到高清人脸图像，也可以将图 像输入到目标画质增强模型中对字体及ROI(感兴趣区域)处理进行画质增强， 得到画质增强后的字体及ROI(感兴趣区域)图像。
在上述实施例中，通过将应用图像使用相同应用场景下训练得到的目标画 质增强模型进行图像画质增强，从而可以使得到的目标画质增强图像提高了准 确性。
在一个实施例中，获取应用场景标识对应的应用图像，包括：
获取应用场景标识对应的应用视频，应用视频是经过应用场景标识对应的 视频应用参数进行视频生成后得到的。将应用视频进行分帧，得到各个视频帧， 将各个视频帧依次作为应用图像。
其中，应用视频是指经过应用场景标识对应的视频应用参数进行视频生成 后得到的。视频应用参数是指在应用场景标识对应的应用场景下生成视频时所 需要的参数，其中，可以是视频在进行编码压缩时参数，也可以包括应用场景 设备在采集视频时的抖动、模糊、噪声等参数。
具体地，服务器当需要对视频应用场景中的视频进行画质增强时，先要从 数据库中获取应用场景标识对应的应用视频，也可以从该视频应用场景的设备 中获取到应用场景标识对应的应用视频。服务器还可以时从终端获取到上传的 应用场景标识对应的应用视频。应用视频是经过应用场景标识对应的视频应用 参数进行视频生成后得到的。然方服务器将应用视频进行分帧，得到各个视频 帧，将各个视频帧依次作为应用图像。
在步骤210之后，即在将应用图像输入到应用场景标识对应的目标画质增 强模型中进行图像画质增强，得到应用场景标识对应的目标画质增强图像之后， 还包括：
将各个视频帧对应的目标画质增强图像进行合帧，得到应用场景标识对应 的目标画质增强视频。
具体地，服务器将各个视频帧作为应用图像，并将各个应用图像输入到目 标画质增强模型中进行图像画质增强，得到各个应用图像对应的目标画质增强 图像，后将目标画质增强图像进行合帧，得到应用场景标识对应的目标画质增 强视频。将应用图像输入到应用场景标识对应的目标画质增强模型中进行图像 画质增强，得到应用场景标识对应的目标画质增强图像，最后将各个视频帧对 应的目标画质增强图像进行合帧，得到应用场景标识对应的目标画质增强视频。 比如，获取应用到视频直播平台中，视频直播端采集到直播对象的视频，将直 播对象的视频发生到视频直播平台中，视频直播平台将该视频中的各个视频帧 作为应用图像，然后将各个应用图像输入到视频直播平台对应的目标画质增强 模型，该视频直播平台对应的目标画质增强模型是使用视频直播平台的视频生 成参数对初始训练数据进行参数加权，得到目标训练图像，然后使用目标训练 图像进行训练得到的。目标画质增强模型进行图像画质增强，得到各个高画质 图像，然后将各个高画质图像合并，得到画质增强视频，然后将画质增强视频 发送到观看端进行播放。
在上述实施例中，通过视频应用参数进行视频生成后得到的。将应用视频 进行分帧，得到各个视频帧，将各个视频帧依次作为应用图像进行图像画质增 强，得到各个目标画质增强图像，然后将各个视频帧对应的目标画质增强图像 进行合帧，得到应用场景标识对应的目标画质增强视频，从而提高了得到的目 标画质增强视频的准确性。
在一个实施例中，应用场景标识包括至少两个；如图7所示，画质增强模 型训练方法还包括：
步骤702，获取初始训练图像和至少两个应用场景标识，并基于至少两个应 用场景标识获取对应的图像应用参数。
具体地，当需要生成多个应用场景的画质增强模型时，服务器可以先获取 到各个应用场景标识，然后将各个应用场景标识对应的图像应用参数获取到， 其中，可以从数据库中获取初始训练图像和至少两个应用场景标识，也可以从 业务服务器中获取到初始训练图像和至少两个应用场景标识，还可以是从终端 上传得到的初始训练图像和至少两个应用场景标识。然后可以根据应用场景标 识获取对应的图像应用参数。其中，可以是从数据库中获取到图像应用参数， 也可以是从应用场景服务器获取到图像应用参数，还可以是终端上传得到的。
步骤704，按照图像应用参数对初始训练图像进行应用图像生成，得到与至 少两个应用场景标识匹配的目标训练图像。
具体地，服务器使用不同应用场景的图像应用参数对初始训练图像进行参 数加权，得到每个应用场景匹配的目标训练图像。服务器可以对多个初始训练 图像进行参数加权，得到每个应用场景匹配的目标训练图像数据集。
步骤706，将目标训练图像输入到初始画质增强模型中进行图像画质增强， 得到初始画质增强图像。
步骤708，基于初始画质增强图像与初始训练图像进行损失计算，得到损失 信息，基于损失信息反向更新初始画质增强模型，得到更新画质增强模型。
具体地，服务器使用不同的应用场景的目标训练图像分别对初始画质增强 模型中进行训练，然后根据训练时得到的损失信息使用梯度下降算法反向更新 初始画质增强模型，得到更新画质增强模型。
步骤710，将更新画质增强模型作为初始画质增强模型，并返回获取初始训 练图像的步骤执行，直到达到训练完成条件时，得到至少两个应用场景标识分 别对应的目标画质增强模型。
具体地，服务器使用每个应用场景的目标训练图像对初始画质增强模型进 行训练迭代，当达到训练完成条件时，将达到训练完成条件时初始画质增强模 型作为目标画质增强模型，这样就得到了每个应用场景对应的目标画质增强模 型。其中，可以依次对训练得到每个应用场景对应的目标画质增强模型，也可 以同时训练得到每个应用场景对应的目标画质增强模型。然后可以将目标画质 增强模型进行部署使用。该目标画质增强模型的应用场景包括但不限于短视频 平台中、直播平台中、视频平台中以及基于开放互联网的各种视频及数据服务 业务设备中。
在一个实施例中，可以使用各个应用场景匹配的目标训练图像数据集来得 到具有所有应用场景的目标训练图像的总数据集，然后使用总数据集训练画质 增强模型，得到可以应用于各个应用场景的总画质增强模型。然后使用总画质 增强模型可以对该各个应用场景中的图像进行画质增强，从而提高了画质增强 模型的泛化性能。
在上述实施例中，针对不同的应用场景生成不同的目标训练图像，然后使 用不同应用场景的目标训练图像训练得到的不同应用场景的目标画质增强模 型，从而提高了目标画质增强模型的泛化性能。
在一个具体的实施例中，如图8所示，提供一种画质增强模型训练方法， 具体包括以下步骤：
步骤802，获取各个应用场景标识对应的应用场景视频；使用预设视频分析 命令对应用场景视频进行分析，得到应用场景视频对应的视频生成参数，将视 频生成参数作为图像应用参数，建立各个应用场景标识与对应的图像应用参数 的第一关联关系。
步骤804，获取初始训练图像和目标应用场景标识，并根据第一关联关系查 找目标应用场景标识对应的图像应用参数；通过图像应用参数中的图像退化参 数对初始训练图像进行图像退化，得到退化图像；
步骤806，对退化图像使用图像应用参数中的对象设置参数进行图像设置， 得到预处理图像；使用图像应用参数中的图像压缩编码参数对预处理图像进行 压缩编码，得到目标应用场景标识匹配的目标训练图像；
步骤808，将目标训练图像输入到初始画质增强模型中，通过初始画质增强 模型中的特征提取网络中进行特征提取，得到初始图像特征，将初始图像特征 输入到初始画质增强模型中的映射网络中进行特征映射，得到映射特征，将映 射特征输入到初始画质增强模型中的重构网络中进行图像重构，得到初始画质 增强图像。
步骤810，基于初始画质增强图像与初始训练图像进行损失计算，得到损失 信息，基于损失信息反向更新初始画质增强模型，得到更新画质增强模型；
步骤812，将更新画质增强模型作为初始画质增强模型，并返回获取初始训 练图像的步骤执行，直到达到训练完成条件时，得到目标应用场景标识对应的 目标画质增强模型。
在上述实施例中，通过使用查找目标应用场景对应的图像应用参数，使用 图像应用参数通过初始训练图像生成目标训练图像，然后使用目标训练图像训 练得到目标画质增强模型，从而使训练得到的目标画质增强模型能够对目标应 用场景的图像提高画质增强的准确性，从而提高了目标画质增强模型泛化性能。
在一个具体的实施例中，可以对训练得到的目标画质增强模型进行对比测 试，通过在压缩修复、超分插帧、人脸、字体及ROI处理等方面进行对比测试， 其中，目标画质增强模型在压缩修复的泛化性能与相关技术之间的对比测试结 果如图9所示。其中，使用峰值信噪比(PSRN)和结构相似性作为评价指标(SSIM)。使用LIVE1(图像数据集1)、BSDS(图像数据集2)以及Urban (图像数据集3)数据集作为初始训练图像的数据集。并使用相关技术A、相关 技术B、相关技术C、相关技术D和相关技术E与本申请进行图像画质增强对 比，其中，明显可以看出本申请中的泛化性能明显优于已有的相关技术。进一 步，目标画质增强模型在超分插帧的泛化性能与相关技术之间的对比测试结果 如图10所示。其中，本申请使用不同神经网络算法建立的目标画质增强模型1 和目标画质增强模型2的泛化性能明显优于已有的相关技术。
在一个具体的实施例中，该画质增强模型的使用方法应用到电视广播平台 中，即获取到电视广播平台设备频源编辑编码时所使用的硬件设备参数和配置 参数信息，然后获取初始训练图像，使用电视广播平台设备频源编辑编码时所 使用的硬件设备参数和配置参数信息对初始训练图像应用相同的硬件设备参数 和配置参数信息，得到与电视广播平台匹配的目标训练图像，然后将与电视广 播平台匹配的目标训练图像输入到初始画质增强模型中进行图像画质增强，得 到初始画质增强图像，然后使用初始画质增强图像与初始训练图像进行损失计 算，得到损失信息，基于损失信息反向更新初始画质增强模型，得到更新画质 增强模型，并将更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的步骤执行，直到达到训练完成条件时，得到电视广播平台对应的目标 画质增强模型。当电视广播平台要推送视频时，可以对要推送的视频进行画质 增强，即获取到要推送的视频，将要推送的视频进行分帧，得到各个视频帧， 将各个视频帧依次输入到电视广播平台对应的目标画质增强模型中进行画质增 强，得到输出的各个目标视频帧，将各个目标视频帧进行合并，得到画质增强 后的目标视频，然后电视广播平台将画质增强后的目标视频推送给目标使用对 象终端，目标使用对象终端播放画质增强后的目标视频，从而可以提高目标使 用对象的电视广播平台的使用体验。
在一个具体的实施例中，该画质增强模型的使用方法应用到视频云媒体平 台中，即可以通过获取到视频云媒体平台的云媒体视频，然后将云媒体视频输 入到该视频云媒体应用场景对应的目标画质增强模型中进行画质增强，得到画 质增强的云媒体视频，然后将画质增强的云媒体视频通过视频云媒体平台进行 发布，提高了视频画质，从而能够提高视频云媒体平台使用者的体验。
在一个具体的实施例中，该画质增强模型的使用方法应用到压缩修复场景 中，即获取到图像压缩时使用的压缩参数。然后获取初始训练图像，使用图像 压缩时使用的压缩参数对初始训练图像进行压缩，得到压缩后的图像，将压缩 后的图像输入到初始画质增强模型中进行图像画质增强，即压缩修复，得到初 始压缩修复后的图像，然后使用初始压缩修复后的图像与初始训练图像进行损 失计算，得到损失信息，基于损失信息反向更新初始画质增强模型，得到更新 画质增强模型，并将更新画质增强模型作为初始画质增强模型，并返回获取初 始训练图像的步骤执行，直到达到训练完成条件时，得到压缩修复场景对应的 压缩修复模型。当视频需要进行压缩修复时，获取到待修复的视频，将待修复 的视频划分为视频帧，将各个视频帧依次输入到压缩修复场景对应的压缩修复 模型中进行图像压缩修复，得到输出的各个目标视频帧，将各个目标视频帧进 行合并，得到压缩修复后的目标视频。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按 照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执 行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些 步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的 至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然 是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执 行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者 阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的 画质增强模型训练方法的画质增强模型训练装置。该装置所提供的解决问题的 实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个画 质增强模型训练装置实施例中的具体限定可以参见上文中对于画质增强模型训 练方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种画质增强模型训练装置1000， 包括：参数获取模块1002、图像生成模块1004、图像画质增强模块1006、更新 模块1008和迭代模块1010，其中：
参数获取模块1002，用于获取初始训练图像和应用场景标识，并基于应用 场景标识获取对应的图像应用参数；
图像生成模块1004，用于按照图像应用参数对初始训练图像进行应用图像 生成，得到与应用场景标识匹配的目标训练图像；
图像画质增强模块1006，用于将目标训练图像输入到初始画质增强模型中 进行图像画质增强，得到初始画质增强图像；
更新模块1008，用于基于初始画质增强图像与初始训练图像进行损失计算， 得到损失信息，基于损失信息反向更新初始画质增强模型，得到更新画质增强 模型；
迭代模块1010，用于将更新画质增强模型作为初始画质增强模型，并返回 获取初始训练图像的步骤执行，直到达到训练完成条件时，得到应用场景标识 对应的目标画质增强模型，目标画质增强模型用于对应用场景标识对应的图像 进行画质增强。
在一个实施例中，画质增强模型训练装置1000，还包括：
第一关系建立模块，用于获取各个应用场景标识对应的应用场景视频；使 用预设视频分析命令对应用场景视频进行分析，得到应用场景视频对应的视频 生成参数，将视频生成参数作为图像应用参数；建立各个应用场景标识与对应 的图像应用参数的第一关联关系；
参数获取模块1002还用于根据第一关联关系查找应用场景标识对应的图像 应用参数。
在一个实施例中，画质增强模型训练装置1000，还包括：
第二关系建立模块，用于获取各个应用场景标识对应的应用场景视频；基 于应用场景视频获取对应的视频编码格式，基于视频编码格式确定应用场景视 频对应的视频生成参数，将视频生成参数作为图像应用参数；建立各个应用场 景标识与对应的图像应用参数的第二关联关系；
参数获取模块1002还用于根据第二关联关系查找应用场景标识对应的图像 应用参数。
在一个实施例中，参数获取模块1002还用于当应用场景标识为特定应用场 景标识时，获取特定应用场景标识对应的图像生成设备标识；获取图像生成设 备标识对应的图像生成参数，将图像生成参数作为特定应用场景标识对应的图 像应用参数。
在一个实施例中，图像应用参数包括图像预处理参数和图像压缩编码参数；
图像生成模块1004还用于使用图像预处理参数对初始训练图像进行预处 理，得到预处理图像；使用图像压缩编码参数对预处理图像进行压缩编码，得 到应用场景标识匹配的目标训练图像。
在一个实施例中，图像预处理参数包括图像退化参数和对象设置参数；
图像生成模块1004还用于通过图像退化参数对初始训练图像进行图像退 化，得到退化图像；对退化图像使用对象设置参数进行图像设置，得到预处理 图像。
在一个实施例中，初始画质增强模型包括初始超分辨率模型，初始超分辨 率模型包括特征提取网络、映射网络和重构网络；
图像画质增强模块1006还用于将目标训练图像输入到特征提取网络中进行 特征提取，得到初始图像特征；将初始图像特征输入到映射网络中进行特征映 射，得到映射特征；将映射特征输入到重构网络中进行图像重构，得到初始画 质增强图像。
在一个实施例中，图像画质增强模块1006还用于当目标训练图像的尺寸小 于预设目标尺寸时，将目标训练图像进行图像放大，得到符合预设目标尺寸的 预处理图像；将符合预设目标尺寸的预处理图像输入到特征提取网络中进行特 征提取，得到初始图像特征。
在一个实施例中，画质增强模型训练装置1000，还包括：
图像画质增强模块，用于获取应用场景标识对应的应用图像，将应用图像 输入到应用场景标识对应的目标画质增强模型中进行图像画质增强，得到应用 场景标识对应的目标画质增强图像。
在一个实施例中，图像画质增强模块还用于获取应用场景标识对应的应用 视频，应用视频是经过应用场景标识对应的视频应用参数进行视频生成后得到 的；将应用视频进行分帧，得到各个视频帧，将各个视频帧依次作为应用图像；
画质增强模型训练装置1000，还包括：
画质增强视频得到模块，用于将各个视频帧对应的目标画质增强图像进行 合帧，得到应用场景标识对应的目标画质增强视频。
在一个实施例中，应用场景标识包括至少两个；画质增强模型训练装置 1000，还包括：
多个模型训练模块，用于获取初始训练图像和至少两个应用场景标识，并 基于至少两个应用场景标识获取对应的图像应用参数；按照图像应用参数对初 始训练图像进行应用图像生成，得到与至少两个应用场景标识匹配的目标训练 图像；将目标训练图像输入到初始画质增强模型中进行图像画质增强，得到初 始画质增强图像；基于初始画质增强图像与初始训练图像进行损失计算，得到 损失信息，基于损失信息反向更新初始画质增强模型，得到更新画质增强模型； 将更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的步骤 执行，直到达到训练完成条件时，得到至少两个应用场景标识分别对应的目标 画质增强模型。
上述画质增强模型训练装置中的各个模块可全部或部分通过软件、硬件及 其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理 器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用 执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器， 其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出 接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出 接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中， 该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括 非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机 程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的 运行提供环境。该计算机设备的数据库用于存储初始训练图像、图像应用参数、 应用场景标识等数据。该计算机设备的输入/输出接口用于处理器与外部设备之 间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。 该计算机程序被处理器执行时以实现一种画质增强模型训练方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其 内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接 口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口 通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到 系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机 设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有 操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算 机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备 之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方 式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技 术实现。该计算机程序被处理器执行时以实现一种画质增强模型训练方法。该 计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或 虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设 备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置 的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12或者图13中示出的结构，仅仅是与本申 请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机 设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者 组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储 器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中 的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程 序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算 机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、 用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示 的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数 据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于 一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述 各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、 数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一 种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、 软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、 磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器 (Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase ChangeMemory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器 (Random AccessMemory，RAM)或外部高速缓冲存储器等。作为说明而非局 限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory， DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库 和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数 据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计 算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述 实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特 征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域 的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和 改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利 要求为准。

Claims (15)

1.一种画质增强模型训练方法，其特征在于，所述方法包括：
获取初始训练图像和应用场景标识，并基于所述应用场景标识获取对应的图像应用参数；
按照所述图像应用参数对所述初始训练图像进行应用图像生成，得到与所述应用场景标识匹配的目标训练图像；
将所述目标训练图像输入到初始画质增强模型中进行图像画质增强，得到初始画质增强图像；
基于所述初始画质增强图像与所述初始训练图像进行损失计算，得到损失信息，基于所述损失信息反向更新所述初始画质增强模型，得到更新画质增强模型；
将所述更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的步骤执行，直到达到训练完成条件时，得到所述应用场景标识对应的目标画质增强模型，所述目标画质增强模型用于对所述应用场景标识对应的图像进行画质增强。
2.根据权利要求1所述的方法，其特征在于，在所述获取初始训练图像和应用场景标识，并基于所述应用场景标识获取对应的图像应用参数之前，还包括：
获取各个应用场景标识对应的应用场景视频；
使用预设视频分析命令对所述应用场景视频进行分析，得到所述应用场景视频对应的视频生成参数，将所述视频生成参数作为所述图像应用参数；
建立所述各个应用场景标识与对应的图像应用参数的第一关联关系；
所述基于所述应用场景标识获取对应的图像应用参数，包括：
根据所述第一关联关系查找所述应用场景标识对应的图像应用参数。
3.根据权利要求1所述的方法，其特征在于，在所述获取初始训练图像和应用场景标识，并基于所述应用场景标识获取对应的图像应用参数之前，还包括：
获取各个应用场景标识对应的应用场景视频；
基于所述应用场景视频获取对应的视频编码格式，基于所述视频编码格式确定所述应用场景视频对应的视频生成参数，将所述视频生成参数作为所述图像应用参数；
建立所述各个应用场景标识与对应的图像应用参数的第二关联关系；
所述基于所述应用场景标识获取对应的图像应用参数，包括：
根据所述第二关联关系查找所述应用场景标识对应的图像应用参数。
4.根据权利要求1所述的方法，其特征在于，所述基于所述应用场景标识获取对应的图像应用参数，包括：
当所述应用场景标识为特定应用场景标识时，获取所述特定应用场景标识对应的图像生成设备标识；
获取所述图像生成设备标识对应的图像生成参数，将所述图像生成参数作为所述特定应用场景标识对应的图像应用参数。
5.根据权利要求1所述的方法，其特征在于，所述图像应用参数包括图像预处理参数和图像压缩编码参数；
所述按照所述图像应用参数对所述初始训练图像进行应用图像生成，得到与所述应用场景标识匹配的目标训练图像，包括：
使用所述图像预处理参数对所述初始训练图像进行预处理，得到预处理图像；
使用所述图像压缩编码参数对所述预处理图像进行压缩编码，得到所述应用场景标识匹配的目标训练图像。
6.根据权利要求5所述的方法，其特征在于，所述图像预处理参数包括图像退化参数和对象设置参数；
所述使用所述图像预处理参数对所述初始训练图像进行预处理，得到预处理图像，包括：
通过所述图像退化参数对所述初始训练图像进行图像退化，得到退化图像；
对所述退化图像使用所述对象设置参数进行图像设置，得到所述预处理图像。
7.根据权利要求1所述的方法，其特征在于，所述初始画质增强模型包括初始超分辨率模型，所述初始超分辨率模型包括特征提取网络、映射网络和重构网络；
所述将所述目标训练图像输入到初始画质增强模型中进行图像画质增强，得到初始画质增强图像，包括：
将所述目标训练图像输入到所述特征提取网络中进行特征提取，得到初始图像特征；
将所述初始图像特征输入到所述映射网络中进行特征映射，得到映射特征；
将所述映射特征输入到所述重构网络中进行图像重构，得到所述初始画质增强图像。
8.根据权利要求7所述的方法，其特征在于，所述将所述目标训练图像输入到所述特征提取网络中进行特征提取，得到初始图像特征，包括：
当所述目标训练图像的尺寸小于预设目标尺寸时，将所述目标训练图像进行图像放大，得到符合预设目标尺寸的预处理图像；
将所述符合预设目标尺寸的预处理图像输入到所述特征提取网络中进行特征提取，得到所述初始图像特征。
9.根据权利要求1所述的方法，其特征在于，在所述将所述更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的步骤执行，直到达到训练完成条件时，得到所述应用场景标识对应的目标画质增强模型之后，还包括：
获取所述应用场景标识对应的应用图像，将所述应用图像输入到所述应用场景标识对应的目标画质增强模型中进行图像画质增强，得到所述应用场景标识对应的目标画质增强图像。
10.根据权利要求9所述的方法，其特征在于，所述获取所述应用场景标识对应的应用图像，包括：
获取应用场景标识对应的应用视频，所述应用视频是经过所述应用场景标识对应的视频应用参数进行视频生成后得到的；
将所述应用视频进行分帧，得到各个视频帧，将所述各个视频帧依次作为应用图像；
在所述将所述应用图像输入到所述应用场景标识对应的目标画质增强模型中进行图像画质增强，得到所述应用场景标识对应的目标画质增强图像之后，还包括：
将所述各个视频帧对应的目标画质增强图像进行合帧，得到所述应用场景标识对应的目标画质增强视频。
11.根据权利要求9所述的方法，其特征在于，所述应用场景标识包括至少两个；所述方法还包括：
获取初始训练图像和至少两个应用场景标识，并基于所述至少两个应用场景标识获取对应的图像应用参数；
按照所述图像应用参数对所述初始训练图像进行应用图像生成，得到与所述至少两个应用场景标识匹配的目标训练图像；
将所述目标训练图像输入到初始画质增强模型中进行图像画质增强，得到初始画质增强图像；
基于所述初始画质增强图像与所述初始训练图像进行损失计算，得到损失信息，基于所述损失信息反向更新所述初始画质增强模型，得到更新画质增强模型；
将所述更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的步骤执行，直到达到训练完成条件时，得到所述至少两个应用场景标识分别对应的目标画质增强模型。
12.一种画质增强模型训练装置，其特征在于，所述装置包括：
参数获取模块，用于获取初始训练图像和应用场景标识，并基于所述应用场景标识获取对应的图像应用参数；
图像生成模块，用于按照所述图像应用参数对所述初始训练图像进行应用图像生成，得到与所述应用场景标识匹配的目标训练图像；
图像画质增强模块，用于将所述目标训练图像输入到初始画质增强模型中进行图像画质增强，得到初始画质增强图像；
更新模块，用于基于所述初始画质增强图像与所述初始训练图像进行损失计算，得到损失信息，基于所述损失信息反向更新所述初始画质增强模型，得到更新画质增强模型；
迭代模块，用于将所述更新画质增强模型作为初始画质增强模型，并返回获取初始训练图像的步骤执行，直到达到训练完成条件时，得到所述应用场景标识对应的目标画质增强模型，所述目标画质增强模型用于对所述应用场景标识对应的图像进行画质增强。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202210742259.8A 2022-06-28 2022-06-28 画质增强模型训练方法、装置、计算机设备和存储介质 Pending CN117391961A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210742259.8A CN117391961A (zh) 2022-06-28 2022-06-28 画质增强模型训练方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210742259.8A CN117391961A (zh) 2022-06-28 2022-06-28 画质增强模型训练方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN117391961A true CN117391961A (zh) 2024-01-12

Family

ID=89470733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210742259.8A Pending CN117391961A (zh) 2022-06-28 2022-06-28 画质增强模型训练方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117391961A (zh)

Similar Documents

Publication Publication Date Title
CN110222758B (zh) 一种图像处理方法、装置、设备及存储介质
CN111047516A (zh) 图像处理方法、装置、计算机设备和存储介质
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
Ma et al. Joint feature and texture coding: Toward smart video representation via front-end intelligence
Yang et al. Reference-guided deep super-resolution via manifold localized external compensation
Vitoria et al. Semantic image inpainting through improved wasserstein generative adversarial networks
CN116803079A (zh) 视频和相关特征的可分级译码
CN116233445B (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
CN113379858A (zh) 一种基于深度学习的图像压缩方法及装置
CN113033677A (zh) 视频分类方法、装置、电子设备和存储介质
Fuoli et al. NTIRE 2020 challenge on video quality mapping: Methods and results
US11095901B2 (en) Object manipulation video conference compression
CN117218013A (zh) 事件相机图像处理方法、训练方法、系统、设备及介质
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质
Yu et al. Deep learning-based RGB-thermal image denoising: review and applications
CN113542780B (zh) 一种网络直播视频的压缩伪影去除方法及装置
CN117391961A (zh) 画质增强模型训练方法、装置、计算机设备和存储介质
Xiong et al. ψ-Net: Point Structural Information Network for No-Reference Point Cloud Quality Assessment
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
Nie et al. Image restoration from patch-based compressed sensing measurement
CN114782256B (zh) 图像重建方法、装置、计算机设备和存储介质
Kim et al. No‐reference quality assessment of dynamic sports videos based on a spatiotemporal motion model
US20240119637A1 (en) Image synthesis method and system
CN114119698B (zh) 基于注意力机制的无监督单目深度估计方法
CN114554220B (zh) 一种基于抽象特征的固定场景视频超限压缩与解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination