CN113297937A - 一种图像处理方法、装置、设备及介质 - Google Patents

一种图像处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN113297937A
CN113297937A CN202110533351.9A CN202110533351A CN113297937A CN 113297937 A CN113297937 A CN 113297937A CN 202110533351 A CN202110533351 A CN 202110533351A CN 113297937 A CN113297937 A CN 113297937A
Authority
CN
China
Prior art keywords
image
optimized
scene
sample
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110533351.9A
Other languages
English (en)
Other versions
CN113297937B (zh
Inventor
周琛晖
阮良
陈功
陈丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Zhiqi Technology Co Ltd
Original Assignee
Hangzhou Langhe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Langhe Technology Co Ltd filed Critical Hangzhou Langhe Technology Co Ltd
Priority to CN202110533351.9A priority Critical patent/CN113297937B/zh
Publication of CN113297937A publication Critical patent/CN113297937A/zh
Application granted granted Critical
Publication of CN113297937B publication Critical patent/CN113297937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种图像处理方法、装置、设备及介质，用以解决现有视频中的图像存在画质低的问题。由于预先训练有场景画质识别模型以及像素转换模型，通过该预先训练的场景画质识别模型，可以确定待优化图像的第一场景类别以及第一画质信息，使得后续通过像素转换模型，可以基于该第一场景类别、第一画质信息以及待优化图像，确定待优化图像对应的优化图像，提高该优化图像的画质，提高用户体验。

Description

一种图像处理方法、装置、设备及介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及介质。
背景技术
随着图像处理技术的进步以及网速的大规模升级，用户可以浏览得越来越多的视频为超清/高清视频。但是在直播点播或者实时音视频通信(Real-Time Communication，RTC)场景中，由于受到拍摄设备或者拍摄环境的影响，该场景下的视频中的图像存在对比度低，色彩灰暗，清晰度差等画质问题。因此，如何提高视频中的图像的画质，从而实现增强画质是近几年来人们日益关注的问题。
发明内容
本公开提供了一种图像处理方法、装置、设备及介质，用以解决现有视频中的图像存在画质低的问题。
本公开提供了一种图像处理方法，所述方法包括：
获取待优化图像；
通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息；所述第一场景类别为所述待优化图像中的内容所归属的场景的类别；
通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像；所述像素转换模型用于对所述待优化图像中的像素点的像素值进行调整。
在某些可能的实施方式中，所述通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息，包括：
通过所述场景画质识别模型中的特征提取层，获取所述待优化图像的图像特征；
将所述图像特征分别输入至所述场景画质识别模型中的场景识别层以及画质识别层，以获取所述待优化图像的第一场景类别以及第一画质信息。
在某些可能的实施方式中，所述方法还包括：
通过所述场景画质识别模型中的预处理层，对所述待优化图像进行下采样处理。
在某些可能的实施方式中，所述场景画质识别模型通过如下方式训练：
获取第一样本集中任一第一样本图像；所述第一样本图像对应有第二场景类别以及第二画质信息；
通过原始场景画质识别模型，获取所述第一样本图像的第三场景类别以及第三画质信息；
基于所述第二画质信息及其对应的第三画质信息、所述第二场景类别及其对应的第三场景类别，对所述原始场景画质识别模型进行训练，以获得训练完成的场景画质识别模型。
在某些可能的实施方式中，所述第一样本图像通过如下方式获取：
将采集到的原始图像确定为第一样本图像；和/或
对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为第一样本图像。
在某些可能的实施方式中，通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对所述原始图像中像素点的像素值进行调整；
方式二、对所述原始图像中像素点的像素值进行对比度调整；
方式三、对所述原始图像中像素点的像素值进行亮度调整；
方式四、对所述原始图像中像素点的像素值进行加噪处理。
在某些可能的实施方式中，所述通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像，包括：
通过预先训练的三维查找表3D LUT，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像。
在某些可能的实施方式中，所述3D LUT通过如下方式训练：
获取第二样本集中的任一第二样本图像；所述第二样本图像对应有样本场景类别、样本画质信息以及标准优化图像；
通过原始3D LUT，基于所述样本场景类别以及样本画质信息，确定所述第二样本图像对应的样本优化图像；
基于所述样本优化图像中像素点的像素值、以及所述标准优化图像中对应像素点的目标像素值，对所述原始3D LUT进行训练，以获取训练完成的3DLUT。
在某些可能的实施方式中，所述通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像，包括：
通过预先训练的卷积神经网络，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像。
在某些可能的实施方式中，所述卷积神经网络通过如下方式训练：
获取第二样本集中的任一第二样本图像；所述第二样本图像对应有样本场景类别、样本画质信息以及标准优化图像；
通过原始卷积神经网络，基于所述样本场景类别以及样本画质信息，确定所述第二样本图像对应的样本优化图像；
基于所述样本优化图像中像素点的像素值、以及所述标准优化图像中对应像素点的目标像素值，对所述原始卷积神经网络进行训练，以获取训练完成的卷积神经网络。
本公开提供了一种图像处理装置，所述装置包括：
获取单元，用于获取待优化图像；
第一处理单元，用于通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息；所述第一场景类别为所述待优化图像中的内容所归属的场景的类别；
第二处理单元，用于通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像；所述像素转换模型用于对所述待优化图像中的像素点的像素值进行调整。
在某些可能的实施方式中，所述第一处理单元，具体用于通过所述场景画质识别模型中的特征提取层，获取所述待优化图像的图像特征；将所述图像特征分别输入至所述场景画质识别模型中的场景识别层以及画质识别层，以获取所述待优化图像的第一场景类别以及第一画质信息。
在某些可能的实施方式中，所述第一处理单元，还用于通过所述场景画质识别模型中的预处理层，对所述待优化图像进行下采样处理。
在某些可能的实施方式中，所述装置还包括：第一训练单元；
所述第一训练单元，用于获取第一样本集中任一第一样本图像；所述第一样本图像对应有第二场景类别以及第二画质信息；通过原始场景画质识别模型，获取所述第一样本图像的第三场景类别以及第三画质信息；基于所述第二画质信息及其对应的第三画质信息、所述第二场景类别及其对应的第三场景类别，对所述原始场景画质识别模型进行训练，以获得训练完成的场景画质识别模型。
在某些可能的实施方式中，所述装置还包括：预处理单元；
所述预处理单元，用于将采集到的原始图像确定为第一样本图像；和/或，对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为第一样本图像。
在某些可能的实施方式中，所述预处理单元，具体用于通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对所述原始图像中像素点的像素值进行调整；
方式二、对所述原始图像中像素点的像素值进行对比度调整；
方式三、对所述原始图像中像素点的像素值进行亮度调整；
方式四、对所述原始图像中像素点的像素值进行加噪处理。
在某些可能的实施方式中，所述第二处理单元，具体用于通过预先训练的三维查找表3D LUT，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像。
在某些可能的实施方式中，所述装置还包括：第二处理单元；
所述第二处理单元，用于获取第二样本集中的任一第二样本图像；所述第二样本图像对应有样本场景类别、样本画质信息以及标准优化图像；通过原始3D LUT，基于所述样本场景类别以及样本画质信息，确定所述第二样本图像对应的样本优化图像；基于所述样本优化图像中像素点的像素值、以及所述标准优化图像中对应像素点的目标像素值，对所述原始3D LUT进行训练，以获取训练完成的3D LUT。
在某些可能的实施方式中，所述第二处理单元，具体用于通过预先训练的卷积神经网络，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像。
在某些可能的实施方式中，所述装置还包括：第三处理单元；
所述第三处理单元，用于获取第二样本集中的任一第二样本图像；所述第二样本图像对应有样本场景类别、样本画质信息以及标准优化图像；通过原始卷积神经网络，基于所述样本场景类别以及样本画质信息，确定所述第二样本图像对应的样本优化图像；基于所述样本优化图像中像素点的像素值、以及所述标准优化图像中对应像素点的目标像素值，对所述原始卷积神经网络进行训练，以获取训练完成的卷积神经网络。
本公开提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述方法的步骤。
本公开提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述方法的步骤。
由于预先训练有场景画质识别模型以及像素转换模型，通过该预先训练的场景画质识别模型，可以确定待优化图像的第一场景类别以及第一画质信息，使得后续通过像素转换模型，可以基于该第一场景类别、第一画质信息以及待优化图像，确定待优化图像对应的优化图像，提高该优化图像的画质，提高用户体验。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开提供的一种图像处理过程示意图；
图2为本公开提供的调整后的图像的效果示意图；
图3为本公开提供的一种场景画质识别模型的训练过程示意图；
图4为本公开提供的一种原始场景画质识别模型的结构示意图；
图5为本公开提供的一种卷积神经网络的训练过程示意图；
图6为本公开提供的一种3D LUT的训练过程示意图；
图7为本公开提供的一种第二样本集中的第二样本图像的示意图；
图8为本公开提供的对原始3D LUT模型进行训练的场景示意图；
图9为本公开提供的具体的图像处理流程示意图；
图10为本公开提供的一种图像处理装置的结构示意图；
图11为本公开提供的一种电子设备结构示意图。
具体实施方式
下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
为了方便理解，下面对本公开实施例中涉及的部分概念进行解释：
(1)图像分析(Image analysis)：一般利用数学模型并结合图像处理的技术，来分析图像的底层特征和上层结构，从而从图像中提取具有一定智能性的信息。在画质增强任务中，图像分析主要用来分析图像场景类别以及对图像画质进行评估。
(2)卷积神经网络(Convolutional Neural Networks，CNN)：卷积神经网络是人工智能领域的重要算法，是一类包含卷积计算且具有深度结构的神经网络，是深度学习的代表算法之一。
(3)画质：画面质量。包括清晰度、锐度、镜头畸变、色散度、解析度、色域范围、色彩纯度(色彩艳度)、色彩平衡等几方面指标。
(4)画质增强(image enhance)：是对图像视频画质进行分析及处理，使得图像视频画面色彩更加靓丽纯正，画面更加清晰，对比度增强，细节更突出。
(5)三维查找表(Three-Dimensional Look Up Table，3DLUT)：相当于一个离散函数。通过三维查找表，基于输入的数据，得到对应的输出的数据。该三维查找表可以用于很多领域。例如，在调色领域，该三维查找表一般被称为颜色查找表。通过颜色查找表，可以获取到输入的红R、绿G、蓝B这三个分量对应的转换后的R、G、B三个分量，从而实现颜色的转换。
随着图像处理技术的进步以及网速的大规模升级，用户可以浏览得越来越多的视频为超清/高清视频。但是在直播点播或者RTC场景中，由于受到拍摄设备或者拍摄环境的影响，该场景下的视频中的图像存在对比度低，色彩灰暗，清晰度差等画质问题。因此，如何提高视频中的图像的画质，从而实现增强画质是近几年来人们日益关注的问题。
由于深度学习技术的快速发展，越来越多的领域开始使用深度学习技术。因此，如何采用深度学习的方法实现图像的画质增强，也成为计算机视觉领域的研究热点，受到学术界和工业界的关注和重视。
相关技术中，为了增强画质，可以基于深度双边学习的实时画质增强(DeepBilateral Learning for Real-Time Image Enhancement，HDRNet)方法，实现图像的画质增强。具体过程为，获取到待优化图像之后，通过预先训练的HDRNet模型，获取该待优化图像对应的优化图像。
由于RTC以及直播点播视频等场景比较复杂，通过上述的方法获取到的优化图像的画质可能仍无法满足场景的需求。
因此，为了解决现有视频中的图像存在画质低的问题，本公开提供了一种图像处理方法、装置、设备及介质。由于预先训练有场景画质识别模型以及像素转换模型，通过该预先训练的场景画质识别模型，可以确定待优化图像的第一场景类别以及第一画质信息，使得后续通过像素转换模型，可以基于该第一场景类别、第一画质信息以及待优化图像，确定待优化图像对应的优化图像，提高该优化图像的画质，提高用户体验。
图1为本公开提供的一种图像处理过程示意图，该过程包括：
S101：获取待优化图像。
本公开提供的图像处理方法可应用于电子设备，该电子设备可以是服务器，也可以是智能设备等。具体实施过程中，可以根据实际需求进行灵活设置，在此不做具体限定。
在一种示例中，电子设备可以实时采集环境中的图像，将采集到的环境中的图像确定为待优化图像。
在另一种示例中，电子设备还可以接收其它设备发送的图像，将接收到的图像确定为待优化图像。
电子设备获取到待优化图像后，基于本公开提供的图像处理方法，对该待优化图像进行处理，获取该待优化图像对应的优化图像，从而实现对待优化图像的画质增强。
S102：通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息；所述第一场景类别为所述待优化图像中的内容所归属的场景的类别。
由于RTC以及直播点播视频等场景比较复杂，且不同画质的待优化图像所需画质增强的程度是不同的。为了提高待优化图像的画质，预先训练有场景画质识别模型，以通过该场景画质识别模型，可以识别待优化图像中的内容所归属的场景、以及待优化图像的画质信息。
在一种示例中，获取到待优化图像后，将该待优化图像输入到预先训练的场景画质识别模型。通过预先训练的场景画质识别模型，确定待优化图像的场景类别(记为第一场景类别)以及画质信息(记为第一画质信息)。基于该待优化图像、第一场景类别以及第一画质信息，进行后续的处理，获取待优化图像对应的优化图像。
其中，第一场景类别为待优化图像中的内容所归属的场景的类别。比如，待优化图像中的内容所归属的场景是游戏，则该待优化图像的第一场景类别为游戏的类别；待优化图像中的内容所归属的场景是体育，则该待优化图像的第一场景类别为体育的类别。
其中，第一画质信息可以为待优化图像的画质所归属的预设的画质的类别，比如，预设的画质的类别包括：暗光、过曝、低对比度、低饱和度和正常图片等。
作为一种可能的实施方式中，所述通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息，包括：
通过所述场景画质识别模型中的特征提取层，获取所述待优化图像的图像特征；
将所述图像特征分别输入至所述场景画质识别模型中的场景识别层以及画质识别层，以获取所述待优化图像的第一场景类别以及第一画质信息。
为了获取待优化图像的场景类别和画质信息，预先训练有场景画质识别模型，该场景画质识别模型主要包括特征提取层、场景识别层以及画质识别层。其中，特征提取层分别与场景识别层、画质识别层连接。通过特征提取层，可以对输入的待优化图像进行相应的处理，提取待优化图像中的特征。通过场景识别层，可以对特征提取层提取到的特征进行处理，获取待优化图像的第一场景类别。而通过画质识别层，可以对特征提取层提取到的特征进行处理，获取待优化图像的第一画质信息。
在一种可能的实施方式中，当获取到了待优化图像之后，将该待优化图像输入到预先训练的场景画质识别模型。通过该场景画质识别模型中的特征提取层，对输入的待优化图像进行相应的处理，获取待优化图像的图像特征。
其中，该特征提取层可以由卷积层和池化层构成，还可以有卷积层、池化层以及全连接层构成。
场景画质识别模型中的场景识别层和画质识别层可以在特征提取层输出图像特征后，分别对该图像特征进行处理。通过该场景识别层，对该图像特征进行相应的处理，确定待优化图像的第一场景类别。并通过该画质识别层，对该图像特征进行相应的处理，确定待优化图像的第一画质信息。
由于场景画质识别模型中的场景识别层和画质识别层共享一个特征提取层，可以有效减少该场景画质识别模型所占的内存资源，减少该场景画质识别模型所需的计算量。
可选的，预先训练的场景画质识别模型中还可能包括预处理层，该预处理层与特征提取层连接。通过该预处理层，可以对待优化图像进行下采样处理。
在一种可能的实施方式中，该预处理层可以采用插值算法，对待优化图像进行下采样处理。
当基于上述的实施例获取到待优化图像后，将该待优化图像输入至该场景画质识别模型。通过该场景画质识别模型中的预处理层，对待优化图像进行下采样处理。场景画质识别模型中的特征提取层可以获取到预处理层输出的下采样处理后的数据，对该下采样处理后的数据进行相应的处理，提取待优化图像中包含的图像特征。
将获取到的图像特征分别输入至场景画质识别模型中的场景识别层以及画质识别层，以获取待优化图像的第一场景类别以及第一画质信息。
在对待优化图像进行特征提取之前，通过场景画质识别模型中的预处理层，对待优化图像进行下采样处理，可以有效减少后续通过特征提取层提取待优化图像中的图像特征所需的计算量。
S103：通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像；所述像素转换模型用于对所述待优化图像中的像素点的像素值进行调整。
为了提高待优化图像的画质，预先训练有像素转换模型，以通过该像素转换模型，可以对待优化图像中包含的而每个像素点的像素值进行调整，从而获取待优化图像对应的优化图像。当基于上述的实施例获取到第一场景类别和第一画质信息之后，将该第一场景类别、第一画质信息以及待优化图像输入至预先训练的像素转换模型。通过该预先训练的像素转换模型，基于第一场景类别、第一画质信息以及待优化图像，可以获取待优化图像对应的优化图像。
由于预先训练有场景画质识别模型以及像素转换模型，通过该预先训练的场景画质识别模型，可以确定待优化图像的第一场景类别以及第一画质信息，使得后续通过像素转换模型，可以基于该第一场景类别、第一画质信息以及待优化图像，确定待优化图像对应的优化图像，提高该优化图像的画质，提高用户体验。
为了提高待优化图像的画质，在上述实施例的基础上，在本公开中，所述场景画质识别模型通过如下方式训练：
获取第一样本集中任一第一样本图像；所述第一样本图像对应有第二场景类别以及第二画质信息；
通过原始场景画质识别模型，获取所述第一样本图像的第三场景类别以及第三画质信息；
基于所述第二画质信息及其对应的第三画质信息、所述第二场景类别及其对应的第三场景类别，对所述原始场景画质识别模型进行训练，以获得训练完成的场景画质识别模型。
为了提高待优化图像的画质，需要根据预先获取的样本集(记为第一样本集)中的任一样本图像(记为第一样本图像)，对场景画质识别模型进行训练。其中，第一样本集中的第一样本图像通过如下方式获取：将采集到的原始图像确定为第一样本图像；和/或，对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为第一样本图像。
需要说明的是，为了方便训练原始场景画质识别模型，第一样本集中的任一第一样本图像对应有场景类别(记为第二场景类别)以及画质信息(记为画质信息)。
可选的，用于训练原始场景画质识别模型的电子设备可以与上述进行图像处理的电子设备相同，也可以不同。
作为一种可能的实施方式，如果第一样本集中包含充足数量的第一样本图像，即包含了大量不同环境下的采集到的原始图像，则可以根据第一样本集中的第一样本图像对原始场景画质识别模型进行训练。
作为另一种可能的实施方式，如果为了保证第一样本图像的多样性，以提高场景画质识别模型的准确性，可以通过上述对原始图像中的像素点的像素值进行调整的方式，得到大量的调整后的图像，将调整后的图像确定为第一样本图像，以对原始场景画质识别模型进行训练。
采用上述的方法，可以快速获取到大量的第一样本图像，降低了获取第一样本图像的难度、以及所耗费的资源，有利于后续根据获取到的第一样本图像，对场景画质识别模型进行训练，使得训练完成的场景画质识别模型更加准确。
作为再一种可能的实施方式，还可以将采集到的原始图像、以及对采集到的原始图像中的像素点的像素值进行调整后获取到的调整后的图像，均确定为第一样本图像。根据第一样本集中的原始图像以及调整后的图像，一起训练上述的原始场景画质识别模型。
在一种示例中，通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对所述原始图像中像素点的像素值进行调整；
方式二、对所述原始图像中像素点的像素值进行对比度调整；
方式三、对所述原始图像中像素点的像素值进行亮度调整；
方式四、对所述原始图像中像素点的像素值进行加噪处理。
据统计，在电子设备的工作场景中，获取到的待优化图像中存在的比较常见的画质问题包括：模糊、曝光、过暗、对比度过低、画面中存在噪点等。为了保证第一样本图像的多样性，以提高场景画质识别模型的准确性，可以预先针对电子设备的工作场景中，获取到的待优化图像中可能存在的画质问题，对采集到的原始图像的画质进行调整。
在一种示例中，如果希望对原始图像的清晰度进行调整，从而获取不同清晰度的调整后的图像，可以通过预设的卷积核，对原始图像中像素点的像素值进行卷积计算，从而调整原始图像中像素点的像素值。其中，在对原始图像的清晰度进行调整的过程中，该预设的卷积核应尽可能的不同，以使第一样本集中的第一样本图像的清晰度更加的多样化，从而提高场景画质识别模型的准确性和鲁棒性。
其中，通过预设的卷积核，对原始图像中像素点的像素值进行调整的过程属于现有技术，在此不做具体赘述。
在一种示例中，如果希望对原始图像的对比度进行调整，从而获取不同对比度的调整后的图像，可以对原始图像中像素点的像素值进行对比度调整。其中，在对原始图像的对比度进行调整的过程中，可以尽可能获取不同对比度的调整后的图像，以使第一样本集中的第一样本图像的对比度更加的多样化，从而提高场景画质识别模型的准确性和鲁棒性。
其中，对原始图像中像素点的像素值进行对比度调整的过程属于现有技术，在此不做具体赘述。
在一种示例中，如果希望对原始图像的亮度进行调整，从而获取不同亮度的调整后的图像，可以对原始图像中像素点的像素值进行亮度调整。其中，在对原始图像的亮度进行调整的过程中，可以尽可能获取不同亮度的调整后的图像，以使第一样本集中的第一样本图像的亮度更加的多样化，从而提高场景画质识别模型的准确性和鲁棒性。
其中，对原始图像中像素点的像素值进行亮度调整的过程属于现有技术，在此不做具体赘述。
在一种示例中，如果希望对原始图像进行加噪处理，从而获取存在不同噪声的调整后的图像，可以对原始图像中像素点的像素值进行加噪处理，即随机向原始图像添加噪声。其中，在对原始图像进行加噪处理的过程中，所使用的噪声种类还应尽可能的多，比如，白噪声、椒盐噪声、高斯噪声等，以使第一样本集中的第一样本图像更加的多样化，从而提高场景画质识别模型的准确性和鲁棒性。
其中，对原始图像中像素点的像素值进行加噪处理的过程属于现有技术，在此不做具体赘述。
通过上述的方式，获取第一样本图像，可以使第一样本集中的第一样本图像的数量倍增，使得可以快速获取到大量的第一样本图像，降低获取第一样本图像的难度、成本和所耗费的资源。后续可以根据更多的第一样本图像，对原始场景画质识别模型进行训练，提高了场景画质识别模型的准确性和鲁棒性。
图2为本公开提供的调整后的图像的效果示意图。如图2所示，(a)为对原始图像中像素点的像素值进行亮度调整，(b)为通过预设的卷积核，对原始图像中像素点的像素值进行调整，(c)为原始图像中像素点的像素值进行对比度调整，(d)对原始图像中像素点的像素值进行加噪处理。
将任一第一样本图像输入到原始场景画质识别模型。通过原始场景画质识别模型，可以获得上述第一样本图像的场景类别(记为第三场景类别)以及画质信息(记为第三画质信息)。根据第二画质信息及其对应的第三画质信息、第二场景类别及其对应的第三场景类别，确定损失值(记为第一损失值)。根据该第一损失值，对原始场景画质识别模型进行训练，以调整原始场景画质识别模型的各参数的参数值。
可选的，根据第二画质信息及其对应的第三画质信息，确定第一子损失值；并根据第二场景类别及其对应的第三场景类别，确定第二子损失值。根据第一子损失值以及第二子损失值，确定第一损失值。
在一种可能的实施方式中，根据第一子损失值以及第二子损失值，确定第一损失值可以通过如下公式确定：
Loss1＝w1*Loss_s+w2*Loss_q
其中，Loss_s表示第一子损失值，Loss_q表示第二子损失值，w1为第一子损失值对应的权重值，w2是第二子损失值对应的权重值。
对场景画质识别模型训练的第一样本集中包含大量的第一样本图像，对每个第一样本图像都进行上述操作，当满足预设的收敛条件时，该场景画质识别模型训练完成。
其中，满足预设的收敛条件可以为第一样本集中每个第一样本图像对应的第一损失值的和小于预设的阈值(记为第一阈值)，或对原始场景画质识别模型进行训练的迭代次数达到设置的最大迭代次数(记为第一最大迭代次数)等。具体实施中可以灵活进行设置，在此不做具体限定。
作为一种可能的实施方式，在进行原始场景画质识别模型训练时，可以把第一样本集中的第一样本图像分训练样本和测试样本，先基于训练样本对原始场景画质识别模型进行训练，再基于测试样本对上述已训练的场景画质识别模型的可靠程度进行验证。
图3为本公开提供的一种场景画质识别模型的训练过程示意图，该过程包括：
S301：获取第一样本集中的第一样本图像。
其中，第一样本图像通过如下方式获取：将采集到的原始图像确定为第一样本图像，和/或，对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为第一样本图像。
可选的，通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对原始图像中像素点的像素值进行调整；
方式二、对原始图像中像素点的像素值进行对比度调整；
方式三、对原始图像中像素点的像素值进行亮度调整；
方式四、对原始图像中像素点的像素值进行加噪处理。
S302：确定第一样本集中第一样本图像对应的第二场景类别和第二画质信息。
S303：获取第一样本集中任一第一样本图像；第一样本图像对应有第二场景类别以及第二画质信息。
S304：通过原始场景画质识别模型，获取第一样本图像的第三场景类别以及第三画质信息。
图4为本公开提供的一种原始场景画质识别模型的结构示意图。如图4所示，通过原始场景画质识别模型中的预处理层，对第一样本图像进行下采样处理。通过原始场景画质识别模型中的特征提取层，获取下采样后的第一样本图像中的图像特征。将该图像特征分别输入至原始场景画质识别模型中的场景识别层以及画质识别层，以获取第一样本图像的第二场景类别以及第二画质信息。
其中，如图4所示，该原始场景画质识别模型中的特征提取层由卷积层(conv)、池化层(pool)、以及全连接层(FC)构成。
S305：基于第二画质信息及其对应的第三画质信息、第二场景类别及其对应的第三场景类别，对原始场景画质识别模型进行训练，以获得训练完成的场景画质识别模型。
为了提高待优化图像的画质，在上述各实施例的基础上，在本公开中，所述通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像，包括：
通过预先训练的卷积神经网络，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像。
在一种可能的实施方式中，该像素转换模型可以为卷积神经网络。通过该卷积神经网络，基于第一场景类别、第一画质信息以及待优化图像，获取该待优化图像对应的优化图像，从而实现对待优化图像的画质进行增强。
由于预先训练有卷积神经网络，通过该卷积神经网络，确定待优化图像对应的优化图像时，可以结合待优化图像的第一场景类别以及第一画质信息，从而使得所获取到的优化图像的画质可以更好，提高用户体验。
在一种示例中，所述卷积神经网络通过如下方式训练：
获取第二样本集中的任一第二样本图像；所述第二样本图像对应有样本场景类别、样本画质信息以及标准优化图像；
通过原始卷积神经网络，基于所述样本场景类别以及样本画质信息，确定所述第二样本图像对应的样本优化图像；
基于所述样本优化图像中像素点的像素值、以及所述标准优化图像中对应像素点的目标像素值，对所述原始卷积神经网络进行训练，以获取训练完成的卷积神经网络。
为了提高待优化图像的画质，需要根据预先获取的样本集(记为第二样本集)中的任一样本图像(记为第二样本图像)，对卷积神经网络进行训练。其中，第二样本集中的第二样本图像通过如下方式获取：将采集到的原始图像确定为第二样本图像；和/或，对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为第二样本图像。
需要说明的是，为了方便训练原始卷积神经网络，第二样本集中的任一第二样本图像对应有场景类别(记为样本场景类别)、画质信息(记为样本画质信息)以及对应的标准优化图像。
其中，第二样本图像对应的样本场景类别以及样本画质信息可以是通过人工标注的，也可以通过上述预先训练的场景画质识别模型获取到的。
可选的，用于训练原始卷积神经网络的电子设备可以与上述进行图像处理的电子设备相同，也可以不同。
作为一种可能的实施方式，如果第二样本集中包含充足数量的第二样本图像，即包含了大量不同环境下的采集到的原始图像，则可以根据第二样本集中的第二样本图像对原始卷积神经网络进行训练。
作为另一种可能的实施方式，如果为了保证第二样本图像的多样性，以提高卷积神经网络的准确性，可以通过上述对原始图像中的像素点的像素值进行调整的方式，得到大量的调整后的图像，将调整后的图像确定为第二样本图像，以对原始卷积神经网络进行训练。
作为再一种可能的实施方式，还可以将采集到的原始图像、以及对采集到的原始图像中的像素点的像素值进行调整后获取到的调整后的图像，均确定为第二样本图像。根据第二样本集中的原始图像以及调整后的图像，一起训练上述的原始卷积神经网络。
在一种示例中，通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对所述原始图像中像素点的像素值进行调整；
方式二、对所述原始图像中像素点的像素值进行对比度调整；
方式三、对所述原始图像中像素点的像素值进行亮度调整；
方式四、对所述原始图像中像素点的像素值进行加噪处理。
据统计，在电子设备的工作场景中，获取到的待优化图像中存在的比较常见的画质问题包括：模糊、曝光、过暗、对比度过低、画面中存在噪点等。为了保证第二样本图像的多样性，以提高卷积神经网络的准确性，可以预先针对电子设备的工作场景中，获取到的待优化图像中可能存在的画质问题，对采集到的原始图像的画质进行调整。
在一种示例中，如果希望对原始图像的清晰度进行调整，从而获取不同清晰度的调整后的图像，可以通过预设的卷积核，对原始图像中像素点的像素值进行卷积计算，从而调整原始图像中像素点的像素值。其中，在对原始图像的清晰度进行调整的过程中，该预设的卷积核应尽可能的不同，以使第二样本集中的第二样本图像的清晰度更加的多样化，从而提高卷积神经网络的准确性和鲁棒性。
其中，通过预设的卷积核，对原始图像中像素点的像素值进行调整的过程属于现有技术，在此不做具体赘述。
在一种示例中，如果希望对原始图像的对比度进行调整，从而获取不同对比度的调整后的图像，可以对原始图像中像素点的像素值进行对比度调整。其中，在对原始图像的对比度进行调整的过程中，可以尽可能获取不同对比度的调整后的图像，以使第二样本集中的第二样本图像的对比度更加的多样化，从而提高卷积神经网络的准确性和鲁棒性。
其中，对原始图像中像素点的像素值进行对比度调整的过程属于现有技术，在此不做具体赘述。
在一种示例中，如果希望对原始图像的亮度进行调整，从而获取不同亮度的调整后的图像，可以对原始图像中像素点的像素值进行亮度调整。其中，在对原始图像的亮度进行调整的过程中，可以尽可能获取不同亮度的调整后的图像，以使第二样本集中的第二样本图像的亮度更加的多样化，从而提高卷积神经网络的准确性和鲁棒性。
其中，对原始图像中像素点的像素值进行亮度调整的过程属于现有技术，在此不做具体赘述。
在一种示例中，如果希望对原始图像进行加噪处理，从而获取存在不同噪声的调整后的图像，可以对原始图像中像素点的像素值进行加噪处理，即随机向原始图像添加噪声。其中，在对原始图像进行加噪处理的过程中，所使用的噪声种类还应尽可能的多，比如，白噪声、椒盐噪声、高斯噪声等，以使第二样本集中的第二样本图像更加的多样化，从而提高卷积神经网络的准确性和鲁棒性。
其中，对原始图像中像素点的像素值进行加噪处理的过程属于现有技术，在此不做具体赘述。
通过上述的方式，获取第二样本图像，可以使第二样本集中的第二样本图像的数量倍增，使得可以快速获取到大量的第二样本图像，降低获取第二样本图像的难度、成本和所耗费的资源。后续可以根据更多的第二样本图像，对原始卷积神经网络进行训练，提高了卷积神经网络的准确性和鲁棒性。
在一种可能的实施方式中，第二样本集中的第二样本图像可以与第一样本集中的第一样本图像部分或完全相同。
将任一第二样本图像输入到原始卷积神经网络。通过原始卷积神经网络，可以获得上述第二样本图像对应的样本优化图像。根据样本优化图像中包含的每个像素点的像素值、以及标准优化图像中对应像素点的目标像素值，确定损失值(记为第二损失值)。根据该第二损失值，对原始卷积神经网络进行训练，以调整原始卷积神经网络的各参数的参数值。
对卷积神经网络训练的第二样本集中包含大量的第二样本图像，对每个第二样本图像都进行上述操作，当满足预设的收敛条件时，该卷积神经网络训练完成。
其中，满足预设的收敛条件可以为第二样本集中每个第二样本图像对应的第二损失值的和小于预设的阈值(记为第二阈值)，或对原始卷积神经网络进行训练的迭代次数达到设置的最大迭代次数(记为第二最大迭代次数)等。具体实施中可以灵活进行设置，在此不做具体限定。
作为一种可能的实施方式，在进行原始卷积神经网络训练时，可以把第二样本集中的第二样本图像分训练样本和测试样本，先基于训练样本对原始卷积神经网络进行训练，再基于测试样本对上述已训练的卷积神经网络的可靠程度进行验证。
通过上述方法训练得到的卷积神经网络可以结合图像的场景类别和画质信息，对待优化图像进行画质得增强，有利于后续通过该卷积神经网络，基于待优化图像、第一场景类别以及第一画质信息，获取到的优化图像的画质更好，提高用户体验。
图5为本公开提供的一种卷积神经网络的训练过程示意图，该过程包括：
S501：获取第二样本集中的第二样本图像。
其中，第二样本图像通过如下方式获取：将采集到的原始图像确定为第二样本图像，和/或，对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为第二样本图像。
可选的，通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对原始图像中像素点的像素值进行调整；
方式二、对原始图像中像素点的像素值进行对比度调整；
方式三、对原始图像中像素点的像素值进行亮度调整；
方式四、对原始图像中像素点的像素值进行加噪处理。
S502：确定第二样本集中第二样本图像对应的第二场景类别、第二画质信息以及标准优化图像。
S503：获取第二样本集中任一第二样本图像；第二样本图像对应有第二场景类别、第二画质信息以及标准优化图像。
S504：通过原始卷积神经网络，获取第二样本图像对应的样本优化图像。
S505：基于样本优化图像中像素点的像素值、以及标准优化图像中对应像素点的目标像素值，对原始卷积神经网络进行训练，以获取训练完成的卷积神经网络。
由于RTC和视频直播点播大多为实时场景，对于视频中包含的图像的画质进行增强的实时性要求很高，而目前基于深度学习的画质增强算法为追求更好的画质增强效果，通常采用参数量庞大的卷积神经网络。而通过卷积神经网络实现画质增强的过程中，一般所需的计算量比较大，内存消耗也比较高，无法满足RTC或者直播点播等场景下，对视频中包含的图像的画质在短时间内进行增强的要求。并且，卷积神经网络一般都是端到端的黑盒算法，中间过程不可控。当通过卷积神经网络处理复杂场景下的视频时，处理结果比较差且无法明确导致处理结果差的原因。因此，为了减少画质增强过程中所需的计算量以及内存消耗，满足实时对视频中的图像进行画质增强，该像素转换模型可以是3D LUT。
在一种可能的实施方式中，通过该3D LUT，基于第一场景类别、第一画质信息以及待优化图像，获取该待优化图像对应的优化图像，从而实现对待优化图像的画质进行增强。
在通过3D LUT实现对待优化图像的画质进行增强的过程中，由于3D LUT具有算法简单的特点，使得该画质增强的过程是可控的，且所需的计算量也比较少，消耗内存也比较少，可以速度很快地获取到待优化图像对应的优化图像，实现实时处理高分辨率的图像，比如，可以实现720P、1080P等分辨率的图像的画质增强，提高了对待优化图像的画质进行增强的效率。
在一种示例中，所述3D LUT通过如下方式训练：
获取第二样本集中的任一第二样本图像；所述第二样本图像对应有样本场景类别、样本画质信息以及标准优化图像；
通过原始3D LUT，基于所述样本场景类别以及样本画质信息，确定所述第二样本图像对应的样本优化图像；
基于所述样本优化图像中像素点的像素值、以及所述标准优化图像中对应像素点的目标像素值，对所述原始3D LUT进行训练，以获取训练完成的3DLUT。
为了提高待优化图像的画质，需要根据预先获取的样本集(记为第二样本集)中的任一样本图像(记为第二样本图像)，对3D LUT进行训练。其中，第二样本集中的第二样本图像通过如下方式获取：将采集到的原始图像确定为第二样本图像；和/或，对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为第二样本图像。
需要说明的是，为了方便训练原始3D LUT，第二样本集中的任一第二样本图像对应有场景类别(记为样本场景类别)、画质信息(记为样本画质信息)以及对应的标准优化图像。
其中，第二样本图像对应的样本场景类别以及样本画质信息可以是通过人工标注的，也可以通过上述预先训练的场景画质识别模型获取到的。
可选的，用于训练原始3D LUT的电子设备可以与上述进行图像处理的电子设备相同，也可以不同。
作为一种可能的实施方式，如果第二样本集中包含充足数量的第二样本图像，即包含了大量不同环境下的采集到的原始图像，则可以根据第二样本集中的第二样本图像对原始3D LUT进行训练。
作为另一种可能的实施方式，如果为了保证第二样本图像的多样性，以提高3DLUT的准确性，可以通过上述对原始图像中的像素点的像素值进行调整的方式，得到大量的调整后的图像，将调整后的图像确定为第二样本图像，以对原始3D LUT进行训练。
作为再一种可能的实施方式，还可以将采集到的原始图像、以及对采集到的原始图像中的像素点的像素值进行调整后获取到的调整后的图像，均确定为第二样本图像。根据第二样本集中的原始图像以及调整后的图像，一起训练上述的原始3D LUT。
在一种示例中，通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对所述原始图像中像素点的像素值进行调整；
方式二、对所述原始图像中像素点的像素值进行对比度调整；
方式三、对所述原始图像中像素点的像素值进行亮度调整；
方式四、对所述原始图像中像素点的像素值进行加噪处理。
据统计，在电子设备的工作场景中，获取到的待优化图像中存在的比较常见的画质问题包括：模糊、曝光、过暗、对比度过低、画面中存在噪点等。为了保证第二样本图像的多样性，以提高3D LUT的准确性，可以预先针对电子设备的工作场景中，获取到的待优化图像中可能存在的画质问题，对采集到的原始图像的画质进行调整。
在一种示例中，如果希望对原始图像的清晰度进行调整，从而获取不同清晰度的调整后的图像，可以通过预设的卷积核，对原始图像中像素点的像素值进行卷积计算，从而调整原始图像中像素点的像素值。其中，在对原始图像的清晰度进行调整的过程中，该预设的卷积核应尽可能的不同，以使第二样本集中的第二样本图像的清晰度更加的多样化，从而提高3D LUT的准确性和鲁棒性。
其中，通过预设的卷积核，对原始图像中像素点的像素值进行调整的过程属于现有技术，在此不做具体赘述。
在一种示例中，如果希望对原始图像的对比度进行调整，从而获取不同对比度的调整后的图像，可以对原始图像中像素点的像素值进行对比度调整。其中，在对原始图像的对比度进行调整的过程中，可以尽可能获取不同对比度的调整后的图像，以使第二样本集中的第二样本图像的对比度更加的多样化，从而提高3D LUT的准确性和鲁棒性。
其中，对原始图像中像素点的像素值进行对比度调整的过程属于现有技术，在此不做具体赘述。
在一种示例中，如果希望对原始图像的亮度进行调整，从而获取不同亮度的调整后的图像，可以对原始图像中像素点的像素值进行亮度调整。其中，在对原始图像的亮度进行调整的过程中，可以尽可能获取不同亮度的调整后的图像，以使第二样本集中的第二样本图像的亮度更加的多样化，从而提高3D LUT的准确性和鲁棒性。
其中，对原始图像中像素点的像素值进行亮度调整的过程属于现有技术，在此不做具体赘述。
在一种示例中，如果希望对原始图像进行加噪处理，从而获取存在不同噪声的调整后的图像，可以对原始图像中像素点的像素值进行加噪处理，即随机向原始图像添加噪声。其中，在对原始图像进行加噪处理的过程中，所使用的噪声种类还应尽可能的多，比如，白噪声、椒盐噪声、高斯噪声等，以使第二样本集中的第二样本图像更加的多样化，从而提高3D LUT的准确性和鲁棒性。
其中，对原始图像中像素点的像素值进行加噪处理的过程属于现有技术，在此不做具体赘述。
通过上述的方式，获取第二样本图像，可以使第二样本集中的第二样本图像的数量倍增，使得可以快速获取到大量的第二样本图像，降低获取第二样本图像的难度、成本和所耗费的资源。后续可以根据更多的第二样本图像，对原始3D LUT进行训练，提高了3D LUT的准确性和鲁棒性。
在一种可能的实施方式中，第二样本集中的第二样本图像可以与第一样本集中的第一样本图像部分或完全相同。
将任一第二样本图像输入到原始3D LUT。通过原始3D LUT，可以获得上述第二样本图像对应的样本优化图像。根据样本优化图像中包含的每个像素点的像素值、以及标准优化图像中对应像素点的目标像素值，确定损失值(记为第三损失值)。根据该第三损失值，对原始3D LUT进行训练，以调整原始3D LUT的各参数的参数值。
由于根据样本优化图像中包含的每个像素点的像素值、以及标准优化图像中对应像素点的目标像素值，确定的第三损失值为感知损失值。根据该第三损失值，对原始3D LUT进行训练的过程中，可以让3D LUT输出的样本优化图像的人眼感知效果更佳，后续通过预先训练的3D LUT，获取到的待优化图像对应的优化图像可以具有更好的视觉效果，满足用户的要求。
对3D LUT训练的第二样本集中包含大量的第二样本图像，对每个第二样本图像都进行上述操作，当满足预设的收敛条件时，该3D LUT训练完成。
其中，满足预设的收敛条件可以为第二样本集中每个第二样本图像对应的第二损失值的和小于预设的阈值(记为第二阈值)，或对原始3D LUT进行训练的迭代次数达到设置的最大迭代次数(记为第二最大迭代次数)等。具体实施中可以灵活进行设置，在此不做具体限定。
作为一种可能的实施方式，在进行原始3D LUT训练时，可以把第二样本集中的第二样本图像分训练样本和测试样本，先基于训练样本对原始3D LUT进行训练，再基于测试样本对上述已训练的3D LUT的可靠程度进行验证。
采用上述的方法训练得到3D LUT模型，可以结合图像的场景类别和画质信息，对图像的画质进行优化，使得优化后的图像的画质更好，提高用户体验。并且该训练完成的3DLUT具有算法简单的特点，可以使后续画质增强的过程是可控的，对图像的画质进行增强的过程所需的计算量也比较少，消耗内存也比较少，可以速度很快地获取到待优化图像对应的优化图像，实现实时处理高分辨率的图像，提高了对待优化图像的画质进行增强的效率。
图6为本公开提供的一种3D LUT的训练过程示意图，该过程包括：
S601：获取第二样本集中的第二样本图像。
其中，第二样本图像通过如下方式获取：将采集到的原始图像确定为第二样本图像，和/或，对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为第二样本图像。
可选的，通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对原始图像中像素点的像素值进行调整；
方式二、对原始图像中像素点的像素值进行对比度调整；
方式三、对原始图像中像素点的像素值进行亮度调整；
方式四、对原始图像中像素点的像素值进行加噪处理。
图7为本公开提供的一种第二样本集中的第二样本图像的示意图。该第二样本图像中包含有样本场景类别分别为娱乐直播、游戏、体育以及电视剧的第二样本图像，第二样本集中的第二样本图像的样本画质信息分别有暗光、过曝、低对比对、低饱和度以及正常图像。
S602：确定第二样本集中第二样本图像对应的第二场景类别、第二画质信息以及标准优化图像。
S603：获取第二样本集中任一第二样本图像；第二样本图像对应有第二场景类别、第二画质信息以及标准优化图像。
S604：通过原始3D LUT模型，获取第二样本图像对应的样本优化图像。
S605：基于样本优化图像中像素点的像素值、以及标准优化图像中对应像素点的目标像素值，对原始3D LUT进行训练，以获取训练完成的3D LUT。
图8为本公开提供的对原始3D LUT模型进行训练的场景示意图。将获取到的第二样本图像、第二场景类别以及第二画质信息输入到原始3D LUT模型。通过原始3D LUT模型，获取第二样本图像对应的样本优化图像。根据样本优化图像中像素点的像素值、以及标准优化图像中对应像素点的目标像素值，确定第三损失值。根据第三损失值，对原始3D LUT模型中各参数值的参数值进行调整，以得到训练完成的3D LUT模型。
下面通过具体的实施例对本公开提供的图像处理方法进行详细的介绍，图9为本公开提供的具体的图像处理流程示意图，该流程主要包括获取样本集、训练场景画质识别模型、训练3D LUT以及图像处理四个部分，针对每个部分进行说明：
第一部分：收集样本集。
S901：第一电子设备获取样本集中的样本图像，该样本集可用于训练场景画质识别模型以及3D LUT。
其中，样本图像通过如下方式获取：将采集到的原始图像确定为样本图像，和/或，对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为样本图像。
可选的，通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对原始图像中像素点的像素值进行调整；
方式二、对原始图像中像素点的像素值进行对比度调整；
方式三、对原始图像中像素点的像素值进行亮度调整；
方式四、对原始图像中像素点的像素值进行加噪处理。
第二部分：训练场景画质识别模型。
S902：第一电子设备获取样本集中的任一样本图像，该样本图像对应有第二场景类别以及第二画质信息。
S903：第一电子设备通过原始场景画质识别模型，获取样本图像的第三场景类别以及第三画质信息。
S904：第一电子设备基于第二画质信息及其对应的第三画质信息、第二场景类别及其对应的第三场景类别，对原始场景画质识别模型进行训练，以获得训练完成的场景画质识别模型。
在进行场景画质识别模型训练的过程中，一般采用离线的方式，预先通过第一电子设备基于样本集中的样本图像，对原始场景画质识别模型进行训练，以获得训练完成的场景画质识别模型。
第三部分：训练3D LUT。用于训练3D LUT的第二电子设备可以与上述用于训练场景画质识别模型的第一电子设备相同，也可以不同。第一电子设备获取到样本集中的样本图像后，可以将该样本集中的样本图像保存在第二电子设备中，以对3D LUT进行训练。
S905：第二电子设备获取样本集中的任一样本图像，该样本图像对应有样本场景类别、样本画质信息以及标准优化图像。
S906：第二电子设备通过原始卷积神经网络，基于样本场景类别以及样本画质信息，确定第二样本图像对应的样本优化图像。
S907：第二电子设备基于样本优化图像中像素点的像素值、以及标准优化图像中对应像素点的目标像素值，对原始卷积神经网络进行训练，以获取训练完成的卷积神经网络。
在进行3D LUT训练的过程中，一般采用离线的方式，预先通过第二电子设备基于样本集中的样本图像，对原始3D LUT进行训练，以获得训练完成的3D LUT。
第四部分：图像处理。基于上述第一电子设备训练完成的场景画质识别模型、以及第二电子设备训练完成的3D LUT，将上述训练完成的场景画质识别模型以及3D LUT保存到第三电子设备中，通过第三电子设备进行图像处理，具体实现包括如下步骤：
S908：第三电子设备获取待优化图像。
S909：通过预先训练的场景画质识别模型，确定待优化图像的第一场景类别以及第一画质信息；第一场景类别为待优化图像中的内容所归属的场景的类别。
S910：通过预先训练的像素转换模型，基于第一场景类别、第一画质信息以及待优化图像，确定待优化图像对应的优化图像；像素转换模型用于对待优化图像中的像素点的像素值进行调整。
由于预先训练有场景画质识别模型以及像素转换模型，通过该预先训练的场景画质识别模型，可以确定待优化图像的第一场景类别以及第一画质信息，使得后续通过像素转换模型，可以基于该第一场景类别、第一画质信息以及待优化图像，确定待优化图像对应的优化图像，提高该优化图像的画质，提高用户体验。
基于相同的发明构思，本公开还提供了一种图像处理装置，图10为本公开提供的一种图像处理装置的结构示意图，该装置包括：
获取单元1001，用于获取待优化图像；
第一处理单元1002，用于通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息；所述第一场景类别为所述待优化图像中的内容所归属的场景的类别；
第二处理单元1003，用于通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像；所述像素转换模型用于对所述待优化图像中的像素点的像素值进行调整。
由于上述图像处理装置解决问题的原理与图像处理方法相似，因此上述图像处理装置的实施可以参见方法的实施，重复之处不再赘述。
在某些可能的实施方式中，所述第一处理单元1002，具体用于通过所述场景画质识别模型中的特征提取层，获取所述待优化图像的图像特征；将所述图像特征分别输入至所述场景画质识别模型中的场景识别层以及画质识别层，以获取所述待优化图像的第一场景类别以及第一画质信息。
在某些可能的实施方式中，所述第一处理单元1002，还用于通过所述场景画质识别模型中的预处理层，对所述待优化图像进行下采样处理。
在某些可能的实施方式中，所述装置还包括：第一训练单元；
所述第一训练单元，用于获取第一样本集中任一第一样本图像；所述第一样本图像对应有第二场景类别以及第二画质信息；通过原始场景画质识别模型，获取所述第一样本图像的第三场景类别以及第三画质信息；基于所述第二画质信息及其对应的第三画质信息、所述第二场景类别及其对应的第三场景类别，对所述原始场景画质识别模型进行训练，以获得训练完成的场景画质识别模型。
在某些可能的实施方式中，所述装置还包括：预处理单元；
所述预处理单元，用于将采集到的原始图像确定为第一样本图像；和/或，对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为第一样本图像。
在某些可能的实施方式中，所述预处理单元，具体用于通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对所述原始图像中像素点的像素值进行调整；
方式二、对所述原始图像中像素点的像素值进行对比度调整；
方式三、对所述原始图像中像素点的像素值进行亮度调整；
方式四、对所述原始图像中像素点的像素值进行加噪处理。
在某些可能的实施方式中，所述第二处理单元1003，具体用于通过预先训练的三维查找表3D LUT，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像。
在某些可能的实施方式中，所述装置还包括：第二处理单元1003；
所述第二处理单元1003，用于获取第二样本集中的任一第二样本图像；所述第二样本图像对应有样本场景类别、样本画质信息以及标准优化图像；通过原始3D LUT，基于所述样本场景类别以及样本画质信息，确定所述第二样本图像对应的样本优化图像；基于所述样本优化图像中像素点的像素值、以及所述标准优化图像中对应像素点的目标像素值，对所述原始3D LUT进行训练，以获取训练完成的3D LUT。
在某些可能的实施方式中，所述第二处理单元1003，具体用于通过预先训练的卷积神经网络，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像。
在某些可能的实施方式中，所述装置还包括：第三处理单元；
所述第三处理单元，用于获取第二样本集中的任一第二样本图像；所述第二样本图像对应有样本场景类别、样本画质信息以及标准优化图像；通过原始卷积神经网络，基于所述样本场景类别以及样本画质信息，确定所述第二样本图像对应的样本优化图像；基于所述样本优化图像中像素点的像素值、以及所述标准优化图像中对应像素点的目标像素值，对所述原始卷积神经网络进行训练，以获取训练完成的卷积神经网络。
由于预先训练有场景画质识别模型以及像素转换模型，通过该预先训练的场景画质识别模型，可以确定待优化图像的第一场景类别以及第一画质信息，使得后续通过像素转换模型，可以基于该第一场景类别、第一画质信息以及待优化图像，确定待优化图像对应的优化图像，提高该优化图像的画质，提高用户体验。
如图11为本公开提供的一种电子设备结构示意图，在上述各实施例的基础上，本公开实施例还提供了一种电子设备，如图11所示，包括：处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信；
所述存储器1103中存储有计算机程序，当所述程序被所述处理器1101执行时，使得所述处理器1101执行如下步骤：
获取待优化图像；
通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息；所述第一场景类别为所述待优化图像中的内容所归属的场景的类别；
通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像；所述像素转换模型用于对所述待优化图像中的像素点的像素值进行调整。
由于上述电子设备解决问题的原理与图像处理方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口1102用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在上述各实施例的基础上，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
获取待优化图像；
通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息；所述第一场景类别为所述待优化图像中的内容所归属的场景的类别；
通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像；所述像素转换模型用于对所述待优化图像中的像素点的像素值进行调整。
由于计算机可读存储介质解决问题的原理与上述图像处理方法相似，因此具体实施可以参见数据处理方法的实施，重复之处不再赘述。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待优化图像；
通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息；所述第一场景类别为所述待优化图像中的内容所归属的场景的类别；
通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像；所述像素转换模型用于对所述待优化图像中的像素点的像素值进行调整。
2.如权利要求1所述的方法，其特征在于，所述通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息，包括：
通过所述场景画质识别模型中的特征提取层，获取所述待优化图像的图像特征；
将所述图像特征分别输入至所述场景画质识别模型中的场景识别层以及画质识别层，以获取所述待优化图像的第一场景类别以及第一画质信息。
3.如权利要求1或2所述的方法，其特征在于，所述场景画质识别模型通过如下方式训练：
获取第一样本集中任一第一样本图像；所述第一样本图像对应有第二场景类别以及第二画质信息；
通过原始场景画质识别模型，获取所述第一样本图像的第三场景类别以及第三画质信息；
基于所述第二画质信息及其对应的第三画质信息、所述第二场景类别及其对应的第三场景类别，对所述原始场景画质识别模型进行训练，以获得训练完成的场景画质识别模型。
4.如权利要求3所述的方法，其特征在于，所述第一样本图像通过如下方式获取：
将采集到的原始图像确定为第一样本图像；和/或
对采集到的原始图像中的像素点的像素值进行调整后，将调整后的图像确定为第一样本图像。
5.如权利要求4所述的方法，其特征在于，通过以下至少一种方式对采集到的原始图像中像素点的像素值进行调整包括：
方式一、通过预设的卷积核，对所述原始图像中像素点的像素值进行调整；
方式二、对所述原始图像中像素点的像素值进行对比度调整；
方式三、对所述原始图像中像素点的像素值进行亮度调整；
方式四、对所述原始图像中像素点的像素值进行加噪处理。
6.如权利要求1所述的方法，其特征在于，所述通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像，包括：
通过预先训练的三维查找表3D LUT，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像。
7.如权利要求6所述的方法，其特征在于，所述3D LUT通过如下方式训练：
获取第二样本集中的任一第二样本图像；所述第二样本图像对应有样本场景类别、样本画质信息以及标准优化图像；
通过原始3D LUT，基于所述样本场景类别以及样本画质信息，确定所述第二样本图像对应的样本优化图像；
基于所述样本优化图像中像素点的像素值、以及所述标准优化图像中对应像素点的目标像素值，对所述原始3D LUT进行训练，以获取训练完成的3DLUT。
8.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取待优化图像；
第一处理单元，用于通过预先训练的场景画质识别模型，确定所述待优化图像的第一场景类别以及第一画质信息；所述第一场景类别为所述待优化图像中的内容所归属的场景的类别；
第二处理单元，用于通过预先训练的像素转换模型，基于所述第一场景类别、所述第一画质信息以及所述待优化图像，确定所述待优化图像对应的优化图像；所述像素转换模型用于对所述待优化图像中的像素点的像素值进行调整。
9.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7中任一所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述方法的步骤。
CN202110533351.9A 2021-05-17 2021-05-17 一种图像处理方法、装置、设备及介质 Active CN113297937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110533351.9A CN113297937B (zh) 2021-05-17 2021-05-17 一种图像处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110533351.9A CN113297937B (zh) 2021-05-17 2021-05-17 一种图像处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113297937A true CN113297937A (zh) 2021-08-24
CN113297937B CN113297937B (zh) 2023-12-15

Family

ID=77322353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110533351.9A Active CN113297937B (zh) 2021-05-17 2021-05-17 一种图像处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113297937B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463196A (zh) * 2021-12-28 2022-05-10 浙江大学嘉兴研究院 一种基于深度学习的图像校正方法
CN114612437A (zh) * 2022-03-15 2022-06-10 广州康盛网络科技有限公司 一种基于amoled的显示画质提升方法
CN114638951A (zh) * 2022-03-29 2022-06-17 北京有竹居网络技术有限公司 房屋模型的展示方法、装置、电子设备和可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204168404U (zh) * 2014-09-19 2015-02-18 青岛海尔电子有限公司 一种超高清信号的处理装置及全高清电视
CN108710847A (zh) * 2018-05-15 2018-10-26 北京旷视科技有限公司 场景识别方法、装置及电子设备
CN110781740A (zh) * 2019-09-20 2020-02-11 网宿科技股份有限公司 一种视频画质识别方法、系统及设备
CN110996153A (zh) * 2019-12-06 2020-04-10 深圳创维－Rgb电子有限公司 基于场景识别的音画品质增强方法、系统和显示器
US20200134793A1 (en) * 2018-10-30 2020-04-30 Boe Technology Group Co., Ltd. Video image processing method and apparatus thereof, display device, computer readable storage medium and computer program product
CN111325692A (zh) * 2020-02-21 2020-06-23 厦门美图之家科技有限公司 画质增强方法、装置、电子设备和可读存储介质
CN111950723A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 神经网络模型训练方法、图像处理方法、装置及终端设备
CN112351336A (zh) * 2020-10-29 2021-02-09 南京创维信息技术研究院有限公司 基于视频图像分割优化电视画质方法、装置、终端及介质
CN112488218A (zh) * 2020-12-04 2021-03-12 北京金山云网络技术有限公司 图像分类方法、图像分类模型的训练方法和装置
CN112562019A (zh) * 2020-12-24 2021-03-26 Oppo广东移动通信有限公司 图像色彩调整方法及装置、计算机可读介质和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204168404U (zh) * 2014-09-19 2015-02-18 青岛海尔电子有限公司 一种超高清信号的处理装置及全高清电视
CN108710847A (zh) * 2018-05-15 2018-10-26 北京旷视科技有限公司 场景识别方法、装置及电子设备
US20200134793A1 (en) * 2018-10-30 2020-04-30 Boe Technology Group Co., Ltd. Video image processing method and apparatus thereof, display device, computer readable storage medium and computer program product
CN111950723A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 神经网络模型训练方法、图像处理方法、装置及终端设备
CN110781740A (zh) * 2019-09-20 2020-02-11 网宿科技股份有限公司 一种视频画质识别方法、系统及设备
CN110996153A (zh) * 2019-12-06 2020-04-10 深圳创维－Rgb电子有限公司 基于场景识别的音画品质增强方法、系统和显示器
CN111325692A (zh) * 2020-02-21 2020-06-23 厦门美图之家科技有限公司 画质增强方法、装置、电子设备和可读存储介质
CN112351336A (zh) * 2020-10-29 2021-02-09 南京创维信息技术研究院有限公司 基于视频图像分割优化电视画质方法、装置、终端及介质
CN112488218A (zh) * 2020-12-04 2021-03-12 北京金山云网络技术有限公司 图像分类方法、图像分类模型的训练方法和装置
CN112562019A (zh) * 2020-12-24 2021-03-26 Oppo广东移动通信有限公司 图像色彩调整方法及装置、计算机可读介质和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUI ZENG: "Learning Image-adaptive 3D Lookup Tables for High Performance Photo Enhancement in Real-time", IMAGE AND VIDEO PROCESSING (EESS.IV), pages 16 *
MILLIEJEE: "【OpenGL 学习】3D LUT颜色滤镜", pages 5, Retrieved from the Internet <URL:https://blog.csdn.net/katherine_qj/article/details/112666379> *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463196A (zh) * 2021-12-28 2022-05-10 浙江大学嘉兴研究院 一种基于深度学习的图像校正方法
CN114612437A (zh) * 2022-03-15 2022-06-10 广州康盛网络科技有限公司 一种基于amoled的显示画质提升方法
CN114638951A (zh) * 2022-03-29 2022-06-17 北京有竹居网络技术有限公司 房屋模型的展示方法、装置、电子设备和可读存储介质
CN114638951B (zh) * 2022-03-29 2023-08-15 北京有竹居网络技术有限公司 房屋模型的展示方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN113297937B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN113297937B (zh) 一种图像处理方法、装置、设备及介质
US11055827B2 (en) Image processing apparatus and method
CN110728633B (zh) 多曝光度高动态范围反色调映射模型构建方法及装置
US20200014603A1 (en) Method for enhancing quality of media transmitted via network
CN109862389B (zh) 一种视频处理方法、装置、服务器及存储介质
CN107948733B (zh) 视频图像处理方法及装置、电子设备
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN108074241B (zh) 目标图像的质量评分方法、装置、终端及存储介质
CN110620924B (zh) 编码数据的处理方法、装置、计算机设备及存储介质
CN110766637B (zh) 一种视频处理方法、处理装置、电子设备及存储介质
CN111047543A (zh) 图像增强方法、装置和存储介质
CN110958469A (zh) 视频处理方法、装置、电子设备及存储介质
CN113034509A (zh) 图像处理方法及装置
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
CN110807735A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
Xian et al. A content-oriented no-reference perceptual video quality assessment method for computer graphics animation videos
CN110796689B (zh) 一种视频处理方法、电子设备及存储介质
CN106303527B (zh) 时分复用神经网络处理器的视频分级码流编码方法和系统
CN113034412A (zh) 视频处理方法及装置
US20170163852A1 (en) Method and electronic device for dynamically adjusting gamma parameter
CN116471262A (zh) 视频质量评估方法、装置、设备、存储介质及程序产品
CN111754492A (zh) 图像质量评估方法、装置、电子设备及存储介质
CN112435173A (zh) 一种图像处理和直播方法、装置、设备和存储介质
CN111382772B (zh) 一种图像处理方法、装置及终端设备
CN115147314B (zh) 图像处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210923

Address after: 310052 Room 408, building 3, No. 399, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Netease Zhiqi Technology Co.,Ltd.

Address before: 310052 Room 301, Building No. 599, Changhe Street Network Business Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU LANGHE TECHNOLOGY Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant