CN116188296A

CN116188296A - 图像优化方法及其装置、设备、介质、产品

Info

Publication number: CN116188296A
Application number: CN202211659459.3A
Authority: CN
Inventors: 陈科
Original assignee: Guangzhou Cubesili Information Technology Co Ltd
Current assignee: Guangzhou Cubesili Information Technology Co Ltd
Priority date: 2022-12-22
Filing date: 2022-12-22
Publication date: 2023-05-30

Abstract

本申请涉及一种图像优化方法及其装置、设备、介质、产品，所述方法包括：获取原始图像帧；生成所述原始图像帧的图像掩膜，使所述图像掩摸对应表示出所述原始图像帧中的各个内容对象相应的轮廓边界及区别特征；应用所述图像掩膜将所述原始图像帧转换为优化图像帧，其中，根据图像掩膜中各个轮廓边界相对应的区别特征调用所述区别特征相应的图像优化模型对所述轮廓边界范围内的原图进行优化。本申请实现区别不同内容对象应用对应的图像优化模型而将原始图像帧转换为优化图像帧，通过针对不同内容对象进行对应优化，使优化图像帧获得更优质细腻的显示效果。

Description

图像优化方法及其装置、设备、介质、产品

技术领域

本申请涉及图像处理及网络直播技术领域，尤其涉及一种图像优化方法及其装置、设备、介质、产品。

背景技术

高动态范围成像(H igh Dynami c Range Imagi ng，简称HDRI或HDR)，在计算机图形学与电影摄影术中，是用来实现比普通数字图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。

普通的视频成像即(SDR，Standard Dynamic Range)，可以转换成HDR，实现画质增强，获得优质的图像。

传统技术中，SDR转HDR往往是整幅画面一起转换，而现在市面上主流显示器的各有优劣，质量参差不齐，SDR转换HDR的参数没有统一标准，不同场景不同目标都根据一样的参数转换出来效果差异很大，并且在不同的设备上显示存在亮度差异或色差等显示问题，例如，当使用显示器观看网络直播，使用HDR规格所渲染播放的直播视频流的画面具有更良好的视频观感，对于网络直播平台而言，也面临着如何使得直播视频流可在市面上显示效果参差不齐的显示器上以HDR进行显示以提升用户观看直播的沉浸感的问题。

发明内容

本申请的目的在于解决上述问题而提供一种图像优化方法及其相应的装置、设备、计算机可读存储介质，以及计算机程序产品。

根据本申请的一个方面，提供一种图像优化方法，包括如下步骤：

获取原始图像帧；

生成所述原始图像帧的图像掩膜，使所述图像掩摸对应表示出所述原始图像帧中的各个内容对象相应的轮廓边界及区别特征；

应用所述图像掩膜将所述原始图像帧转换为优化图像帧，其中，根据图像掩膜中各个轮廓边界相对应的区别特征调用所述区别特征相应的图像优化模型对所述轮廓边界范围内的原图进行优化。

可选的，生成所述原始图像帧的图像掩膜，包括：

基于所述原始图像帧进行目标识别，确定出其中的内容对象的内容区域及所述内容对象相应的对象类型；

创建所述原始图像帧的图像掩膜，其中，将所述内容对象的内容区域的规则轮廓确定其轮廓边界，在图像掩膜的每个轮廓边界范围内预置与其内容对象的对象类型相对应的区别特征。

可选的，生成所述原始图像帧的图像掩膜，包括：

从所述内容区域相对应的内容对象的原图中确定出所述内容对象的轮廓边界；

创建所述原始图像帧的图像掩膜，在图像掩膜的每个轮廓边界范围内预置与其内容对象的对象类型相对应的区别特征。

可选的，生成所述原始图像帧的图像掩膜，包括：

将所述区别特征表示为像素值，每种对象类型的区别特征对应一个确定的像素值，不同的区别特征所采用像素值各不相同，所述区别特征所采用的像素值预先与该区别特征相对应的图像优化模型建立映射关系。

可选的，应用所述图像掩膜将所述原始图像帧转换为优化图像帧，包括：

根据所述图像掩膜中各个轮廓边界的区别特征调用与该区别特征相应预设的多个图像优化模型；

由所调用的各个图像优化模型对应计算出相应的轮廓边界范围内的像素值相应的修正数值，融合到所述原始图像帧中，获得优化图像帧。

可选的，根据所述图像掩膜中各个轮廓边界的区别特征调用与该区别特征相应预设的多个图像优化模型的步骤中，所述多个图像优化模型包括如下任意一种或任意多种：

第一图像优化模型，用于确定将特定内容对象的原图转换为高动态范围成像所得的目标图相对应的修正数值；

第二图像优化模型，用于确定将特定内容对象的原图输出至标准显示设备所获得的目标亮度效果相对应的修正数值；

第三图像优化模型，用于确定将特定内容对象的原图输出至标准显示设备所获得的颜色分量的目标色彩效果相对应的修正数值。

可选的，生成所述原始图像帧的图像掩膜之后，将所述原始图像帧和图像掩膜传输至GPU中以应用所述图像掩膜将所述原始图像帧转换为优化图像帧。

根据本申请的另一方面，提供一种图像优化装置，包括：

图像读取模块，设置为获取原始图像帧；

掩膜生成模块，设置为生成所述原始图像帧的图像掩膜，使所述图像掩摸对应表示出所述原始图像帧中的各个内容对象相应的轮廓边界及区别特征；

图像转换模块，设置为应用所述图像掩膜将所述原始图像帧转换为优化图像帧，其中，根据图像掩膜中各个轮廓边界相对应的区别特征调用所述区别特征相应的图像优化模型对所述轮廓边界范围内的原图进行优化。

根据本申请的另一方面，提供一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的图像优化方法的步骤。

根据本申请的另一方面，提供一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的图像优化方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。

根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。

相对于现有技术，本申请为原始图像帧之后生成其图像掩膜，使所述图像掩摸对应表示出所述原始图像帧中的各个内容对象相应的轮廓边界及区别特征，根据图像掩膜中各个轮廓边界相对应的区别特征调用所述区别特征相应的图像优化模型对所述轮廓边界范围内的原图进行优化，从而实现区别不同内容对象应用对应的图像优化模型而将原始图像帧转换为优化图像帧，通过针对不同内容对象进行对应优化，使得原始图像中的内容对象可从原来的SDR图像规格转换为HDR图像规格进行输出显示，使优化图像帧获得更优质细腻的显示效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请示例性的图像优化实现网络的模型架构的示意图；

图2为本申请的图像优化方法的一种实施例的流程示意图；

图3为本申请示例性的网络直播应用场景的网络架构的示意图；

图4为本申请一种实施例中创建图像掩膜的过程的流程示意图；

图5为本申请另一实施例中创建图像掩膜的过程的流程示意图；

图6为本申请的图像优化装置的原理框图；

图7为本申请所采用的一种电子设备的结构示意图。

具体实施方式

本申请中所引用或可能引用到的模型，包括传统机器学习模型或深度学习模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。

请参阅图1，本申请示例性的给出一个端到端的图像优化实现网络的模型架构，以便读者更易理解本申请的实现。如图1所示，该图像优化实现网络包括目标识别模型、图像分割模型以及图像变换模块。

所述目标识别模型用于从给定的整体原图中识别出不同类型的内容对象，并标注出各种内容对象相对应的对象类型。所述目标识别模型可以是任意可以实现图像目标识别的成熟模型，可以是基于机器学习、深度学习或者其他可行算法实现的相应模型，示例而言，可以采用基于深度学习的Yo l o模型来实施。

所述图像分割模型用于从给定的内容对象的原图中提取出其中的内容对象的原图的轮廓边界，并可以掩膜的形式表示出其轮廓边界范围内的图像区域。所述图像分割模型可以是任意可以实现图像分割的成熟模型，可以是基于机器学习、深度学习或者其他可行算法例如边缘检测算法实现的相应模型，示例而言，可以采用基于深度学习的U-net模型来实施。

所述图像变换模块用于根据各个内容对象的轮廓边界综合确定这些轮廓边界所指示的内容对象所在的整体原图相对应的图像掩膜，然后根据该图像掩膜中各个轮廓边界所指示的内容对象的对象类型，调用相应类型的一个或多个图像优化模型确定出相应的轮廓边界范围内的原图的修正数值，将这些修正数值融合到所述整体原图中，实现将整体原图变换为优化后的图像。

图1的图像优化实现网络仅供示例，在一些实施例中，可以在该示例的模型架构的基础上省略所述图像分割模型，直接将所述目标识别模型获得的内容对象的内容区域作为所述内容对象的轮廓边界也可。

在参考以上原理性说明的基础上，请参阅图2，根据本申请提供的一种图像优化方法，在其一个实施例中，包括如下步骤：

步骤S1100、获取原始图像帧；

所述原始图像帧可以是任意渠道调用适于被计算机进行处理的图像数据。所述原始图像帧可以是来源于单个图片文件，也可以是来源于视频文件解压所得的视频图像帧，还可以是由终端设备的摄像单元开启录像功能之后生成的预览图像帧。

一种示例性的应用场景中，在开启终端设备的摄像单元之后，所述摄像单元便开始摄录环境图像生成预览视频流，触发本申请的图像优化方法的执行，从而开始从读取所述预览视频流中的预览图像帧作为原始图像帧，以便对该预览图像帧进行优化，获得优化图像帧后，将优化图像帧输出至终端设备的显示单元中显示，同时，所述预览图像帧的各个预览图像帧均可作为原始图像帧一一对应进行优化，从而生成对应的优化图像帧，由优化图像帧所构成的视频流，便是在所述预览视频流的基础上经过图像优化后获得的优化视频流，优化视频流将获得更优质的显示效果。

另一示例性的应用场景中，可以在如图3所示的网络直播的媒体服务器中，针对主播用户提交的直播视频流进行解码后获得的视频图像帧，触发本申请的图像优化方法，对直播视频流中的各个视频图像帧进行解码后优化获得其相应的优化图像帧，在优化图像帧的基础上再编码输出至由应用服务器维护的直播间的观众用户的终端设备中显示，使观众用户可以获得相应的优化视频流，获得更佳的显示效果。当然，作为可替换的等效方式，也可以在观众用户的终端设备中，对直播间的主播用户的直播流中的视频图像帧应用本申请的图像优化方法进行优化，这与在媒体服务器中优化基本等效。

再一示例实施的应用场景中，可以调用任意存储空间中的某个视频文件，将其解码后，对其中的各个视频图像帧应用本申请的图像优化方法进行优化获得相应的优化图像帧，然后重新存储为新的视频文件或者替换原来的视频文件，进一步获得优化后的视频文件。

不难理解，所述原始图像帧可以是任意渠道、任意形式的图像数据，可以在任意业务场景中触发本申请的图像优化方法的运行而通过本步骤获得相应的原始图像帧，以便进行优化处理。

步骤S1200、生成所述原始图像帧的图像掩膜，使所述图像掩摸对应表示出所述原始图像帧中的各个内容对象相应的轮廓边界及区别特征；

原始图像帧中，可能包含一个或多个内容对象，所述内容对象是人眼可感知的图像内容，其所指向的物理世界的客观对象，可以是任意具象对象或抽象对象。所述具象对象可以是颜色，例如黄色、绿色、红色等等；所述抽象对象可以是某一类自然景物，例如人脸、人体、美食、绿植、天空、动物、建筑等等。可以预先对各种内容对象设定分类标准，从而确定对多种对象类型，以便通过内容对象相对应的对象类型进行区别处理。

针对所述原始图像帧，可以应用任意可行的图像目标识别手段，识别出其中的各种内容对象，从而确定这些内容对象及其相应的对象类型，根据这些内容对象在原始图像帧中所占的范围，便可确定出其轮廓边界，所述轮廓边界既可以是例如矩形框之类的规则形式也可以是匹配内容对象的外部轮廓的任意形状，一般来说，由该轮廓边界所限定的范围，可以涵盖所述内容对象的所占有的所有像素点。由此可见，每个轮廓边界，实际上也相应标定一个内容对象的图像区域。

如前所述，每个内容对象均有其相应的对象类型，为方便索引对应，可将每个内容对象转换为对应的区别特征，使得所述区别特征可以嵌入所述原始图像帧相对应的图像掩膜中，并且，通过所述区别特征可以在计算机层面识别出相应的对象类型。

在确定出所述原始图像帧的各个内容对象相应的轮廓边界和区别特征后，便可构造所述原始图像帧相对应的图像掩膜，以便通过该图像掩膜指示出各个内容对象所占原始图像帧的具体区域及其所涵盖的各个像素点，以及这些具体区域相对应的对象类型。

根据以上原理，可以在此处设置一个步骤：将所述区别特征表示为像素值，每种对象类型的区别特征对应一个确定的像素值，不同的区别特征所采用像素值各不相同，所述区别特征所采用的像素值预先与该区别特征相对应的图像优化模型建立映射关系。

一种实施例中，在所述图像掩膜中，将每个内容对象的轮廓边界相对应的范围内的每个像素点均用于表示出该轮廓边界所指向的内容对象所属的对象类型相对应的区别特征，例如，对于其中的第一种对象类型，将其相应的轮廓边界范围内的像素点的RGB值表示为(1,0,0)，对于其中的第二种对象类型，将其相应的轮廓边界范围内的像素点的RGB值表示为(2,0,0)，以此类推，实现以不同的像素值来表示不同的对象类型，使这些像素值本身成为不同内容对象的区别特征的载体。对于不同对象类型与其相应的区别特征的具体数值的映射关系数据，可以预先设定，以便直接调用。

可见，按照以上的方式所生成的图像掩膜，与所述原始图像帧是同尺寸的，而且，对应所述原始图像帧中被识别出的各个内容对象，均通过所述内容对象的轮廓边界确定出被该轮廓边界涵盖的每个像素点，且每个轮廓边界所涵盖的每个像素点，均被表示为与该轮廓边界所指向的内容对象的对象类型相对应的像素值，起到方便计算机直接识别的区别特征的作用。

所述图像掩膜，一种实施例中，可以是单张掩膜，其表示出所有内容对象的轮廓边界及区别特征。在可相替换的另一实施例中，所述图像掩膜也可以包含多个具体的图像掩膜，每个具体的图像掩膜均与所述原始图像帧保持相同尺寸，但每个具体的图像掩膜仅仅只是表示所有内容对象中的单独一个内容对象的轮廓边界及区别特征。对此，本领域技术人员可以按需实施。

步骤S1300、应用所述图像掩膜将所述原始图像帧转换为优化图像帧，其中，根据图像掩膜中各个轮廓边界相对应的区别特征调用所述区别特征相应的图像优化模型对所述轮廓边界范围内的原图进行优化。

在获得所述图像掩膜之后，便可以根据所述图像掩膜，对所述原始图像帧进行优化处理，将其转换为优化图像帧，以便提升其图像质量，使显示效果更佳。

在对所述原始图像帧进行图像转换时，通过所述图像掩膜中的区别特征，识别出相应的内容对象，然后，获取与所述区别特征预先建立一一对应映射关系的图像优化模型来对包含该区别特征各个像素点进行调参，获得这些像素点调参后相应的像素值作为相应的优化图像帧的像素值，实现所述区别特征相对应的内容对象的原图的优化。

一种实施例中，由于每种区别特征表示一个对象类型，因而，通过所述区别特征便可确定相应的对象类型所对应的图像优化模型，也就是说，每个内容对象根据其所表示的区别特征，可以确定其相应的图像优化模型，图像优化模型对应内容对象所属的对象类型而相应提供，所以，对于不同对象类型的内容对象，便可以应用其专门的图像优化模型进行对应优化。

为此，可以事先设定每个对象类型相对应的图像优化模型，然后将图像优化类型与其对应类型相应的区别特征建立映射关系，后续便可根据区别特征直接调用其相应的图像优化模型。

一种实施例中，可以按照所需要实现的优化参数类型不同，而为每种对象类型预设不同优化参数类型相对应的不同图像优化模型，使一种参数类型具有一个相应的图像优化模型，在需要调用所述图像优化模型时，可以按照实际需要调用其中的一个或多，以便实现对相应的参数类型的调参控制。

所述的图像优化模型可以采用对应的预设公式、算法预先建模实现，可将所述图像优化模型建模实现为机器学习模型或深度学习模型，将其训练至收敛后投入使用，使所述图像优化模型均可以用于根据其相应的特定内容对象的原图中的像素点的像素值确定出该像素值相应的修正数值，并利用该修正数值调节原来的像素值获得优化图像帧中相应的像素点的像素值，实现对相应的内容对象实施像素级的逐点优化。

一种实施例中，预先提供如下的多种图像优化模型，用于对应不同参数类型，方便按需调用其中的一个或任意多个，以实施像素点的优化，所提供的多种图像优化模型包括：第一图像优化模型，用于确定将特定内容对象的原图转换为高动态范围成像所得的目标图相对应的修正数值；第二图像优化模型，用于确定将特定内容对象的原图输出至标准显示设备所获得的目标亮度效果相对应的修正数值；第三图像优化模型，用于确定将特定内容对象的原图输出至标准显示设备所获得的颜色分量的目标色彩效果相对应的修正数值。

为了获得第一图像优化模型，一种实施例中，可以事先测试每一种对象类型的内容对象的图像从SDR转换到HDR的过程中生成的各种与高动态范围成像相对应的控制参数及根据这些控制参数转换所得图像的效果，然后，将具有优质转换效果的控制参数记录下来，根据这些控制参数及原图和结果图构造第一转换函数H(x,y)进行建模，获得第一图像优化模型，使其可以将原图的像素值x转换为相应的修正数值y’进而获得修正后的像素值y。

为了获得第二图像优化模型，一种实施例中，将原图输出到不同显示设备中测试其显示效果，主要是亮度显示效果，计算出不同显示设备相对于预设的标准显示设备的亮度差异，根据这种亮度差异设置亮度矫正函数为L(x,y)，然后进行建模，获得第二图像优化模型，使其可以将原图的像素值x转换为相应的修正数值y’进而获得修正后的像素值y。

为了获得第三图像优化模型，一种实施例中，将原图输出到不同显示设备中测试其显示效果，包括各个颜色分量相对应的目标色彩显示效果，计算出不同显示设备相对于预设的标准显示设备对应各个颜色分量的差异，即色差，根据这种色差设置色差矫正函数为C(x,y)，对应各个具体颜色分量例如红、绿、蓝三通道可分别表示为R(x,y)、G(x,y)、B(x,y)，然后为各个颜色分量进行建模，获得各个颜色分量一一对应的第三图像优化模型，使其可以将原图的像素值x转换为相应的修正数值y’进而获得修正后的像素值y。由此可见，第三图像优化模型可以包括对应多个颜色分量设置的多个基础模型。

根据以上的过程预备了图像优化模型之后，可以按照如下过程实现原始图像帧的优化，包括：

步骤S1310、根据所述图像掩膜中各个轮廓边界的区别特征调用与该区别特征相应预设的多个图像优化模型；

步骤S1320、由所调用的各个图像优化模型对应计算出相应的轮廓边界范围内的像素值相应的修正数值，融合到所述原始图像帧中，获得优化图像帧。

一种实施例中，在应用所述图像掩膜对所述原始图像帧进行优化转换时，可直接按照如下公式实施：

New(x,y)＝F(x,y)*H(x,y)*L(x,y)+(R(x,y)+G(x,y)+B(x,y))

其中：

F(x,y)是SDR源图像，即所述原始图像帧；

H(x,y)是对应对象类型的SDR转HDR的函数，不同对象类型其H(x,y)函数相对应的图像优化模型不一样；

L(x,y)是对应对象类型在当前设备上的亮度矫正函数，可以将亮度矫正为正常亮度或降低亮度差异，不同对象类型其L(x,y)函数相对应的图像优化模型不一样；

R(x,y)、G(x,y)、B(x,y)分别是对应对象类型在当前设备上RGB色彩分量对应的矫正函数，可以将色差矫正成正常无色差或降低色差，不同对象类型其R(x,y)、G(x,y)、B(x,y)函数相对应的图像优化模型不一样；

New(x,y)是最终得到的HDR图像。

可以看出，通过应用上述的公式，根据所述图像掩膜提供的各个内容对象的轮廓边界，应用各个轮廓边界中表示的区别特征相对应的各个图像优化模型，便可确定出对应不同图像优化模型的修正数值，然后与原始图像帧相融合，便可获得优化图像帧，该优化图像帧可以获得更优质的显示效果。

以上实施例中，基于各个颜色分量为每种对象类型均构建了各个颜色分量相对应的第三图像优化模型，按照颜色分量对原始图像帧做更细腻的优化，可以进一步提升所获得的优化图像帧的图像质量和显示效果。

一个实施例中，步骤S1300可以部署成在终端设备的GPU中运行，当步骤S1100确定了原始图像帧，且步骤S1200中确定出所述原始图像帧的图像掩膜之后，将所述原始图像帧和图像掩膜传递到GPU中，由GPU运行相应的指令集，根据所述图像掩膜提供的信息，对所述原始图像帧进行优化，并生成相应的优化图像帧。

根据以上实施例可知，本申请为原始图像帧之后生成其图像掩膜，使所述图像掩摸对应表示出所述原始图像帧中的各个内容对象相应的轮廓边界及区别特征，根据图像掩膜中各个轮廓边界相对应的区别特征调用所述区别特征相应的图像优化模型对所述轮廓边界范围内的原图进行优化，从而实现区别不同内容对象应用对应的图像优化模型而将原始图像帧转换为优化图像帧，通过针对不同内容对象进行对应优化，使优化图像帧获得更优质细腻的显示效果。

其次，本方法可应用于网络直播业务中，通过图像掩膜与不同的图像优化模型优化直播视频流中的视频帧图像，以针对视频帧图像中不同的内容对象进行对应的优化，例如，将直播视频帧图像中的主播用户或商品等直播关键内容识别为内容对象以进行针对性图像优化，使得直播关键内容可从原来的SDR图像规格转换为HDR图像规格进行输出显示，进而提升直播关键内容输出播放至观众的显示器上的图像观感，使得直播关键内容可在直播视频流中突出显示，增强观众观看直播视频的沉浸感。

在本申请任意实施例的基础上，请参阅图4，生成所述原始图像帧的图像掩膜，包括：

步骤S1211、基于所述原始图像帧进行目标识别，确定出其中的内容对象的内容区域及所述内容对象相应的对象类型；

为了生成所述原始图像帧的图像掩膜，可以先对所述原始图像帧进行目标识别，例如，采用如图1所示的模型架构中的目标识别模型，将所述原始图像帧输入所述目标识别模型中，识别出其中的各种对象类型的内容对象，获得这些内容对象的候选框及其相应的对象类型，所述候选框可以表示为该候选框在所述原始图像帧中的各个角点的坐标信息，因而实际上定义了一个矩形区域，也即相应的内容对象的内容区域，该内容区域涵盖了相应的内容对象的全部图像内容。

步骤S1212、创建所述原始图像帧的图像掩膜，其中，将所述内容对象的内容区域的规则轮廓确定其轮廓边界，在图像掩膜的每个轮廓边界范围内预置与其内容对象的对象类型相对应的区别特征。

本实施例中，在获得所述原始图像帧中各个内容对象的内容区域之后，将每个内容区域四个角点的坐标信息的连线便可作为相应的内容对象的轮廓边界，在此基础上，根据每种内容对象的对象类型相对应的表示方法确定其相应的区别特征，在预先对应所述原始图像帧创建的一个同尺寸的图像掩膜中，将其中的轮廓边界范围内的每个像素点的像素值都预置为所述的区别特征，使所述区别特征与所述轮廓边界所指向的内容对象的对象类型保持一致。

不难理解，由于每个内容对象相对应的轮廓边界范围内的每个像素点均被以区别特征的方式进行表示，因而，在后续进行图像转换优化时，可以具体到每个像素点应用其相应的区别特征所对应的图像优化模型来实施优化，使优化效果更细腻。

在以上实施例中，直接以目标识别模型获得的候选框来定义内容对象的轮廓边界，省去对内容对象的边缘的识别，可以提升图像优化时的处理效率，节省系统开销，快速得到优化图像帧。

在本申请任意实施例的基础上，请参阅图5，生成所述原始图像帧的图像掩膜，包括：

步骤S1221、基于所述原始图像帧进行目标识别，确定出其中的内容对象的内容区域及所述内容对象相应的对象类型；

同理，为了生成所述原始图像帧的图像掩膜，可以先对所述原始图像帧进行目标识别，例如，采用如图1所示的模型架构中的目标识别模型，将所述原始图像帧输入所述目标识别模型中，识别出其中的各种对象类型的内容对象，获得这些内容对象的候选框及其相应的对象类型，所述候选框可以表示为该候选框在所述原始图像帧中的各个角点的坐标信息，因而实际上定义了一个矩形区域，也即相应的内容对象的内容区域，该内容区域涵盖了相应的内容对象的全部图像内容。

步骤S1222、从所述内容区域相对应的内容对象的原图中确定出所述内容对象的轮廓边界；

一个实施例中，为了利用图1所示的图像分割模型来确定各个内容对象相对应的轮廓边界，可以对应各个内容区域，利用其相应的候选框的坐标信息，对所述原始图像帧进行图像裁切，获得各个内容对象的原图。以所述图像分割模型采用U-net之类的成熟模型实施为例，所述图像分割模型预先被训练至收敛，使其能够根据给定的原图识别出其中的内容对象的边缘轮廓，并可以掩膜的形式输出表示。据此，将从所述原始图像帧中获得的各个内容对象的原图分别输入所述图像分割模型中，便可获得各个内容对象相应的边缘轮廓，作为相应的轮廓边界。采用深度学习模型确定所述内容对象的轮廓边界，相对较为精准。

另一实施例中，所述图像分割模型利用边缘检测算法例如Canny边缘检测算法实现，因而，应用相应的边缘检测算法，对所述各个内容对象的原图进行边缘检测，也可获得相应的轮廓边界。采用边缘检测算法确定所述内容对象的轮廓边界，更为高效快捷。

步骤S1223、创建所述原始图像帧的图像掩膜，在图像掩膜的每个轮廓边界范围内预置与其内容对象的对象类型相对应的区别特征。

确定了所述原始图像帧中的各个内容对象的轮廓边界后，便可创建所述原始图像帧的图像掩膜用于实施对所述原始图像帧的图像优化。

一个实施例中，当所述图像分割模型能够输出各个内容对象相对应的图像掩膜时，可以在图像分割模型直接输出的图像掩膜的基础上，将其中的轮廓边界内的像素点的像素值修改为该轮廓边界所指示的内容对象的对象类型相应的区别特征。然后既可利用这些预置了区别特征的图像掩膜对所述原始图像帧中的各个内容对象进行分别优化，也可以先将这些多个内容对象的图像掩膜合并成整体一张图像掩膜，再根据这张图像掩膜对所述原始图像帧中的各个内容对象进行一次性全部优化。

另一实施例中，无论所述图像分割模型是分别得到每个内容对象的轮廓边界，还是一次性检测出全部多个内容对象的轮廓边界，均可创建单独一张图像掩膜，在其中对应各个内容对象的轮廓边界而进行相应的区别特征的预置，一次性获得包含了所有内容对象的区别特征的整张图像掩膜，再根据这些图像掩膜对所述原始图像帧中的各个内容对象进行一次全部优化。

当同一原始图像帧中的多个内容对象均需要确定其边缘轮廓时，一个实施例中，可以对应各个内容对象创建多个线程，在每个线程中调用所述图像分割模型，并行地获得各个内容对象的边缘轮廓，从而缩短多个内容对象情况下确定轮廓边界的用时。按照这种方式，在为视频流的每个视频图像帧进行优化时，可以大幅缩短视频图像帧的优化时长，在网络直播这样的应用场景中，能够取得时效上的优势，使终端观众用户对图像优化耗时无感知，却能获得优质的图像效果。

根据以上实施例，在原始图像帧经过目标识别获得各个内容对象的内容区域及相应的对象类型后，可以进一步图像分割手段，精准地识别出各个内容对象的边缘轮廓，根据其真实的边缘轮廓确定出其轮廓边界，再根据轮廓边界精准优化原图，由此得到的优化图像帧，其图像质量和显示效果更为真实细腻。

请参阅图6，根据本申请的一个方面提供的一种图像优化装置，包括图像读取模块1100、掩膜生成模块1200，以及图像转换模块1300，其中：所述图像读取模块1100，设置为获取原始图像帧；所述掩膜生成模块1200，设置为生成所述原始图像帧的图像掩膜，使所述图像掩摸对应表示出所述原始图像帧中的各个内容对象相应的轮廓边界及区别特征；所述图像转换模块1300，设置为应用所述图像掩膜将所述原始图像帧转换为优化图像帧，其中，根据图像掩膜中各个轮廓边界相对应的区别特征调用所述区别特征相应的图像优化模型对所述轮廓边界范围内的原图进行优化。

在本申请任意实施例的基础上，所述掩膜生成模块1200，包括：第一目标识别单元，设置为基于所述原始图像帧进行目标识别，确定出其中的内容对象的内容区域及所述内容对象相应的对象类型；第一掩膜创建单元，设置为创建所述原始图像帧的图像掩膜，其中，将所述内容对象的内容区域的规则轮廓确定其轮廓边界，在图像掩膜的每个轮廓边界范围内预置与其内容对象的对象类型相对应的区别特征。

在本申请任意实施例的基础上，生成所述原始图像帧的图像掩膜，包括：第二目标识别单元，设置为基于所述原始图像帧进行目标识别，确定出其中的内容对象的内容区域及所述内容对象相应的对象类型；第二图像分割单元，设置为从所述内容区域相对应的内容对象的原图中确定出所述内容对象的轮廓边界；第二掩膜创建单元，设置为创建所述原始图像帧的图像掩膜，在图像掩膜的每个轮廓边界范围内预置与其内容对象的对象类型相对应的区别特征。

在本申请任意实施例的基础上，所述掩膜生成模块1200，包括：特征标识单元，设置为将所述区别特征表示为像素值，每种对象类型的区别特征对应一个确定的像素值，不同的区别特征所采用像素值各不相同，所述区别特征所采用的像素值预先与该区别特征相对应的图像优化模型建立映射关系。

在本申请任意实施例的基础上，所述图像转换模块1300，包括：模型匹配单元，设置为根据所述图像掩膜中各个轮廓边界的区别特征调用与该区别特征相应预设的多个图像优化模型；图像融合单元，设置为由所调用的各个图像优化模型对应计算出相应的轮廓边界范围内的像素值相应的修正数值，融合到所述原始图像帧中，获得优化图像帧。

在本申请任意实施例的基础上，所述多个图像优化模型包括如下任意一种或任意多种：第一图像优化模型，用于确定将特定内容对象的原图转换为高动态范围成像所得的目标图相对应的修正数值；第二图像优化模型，用于确定将特定内容对象的原图输出至标准显示设备所获得的目标亮度效果相对应的修正数值；第三图像优化模型，用于确定将特定内容对象的原图输出至标准显示设备所获得的颜色分量的目标色彩效果相对应的修正数值。

在本申请任意实施例的基础上，所述图像转换模块1300运行于GPU中，其接收所述原始图像帧和图像掩膜以应用所述图像掩膜将所述原始图像帧转换为优化图像帧。

本申请的另一实施例还提供一种电子设备。如图7所示，电子设备的内部结构示意图。该电子设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该电子设备的计算机可读的计算机可读存储介质，存储有操作系统、数据库和计算机可读指令，数据库中可存储有信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种图像优化方法。

该电子设备的处理器用于提供计算和控制能力，支撑整个电子设备的运行。该电子设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的图像优化方法。该电子设备的网络接口用于与终端连接通信。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图6中的各个模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于实现用户终端或服务器之间的数据传输。本实施方式中的计算机可读存储介质中存储有本申请的图像优化装置中执行所有模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有模块的功能。

本申请还提供一种存储有计算机可读指令的计算机可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的图像优化方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。

本领域普通技术人员可以理解，实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-On l y Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本申请实现区别不同内容对象应用对应的图像优化模型而将原始图像帧转换为优化图像帧，通过针对不同内容对象进行对应优化，使优化图像帧获得更优质细腻的显示效果。

Claims

1.一种图像优化方法，其特征在于，包括：

获取原始图像帧；

2.根据权利要求1所述的图像优化方法，其特征在于，生成所述原始图像帧的图像掩膜，包括：

3.根据权利要求1所述的图像优化方法，其特征在于，生成所述原始图像帧的图像掩膜，包括：

4.根据权利要求1所述的图像优化方法，其特征在于，生成所述原始图像帧的图像掩膜，包括：

5.根据权利要求1所述的图像优化方法，其特征在于，应用所述图像掩膜将所述原始图像帧转换为优化图像帧，包括：

6.根据权利要求4所述的图像优化方法，其特征在于，根据所述图像掩膜中各个轮廓边界的区别特征调用与该区别特征相应预设的多个图像优化模型的步骤中，所述多个图像优化模型包括如下任意一种或任意多种：

7.根据权利要求1至5中任意一项所述的图像优化方法，其特征在于，生成所述原始图像帧的图像掩膜之后，将所述原始图像帧和图像掩膜传输至GPU中以应用所述图像掩膜将所述原始图像帧转换为优化图像帧。

8.一种图像优化装置，其特征在于，包括：

图像读取模块，设置为获取原始图像帧；

9.一种电子设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法所包括的步骤。

10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有计算机程序，所述计算机程序被计算机调用运行时，执行如权利要求1至7中任意一项所述的方法所包括的步骤。