CN111476866B - 视频优化与播放方法、系统、电子设备及存储介质 - Google Patents

视频优化与播放方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN111476866B
CN111476866B CN202010274618.2A CN202010274618A CN111476866B CN 111476866 B CN111476866 B CN 111476866B CN 202010274618 A CN202010274618 A CN 202010274618A CN 111476866 B CN111476866 B CN 111476866B
Authority
CN
China
Prior art keywords
video
image data
optimized
video image
illumination intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010274618.2A
Other languages
English (en)
Other versions
CN111476866A (zh
Inventor
赵璐
李琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010274618.2A priority Critical patent/CN111476866B/zh
Publication of CN111476866A publication Critical patent/CN111476866A/zh
Application granted granted Critical
Publication of CN111476866B publication Critical patent/CN111476866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Abstract

本发明实施例提供一种视频优化与播放方法、系统、电子设备及存储介质。方法包括:获取待优化的视频图像数据;将所述待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据;对优化后的视频图像数据进行编码,得到视频数据包。本发明实施例提供的视频优化与播放方法、系统、电子设备及存储介质,通过视频优化模型对待优化的视频图像数据进行优化,实现了视频图像数据在亮度、分辨率与动态范围等多个方面的提升,提高了视频图像数据的PSNR。

Description

视频优化与播放方法、系统、电子设备及存储介质
技术领域
本发明涉及视频技术领域,尤其涉及一种视频优化与播放方法、系统、电子设备及存储介质。
背景技术
现有的智能手机都装有光线传感器,当光线变化的时候,智能手机的操作系统根据感应到的光照强度自动调节屏幕的亮度,从而提升用户的使用体验。
然而,人们的视觉感受并不只受到亮度的影响。一般而言,视频的亮度、分辨率、动态范围(dynamic range,指可变化信号最大值和最小值的比值)等共同影响了视频的观看质量效果。同样一段视频在不同的光照下,想要达到理想的观影效果,除了需要调节视频的亮度之外,视频的分辨率和动态范围等等都需要做相应的改变。
综合提升视频亮度、分辨率与动态范围的视频优化方法对计算资源的要求较高,单纯依靠移动智能设备的计算资源很难满足相关要求。
发明内容
本发明实施例提供一种视频优化与播放方法、系统、电子设备及存储介质,用以解决现有技术中当光照条件变化时主要通过调节屏幕亮度来改善用户使用体验的缺陷。
本发明第一方面实施例提供一种视频优化方法,包括:
获取待优化的视频图像数据;
将所述待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据;其中,
所述视频优化模型是将未经预处理的图像数据、所述未经预处理的图像数据所对应的外部环境的光照强度参数以及视频显示屏幕的亮度参数作为训练使用的输入数据,将符合标准的预处理后图像数据作为训练使用的目标数据,采用深度学习方式训练得到的用于生成优化后图像数据的模型;所述预处理包括对图像的修正或美化;
对优化后的视频图像数据进行编码,得到视频数据包。
上述技术方案中,还包括:
获取图像数据;
对所述图像数据进行预处理;
从预处理后的图像数据中选出符合标准的预处理后图像数据并记录对应的外部环境的光照强度参数和视频视频显示屏幕的亮度参数;
采用未经预处理的图像数据、所述未经预处理的图像数据所对应的外部环境的光照强度参数以及视频显示屏幕的亮度参数作为训练使用的输入数据,采用符合标准的预处理后图像数据作为训练使用的目标数据,采用深度学习方式进行训练,得到用于生成优化后图像数据的视频优化模型。
上述技术方案中,
所述视频优化模型是基于双向对抗生成网络结构训练得到的;其中,所述双向对抗生成网络结构包括:
生成网络与判别网络;
所述生成网络包括:
正向生成网络,用于将未经优化的图像数据根据外部环境的光照强度参数以及视频显示屏幕的亮度参数转换成为优化后的图像数据;
反向生成网络,用于将所述正向生成网络所生成的优化后的图像数据转换为未经优化的图像数据;
所述判别网络包括:
正向判别网络,用于对所述正向生成网络所生成的图像数据进行判别;
反向判别网络,用于对所述反向生成网络所生成的图像数据进行判别。
上述技术方案中,所述获取待优化的视频图像数据包括:
从视频中提取关键帧作为待优化的视频图像数据;相应地,
所述将所述待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据包括:
将所述关键帧、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入双向对抗生成网络结构,由所述双向对抗生成网络结构中的生成网络对所述关键帧进行转换,得到优化后的视频图像数据。
本发明第二方面实施例提供一种视频播放方法,应用于边缘节点,包括:
接收并缓存视频数据包;
解码所述视频数据包并从解码后的视频数据包中提取出视频图像数据;
接收外部环境的光照强度参数与视频显示屏幕的亮度参数;
基于所述外部环境的光照强度参数与视频显示屏幕的亮度参数采用本发明第一方面实施例所提供的视频优化方法对所提取的视频图像数据进行优化,得到包含优化后视频图像数据的视频数据包;
发送包含优化后视频图像数据的视频数据包。
本发明第三方面实施例提供一种视频播放方法,应用于移动智能设备,包括:
发送视频观看请求;
获取并发送外部环境的光照强度参数以及移动设备端的视频显示屏幕的亮度参数;
接收视频数据包,所述视频数据包中的视频图像数据为采用本发明第一方面实施例所提供的视频优化方法优化后的视频图像数据。
本发明第四方面实施例提供一种视频播放方法,应用于视频服务器,包括:
接收到视频观看请求;
根据所述视频观看请求选取视频内容,将所述视频内容编码后生成视频数据包并发送,以使得边缘节点从视频数据包中提取出视频图像数据,并采用本发明第一方面实施例所提供的视频优化方法对所提取的视频图像数据进行优化。
本发明第五方面实施例提供一种视频优化装置,包括:
待优化视频图像数据获取模块,用于获取待优化的视频图像数据;
视频图像数据优化模块,用于将所述待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据;其中,
所述视频优化模型是将未经预处理的图像数据、所述未经预处理的图像数据所对应的外部环境的光照强度参数以及视频显示屏幕的亮度参数作为训练使用的输入数据,将符合标准的预处理后图像数据作为训练使用的目标数据,采用深度学习方式训练得到的用于生成优化后图像数据的模型;所述预处理包括对图像的修正或美化;
编码模块,用于对优化后的视频图像数据进行编码,得到视频数据包。
本发明第六方面实施例提供一种视频播放系统,包括:
边缘节点,用于实现本发明第二方面实施例提供的视频播放方法;
移动智能设备,用于实现本发明第三方面实施例提供的视频播放方法;
视频服务器,用于实现本发明第四方面实施例提供的视频播放方法。
本发明第七方面实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明第一方面实施例提供的视频优化方法的步骤,或实现如本发明第二方面实施例提供的视频播放方法的步骤,或实现如本发明第三方面实施例提供的视频播放方法的步骤,或实现如本发明第四方面实施例提供的视频播放方法的步骤。
本发明第八方面实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如本发明第一方面实施例提供的视频优化方法的步骤,或实现如本发明第二方面实施例提供的视频播放方法的步骤,或实现如本发明第三方面实施例提供的视频播放方法的步骤,或实现如本发明第四方面实施例提供的视频播放方法的步骤。
本发明实施例提供的视频优化与播放方法、系统、电子设备及存储介质,通过视频优化模型对待优化的视频图像数据进行优化,实现了视频图像数据在亮度、分辨率与动态范围等多个方面的提升,提高了视频图像数据的PSNR。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频优化方法的流程图;
图2为本发明另一实施例提供的视频优化方法的流程图;
图3为本发明实施例提供的视频播放方法的流程图;
图4为本发明另一实施例提供的视频播放方法的流程图;
图5为本发明又一实施例提供的视频播放方法的流程图;
图6为本发明实施例提供的视频优化装置的示意图;
图7为本发明实施例提供的边缘节点的示意图;
图8为本发明实施例提供的视频服务器的示意图;
图9为本发明实施例提供的移动智能设备的示意图;
图10示例了一种电子设备的实体结构示意图;
图11为本发明实施例提供的视频优化方法中所采用的生成网络的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的视频优化方法的流程图,如图1所示,本发明实施例提供的视频优化方法包括:
步骤101、获取待优化的视频图像数据。
视频图像数据可以是视频中的图像帧。
获取待优化的视频图像数据可通过从组成视频的多个图像帧中提取其中一个或多个图像帧的方式实现。在发明实施例中,作为一种优选实现方式,从视频中提取关键帧作为待优化的视频图像数据。
步骤102、将待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据。
在本发明实施例中,所述视频优化模型是将未经预处理的图像数据、所述未经预处理的图像数据所对应的外部环境的光照强度参数以及视频显示屏幕的亮度参数作为训练使用的输入数据,将符合视觉标准的预处理后图像数据作为训练使用的目标数据,采用深度学习方式训练得到的用于生成优化后图像数据的模型;其中,预处理包括对图像的修正或美化。
外部环境的光照强度参数为视频播放时外部环境的光照强度参数,这一参数可通过视频播放设备(如智能移动终端)上的光传感器获取。在一些应用场景中,若无法实时获得视频播放时外部环境的光照强度参数,也可预先存储光照强度参数数据,再借助时间、地理位置等辅助信息从预先存储的光照强度参数数据中选取合适的光照强度参数数据作为外部环境的光照强度参数。
视频显示屏幕的亮度参数为视频播放时视频显示屏幕的亮度参数。这一参数可通过视频播放设备(如智能移动终端)的操作系统获得。
在本发明实施例中,视频优化模型是基于双向的对抗生成网络(GAN,GenerativeAdversarial Networks)结构训练得到的。
采用基于双向的对抗生成网络所得到的视频优化模型优化视频图像数据包括:
将待优化的视频图像数据的关键帧、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入双向对抗生成网络结构,由所述双向对抗生成网络结构中的生成网络对所述关键帧进行转换,得到优化后的视频图像数据。
在本发明实施例中,视频优化模型是预先构建完成的,在本发明的其它实施例中,将对视频优化模型的构建过程做详细描述。
步骤103、对优化后的视频图像数据进行编码,得到视频数据包。
在本发明实施例中,采用现有技术中已知的编码方法实现对优化后的视频图像数据的编码。编码后所得到的视频数据包可在视频播放终端播放。
在本发明实施例中,视频优化模型对待优化的视频图像数据做优化后,优化后的视频图像数据在PSNR(Peak signal-to-noise ratio,峰值信噪比)上有明显的提升。在图像处理领域中,图像亮度、分辨率与动态范围的提升均可通过PSNR的提升而得到反映。
本发明实施例提供的视频优化方法通过视频优化模型对待优化的视频图像数据进行优化,实现了视频图像数据在亮度、分辨率与动态范围等多个方面的提升,提高了视频图像数据的PSNR。
基于上述任一实施例,在本发明实施例中,视频优化方法还包括:
按照视频优化模型的要求,变换待优化的视频图像数据的尺寸;
以及,将经过优化的视频图像数据的尺寸,按照所述待优化的视频图像数据的尺寸进行变换。
在训练视频优化模型时,训练数据中所包含的图像的尺寸决定了视频优化模型对待优化视频图像数据的尺寸要求。如果偏离这一尺寸要求,将会影响优化效果。因此如果待优化的视频图像数据的尺寸不能满足视频优化模型的要求,需要对待优化的视频图像数据进行尺寸变换。
一旦待优化的视频图像发生了尺寸变换,那么经过优化的视频图像需要按照待优化的视频图像的原始尺寸进行尺寸变换,变换后的尺寸与待优化的视频图像的原始尺寸相同。这是因为待优化的视频图像的原始尺寸一般是满足视频播放要求的,因此需要对经过优化的视频图像做尺寸调整,以满足视频播放要求。
本发明实施例提供的视频优化方法通过对待优化的视频图像数据以及优化后的视频图像数据的尺寸变换,扩大了视频优化模型的适用范围,能有效提升图像质量。
图2为本发明另一实施例提供的视频优化方法的流程图,如图2所示,本发明另一实施例提供的视频优化方法包括:
步骤201、获取图像数据。
在本步骤中,图像数据可以是视频中抽取的图像帧,也可以是以其他方式获取的电子格式的图像数据,如从网上获取的JPEG、TIFF、RAW等格式的图像数据。
作为用于训练模型的样本数据,所要获取的图像数据可以是不同场景的图片,如反映景色、人物、动物等的图片。
步骤202、对图像数据进行预处理。
在本步骤中,对图像数据的预处理是指对图像的修正或美化,可以采用现有技术中的相关方法实现,如人工修图的方法或现有技术中公开的自动美化算法。
步骤203、从预处理后的图像数据中筛选出符合视觉标准的预处理后图像数据。
在本发明实施例中,视觉标准是一个用于判断观众观看图像满意度的指标,符合视觉标准是指观众观看图像的满意度在视觉标准所对应的数值之上。
筛选符合视觉标准的图像数据可采用多种方法实现,如通过人工方法,又如通过机器学习的方法。在本发明实施例中,在筛选预处理后图像数据时,将预处理后的图像数据在不同的光照条件(光照条件可采用光照强度参数描述)和屏幕亮度(屏幕亮度可采用亮度参数描述)下进行展示,多个用户(最好是奇数个)观看所展示的图像,从中筛选出他们“满意的”图像,同时记录各个图像在展示时所对应的光照强度参数和亮度参数。例如:当一张经过优化的图像在相同的屏幕亮度和光照下,被超过1/2的用户认定为“满意的”,那么这一图像就是筛选出的“满意的”图像。
从预处理后图像中筛选出的符合视觉标准的预处理后图像数据在后续的模型训练时可作为目标数据。未被选中的图像所对应的原始图像数据以及这些图像数据在前述筛选过程中展示时所对应的外部环境的光照强度参数、视频显示屏幕的亮度参数在后续的模型训练时可作为输入数据。
步骤204、采用未经预处理的图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数作为训练使用的输入数据,采用符合视觉标准的预处理后图像数据作为训练使用的目标数据,采用深度学习方式进行训练,得到用于生成优化后图像数据的视频优化模型。
在本发明实施例中,视频优化模型是基于双向的对抗生成网络结构训练得到的。
双向的对抗生成网络结构包括生成网络(记为G(x))和判别网络(或称为判断网络,记为D)。图11为本发明实施例提供的视频优化方法中所采用的生成网络的结构示意图。
生成网络的目的是将输入的“劣质图像”(未经优化的图像数据)根据外部环境的光照强度参数以及视频显示屏幕的亮度参数转换成为“优质图像”(经过优化的图像数据)。生成网络包括正向生成网络和反向生成网络。正向生成网络用于将未经优化的图像数据根据外部环境的光照强度参数以及视频显示屏幕的亮度参数转换成为优化后的图像数据;反向生成网络用于将所述正向生成网络所生成的优化后的图像数据转换为未经优化的图像数据
判别网络的目的是将生成网络所生成的图像数据与被用户认可的优化后图像数据(即目标数据)进行比较,通过设计优化目标函数,使得生成网络生成的图片越来越接近“目标”期望结果。判别网络包括正向判别网络和反向判别网络。正向判别网络用于对所述正向生成网络所生成的图像数据进行判别;反向判别网络用于对所述反向生成网络所生成的图像数据进行判别。
损失函数与模型训练过程密切相关。在本发明实施例中,由于是双向的GAN网络,假设原始的待优化的图像标记为X,而经过G(X)得到X’,目标的图像集合为Y,由于对图像优化的目的是提高图像质量,因此根据PSNR的计算公式最大化PSNR,得到正向的损失函数如下:
其中,F相当于G的逆函数,网络结构与G相同,是将Y转换成X的函数;M是单调递增函数,表达式如下所示:
MSE代表均方误差,表达式如下所示:
D1表示双向对抗生成网络中,正向的判别网络。
同理:反向的损失函数为:
其中,D2表示双向对抗生成网络中,反向的判别网络。
由正向的损失函数与反向的损失函数得到总的loss函数为:
L=θL(F,D2,Y,X)+L(G,D1,X,Y);
其中0<θ≤1,一般取值为0.9左右。
在一个范例中,生成网络输入图像的尺寸与输出图像的尺寸相同,均为512*512*3。光照强度参数li和屏幕亮度参数sc均需要扩充为32*32*32的矩阵,这两个矩阵中的每个元素的值分别为li和sc。判别网络输入图像的尺寸是512*512*3,输出的是2*1的向量。
步骤205、获取待优化的视频图像数据。
步骤206、将待优化的视频图像数据输入视频优化模型,获得优化后的视频图像数据。
步骤207、对优化后的视频图像数据进行编码,得到视频数据包。
本发明实施例提供的视频优化方法根据原始图像数据、光照强度和屏幕亮度训练视频优化模型,利用视频优化模型能自动实现对视频图像数据的优化,使得视频图像的质量有明显的提升。
图3为本发明实施例提供的视频播放方法的流程图,本发明实施例提供的视频播放方法应用于网络系统中的边缘节点,如图3所示,该方法包括:
步骤301、接收并缓存视频数据包。
步骤302、解码所述视频数据包并从解码后的视频数据包中提取出视频图像数据。
在本发明实施例中,从解码后的视频数据包中所提取的视频图像数据为视频中的关键帧。
步骤303、接收外部环境的光照强度参数与视频显示屏幕的亮度参数。
在本发明实施例中,从移动设备端获取当前时刻或当前时刻之前的邻近时刻外部环境的光照强度参数以及移动设备端的视频显示屏幕的亮度参数。在之后的步骤中,需要利用所述光照强度参数与亮度参数实现对所提取的视频图像数据的优化。
步骤304、采用视频优化方法对所提取的视频图像数据进行优化,得到包含优化后视频图像数据的视频数据包。
在本步骤中,在生成优化后的视频图像数据后,将优化后的视频图像数据替换从解码后的视频数据包中所提取的视频图像数据,然后与解码后的视频数据包中的其他视频图像数据一起重新编码,得到重新编码后的视频数据包。
步骤305、发送包含优化后视频图像数据的视频数据包。
本发明实施例提供的视频播放方法通过视频优化模型对待优化的视频图像数据进行优化,实现了视频图像数据在亮度、分辨率与动态范围等多个方面的提升,提高了视频图像数据的PSNR;在边缘节点实现了对视频图像数据的优化操作,减少了移动端的性能消耗,同时利用编解码的原理,仅对关键帧进行处理,减少了计算消耗。
图4为本发明另一实施例提供的视频播放方法的流程图,本发明另一实施例提供的视频播放方法应用于网络系统中的视频服务器,如图4所示,该方法包括:
步骤401、接收到用户发送的视频观看请求。
步骤402、根据视频观看请求选取视频内容,将所述视频内容编码后生成视频数据包并发送,以使得边缘节点从视频数据包中提取出视频图像数据,并采用视频优化方法对所提取的视频图像数据进行优化。
本发明实施例提供的视频播放方法通过视频优化模型对待优化的视频图像数据进行优化,实现了视频图像数据在亮度、分辨率与动态范围等多个方面的提升,提高了视频图像数据的PSNR;将对视频图像数据的优化操作转移到边缘节点,减少了移动端的性能消耗,同时利用编解码的原理,仅对关键帧进行处理,减少了计算消耗。
图5为本发明又一实施例提供的视频播放方法的流程图,本发明又一实施例提供的视频播放方法应用于网络系统中的移动智能设备端,如图5所示,该方法包括:
步骤501、发送视频观看请求。
步骤502、获取并发送外部环境的光照强度参数以及移动设备端的视频显示屏幕的亮度参数。
在本发明实施例中,外部环境的光照强度参数为当前时刻或当前时刻之前邻近时刻的外部环境的光照强度参数。移动设备端的视频显示屏幕的亮度参数为当前时刻或当前时刻之前邻近时刻的移动设备端的视频显示屏幕的亮度参数。
外部环境的光照强度参数可通过移动设备端上的光传感器实时采集;在一些应用场景中,若无法实时获得视频播放时外部环境的光照强度参数,也可预先存储光照强度参数数据,再借助时间、地理位置等辅助信息从预先存储的光照强度参数数据中选取合适的光照强度参数数据作为外部环境的光照强度参数。
视频显示屏幕的亮度参数可通过移动设备端的操作系统获得。
本步骤中所获取的光照强度参数与亮度参数能用于对视频图像数据的优化。
步骤503、接收视频数据包,所述视频数据包中的视频图像数据采用视频优化方法进行了优化。
本发明实施例提供的视频播放方法通过视频优化模型对待优化的视频图像数据进行优化,实现了视频图像数据在亮度、分辨率与动态范围等多个方面的提升,提高了视频图像数据的PSNR;在边缘节点实现了对视频图像数据的优化操作,减少了移动端的性能消耗,同时利用编解码的原理,仅对关键帧进行处理,减少了计算消耗。
图6为本发明实施例提供的视频优化装置的示意图,如图6所示,本发明实施例提供的视频优化装置包括:
待优化视频图像数据获取模块601,用于获取待优化的视频图像数据;
视频图像数据优化模块602,用于将所述待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据;其中,
所述视频优化模型是将未经预处理的图像数据、所述未经预处理的图像数据所对应的外部环境的光照强度参数以及视频显示屏幕的亮度参数作为训练使用的输入数据,将符合标准的预处理后图像数据作为训练使用的目标数据,采用深度学习方式训练得到的用于生成优化后图像数据的模型;所述预处理包括对图像的修正或美化;
编码模块603,用于对优化后的视频图像数据进行编码,得到视频数据包。
本发明实施例提供的视频优化装置通过视频优化模型对待优化的视频图像数据进行优化,实现了视频图像数据在亮度、分辨率与动态范围等多个方面的提升,提高了视频图像数据的PSNR。
本发明实施例还提供了一种视频播放系统,该视频播放系统包括边缘节点,视频服务器与移动智能设备。
图7为本发明实施例提供的边缘节点的示意图,如图7所示,本发明实施例提供的边缘节点包括:
视频数据包缓存模块701,用于接收并缓存视频数据包;
解码模块702,用于解码所述视频数据包并从解码后的视频数据包中提取出视频图像数据;
参数接收模块703,用于接收外部环境的光照强度参数与视频显示屏幕的亮度参数;
优化模块704,用于采用视频优化装置对所提取的视频图像数据进行优化,得到包含优化后视频图像数据的视频数据包;
发送模块705,用于发送包含优化后视频图像数据的视频数据包。
图8为本发明实施例提供的视频服务器的示意图,如图8所示,本发明实施例提供的视频服务器包括:
请求接收模块801,用于接收到用户发送的视频观看请求。
视频内容选取与发送模块802,用于根据视频观看请求选取视频内容,将所述视频内容编码后生成视频数据包并发送,以使得边缘节点从视频数据包中提取出视频图像数据,并采用视频优化装置对所提取的视频图像数据进行优化。
图9为本发明实施例提供的移动智能设备的示意图,如图9所示,本发明实施例提供的移动智能设备包括:
请求发送模块901,用于发送视频观看请求。
参数获取模块902,用于获取并发送外部环境的光照强度参数以及移动设备端的视频显示屏幕的亮度参数。
数据包接收模块903,用于接收视频数据包,所述视频数据包中的视频图像数据采用视频优化装置进行了优化。
本发明实施例提供的视频播放系统通过视频优化模型对待优化的视频图像数据进行优化,实现了视频图像数据在亮度、分辨率与动态范围等多个方面的提升,提高了视频图像数据的PSNR;在边缘节点实现了对视频图像数据的优化操作,减少了移动智能设备端的性能消耗,同时利用编解码的原理,仅对关键帧进行处理,减少了计算消耗。
图10示例了一种电子设备的实体结构示意图,如图10所示,该电子设备可以包括:处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040,其中,处理器1010,通信接口1020,存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令,以执行如下方法:获取待优化的视频图像数据;将所述待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据;对优化后的视频图像数据进行编码,得到视频数据包。或执行如下方法:接收并缓存视频数据包;解码所述视频数据包并从解码后的视频数据包中提取出视频图像数据;接收外部环境的光照强度参数与视频显示屏幕的亮度参数;基于所述外部环境的光照强度参数与视频显示屏幕的亮度参数采用所述视频优化方法对所提取的视频图像数据进行优化;得到包含优化后视频图像数据的视频数据包;发送包含优化后视频图像数据的视频数据包。或执行如下方法:发送视频观看请求;获取并发送外部环境的光照强度参数以及移动设备端的视频显示屏幕的亮度参数;接收视频数据包,所述视频数据包中的视频图像数据为采用所述视频优化方法优化后的视频图像数据。或执行如下方法:接收到视频观看请求;根据所述视频观看请求选取视频内容,将所述视频内容编码后生成视频数据包并发送,以使得边缘节点从视频数据包中提取出视频图像数据,并采用所述视频优化方法对所提取的视频图像数据进行优化。
需要说明的是,本实施例中的电子设备在具体实现时可以为服务器,也可以为PC机,还可以为其他设备,只要其结构中包括如图10所示的处理器1010、通信接口1020、存储器1030和通信总线1040,其中处理器1010,通信接口1020,存储器1030通过通信总线1040完成相互间的通信,且处理器1010可以调用存储器1030中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外,上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地,本发明实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:获取待优化的视频图像数据;将所述待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据;对优化后的视频图像数据进行编码,得到视频数据包。或例如包括:接收并缓存视频数据包;解码所述视频数据包并从解码后的视频数据包中提取出视频图像数据;接收外部环境的光照强度参数与视频显示屏幕的亮度参数;基于所述外部环境的光照强度参数与视频显示屏幕的亮度参数采用所述视频优化方法对所提取的视频图像数据进行优化;得到包含优化后视频图像数据的视频数据包;发送包含优化后视频图像数据的视频数据包。或例如包括:发送视频观看请求;获取并发送外部环境的光照强度参数以及移动设备端的视频显示屏幕的亮度参数;接收视频数据包,所述视频数据包中的视频图像数据为采用所述视频优化方法优化后的视频图像数据。或例如包括:接收到视频观看请求;根据所述视频观看请求选取视频内容,将所述视频内容编码后生成视频数据包并发送,以使得边缘节点从视频数据包中提取出视频图像数据,并采用所述视频优化方法对所提取的视频图像数据进行优化。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:获取待优化的视频图像数据;将所述待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据;对优化后的视频图像数据进行编码,得到视频数据包。或例如包括:接收并缓存视频数据包;解码所述视频数据包并从解码后的视频数据包中提取出视频图像数据;接收外部环境的光照强度参数与视频显示屏幕的亮度参数;基于所述外部环境的光照强度参数与视频显示屏幕的亮度参数采用所述视频优化方法对所提取的视频图像数据进行优化;得到包含优化后视频图像数据的视频数据包;发送包含优化后视频图像数据的视频数据包。或例如包括:发送视频观看请求;获取并发送外部环境的光照强度参数以及移动设备端的视频显示屏幕的亮度参数;接收视频数据包,所述视频数据包中的视频图像数据为采用所述视频优化方法优化后的视频图像数据。或例如包括:接收到视频观看请求;根据所述视频观看请求选取视频内容,将所述视频内容编码后生成视频数据包并发送,以使得边缘节点从视频数据包中提取出视频图像数据,并采用所述视频优化方法对所提取的视频图像数据进行优化。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种视频优化方法,其特征在于,包括:
获取待优化的视频图像数据;
将所述待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据;其中,
所述视频优化模型是将未经预处理的图像数据、所述未经预处理的图像数据所对应的外部环境的光照强度参数以及视频显示屏幕的亮度参数作为训练使用的输入数据,将符合标准的预处理后图像数据作为训练使用的目标数据,采用深度学习方式训练得到的用于生成优化后图像数据的模型;所述预处理包括对图像的修正或美化;
对优化后的视频图像数据进行编码,得到视频数据包;
其中,在训练所述视频优化模型时,按照所述视频优化模型的要求,变换所述待优化的视频图像数据的尺寸;以及,将经过优化的视频图像数据的尺寸,按照所述待优化的视频图像数据的尺寸进行变换;所述视频优化模型的要求根据训练数据中所包含的图像的尺寸确定;
其中,所述视频优化模型是基于双向对抗生成网络结构训练得到的;其中,所述双向对抗生成网络结构包括:
生成网络与判别网络;
所述生成网络包括:
正向生成网络,用于将未经优化的图像数据根据外部环境的光照强度参数以及视频显示屏幕的亮度参数转换成为优化后的图像数据;
反向生成网络,用于将所述正向生成网络所生成的优化后的图像数据转换为未经优化的图像数据;
所述判别网络包括:
正向判别网络,用于对所述正向生成网络所生成的图像数据进行判别;
反向判别网络,用于对所述反向生成网络所生成的图像数据进行判别;
所述视频优化模型的训练过程与损失函数密切相关;所述损失函数基于正向的损失函数和反向的损失函数进行计算得到的;所述正向的损失函数是基于所述正向生成网络和所述正向判别网络得到的;所述反向的损失函数是基于所述反向生成网络和所述反向判别网络得到的。
2.根据权利要求1所述的视频优化方法,其特征在于,还包括:
获取图像数据;
对所述图像数据进行预处理;
从预处理后的图像数据中选出符合标准的预处理后图像数据并记录对应的外部环境的光照强度参数和视频显示屏幕的亮度参数;
采用未经预处理的图像数据、所述未经预处理的图像数据所对应的外部环境的光照强度参数以及视频显示屏幕的亮度参数作为训练使用的输入数据,采用符合标准的预处理后图像数据作为训练使用的目标数据,采用深度学习方式进行训练,得到用于生成优化后图像数据的视频优化模型。
3.根据权利要求1所述的视频优化方法,其特征在于,所述获取待优化的视频图像数据包括:
从视频中提取关键帧作为待优化的视频图像数据;相应地,
所述将所述待优化的视频图像数据、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入预先构建的视频优化模型,获得优化后的视频图像数据包括:
将所述关键帧、外部环境的光照强度参数以及视频显示屏幕的亮度参数输入双向对抗生成网络结构,由所述双向对抗生成网络结构中的生成网络对所述关键帧进行转换,得到优化后的视频图像数据。
4.一种视频播放方法,应用于边缘节点,其特征在于,包括:
接收并缓存视频数据包;
解码所述视频数据包并从解码后的视频数据包中提取出视频图像数据;
接收外部环境的光照强度参数与视频显示屏幕的亮度参数;
基于所述外部环境的光照强度参数与视频显示屏幕的亮度参数采用权利要求1至3任一的所述视频优化方法对所提取的视频图像数据进行优化,得到包含优化后视频图像数据的视频数据包;
发送包含优化后视频图像数据的视频数据包。
5.一种视频播放方法,应用于移动智能设备,其特征在于,包括:
发送视频观看请求;
获取并发送外部环境的光照强度参数以及移动设备端的视频显示屏幕的亮度参数;
接收视频数据包,所述视频数据包中的视频图像数据为采用权利要求1至3任一的所述视频优化方法优化后的视频图像数据。
6.一种视频播放方法,应用于视频服务器,其特征在于,包括:
接收到视频观看请求;
根据所述视频观看请求选取视频内容,将所述视频内容编码后生成视频数据包并发送,以使得边缘节点从视频数据包中提取出视频图像数据,并采用权利要求1至3任一的所述视频优化方法对所提取的视频图像数据进行优化。
7.一种视频播放系统,其特征在于,包括:
边缘节点,用于实现权利要求4所述的视频播放方法;
移动智能设备,用于实现权利要求5所述的视频播放方法;
视频服务器,用于实现权利要求6所述的视频播放方法。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至3之一所述的视频优化方法的步骤,或实现如权利要求4所述的视频播放方法的步骤,或实现如权利要求5所述的视频播放方法的步骤,或实现如权利要求6所述的视频播放方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至3之一所述的视频优化方法的步骤,或实现如权利要求4所述的视频播放方法的步骤,或实现如权利要求5所述的视频播放方法的步骤,或实现如权利要求6所述的视频播放方法的步骤。
CN202010274618.2A 2020-04-09 2020-04-09 视频优化与播放方法、系统、电子设备及存储介质 Active CN111476866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010274618.2A CN111476866B (zh) 2020-04-09 2020-04-09 视频优化与播放方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010274618.2A CN111476866B (zh) 2020-04-09 2020-04-09 视频优化与播放方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111476866A CN111476866A (zh) 2020-07-31
CN111476866B true CN111476866B (zh) 2024-03-12

Family

ID=71751602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010274618.2A Active CN111476866B (zh) 2020-04-09 2020-04-09 视频优化与播放方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111476866B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637693B (zh) * 2020-12-14 2022-02-18 四川长虹电器股份有限公司 动态切换电视画质效果的系统、方法、设备及存储介质
WO2022143835A1 (en) * 2020-12-29 2022-07-07 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231079A (zh) * 2016-07-21 2016-12-14 乐视控股(北京)有限公司 一种视频播放亮度自动调节方法及移动终端
CN109167946A (zh) * 2018-09-30 2019-01-08 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备以及存储介质
KR20190011180A (ko) * 2017-07-24 2019-02-01 삼성전자주식회사 이미지를 암호화하여 외부 서버에 업로드하기 위한 전자 장치 및 이의 제어 방법
CN109525901A (zh) * 2018-11-27 2019-03-26 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法
CN109741410A (zh) * 2018-12-07 2019-05-10 天津大学 基于深度学习的荧光编码微球图像生成及标注方法
CN109933186A (zh) * 2019-01-22 2019-06-25 西北大学 一种基于屏幕亮度调节的移动网页浏览器能耗优化方法
CN109951594A (zh) * 2017-12-20 2019-06-28 广东欧珀移动通信有限公司 屏幕亮度的智能调节方法、装置、存储介质及移动终端
WO2019135621A1 (ko) * 2018-01-04 2019-07-11 삼성전자 주식회사 영상 재생 장치 및 그의 제어 방법
US10395392B1 (en) * 2019-01-31 2019-08-27 StradVision, Inc. Learning method and learning device for strategic transforming RGB training image sets into non-RGB training image sets, to be used for learning object detection on objects of images in non-RGB format, by using cycle GAN, resulting in significantly reducing computational load and reusing data
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110418194A (zh) * 2019-07-19 2019-11-05 咪咕文化科技有限公司 一种视频分发方法及基站
CN110689561A (zh) * 2019-09-18 2020-01-14 中山大学 基于模块化gan的多模态mri与多模态ct的转换方法、系统及介质
CN110868598A (zh) * 2019-10-17 2020-03-06 上海交通大学 基于对抗生成网络的视频内容替换方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007137049A (ja) * 2005-10-19 2007-06-07 Ricoh Co Ltd 画像処理方法、プログラム、画像処理装置、画像形成装置及び画像形成システム
US10643320B2 (en) * 2017-11-15 2020-05-05 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
US11620528B2 (en) * 2018-06-12 2023-04-04 Ciena Corporation Pattern detection in time-series data
WO2020056418A1 (en) * 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231079A (zh) * 2016-07-21 2016-12-14 乐视控股(北京)有限公司 一种视频播放亮度自动调节方法及移动终端
KR20190011180A (ko) * 2017-07-24 2019-02-01 삼성전자주식회사 이미지를 암호화하여 외부 서버에 업로드하기 위한 전자 장치 및 이의 제어 방법
CN109951594A (zh) * 2017-12-20 2019-06-28 广东欧珀移动通信有限公司 屏幕亮度的智能调节方法、装置、存储介质及移动终端
WO2019135621A1 (ko) * 2018-01-04 2019-07-11 삼성전자 주식회사 영상 재생 장치 및 그의 제어 방법
CN109167946A (zh) * 2018-09-30 2019-01-08 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备以及存储介质
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法
CN109525901A (zh) * 2018-11-27 2019-03-26 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
CN109741410A (zh) * 2018-12-07 2019-05-10 天津大学 基于深度学习的荧光编码微球图像生成及标注方法
CN109933186A (zh) * 2019-01-22 2019-06-25 西北大学 一种基于屏幕亮度调节的移动网页浏览器能耗优化方法
US10395392B1 (en) * 2019-01-31 2019-08-27 StradVision, Inc. Learning method and learning device for strategic transforming RGB training image sets into non-RGB training image sets, to be used for learning object detection on objects of images in non-RGB format, by using cycle GAN, resulting in significantly reducing computational load and reusing data
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110418194A (zh) * 2019-07-19 2019-11-05 咪咕文化科技有限公司 一种视频分发方法及基站
CN110689561A (zh) * 2019-09-18 2020-01-14 中山大学 基于模块化gan的多模态mri与多模态ct的转换方法、系统及介质
CN110868598A (zh) * 2019-10-17 2020-03-06 上海交通大学 基于对抗生成网络的视频内容替换方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jeff Donahue,等.Adversarial Feature Learning.《arXiv》.2017,第1-18页. *
苗乔伟 ; 杨淇 ; 李爱佳 ; 等.一种高倍数细胞显微图像生成式对抗网络.《 计算机工程》.2019,全文. *

Also Published As

Publication number Publication date
CN111476866A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
TWI826321B (zh) 提高影像品質的方法
US20210160556A1 (en) Method for enhancing resolution of streaming file
CN110324621B (zh) 视频编码方法、装置、电子设备和存储介质
CN101953153B (zh) 摄像装置和摄像方法
US20110026591A1 (en) System and method of compressing video content
CN101273637B (zh) 媒体管理器、媒体内容管理方法和系统以及包含媒体管理器的通信单元
US20210398257A1 (en) Method and device for mapping ldr video into hdr video
CN111476866B (zh) 视频优化与播放方法、系统、电子设备及存储介质
CN110072119A (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
EP4254964A1 (en) Image processing method and apparatus, device, and storage medium
CN105430393B (zh) 一种图片处理方法、图片处理装置、图片处理平台以及存储介质
CN111429357A (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
WO2020244328A1 (zh) 图像处理方法及装置
WO2023050720A1 (zh) 图像处理方法、图像处理装置、模型训练方法
US11699212B2 (en) Method of controlling encoding of display data
CN113452996A (zh) 一种视频编码、解码方法及装置
KR102416160B1 (ko) 영상 저장 서비스 제공 방법, 컴퓨터 프로그램 및 컴퓨팅 장치
CN114302175A (zh) 视频处理方法及装置
CN110784716B (zh) 媒体数据处理方法、装置及介质
CN116546238A (zh) 视频数据传输方法、装置和电子设备
CN115379248B (zh) 一种视频源流替换方法、系统、设备及存储介质
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备
EP2874398A2 (en) Method of embedding of an image with a color transform
CN117729350A (zh) 一种视频数据处理方法、装置、设备及可读存储介质
CN112672162A (zh) 编码方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant