CN116405730A - 一种智能化显示效果优化方法及系统 - Google Patents
一种智能化显示效果优化方法及系统 Download PDFInfo
- Publication number
- CN116405730A CN116405730A CN202310394997.2A CN202310394997A CN116405730A CN 116405730 A CN116405730 A CN 116405730A CN 202310394997 A CN202310394997 A CN 202310394997A CN 116405730 A CN116405730 A CN 116405730A
- Authority
- CN
- China
- Prior art keywords
- screen
- video
- color
- standard
- image quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims description 25
- 238000005457 optimization Methods 0.000 title claims description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 97
- 239000002131 composite material Substances 0.000 claims abstract description 44
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及智能化显示效果优化系统，包括：动态范围及色彩增强转换网络13，由HLG标准的HDR视频提取画面特征，并由手机100获取屏幕参数PA，将其作为转换目标的屏幕参数融合到画面特征中生成复合特征，然后基于复合特征完成视频内容动态范围、色域、色彩的增强转换，生成HDR10标准的中间HDR视频数据；画质增强转换网络14，由HDR10标准的中间HDR视频数据提取画面特征，再次将转换目标的屏幕参数融合到画面特征中生成复合特征，基于复合特征完成视频内容的画质增强，生成最终的HDR10标准的HDR视频数据。因此，能够针对具体的手机屏幕，下发与屏幕参数匹配的视频，提升手机100播放视频时的显示效果。
Description
技术领域
本发明涉及视频播放技术，尤其涉及智能化显示效果优化方法及系统。
背景技术
随着手机等移动终端上播放HDR等高品质视频的需要，为提高视频显示效果，通常在视频源对视频进行处理(例如调整对比度、亮度、动态范围等)，以增强视频播放时的显示效果(例如CN113902651B)。由于不同屏幕其色域、亮度范围、分辨率等与显示相关的特性并不相同，实际的显示效果受到屏幕特性的制约，高品质视频的效果无法得到充分发挥。
提高视频显示效果的另一种方法是在屏幕端统一对视频信号进行调整。比如有些智能电视带有的去噪、超分和色彩增强等画质增强功能。由于屏幕端能够直接获取屏幕的性能参数，比如分辨率、帧率、色彩空间、亮度等，可以按照屏幕的特性对接收到的视频信号进行转换增强，让视频适配这些屏幕的参数，发挥屏幕的最大效果(例如CN108810649B)。
但这种方法，需要在屏幕设备内安装算法芯片，主要适用于高端电视。对于手机等移动终端，受限于算力(轻薄要求和成本限制，不可能有高算力)，只能使用复杂度极低的算法，算法的效果也有限，复杂的算法不仅需要消耗过多的电量，还可能导致设备发热、卡顿等问题发生。
另外，根据电视屏幕的物理特性和用户的观看环境，自动调整画面的亮度、色彩、对比度等参数，提高画面观感的技术(例如，CN113055752A)，同样需要额外硬件来获取环境参数和运行算法，存在成本高，结构复杂、操作复杂，在手机等移动终端上难以普及。
本发明的目的在于提供一种不需要复杂计算就能够自动适配屏幕特性的智能化显示效果优化方法及系统。
发明内容
本发明的第一技术方案为一种智能化显示效果优化方法，其特征在于，包括以下步骤：
屏幕参数读取步骤(S20)，屏幕参数读取模块(12)由屏幕端(100)读取屏幕参数(PA)；动态增强处理步骤(S30)，利用动态范围及色彩增强转换网络(13)由提供给屏幕端(100)的视频提取画面特征，并将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，然后基于复合特征完成视频内容动态范围及色彩的增强转换，生成融合屏幕参数的中间视频数据。
画质增强处理步骤(S40)，融合屏幕参数的中间视频数据输入画质增强转换网络(14)，利用画质增强转换网络(14)提取其画面特征，再次将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，基于复合特征完成视频内容的画质增强，生成最终的视频数据；视频下发步骤(S50)，将所述最终的视频数据通过网络(50)下发到屏幕端(100)进行播放或存储。
优选，提供给屏幕端(100)的视频为HLG标准的HDR视频，
所述动态增强处理步骤(S30)中，所述动态范围及色彩增强转换网络(13)由所述HLG标准的HDR视频提取画面特征，并将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，然后基于复合特征完成视频内容动态范围及色彩的增强转换，生成HDR10标准的中间HDR视频数据。
所述画质增强处理步骤(S40)中，所述画质增强转换网络(14)由所述HDR10标准的中间HDR视频数据提取画面特征，再次将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，基于复合特征完成视频内容的画质增强，生成最终的HDR10标准的HDR视频数据。
优选，所述屏幕参数包括亮度范围、色域、色深、动态曲线、分辨率中的任一个或多个的组合。
优选，还包括预处理步骤(S10)，由数据预处理模块(11)对所述HLG标准的HDR视频数据进行预处理，处理的结果，所述HLG标准的HDR视频数据以归一化数据的形式输入到动态范围增强转换网络(13)。
第二技术方案为智能化显示效果优化系统，其特征在于，包括以下模块，屏幕参数读取模块(12)，由屏幕端(100)读取屏幕参数(PA)；动态范围及色彩增强转换网络(13)，由提供给屏幕端(100)的视频提取画面特征，并将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，然后基于复合特征完成视频内容动态范围及色彩的增强转换，生成融合屏幕参数的中间视频数据。
画质增强转换网络(14)，由融合屏幕参数的中间视频数据提取画面特征，再次将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，基于复合特征完成视频内容的画质增强，生成最终的视频数据，所述屏幕参数读取模块(12)、所述动态范围增强转换网络(13)、所述画质增强转换网络(14)安装在提供视频服务的平台。
优选，提供给屏幕端(100)的视频为HLG标准的HDR视频，所述动态范围及色彩增强转换网络(13)由所述HLG标准的HDR视频提取画面特征，并将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，然后基于复合特征完成视频内容动态范围及色彩的增强转换，生成HDR10标准的中间HDR视频数据。
所述画质增强转换网络(14)由所述HDR10标准的中间HDR视频数据提取画面特征，再次将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，基于复合特征完成视频内容的画质增强，生成最终的HDR10标准的HDR视频数据。
优选，所述屏幕参数包括亮度范围、色域、色深、动态曲线、分辨率中的任一个或多个的组合。
优选，还包括数据预处理模块(11)，预先对进入所述动态范围及色彩增强转换网络(13)的HLG标准的HDR视频数据进行归一化处理，使HLG标准的HDR视频数据以归一化数据的形式输入到所述动态范围及色彩增强转换网络(13)。
作为屏幕端(100)可以采用移动终端，包括手机和平板电脑。
附图说明
图1为在云端安装有AI画质增强模型的视频播放说明图；
图2为云端对下发视频进行处理的流程图；
图3为动态范围及色彩增强转换网络的结构说明图；
图4为动态范围及色彩增强转换网络的训练架构；
图5为画质增强转换网络的结构说明图；
图6为画质增强转换网络训练用的判别网络说明图；
图7为画质增强转换网络的训练架构。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细说明。
针对现有技术存在的问题(参见背景技术)，本发明提供一种能够根据播放端的屏幕特性对视频进行画质增强，充分发挥屏幕性能，提升屏幕的显示效果，并且不需要在屏幕端添加额外的硬件进行复杂的计算，即可按照屏幕特性播放高品质的视频。
1.基本流程
i.收集不同屏幕的特性参数，通过专业调色师根据屏幕特性对不同的视频样本进行设计调色和画质优化，优化结果作为AI画质增强模型的训练数据(学习样本)。
ii.构建AI画质增强模型，该模型在接收视频数据的同时，输入屏幕端(视频播放端)的屏幕参数PA，依据屏幕参数PA对视频进行画质增强处理获得与屏幕参数PA相适应的视频。对AI画质增强模型的要求是计算简单、速度快、与屏幕的匹配性好。
iii.经过训练的AI画质增强模型安装在提供视频服务的云端，下发视频时，屏幕端的app获取屏幕特性参数数据传回云端，云端的AI画质增强模型根据屏幕参数实时生成当前屏幕特性下最优画质效果的视频，然后下发到屏幕端播放。以下以高品质的HLG标准的HDR视频在手机播放为例进行说明。
图1为在云端安装有AI画质增强模型的视频播放说明图。
云端10作为提供视频服务的平台，安装有数据预处理模块11、屏幕参数读取模块12、动态范围及色彩增强转换网络13、画质增强转换网络14。动态范围及色彩增强转换网络13将HLG标准的HDR视频的动态范围及色彩转换到HDR10标准的中间HDR视频的动态范围及色彩。画质增强转换网络14基于HDR10标准的中间HDR视频进行画质增强。动态范围及色彩增强转换网络13和画质增强转换网络14作为AI画质增强模型在对视频数据进行处理的同时，输入手机100的屏幕参数PA，实时生成当前屏幕特性下最优画质效果的视频。
作为屏幕端的手机100安装有视频播放APP。视频播放APP除通常的播放模块110外，增加屏幕参数获取模块120。屏幕参数获取模块120，获取手机100的屏幕参数PA并在播放模块110下载视频时回传给云端10。
图2为云端对下发视频进行处理的流程图。
预处理步骤S10，数据预处理模块11对下发的HLG标准的HDR视频数据进行预处理，例如把图像数值从0-255，全部除以255，归一化到0-1。处理的结果，HLG标准的HDR视频数据以归一化数据的形式输入到动态范围及色彩增强转换网络13。通过归一化数据处理，模型能够更好收敛。
屏幕参数读取步骤S20，屏幕参数读取模块12由手机(屏幕端)100读取手机100的屏幕参数PA，屏幕参数PA和HLG标准的HDR视频数据同时输入动态范围及色彩增强转换网络13。
动态增强及色彩处理步骤S30，动态范围及色彩增强转换网络13，提取HLG标准的HDR视频的画面特征，并将作为转换目标的手机屏幕的亮度范围、色域、色深、动态曲线、分辨率等参数融合到画面特征中生成复合特征，然后基于复合特征完成视频内容动态范围及色彩的增强转换，生成HDR10标准的中间HDR视频数据。
画质增强处理步骤S40，HDR10标准的中间HDR视频数据输入画质增强转换网络14，由画质增强转换网络14提取其画面特征，再次将作为转换目标的手机屏幕的亮度范围、色域、色深、动态曲线、分辨率等参数融合到画面特征中生成复合特征，基于复合特征完成视频内容的画质增强，生成最终的HDR10标准的HDR视频数据。
作为屏幕参数可以根据需要从亮度范围、色域、色深、动态曲线、分辨率中任意选取一个或多个。
视频下发步骤S50，生成的HDR10标准的HDR视频数据通过网络50下发到手机100，由播放模块110播放或存储。
由于手机100收到的视频数据是基于手机100本身的屏幕参数PA，进行动态及色彩增强和画质增强处理，在播放时能最大程度的发挥屏幕的特性，充分发挥高品质的HLG标准的HDR视频在手机播放的显示效果。
本发明中的增强处理是指能视频与屏幕的匹配，使屏幕充分发挥其特性，提高视频的显示效果的处理，与单纯的提高动态范围或分辨率不是同一概念。
以下对动态范围及色彩增强转换网络13进行说明。
图3为动态范围及色彩增强转换网络的结构说明图。动态范围及色彩增强转换网络13包含画面特征提取模块131、特征融合模块132、生成模块133。画面特征提取模块131使用核为1的简单卷积层，用于提取视频各帧画面的特征。特征融合模块132由拼接算法(拼接操作)和一个核为1的简单卷积层和激活层组成，用于画面特征和屏幕参数拼接成一个组合特征。
生成模块133使用核为1的简单卷积层组成的三阶残差全卷积网络。三个残差组131a互相串联，输出的特征与输入的组合特征作相加计算(相加操作)后由核为1的卷积层提取特征。
残差组131a由三个残差单元A串联组成。残差组131a的输入和最后一个残差单元A的输出作相加计算(相加操作)后作为残差组131a的输出。
各个残差单元A包括二个核为1的卷积层和二个激活层、一个自注意力层，按照卷积层、激活层、卷积层、激活层、自注意力层、激活层的顺序串联构成，自注意力层输出的特征经过激活层激活后与输入的特征作相加计算(相加操作)后作为残差单元A的输出。
动态范围及色彩增强转换网络13和画质增强转换网络14基于YUV格式数据训练得到，训练过程融合人工先验知识，损失函数使用均方误差损失(mse)，在确保不偏色的同时，兼顾了效果和速度。
其训练步骤如下：
步骤1，训练数据制作。
收集一批高质量HLG标准的HDR视频数据作为输入数据，由专业的调色师根据不同的屏幕参数对其进行多版本的调色，在记录屏幕参数的同时，输出多版本的HDR10标准的HDR视频数据作为目标数据。分别将输入数据和目标数据转换到统一的YUV格式，并逐帧抽取，形成(输入数据+屏幕参数)到(目标数据)这样一一配对的训练数据。
例如利用在8k大电视上显示效果非常好的8K分辨率、高码率、BT2020色域、HLG高动态范围的超高清HDR视频在手机等小屏幕终端上进行播放，经专业调色师对视频进行调色优化后，得到手机屏幕支持的8K、低码率、P3-D65色域、HDR10标准(PQ高动态范围)的超高清HDR视频，即，通过专业调色师的调色得到在手机上具有非常好播放效果的HDR10标准的超高清HDR视频。
图4为动态范围增强转换网络的训练架构。
步骤2，在训练时，动态范围及色彩增强转换网络13对输入的数据流进行处理并输出结果。首先将输入的视频数据输入画面特征提取模块131抽取画面特征，然后将屏幕参数和画面特征一起输入特征融合模块132生成复合特征，最后将复合特征输入生成模块133生成的结果作为网络输出。
步骤3，根据网络输出和目标数据的损失函数迭代动态范围及色彩增强转换网络13的权重。将前一步骤的输出和目标数据输入损失函数计算模块100计算损失值，然后使用反向传播技术，迭代优化网络权重。损失函数如下：
其中，IGen表示网络输出数据的结果，IGT表示目标数据，N是数据的元素总数。
重复步骤2和3直至损失函数计算模块100计算的损失函数不再降低，即网络收敛。
图5为画质增强转换网络的结构说明图。
画质增强转换网络14包含画面特征提取模块141、特征融合模块142、生成模块143。画面特征提取模块141使用核为3的简单卷积，特征融合模块142由拼接算法和一个核为3简单卷积组成，生成模块143使用核为3的简单卷积组成的三阶残差全卷积网络。
画质增强转换网络14除了使用核为3的卷积层外，网络结构与动态范围及色彩增强转换网络13相同。具体参照动态范围及色彩增强转换网络13，此处不再赘述。画质增强转换网络14基于生成对抗方式进行训练。
图6为画质增强转换网络训练用的判别网络说明图。
判别网络使用了U型网络的判别器，在常规的编码架构Denc的基础上添加解码架构Ddec。
编码器200包含4个串联的特征下采样层210的结构，每次下采样特征通道数翻倍，特征分辨率减半，最后经过一个全连接层220输出编码器200的判别结果。解码器300包含4个串联的特征上采样层310的结构，并且通过跳跃连接融合编码器300不同层的特征，最后通过一个核为3的卷积层320输出解码器300的判别结果。
这种编解码双重判别的结构有助于提供像素级的信息反馈，同时保持全局上下文信息。
模型基于YUV格式数据训练，融合人工先验知识，生成网络的损失函数使用了Lmse(均方误差损失)、Llpips(感知损失)、Ladv(对抗损失)的组合，判别网络的损失函数使用了LDenc(编码器损失)和LDdec(解码器损失)组合成的Ladv(对抗损失)。
训练步骤如下：
步骤1，训练数据制作。
收集由动态范围及色彩增强转换网络输出的HDR10标准的HDR视频数据作为输入数据，由专业的调色师根据不同的屏幕参数对其进行多版本的画质优化，在记录屏幕参数的同时，输出多版本的HDR10标准的HDR视频数据作为目标数据。分别将输入数据和目标数据转换到统一的YUV格式，并逐帧抽取，形成(输入数据+屏幕参数)到(目标数据)这样一一配对的训练数据。
图7为画质增强转换网络的训练架构。
步骤2，画质增强转换网络14对输入视频的数据流进行处理并输出结果。即，首先将输入数据输入画面特征提取模块141抽取画面特征，然后将屏幕参数和画面特征一起输入特征融合模块142生成复合特征，最后将复合特征输入生成模块143生成结果作为网络输出。
步骤3，根据网络输出和目标数据的损失函数迭代生成网络的权重。生成网络的损失函数使用了Lmse(均方误差损失)、Llpips(感知损失)、Ladv(对抗损失)的组合，其中Lmse和Llpips只需要将前一步骤的输出和目标数据输入直接损失计算模块500计算损失值，对抗损失需要将前一步骤的输出和目标数据分别输入判别网络400，得到判别结果后，对抗损失计算模块600再计算损失，最后在损失汇总模块700将3个损失函数按特定权重相加，得到最终的损失值。使用反向传播技术，迭代优化网络权重。生成函数的3个损失函数分别如下：
其中，IGen表示生成网络输出数据的结果，IGT表示目标数据，N是数据的元素总数。
其中，IGen表示生成网络输出数据的结果，IGT表示目标数据，φ表示特征提取函数，τ用于将特征差异变换到LPIPS得分。
其中，IGen表示生成网络输出数据的结果，Denc表示判别网络的编码器，Ddec表示判别网络的解码器，i，j分表表示像素的行列坐标，E是期望。
步骤4，根据网络输出和目标数据的损失函数迭代判别网络的权重。判别网络的损失函数如下：
其中，IGen表示生成网络输出数据的结果，IGT表示目标数据，Denc表示判别网络的编码器，Ddec表示判别网络的解码器，i，j分表表示像素的行列坐标，E是期望。
重复步骤2～4步骤直至损失函数不再降低，即网络收敛。网络收敛后将生成网络单独保存作为画质增强转换网络14。
在对动态范围及色彩增强转换网络13和画质增强转换网络14进行训练时，分别在自动生成的大数据集上进行了预训练，最后才在调色师制作的小数据上进行迁移微调训练。例如，动态范围及色彩增强转换网络13的方法是收集大量的HDR10标注的视频，使用简单的传统算法调整视频的色彩饱和度、对比度，然后输出HLG标准的视频，让网络学习得到的HLG标注视频到原始HDR10标准视频之间的映射，这样预训练好的模型就具备了基本的动态范围和色彩增强的能力，之后只需要少量数据就可以让模型迁移到特定的动态范围和色彩风格上。
画质增强转换网络14的方法与此类似，在收集的大量HDR10标准视频上进行简单的模糊和压缩，再用模型学习模糊视频到原视频的映射，得到一个具备基本画质增强能力的预训练模型，之后只需要少量数据就可以让模型迁移到特定类型的画质增强上。
以下作为实施例对模型输入和输出进行说明。
1.输入图像是YUV444的数据。形状是：4320x7680x3
2.输入的屏幕参数是经过编码表示的张量，如果有C种参数，形状就是4320x7680xC。
a.屏幕参数包括但不限于色域、最大亮度，还可以是色深、动态曲线、分辨率等。
b.编码方式举例：
i.非数值型条件需要编码。例如色域有BT709、P3、BT2020等几种，分别用0、1、2来指代。要输入P3色域的时候，用1填充出一个4320x7680的张量，形状是4320x7680x1，值全是1。
ii.数值型条件不用编码。例如最大亮度是1000尼特，要输入最大亮度的视频，用1000填充出一个4320x7680的张量，形状是4320x7680x1，值全是1000。
iii.多条件输入时互相拼接，色域加最高亮度2种条件输入的时候就是4320x7680x2的张量。
3.输入屏幕参数拼接入模型的流程：
a.输入图像(数据)经过第一层卷积(画面特征提取模块131)后得到形状为4320x7680x16的特征图；
b.输入参数张量和4320x7680x16的特征图拼接后得到形状为4320x7680x18的张量；
c.形状为4320x7680x18的张量进行后续模型计算。
4.输出图像是YUV444的数据。形状是：4320x7680x3。
本发明有具体的有益效果
a.只要在播放视频的屏幕端安装能够上传屏幕参数的APP即可得到与屏幕特性对应的视频，充分发挥屏幕的特性，提高视频的显示效果。由于只需要在屏幕端安装上传屏幕参数的APP，与高端电视等安装硬件进行处理的方法相比，尤其适用于手机、平板电脑等计算能力低、且供电受到限制的移动终端。
b.训练数据的制作方法：让专业调色师制作数据，使得通过AI算法可以让视频在屏幕上的呈现效果接近专业调色师在专业软件上进行手动优化的效果，显示效果大大提升。
c.AI模型的结构设计、损失函数设计和训练策略设计：
i.可以接受屏幕特性参数输入，一个AI模型，得到不同的输出效果，效率高、使用方便。
ii.针对色彩、画质的特点进行模型设计，使AI模型能够学好色彩和画质的变化，同时兼顾了推理速度。
iii.训练策略让AI模型的色彩增强和画质增强等互不干扰，保证总体效果，进行端到端的视频转换，而且收敛速度加快。
iv.只需要少量样本训练，无需大量的数据，减轻调色师的工作。
d.整套流程：能够自动适配屏幕端的屏幕特性，进行针对性的画质优化，充分发挥屏幕的性能。
作为训练数据，其制作方法可以修改，以获得不同风格的效果，或者输出不同的目标视频参数(不同分辨率、HDR标准等)。
AI模型也可以采用其他设计，只要能输入屏幕的特性参数，将其与视频融合得到不同的输出结果即可。
应该注意的是，上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。
Claims (9)
1.一种智能化显示效果优化方法，其特征在于，包括以下步骤：
屏幕参数读取步骤(S20)，屏幕参数读取模块(12)由屏幕端(100)读取屏幕参数(PA)；
动态增强处理步骤(S30)，利用动态范围及色彩增强转换网络(13)由提供给屏幕端(100)的视频提取画面特征，并将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，然后基于复合特征完成视频内容动态范围及色彩的增强转换，生成融合屏幕参数的中间视频数据；
画质增强处理步骤(S40)，融合屏幕参数的中间视频数据输入画质增强转换网络(14)，利用画质增强转换网络(14)提取其画面特征，再次将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，基于复合特征完成视频内容的画质增强，生成最终的视频数据；
视频下发步骤(S50)，将所述最终的视频数据通过网络(50)下发到屏幕端(100)进行播放或存储。
2.根据权利要求1所述的智能化显示效果优化方法，其特征在于，
提供给屏幕端(100)的视频为HLG标准的HDR视频，
所述动态增强处理步骤(S30)中，所述动态范围及色彩增强转换网络(13)由所述HLG标准的HDR视频提取画面特征，并将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，然后基于复合特征完成视频内容动态范围及色彩的增强转换，生成HDR10标准的中间HDR视频数据；
所述画质增强处理步骤(S40)中，所述画质增强转换网络(14)由所述HDR10标准的中间HDR视频数据提取画面特征，再次将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，基于复合特征完成视频内容的画质增强，生成最终的HDR10标准的HDR视频数据。
3.根据权利要求2所述的智能化显示效果优化方法，其特征在于，所述屏幕参数(PA)包括亮度范围、色域、色深、动态曲线、分辨率中的任一个或多个的组合。
4.根据权利要求2或3所述的智能化显示效果优化方法，其特征在于，包括预处理步骤(S10)，由数据预处理模块(11)对所述HLG标准的HDR视频数据进行预处理，处理的结果，所述HLG标准的HDR视频数据以归一化数据的形式输入到动态范围增强转换网络(13)。
5.智能化显示效果优化系统，其特征在于，包括以下模块，
屏幕参数读取模块(12)，由屏幕端(100)读取屏幕参数(PA)；
动态范围及色彩增强转换网络(13)，由提供给屏幕端(100)的视频提取画面特征，并将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，然后基于复合特征完成视频内容动态范围及色彩的增强转换，生成融合屏幕参数的中间视频数据；
画质增强转换网络(14)，由融合屏幕参数的中间视频数据提取画面特征，再次将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，基于复合特征完成视频内容的画质增强，生成最终的视频数据，
所述屏幕参数读取模块(12)、所述动态范围增强转换网络(13)、所述画质增强转换网络(14)安装在提供视频服务的平台。
6.根据权利要求5所述智能化显示效果优化系统，其特征在于，
提供给屏幕端(100)的视频为HLG标准的HDR视频，
所述动态范围及色彩增强转换网络(13)由所述HLG标准的HDR视频提取画面特征，并将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，然后基于复合特征完成视频内容动态范围及色彩的增强转换，生成HDR10标准的中间HDR视频数据，
所述画质增强转换网络(14)由所述HDR10标准的中间HDR视频数据提取画面特征，再次将作为转换目标的屏幕参数(PA)融合到画面特征中生成复合特征，基于复合特征完成视频内容的画质增强，生成最终的HDR10标准的HDR视频数据。
7.根据权利要求5所述智能化显示效果优化系统，其特征在于，所述屏幕参数(PA)包括亮度范围、色域、色深、动态曲线、分辨率中的任一个或多个的组合。
8.根据权利要求6或所述的智能化显示效果优化系统，其特征在于，包括数据预处理模块(11)，预先对进入所述动态范围及色彩增强转换网络(13)的HLG标准的HDR视频数据进行归一化处理，使HLG标准的HDR视频数据以归一化数据的形式输入到所述动态范围及色彩增强转换网络(13)。
9.根据权利要求5至8中任一项所述的智能化显示效果优化系统，其特征在于，所述屏幕端(100)为移动终端，包括手机和平板电脑。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310394997.2A CN116405730A (zh) | 2023-04-13 | 2023-04-13 | 一种智能化显示效果优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310394997.2A CN116405730A (zh) | 2023-04-13 | 2023-04-13 | 一种智能化显示效果优化方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116405730A true CN116405730A (zh) | 2023-07-07 |
Family
ID=87008819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310394997.2A Pending CN116405730A (zh) | 2023-04-13 | 2023-04-13 | 一种智能化显示效果优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116405730A (zh) |
-
2023
- 2023-04-13 CN CN202310394997.2A patent/CN116405730A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9501818B2 (en) | Local multiscale tone-mapping operator | |
| RU2640717C1 (ru) | Кодирование, декодирование и представление изображений с расширенным динамическим диапазоном | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| US11430095B2 (en) | Automatic display management metadata generation for gaming and/or SDR+ contents | |
| CN110072119B (zh) | 一种基于深度学习网络的内容感知视频自适应传输方法 | |
| WO2023010754A1 (zh) | 一种图像处理方法、装置、终端设备及存储介质 | |
| JPWO2017203942A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN111612722B (zh) | 基于简化Unet全卷积神经网络的低照度图像处理方法 | |
| CN111652830A (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
| CN115314617A (zh) | 图像处理系统及方法、计算机可读介质和电子设备 | |
| CN113297937A (zh) | 一种图像处理方法、装置、设备及介质 | |
| WO2023010751A1 (zh) | 图像高亮区域的信息补偿方法、装置、设备及存储介质 | |
| CN113676773B (zh) | 一种视频播放方法、系统、装置、计算机设备和存储介质 | |
| WO2022266955A1 (zh) | 图像解码及处理方法、装置及设备 | |
| CN111696034B (zh) | 图像处理方法、装置及电子设备 | |
| CN111476866B (zh) | 视频优化与播放方法、系统、电子设备及存储介质 | |
| CN113034412A (zh) | 视频处理方法及装置 | |
| EP4014487A1 (en) | Efficient user-defined sdr-to-hdr conversion with model templates | |
| CN116405730A (zh) | 一种智能化显示效果优化方法及系统 | |
| CN115861121A (zh) | 模型训练方法、图像处理方法、装置、电子设备和介质 | |
| CN114782249A (zh) | 一种图像的超分辨率重建方法、装置、设备以及存储介质 | |
| CN113628121B (zh) | 数据处理、训练多媒体数据的方法和装置 | |
| WO2023178648A1 (zh) | 视频处理方法及装置、电子设备、计算机可读存储介质 | |
| Huang et al. | Video Inverse Tone Mapping Network with Luma and Chroma Mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |