CN115706828A - 数据处理方法及装置、设备、存储介质 - Google Patents

数据处理方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN115706828A
CN115706828A CN202110944994.2A CN202110944994A CN115706828A CN 115706828 A CN115706828 A CN 115706828A CN 202110944994 A CN202110944994 A CN 202110944994A CN 115706828 A CN115706828 A CN 115706828A
Authority
CN
China
Prior art keywords
data
played
video
processing
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110944994.2A
Other languages
English (en)
Inventor
刘真真
张小琳
许钰寅
严瑾力
李俊晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110944994.2A priority Critical patent/CN115706828A/zh
Publication of CN115706828A publication Critical patent/CN115706828A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种数据处理方法及装置、设备、存储介质;其中,所述方法包括:获取待播放数据的第一内容参数和播放环境参数;根据所述第一内容参数和播放环境参数,对所述待播放数据进行质量提升处理,得到目标增强数据;输出所述目标增强数据。

Description

数据处理方法及装置、设备、存储介质
技术领域
本申请涉及信息技术,涉及但不限于数据处理方法及装置、设备、存储介质。
背景技术
随着计算机网络和多媒体技术的快速发展,视频的广泛应用正改变着人们的生产生活,而在高清/超高清视频时代,由于各种因素的限制,视频往往不能够被最优化显示出来,如何使得视频以较高质量呈现,越来越成为各大厂商急需解决的主要问题。
发明内容
有鉴于此,本申请提供的数据处理方法及装置、设备、存储介质,在对待播放数据进行质量提升处理时,综合考虑了多种影响参数,使得得到的目标增强数据更符合需求。
根据本申请实施例的一个方面,提供一种数据处理方法,包括:获取待播放数据的第一内容参数和播放环境参数;根据所述第一内容参数和播放环境参数,对所述待播放数据进行质量提升处理,得到目标增强数据;输出所述目标增强数据。
根据本申请实施例的一个方面,提供一种数据处理装置,包括:获取模块,用于获取待播放数据的第一内容参数和播放环境参数;处理模块,用于根据所述第一内容参数和播放环境参数,对所述待播放数据进行质量提升处理,得到目标增强数据;输出模块,用于输出所述目标增强数据。
根据本申请实施例的一个方面,提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本申请实施例所述的方法。
根据本申请实施例的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。
在本申请实施例中,通过获取待播放数据的第一内容参数和播放环境参数;然后根据第一内容参数和播放环境参数,对待播放数据进行质量提升处理,得到目标增强数据,最后将目标增强数据输出显示;如此,在对待播放数据进行质量提升处理时,不仅考虑了待播放数据的第一内容参数这一种影响参数,还考虑了播放环境参数对待播放数据质量提升的影响,如显示设备的配置是否支持显示目标增强数据,或者传输带宽是否支持对目标增强数据进行高分辨率传输等,从而能够避免出现得到的目标增强数据不能被显示设备显示,或不能被传输的情况,使得得到的目标增强数据更符合实际需求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1为本申请实施例提供的一种数据处理方法的实现流程示意图;
图2为本申请实施例提供的一种数据处理方法的实现流程示意图;
图3为本申请实施例提供的一种数据处理方法的实现流程示意图;
图4为本申请实施例提供的一种系统方案流程图;
图5为本申请实施例提供的一种视频增强系统处理流程图;
图6为本申请实施例提供的一种高配置显示设备视频增强处理流程图;
图7为本申请实施例提供的一种网络带宽受限视频增强处理流程图;
图8为本申请实施例提供的一种视频画质低劣视频增强处理流程图;
图9为本申请实施例数据处理装置的结构示意图;
图10为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
需要指出,本申请实施例所涉及的术语“第一\第二\第三”不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例提供一种数据处理方法,该方法应用于电子设备,该电子设备在实施的过程中可以为各种类型的具有数据处理能力的设备,例如所述电子设备可以包括机顶盒、智能盒子、智能电视、手机、车载电脑、平板电脑或台式机等。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该电子设备至少包括处理器和存储介质。
图1为本申请实施例提供的数据处理方法的实现流程示意图,如图1所示,该方法可以包括以下步骤101至步骤103:
步骤101,获取待播放数据的第一内容参数和播放环境参数。
可以理解地,在待播放数据的播放过程中,可能会存在显示设备的显示参数不支持待播放数据的画质的情况;也可能会存在传输带宽较低,使得待播放数据在播放时的清晰度不够的问题,这些外界参数均会对待播放数据的呈现效果造成影响。
因此,在本申请实施例中,在对待播放数据进行质量提升处理之前,不仅获取了待播放数据的第一内容参数,还获取了待播放数据对应的播放环境参数。
在一些实施例中,显示设备可以为执行数据处理方法的电子设备的一个模组,比如,电子设备为电视机,相应地,显示设备为电视机的显示模组;又如,电子设备为手机,相应地,显示设备为手机的显示模组。
在另一些实施例中,显示设备也可以是独立于电子设备的显示装置。比如,电子设备是机顶盒,相应地,显示设备为电视机;又如,电子设备为服务器,相应地,显示设备为客户端设备。
在一些实施例中,待播放数据的第一内容参数可以至少包括以下参数的至少一项:待播放数据的画质特征、待播放数据的第一封装方式、解码方式、编码方式。其中,待播放数据的画质特征可以包括以下特征的至少一项:待播放数据的清晰度、锐度、色散度、色域范围、色彩纯度。
在一些实施例中,播放环境参数包括以下至少之一:显示设备的显示参数、待播放数据的传输环境参数。相应地,在一些实施例中,显示设备的显示参数可以包括显示设备的分辨率和/或码率等参数;待播放数据的传输环境参数可以至少包括以下参数的至少之一:网络带宽、网络时延和网络传输延时的变化率等参数。
步骤102,根据第一内容参数和播放环境参数,对待播放数据进行质量提升处理,得到目标增强数据。
在一些实施例中,对待播放数据进行质量提升处理的处理过程,至少包括以下之一:超分辨率重建、插帧处理、锐化处理、去划痕处理、色彩增强处理。
其中,对待播放数据进行超分辨率重建,是指对待播放数据构成的图像中的像素点之间的空间位置用其他像素点进行填充的过程,能够增加整个图像中的像素点个数,从而提高图像质量;插帧处理是根据两个相邻帧数据之间的关系,通过智能算法估算帧数据中物体的运动轨迹,生成一帧新数据,并将该帧新数据插入到两个相邻帧数据之间;锐化处理是通过模拟加入一定比例的噪声,以使画面贴近真实的情况,然后再不断调整噪声比,从而得到一个比较好的效果;去划痕处理是指通过找到空间中的竖线、横线、直线,然后利用空间插值或者时间的插值,把这些线用其他像素进行填补的过程;色彩增强主要是基于待播放数据的亮度、颜色、对比度和维度等参数,进行提升处理。
步骤103,输出目标增强数据。
在一些实施例中,当对待播放数据进行质量提升处理的电子设备不具备显示功能时,可以输出目标增强数据给显示设备,以使显示设备呈现目标增强数据给用户;当对待播放数据进行质量提升处理的电子设备具备显示功能时,在得到目标增强数据后,则可以直接呈现给用户。
在本申请实施例中,通过获取待播放数据的第一内容参数和播放环境参数;然后根据第一内容参数和播放环境参数,对待播放数据进行质量提升处理,得到目标增强数据,最后将目标增强数据输出显示;如此,在对待播放数据进行质量提升处理时,不仅考虑了待播放数据的第一内容参数这一种影响参数,还考虑了播放环境参数对待播放数据质量提升的影响,如显示设备的配置是否支持显示目标增强数据,或者传输带宽是否支持对目标增强数据进行高分辨率传输等,从而能够避免出现得到的目标增强数据不能被显示设备显示,或不能被传输的情况,使得得到的目标增强数据更符合实际需求。
本申请再提供一种数据处理方法,图2为本申请实施例提供的数据处理方法的实现流程示意图,如图2所示,该方法可以包括以下步骤201至步骤209:
步骤201,获取待播放数据的第一内容参数和播放环境参数;
步骤202,确定电子设备是否支持待播放数据的第一封装格式对应的解码方式,其中,第一内容参数包括待播放数据的第一封装格式;如果支持,执行步骤203;否则,执行步骤209。
可以理解地,在对待播放数据进行质量提升处理之前,电子设备需要先对得到的待播放数据进行解封装和解码处理,而不同的电子设备具备不同的解码方式,且不同的解码方式对应不同的封装格式。因此,需要先确定电子设备是否支持与待播放数据的第一封装格式对应的解码方式,如果支持,则执行步骤203;否则,说明该电子设备不具备对待播放数据进行解码的能力,相应地,也不能够进行后续的质量提升处理,则执行步骤209,直接输出待播放数据。
步骤203,根据播放环境参数,确定第二封装格式。
在一些实施例中,在对待播放数据进行质量提升处理之前,会根据显示设备的显示参数和待播放数据的传输环境参数,预先确定需要将待播放数据的画质、明暗状态等参数提升到何种程度,相应地,也会预先设定好要得到的目标增强数据的第二封装格式。
步骤204,确定电子设备是否支持第二封装格式对应的编码方式,如果支持,执行步骤205;否则,执行步骤209。
在一些实施例中,在得到第二封装格式之后,还需要确定电子设备是否支持第二封装格式对应的编码方式,这是因为:如果电子设备不支持第二封装格式对应的编码方式,则说明即便是电子设备对待播放数据进行了质量提升处理,而在得到目标增强数据之后,也不能够对目标增强数据进行重新编码和封装处理;相应地,也不能够将目标增强数据输出以呈现给用户,显然这样会造成资源浪费。因此,通过事先判断电子设备是否支持第二封装格式对应的编码方式,能够避免出现在对待播放数据进行质量提升处理之后,得到的增强数据不能被编码,进而导致不能被输出的情况,从而能够提高处理效率,且节省功耗。
如果电子设备支持第二封装格式对应的编码方式,则执行步骤205,以对待播放数据继续执行后续质量提升处理的步骤;如果电子设备不支持第二封装格式对应的编码方式,则说明当前该电子设备并不能够实现对待播放数据的质量提升处理,则需要执行步骤209,即不对待播放数据执行质量提升操作,直接输出待播放数据供用户观看。
步骤205,根据第一封装格式,对待播放数据进行解封装,得到解封数据;
步骤206,根据解码方式,对解封数据进行解码,得到解码数据。
通过执行上述步骤202和步骤204,在确定出电子设备既能够支持待播放数据的第一封装格式对应的解码方式,也能够支持预先设定好的想要得到的目标增强数据的第二封装格式对应的编码方式的情况下,可以继续执行对待播放数据进行质量提升处理的步骤。当然,在对待播放数据进行质量提升之前,需要先对待播放数据进行解封装和解码操作。
步骤207,对解码数据进行质量提升处理,得到目标增强数据;
步骤208,根据编码方式对目标增强数据进行编码后输出。
在一些实施例中,在得到目标增强数据之后,还需要对目标增强数据重新进行编码和/或封装,进而输出编码后的目标增强数据。
步骤209,输出待播放数据。
本申请再提供一种数据处理方法,图3为本申请实施例提供的数据处理方法的实现流程示意图,如图3所示,该方法可以包括以下步骤301至步骤312:
步骤301,获取待播放数据的第一内容参数和播放环境参数;
步骤302,确定电子设备是否支持待播放数据的第一封装格式对应的解码方式,其中,第一内容参数包括待播放数据的第一封装格式;如果支持,执行步骤303;否则,执行步骤312;
步骤303,根据播放环境参数,确定第二封装格式;
步骤304,确定电子设备是否支持第二封装格式对应的编码方式,如果支持,执行步骤305;否则,执行步骤312;
步骤305,根据第一封装格式,对待播放数据进行解封装,得到解封数据;
步骤306,根据解码方式,对解封数据进行解码,得到解码数据;
步骤307,确定解码数据中的每帧数据的第二内容参数。
在本申请实施例中,在对待播放数据解码得到解码数据之后,可以对待播放数据中的每帧数据有针对性地进行质量提升处理,而不是对每一帧数据都进行相同的质量提升处理,从而使得处理比较灵活,能够有效提高数据增强效果,进而提升数据呈现质量。
在一些实施例中,第二内容参数可以为帧数据的亮度、清晰度、颜色、对比度、像素点数量等信息。当然,也可以为其他能够反映帧数据显示状态的信息,对此并不做限定。
步骤308,根据第二内容参数,确定对应帧数据的第一待提升值;根据第一待提升值,对对应帧数据进行质量提升处理,得到目标增强数据。
在一些实施例中,在确定出每帧数据的第二内容参数之后,可以分别确定第二内容参数中的每一参数对应的第一提升值,再根据第一待提升值,对对应帧数据进行质量提升处理,得到对应帧的目标增强数据,从而使得得到的目标增强数据的质量更高。
进一步地,在一些实施例中,在得到对应帧的目标增强数据之后,是将每帧目标增强数据依次呈现出来的。
步骤309,确定目标增强数据的呈现效果是否满足条件;如果不满足,执行步骤310;否则,执行步骤311。
可以理解地,在得到目标增强数据后,目标增强数据的呈现效果可能并不能够满足预期设想。举例来说,原本想要通过质量提升处理,将待播放数据的分辨率提升,但在呈现出的目标增强数据中,其分辨率虽然得到了提升,却同时伴随着较多噪声,导致影响用户观感。
因此,在一些实施例中,在得到部分帧目标增强数据之后,可以判断目标增强数据的呈现效果是否满足条件,根据呈现效果来确定是否需要对历史使用的提升值进行调整。如果需要调整,则执行步骤301,调整第一待提升值,得到调整后的第二待提升值,再根据第二待提升值重新对下一帧待播放数据进行质量提升处理,以得到对应的目标增强数据,从而使新得到的目标增强数据满足条件;如果不需要调整,则执行步骤311,继续对下一帧数据进行质量提升处理,得到对应的目标增强数据并输出。
步骤310,调整第一待提升值,得到第二待提升值;根据第二待提升值,对解码数据中的下一帧进行质量提升处理,得到对应的目标增强数据;
步骤311,继续对下一帧数据进行质量提升处理,得到对应的目标增强数据并输出;
步骤312,输出待播放数据。
视频转码技术就是利用某种技术手段改变视频源的编码方式。一般流程是将封装好的源视频数据进行解封装、解码生成原始帧,然后根据情况进行再编码,并加以适当的封装,使用相同的接口协议,以流的方式,在不同的视频产品之间进行传输共享。
随着计算机网络和多媒体技术的快速发展,视频的广泛应用正改变着人们的生产生活,成为我们生活中不可缺少的组成部分。而在高清/超高清视频时代,由于各种因素的限制,视频产业发展主要存在以下两个问题:
(1)视频清晰度和超高清硬件设备不匹配。在视频技术革新方面继视频数字化、高清化之后,超高清技术正掀起新一轮的视频技术革新。当前从硬件层面分析,超高清分辨率(如4K)已经成为视频硬件的标配,而广电类客户拥有大量的低分辨率画质的视频,在当前的高清时代无法满足观看需要。
(2)低带宽条件妥协于流畅模式。随着多媒体技术的发展,视频的播放形式不再只拘泥于某种特定形式的码流,为满足不同网络直播环境的要求逐步出现了标清视频码流,高清视频码流,超高清视频码流,而上网速度较慢时用户在线点播视频很可能因为网络条件受限,主动选择“省流/流畅模式”(低码流)画质的视频,在画质上做出妥协。
良好的用户体验对于提高超高清视频产业发展和提升人们工作生活的幸福感具有十分重要的作用。移动端视频最优化显示越来越成为各大厂商急需解决的主要问题之一。
基于此,下面将说明本申请实施例在一个实际的应用场景中的示例性应用。
随着移动第五代移动通信技术(5th Generation Mobile CommunicationTechnology,5G)网络及视频增强技术的发展和进步,使得解决低带宽妥协于流畅(低码率)模式及视频清晰度与终端硬件不匹配的问题,实现极致的网络和交互体验成为可能。在本申请实施例中,提出一种视频增强的方法和系统,基于终端用户在线播放视频需求,统计终端用户请求的视频内容的参数特征,包括画质、封装方式、解码方式、编码方式、分辨率、恒定比特率(Constant bitrate,CBR)编码、可变比特率(variable bit rate,VBR)编码等;获取终端显示设备或者目标显示设备的参数特征,如分辨率、码率等;获取视频传输环境参数,如网络带宽、时延、抖动等。基于统计的用户请求视频内容参数特征、终端显示设备参数、视频传输环境网络进行分析,构建视频增强模型。基于构建的视频增强模型执行视频增强功能使视频能够在显示终端最优化呈现。从而解决低带宽妥协于流畅(低码率)模式及视频清晰度与终端硬件不匹配的问题,实现极致地用户体验,提升生活幸福感。
该系统由参数获取模块、模型构建模块、视频增强模块三部分组成,以下分别对各部分的功能进行进一步说明:
参数获取模块:基于终端用户在线播放视频需求,统计终端用户请求的视频内容的参数特征(即第一内容参数),包括画质、封装方式、解码方式、编码方式、分辨率、CBR编码、VBR编码等;获取终端显示设备或者目标显示设备的参数特征(即显示设备的显示参数),如分辨率、码率等;获取视频传输环境参数(即待播放数据的传输环境参数),如网络带宽、时延、抖动等。若终端用户请求的是直播视频,参数获取模块也可以实时对直播视频进行视频内容的参数特征、传输环境参数、目标显示设备参数进行检测。
模型构建模块所具备的功能包括:
(1)能够根据参数获取模块统计分析的视频内容的参数特征、传输环境参数、目标显示设备参数设备构建基础的视频增强模型。其中,视频增强模型是基于参数获取模块获取的视频内容的参数特征、传输环境参数、目标显示设备参数(即播放环境参数)、指定增强后的码率、分辨率及格式信息确定视频增强方案,视频增强方案包括:获取并解析终端用户请求视频地址,获得源视频内容的分辨率、码率、封装格式(即第一封装格式),将待增强视频封装格式与智能盒子的解码能力(即解码方式)进行匹配;获取并解析传输环境、目标显示设备信息,获得指定增强后的码率、分辨率及格式(即第二封装格式)等信息,将指定增强后的视频封装格式与智能盒子的编码能力(即编码方式)进行匹配。
(2)根据视频增强模型库进行模型修正、模型优化。视频增强模型库是基于视频增强技术的基本功能进行搭建,视频增强技术(即质量提升处理技术)包括超分辨率、去噪锐化、插帧、去划痕、色彩增强,其中视频增强模型库用于对终端用户请求的视频内容的每一帧确定反映画质、明暗状态的属性信息,确认属性信息对应的控制参数(即待提升值),基于控制参数对当前帧执行超分辨率重建、插帧处理、去噪锐化处理、去划痕处理、色彩增强操作。超分辨率是将图像中的像素点之间的空间位置用像素点进行填充,使得整个图像具有更多的像素点;插帧是根据两个相邻帧的关系,估算物体运动轨迹,插入一张中间帧,而中间帧是通过智能估算生成的新画面;去噪锐化是模拟加入一定比例的噪声和模糊贴近真实的情况,然后不断调整得到一个比较好的效果;去划痕是通过找到空间中的竖线、横线、直线,然后利用空间插值或者时间的插值,把这个线用其他像素进行填补;色彩增强主要是基于亮度、颜色、对比度维度参数进行提升。
视频增强模块:基于构建的视频增强模型中的视频增强算法执行视频增强功能。其中视频增强是对终端用户请求的视频数据解封装、解码(音频解码)得到源音、视频数据,然后对源音、视频数据基于分辨率、码率、插帧、色彩增强等控制参数进行重新编码,封装。
本申请实施例提供了一种视频增强的方法,该方法的执行主体是智能盒子或者智能电视。其中,智能盒子或者智能电视是具备视频增强处理功能的,能够根据终端用户请求视频内容的参数特征、传输环境参数、目标显示设备参数特征设备构建视频增强模型,然后基于视频增强模型进行视频增强处理。
图4为本申请实施例提供的一种系统方案流程图。如图4所示,包括如下步骤401至步骤403:
步骤401,参数获取,基于终端用户在线播放视频需求,统计终端用户请求的视频内容的参数特征,包括画质、封装方式、解码方式、编码方式、分辨率、CBR编码、VBR编码等;获取终端显示设备或者目标显示设备的参数特征,如分辨率、码率等;获取视频传输环境参数,如网络带宽、时延、抖动等。
步骤402,模型构建,根据统计分析的视频内容的参数特征、传输环境参数、目标显示设备参数特征构建基础的视频增强模型,根据视频增强模型库进行模型修正、模型优化。
步骤403,视频增强,基于构建的视频增强模型执行视频增强功能,填平视频清晰度与4K终端显示之间的鸿沟,解决因网速受限妥协于“流畅”模式视频画质堪忧的问题。
图5为本申请实施例提供的一种视频增强系统处理流程图。如图5所示,包括如下步骤501至步骤507:
步骤501,所述参数获取模块收集视频内容的参数特征、传输环境参数、目标显示设备参数特征;
步骤502,所述模型构建模块对统计参数进行有效性判断,若统计参数为有效信息,则执行步骤503;否则,返回执行步骤501,即重新统计视频内容的参数特征、传输环境参数、目标显示设备参数特征。
可以理解地,对于直播视频而言,其对应的内容参数可能在随时改变,因此在当前获取到的统计参数为无效信息时,可以返回重新获取新的统计参数,以继续对直播视频执行后续视频增强处理操作。
步骤503,对统计参数进行识别、分析;
步骤504,基于统计参数构建基础视频增强模型,将统计参数作为视频增强模型输入输出端特征;
步骤505,基于视频增强模型的视频增强算法执行视频增强操作;
步骤506,将参数获取模块统计持久化备份存储;
步骤507,根据视频增强模型库进行模型修正,优化视频增强模型库,定期更新优化视频增强模型库使系统调控更加高效精准。
图6为本申请实施例提供的一种高配置显示设备视频增强处理流程图。如图6所示,包括如下步骤601至步骤603:
步骤601,基于所述终端用户在线点播或直播视频请求,获取视频内容的参数特征、传输环境参数、目标显示设备(高配置显示设备)参数特征;
步骤602,基于所述视频内容的参数特征、传输环境参数、目标显示设备(高配置显示设备)参数特征构建基础视频增强模型,基于视频增强模型库进行模型优化;
步骤603,基于视频增强模型执行视频增强操作,输出视频增强处理视频。
具体的,所述参数获取模块获取视频内容的参数特征、传输环境参数、目标显示设备(高配置显示设备)参数特征,所述模型构建模块基于视频内容的参数特征、传输环境参数、目标显示设备(高配置显示设备)参数特征构建基础视频增强模型,然后基于视频增强模型库进行模型修正、优化,所述视频增强模块基于视频增强模型执行视频增强功能。
图7为本申请实施例提供的一种网络带宽受限视频增强处理流程图。如图7所示,包括如下步骤701至步骤703:
步骤701,基于所述终端用户在线点播或直播视频需求,获取视频内容的参数特征、传输环境参数(网络带宽受限)、目标显示设备参数特征。
步骤702,基于获取视频内容的参数特征、传输环境参数(网络带宽受限)、目标显示设备参数构建视频增强模型,基于视频增强模型库进行模型优化。
步骤703,基于视频增强模型执行视频增强操作,输出视频增强处理视频。
具体的,所述参数获取模块获取视频内容的参数特征、传输环境参数(网络带宽受限)、目标显示设备参数,所述模型构建模块基于获取的视频内容的参数特征、传输环境参数(网络带宽受限)、目标显示设备参数构建视频增强模型,基于视频增强模型库对模型进行修正、优化;所述视频增强模块基于视频增强模型执行视频增强功能。
图8为本申请实施例提供的一种视频画质低劣视频增强处理流程图。如图8所示,包括如下步骤801至步骤803:
步骤801,基于所述终端用户在线点播或直播视频需求,获取终端用户请求的视频内容参数特征(视频码率低);获取目标显示设备参数(高配置);获取传输环境参数(带宽不受限)。
步骤802,基于所述视频内容参数特征(视频码率低);获取目标显示设备参数(高配置);获取传输环境参数(带宽不受限)构建视频增强模型,基于视频增强模型库进行模型优化。
步骤803,基于视频增强模型执行视频增强功能,输出视频增强处理视频。
具体的,所述参数获取模块获取视频内容参数特征(视频码率低);获取目标显示设备参数(高配置);获取传输环境参数(带宽不受限),所述模型构建模块基于获取视频内容参数特征(视频码率低);获取目标显示设备参数(高配置);获取传输环境参数(带宽不受限)构建视频增强模型,基于视频增强模型库对模型进行优化,所述视频增强模块基于视频增强模型执行视频增强功能。
本申请实施例提供的视频增强方法能够根据终端用户请求,获取视频内容参数特征;获取目标显示设备参数;获取传输环境参数,然后基于视频内容参数特征、目标显示设备参数、获取传输环境参数、构建视频增强模型,然后基于视频增强模型进行视频增强处理,解决了终端硬件与视频清晰度不匹配以及低带宽条件妥协于低码率的流畅模式的问题,打开超高清时代的大门,以更低的成本提升视频质量。
本申请实施例提供的视频增强系统具有依据视频内容参数特征、目标显示设备参数、传输环境参数构建视频增强模型并执行视频增强功能,尤其涉及依据视频内容参数特征、目标显示设备参数、传输环境参数构建基础视频增强模型并基于视频增强模型库优化模型以进行视频增强操作的功能点。
在本申请实施例中,统计视频内容参数特征、目标显示设备参数、传输环境参数纳入视频增强模型存储数据和决策依据数据信息。
本申请实施例在实现目标上更具有全局性和科学性。本申请实施例提出智能盒子和/或智能电视内嵌视频增强系统,能够针对视频内容参数特征、目标显示设备参数、传输环境参数构建视频增强模型并执行视频增强功能,目的是对视频进行视频增强操作。
本申请实施例在实现目标上考虑的更加全面。本申请实施例提出智能盒子和/或智能电视内嵌视频增强系统,能够对用户点播在线视频和/或直播节目进行视频增强操作,让用户在观看电视视频时体验更佳。
应当注意,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
基于前述的实施例,本申请实施例提供一种数据处理装置,该装置包括所包括的各模块、以及各模块所包括的各单元,可通过处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图9为本申请实施例数据处理装置的结构示意图,如图9所示,所述装置900包括获取模块901、处理模块902和输出模块903,其中:
获取模块901,用于获取待播放数据的第一内容参数和播放环境参数;
处理模块902,用于根据所述第一内容参数和播放环境参数,对所述待播放数据进行质量提升处理,得到目标增强数据;
输出模块903,用于输出所述目标增强数据。
在一些实施例中,所述数据处理装置还包括确定模块、解封装模块、解码模块和编码模块,所述确定模块,用于在支持所述第一封装格式对应的解码方式的情况下,根据所述播放环境参数,确定第二封装格式;所述解封装模块,用于在支持所述第二封装格式对应的编码方式的情况下,根据所述第一封装格式,对所述待播放数据进行解封装,得到解封数据;所述解码模块,用于根据所述解码方式,对所述解封数据进行解码,得到解码数据;处理模块902,用于对所述解码数据进行质量提升处理,得到目标增强数据;所述编码模块,用于根据所述编码方式对所述目标增强数据进行编码后输出。
在一些实施例中,输出模块903,还用于在不支持所述解码方式的情况下,或者,在支持所述解码方式且不支持所述编码方式的情况下,输出待播放数据。
在一些实施例中,所述数据处理装置还包括确定模块,所述确定模块,用于确定所述解码数据中的每帧数据的第二内容参数;根据所述第二内容参数,确定对应帧数据的第一待提升值;处理模块902,用于根据所述第一待提升值,对所述对应帧数据进行质量提升处理,得到所述目标增强数据。
在一些实施例中,所述数据处理装置还包括调整模块,所述确定模块,还用于确定所述目标增强数据的呈现效果是否满足条件;所述调整模块,用于如果所述目标增强数据的呈现效果不满足条件,调整所述第一待提升值,得到第二待提升值;处理模块902,用于根据所述第二待提升值,对所述解码数据中的下一帧进行质量提升处理,得到对应的目标增强数据。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中图9所示的数据处理装置对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例提供一种电子设备,图10为本申请实施例的电子设备的硬件实体示意图,如图10所示,所述电子设备1000包括存储器1001和处理器1002,所述存储器1001存储有可在处理器1002上运行的计算机程序,所述处理器1002执行所述程序时实现上述实施例中提供的方法中的步骤。
需要说明的是,存储器1001配置为存储由处理器1002可执行的指令和应用,还可以缓存在处理器1002以及电子设备1000中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的方法中的步骤。
本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法实施例提供的方法中的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质、存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定参数、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外,这些特定的参数、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如对象A和/或对象B,可以表示:单独存在对象A,同时存在对象A和对象B,单独存在对象B这三种情况。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个模块或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或模块的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的模块可以是、或也可以不是物理上分开的,作为模块显示的部件可以是、或也可以不是物理模块;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能模块可以全部集成在一个处理单元中,也可以是各模块分别单独作为一个单元,也可以两个或两个以上模块集成在一个单元中;上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
获取待播放数据的第一内容参数和播放环境参数;
根据所述第一内容参数和播放环境参数,对所述待播放数据进行质量提升处理,得到目标增强数据;
输出所述目标增强数据。
2.根据权利要求1所述的方法,其特征在于,所述第一内容参数包括所述待播放数据的第一封装格式;
所述根据所述第一内容参数和播放环境参数,对所述待播放数据进行质量提升处理,得到目标增强数据,包括:
在支持所述第一封装格式对应的解码方式的情况下,根据所述播放环境参数,确定第二封装格式;以及在支持所述第二封装格式对应的编码方式的情况下,根据所述第一封装格式,对所述待播放数据进行解封装,得到解封数据;
根据所述解码方式,对所述解封数据进行解码,得到解码数据;
对所述解码数据进行质量提升处理,得到目标增强数据;
相应地,所述输出所述目标增强数据,包括:根据所述编码方式对所述目标增强数据进行编码后输出。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在不支持所述解码方式的情况下,或者,在支持所述解码方式且不支持所述编码方式的情况下,输出所述待播放数据。
4.根据权利要求2所述的方法,其特征在于,所述对所述解码数据进行质量提升处理,得到目标增强数据,包括:
确定所述解码数据中的每帧数据的第二内容参数;
根据所述第二内容参数,确定对应帧数据的第一待提升值;
根据所述第一待提升值,对所述对应帧数据进行质量提升处理,得到所述目标增强数据。
5.根据权利要求4所述的方法,其特征在于,在输出所述目标增强数据之后,所述方法还包括:
确定所述目标增强数据的呈现效果是否满足条件;
如果所述目标增强数据的呈现效果不满足条件,调整所述第一待提升值,得到第二待提升值;
根据所述第二待提升值,对所述解码数据中的下一帧进行质量提升处理,得到对应的目标增强数据。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述播放环境参数包括以下至少之一:显示设备的显示参数、所述待播放数据的传输环境参数。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述质量提升处理至少包括以下之一:超分辨率重建、插帧处理、锐化处理、去划痕处理、色彩增强处理。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于获取待播放数据的第一内容参数和播放环境参数;
处理模块,用于根据所述第一内容参数和播放环境参数,对所述待播放数据进行质量提升处理,得到目标增强数据;
输出模块,用于输出所述目标增强数据。
9.一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202110944994.2A 2021-08-17 2021-08-17 数据处理方法及装置、设备、存储介质 Pending CN115706828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110944994.2A CN115706828A (zh) 2021-08-17 2021-08-17 数据处理方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110944994.2A CN115706828A (zh) 2021-08-17 2021-08-17 数据处理方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN115706828A true CN115706828A (zh) 2023-02-17

Family

ID=85180567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110944994.2A Pending CN115706828A (zh) 2021-08-17 2021-08-17 数据处理方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN115706828A (zh)

Similar Documents

Publication Publication Date Title
JP7011031B2 (ja) クロマ予測方法及びデバイス
CN110460858B (zh) 信息处理装置和方法
CN110868625A (zh) 一种视频播放方法、装置、电子设备及存储介质
US11475539B2 (en) Electronic apparatus, system and controlling method thereof
WO2019024919A1 (zh) 视频转码方法及其装置、服务器、可读存储介质
US8731285B1 (en) Systems and methods for identifying a video aspect-ratio frame attribute
JP2019517191A (ja) 360度ビデオのためのハイブリッドなグラフィックスおよびピクセル領域アーキテクチャ
CN107634930B (zh) 一种媒体数据的获取方法和装置
CN109640167B (zh) 视频处理方法、装置、电子设备及存储介质
US20150156557A1 (en) Display apparatus, method of displaying image thereof, and computer-readable recording medium
KR101482795B1 (ko) 레이저 콘텐츠 송수신 방법 및 장치
US20200145736A1 (en) Media data processing method and apparatus
US20200228837A1 (en) Media information processing method and apparatus
CN110290398B (zh) 视频下发方法、装置、存储介质及电子设备
KR20170059718A (ko) 디코딩 장치 및 그 방법
CN110662114A (zh) 视频处理方法、装置、电子设备及存储介质
CN111885346A (zh) 画面码流合成方法、终端、电子设备和存储介质
US20230082784A1 (en) Point cloud encoding and decoding method and apparatus, computer-readable medium, and electronic device
US11120615B2 (en) Dynamic rendering of low frequency objects in a virtual reality system
EP3637722A1 (en) Method and apparatus for processing media information
Laghari et al. The state of art and review on video streaming
WO2023071469A1 (zh) 视频处理方法、电子设备及存储介质
CN114424552A (zh) 一种低延迟信源信道联合编码方法及相关设备
JP2024517915A (ja) データ処理方法、装置、コンピュータ機器及びコンピュータプログラム
CN115706828A (zh) 数据处理方法及装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination