CN113810629B - 一种融合平台多媒体信号的视频帧处理方法及装置 - Google Patents

Abstract

本发明提供一种融合平台多媒体信号的视频帧处理方法及装置，包括，利用基于目标信号优化决策树构建的优化模型对视频帧信号数据进行比特率优化；结合码率原则搭建特殊压缩处理器，对优化后的所述视频帧信号数据进行压缩；根据比特率与体积之间的关联关系进行微调，得到最优的参数比例；将所述参数比例设置于所述视频帧信号数据中进行二次处理，输出得到较优的视频帧数据。本发明通过改进的处理装置和改进的框架，简易高效的得到需要的有用数据，并结合优化模型和压缩器分别进行最优比例参数设置，进一步解决了视频帧在网络受限情况下发生的数据传输失误问题，提高了视频画面的连贯性、清晰度和用户体验感。

Description

一种融合平台多媒体信号的视频帧处理方法及装置

技术领域

本发明涉及视频帧处理技术领域，尤其涉及一种融合平台多媒体信号的视频帧处理方法及装置。

背景技术

随着互联网技术的快速应用，越来越多的用户使用各种终端设备访问云端主机参与各种活动，例如：网络授课平台，其对于客户端来说需要较高的网络质量以及带宽需求，而网络是在远程装置之间传送数据期间建立或使用的，故会引起数据传输中的延迟并且可因此导致延时以及过高的带宽。尽管远程服务端或客户端装置均试图通过多种方法实现降低带宽，但现有方法只是在数据传输过程中采取解决措施，并未从原始数据量方面考虑降低客户端使用带宽。在实际应用中，有些用户带宽较低，程序运行起来画面经常卡顿，流畅度不够或者不清晰，非常影响用户体验，进而也导致了该远程云桌面的使用，用户仅局限于配置较高、网络状况好的用户终端，无法普遍适用于所有用户终端。

网络授课需要多个多媒体平台支持应用，且播放的高清视频要维持高帧率、高画面质量的播放体验需要较大的传输带宽要求，而在受限网络环境下，视频播放达不到所需的传输带宽要求时，会出现播放丢帧、质量模糊的现象，现有技术中在处理受限网络环境下播放视频时采取的是丢帧后触发画面质量调整，但仍不能避免播放时丢帧现象明显、卡顿较频繁，同时画面质量较低、恢复较慢，播放体验大幅度下降。

发明内容

本发明实施例提供一种融合平台多媒体信号的视频帧处理方法及装置，能够解决网络受限情况下无法提供连贯性的高清视频以及容易丢帧、卡顿、模糊的问题。

本发明实施例的第一方面，提供一种融合平台多媒体信号的视频帧处理方法，可选地，在第一方面的一种可能实现方式中，利用基于目标信号优化决策树构建的优化模型对视频帧信号数据进行比特率优化；结合码率原则搭建特殊压缩处理器，对优化后的所述视频帧信号数据进行压缩；根据比特率与体积之间的关联关系进行微调，得到最优的参数比例；将所述参数比例设置于所述视频帧信号数据中进行二次处理，输出得到较优的视频帧数据。

本发明实施例的第一方面，提供一种融合平台多媒体信号的视频帧处理方法，可选地，在第一方面的一种可能实现方式中，处理所述视频帧信号数据之前还包括，利用改进的处理装置将获取的视频数据转化为帧序列；根据所述帧序列的排列顺序分别进行抽取、清洗和封装；调取改进的框架，选择每个帧序列调用函数作为唯一处理格式；定义帧处理类，并与所述改进的框架中的一个回调函数相关联；启动处理程序，开始处理，输出得到视频帧序列数据。

本发明实施例的第一方面，提供一种融合平台多媒体信号的视频帧处理方法，可选地，在第一方面的一种可能实现方式中，所述改进的处理装置包括，发送主机、检测码、处理码和接收主机；所述改进的框架包括，供多个不同帧序列使用的所述调用函数、所述回调函数、校验实例、帧文件以及所述帧处理类；所述关联包括，基于所述帧处理类，创建一个实例并指定输入的帧文件，并绑定所述回调函数；将所述视频帧序列数据进行数字信号转换，得到所述视频帧信号数据。

本发明实施例的第一方面，提供一种融合平台多媒体信号的视频帧处理方法，可选地，在第一方面的一种可能实现方式中，构建所述优化模型包括，每个所述视频帧信号数据含有的帧处理类和位置信息如下，

其中，

：识别的帧处理类,

：识别帧序列,

：识别位置；

结合多目标优化处理，融合平台多媒体信号的视频帧数据对应识别结果建立优化决策树，如下，

其中,

：平台多媒体信号的视频帧数据比特率，

：其邻域内其 余视频帧数据比特率,

：优化决策树，i：常数。

本发明实施例的第一方面，提供一种融合平台多媒体信号的视频帧处理方法，可选地，在第一方面的一种可能实现方式中，搭建所述特殊压缩处理器包括，设置阈值、压缩比、启动时间、释放时间；确定压缩门限、压缩动作时间和恢复时间。

本发明实施例的第一方面，提供一种融合平台多媒体信号的视频帧处理方法，可选地，在第一方面的一种可能实现方式中，若视频帧信号的大小超过设定的所述阈值，则被所述特殊压缩处理器进行压缩处理；若所述视频帧信号的输入信号和输出信号比例为1:1，则所述视频帧信号在所述特殊压缩处理器内不会被处理，若所述比例为2:1，则所述特殊压缩处理器根据所述2:1的比例对所述视频帧信号进行压缩；当电平峰值超过所述阈值0.1s后开始进行压缩，当电平峰值低于所述阈值0.1s后停止压缩。

本发明实施例的第一方面，提供一种融合平台多媒体信号的视频帧处理方法，可选地，在第一方面的一种可能实现方式中，所述微调包括，根据比特率与文件体积之间的关联关系进行微调，如下，

所述比特率与所述文件体积之间成正比，所述文件体积越大，则所述比特率越大，视频帧越清楚；结合所述优化决策树调整所述比特率与所述文件体积之间的比例，遍历全局，直至找到最优的参数比例。

本发明实施例的第一方面，提供一种融合平台多媒体信号的视频帧处理方法，可选地，在第一方面的一种可能实现方式中，所述二次处理包括，所述视频帧信号数据根据设置的所述参数比例调整比特率和文件体积参数，输出得到具有连贯性的高清的视频帧数据。

本发明实施例的第二方面，提供一种融合平台多媒体信号的视频帧处理装置，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能涉及的所述方法。

本发明实施例的第三方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能涉及的所述方法。

本发明提供的一种融合平台多媒体信号的视频帧处理方法及装置，通过改进的处理装置和改进的框架，简易高效的得到需要的有用数据，并结合优化模型和压缩器分别进行最优比例参数设置，进一步解决了视频帧在网络受限情况下发生的数据传输失误问题，提高了视频画面的连贯性、清晰度和用户体验感。

附图说明

图1为本发明一个实施例提供的融合平台多媒体信号的视频帧处理方法的流程示意图；

图2为本发明一个实施例提供的融合平台多媒体信号的视频帧处理方法及装置的采集的视频帧示意图；

图3为本发明一个实施例提供的融合平台多媒体信号的视频帧处理方法及装置的处理好的视频帧示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

根据图1的示意，本实施例提供了一种融合平台多媒体信号的视频帧处理方法，具体包括：

S1：利用基于目标信号优化决策树构建的优化模型对视频帧信号数据进行比特率优化。参照图2，其中需要说明的是，处理视频帧信号数据之前还包括：

利用改进的处理装置将获取的视频数据转化为帧序列；

根据帧序列的排列顺序分别进行抽取、清洗和封装；

调取改进的框架，选择每个帧序列调用函数作为唯一处理格式；

定义帧处理类，并与改进的框架中的一个回调函数相关联；

启动处理程序，开始处理，输出得到视频帧序列数据。

改进的处理装置包括，发送主机、检测码、处理码和接收主机；

改进的框架包括，供多个不同帧序列使用的调用函数、回调函数、校验实例、帧文件以及帧处理类；

关联包括，基于帧处理类，创建一个实例并指定输入的帧文件，并绑定回调函数；

将视频帧序列数据进行数字信号转换，得到视频帧信号数据。

具体的，构建优化模型包括：

每个视频帧信号数据含有的帧处理类和位置信息如下，

其中，

：识别的帧处理类,

：识别帧序列,

：识别位置；

结合多目标优化处理，融合平台多媒体信号的视频帧数据对应识别结果建立优化决策树，如下，

其中,

：平台多媒体信号的视频帧数据比特率，

：其邻域内其 余视频帧数据比特率,

：优化决策树，i：常数。

进一步的，处理帧序列的部分运行代码如下：

改进的框架中包含的调用函数运行程序如下：

关联处理程序如下：

S2：结合码率原则搭建特殊压缩处理器，对优化后的视频帧信号数据进行压缩。本步骤需要说明的是，搭建特殊压缩处理器包括：

设置阈值、压缩比、启动时间、释放时间；

确定压缩门限、压缩动作时间和恢复时间。

进一步的， 若视频帧信号的大小超过设定的阈值，则被特殊压缩处理器进行压缩处理；

若视频帧信号的输入信号和输出信号比例为1:1，则视频帧信号在特殊压缩处理器内不会被处理，若比例为2:1，则特殊压缩处理器根据2:1的比例对视频帧信号进行压缩；

当电平峰值超过阈值0.1s后开始进行压缩，当电平峰值低于阈值0.1s后停止压缩。

S3；根据比特率与体积之间的关联关系进行微调，得到最优的参数比例。其中还需要说明的是，微调包括：

根据比特率与文件体积之间的关联关系进行微调，如下，

比特率与文件体积之间成正比，文件体积越大，则比特率越大，视频帧越清楚；

结合优化决策树调整比特率与文件体积之间的比例，遍历全局，直至找到最优的参数比例。

S4：将参数比例设置于视频帧信号数据中进行二次处理，输出得到较优的视频帧数据。参照图3，本步骤还需要说明的是，二次处理包括：

视频帧信号数据根据设置的参数比例调整比特率和文件体积参数，输出得到具有连贯性的高清的视频帧数据。

通俗的说，单位时间内比特率越大，精度就越高，处理出来的文件就越接近原始文件，即画面的细节就越清楚丰富，但文件体积与比特率是成正比的，这也导致现有技术更多是研究如何减小文件体积，但是体积减小是个很难攻克的难题，研究成本巨大，耗费时间也多，这并不被大多数普通受众所接受；尤其是近两年来疫情的爆发，导致学校停课，很多多媒体授课平台便被迅速推进大众视线，但是这些多媒体授课平台并不具有较好的使用感，由于需要快速解决疫情封闭下的教学问题，这些多媒体授课平台都是一些非常仓促的“半成品”，例如：受限于网络、画面质量低、卡顿、互动性不强，因此，若能很好的解决上述问题，则对“半成品”的多媒体授课平台向“成品”的发展具有极大的推动意义。

本实施例还提供一种融合平台多媒体信号的视频帧处理装置，其包括存储器、处理器以及计算机程序，计算机程序存储在存储器中，处理器运行计算机程序执行上述实施方式提供的方法。

本实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。

其中，可读存储介质可以是计算机存储介质，也可以是通信介质，通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质，计算机存储介质可以是通用或专用计算机能够存取的任何可用介质；例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。

当然，可读存储介质也可以是处理器的组成部分，处理器和可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中，另外，该ASIC可以位于用户设备中，当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中，可读存储介质可以是只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中，设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。

在上述设备的实施例中，应理解，处理器可以是中央处理单元（英文：CentralProcessing Unit，简称：CPU），还可以是其他通用处理器、数字信号处理器（英文：DigitalSignal Processor，简称：DSP）、专用集成电路（英文：Application Specific IntegratedCircuit，简称：ASIC），通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器，结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种融合平台多媒体信号的视频帧处理方法，其特征在于，包括：

利用基于目标信号优化决策树构建的优化模型对视频帧信号数据进行比特率优化；

结合码率原则搭建特殊压缩处理器，对优化后的所述视频帧信号数据进行压缩；

根据比特率与体积之间的关联关系进行微调，得到最优的参数比例；

将所述参数比例设置于所述视频帧信号数据中进行二次处理，输出得到较优的视频帧数据；

处理所述视频帧信号数据之前还包括，

利用改进的处理装置将获取的视频数据转化为帧序列；

根据所述帧序列的排列顺序分别进行抽取、清洗和封装；

调取改进的框架，选择每个帧序列调用函数作为唯一处理格式；

定义帧处理类，并与所述改进的框架中的一个回调函数相关联；

启动处理程序，开始处理，输出得到视频帧序列数据；

所述改进的处理装置包括，发送主机、检测码、处理码和接收主机；

所述改进的框架包括，供多个不同帧序列使用的所述调用函数、所述回调函数、校验实例、帧文件以及所述帧处理类；

所述关联包括，基于所述帧处理类，创建一个实例并指定输入的帧文件，并绑定所述回调函数；

将所述视频帧序列数据进行数字信号转换，得到所述视频帧信号数据；

构建所述优化模型包括，

每个所述视频帧信号数据含有的帧处理类和位置信息如下，

其中，

：识别的帧处理类,

：识别帧序列,

：识别位置；

结合多目标优化处理，融合平台多媒体信号的视频帧数据对应识别结果建立优化决策树，如下，

其中,

：平台多媒体信号的视频帧数据比特率，

：其邻域内其余视频帧数据比特率,

：优化决策树，i：常数；

搭建所述特殊压缩处理器包括，

设置阈值、压缩比、启动时间、释放时间；

确定压缩门限、压缩动作时间和恢复时间；

所述压缩包括，

若视频帧信号的大小超过设定的所述阈值，则被所述特殊压缩处理器进行压缩处理；

若所述视频帧信号的输入信号和输出信号比例为1:1，则所述视频帧信号在所述特殊压缩处理器内不会被处理，若所述比例为2:1，则所述特殊压缩处理器根据所述2:1的比例对所述视频帧信号进行压缩；

当电平峰值超过所述阈值0.1s后开始进行压缩，当电平峰值低于所述阈值0.1s后停止压缩；

所述微调包括，

根据比特率与文件体积之间的关联关系进行微调，如下，

所述比特率与所述文件体积之间成正比，所述文件体积越大，则所述比特率越大，视频帧越清楚；

结合所述优化决策树调整所述比特率与所述文件体积之间的比例，遍历全局，直至找到最优的参数比例。

2.根据权利要求1所述的融合平台多媒体信号的视频帧处理方法，其特征在于：所述二次处理包括，所述视频帧信号数据根据设置的所述参数比例调整比特率和文件体积参数，输出得到具有连贯性的高清的视频帧数据。

3.一种融合平台多媒体信号的视频帧处理装置，其特征在于，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行权利要求1或2所述的方法。

4.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1或2所述的方法。

Images