CN112887293A - 流媒体的处理方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种流媒体的处理方法、装置及电子设备，属于视频直播技术领域。流媒体的处理方法包括：采集原始视频数据，并获取当前数据网络的第一网络参数；在第一网络参数处于预设的第一参数范围中的情况下，对原始视频数据进行灰度处理，得到对应的第一灰度视频数据；通过当前数据网络发送第一灰度视频数据。本申请使电子设备可以在当前网络较差时传递数据量相对原始视频数据较小的第一灰度视频数据。从而在网络质量较差时及时调整在单位时间内需要数据网络传递的数据量，使当前所要传递的数据量与当前的网络状况相匹配，使接收该视频信息的电子设备可以流畅的播放这一视频数据，避免信息缺失。

Description

流媒体的处理方法、装置及电子设备

技术领域

本申请属于视频制备技术领域，具体涉及一种流媒体的处理方法、一种流媒体的处理装置、一种电子设备。

背景技术

在相关技术中，视频直播快速兴起，实时性的视频交流能够带来良好的观看和交流体验。而流媒体传输对网络质量的要求较高，如果直播方(流媒体推送方)的网络质量差，会导致所有观看者的观看体验下降。

现有技术通过降低码率、选择性丢帧的方法对原视频流进行压缩，以缓解推流方网络差导致的观看体验差，但降低码率会显著降低视频的清晰度，选择性丢帧会导致视频卡顿。如何在网络质量差的情况实现流畅直播，是目前亟待解决的技术问题。

申请内容

本申请实施例的目的是提供一种流媒体的处理方法、装置及电子设备，能够解决流媒体传输过程中的卡顿和延迟现象，以提高流媒体传输的稳定性与可靠性，提升通讯质量。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种流媒体的处理方法，该方法包括：

采集原始视频数据，并获取当前数据网络的第一网络参数；

在第一网络参数处于预设的第一参数范围中的情况下对原始视频数据进行灰度处理，得到对应的第一灰度视频数据；

通过当前数据网络发送第一灰度视频数据。

第二方面，本申请实施例提供了一种流媒体的处理方法，该方法包括：

接收第一电子设备发送的原始视频数据；

响应于第二电子设备的视频请求，获取第二电子设备的第二网络参数；

在第二网络参数处于预设的第四参数范围中的情况下，对原始视频数据进行灰度处理，得到对应的第二灰度视频数据；

向第二电子设备推送第二灰度视频数据。

第三方面，本申请实施例提供了一种流媒体的处理装置，该装置包括：

图像采集模块，用于采集原始视频数据；

第一获取模块，用于获取当前数据网络的第一网络参数；

第一处理模块，用于在第一网络参数处于预设的第一参数范围中的情况下，对原始视频数据进行灰度处理，得到对应的灰度视频数据；

第一推送模块，用于通过数据网络发送灰度视频数据。

第四方面，本申请实施例提供了一种流媒体的处理装置，该装置包括：

接收模块，用于接收第一电子设备发送的原始视频数据；

第二获取模块，响应于第二电子设备的视频请求，第二获取模块用于获取第二电子设备的第二网络参数；

第二处理模块，用于在第二网络参数处于预设的第四参数范围中的情况下，对原始视频数据进行灰度处理，得到对应的第二灰度视频数据；

第二推送模块，用于向第二电子设备推送第二灰度视频数据。

第五方面，本申请实施例提供了一种电子设备，该电子设备包括：

处理器，存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面所述的流媒体的处理方法的步骤，和/或如第二方面所述的流媒体的处理方法的步骤。

第六方面，本申请实施例提供了一种可读存储介质，该可读存储介质包括处理器，存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面所述的流媒体的处理方法的步骤，和/或如第二方面所述的流媒体的处理方法的步骤。

第七方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的流媒体的处理方法的步骤；和/或如第三方面的流媒体的处理方法的步骤。

在本申请实施例中，视频数据在电子设备之间传输，发送视频数据的电子设备在采集到视频数据后借助数据网络将视频数据发送至接收视频数据的电子设备，以在至少两个电子设备之间完成视频数据的传输，从而实现电子设备之间的视频通话或网络直播。

在电子设备发送视频数据的过程中，电子设备可以在采集到原始视频数据后先获取当前数据网络的第一网络参数并判断第一网络参数与预设的参数区间的关系，当第一网络参数处于第一参数范围中时，对原始视频进行灰度处理，并最终通过当前数据网络将经过灰度处理后所得到的第一灰度视频发送至接收该视频信息的电子设备处。

其中，当第一网络参数处于第一参数范围中时，说明当前网络质量较差，无法稳定且可靠地传输视频数据，致使接收视频数据的电子设备在播放该视频数据时出现卡顿。

对此，本申请通过在获取到当前数据网络的第一网络参数处于第一参数范围中时对采集到的原始视频数据进行灰度处理，使电子设备可以在当前网络较差时传递数据量相对原始视频数据较小的第一灰度视频数据。从而在网络质量较差时及时调整在单位时间内需要数据网络传递的数据量，使当前所要传递的数据量与当前的网络状况相匹配，避免在当前数据网络较差时传递不完整的视频数据，进而保证视频数据在传输过程中的完整性与可靠性，使接收该视频信息的电子设备可以流畅的播放这一视频数据，避免信息缺失，因此在在网络质量差的情况也能实现流畅直播，实现了提升流媒体传输稳定性与可靠性，提升用户使用体验，提高产品用户粘度的技术效果。

附图说明

图1示出了根据本申请实施例的流媒体的处理方法的流程图之一；

图2示出了根据本申请实施例的流媒体的处理方法的流程图之二；

图3示出了根据本申请实施例的流媒体的处理方法的流程图之三；

图4示出了根据本申请实施例的流媒体的处理方法的流程图之四；

图5示出了根据本申请实施例的流媒体的处理方法的流程图之五；

图6示出了根据本申请实施例的流媒体的处理方法的流程图之六；

图7示出了根据本申请实施例的流媒体的处理装置的结构框图之一；

图8示出了根据本申请实施例的流媒体的处理方法的流程图之七；

图9示出了根据本申请实施例的流媒体的处理装置的结构框图之二；

图10示出了根据本申请实施例的流媒体的处理方法的流程图之八；

图11示出了根据本申请实施例的网络直播示意图；

图12为实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的流媒体的处理方法、流媒体的处理装置、电子设备和可读存储介质进行详细地说明。

在本申请实施例中，视频数据在电子设备之间传输，发送视频数据的第一电子设备在采集到视频数据后借助数据网络将视频数据发送至服务器侧，其后服务器将该视频数据通过接收该视频数据的第二电子设备所连接的数据网络传递至第二电子设备中，第二电子设备播放这一视频数据即可将视频数据所对应的信息展示给用户，从而实现电子设备之间的视频通话或网络直播。

图1示出了根据本申请实施例的流媒体的处理方法的流程图之一，具体地，该流媒体的处理方法可以包括以下步骤：

步骤102，采集原始视频数据，并获取当前数据网络的第一网络参数；

步骤104，在第一网络参数处于预设的第一参数范围中的情况下，对原始视频数据进行灰度处理，得到对应的第一灰度视频数据；

步骤106，通过当前数据网络发送第一灰度视频数据。

在本申请实施例中，具体地，在第一电子设备发送视频数据的过程中，第一电子设备可以在采集到原始视频数据后先获取当前数据网络的第一网络参数并判断第一网络参数与预设的参数区间的关系，当第一网络参数处于第一参数范围中时，对原始视频进行灰度处理，并最终通过当前数据网络将经过灰度处理后所得到的第一灰度视频发送至第二电子设备处。其中，当第一网络参数处于第一参数范围中时，说明第一电子设备所处的当前网络质量较差，无法稳定且可靠地将视频数据传送至服务器一侧，以至于即便第二电子设备所处的网络环境较好也无法接收到完整的视频数据，致使第二电子设备向用户展示的是卡顿且不完整的视频。对此，本申请通过在获取到当前数据网络的第一网络参数处于第一参数范围中时，对采集到的原始视频数据进行灰度处理，使第一电子设备可以在当前网络较差时传递数据量相对原始视频数据较小的第一灰度视频数据。从而在网络质量较差时及时调整在单位时间内需要数据网络传递的数据量，以使当前所要传递的数据量与当前的网络状况相匹配，避免在当前数据网络较差时传递不完整的视频数据，进而保证视频数据在传输过程中的完整性与可靠性，使服务器可以接收到完整的视频数据，使第二电子设备可以流畅的播放视频信息，避免信息缺失。以实现优化流媒体的处理方法，提升流媒体传输稳定性与可靠性，提升用户使用体验，提高产品用户粘度的技术效果。

其中，发送第一灰度视频数据，可以是将第一灰度视频数据发送给服务器，再由服务器将获取到的第一灰度视频直接推送给多个观看该直播的第二电子设备，还可以是将第一灰度视频数据发送给服务器，由服务器对第一灰度视频数据进行再处理后，推送给多个观看该直播数据的第二电子设备。

在一些实施方式中，还可以是由第一电子设备直接将第一灰度视频数据发送给第二电子设备。

例如，用户在直播带货时，第一电子设备拍摄用户所要直播的场景的视频数据，并经由服务器将该视频数据传输至观看其直播的第二电子设备上。当第一电子设备所处的网络质量较差时，网络在单位时间内所能传递的数据量会明显降低，若依旧传递原始视频数据，会出现原始视频数据传递延迟以及原始视频数据丢失的现象，观看其直播的用户在播放该原始视频数据后，便会出现视频卡顿和视频缺失，从而一方面破坏了观看直播的用户的体验，降低用户对所持电子设备和所用直播平台的评价，另一方面会导致直播用户的观看人数迅速降低，损害直播用户的利益。对此，本申请通过在第一电子设备所对应的网络较差时控制第一电子设备对原始视频数据进行灰度处理并上传，降低了数据对网络的要求，从而确保了视频数据的完整度，观看该直播的用户虽然会在短时间内观看颜色单一的灰度视频，但不会影响视频播放的流畅度，以尽可能降低网络波动所带来的损失。

在本申请的一些实施例中，图2示出了根据本申请实施例的流媒体的处理方法的流程图之二，具体地，原始视频数据包括连续的多个原始图像帧，对原始视频数据进行灰度处理的步骤包括：

步骤202，按照原始图像帧的生成顺序，逐帧对原始图像帧进行灰度处理，得到连续的第一灰度帧图像；

步骤204，对第一灰度帧图像进行编码处理和封装处理，得到第一灰度视频数据。

在本申请实施例中，第一电子设备获取并生成多个连续的原始图像帧，形成原始视频数据，以完成原始视频数据的采集。对此，本申请展开说明了如何对原始视频数据进行灰度处理。在进行灰度处理的过程中，先遵循原始图像帧生成的顺序，逐帧对原始图像帧中的每一帧图像进行灰度处理，以得到连续的第一灰度帧图像，通过限定对原始图像帧按照生成顺序逐一灰度处理，可以避免处理后的灰度帧图像排序混乱，确保转换后的第一灰度视频数据准确可靠。在完成原始图像帧的灰度处理后，对灰度帧图像进行编码处理和封装处理，以得到第一灰度视频数据，编码处理可以提升第一灰度视频数据的安全性，避免第一灰度视频在传输过程中被窃取，封装处理可以保证第一灰度视频数据的完整性与可靠性，避免第一灰度视频在传输过程中出现缺失。处理所得的第一灰度视频数据的数据量明显小于原始视频数据的数据量，即便第一电子设备所处的网络环境较差，因数据量较小，第一电子设备依旧可以稳定可靠地将第一灰度视频数据传送至服务器，从而使第二电子设备在播放该第一灰度视频数据时，可以向用户展示完整流畅的视频信息，进而解决视频卡顿和视频缺失的问题，保障用户的权益，提升用户的使用体验。

在本申请的一些实施例中，图3示出了根据本申请实施例的流媒体的处理方法的流程图之三，具体地，在第一网络参数处于预设的第二参数范围中的情况下，在对原始视频数据进行灰度处理之后，流媒体的处理方法包括：

步骤302，对进行灰度处理后的原始视频数据进行压缩处理，得到对应的压缩视频数据；

步骤304，通过当前数据网络发送压缩视频数据。

在本申请实施例中，当第一电子设备针对当前数据网络获取到的第一网络参数处于预设的第二参数范围中时，该流媒体的处理方法会对原始视频数据进行压缩处理，以得到对应的压缩视频数据，其后再通过当前数据网络推送压缩视频数据。其中，当第一网络参数处于预设的第二参数范围中时，说明当前数据网络相较于第一网络参数处于第一参数范围中时更差，以至于当前网络已无法满足上述第一灰度视频数据的稳定传输。对此，本申请通过对原始视频数据进行压缩处理，得到了数据量相较于第一灰度视频数据更小的压缩视频数据，从而使第一电子设备所要传输的数据与当前网络环境相匹配，以确保第二电子设备依旧可以通过播放该压缩视频数据来得到完整流畅的视频信息。进而实现优化流媒体的处理方法，提升用户使用体验，保护用户权益的技术效果。

在本申请的一些实施例中，图4示出了根据本申请实施例的流媒体的处理方法的流程图之四，具体地，对原始视频数据进行压缩处理的步骤包括：

步骤402，按照原始图像帧的生成顺序，逐帧对原始图像帧进行压缩处理；

步骤404，得到连续的压缩帧图像。

其中，压缩处理包括：降低原始图像帧的分辨率、降低原始图像帧的位深度、对原始图像帧进行色彩空间缩减和/或对原始图像帧进行分形压缩。

在本申请实施例中，第一电子设备获取并生成多个连续的原始图像帧，形成原始视频数据，以完成原始视频数据的采集。对此，本申请展开说明了如何对原始视频数据进行压缩处理。压缩处理过程中，遵循原始图像帧生成的顺序，逐帧对原始图像帧中的每一帧图像进行压缩处理，以得到连续的压缩帧图像，通过限定对原始图像帧按照生成顺序逐一压缩处理，可以避免处理后的压缩帧图像排序混乱，确保转换后的压缩视频数据准确可靠。处理所得的压缩视频数据的数据量明显小于原始视频数据的数据量，即便第一电子设备所处的网络环境较差，因压缩视频数据的数据量较小，第一电子设备依旧可以稳定可靠地将压缩视频数据传送至服务器，从而使第二电子设备在播放该压缩视频数据时，可以向用户展示完整流畅的视频信息，进而解决视频卡顿和视频缺失的问题，保障用户的权益，提升用户的使用体验

其中，压缩处理的具体方法如下：

一、降低原始图像帧的分辨率。图像的分辨率反映的是单位尺寸中所包含的像素点的数量。降低原始图像帧的分辨率是通过降低每个原始图像帧中单位尺寸中的像素点数量来降低压缩视频数据的数据总量。用户在播放经过降低分辨率处理的压缩视频数据后，会得到清晰度相较于原始视频数据低，但足够流畅的视频信息。

二、降低原始图像帧的位深度。位深度指在记录数字图像的颜色时，每个像素在计算机存储器中所占用的位数，图像的色彩越丰富，对应的位深度越大。降低原始图像帧的位深度是通过降低原始图像帧的色彩丰富度来降低每个原始图像帧所对应的数据量。用户在播放经过降低原始图像帧位深度处理的压缩视频数据后，会得到色彩丰富度相较于原始视频数据低，但足够流畅的视频信息。并且，人肉眼对色彩丰富度的感知能力相对于对视频流畅度的感知能力来说较弱，适当降低原始图像帧的位深度可以在不影响用户体验的前提下保证视频的完整和流畅。

三、对原始图像帧进行色彩空间缩减。色彩空间指的是色彩在色彩模型这一用于描述色彩的数学模型下所对应的参数值。缩减原始图像帧的色彩空间可以降低每个原始图像帧所占用的数据量，从而得到数据总量小于原始视频数据的压缩视频数据。进而使用户在播放该压缩视频数据时，可以接收到完整且流畅的视频信息。

四、对原始图像帧进行分形压缩。分形压缩指的是一种以碎形为基础的图像压缩方式，分形压缩会以降低图像品质为代价，降低图像所占用的数据量，通过对原始图像帧进行分形压缩，可以得到占用数据量较小的帧图像，从而得到数据纵梁小于原始视频数据的压缩视频数据。进而使用户在播放该压缩视频数据时，可以接收到完整且流畅的视频信息。

在对原始视频数据执行压缩处理时，可以采用上述四种方法中的任一种或组合，例如在网络环境较差时，可以同时降低原始图像帧的分辨率并对每个原始图像帧进行分形压缩，以得到数据纵梁小于原始视频数据的压缩视频数据，以强化针对原始视频数据的压缩幅度。对此，本申请不再具体描述每种组合方式，上述四种压缩方法的所有组合方式均受到本申请的保护。

在本申请的一些实施例中，图5示出了根据本申请实施例的流媒体的处理方法的流程图之五，具体地，在得到压缩帧图像后，流媒体的编码还包括：

步骤502，对压缩帧图像进行编码处理和封装处理，得到对应的第一压缩视频数据；

步骤504，通过当前数据网络发送第一压缩视频数据。

在本申请实施例中，在完成针对原始帧凸显的压缩处理得到压缩帧图像后，对压缩帧图像进行编码处理和封装处理，以得到对应的第一压缩视频数据，其后再通过当前数据网络将该压缩视频数据发送至服务器。编码处理可以提升第一压缩视频数据的安全性，避免第一压缩视频在传输过程中被窃取，封装处理可以保证第一压缩视频数据的完整性与可靠性，避免第一压缩视频在传输过程中出现缺失。处理所得的第一压缩视频数据的数据量明显小于原始视频数据的数据量，即便第一电子设备所处的网络环境较差，因数据量较小，第一电子设备依旧可以稳定可靠地将第一压缩视频数据传送至服务器，从而使第二电子设备在播放该第一压缩视频数据时，可以向用户展示完整流畅的视频信息，进而解决视频卡顿和视频缺失的问题，保障用户的权益，提升用户的使用体验。

在本申请的一些实施例中，图6示出了根据本申请实施例的流媒体的处理方法的流程图之六，具体地，在得到压缩帧后，流媒体的编码还包括：

步骤602，对压缩帧图像进行灰度处理，得到对应的第二灰度帧图像；

步骤604，对第二灰度帧图像进行编码处理和封装处理，得到对应的第二压缩视频数据；

步骤606，通过当前数据网络发送第二压缩视频数据。

在本申请实施例中，在通过对原始图像帧进行压缩处理得到压缩帧图像后，对压缩帧图像进行灰度处理，以得到对应的第二灰度帧图像，第二灰度帧图像相较于原始图像帧来说，图像品质相对较低且图像为灰度图像，相较于压缩帧图像和第一灰度帧图像来说，第二灰度帧图像因同时执行了压缩处理和灰度处理，所以占用的数据量更小。通过将第二灰度帧图像编码封装成第二压缩视频数据并将该第二压缩视频数据发送至服务器可以进一步降低传输视频数据所需要的网络信号强度，以强化视频信息传输的稳定性与可靠性，确保第二电子设备一侧的用户可以接收到完整且流畅的视频信息，进而实现优化流媒体的处理方法，保障用户权益，提升用户使用体验的技术效果。其中，编码处理可以提升第二压缩视频数据的安全性，避免第二压缩视频在传输过程中被窃取，封装处理可以保证第二压缩视频数据的完整性与可靠性，避免第二压缩视频在传输过程中出现缺失，进而实现提升数据传输安全性与可靠性的技术效果。

在本申请的一些实施例中，具体地，基于第一网络参数处于预设的第三参数范围中，通过数据网络推送原始视频数据。

在本申请实施例中，当获取到的当前数据网络的第一网络参数大于第一质量阈值时，反映当前数据网络良好，当前数据网络在单位时间内所能传递的数据量较大。此时通过当前数据网络推送原始视频数据可以在确保视频信息完整流畅的前提下提升视频信息的品质，使第二电子设备一侧的用户可以通过播放该原始视频数据得到优质的视频信息。进而实现优化流媒体的处理方法，提升用户使用体验的技术效果。

在本申请的一些实施例中，具体地，第一网络参数包括网络上传速度、网络信号强度、网络延迟、网络数据丢包率中的一种或多种。

在本申请实施例中，对第一网络参数这一横梁当前数据网络强度的名词做出了具体限定。第一网络参数包括网络上传速度、网络信号强度、网络延迟、网络数据丢包率中的一种或多种。网络上传速度反映的是第一电子设备借助当前数据网络在单位时间内所能上传的数据量，对应在本申请中，上传速度越快，所推送的视频数据的品质越高。网络信号强度反映的是第一电子设备所处环境中的网络信号覆盖强度，网络信号强度越高，数据传输速度相对越快，数据传输相对越稳定，对应在本申请中，网络信号强度越强，所推送的视频数据的品质越高。网络延迟反映网络传输的稳定性，网络延迟越低，代表当前数据网络的稳定性越强，对应在本申请中，网络延迟越低，所推送的视频数据的品质越高。网络数据丢包率反映的是网络传输的可靠性，网络数据丢包率越低代表当前数据网络的可靠性越强，对应在本申请中，网络数据丢包率越低，所推送的视频数据的品质越高。其中，第一网络参数可以是对应上述衡量条件中的任一一种条件的参数，也可以是对应上述多个横梁条件的组合的参数，例如第一网络参数可以根据网络信号强度和网络数据丢包率共同确定，此处本申请不再逐一列举说明，上述四种横梁条件的所有组合均受到本申请的保护。

图7示出了根据本申请实施例的流媒体的处理装置的结构框图之一，具体地，流媒体的处理装置700包括：

图像采集模块702，用于采集原始视频数据；

第一获取模块704，用于获取当前数据网络的第一网络参数；

第一处理模块706，用于基于第一网络参数处于预设的第一参数范围中，且大于或等于预设的第二阈值，对原始视频数据进行灰度处理，得到对应的灰度视频数据；

第一推送模块708，用于通过数据网络推送灰度视频数据。

在本申请实施例中，视频数据在电子设备之间传输，发送视频数据的第一电子设备在采集到视频数据后借助数据网络将视频数据发送至服务器侧，其后服务器将该视频数据通过接收该视频数据的第二电子设备所连接的数据网络传递至第二电子设备中，第二电子设备播放这一视频数据即可将视频数据所对应的信息展示给用户，从而实现电子设备之间的视频通话或网络直播。

通过将该流媒体处理装置设置在第一电子设备上，使第一电子设备可以在当前网络较差时传递数据量相对原始视频数据较小的第一灰度视频数据。从而在网络质量较差时及时调整在单位时间内需要数据网络传递的数据量，以使当前所要传递的数据量与当前的网络状况相匹配，避免在当前数据网络较差时传递不完整的视频数据，进而保证视频数据在传输过程中的完整性与可靠性，使服务器可以接收到完整的视频数据，使第二电子设备可以流畅的播放视频信息，避免信息缺失。以实现优化流媒体的处理方法，提升流媒体传输稳定性与可靠性，提升用户使用体验，提高产品用户粘度的技术效果。

本申请实施例中的流媒体的处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的流媒体的处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的流媒体的处理装置能够实现图1至图6的方法实施例中流媒体的处理方法所实现的各个过程，为避免重复，这里不再赘述。

在本申请的一些实施例中，图8示出了根据本申请实施例的流媒体的处理方法的流程图之七，具体地，该流媒体的处理方法可以包括以下步骤：

步骤802，接收第一电子设备发送的原始视频数据；

步骤804，响应于第二电子设备的视频请求，获取第二电子设备的第二网络参数；

步骤806，在第二网络参数处于预设的第四参数范围中的情况下，对原始视频数据进行灰度处理，得到对应的第二灰度视频数据；

步骤808，向第二电子设备推送第二灰度视频数据。

在本申请实施例中，具体地，在服务器接收到第一电子设备发送的原始视频数据后，服务器可以响应于第二电子设备的视频请求获取第二电子设备所对应的第二网络参数，其后判断第二网络参数和预设的第三质量阈值之间的关系，若获取到的第二网络参数处于预设的第四参数范围中，则对原始视频数据进行灰度处理得到对应的第二视频数据后，在向第二电子设备推送第二灰度视频数据。

其中，当第二网络参数处于预设的第四参数范围中时，说明第二电子设备所处的当前网络质量较差，无法稳定且可靠地由服务器接收视频数据，以至于即便第一电子设备所处的网络环境较好也无法为用户提供完整且流畅的视频信息。对此，本申请通过在获取到第二网络参数处于预设的第四参数范围中时，对接收到的原始视频数据进行灰度处理，使第二电子设备可以在当前网络较差时接收到数据量相对原始视频数据较小的第二灰度视频数据。从而在网络质量较差时及时调整第二电子设备在单位时间内需要数据网络传递的数据量，以使当前所要传递的数据量与当前的网络状况相匹配，避免在当前数据网络较差时接收到不完整的视频数据，进而保证视频数据在传输过程中的完整性与可靠性，使第二电子设备可以接收到完整的视频数据，使第二电子设备可以播放流畅的视频信息，避免信息缺失。以实现优化流媒体的处理方法，提升流媒体传输稳定性与可靠性，提升用户使用体验，提高产品用户粘度的技术效果。

例如，用户在直播带货时，第一电子设备拍摄用户所要直播的场景的视频数据，并经由服务器将该视频数据传输至观看其直播的第二电子设备上。当第二电子设备所处的网络质量较差时，网络在单位时间内所能传递的数据量会明显降低，若依旧接收原始视频数据，会出现原始视频数据传递延迟以及原始视频数据丢失的现象，观看其直播的用户在播放该原始视频数据后，便会出现视频卡顿和视频缺失，从而一方面破坏了观看直播的用户的体验，降低用户对所持电子设备和所用直播平台的评价，另一方面会导致直播用户的观看人数迅速降低，损害直播用户的利益。对此，本申请通过在第二电子设备所对应的网络较差时控制服务器对原始视频数据进行灰度处理并推送给第二电子设备，降低了数据对网络的要求，从而确保了视频数据的完整度，观看该直播的用户虽然会在短时间内观看颜色单一的灰度视频，但不会影响视频播放的流畅度，以尽可能降低网络波动所带来的损失。

在本申请的一些实施例中，图9示出了根据本申请实施例的流媒体的处理装置的结构框图之二，具体地，流媒体的处理装置900包括：

接收模块902，用于接收第一电子设备发送的原始视频数据；

第二获取模块904，响应于第二电子设备的视频请求，第二获取模块用于获取第二电子设备的第二网络参数；

第二处理模块906，用于基于第二网络参数处于预设的第四参数范围中，对原始视频数据进行灰度处理，得到对应的第二灰度视频数据；

第二推送模块908，用于向第二电子设备推送第二灰度视频数据。

在本申请实施例中，视频数据在电子设备之间传输，发送视频数据的第一电子设备在采集到视频数据后借助数据网络将视频数据发送至服务器侧，其后服务器将该视频数据通过接收该视频数据的第二电子设备所连接的数据网络传递至第二电子设备中，第二电子设备播放这一视频数据即可将视频数据所对应的信息展示给用户，从而实现电子设备之间的视频通话或网络直播。

通过将该流媒体处理装置设置在第二电子设备上，使第二电子设备可以在当前网络较差时接收到数据量相对原始视频数据较小的第二灰度视频数据。从而在网络质量较差时及时调整第二电子设备在单位时间内需要数据网络传递的数据量，以使当前所要传递的数据量与当前的网络状况相匹配，避免在当前数据网络较差时接收到不完整的视频数据，进而保证视频数据在传输过程中的完整性与可靠性，使第二电子设备可以接收到完整的视频数据，使第二电子设备可以播放流畅的视频信息，避免信息缺失。以实现优化流媒体的处理方法，提升流媒体传输稳定性与可靠性，提升用户使用体验，提高产品用户粘度的技术效果。

本申请实施例中的流媒体的处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的流媒体的处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的流媒体的处理装置能够实现图8的方法实施例中流媒体的处理方法所实现的各个过程，为避免重复，这里不再赘述。

在本申请的一些实施例中，提供了一种弱网下优化视频直播流畅度的方法，具体包括以下步骤：

步骤一、推流端摄像设备逐帧采集视频原始数据；

步骤二、推流端进行弱网判断，弱网判断原理如下：若网络速度处于预设的第一参数范围中，则判定推流端弱网，否则转步骤七处理；

步骤三、判断网络条件是否能够提供清晰视频数据所需的带宽，根据编码压缩率和视频大小计算传输这些数据所需的最小带宽，若小于当前网络带宽，则不支持原视频的流畅传输，否则转步骤七处理；

步骤四、判断网络条件是否能够提供灰度视频数据所需的带宽，计算原理同步骤三，不支持转步骤五处理，否则转步骤六处理；

步骤五、逐帧降低视频源的清晰度，压缩视频内容；

步骤六、逐帧对视频源做灰度处理，仅提取YUV(色彩编码方法，LuminanceChrominance)视频的Y(明亮度，Luminance)分量数据，转为灰度图；

步骤七、推流端推送编码、压缩后的视频数据到服务器端，服务端把视频数据分发至各个直播收看客户端；

步骤八、直播收看客户端收到灰度视频数据，解封装、解码后显示上屏，同时提示直播推流端处于弱网状态。

具体地，本申请限定的流媒体数据的控制方法在弱网下，直播推流端仅提取画面中每个像素YUV的Y分量，也就是亮度分量，人眼对亮度更敏感，色度值对感官的影响略小。

使用YUV444格式(图像原始格式)的视频去掉UV(色度，Chrominance)分量将节省66％的数据量，对于使用YUV420格式(图像原始格式)的视频将会节省30-40％的数据量，保证了关键数据的传输，在弱网下也能提供较高的清晰度和流畅度。直播收看端也不会丢失视频内容的细节，感官体验比起降低清晰度的方式好很多。

图10示出了根据本申请实施例的流媒体的处理方法的流程图之八，具体地流媒体的处理方法包括：

步骤1002，第一电子设备采集原始视频数据；

步骤1004，获取第一电子设备对应的第一网络质量；

步骤1006，判断第一网络质量是否大于第一质量阈值，判断结果为是执行步骤1014，判断结果为否执行步骤1008；

步骤1008，判断第一网络质量是否大于第二质量阈值，判断结果为是执行步骤1012，判断结果为否执行步骤1010；

步骤1010，对原视频数据执行压缩处理；

步骤1012，对原视频数据执行灰度处理；

步骤1014，编码、封装；

步骤1016，发送视频数据；

步骤1018，第二电子设备接收视频数据；

步骤1020，解封装、解码；

步骤1022，第二电子设备展示视频数据。

在本申请的一些实施例中，图11示出了根据本申请实施例的网络直播示意图。

在本申请实施例中，发出直播的用户为第一用户，第一用户持有的终端设备为第一电子设备。观看直播的用户为第二用户，第二用户持有的终端设备为第二电子设备。在直播过程中，第一用户通过第一电子设备上的影像采集装置拍摄所要展示的场景，形成原始视频信息。其后第一电子设备判断当前数据网络是否为弱网，若执行本申请的流媒体的处理方法，则第一电子设备会对原始视频信息执行灰度处理，此时第二电子设备会向第二用户展示流畅度高、清晰度高的灰度视频，并且同时为用户展示“主播网络质量差，灰度模式播放中”的文字提醒，以避免用户产生误解。其中，第一电子设备还可以在弱网下对原始视频数据执行压缩处理后再发往第二电子设备，此时用户可以通过第二电子设备观看到流畅但清晰度相较于原始视频低的直播视频。

可选的，本申请实施例还提供一种电子设备1900，包括处理器1910，存储器1909，存储在存储器1909上并可在处理器1910上运行的程序或指令，该程序或指令被处理器1910执行时实现上述流媒体的处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图12为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1900包括但不限于：射频单元1901、网络模块1902、音频输出单元1903、输入单元1904、传感器1905、显示单元1906、用户输入单元1907、接口单元1908、存储器1909、以及处理器1910等部件。

本领域技术人员可以理解，电子设备1900还可以包括给各个部件供电的电源1911(比如电池)，电源1911可以通过电源管理系统与处理器1910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图12中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，传感器1905可以是图像传感器，如摄像头，用于采集原始视频数据；

处理器1910用于获取当前网络模块1902对应的数据网络的第一网络参数；以及在第一网络参数处于预设的第一参数范围中的情况下，对原始视频数据进行灰度处理，得到对应的第一灰度视频数据；

网络模块1902用于通过当前数据网络发送第一灰度视频数据。

可选的，处理器1910还用于按照始图像帧的生成顺序，逐帧对原始图像帧进行灰度处理，得到连续的第一灰度帧图像；对第一灰度帧图像进行编码处理和封装处理，得到第一灰度视频数据。

可选的，处理器1910还用于对原始视频数据进行压缩处理，得到对应的压缩视频数据；网络模块1902还用于通过当前数据网络推送压缩视频数据。

可选的，处理器1910还用于按照原始图像帧的生成顺序，逐帧对原始图像帧进行压缩处理，得到连续的压缩帧图像。

可选的，处理器1910还用于对压缩帧图像进行编码处理和封装处理，得到对应的第一压缩视频数据；网络模块1902还用于通过当前数据网络发送第一压缩视频数据。

可选的，处理器1910还用于对压缩帧图像进行灰度处理，得到对应的第二灰度帧图像；对第二灰度帧图像进行编码处理和封装处理，得到对应的第二压缩视频数据；网络模块1902还一用于通过当前数据网络发送第二压缩视频数据。

可选的，网络模块1902还用于在第一网络参数处于预设的第三参数范围中的情况下，通过当前数据网络发送原始视频数据。

应理解的是，本申请实施例中，射频单元1901可用于收发信息或收发通话过程中的信号，具体的，接收基站的下行数据或向基站发送上行数据。射频单元1901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。

网络模块1902为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元1903可以将射频单元1901或网络模块1902接收的或者在存储器1909中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元1903还可以提供与电子设备1900执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元1903包括扬声器、蜂鸣器以及受话器等。

输入单元1904用于接收音频或视频信号。输入单元1904可以包括图形处理器(Graphics Processing Unit，GPU)5082和麦克风5084，图形处理器5082对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1906上，或者存储在存储器1909(或其它存储介质)中，或者经由射频单元1901或网络模块1902发送。麦克风5084可以接收声音，并且能够将声音处理为音频数据，处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1901发送到移动通信基站的格式输出。

电子设备1900还包括至少一种传感器1905，比如指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器以及其他传感器。

显示单元1906用于显示由用户输入的信息或提供给用户的信息。显示单元1906可包括显示面板5122，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5122。

用户输入单元1907可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元1907包括触控面板5142以及其他输入设备5144。触控面板5142也称为触摸屏，可收集用户在其上或附近的触摸操作。触控面板5142可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1910，接收处理器1910发来的命令并加以执行。其他输入设备5144可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板5142可覆盖在显示面板5122上，当触控面板5142检测到在其上或附近的触摸操作后，传送给处理器1910以确定触摸事件的类型，随后处理器1910根据触摸事件的类型在显示面板5122上提供相应的视觉输出。触控面板5142与显示面板5122可作为两个独立的部件，也可以集成为一个部件。

接口单元1908为外部装置与电子设备1900连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元1908可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备1900内的一个或多个元件或者可以用于在电子设备1900和外部装置之间传输数据。

存储器1909可用于存储软件程序以及各种数据。存储器1909可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据移动终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1909可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1910通过运行或执行存储在存储器1909内的软件程序和/或模块，以及调用存储在存储器1909内的数据，执行电子设备1900的各种功能和处理数据，从而对电子设备1900进行整体监控。处理器1910可包括一个或多个处理单元；优选的，处理器1910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。

电子设备1900还可以包括给各个部件供电的电源1911，优选的，电源1911可以通过电源管理系统与处理器1910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

本申请通过获取网络质量并比对网络质量和质量阈值的关系来判定是否对原始视频数据执行灰度处理，使电子设备可以在当前网络较差时传递或接收数据量相对原始视频数据较小的灰度视频数据。从而在网络质量较差时及时调整在单位时间内需要数据网络传递的数据量，使当前所要传递的数据量与当前的网络状况相匹配，避免在当前数据网络较差时传递不完整的视频数据，进而保证视频数据在传输过程中的完整性与可靠性，使接收该视频信息的第二电子设备可以流畅的播放这一视频数据，避免信息缺失。以实现提升流媒体传输稳定性与可靠性，提升用户使用体验，提高产品用户粘度的技术效果。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述流媒体的处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述流媒体的处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种流媒体的处理方法，其特征在于，包括：

采集原始视频数据，并获取当前数据网络的第一网络参数；

在所述第一网络参数处于预设的第一参数范围中的情况下，对所述原始视频数据进行灰度处理，得到对应的第一灰度视频数据；

通过所述当前数据网络发送所述第一灰度视频数据。

2.根据权利要求1所述的流媒体的处理方法，其特征在于，所述原始视频数据包括连续的多个原始图像帧，所述对所述原始视频数据进行灰度处理的步骤包括：

按照所述原始图像帧的生成顺序，逐帧对所述原始图像帧进行灰度处理，得到连续的第一灰度帧图像；

对所述第一灰度帧图像进行编码处理和封装处理，得到所述第一灰度视频数据。

3.根据权利要求2所述的流媒体的处理方法，其特征在于，在所述第一网络参数处于预设的第二参数范围中的情况下，在所述对原始视频数据进行灰度处理之后，所述流媒体的处理方法还包括：

对进行灰度处理后的所述原始视频数据进行压缩处理，得到对应的压缩视频数据；

所述通过所述当前数据网络发送所述第一灰度视频数据，包括：

通过所述当前数据网络发送所述压缩视频数据；

其中，所述第二参数范围的最大值小于所述第一参数范围的最小值。

4.根据权利要求3所述的流媒体的处理方法，其特征在于，所述对所述原始视频数据进行压缩处理的步骤包括：

按照所述原始图像帧的生成顺序，逐帧对所述原始图像帧进行压缩处理，得到连续的压缩帧图像；

其中，所述压缩处理包括以下至少一种：

降低所述原始图像帧的分辨率、降低所述原始图像帧的位深度、对所述原始图像帧进行色彩空间缩减、对所述原始图像帧进行分形压缩。

5.根据权利要求4所述的流媒体的处理方法，其特征在于，在得到所述压缩帧图像后，所述流媒体的编码还包括：

对所述压缩帧图像进行编码处理和封装处理，得到对应的第一压缩视频数据；

所述通过所述当前数据网络发送所述压缩视频数据，具体为：

通过所述当前数据网络发送所述第一压缩视频数据。

6.根据权利要求4所述的流媒体的处理方法，其特征在于，在得到所述压缩帧后，所述流媒体的编码还包括：

对所述压缩帧图像进行所述灰度处理，得到对应的第二灰度帧图像；

对所述第二灰度帧图像进行编码处理和封装处理，得到对应的第二压缩视频数据；

所述通过所述当前数据网络发送所述压缩视频数据，具体为：

通过所述当前数据网络发送所述第二压缩视频数据。

7.根据权利要求1至6中任一项所述的流媒体的处理方法，其特征在于，在所述第一网络参数处于预设的第三参数范围中的情况下，通过所述当前数据网络发送所述原始视频数据；

其中，所述第三参数范围的最小值所述第一参数范围的最大值。

8.根据权利要求1至6中任一项所述的流媒体的处理方法，其特征在于，所述第一网络参数包括网络上传速度、网络信号强度、网络延迟、网络数据丢包率中的一种或多种。

9.一种流媒体的处理方法，其特征在于，包括：

接收第一电子设备发送的原始视频数据；

响应于第二电子设备的视频请求，获取第二电子设备的第二网络参数；

在所述第二网络参数处于预设的第四参数范围中的情况下，对所述原始视频数据进行灰度处理，得到对应的第二灰度视频数据；

向所述第二电子设备推送所述第二灰度视频数据。

10.一种流媒体的处理装置，其特征在于，包括：

图像采集模块，用于采集原始视频数据；

第一获取模块，用于获取当前数据网络的第一网络参数；

第一处理模块，用于在所述第一网络参数处于预设的第一参数范围中的情况下，对所述原始视频数据进行灰度处理，得到对应的第一灰度视频数据；

第一推送模块，用于通过所述数据网络发送所述灰度视频数据。

11.一种流媒体的处理装置，其特征在于，包括：

接收模块，用于接收第一电子设备发送的原始视频数据；

第二获取模块，响应于第二电子设备的视频请求，所述第二获取模块用于获取第二电子设备的第二网络参数；

第二处理模块，用于在所述第二网络参数处于预设的第四参数范围中的情况下处于预设的第四参数范围中，对所述原始视频数据进行灰度处理，得到对应的第二灰度视频数据；

第二推送模块，用于向所述第二电子设备推送所述第二灰度视频数据。

12.一种电子设备，其特征在于，包括：

处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至9中任一项所述的流媒体的处理方法的步骤。

Images