CN109547724A - 一种视频流数据的处理方法、电子设备及存储装置 - Google Patents

Abstract

本申请公开了一种视频流数据的处理方法、电子设备及存储装置，所述方法包括：从摄像头获取视频流数据；接收录制指令，录制具有第一分辨率的视频流数据；对视频流数据进行裁剪，输出具有第二分辨率的视频流数据；其中第一分辨率大于第二分辨率。通过上述方式，本申请能够提高输出视频图像的稳定性。

Description

一种视频流数据的处理方法、电子设备及存储装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种视频流数据的处理方法、电子设备及存储装置。

背景技术

随着互联网及图像处理技术的发展，越来越多的人喜欢通过视频图像来相互交流或传递信息，如网络直播行业，是近些年迅速发展起来的一种新的休闲娱乐方式。在直播业务中，受直播方式或直播设备显示屏大小的影响，用于直播的视频图像会有不同的显示分辨率。如以横屏模式显示或以竖屏模式显示；显示一个直播画面或显示多个直播画面。随着直播方式的变化，视频图像的显示分辨率也会跟着切换，导致图像画面会不断跳变，特别是在录制主播端的直播画面时，录制的视频中一会是横屏，一会是竖屏。在作为素材进行后期处理时，非常不方便，而且竖屏时，损失了大量的画面内容，只能看到主播中间区域的图像。

发明内容

本申请主要解决的技术问题是提供一种视频流数据的处理方法、电子设备及存储装置，能够提高输出视频图像的稳定性。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种视频流数据的处理方法，所述方法包括：从摄像头获取视频流数据；接收录制指令，录制具有第一分辨率的视频流数据；对视频流数据进行裁剪，输出具有第二分辨率的视频流数据；其中第一分辨率大于第二分辨率。

其中，按照第二分辨率的分辨率参数生成指示框，指示框标识第二分辨率视频图像的显示尺寸；按照指示框的标识对视频流数据进行裁剪。

其中，调整指示框的位置，以定位标识第二分辨率视频图像的图像内容。

其中，指示框具有颜色闪烁的边框。

其中，将具有第二分辨率的视频流数据发送至直播服务器以进行直播。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种视频流数据的处理方法，所述方法包括：从摄像头获取视频流数据；接收录制指令，录制具有第一分辨率的视频流数据；接收裁剪标识，以使具有第一分辨率的视频流数据被按照裁剪标识裁剪后，制得具有第二分辨率的视频流数据；输出具有第一分辨率的视频流数据；其中第一分辨率大于第二分辨率。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种视频流数据的处理方法，所述方法包括：接收具有第一分辨率的视频流数据；对具有第一分辨率视频流数据进行裁剪，输出具有第二分辨率的视频流数据；其中第一分辨率大于第二分辨率。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，所述电子设备包括处理器，处理器用于处理执行上述的视频流数据的处理方法。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，所述电子设备包括获取模块，用于从摄像头获取视频流数据；录制模块，用于接收录制指令，录制具有第一分辨率的视频流数据；输出模块，用于对所述视频流数据进行裁剪，输出具有第二分辨率的视频流数据，其中所述第一分辨率大于所述第二分辨率。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种具有存储功能的装置，所述装置存储有程序，所述程序被执行时实现上述的视频流数据的处理方法。

本申请的有益效果是：区别于现有技术的情况，本申请提供一种视频流数据的处理方法，该方法中，获取到的视频流数据可以分两路进行输出，一方面，在录制输出时，始终保持高分辨率进行输出，以使录制的视频源清晰稳定，便于后续处理；另一方面，在显示输出时，可以根据需要进行裁剪，输出目标分辨率的视频图像。

附图说明

图1是本申请视频流数据的处理方法第一实施方式的流程示意图；

图2是本申请视频流数据的处理方法第二实施方式的流程示意图；

图3是本申请视频流数据的处理方法第三实施方式的流程示意图；

图4是本申请高分辨率视频图像的示意图；

图5是本申请低分辨率视频图像的示意图；

图6是本申请带有裁剪标识的视频图像的示意图；

图7是本申请电子设备第一实施方式的结构示意图；

图8是本申请电子设备第二实施方式的结构示意图；

图9是本申请具有存储功能的装置第一实施方式的结构示意图。

具体实施方式

为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。

本申请提供一种视频流数据的处理方法，至少应用于对所采集的视频流数据进行处理，还可应用于对音频、图片等其他流媒体数据进行处理。随着图像处理技术的发展，有各种应用对图像进行处理，处理后的图像可作为图像源输出至其他应用或设备。具体地，图像处理应用获取硬件摄像头所采集的视频流数据，然后对视频图像进行处理，如对人像进行美颜、调整背景颜色等，再将处理后的视频流数据输出。此时，图像处理应用相当于一个虚拟摄像头，为其他应用或设备提供图像源。其中图像处理应用在输出视频流数据时，往往会根据设置或需求输出不同分辨率的图像，导致其输出的视频流数据的分辨率会不断的切换，不利于对视频流数据进行后续处理。为解决这一技术问题，本申请提供一种视频流数据的处理方法，请参阅图1，图1是本申请视频流数据的处理方法第一实施方式的流程示意图。在该实施方式中，视频流数据的处理方法包括如下步骤：

S101：从摄像头获取视频流数据。

其中，可以从实体硬件摄像头处获取原始视频流数据，如电子设备自身的摄像头，外接的USB摄像头等；也可以从其他应用中获取经过预处理的视频流数据。

S102：接收录制指令，录制具有第一分辨率的视频流数据。

其中，可以对视频流数据进行录制，在录制时可以保持所录制视频流的分辨率恒定不变，优选地，可以录制较高分辨率的视频流数据。这样所录制的视频流数据不会跳变，图像更稳定且清晰，便于后续处理。

S103：对视频流数据进行裁剪，输出具有第二分辨率的视频流数据；其中第一分辨率大于第二分辨率。

其中，作为视频流数据的输出端，在输出图像时，可以根据需要输出不同分辨率的视频图像。即可以按照输出要求对高分辨率的图像进行裁剪，制得目标分辨率的图像。

在该实施方式中，可以将视频流数据分两路输出，在录制输出时，以较高的且恒定的显示分辨率输出视频流数据，保证输出视频源清晰稳定，便于后续处理；在显示输出时，可以输出具有目标分辨率的视频图像，不影响显示效果。其中，视频流数据的录制与输出可以同时进行，也可以选择性进行，如选择性录制部分视频画面。

其中，在一实施方式中，从实体硬件摄像头处获取原始视频流数据后，先对原始视频图像进行处理，如对人像进行美颜，添加滤镜，调整背景颜色等。处理之后再输出至录制端或显示端。

其中，在一实施方式中，在对视频图像进行裁剪时，先对视频图像进行标识，以告知用户哪些区域会被裁剪掉，其中，用指示框的方式对视频流数据进行标识。具体地，按照目标分辨率的分辨率参数生成指示框，指示框标识目标分辨率视频图像的显示尺寸。

在对视频流数据进行标识时，获取标识指令，标识指令中给出了对该视频流数据进行裁剪的处理方案，具体是裁剪后的视频图像的显示分辨率，视频流数据大小等。然后根据指令，生成对应的指示框，用该指示框在视频流数据上标识。标识时，可以调整指示框的位置，以定位确定目标视频流数据的图像内容，即指示框内的图像内容为处理后的图像内容。在另一实施方式中，也可以不调整指示框的位置，用户自行调节位置或调整摄像头取像位置，以确定被裁剪的图像内容。

在一实施方式中，指示框具有颜色闪烁的边框，可以是不同颜色之间不断切换闪烁，也可以是同一颜色一直闪烁。选择闪烁的边框，能够提高其标识性；选择不同颜色交替闪烁，能够便于区分指示框和视频图像背景色，以适用标识不同背景色的视频图像。

在一实施方式中，可以是同一应用的不同模块/单元分别对视频流数据进行标识和对视频流数据进行裁剪；也可以是两个应用配合使用。如应用A只用于对图像进行标识和录制，然后将视频流数据输出给应用B，应用B按照标识，对视频流数据进行裁剪，制得目标分辨率图像。

在一实施方式中，使用两个应用对视频流数据进行处理，具体地，请参阅图2，图2是本申请视频流数据的处理方法第二实施方式的流程示意图。在该实施方式中，视频流数据的处理方法包括如下步骤：

S201：从摄像头获取视频流数据。

S202：接收录制指令，录制具有第一分辨率的视频流数据。

S203：接收裁剪标识，以使具有第一分辨率的视频流数据被按照裁剪标识裁剪后，制得具有第二分辨率的视频流数据。

S204：输出具有第一分辨率的视频流数据；其中第一分辨率大于第二分辨率。

其中，该实施方式中，图像处理应用只作为虚拟摄像头使用，为其他设备或应用提供图像源。同时具有录制功能，能够录制保存视频流数据。设置以恒定的显示分辨率输出处理好的图像，可以设置一直以高的分辨率输出视频流数据，即在该方法中，如果想获取低分辨率的视频流数据，只需要对视频流数据进行标识，而不是直接裁剪，待视频流数据输出后再进行裁剪。这样可以保证输出端输出的视频流数据稳定，便于后续处理。在输出端，分别对视频流数据和标识进行编码，以使输出的视频流数据中并不会显示上述标识。对视频流数据进行编码，得到压缩码流，对压缩码流进行封装，得到视频数据流；然后输出该视频数据流和标识信息。视频数据流可以同时一起输出，也可以单独的分别先后输出。将视频数据流和标识信息分开封装，能够使得输出的视频流数据中并不会显示标识。

在一实施方式中，输出视频流数据后，可以把输出的视频流数据作为数据源进行处理了。具体地，请参阅图3，图3是本申请视频流数据的处理方法第三实施方式的流程示意图。在该实施方式中，视频流数据的处理方法包括如下步骤：

S301：接收具有第一分辨率的视频流数据。

S302：对具有第一分辨率视频流数据进行裁剪，输出具有第二分辨率的视频流数据；其中第一分辨率大于第二分辨率。

具体地，解析获取视频数据流得到高分辨率视频流数据，同时获取标识信息，按照标识对视频流数据进行裁剪，裁剪后的图像具有低分辨率。

在一应用场景中，该视频流数据的处理方法可用于直播领域。在直播业务中，为了提供更好的互动体验，已经由初始的通过文字、弹幕的方式与主播互动，发展为通过连麦的方式与直播互动。即主播可以通过主播终端与直播连麦者的终端建立连麦会话连接，在建立连麦会话连接之后，主播可以与直播连麦者进行双向的音视频互动，而观众可以观看该主播与该直播连麦者的音视频互动过程。其中，该直播连麦者可以为该主播所在直播间内的特定观众，也可以为其他直播间内的主播。其中，在进行连麦直播时，观众所看到的直播画面是由主播的直播画面与连麦者的直播画面合成的画面，如画面的左半部分为主播的直播画面，右半部分为连麦者的直播画面。

其中，在主播设备端，当主播独立直播时，只有主播一端的画面，可以满屏显示主播端的直播画面，如以横屏模式(1280×720)显示直播画面，具体请参阅图4，图4是本申请高分辨率视频图像的示意图。当连麦直播时，需要合成带有两端画面的直播画面，所以会适应性缩小主播端画面的显示，如以竖屏模式(408×720)显示直播画面，具体请参阅图5，图5是本申请低分辨率视频图像的示意图。导致直播画面会在横屏模式与竖屏模式之间来回切换。特别是在录制主播端的直播画面时，录制的视频中一会是横屏，一会是竖屏。在作为素材进行后期处理时，非常不方便，而且竖屏时，损失了大量的画面内容，只能看到主播中间区域的图像。

使用本申请的视频流数据处理方法，可以解决上述问题，其中，直播客户端分为图像采集端和直播端；在直播时，利用图像采集端采集视频流数据，利用直播端与直播服务器进行交互完成直播。图像采集端和直播端可以是同一直播应用中的两个模块/单元，也可以是单独的两个应用，如单独的图像处理应用和直播应用，在此不做限定。

在图像采集端，设置始终保持高分辨率的横屏画面来采集视频流数据，如可以是1280×720或1920×1080等。并保持该高分辨率输出视频流数据。

在直播端，当独立直播时，从图像采集端获取高分辨率的视频流数据，直接将该高分辨率的视频流数据进行编码，作为直播数据流推流至直播服务器以进行直播。

当连麦直播时，从图像采集端获取高分辨率的视频流数据，同时获取裁剪标识，即不修改图像采集端视频流数据的输出分辨率，依然保持1280×720，但是会在输出视频流数据时也输出标识信息。直播端获取到高分辨率视频流数据后，根据标识信息自己进行裁剪，如将横屏中间区域裁剪为长宽比为9:16的图像，将裁剪后的视频流数据送给编码器进行编码传输，同时在直播端的视频预览上使用裁剪后的画面来显示，从而不会影响连麦效果。其中，可以是直播端发送标识指令给图像采集端，使其对图像进行标识，也可以是图像采集端一直保留标识，并同时输出高分辨率图像和裁剪标识，直播端再根据直播模式自行决定是否对图像进行裁剪。

具体地，在图像采集端获取视频时，由于输出分辨率没有变化，主播查看所采集图像的预览画面时，图像会一直恒定不变，当连麦直播需要裁剪时，主播是不知道画面的哪部分区域会被裁剪的，应对视频图像进行标识。在所采集的图像画面上加入一个颜色闪烁的指示框(红、绿、蓝交替显示)，以提示告诉主播在该指示框内部的画面部分才是真正被直播出去的，其它区域会被裁减掉。主播据此调整自己的坐姿和位置，使自己位于画面的中央。具体请参阅图6，图6是本申请带有裁剪标识的视频图像的示意图。其中，在标识前时，可以弹出对话框提示主播，标识框内的内容是连麦直播时的直播画面，整体图像画面是独立直播时的直播画面。使用红、绿、蓝3种颜色交替的指示框，不管主播的背景颜色是什么色调，都能很明显的区分出来。

另外，如果需要录制直播视频画面时，可以直接获取图像采集端输出端的视频数据流，由于输出分辨率一直是横屏，因此不管有无连麦，都会稳定的输出横屏的视频，方便用户后期编辑处理。其中，标识指示框是与视频数据流分开传送的，是不会被混合到视频中的，并不影响录制素材在后期编辑处理时的使用，即录制的视频中并不会显示该指示框。

通过这种方式，在独立直播、连麦直播之间交叉进行时，录制的视频是稳定的，不会出现长宽比发生跳变的问题，确保了最终录制出来的视频文件在作为后期素材处理时的稳定性和清晰度，方便主播后期剪辑。

基于上述视频流数据的处理方法，本申请还提供一种电子设备，请参阅图7，图7是本申请电子设备第一实施方式的结构示意图，在该实施方式中，电子设备70包括处理器701，处理器701用于处理执行上述的视频流数据的处理方法，且具有相应的有益效果，具体请参阅上述实施方式的描述，在此不再赘述。电子设备可以为手机、平板电脑、计算机等终端。

请参阅图8，图8是本申请电子设备第二实施方式的结构示意图，在该实施方式中，电子设备执行上述方法时，可以是处理器的某一模块，电子设备80具体包括获取模块801、录制模块802和输出模块803。

其中，获取模块801用于从摄像头获取视频流数据。

录制模块802用于接收录制指令，录制具有第一分辨率的视频流数据。

输出模块803用于对视频流数据进行裁剪，输出具有第二分辨率的视频流数据，其中第一分辨率大于第二分辨率。

该电子设备用于处理执行上述的视频流数据的处理方法，且具有相应的有益效果，具体请参阅上述实施方式的描述，在此不再赘述。

基于上述视频流数据的处理方法，本申请还提供一种具有存储功能的装置，请参阅图9，图9是本申请具有存储功能的装置第一实施方式的结构示意图。在该实施方式中，存储装置90存储有程序901，程序901被执行时实现上述视频流数据的处理方法。具体工作过程与上述方法实施例中一致，故在此不再赘述，详细请参阅以上对应方法步骤的说明。其中具有存储功能的装置可以是便携式存储介质如U盘、光盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟等各种可以存储程序代码的介质，也可以是终端、服务器等。

在本申请所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种视频流数据的处理方法，其特征在于，所述方法包括：

从摄像头获取视频流数据；

接收录制指令，录制具有第一分辨率的视频流数据；

对所述视频流数据进行裁剪，输出具有第二分辨率的视频流数据；其中所述第一分辨率大于所述第二分辨率。

2.根据权利要求1所述的视频流数据的处理方法，其特征在于，所述对视频流数据进行裁剪包括：

按照所述第二分辨率的分辨率参数生成指示框，所述指示框标识所述第二分辨率视频图像的显示尺寸；

按照所述指示框的标识对所述视频流数据进行裁剪。

3.根据权利要求2所述的视频流数据的处理方法，其特征在于，所述指示框具有颜色闪烁的边框。

4.根据权利要求2所述的视频流数据的处理方法，其特征在于，所述方法还包括：

调整所述指示框的位置，以定位标识所述二分辨率视频图像的图像内容。

5.根据权利要求1所述的视频流数据的处理方法，其特征在于，所述方法还包括：

将所述具有第二分辨率的视频流数据发送至直播服务器以进行直播。

6.一种视频流数据的处理方法，其特征在于，所述方法包括：

从摄像头获取视频流数据；

接收录制指令，录制具有第一分辨率的视频流数据；

接收裁剪标识，以使所述具有第一分辨率的视频流数据被按照所述裁剪标识裁剪后，制得具有第二分辨率的视频流数据；

输出具有第一分辨率的视频流数据；其中所述第一分辨率大于所述第二分辨率。

7.一种视频流数据的处理方法，其特征在于，所述方法包括：

接收具有第一分辨率的视频流数据；

对所述具有第一分辨率视频流数据进行裁剪，输出具有第二分辨率的视频流数据；其中所述第一分辨率大于所述第二分辨率。

8.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于处理执行权利要求1至7任一项所述的视频流数据的处理方法。

9.一种电子设备，其特征在于，所述电子设备包括：

获取模块，用于从摄像头获取视频流数据；

录制模块，用于接收录制指令，录制具有第一分辨率的视频流数据；

输出模块，用于对所述视频流数据进行裁剪，输出具有第二分辨率的视频流数据，其中所述第一分辨率大于所述第二分辨率。

10.一种具有存储功能的装置，其特征在于，所述装置存储有程序，所述程序被执行时实现权利要求1至7任一项所述的视频流数据的处理方法。