CN117979041A - 数据的处理方法、装置、介质、终端设备及直播设备 - Google Patents

Abstract

本发明提供了一种多摄像头视频流数据的处理方法、装置、介质、终端设备及直播设备，应用于具有至少两个摄像头的终端设备，所述方法包括：获取处于直播状态的终端设备中至少一摄像头采集的视频流数据；获取系统属性参数当前对应的属性值；所述属性参数为预先自定义的系统级别的参数，用于表征视频流数据的输出模式；基于所述系统属性参数对应的属性值对所述视频流数据进行处理。本发明的方案通过结合预先定义的属性参数实现数据的处理，整个数据处理过程简单高效，而且还能够满足用户针对不同视频模式的个性化需求。

Description

数据的处理方法、装置、介质、终端设备及直播设备

技术领域

本发明涉及视频处理技术领域，特别是一种多摄像头视频流数据的处理方法、装置、介质、终端设备及直播设备。

背景技术

网络直播在现场架设独立的信号采集设备导入导播端，再通过网络上传至服务器，发布至网址供人观看。由于直播特有的数据即时性，在线上会议、线上课程以及商品销售等领域中应用也越来越多。

一般在进行直播时，通常会采用手机或者其他终端设备中的单个摄像头进行场景画面的拍摄，在将拍摄到的视频直接输出给观众进行观看，当需要不同角度的视频时，则是利用不同的设备实现多角度视频采集，以在导播端进行场景切换。上述方式不仅使得直播过程繁琐，而且由于有时需要多台设备才能进行多角度场景画面拍摄，使得直播成本较高。

发明内容

鉴于上述问题，本发明提出一种克服上述问题或者至少部分地解决上述问题的视频流数据的处理方法、装置、介质、终端设备及直播设备。

根据本发明的一个方面，提供了一种多摄像头视频流数据的处理方法，应用于具有至少两个摄像头的终端设备，所述方法包括：

获取处于直播状态的终端设备中至少一摄像头采集的视频流数据；

获取系统属性参数当前对应的属性值；所述属性参数为预先自定义的系统级别的参数，用于表征视频流数据的输出模式；

基于所述系统属性参数对应的属性值对所述视频流数据进行处理。

可选地，所述获取系统属性参数当前对应的属性值包括：

获取用于表征画中画模式的开关状态的第一属性参数对应的第一属性值；和/或

获取用于表征分屏模式的开关状态的第二属性参数对应的第二属性值；

其中，所述第一属性值和第二属性值通过自定义节点获取，所述自定义节点为系统文件中数据流管道输出节点之后、相机预览缓存节点之前。

可选地，所述基于所述系统属性参数对应的属性值对所述视频流数据进行处理包括：

若识别所述第一属性参数对应的第一属性值对应为画中画模式开启的属性值，则获取终端设备中第一摄像头和第二摄像头分别采集的第一视频流数据和第二视频流数据；

基于所述第一视频流数据和所述第二视频流数据生成画中画视频流数据。

可选地，所述获取系统属性参数当前对应的属性值还包括：

获取用于表征视频流数据顺序的第三属性参数对应的第三属性值。

可选地，画中画模式的视频内容包含窗口画面和背景画面；

所述基于所述第一视频流数据和所述第二视频流数据生成画中画视频流数据包括：

根据所述第三属性值建立所述第一视频流数据、所述第二视频流数据与画中画视频流数据的窗口画面、背景画面的第一映射关系；

基于所述第一视频流数据、所述第二视频流数据和第一映射关系生成画中画视频流数据。

可选地，所述获取系统属性参数当前对应的属性值还包括：

获取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值；所述第四属性参数用于表征画中画视频流中窗口画面和背景画面的画面比例，所述第五属性参数用于用于表征窗口画面位置；

所述基于所述第一视频流数据、所述第二视频流数据和第一映射关系生成画中画视频流数据包括：

若根据所述第一映射关系确定第一视频流数据对应窗口画面、第二视频流数据对应背景画面，则根据所述第四属性值设置所述第一视频流数据对应的画面大小，根据所述第五属性值设置所述第一视频流数据对应的画面位置，以生成第二视频流数据作为背景画面、第一视频流数据作为窗口画面的画中画视频流；

若根据所述第一映射关系确定第二视频流数据对应窗口画面、第一视频流数据对应背景画面，则根根据所述第四属性值设置所述第二视频流数据对应的画面大小，根据所述第五属性值设置所述第二视频流数据对应的画面位置，以生成第一视频流数据作为背景画面、第二视频流数据作为窗口画面的画中画视频流。

可选地，所述获取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值包括：

基于预设的自定义节点读取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值；

其中，所述第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值为响应于用户在直播界面中当前窗口画面的滑动操作或缩放操作生成。

可选地，所述获取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值包括：

当所述自定义节点中所述第四属性值和/或第五属性值为空值，或无法直接读取所述自定义节点时，基于硬件抽象层的系统属性获取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值；

所述硬件抽象层的系统属性为依据所述预设的自定义节点同步更新。

可选地，所述基于所述系统属性参数对应的属性值对所述视频流数据进行处理包括：

若识别所述第二属性参数对应的第二属性值对应为分屏模式开启的属性值，则获取终端设备中第一摄像头和第二摄像头分别采集的第一视频流数据和第二视频流数据；

基于所述第一视频流数据和所述第二视频流数据生成分屏视频流数据。

可选地，分屏视频模式视频内容包含上下分屏或左右分屏的第一画面和第二画面；

所述基于所述第一视频流数据和所述第二视频流数据生成分屏视频流数据还包括：

根据所述第三属性值建立所述第一视频流数据、所述第二视频流数据与分屏视频流数据的第一画面和第二画面的第二映射关系；

基于所述第一视频流数据、所述第二视频流数据和第二映射关系生成分屏视频流数据。

可选地，所述获取系统属性参数当前对应的属性值还包括：

获取第六属性参数对应的第六属性值，所述第六属性参数用于表征分屏视频流中第一画面和第二画面的画面比例；

所述基于所述第一视频流数据、所述第二视频流数据和第二映射关系生成分屏视频流数据包括：

基于所述第六属性值调整第一视频流数据、第二视频流数据的分屏比例，并生成分屏视频流数据。

可选地，所述获取第六属性参数对应的第六属性值包括：

基于预设的自定义节点读取第五属性参数对应的第五属性值；所述第六属性参数对应的第六属性值为响应于用户在直播界面中画面分界处的滑动操作生成。

可选地，所述获取第六属性参数对应的第六属性值包括：

当所述自定义节点中所述第六属性值为空值，或无法直接读取所述自定义节点时，基于硬件抽象层的系统属性获取第六属性参数对应的第六属性值；

其中，所述硬件抽象层的系统属性为依据所述预设的自定义节点同步更新。

可选地，所述基于所述系统属性参数对应的属性值对所述视频流数据进行处理还包括：

若识别所述第一属性参数对应的第一属性值对应为画中画模式关闭的属性值、所述第二属性参数对应的第二属性值对应为分屏模式关闭的属性值；

根据所述第三属性值获取终端设备中第一摄像头采集的第一视频流数据，或第二摄像头采集的第二视频流数据。

根据本发明的另一个方面，还提供了一种多摄像头视频流数据的处理装置，所述装置包括：

视频流数据获取模块，用于获取处于直播状态的终端设备中至少一摄像头采集的视频流数据；

参数属性获取模块，用于获取系统属性参数当前对应的属性值；所述属性参数为预先自定义的系统级别的参数，用于表征视频流数据的输出模式；

数据处理模块，用于基于所述系统属性参数对应的属性值对所述视频流数据进行处理。

根据本发明的另一个方面，还提供了一种终端设备，所述所述计算设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述任一项所述的多摄像头视频流数据的处理方法。

根据本发明的另一个方面，还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述任一项所述的多摄像头视频流数据的处理方法。

根据本发明的另一个方面，还提供了一种直播设备，所述直播设备包括上述实施例所述的多摄像头视频流数据的处理装置。

本发明提供了一种多摄像头视频流数据的处理方法、装置、介质、终端设备及直播设备，在获取到至少一摄像头采集的视频流数据之后，通过结合视频流设计输出模式的系统属性参数对应的属性值对视频流数据进行处理，以最终输出满足用户使用需求的视频流数据，本发明实施例通过自定义系统级别的第一属性参数和第二属性参数可以确定用户需求输出的视频模式，如画中画模式、分屏模式或者是单视频流模式，同时，还可以结合用于表征视频流输出顺序的第三属性参数，根据第三属性参数确定在不同的视频模式下各个视频流的输出顺序，整个数据处理过程简单高效，而且还能够满足用户的个性化视频内容需求。

进一步地，本发明的多摄像头视频流数据的处理方案中，还能够自适应调整画中画模式的窗口画面的大小及位置，以及分屏模式的两个画面的分屏比例，在实现多样化展示需求的同时，增加直播场景中直播画面与用户的交互性和趣味性。

另外，本发明的方案采用一台设备就可以实现多个视频流的拍摄及输出，在简化直播流程的同时，还能够降低直播成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明一实施例的多摄像头视频流数据的处理方法流程示意图

图2示出了本发明另一实施例的多摄像头视频流数据的处理方法流程示意图；

图3示出了本发明实施例的画中画模式示意图；

图4示出了本发明实施例的分屏模式示意图；

图5示出了本发明实施例的多摄像头视频流数据的处理装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种多摄像头视频流数据的处理方法，应用于具有至少两个摄像头的终端设备_。

本实施例的终端设备可以为专用于直播的直播设备，也可以是具有直播功能的手机、平板等终端设备。虽然各软件陆续开发有直播功能，但是在通过手机等设备进行直播时，系统仅向直播平台提供单个视频流的拍摄功能，例如通过手机的前置摄像头进行近景直播，或者利用后置摄像头进行远景直播，而且由于前后摄像头的像素差异，导致在直播时需要频繁移动手机，才能够满足不同场景直播需求。本实施例的终端设备除了为传统的手机、平板等具有前置摄像头和后置摄像头的设备，还可以直播专用的直播设备，该直播设备同样可以向第三直播平台提供系统支持，该直播设备具有同侧设置的两个摄像头，该两个摄像头可以同时旋转以同时进行终端设备前置区域或者后置区域的同时拍摄。尤其需要注意的是，同侧设置的两个摄像头中，其中一个可以为主摄的全景摄像头，另一个为可实现放大特写的特写摄像头，通过全景摄像头和特写摄像头的同时工作，可以实现同一场景区域中远、近视频流或者全景、特写视频流的同时采集和同时展示，由于摄像头可以旋转可以满足前后多角度的场景拍摄需求，而同时通过远、近视频流或者全景、特写视频流的直播展示，无需频繁移动即可实现在全局观看的同时，进行部分细节的放大特写，大幅提升直播便利性以及直播的多角度多画面需求。

如图1所示，本发明实施例的多摄像头视频流数据的处理方法至少可以包括以下步骤S101～S103。

S101，获取处于直播状态的终端设备中至少一摄像头采集的视频流数据。

如上介绍，本实施例的多摄像头视频流数据的处理方法应用于具有至少两个摄像头的终端设备，该终端设备可以为用户日常使用的手机、平板电脑的设备，也可以是UVC(USB Video Class，USB视频类)设备，或者是专用于进行直播的设备，本实施例对此不做限定。

本实施例的终端设备可以包括第一摄像头和第二摄像头，当终端设备为手机、平板电脑类的设备时，第一摄像头可以为前置摄像头，第二摄像头可以为后置摄像头，当终端设备为直播机的设备时，第一摄像头、第二摄像头可分别代指两个同侧设置的摄像头，例如，一个为主摄摄像头(如全景摄像头)，另一个为特写摄像头，当然，也可以一个是前置摄像头，一个是后置摄像头，具体可以根据不同的终端设备的类型进行设置，本发明实施例对此不做限定。在一应用场景中，上述第一摄像头采集的视频流数据和第二摄像头采集的视频流数据可以是实时视频流数据，也即，终端设备处于直播状态下通过多个摄像头实时采集的视频流数据。

S102，获取系统属性参数当前对应的属性值；所述属性参数为预先自定义的系统级别的参数，用于表征视频流数据的输出模式。

本实施例可以预先定义系统级别的属性参数，以用于表征视频流数据的输出模式，在获取到该属性参数变化之后，即可识别出需要输出的视频流数据的模式。本实施例的视频流数据的输出模式可以包括单视频模式和多视频模式，其中，单视频流数据模式指仅输出一个摄像头采集的视频流数据，多视频模式指同时输出多个摄像头采集的视频流数据，在本实施例中，指同时输出多个视频流设计。其中，多视频模式还包括画中画模式和分屏模式。画中画模式，是指在一部视频全屏播出的同时，于画面的小面积区域上同时播出另一视频流数据。分屏模式，是在终端设备的屏幕内同时展示两个视频画面，该两个视频画面可以采用并列或并排的显示方式。不同的视频流数据的输出模式可以分别定义不同的系统级别的属性参数。需要说明的是，当终端设备处于直播状态下时，各个属性参数对应的属性值可以根据用户的指令即时调整，其并非一个固定的值，当然，如果用户没有选择，也可以针对不同的模式预先设定一个默认值。

S103，基于所述系统属性参数对应的属性值对所述视频流数据进行处理。

由于上述步骤S102已经得到的系统属性参数对应的属性值，也就可以识别出视频流数据的输出模式，因此，可以基于系统属性参数对应的属性值以及所采集的视频流数据进行处理，无论为单个或是多个摄像头采集视频流数据，使得最终输出的视频流为一路视频流。

本发明实施例提供的多摄像头视频流数据的处理方法，在获取到至少一摄像头采集的视频流数据之后，通过结合视频流设计输出模式的系统属性参数对应的属性值对视频流数据进行处理，以最终输出满足用户使用需求的视频流数据，本实施例的多摄像头视频流数据的处理方法区别于传统的直接输出视频流的方式，通过与系统属性参数对应的属性值进行个性化的数据处理，从而使得最终输出的视频内容更显舒适性和趣味性。

在本发明可选实施例中，系统属性参数对应的属性值根据用户的操作指令生成，用户可以通过终端设备的用户交互界面选择不同的模式，或是通过蓝牙设备实现模式的控制，终端设备中的处理器可以根据用户所选择的模式自适应调整所对应系统属性参数的属性值。

在本发明可选实施例中，可以针对不同的视频流输出模式定义不同的系统属性参数，而不同的属性值可以表示该所属视频流模式的开闭状态。可选地，上述步骤S102所述获取系统属性参数当前对应的属性值可以包括：获取用于表征画中画模式的开关状态的第一属性参数对应的第一属性值；和/或获取用于表征分屏模式的开关状态的第二属性参数对应的第二属性值。当用户选择不同的模式时，终端设备的系统会重新写入不同属性参数对应的属性值，以便后续数据处理时使用。

下面分别针对不同的模式进行详细说明。

一、画中画模式

在本实施例中，通过预先自定义系统属性persist.a0用来控制画中画模式的开/关状态。自定义系统属性persist.b0用来控制分屏模式的开/关状态。

进一步地，上述步骤S103基于所述系统属性参数对应的属性值对所述视频流数据进行处理包括：若识别所述第一属性参数对应的第一属性值对应为画中画模式开启的属性值，则获取终端设备中第一摄像头和第二摄像头分别采集的第一视频流数据和第二视频流数据；基于所述第一视频流数据和所述第二视频流数据生成画中画视频流数据。

其中，persist.a0的属性值为1时表示画中画模式为开启状态，persist.a0的属性值为0时表示画中画模式为关闭状态。当获取到persist.a0的属性值为1时，可以确定用户选择了画中画模式，此时，可以获取终端设备中第一摄像头和第二摄像头分别采集的第一视频流数据和第二视频流数据，进而生成画中画视频流数据。

一般来讲，画中画模式的视频内容包含窗口画面和背景画面，在生成画中画视频流时，需要确定哪一路视频流对应窗口画面，哪一路视频流对应背景画面。

在本发明可选实施例中，所述获取系统属性参数当前对应的属性值还包括：获取用于表征视频流数据顺序的第三属性参数对应的第三属性值。可选地，本实施例自定义系统属性参数persist.c0用来控制视频流输入的顺序，不同的顺序会有不同的效果。

在获取第一属性值、第二属性值和第三属性值时，可以基于预设的自定义节点，该自定义节点为系统文件中数据流管道输出节点之后、相机预览缓存节点之前。

在本实施例的整个主控制系统可以具有应用层camera app、服务层cameraserver和硬件抽象层HAL。在系统架构中可以单独设置摄像模式的相关用例(即，双摄用例)，在双摄用例的pipeline(数据管道)中，在ipe数据管道输出节点之后、相机预览缓存节点targetdisplaybuffer之前新增一个自定义节点，自定义节点中处理主摄头与特写摄像头的输入画面流后再输出给相机预览缓存节点targetdisplaybuffer。

进一步地，所述基于所述第一视频流数据和所述第二视频流数据生成画中画视频流数据包括：根据所述第三属性值建立所述第一视频流数据、所述第二视频流数据与画中画视频流数据的窗口画面、背景画面的第一映射关系；基于所述第一视频流数据、所述第二视频流数据和第一映射关系生成画中画视频流数据。

结合前文介绍，第三属性参数对应的第三属性值可以用于定义画中画模式中窗口画面和背景画面，因此，根据获取得到的第三属性值可以确定出窗口画面、背景画面各自所对应的视频流数据的映射关系，进而根据该映射关系和第一、第二视频流数据可以得到画中画视频流数据。其中，persist.c0的属性值可以为0和1，input0用于表征第一摄像头对应的第一视频流数据，input1用于表征第二摄像头对应的第二视频流数据。

例如，如果persist.c0对应的属性值为0，则代表送入画中画的数据流顺序为{input0，input1}，此时画中画呈现的效果为第一摄像头对应的第一视频流数据input0作为画中画的背景显示，第二摄像头对应的第二视频流数据input1作为画中画的窗口画面显示。

如果persist.c0是1的话，则代表送入画中画的数据流顺序为{input1，input0}，此时画中画呈现的效果为第二摄像头对应的第二视频流数据input1作为画中画的背景显示，第一摄像头对应的第一视频流数据input0作为作为画中画的窗口画面显示。

在一些实施例中，还可以实现画中画模式中窗口画面和背景画面的画面比例的调整以及窗口画面大小的调整。

可选地，上述步骤S102获取系统属性参数当前对应的属性值还包括：获取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值；所述第四属性参数用于表征画中画视频流中窗口画面和背景画面的画面比例，所述第五属性参数用于用于表征窗口画面位置。

需要说明的是，上述第四属性值和第五属性值，同样可以基于预设的自定义节点进行获取。其中，所述第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值为响应于用户在直播界面中当前窗口画面的滑动操作或缩放操作生成。

具体来讲，在自定义节点中自定义VendorTag，包括第四属性参数pipScale(窗口画面与背景画面的比例)和第五属性参数，第五属性参数可以包括两个子参数translateX(窗口画面左上角横坐标X)、translateY(窗口画面左上角纵坐标Y)、以实现画中画模式的窗口画面在直播界面中的位置和大小的调整。实际应用中，上述各参数的属性值可以为响应于用户在直播界面中当前窗口画面的滑动操作或缩放操作生成，具体可以通过预先设置的直播助手模块监测用户操作生成。

另外，还会在系统属性中同样定义第四属性参数persist.dy和第五属性参数，第五属性参数包括persist.dx(窗口画面左上角横坐标X)、persist.dy(窗口画面左上角纵坐标Y)、用于保存画中画模式中窗口画面的位置、大小信息。具体可以在系统的硬件抽象层camera hal中定义上述第四属性参数persist.dy(窗口画面与背景画面的比例)，和第五属性参数persist.dx和persist.dy。

在一些情况下，第三方直播平台无法直接读取预设的自定义节点，此时，可以当所述自定义节点中所述第四属性值和/或第五属性值为空值，或无法直接读取所述自定义节点时，基于硬件抽象层的系统属性获取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值；所述硬件抽象层的系统属性为依据所述预设的自定义节点同步更新。实际应用中，系统属性中还可以预先设置第四属性参数和第五属性参数的默认值，当自定义节点中所述第四属性值和/或第五属性值为空值时，以供调用。

画中画模式中窗口画面的位置调整：

通过监听用户手指按下屏幕的位置，如果手指按下的坐标位置在窗口画面的显示区域内并且开始滑动手指，则会记录手指每一次滑动更新坐标值的时候将手指移动的距离的x、y坐标值通过VendorTag translateX和translateY传入camera hal的系统属性中。继续监听到手指从屏幕抬起后，则不再下发VendorTag，随即将之前VendorTag中translateX和translateY更新到persist.dx和persist.dy的中。在一些情况下，因为第三方直播平台不会给camera hal传入自定义的vendortag，所以当第三方app打开相机时，无法直接从自定义节点读取第四属性值和第五属性值，此时，可以从系统属性的persist.dx、persist.dy中获取到通过直播助手设置的画中画位置。

画中画模式中窗口画面和背景画面的比例调整：

在直播助手中监听双指按下屏幕的位置。如果双指按下的坐标位置在窗口画面显示区域内并且开始双指缩放画中画，则在双指每一次缩放更新scale坐标值的时候将双指缩放的的scale标值通过VendorTag pipScale传入到camera hal中。当继续监听在双指从屏幕抬起后，则不再下发VendorTag，随即将之前VendorTag中scale值更新到pipScale中。因为第三方直播平台不会给camera hal传入自定义的vendortag，所以当第三方直播平台打开相机时，无法直接从自定义节点中读取第四属性值第五属性值，也能从自定义的系统属性persist.pip.scale中获取到通过直播助手设置的画中画大小，从而让第三方直播平台获取到直播助手中设置的画中画大小。

上述步骤基于所述第一视频流数据、所述第二视频流数据和第一映射关系生成画中画视频流数据可以包括：若根据所述第一映射关系确定第一视频流数据对应窗口画面、第二视频流数据对应背景画面，则根据所述第四属性值设置所述第一视频流数据对应的画面大小，根据所述第五属性值设置所述第一视频流数据对应的画面位置，以生成第二视频流数据作为背景画面、第一视频流数据作为窗口画面的画中画视频流。

若根据所述第一映射关系确定第二视频流数据对应窗口画面、第一视频流数据对应背景画面，则根根据所述第四属性值设置所述第二视频流数据对应的画面大小，根据所述第五属性之设置所述第二视频流数据对应的画面位置，以生成第一视频流数据作为背景画面、第二视频流数据作为窗口画面的画中画视频流。

在读取到第四属性值和第五属性值之后，即可得到窗口画面和背景画面的比例值、以及窗口画面左上角的横、纵坐标值，由于第一映射关系中已经得到窗口画面对应的视频流数据，因此，通过画中画算法利用第四属性值、第五属性值对窗口画面对应的视频流数据进行位置及大小设置，结合背景画面对应的视频流即可生成符合用户要求的画中画视频流。

二、分屏模式

上述步骤S103基于所述系统属性参数对应的属性值对所述视频流数据进行处理还可以包括：若识别所述第二属性参数对应的第二属性值对应为分屏模式开启的属性值，则获取终端设备中第一摄像头和第二摄像头分别采集的第一视频流数据和第二视频流数据；基于所述第一视频流数据和所述第二视频流数据生成分屏视频流数据。

本实施例中的第二属性参数定义为persist.b0，persist.b0的属性值为1时表示分屏模式为开启状态，persist.a0的属性值为0时表示分屏模式为关闭状态。当persist.b0的属性值为1时，可以确定用户开启的分屏模式，此时可以获取终端设备中第一摄像头和第二摄像头分别采集的第一视频流数据和第二视频流数据，进而生成分屏视频流。

在一些可选实施例中，分配视频流包括上下分屏或左右分屏的第一画面和第二画面。如前文所述，第三系统参数persist.c0可以定义视频流的顺序，在本实施例中，所述基于所述第一视频流数据和所述第二视频流数据生成分屏视频流数据还包括：根据所述第三属性值建立所述第一视频流数据、所述第二视频流数据与分屏视频流数据的第一画面和第二画面的第二映射关系；基于所述第一视频流数据、所述第二视频流数据和第二映射关系生成分屏视频流数据。

以上下分屏为例来讲，如果persist.c0是0的话，则代表送入分屏的数据流顺序为{input0，input1}，此时分屏呈现的效果为第一摄像头对应的第一视频流数据input0在分屏的上半部分的显示，第二摄像头对应的第二视频流数据input1在分屏的下半部分的显示。

如果persist.c0是1的话，则代表送入分屏的数据流顺序为{input1，input0}，此时分屏呈现的效果为第二摄像头对应的第二视频流数据input1在分屏的上半部分的显示，第一摄像头对应的第一视频流数据input0在分屏的下半部分的显示。

在一些实施例中，还可以实现分屏模式的第一画面和第二画面的分屏比例的调整。

上述步骤S102获取系统属性参数当前对应的属性值还包括：获取第六属性参数对应的第六属性值，所述第六属性参数用于表征分屏视频流中第一画面和第二画面的画面比例。其中，第六属性值可以基于预设的自定义节点获取，所述第六属性参数对应的第六属性值为响应于用户在直播界面中画面分界处的滑动操作生成。

本实施例中，在上述自定义节点中预先定义VendorTag属性，即第六属性参数splitSize，用来控制分屏的上下画面比例。类似地，通过在硬件抽象层的系统属性中同样自定义第六你属性参数persist.splitSize，控制分屏的上下画面比例。

在一些情况下，第三方直播平台无法直接读取预设的自定义节点，当所述自定义节点中所述第六属性值为空值，或无法直接读取所述自定义节点时，基于硬件抽象层的系统属性获取第六属性参数对应的第六属性值；所述硬件抽象层的系统属性为依据所述预设的自定义节点同步更新。可选地，系统属性中还可以预先设置第六属性参数对应的默认值，当自定义节点中第六属性值为空值时，以供调用。

进一步地，在所述基于所述第一视频流数据、所述第二视频流数据和第二映射关系生成分屏视频流数据包括：基于所述第六属性值调整第一视频流数据、第二视频流数据的分屏比例，并生成分屏视频流数据。

在自定义节点中在获取到第一视频流数据和第二视频流数据后，读取自定义节点中splitSize的属性值来确定分屏上下画面比例，如果这个第六属性参数没有值，则读取系统属性参数persist.splitSize中的值。读取到值后，将分屏上下画面比例值送入算法中，算法会根据这个值来确定分屏上下画面比例。

如上介绍，第六属性值为响应于用户在直播界面中画面分界处的滑动操作生成。本实施例中，同样可以预先开发系统应用“直播助手”，利用直播助手中监听手指按下屏幕的位置。如果手指按下的坐标位置在分屏上下画面分界处并且开始滑动手指，则直播助手应用会在手指每一次滑动更新坐标值的时候将手指移动的距离的x、y坐标值通过VendorTag splitSize传入到硬件抽象层camera hal中。直播助手监听在手指从屏幕抬起后，则不再下发VendorTag，随即将之前VendorTag中splitSize更新到persist.splitSize中。因为第三方直播平台不会给camera hal传入自定义的vendortag，所以当第三方直播平台打开相机时，无法在自定义节点中读取第六属性值，此时，从系统属性persist.splitSize中获取到通过直播助手设置的分屏上下画面比例。

三、单视频流模式

在一些实施中，上述步骤S103基于所述系统属性参数对应的属性值对所述视频流数据进行处理还包括：若识别所述第一属性参数对应的第一属性值对应为画中画模式关闭的属性值、所述第二属性参数对应的第二属性值对应为分屏模式关闭的属性值；根据所述第三属性值获取终端设备中第一摄像头采集的第一视频流数据，或第二摄像头采集的第二视频流数据。

也就是说，如果persist.a0的属性值是0，persist.b0的属性值是0的话，既不进入画中画模式也不进入分屏模式，此时，则单纯输出第一视频流或者第二视频流，同时结合第三属性值persist.c0，如果persist.c0是0的话，则直接输出input0的数据流，如果persist.c0是1的话，则直接输出input1的数据流。

本发明实施例的方法中，通过自定义系统级别的第一属性参数和第二属性参数可以确定用户需求输出的视频模式，如画中画模式、分屏模式或者是单视频流模式，同时，还可以结合用于表征视频流输出顺序的第三属性参数，根据第三属性参数确定在不同的视频模式下各个视频流的输出顺序，整个数据处理过程简单高效，而且还能够满足用户针对不同视频模式的个性化需求，尤其在直播场景中，可以根据用户需要任意切换直播内容，在满足直播需求的同时，提升用户体验。

下面结合图2对本发明实施例的多摄像头视频流数据的处理方法的整体流程进行详细说明。

S201，获取第一摄像头采集的第一视频流数据和/或第二摄像头采集的第二视频流数据；

S202，获取用于表征画中画模式的开关状态的第一属性参数persist.a0对应的第一属性值；若persist.a0对应的第一属性值为0(persist.a0＝0)，则确定画中画模式处于关闭状态，则执行步骤S303；若persist.a0对应的属性值为1(persist.a0＝1)，则确定画中画模式处于开启状态，并执行步骤S304；

S203，获取用于表征分屏模式的开关状态的第二属性参数persist.b0对应的第二属性值；若persist.b0对应的第一属性值为0(persist.b0＝0)，则确定分屏模式处于关闭状态，则执行步骤S304；若persist.b0对应的属性值为1(persist.b0＝1)，则确定分屏模式处于开启状态，并执行步骤S304。

S204，获取用于表征视频顺序的第三属性参数persist.c0对应的第三属性值。

画中画模式下，若persist.c0的属性值为0(persist.c0＝0)，则视频流输出顺序为{input0,input1}，第一视频流作为背景画面，第二视频流作为窗口画面；若persist.c0的属性值为1(persist.c0＝1)，第二视频流作为背景画面，第一视频流作为窗口画面。分别如图3中的a、b所示。

persist.c0的属性值可以根据用户的指令进行自适应调整。可选地，当处于直播状态的终端设备检测到来自用户触发的摄像头转换指令时，则自适应调整画中画模式对应的参数persist.c0，即，若检测到摄像头转换指令，则获取当前第三属性参数persist.c0当前，并重新将与摄像头转换指令匹配的属性值写入对应的属性参数中。例如，假设当persist.c0当前值为0，检测到摄像头转换指令后，将persist.c0的属性值调整为1，进而调整背景画面和窗口画面。

分屏模式下，若persist.c0的属性值为0(persist.c0＝0)，则视频流输出顺序为{input0,input1}，第一视频流作为上半部分的第一画面，第二视频流作为下半部分的第二画面；若persist.c0的属性值为1(persist.c0＝1)，第二视频流作为上半部分的第一画面，第一视频流作为下半部分的第二画面。分别如图4中的a、b所示。

单视频模式下，若persist.c0的属性值为0(persist.c0＝0)，则输出第一视频；若persist.c0的属性值为1(persist.c0＝1)，则输出第二视频流。

通常来讲，终端设备虽然具有多个摄像头，但同时仅能启用一个摄像头，本实施例中，选用高通平台系统的CameraHAL3的架构，其中，高通平台CameraHAL3架构的camxhal3具有cpp接口文件，硬件抽象层通过该接口文件调用摄像头。其中，第一摄像头的摄像头标识为camera id0，第二摄像头的摄像头标识为camera id1，在单摄像模式时，可以根据用户指令确定CameraHAL3架构中HAL硬件抽象层需要调用的摄像头的id。当然，除了采用前述的高通平台的系统架构，还可以采用其他平台的系统架构，只需通过适应调整底层代码即可实现本实施例的多摄像头视频流数据的处理方案。

对于画中画模式和分屏模式，系统可以将接口文件中的camera id设置为cameraid2，该双摄像头标识camera id2用于表征同时调用第一摄像头和第二摄像头，以在HAL层实现多个摄像头的调用。

基于同一发明构思，本发明实施例还提供了一种多摄像头视频流数据的处理装置，如图5所示，本实施例的多摄像头视频流数据的处理装置包括：

视频流数据获取模块510，用于获取处于直播状态的终端设备中至少一摄像头采集的视频流数据；

参数属性获取模块520，用于获取系统属性参数当前对应的属性值；所述属性参数为预先自定义的系统级别的参数，用于表征视频流数据的输出模式；

数据处理模块530，用于基于所述系统属性参数对应的属性值对所述视频流数据进行处理。

在本发明一可选实施例中，参数属性获取模块520还可以用于：

获取用于表征画中画模式的开关状态的第一属性参数对应的第一属性值；和/或

获取用于表征分屏模式的开关状态的第二属性参数对应的第二属性值；

其中，所述第一属性值和第二属性值通过自定义节点获取，所述自定义节点为系统文件中数据流管道输出节点之后、相机预览缓存节点之前。

在本发明一可选实施例中，数据处理模块530还可以用于：

当识别所述第一属性参数对应的第一属性值对应为画中画模式开启的属性值时，获取终端设备中第一摄像头和第二摄像头分别采集的第一视频流数据和第二视频流数据；

基于所述第一视频流数据和所述第二视频流数据生成画中画视频流数据。

在本发明一可选实施例中，参数属性获取模块520还可以用于：获取用于表征视频流数据顺序的第三属性参数对应的第三属性值。

在本发明一可选实施例中，画中画模式的视频内容包含窗口画面和背景画面；数据处理模块530还可以用于：

根据所述第三属性值建立所述第一视频流数据、所述第二视频流数据与画中画视频流数据的窗口画面、背景画面的第一映射关系；

基于所述第一视频流数据、所述第二视频流数据和第一映射关系生成画中画视频流数据。

在本发明一可选实施例中，参数属性获取模块520还可以用于：

获取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值；所述第四属性参数用于表征画中画视频流中窗口画面和背景画面的画面比例，所述第五属性参数用于用于表征窗口画面位置。

数据处理模块530还可以用于：当根据所述第一映射关系确定第一视频流数据对应窗口画面、第二视频流数据对应背景画面时，根据所述第四属性值设置所述第一视频流数据对应的画面大小，根据所述第五属性值设置所述第一视频流数据对应的画面位置，以生成第二视频流数据作为背景画面、第一视频流数据作为窗口画面的画中画视频流；

当根据所述第一映射关系确定第二视频流数据对应窗口画面、第一视频流数据对应背景画面时，根根据所述第四属性值设置所述第二视频流数据对应的画面大小，根据所述第五属性值设置所述第二视频流数据对应的画面位置，以生成第一视频流数据作为背景画面、第二视频流数据作为窗口画面的画中画视频流。

在本发明一可选实施例中，参数属性获取模块520还可以用于：基于预设的自定义节点读取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值；其中，所述第四属性参数对应的第四属性值和第五属性参数对应的第五属性值为响应于用户在直播界面中当前窗口画面的滑动操作或缩放操作生成。

在本发明一可选实施例中，参数属性获取模块520还可以用于：当所述自定义节点中所述第四属性值和/或第五属性值为空值，或无法直接读取所述自定义节点时，基于硬件抽象层的系统属性获取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值；所述硬件抽象层的系统属性为依据所述预设的自定义节点同步更新。

在本发明一可选实施例中，数据处理模块530还可以用于：当识别所述第二属性参数对应的第二属性值对应为分屏模式开启的属性值时，获取终端设备中第一摄像头和第二摄像头分别采集的第一视频流数据和第二视频流数据；基于所述第一视频流数据和所述第二视频流数据生成分屏视频流数据。

在本发明一可选实施例中，分屏模式的视频内容包含上下分屏或左右分屏的第一画面和第二画面；数据处理模块530还可以用于：根据所述第三属性值建立所述第一视频流数据、所述第二视频流数据与分屏视频流数据的第一画面和第二画面的第二映射关系；基于所述第一视频流数据、所述第二视频流数据和第二映射关系生成分屏视频流数据。

在本发明一可选实施例中，参数属性获取模块520还可以用于：获取第六属性参数对应的第六属性值，所述第六属性参数用于表征分屏视频流中第一画面和第二画面的画面比例。

据处理模块530还可以用于：基于所述第六属性值调整第一视频流数据、第二视频流数据的分屏比例，并生成分屏视频流数据。

在本发明一可选实施例中，参数属性获取模块520还可以用于：基于预设的自定义节点读取第六属性参数对应的第六属性值；所述第六属性参数对应的第六属性值为响应于用户在直播界面中画面分界处的滑动操作生成。

在本发明一可选实施例中，参数属性获取模块520还可以用于：当所述自定义节点中所述第六属性值为空值，或无法直接读取所述自定义节点时，基于硬件抽象层的系统属性获取第六属性参数对应的第六属性值；所述硬件抽象层的系统属性为依据所述预设的自定义节点同步更新。

在本发明一可选实施例中，数据处理模块530还可以用于：

当识别所述第一属性参数对应的第一属性值对应为画中画模式关闭的属性值、所述第二属性参数对应的第二属性值对应为分屏模式关闭的属性值；

根据所述第三属性值获取终端设备中第一摄像头采集的第一视频流数据，或第二摄像头采集的第二视频流数据。

本发明实施例还提供了一种终端设备，所述所述计算设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行上述实施例所述的多摄像头视频流数据的处理方法。该终端设备可以包括至少两个摄像头。

本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述实施例所述的多摄像头视频流数据的处理方法。

所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。

另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。

本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。

或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。

Claims (10)

1.一种多摄像头视频流数据的处理方法，应用于具有至少两个摄像头的终端设备，所述方法包括：

获取处于直播状态的终端设备中至少一摄像头采集的视频流数据；

获取系统属性参数当前对应的属性值；所述属性参数为预先自定义的系统级别的参数，用于表征视频流数据的输出模式；

基于所述系统属性参数对应的属性值对所述视频流数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述获取系统属性参数当前对应的属性值包括：

获取用于表征画中画模式的开关状态的第一属性参数对应的第一属性值；和/或

获取用于表征分屏模式的开关状态的第二属性参数对应的第二属性值；

其中，所述第一属性值和第二属性值通过自定义节点获取，所述自定义节点为系统文件中数据流管道输出节点之后、相机预览缓存节点之前。

3.根据权利要求2所述的方法，其特征在于，所述基于所述系统属性参数对应的属性值对所述视频流数据进行处理包括：

若识别所述第一属性参数对应的第一属性值对应为画中画模式开启的属性值，则获取终端设备中第一摄像头和第二摄像头分别采集的第一视频流数据和第二视频流数据；

基于所述第一视频流数据和所述第二视频流数据生成画中画视频流数据。

4.根据权利要求3所述的方法，其特征在于，所述获取系统属性参数当前对应的属性值还包括：

获取用于表征视频流数据顺序的第三属性参数对应的第三属性值。

5.根据权利要求4所述的方法，其特征在于，画中画模式的视频内容包含窗口画面和背景画面；

所述基于所述第一视频流数据和所述第二视频流数据生成画中画视频流数据包括：

根据所述第三属性值建立所述第一视频流数据、所述第二视频流数据与画中画视频流数据的窗口画面、背景画面的第一映射关系；

基于所述第一视频流数据、所述第二视频流数据和第一映射关系生成画中画视频流数据。

6.根据权利要求5所述的方法，其特征在于，所述获取系统属性参数当前对应的属性值还包括：

获取第四属性参数对应的第四属性值和/或第五属性参数对应的第五属性值；所述第四属性参数用于表征画中画视频流中窗口画面和背景画面的画面比例，所述第五属性参数用于用于表征窗口画面位置；

所述基于所述第一视频流数据、所述第二视频流数据和第一映射关系生成画中画视频流数据包括：

若根据所述第一映射关系确定第一视频流数据对应窗口画面、第二视频流数据对应背景画面，则根据所述第四属性值设置所述第一视频流数据对应的画面大小，根据所述第五属性值设置所述第一视频流数据对应的画面位置，以生成第二视频流数据作为背景画面、第一视频流数据作为窗口画面的画中画视频流；

若根据所述第一映射关系确定第二视频流数据对应窗口画面、第一视频流数据对应背景画面，则根根据所述第四属性值设置所述第二视频流数据对应的画面大小，根据所述第五属性值设置所述第二视频流数据对应的画面位置，以生成第一视频流数据作为背景画面、第二视频流数据作为窗口画面的画中画视频流。

7.一种多摄像头视频流数据的处理装置，其特征在于，所述装置包括：

视频流数据获取模块，用于获取处于直播状态的终端设备中至少一摄像头采集的视频流数据；

参数属性获取模块，用于获取系统属性参数当前对应的属性值；所述属性参数为预先自定义的系统级别的参数，用于表征视频流数据的输出模式；

数据处理模块，用于基于所述系统属性参数对应的属性值对所述视频流数据进行处理。

8.一种终端设备，其特征在于，所述所述计算设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-6任一项所述的多摄像头视频流数据的处理方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-6任一项所述的多摄像头视频流数据的处理方法。

10.一种直播设备，其特征在于，所述直播设备包括权利要求7所述的多摄像头视频流数据的处理装置。