CN112261430A - 一种带有一个以上移动摄像装置的直播系统及其直播方法 - Google Patents

Abstract

本发明领域属于网络直播技术领域，具体涉及一种带有一个以上移动摄像装置的直播系统及其直播方法，其中，一种带有一个以上移动摄像装置的直播系统包括本地终端、一个以上移动摄像装置和远程平台，本地终端设有固定摄像头、显示屏和终端处理器，终端处理器包括终端通讯模块、终端操控模块和数据处理模块，各个移动摄像装置均设置有移动摄像头和移动处理器，移动处理器包括移动通讯模块、移动操控模块和移动数据模块；终端通讯模块将经数据处理模块得到的各个第一处理数据和第二处理数据均上传至远程平台以供访问远程平台的访问终端可选择性地接收。本发明的直播系统及其直播方法具有成本降低、可实现性难度较低、用户自主选择度高的优点。

Description

一种带有一个以上移动摄像装置的直播系统及其直播方法

技术领域

本发明领域属于网络直播技术领域，具体涉及一种带有一个以上移动摄像装置的直播系统及其直播方法。

背景技术

目前，包括手机直播在内的网络直播已经成为一种生活方式，广泛应用于娱乐、带货、会议、考试、赛事、安防等多种场合，手机为了适应便携的特点，前后摄像头被固定，但也因此限制了很多场景需求，造成在需要多机位、多角度、全景摄录等场景下，除了作为主播的手机之外，还需要增加更多手机从而利用增加的手机所具有的摄像头来相应增加摄像终端，从而增加了实现该手机直播的直播系统的成本，而且对于多部手机的摄像头各自信号的传输、控制、编辑、直播等也需要较为专业且复杂功能的软件技术来支持，尤其是存在对于不同品牌手机的摄像头信号不易兼容及处理的问题，从而可实现性难度很高。另外，对于观看网络直播的用户，在观看过程中处于相对被动状态，对观看内容自主选择的需求得不到满足。。

发明内容

基于此，针对现有技术，本发明所要解决的技术问题就是提供一种成本降低、可实现性难度较低、用户自主选择度高的带有一个以上移动摄像装置的直播系统及其直播方法。

本发明的技术方案为：

一方面，提供一种带有一个以上移动摄像装置的直播系统，其包括本地终端、一个以上移动摄像装置和远程平台，本地终端设有固定摄像头、显示屏和终端处理器，终端处理器包括终端通讯模块、终端操控模块和数据处理模块；各个移动摄像装置均设置有移动摄像头和移动处理器，移动处理器包括移动通讯模块、移动操控模块和移动数据模块；终端操控模块向固定摄像头输出第一摄像操作指令以产生第一拍摄数据；终端通讯模块与各个移动通讯模块通过网络相互通讯，且终端操控模块向各个移动操控模块输出第二摄像操作指令以产生供数据处理模块接收各个移动数据模块对应发出的第二拍摄数据；数据处理模块对各个第一拍摄数据和第二拍摄数据进行处理得到对应的第一处理数据和第二处理数据；终端通讯模块将各个第一处理数据和第二处理数据均上传至远程平台以供访问远程平台的访问终端可选择性地接收。

上述方案可选的，所述固定摄像头和所述移动摄像头均为深度图像摄像头。

上述方案可选的，所述终端操控模块向所述深度图像摄像头输出深度图像拍摄操作指令，以产生供所述数据处理模块接收所述深度图像摄像头发出的多张深度图像和多张红外光谱图像；

所述数据处理模块根据多张所述深度图像和多张所述红外光谱图像进行三维图像渲染重建，得到目标三维融合图像数据；

所述终端通讯模块将所述目标三维融合图像数据上传至所述远程平台以供访问所述远程平台的访问终端可选择性地接收。

上述方案可选的，所述终端操控模块向所述固定摄像头和各个所述移动操控模块输出全景拍摄操作指令，以产生供所述数据处理模块接收的所述固定摄像头发出的第一全景拍摄数据、第一位置信息和第一拍摄时间，以及产生供所述数据处理接收模块接收的所述第二全景拍摄数据、第二位置信息和第二拍摄时间。

所述数据处理模块根据所述第一位置信息和各个第二位置信息，确定所述固定摄像头和各个所述移动摄像头之间的位置关系；

根据所述位置关系，将拍摄时间相同的第一全景拍摄数据和第二全景拍摄数据进行拼接和融合，得到目标全景数据；

所述终端通讯模块将所述目标全景拍摄数据上传至所述远程平台以供访问所述远程平台的访问终端可选择性地接收。

上述方案可选的，所述远程平台包括若干个网络传输子模块；其中，所述网络传输子模块对应的网络链路不同；

所述网络传输子模块对各个所述第一处理数据和第二处理数据分别进行编码压缩，并将编码压缩后的数据包发送至所述网络传输子模块对应的缓冲区；

所述网络传输子模块实时检测对应的所述缓冲区的拥堵状态，并根据所述缓冲区的拥堵状态实时调整所述网络链路下的编码压缩参数。

上述方案可选的，终端处理器还包括显示模块，显示模块将各个第一处理数据和第二处理数据以对应的多视窗形式显示在显示屏上。

上述方案可选的，访问终端可选择性地接收包括对第一处理数据、第二处理数据中的一个或以上进行单视窗或多视窗显示。

上述方案可选的，本地终端对各个第一处理数据和第二处理数据进行存储、控制或/和传输操作。

上述方案可选的，本地终端和访问终端包括手机、手提电脑和台式电脑，网络包括蓝牙、WIFI和5G。

上述方案可选的，移动摄像装置设置在无人机、汽车或者监控器的一者或两者以上。

另一方面，提供一种带有一个以上移动摄像头的直播系统的直播方法，包括如下步骤：步骤S1：终端操控模块向固定摄像头输出摄像操作指令以产生第一拍摄数据，数据处理模块对第一拍摄数据进行处理得到对应的第一处理数据；步骤S2：终端通讯模块与各个移动通讯模块通过网络相互通讯，终端操控模块向各个移动操控模块输出摄像操作指令以产生供数据处理模块接收各个移动数据模块对应发出的一个以上第二拍摄数据，数据处理模块对各个第二拍摄数据进行处理得到对应个数的第二处理数据；步骤S3：终端通讯模块将各个第一处理数据和第二处理数据均上传至远程平台以供访问远程平台的访问终端可选择性地接收。

上述方案可选的，所述固定摄像头和所述移动摄像头均为深度图像摄像头，直播方法还包括步骤：

步骤S4：所述终端操控模块向所述深度图像摄像头输出深度图像拍摄操作指令，以产生供所述数据处理模块接收所述深度图像摄像头发出的多张深度图像和多张红外光谱图像；

步骤S5：根据多张所述深度图像和多张所述红外光谱图像进行三维图像渲染重建，得到目标三维融合图像数据；

步骤S6：所述终端通讯模块将所述目标三维融合图像数据上传至所述远程平台以供访问所述远程平台的访问终端可选择性地接收。

上述方案可选的，直播方法还包括步骤：

步骤S7：所述终端操控模块向所述固定摄像头和各个所述移动操控模块输出全景拍摄操作指令，以产生供所述数据处理模块接收的所述固定摄像头发出的第一全景拍摄数据、第一位置信息和第一拍摄时间，以及产生供所述数据处理接收模块接收的所述第二全景拍摄数据、第二位置信息和第二拍摄时间。

步骤S8：所述数据处理模块根据所述第一位置信息和各个第二位置信息，确定所述固定摄像头和各个所述移动摄像头之间的位置关系；

步骤S9：根据所述位置关系，将拍摄时间相同的第一全景拍摄数据和第二全景拍摄数据进行拼接和融合，得到目标全景数据；

步骤S10：所述终端通讯模块将所述目标全景拍摄数据上传至所述远程平台以供访问所述远程平台的访问终端可选择性地接收。

上述方案可选的，所述远程平台包括若干个网络传输子模块，所述网络传输子模块对应的网络链路不同，还包括步骤：

步骤S11：所述网络传输子模块对各个所述第一处理数据和第二处理数据分别进行编码压缩，并将编码压缩后的数据包发送至所述网络传输子模块对应的缓冲区；

步骤S12：所述网络传输子模块实时检测对应的所述缓冲区的拥堵状态，并根据所述缓冲区的拥堵状态实时调整所述网络链路下的编码压缩参数。

上述方案可选的，直播方法还包括如下步骤：步骤S13-1：终端处理器的显示模块将第一处理数据和第二处理数据以对应的多视窗形式显示在本地终端的显示屏上。

上述方案可选的，直播方法还包括如下步骤：步骤S13-2：访问终端接收操作指令访问远程平台来接收第一处理数据和第二处理数据并选择各处理数据中的一个或以上进行单视窗或多视窗形式进行显示。

上述方案可选的，直播方法还包括如下步骤：步骤S14：控制访问终端对单视窗或/和多视窗进行组合、编辑或/和存储操作。

相对于现有技术，本发明带有一个以上移动摄像装置的直播系统及其直播方法设置了本地终端、一个以上移动摄像装置和远程平台，移动摄像装置在提供摄像功能及高兼容性的前提下能降低成本，远程平台可供访问终端提供自主选择地观看各摄像头直播拍摄内容的功能，因此，具有成本降低、可实现性难度较低、用户自主选择度高的优点。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，但本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1为本发明实施例提供的带有一个以上移动摄像装置的直播系统的框架示意图；

图2为本发明实施例提供的一带有一个以上移动摄像装置的直播系统的直播方法的流程示意图；

图3为图2基础上进一步的直播方法的流程示意图。

图中附图标记表示为：

1-本地终端；2-移动摄像装置；3-远程平台；4-访问终端。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明一实施例提供了一种带有一个以上移动摄像装置的直播系统，其包括本地终端1、一个以上移动摄像装置2和远程平台3，本文所描述的直播包括但不限于网络直播、视频聊天和视频会议等，并且，从拍摄内容的全面、细致等考虑，本发明所采用的移动摄像装置2一般设为两个及以上，其中，对应于图1的直播系统的移动摄像装置2设为3个。本地终端1设有固定摄像头、显示屏和终端处理器，该本地终端1一般采用手机例如主播的手机，从而固定摄像头包括前置摄像头和后置摄像头，终端处理器即为手机CPU，终端处理器包括终端通讯模块、终端操控模块和数据处理模块，其中，终端通讯模块具有蓝牙、WIFI和5G的通讯功能，终端操控模块可以接收比如用户的触控、语音等的操控指令，各个移动摄像装置2均设置有移动摄像头和移动处理器，各个移动摄像装置2可以根据需要调整相对于本地终端1的位置，移动处理器包括移动通讯模块、移动操控模块和移动数据模块，该移动处理器可以是能处理摄像装置所包括摄像、联网、数据处理在内的各种功能的CPU、PLC或单片机等，各移动摄像装置2根据需要拍摄的内容、方位等进行相应固定或运动，终端操控模块向固定摄像头输出第一摄像操作指令以产生第一拍摄数据，由上所述，该第一拍摄数据为手机的前置摄像头或/和后置摄像头的拍摄数据。终端通讯模块与各个移动通讯模块通过例如蓝牙、WIFI和5G中的一种或多种网络相互通讯，且终端操控模块向各个移动操控模块输出第二摄像操作指令以产生供终端数据模块接收各个移动数据模块对应发出的第二拍摄数据，也就是说，终端操控模块根据所接收用户的触控或语音指令进一步输出对应个数的第二摄像操作指令并经网络传输至对应的移动摄像装置2，从而各移动摄像装置2的摄像头被对应控制进行拍摄，且进一步的，各移动摄像装置2的移动数据模块对各摄像头拍摄获得的数据进行处理而产生对应的第二拍摄数据并被传输至数据处理模块，接着，数据处理模块对各个第一拍摄数据和拍摄数据进行处理得到对应的第一处理数据和第二处理数据，该第二处理数据的个数与移动摄像头的个数相对应。终端通讯模块将各个第一处理数据和第二处理数据通过例如5G、WIFI等网络均上传至远程平台3以供访问远程平台3的访问终端4接收，该远程平台3可以是远程数据库所形成的直播平台、云平台、会议平台等，访问终端4一般也采用手机，从而可将本地终端1作为例如视频购物的直播主播方或视频会议的主会场，使得直播观看方及参会方利用访问终端4访问远程平台3即可观赏直播或收看会议。总结来说，本发明所公开的直播系统，通过本地终端1与各个移动摄像装置2的通讯，能够将本地终端1的自带摄像头与外界各个移动摄像装置2的对应摄像头进行数据和操控的传输进而获得各个拍摄数据的处理数据并将各处理数据上传至远程平台3，各访问终端4的使用者访问远程平台3即可接收进而观看各摄像头的直播内容，由于各移动摄像装置2为独立进行摄像的装置，无需配置多个手机来获得独立于外界的多个摄像头，因此，节省了成本，并且，各移动摄像装置2一般规格和配置统一，从而极大提高了各移动摄像装置2与本地终端1间的兼容性和操作性，因此，降低了可实现性难度，而且，各访问终端4的使用者可以对各个第一处理数据和第二处理数据可选择性地接收，也就是各访问终端4可以自主选择摄像内容，因此，提高了用户自主选择度。

在一种实施例中，所述固定摄像头和所述移动摄像头均为深度图像摄像头。关于所述深度图像摄像头的类型在此不进行限定，其可以获取人体或物体表面所对应的深度图像以及红外光谱图像。

其中，深度图像能够间接反应人体或物体表面各个点与深度图像摄像头之间的距离，以及人体或物体表面各个点的空间坐标，用于对人体或物体进行定位，红外光谱图像能够反应人体或物体表面对与红外光的反射光谱信息，用于对人体或物体表面进行渲染。

所述终端操控模块向所述深度图像摄像头输出深度图像拍摄操作指令，以产生供所述数据处理模块接收所述深度图像摄像头发出的多张深度图像和多张红外光谱图像。多张深度图像和多张红外光谱图像是基于不同视角拍摄的。

所述数据处理模块根据多张所述深度图像和多张所述红外光谱图像进行三维图像渲染重建，得到目标三维融合图像数据。具体地，所述数据处理模块内预先加载有深度学习模型，所述数据处理模块将多张深度图像和多张红外光谱图像输入所述深度学习模型，所述深度学习模型先根据多张深度图像构建三维点云模型，之后通过红外光谱图像对三维点云模型进行三维图像渲染重建，得到目标三维融合图像数据。其中，所述深度学习模型可以是基于双目匹配算法实现的已训练过的模型。

所述终端通讯模块将所述目标三维融合图像数据上传至所述远程平台3以供访问所述远程平台3的访问终端4可选择性地接收。

需要说明的是，对于目标三维融合图像数据，访问终端4的用户需要佩戴沉浸现实设备观看直播。

在一种实施例中，所述终端操控模块向所述固定摄像头和各个所述移动操控模块输出全景拍摄操作指令，以产生供所述数据处理模块接收的所述固定摄像头发出的第一全景拍摄数据、第一位置信息和第一拍摄时间，以及产生供所述数据处理接收模块接收的所述第二全景拍摄数据、第二位置信息和第二拍摄时间。

所述数据处理模块根据所述第一位置信息和各个第二位置信息，确定所述固定摄像头和各个所述移动摄像头之间的位置关系。所述固定摄像头和各个所述移动摄像头之间的位置关系能够用于指示不同摄像头拍摄的全景拍摄数据之间的拼接位置关系。

根据所述位置关系，将拍摄时间相同的第一全景拍摄数据和第二全景拍摄数据进行拼接和融合，得到目标全景数据。具体地，先根据所述位置关系和左右相连的第一全景拍摄数据和第二全景拍摄数据的图像边缘特征，将拍摄时间相同的第一全景拍摄数据和第二全景拍摄数据进行拼接和融合，得到目标全景数据。

所述终端通讯模块将所述目标全景拍摄数据上传至所述远程平台3以供访问所述远程平台3的访问终端4可选择性地接收。

在一种实施例中，所述远程平台3包括若干个网络传输子模块；其中，所述网络传输子模块对应的网络链路不同。由于访问终端4链接远程平台3的网络链路是不同的，有些是通过4g链路，有些是通过WiFi链路等，因此，对于通过不同网络链路访问远程平台3的访问终端4，利用不同的网络传输子模块进行数据传输，以适配不同网络链路的负载。

所述网络传输子模块对各个所述第一处理数据和第二处理数据分别进行编码压缩，并将编码压缩后的数据包发送至所述网络传输子模块对应的缓冲区。其中，每个网络传输子模块对应一个缓冲区。

所述网络传输子模块实时检测对应的所述缓冲区的拥堵状态，并根据所述缓冲区的拥堵状态实时调整所述网络链路下的编码压缩参数。所述缓冲区的拥堵状态可以按照编码压缩后的数据包发送速率确定，发送速率高，代表拥堵程度低，此时则可以降低编码压缩参数，使直播显示效果更好，发送速率低，代表拥堵程度高，此时可以提高编码压缩参数，以降低显示效果保证实时性。

在一种实施例中，终端处理器还包括显示模块，显示模块将各个第一处理数据和第二处理数据以对应的多视窗形式显示在显示屏上，因此，本地终端1的使用者能够方便且全面地在显示屏上同时观看各个摄像头的实时拍摄内容。

在一种实施例中，访问终端4可选择性地接收包括对各个第一处理数据、第二处理数据中的一个或多个进行单视窗或多视窗显示，可以理解的是，该显示可通过访问终端4的显示屏实现，因此，访问终端4的使用者能够全面地在其终端上通过多视窗相对缩小地同时观看各个摄像头的实时拍摄内容或者通过单视窗相对放大地单独观看更感兴趣的某一摄像头的实时拍摄内容，另外，访问终端4还可以通过自带或远程平台3所配置的操作软件来对上述视窗进行组合、编辑或/和存储操作，从而能够实现远程导播的功能。

在一种实施例中，本地终端1对各个第一处理数据和第二处理数据进行存储、控制或/和传输操作，具体来说，本地终端1通过自带操作软件将固定摄像头和各个移动摄像头的处理数据进行相应操作从而实现对各处理数据的存储、控制或/和传输，因此，实现了对多个拍摄视频的整合和传输，便利了访问终端4对于各视频以远程方式来收看直播。

在一种实施例中，本地终端1和访问终端4包括手机、例如平板电脑、PDA和笔记本电脑的手提电脑以及台式电脑，可知的是，上述手机或电脑均配置有摄像头，网络包括蓝牙、WIFI和5G，这样的话，用户能够根据实际需要以便捷的方式开展直播及收看直播。

在一种实施例中，移动摄像装置2设置在无人机、汽车或者用于安防的监控器的一者或两者以上，需要说明的是，在此实施例情况下，网络需采用5G或更高一代通信技术，比如，在无人机中安装移动摄像装置2，与本地终端1的固定摄像头同步或者通过本地终端1传输至远程平台3，实现远程监控和导播操控。又比如，在汽车的行车记录仪中安装移动摄像装置2，通过移动装置传输数据，实现远程的监控和导播。

如图2和3所示，本发明还提供了一种带有一个以上移动摄像装置的直播系统的直播方法，直播系统为以上任一种的直播系统且用于实施该直播方法，对于直播系统的详细描述请参考上文，在此不再赘述，直播系统的直播方法包括以下步骤：步骤S1：终端操控模块向固定摄像头输出摄像操作指令以产生第一拍摄数据，数据处理模块对第一拍摄数据进行处理得到对应的第一处理数据；步骤S2：终端通讯模块与各个移动通讯模块通过网络相互通讯，终端操控模块向各个移动操控模块输出摄像操作指令以产生供数据处理模块接收各个移动数据模块对应发出的一个以上第二拍摄数据，数据处理模块对各个第二拍摄数据进行处理得到对应个数的第二处理数据；步骤S3：终端通讯模块将各个第一处理数据和第二处理数据均上传至远程平台3以供访问远程平台的访问终端可选择性地接收。需要理解的是，上述步骤S1和S2利用终端处理器来具体执行。由上所述，对于本发明所公开的直播系统的直播方法，由于所控制独立的各移动摄像装置2进行拍摄，节省了成本，并且，通过终端处理器对各种具有统一的兼容性和操作性的移动摄像装置2进行控制，降低了对于各个拍摄数据的传输、控制、编辑、直播等的可实现性难度；而且，用户能够高自主选择度地对通过上述直播方法上传至远程平台3上的各个第一处理数据和第二处理数据进行接收及观看。

在一种实施例中，所述固定摄像头和所述移动摄像头均为深度图像摄像头。关于所述深度图像摄像头的类型在此不进行限定，其可以获取人体或物体表面所对应的深度图像以及红外光谱图像。

其中，深度图像能够间接反应人体或物体表面各个点与深度图像摄像头之间的距离，以及人体或物体表面各个点的空间坐标，用于对人体或物体进行定位，红外光谱图像能够反应人体或物体表面对与红外光的反射光谱信息，用于对人体或物体表面进行渲染。

步骤S4：所述终端操控模块向所述深度图像摄像头输出深度图像拍摄操作指令，以产生供所述数据处理模块接收所述深度图像摄像头发出的多张深度图像和多张红外光谱图像。多张深度图像和多张红外光谱图像是基于不同视角拍摄的。

步骤S5：根据多张所述深度图像和多张所述红外光谱图像进行三维图像渲染重建，得到目标三维融合图像数据。

具体地，所述数据处理模块内预先加载有深度学习模型，所述数据处理模块将多张深度图像和多张红外光谱图像输入所述深度学习模型，所述深度学习模型先根据多张深度图像构建三维点云模型，之后通过红外光谱图像对三维点云模型进行三维图像渲染重建，得到目标三维融合图像数据。其中，所述深度学习模型可以是基于双目匹配算法实现的已训练过的模型。

步骤S6：所述终端通讯模块将所述目标三维融合图像数据上传至所述远程平台3以供访问所述远程平台3的访问终端4可选择性地接收。

需要说明的是，对于目标三维融合图像数据，访问终端4的用户需要佩戴沉浸现实设备观看直播。

在一种实施例中，步骤S7:所述终端操控模块向所述固定摄像头和各个所述移动操控模块输出全景拍摄操作指令，以产生供所述数据处理模块接收的所述固定摄像头发出的第一全景拍摄数据、第一位置信息和第一拍摄时间，以及产生供所述数据处理接收模块接收的所述第二全景拍摄数据、第二位置信息和第二拍摄时间。

步骤S8：所述数据处理模块根据所述第一位置信息和各个第二位置信息，确定所述固定摄像头和各个所述移动摄像头之间的位置关系。所述固定摄像头和各个所述移动摄像头之间的位置关系能够用于指示不同摄像头拍摄的全景拍摄数据之间的拼接位置关系。

步骤9：根据所述位置关系，将拍摄时间相同的第一全景拍摄数据和第二全景拍摄数据进行拼接和融合，得到目标全景数据。具体地，先根据所述位置关系和左右相连的第一全景拍摄数据和第二全景拍摄数据的图像边缘特征，将拍摄时间相同的第一全景拍摄数据和第二全景拍摄数据进行拼接和融合，得到目标全景数据。

步骤10：所述终端通讯模块将所述目标全景拍摄数据上传至所述远程平台3以供访问所述远程平台3的访问终端4可选择性地接收。

在一种实施例中，所述远程平台3包括若干个网络传输子模块；其中，所述网络传输子模块对应的网络链路不同。由于访问终端4链接远程平台3的网络链路是不同的，有些是通过4g链路，有些是通过WiFi链路等，因此，对于通过不同网络链路访问远程平台3的访问终端4，利用不同的网络传输子模块进行数据传输，以适配不同网络链路的负载。

步骤11：所述网络传输子模块对各个所述第一处理数据和第二处理数据分别进行编码压缩，并将编码压缩后的数据包发送至所述网络传输子模块对应的缓冲区。其中，每个网络传输子模块对应一个缓冲区。

步骤12：所述网络传输子模块实时检测对应的所述缓冲区的拥堵状态，并根据所述缓冲区的拥堵状态实时调整所述网络链路下的编码压缩参数。所述缓冲区的拥堵状态可以按照编码压缩后的数据包发送速率确定，发送速率高，代表拥堵程度低，此时则可以降低编码压缩参数，使直播显示效果更好，发送速率低，代表拥堵程度高，此时可以提高编码压缩参数，以降低显示效果保证实时性。:

在一种实施例中，步骤S13-1：终端处理器的显示模块将第一处理数据和第二处理数据以对应的多视窗形式显示在本地终端1的显示屏上，因此，使得本地终端1的使用者能够在显示屏上同时观看各个摄像头的实时拍摄内容，进一步来说，使用者还可以根据多视窗的显示情况通过人工或者通过本地终端1向相应移动摄像装置2输出运动指令来调整摄像范围，这样可以进一步提高摄像的质量。

在一种实施例中，步骤S13-2：访问终端4接收操作指令访问远程平台3来接收第一处理数据和第二处理数据并选择各处理数据中的一个或以上进行单视窗或多视窗形式进行显示，因此，访问终端4的使用者能够根据喜好自主选择以相应视窗形式来观看摄像内容，进一步来说，当访问终端4也开启摄像头的情形，直播方法还可以进一步控制访问终端4将其摄像头拍摄的内容上传至远程平台3，进而控制本地终端1访问远程平台3来观看访问终端4的直播，也就实现了多方实时音视频直播，从而获得很高的交互性和互动性。需要说明的是，上述步骤S13-1和S13-2可以择一先后或者两者同时执行。

在一种实施例中，步骤S14：可以通过自带或远程平台3所配置的操作软件来控制访问终端4对单视窗或/和多视窗进行组合、编辑或/和存储操作从而能够实现远程导播的功能，此外，直播方法还可以进一步通过自带操作软件控制本地终端1将固定摄像头和移动摄像头的处理数据进行各处理数据的组合、编辑或/和存储，这样的话，不仅使得访问终端4能方便且全面地对上传至的直播收看。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种带有一个以上移动摄像装置的直播系统，其特征在于，包括本地终端、一个以上移动摄像装置和远程平台；

所述本地终端设有固定摄像头、显示屏和终端处理器，所述终端处理器包括终端通讯模块、终端操控模块和数据处理模块；

各个所述移动摄像装置均设置有移动摄像头和移动处理器，所述移动处理器包括移动通讯模块、移动操控模块和移动数据模块；

所述终端操控模块向所述固定摄像头输出第一摄像操作指令以产生第一拍摄数据；

所述终端通讯模块与各个所述移动通讯模块通过网络相互通讯，且所述终端操控模块向各个所述移动操控模块输出第二摄像操作指令以产生供所述数据处理模块接收各个所述移动数据模块对应发出的第二拍摄数据；

所述数据处理模块对各个所述第一拍摄数据和所述第二拍摄数据进行处理得到对应的第一处理数据和第二处理数据；

所述终端通讯模块将各个所述第一处理数据和所述第二处理数据均上传至所述远程平台以供访问所述远程平台的访问终端可选择性地接收。

2.如权利要求1所述的直播系统，其特征在于：

所述固定摄像头和所述移动摄像头均为深度图像摄像头。

3.如权利要求2所述的直播系统，其特征在于：

所述终端操控模块向所述深度图像摄像头输出深度图像拍摄操作指令，以产生供所述数据处理模块接收所述深度图像摄像头发出的多张深度图像和多张红外光谱图像；

所述数据处理模块根据多张所述深度图像和多张所述红外光谱图像进行三维图像渲染重建，得到目标三维融合图像数据；

所述终端通讯模块将所述目标三维融合图像数据上传至所述远程平台以供访问所述远程平台的访问终端可选择性地接收。

4.如权利要求1所述的直播系统，其特征在于：

所述终端操控模块向所述固定摄像头和各个所述移动操控模块输出全景拍摄操作指令，以产生供所述数据处理模块接收的所述固定摄像头发出的第一全景拍摄数据、第一位置信息和第一拍摄时间，以及产生供所述数据处理接收模块接收的所述第二全景拍摄数据、第二位置信息和第二拍摄时间。

所述数据处理模块根据所述第一位置信息和各个第二位置信息，确定所述固定摄像头和各个所述移动摄像头之间的位置关系；

根据所述位置关系，将拍摄时间相同的第一全景拍摄数据和第二全景拍摄数据进行拼接和融合，得到目标全景数据；

所述终端通讯模块将所述目标全景拍摄数据上传至所述远程平台以供访问所述远程平台的访问终端可选择性地接收。

5.如权利要求1所述的直播系统，其特征在于：

所述远程平台包括若干个网络传输子模块；其中，所述网络传输子模块对应的网络链路不同；

所述网络传输子模块对各个所述第一处理数据和第二处理数据分别进行编码压缩，并将编码压缩后的数据包发送至所述网络传输子模块对应的缓冲区；

所述网络传输子模块实时检测对应的所述缓冲区的拥堵状态，并根据所述缓冲区的拥堵状态实时调整所述网络链路下的编码压缩参数。

6.如权利要求1所述的直播系统，其特征在于：

所述终端处理器还包括显示模块，所述显示模块将各个所述第一处理数据和所述第二处理数据以对应的多视窗形式显示在所述显示屏上。

7.如权利要求1所述的直播系统，其特征在于：

所述访问终端可选择性地接收包括对所述第一处理数据、所述第二处理数据中的一个或多个进行单视窗或多视窗显示。

8.如权利要求1所述的直播系统，其特征在于：

所述本地终端对各个所述第一处理数据和所述第二处理数据进行存储、控制或/和传输操作。

9.如权利要求1至8任一项所述的直播系统，其特征在于：

所述本地终端和所述访问终端包括手机、手提电脑和台式电脑，所述网络包括蓝牙、WIFI和5G。

10.如权利要求1至8任一项所述的直播系统，其特征在于：

所述移动摄像装置设置在无人机、汽车或者监控器的一者或两者以上。

11.一种如权利要求1至10任一项所述的直播系统的直播方法，其特征在于，包括如下步骤：

步骤S1：所述终端操控模块向所述固定摄像头输出摄像操作指令以产生第一拍摄数据，所述数据处理模块对所述第一拍摄数据进行处理得到对应的第一处理数据；

步骤S2：所述终端通讯模块与各个所述移动通讯模块通过网络相互通讯，所述终端操控模块向各个所述移动操控模块输出摄像操作指令以产生供所述数据处理模块接收各个所述移动数据模块对应发出的一个以上第二拍摄数据，所述数据处理模块对各个所述第二拍摄数据进行处理得到对应个数的第二处理数据；

步骤S3：所述终端通讯模块将各个所述第一处理数据和所述第二处理数据均上传至远程平台以供访问所述远程平台的访问终端可选择性地接收。

12.如权利要求11所述的直播方法，其特征在于，所述固定摄像头和所述移动摄像头均为深度图像摄像头，还包括步骤：

步骤S4：所述终端操控模块向所述深度图像摄像头输出深度图像拍摄操作指令，以产生供所述数据处理模块接收所述深度图像摄像头发出的多张深度图像和多张红外光谱图像；

步骤S5：根据多张所述深度图像和多张所述红外光谱图像进行三维图像渲染重建，得到目标三维融合图像数据；

步骤S6：所述终端通讯模块将所述目标三维融合图像数据上传至所述远程平台以供访问所述远程平台的访问终端可选择性地接收。

13.如权利要求11所述的直播方法，其特征在于，还包括步骤：

步骤S7：所述终端操控模块向所述固定摄像头和各个所述移动操控模块输出全景拍摄操作指令，以产生供所述数据处理模块接收的所述固定摄像头发出的第一全景拍摄数据、第一位置信息和第一拍摄时间，以及产生供所述数据处理接收模块接收的所述第二全景拍摄数据、第二位置信息和第二拍摄时间。

步骤S8：所述数据处理模块根据所述第一位置信息和各个第二位置信息，确定所述固定摄像头和各个所述移动摄像头之间的位置关系；

步骤S9：根据所述位置关系，将拍摄时间相同的第一全景拍摄数据和第二全景拍摄数据进行拼接和融合，得到目标全景数据；

步骤S10：所述终端通讯模块将所述目标全景拍摄数据上传至所述远程平台以供访问所述远程平台的访问终端可选择性地接收。

14.如权利要求11所述的直播方法，其特征在于，所述远程平台包括若干个网络传输子模块，所述网络传输子模块对应的网络链路不同，还包括步骤：

步骤S11：所述网络传输子模块对各个所述第一处理数据和第二处理数据分别进行编码压缩，并将编码压缩后的数据包发送至所述网络传输子模块对应的缓冲区；

步骤S12：所述网络传输子模块实时检测对应的所述缓冲区的拥堵状态，并根据所述缓冲区的拥堵状态实时调整所述网络链路下的编码压缩参数。

15.如权利要求11所述的直播方法，其特征在于：所述直播方法还包括如下步骤：

步骤S13-1：所述终端处理器的显示模块将所述第一处理数据和所述第二处理数据以对应的多视窗形式显示在所述本地终端的显示屏上。

16.如权利要求11所述的直播方法，其特征在于：所述直播方法还包括如下步骤：

步骤S13-2：所述访问终端接收操作指令访问所述远程平台来接收所述第一处理数据和所述第二处理数据并选择各处理数据中的一个或多个进行单视窗或多视窗形式进行显示。

17.如权利要求16所述的直播方法，其特征在于：所述直播方法还包括如下步骤：

步骤S14：控制所述访问终端对所述单视窗或/和多视窗进行组合、编辑或/和存储操作。

Images