CN114257760A - 视频拼接处理方法、智能机器人及系统 - Google Patents

Abstract

本申请的实施例提供了一种视频拼接处理方法、智能机器人及系统，涉及视频处理技术领域。能够应用于智能机器人，所述智能机器人包括多个图像采集装置，所述多个图像采集装置的拍摄视角各不相同，所述方法包括：获取由所述多个图像采集装置实时采集的多个视频流，每个视频流中包括多帧图像；对所述多个视频流进行拼接处理，得到目标视频流，所述目标视频流包括多帧目标图像，每帧目标图像包括所述多个图像采集装置所对应的多个视角下的图像；将所述目标视频流实时发送给服务器。本申请能够实现多个视频流同步实时传输。

Description

视频拼接处理方法、智能机器人及系统

技术领域

本申请涉及视频处理技术领域，具体而言，涉及一种视频拼接处理方法、智能机器人及系统。

背景技术

随着人工智能技术的发展，为人们的生活带来了诸多便利，如智慧园区、智慧社区等。这其中，巡检机器人为智慧园区、智慧社区等的物业智能化管理建设做出关键贡献。巡检机器人将辅助安保人员的进行巡视，将其拍摄到的视频画面实时传输至监控中心进行分析，提高巡视的效率和质量。

现有技术中，巡检机器人通过4G图传设备实现上述传输过程，但由于网络带宽的限制，4G图传设备不能在并发传输多个视频过程中，保证视频的图像质量，因此实时只能传输一个网络摄像头拍摄的视频画面，导致监控中心获得的视频画面视角局限，浪费了网络资源。

发明内容

本申请的目的包括，提供了一种视频拼接处理方法、智能机器人及系统，其能够将多个图像采集装置采集的视频流进行拼接，并将拼接后的目标视频流实时传输至服务器。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种视频拼接处理方法，应用于智能机器人，所述智能机器人包括多个图像采集装置以及多个移动通信装置，所述方法包括：

获取由所述多个图像采集装置实时采集的多个视频流，每个视频流中包括多帧图像；

对所述多个视频流进行拼接处理，得到目标视频流，所述目标视频流包括多帧目标图像，每帧目标图像包括所述多个图像采集装置所对应的多个视角下的图像；

将所述目标视频流经由至少一个所述移动通信装置实时发送给目标设备。

在一种可选的实施方式中，所述对所述多个视频流进行拼接处理，得到目标视频流，包括：

对各所述视频流分别进行解码，得到各所述视频流对应的二进制码流；

对各所述视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流；

将所述拼接后的二进制码流进行编码和封装，得到所述目标视频流。

在一种可选的实施方式中，所述对各所述视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流，包括：

根据各所述视频流对应的二进制码流中头文件的时间标识，将各所述视频流对应的二进制码流拆分为多个二进制图像组，每个二进制图像组中包括多个二进制子码流，各二进制子码流中头文件的时间标识相同；

分别对各二进制图像组中的二进制子码流进行拼接，得到多个拼接后子码流；

将所述多个拼接后子码流按照所述时间标识进行组合处理，得到所述拼接后的二进制码流。

在一种可选的实施方式中，所述分别对各二进制图像组中的二进制子码流进行拼接，得到多个拼接后子码流，包括：

确定第一二进制图像组中各二进制子码流的特征点；

将各二进制子码流的特征点进行匹配，得到特征点之间的映射关系；

根据所述特征点之间的映射关系，将各二进制子码流进行叠加以及融合处理，得到所述第一二进制图像组对应的拼接后的子码流。

在一种可选的实施方式中，所述对各所述视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流之前，还包括：

将各所述视频流对应的二进制码流中头文件中的分辨率调整为预设的分辨率。

在一种可选的实施方式中，所述将所述拼接后的二进制码流进行编码和封装，得到所述目标视频流，包括：

对所述拼接后的二进制码流进行编码，得到编码后的二进制码流；

对所述编码后的二进制码流进行封装，得到所述目标视频流。

在一种可选的实施方式中，所述智能机器人还包括：第一无线通信模块；

所述对所述多个视频流进行拼接处理，得到目标视频流之后，还包括：

通过所述第一无线通信模块将所述目标视频流发送至与所述第一无线通信模块通信连接的第二无线通信模块。

第二方面，本申请实施例提供了一种视频拼接处理装置，所述装置包括：

获取模块，用于获取由所述多个图像采集装置实时采集的多个视频流，每个视频流中包括多帧图像；

处理模块，用于对所述多个视频流进行拼接处理，得到目标视频流，所述目标视频流包括多帧目标图像，每帧目标图像包括所述多个图像采集装置所对应的多个视角下的图像；

所述处理模块具体还用于，将所述目标视频流经由至少一个所述移动通信装置实时发送给目标设备。

在一种可选的实施方式中，所述处理模块具体还用于：

对各所述视频流分别进行解码，得到各所述视频流对应的二进制码流；

对各所述视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流；

将所述拼接后的二进制码流进行编码和封装，得到所述目标视频流。

在一种可选的实施方式中，所述处理模块具体还用于：

根据各所述视频流对应的二进制码流中头文件的时间标识，将各所述视频流对应的二进制码流拆分为多个二进制图像组，每个二进制图像组中包括多个二进制子码流，各二进制子码流中头文件的时间标识相同；

分别对各二进制图像组中的二进制子码流进行拼接，得到多个拼接后子码流；

将所述多个拼接后子码流按照所述时间标识进行组合处理，得到所述拼接后的二进制码流。

在一种可选的实施方式中，所述处理模块具体还用于：

确定第一二进制图像组中各二进制子码流的特征点；

将各二进制子码流的特征点进行匹配，得到特征点之间的映射关系；

根据所述特征点之间的映射关系，将各二进制子码流进行叠加以及融合处理，得到所述第一二进制图像组对应的拼接后的子码流。

在一种可选的实施方式中，所述处理模块具体还用于：

将各所述视频流对应的二进制码流中头文件中的分辨率调整为预设的分辨率。

在一种可选的实施方式中，所述处理模块具体还用于：

对所述拼接后的二进制码流进行编码，得到编码后的二进制码流；

对所述编码后的二进制码流进行封装，得到所述目标视频流。

在一种可选的实施方式中，所述处理模块具体还用于：

通过所述第一无线通信模块将所述目标视频流发送至与所述第一无线通信模块通信连接的第二无线通信模块。

第三方面，本申请实施例提供一种智能机器人，所述智能机器人包括：

处理器、存储器、多个图像采集装置、多个移动通信装置和总线，所述图像采集装置，用于实时采集的多个视频流，每个视频流中包括多帧图像，所述移动通信装置用于发送目标视频流，所述存储器存储有所述处理器可执行的机器可读指令，当所述智能机器人运行时，所述处理器与各所述图像采集装置、各所述移动通信装置以及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如前述实施方式中任一项所述的视频拼接处理方法的步骤。

第四方面，本申请实施例提供一种视频拼接处理系统，所述系统包括：如前述实施方式中所述的智能机器人以及目标设备；

所述目标设备与所述智能机器人通信连接，所述目标设备用于从所述智能机器人获取视频流。

本申请实施例的有益效果包括：

采用本申请提供的视频拼接处理方法、智能机器人及系统，首先，本申请能够将多个图像采集装置采集的视频流进行拼接处理，合并为一个目标视频流，并实时发送给服务器，降低了现有技术中多个视频流依次传输对带宽的占用，实现了多个视频流同步实时传输。其次，拼接后的目标视频流包含了图像采集装置多个视角下图像的合并，能够使用户获得更宽广的监控画面，增加了传输图像的信息量，提高用户使用体验。同时，目标视频流可以通过多个移动通信装置同时发送，避免了带宽对于目标视频流的图像质量的限制。

另外，本申请还在智能机器人上增加了第一无线通信模块，能够在4G网络状况较差或者现场调试时，通过智能机器人上第一无线通信模块，将目标视频流发送至第二无线通信模块，保证目标视频流的传输。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为现有技术的结构示意图；

图2为本申请实施例提供的视频拼接处理方法的结构示意图；

图3为本申请实施例提供的视频拼接处理方法的又一结构示意图；

图4为本申请实施例提供的视频拼接处理方法的又一结构示意图；

图5为本申请实施例提供的视频拼接处理方法的步骤流程图；

图6为本申请实施例提供的视频拼接处理方法的又一步骤流程图；

图7为本申请实施例提供的视频拼接处理方法的又一步骤流程图；

图8为本申请实施例提供的视频拼接处理方法的拼接步骤流程图；

图9为本申请实施例提供的视频拼接处理方法的又一步骤流程图；

图10为本申请实施例提供的视频拼接处理装置的结构示意图；

图11为本申请实施例提供的处理设备的结构示意图。

图标：101-智能机器人；1011-第一图像采集装置；1012-移动通信模块；1012a-第一移动通信装置；1012b-第K移动通信装置；1013-第二图像采集装置；1014-第N图像采集装置；1015-第一无线通信模块；102-服务器；103-客户端；104-第二无线通信模块；201-第一视频流；2011-第一视频流的第一子码流；2012-第一视频流的第二子码流；2013-第一视频流的第M子码流；202-第二视频流；2021-第二视频流的第一子码流；2022-第二视频流的第二子码流；2023-第二视频流的第M子码流；203-第N视频流；2031-第N视频流的第一子码流；2032-第N视频流的第二子码流；2033-第N视频流的第M子码流；301-第一二进制图像组；302-第二二进制图像组；303-第M二进制图像组；10-视频拼接处理装置；1001-获取模块；1002-处理模块；2001-处理器；2002-存储器；2003-图像采集装置；2004-移动通信装置。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

目前，如图1所示，巡检机器人通过4G(the 4th Generation mobilecommunication technology，第四代移动通信技术)图传设备，即智能机器人101上安装的移动通信模块1012传输视频流，传输过程为：首先，由于移动通信模块1012上4G流量卡的限制，移动通信模块1012不能并发处理多个视频传输过程，只能够实时传输一个第一图像采集装置1011采集的视频流。然后，通过配置移动通信模块1012上的4G流量卡的视频流源地址与视频流目的地址，将该视频流发送至服务器102。需要说明的是，智能机器人101上安装了多个不同视角的图像采集装置时，则多个图像采集装置采集的视频流将依次传输至服务器102，这种方式的实时性较差。最后，服务器102响应客户端请求，将其转发至客户端103。例如，客户端103可以请求查看设置智能机器人101头部，视角为正前方的图像采集装置采集的视频流。可以理解的是，当图像采集装置为多个时，客户端103可以通过请求更改查看不同图像采集装置采集的视频流，但频繁的切换会占用带宽，导致视频流传输延时，客户端103的视角也过于狭窄，造成盲区。另外，这种仅依赖4G流量卡的进行视频流传输的单一通讯方式，也会无法支持4G网络较差，或者现场调试这种需要视频的实时性较强的情景。

基于此，申请人经研究，提出了一种视频拼接处理方法、智能机器人及系统，图2所示是本申请实施例提供的视频拼接处理方法所应用的视频拼接处理系统的一种架构示意图，包括智能机器人101、服务器102和客户端103，其中，服务器102可以是一种目标设备，智能机器人101包含第一图像采集装置1011、第二图像采集装置1013、以及第N图像采集装置1014等，多个图像采集装置采集的视频流进行拼接处理，合并为一个目标视频流，并通过智能机器人101上设置的多个移动通信装置，包括第一移动通信装置1012a直至第K移动通信装置1012b，实时发送给服务器102，服务器102响应于客户端103的请求，将目标视频流发送至客户端查看。实现了多个视频流的同步实时传输的同时，还能够使用户获得更宽广的监控画面。在上述过程中，服务器102可以是云端服务器。可以理解的是，多个目标视频流可以通过同一移动通信装置发送，也可以分别通过多个移动通信装置发送，本申请在此不做限定。

可选地，图3所示是本申请实施例提供的视频拼接处理方法所应用的视频拼接处理系统的另一种架构示意图，当目标设备是客户端103时，多个图像采集装置采集的视频流进行拼接处理，合并为一个目标视频流，并通过智能机器人101上设置的多个移动通信装置，包括第一移动通信装置1012a直至第K移动通信装置1012b，实时发送给客户端103，无需经过服务器转发，传输速度更快。

另外，作为使用4G流量卡进行视频流传输方式的补充，图4所示是本申请实施例提供的视频拼接处理方法所应用的视频拼接处理系统的另一种架构示意图，智能机器人101上增加了第一无线通信模块1015，能够在4G网络状况较差或者现场调试时，通过智能机器人101上的第一无线通信模块1015，将第一图像采集装置1011、第二图像采集装置1013、以及第N图像采集装置1014等多个图像采集装置采集的视频流拼接，得到目标视频流，并发送至第二无线通信模块104，保证目标视频流的传输质量。

其中，第一无线通信模块1015可以是基站从站，第二无线通信模块104可以是基站主站。

如下结合多个具体的应用示例，对本申请实施例提供的一种视频拼接处理方法、智能机器人及系统进行解释说明。

图5为本申请实施例提供的视频拼接处理方法的步骤流程图，该方法应用于智能机器人，该智能机器人包括多个图像采集装置以及多个移动通信装置，多个图像采集装置的拍摄视角可以各不相同，也可以部分相同或存在重叠。

需要说明的是，本申请实施例提供的视频拼接处理方法可以应用于任何一个符合系统条件的智能机器人，该智能机器人可以是巡检机器人，也可以是搜寻机器人，但是，并不以此为限。

在智能机器人中，可以包括多个拍摄视角各不相同的图像采集装置，例如，具有网络通信功能的可见光相机，或者是可以连接互联网的红外相机。智能机器人包括的多个图像采集装置的视角也可以相同，例如，三光拍摄云台包括三个视角相同的图像采集装置，分别为红外光相机、可见光相机以及紫外光相机。各个图像采集装置的拍摄视角可以根据图像采集装置的数量决定，例如，当图像采集装置的数量为3个时，可以相互呈120度角，环绕在上述智能机器人的头部的同一水平面设置，本申请在此不做限定。

可选地，由于多个目标视频流的实时传输需要网络带宽的支持，为了提高传输效率，智能机器人还可以包括多个移动通信装置，例如，可以是多个4G流量卡移动通信装置与多个5G流量卡移动通信装置的结合，或者多个4G流量卡移动通信装置，或者多个5G流量卡移动通信装置。

如图5所示，本申请实施例提供的视频拼接处理方法包括：

S101，获取由多个图像采集装置实时采集的多个视频流，每个视频流中包括多帧图像。

多个图像采集装置实时采集的智能机器人所属环境的多个拍摄视角的画面，对应于多个实时视频流。上述多个视频流都是由多帧连续的图像组成的，图像的数量由视频流的时间长度和帧率决定。

其中，帧率是指每秒钟的视频流中包含图像帧的数量，由使用人员设置，例如，可以是24帧/秒。

可以理解的是，视频流的时间长度越长，帧率越大，则视频流包含的图像帧数越多。

S102，对多个视频流进行拼接处理，得到目标视频流，目标视频流包括多帧目标图像，每帧目标图像包括多个图像采集装置所对应的多个视角下的图像。

上述拼接过程可以理解为，将多个视频流进行对齐，构成一个无缝的、高清晰的目标视频流。也就是说，拼接就是将上述多个视频流中包含的多个对应的图像帧一一对齐，依次配准，构成目标视频流中的多帧目标图像。

可选地，上述多个视频流中的图像帧可以包含重叠空间。

可以理解的是，由于可能包含重叠空间，上述每帧目标图像中，都包含了拼接前多个视频流中的多个图像帧视角的图像的一部分。也就是说，每帧目标图像都是由多个图像帧的视角合并而成的视角更为宽广或者图像内容更为丰富的图像。

S103，将目标视频流经由至少一个移动通信装置实时发送给目标设备。

需要说明的是，目标设备可以是服务器，也可以是客户端。智能机器人可以通过至少一个通信装置将目标视频流实时发送至服务器，由该服务器将目标视频流发送至客户端展示，也可以直接与客户端建立连接，不通过服务器的转发，直接将目标视频流发送至客户端展示。

可选地，上述服务器可以是有接收、存储、转发数据能力的服务器，其对应的实体设备可以是机架式服务器、刀片式服务器、塔式服务器或者机柜式服务器等，可以理解的是，该服务器可以是独立的服务器，也可以是上述多个服务器组成的服务器集群。

需要说明的是，将目标视频流实时发送给服务器可以通过设置在智能机器人处理设备上的移动通信装置发送，该处理设备可以是嵌入式开发面板或者单片机，移动通信装置可以与互联网通信的4G流量卡或者5G流量卡，本申请在此不做限定。

另外，智能机器人的处理设备上可以装载多个移动通信装置，每个移动通信装置可以实时发送一个目标视频流。可选地，每个目标视频流还可以包含多个图像采集装置采集的多个视频流。也就是说，工作人员可以根据需要，将智能机器人上的图像采集装置划分为多组，每组图像采集装置拼接为一个目标视频流进行发送，当然，并不以此为限。

需要说明的是，目标视频流发送至目标设备后，若目标设备是服务器，该服务器可以响应于客户端的播放请求，将目标视频流转发至客户端。若目标设备是客户端，该客户端可以通过流媒体播放器播放该目标视频流。

在本实施例中，首先，能够将多个图像采集装置采集的视频流进行拼接处理，合并为一个目标视频流，并实时发送给目标设备，降低了现有技术中多个视频流依次传输对带宽的占用，实现了多个视频流同步实时传输。其次，拼接后的目标视频流包含了图像采集装置多个视角下图像的合并，能够使用户获得更宽广的监控画面，增加了传输图像的信息量，提高用户使用体验。

可选地，如图6所示，上述步骤S102中，对多个视频流进行拼接处理，得到目标视频流的过程，可以由下述步骤S201至步骤S203实现：

步骤S201，对各视频流分别进行解码，得到各视频流对应的二进制码流。

上述各视频流包含了多帧连续的图像，存储在存储器中时，若按帧数据依次存储，将会消耗大量的存储空间。例如，若图像采集装置采集的视频流的分辨率是640×480，帧率为30帧/秒，则每秒的数据量高达27MB(MByte，兆字节)。

为了节约存储空间，需将视频编码处理后存储至存储器。编码是一种视频压缩方式，可以使图像采集装置采集的视频流变小以便存储。编码可以使用帧间压缩或者帧内压缩，不同的编码标准采用不同的压缩方式。其中，帧内压缩是指将图像帧划分为色素块，并以色素块为单位存储帧。帧间压缩是一种时间压缩方式，由于视频流中相邻的图像帧具有很强的相关性，也就是相邻的图像帧很可能背景相同或相似。因此，可以仅保存连续帧之间的差异像素，节约存储空间。需要说明的是，本申请在此并不限定图像采集装置采集的视频流编码标准，可以是H.261、H.263等。

在读取视频进行处理时，可以对上述编码后存储至存储器的视频流进行解码处理。解码与编码过程相对应，就是将上述编码后压缩存储的多个视频流，补足压缩的信息，还原为原始的未编码的多个视频流，每个视频流中包含多个图像帧的二进制形式，即为视频流所对应的二进制码流。

示例性的，上述编码与解码的过程例如，可以由GSTREAMER多媒体处理框架实现，也可以是其他编解码器，本申请在此不做限定。

其中，该二进制码流可以以矩阵形式表示，例如，矩阵的第一维依次表示各图像帧，矩阵的第二维与第三维表示该图像帧的横轴像素点以及纵轴像素点。

步骤S202，对各视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流。

将上述解码后的多个二进制码流，按照获取的对应关系，进行拼接，每个拼接后的二进制码流是由上述多个二进制码流所包含的内容对齐后获得的。其中，对应关系的获取过程将在下述实施例中详述。

步骤S203，将拼接后的二进制码流进行编码和封装，得到目标视频流。

获得到拼接后的二进制码流后，将按照上述的编码过程再次进行压缩。

其中，封装就是将上述编码后的二进制码流打包为一个视频文件的过程，封装的标准在此不做限定。

经历上述编码和封装过程后，上述拼接后的二进制码流将会成为目标视频流，并发送给服务器。

在本实施例中，将多个图像采集装置采集的视频流进行解码后进行拼接处理，保证了信息的完整性，使拼接后的图像更为准确。其次，对解码后的二进制码流进行拼接后编码、封装，能够减小发送至服务器的视频流的数据量，降低对网络带宽的占用。

可选地，如图7所示，上述步骤S202中，对各视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流，可以通过下述步骤S301至S303实现：

步骤S301，根据各视频流对应的二进制码流中头文件的时间标识，将各视频流对应的二进制码流拆分为多个二进制图像组，每个二进制图像组中包括多个二进制子码流，各二进制子码流中头文件的时间标识相同。

请参照图8，各图像采集装置采集的多个视频流，包括第一视频流201，第二视频流202，直至第N视频流203。其中，第一视频流201包括第一视频流的第一子码流2011，第一视频流的第二子码流2012，直至第一视频流的第M子码流2013。第二视频流202包括，第二视频流的第一子码流2021，第二视频流的第二子码流2022，直至第二视频流的第M子码流2023。第N视频流203包括：第N视频流的第一子码流2031，第N视频流的第二子码流2032，直至第N视频流的第M子码流2033。可选地，各子码流的时间标识依据图像采集装置采集该子码流的时间确定。

示例性地，可以将第一视频流201、第二视频流202，直至第N视频流203中具有相同的第一时间标识的第一视频流的第一子码流2011、第二视频流的第一子码流2021，直至第N视频流的第一子码流2031划分为第一二进制图像组301，同样的，可以将同样具有第二时间标识的子码流第一视频流的第二子码流2012、第二视频流的第二子码流2022直至第N视频流的第二子码流2032划分为第一二进制图像组302。

同样的，可以将同样具有第二时间标识的子码流第一视频流的第二子码流2012、第二视频流的第二子码流2022直至第N视频流的第二子码流2032划分为第二二进制图像组302。这样依次划分，直到将同样具有第M时间标识的第一视频流的第M子码流2013、第二视频流的第M子码流2023直至第N视频流的第M子码流2033划分为第M二进制图像组303。这样，就得到了多组二进制图像组，每组中各子码流的时间标识相同。

可以理解的是，各视频流对应的二进制码流中，包含该视频流中多个图像帧的对应的多个二进制子码流，每个二进制子码流都中包含头文件。其中，头文件可以包括该图像帧的拍摄时间，可以作为时间标识对每个视频流中包含的二进制子码流做独一区分。

根据上述时间标识，可以将不同视频流中带有相同的时间标识的图像帧对应的二进制子码流划分为一个二进制图像组，每个图像组中的多个二进制子码流之间存在对应关系。其中，二进制图像组的数量可以依据视频流中包含的图像帧的数量决定。

可以理解的是，由于各视频流是由同时开启、同时关闭的多个图像采集装置采集得到的，因此，各视频流中所包含的图像帧，相互之间都存在对应关系。

步骤S302，分别对各二进制图像组中的二进制子码流进行拼接，得到多个拼接后子码流。

由上述实施例可知，各视频流对应的二进制码流中，包含了多个相邻的图像帧，每个图像帧由对应的二进制子码流表示，可以根据二进制子码流的头文件信息定位到没有图像二进制码流的开始与结尾，还可以由头文件中的时间标识唯一的确定某一视频流中的某一二进制子码流。

可选地，将上述多个二进制组中的多个二进制子码流，一一进行拼接，得到了多个拼接后子码流。例如，可以是第一二进制码流中的第一二进制子码流、第二二进制码流中的第一二进制子码流与第三二进制码流中的第一二进制子码流拼接，得到拼接后的二进制码流中的第一二进制子码流。其中，二进制码流的数量可以为多个，拼接顺序可以为第一二进制码流与第二二进制码流先拼接，然后拼接第三二进制码流，本申请在此不做限定。

步骤S303，将多个拼接后子码流按照时间标识进行组合处理，得到拼接后的二进制码流。

可以理解的是，拼接后子码流与拼接前的二进制组中的多个二进制子码流具有相同的时间标识，因此，可以根据多个拼接后子码流的时间标识所表示的时间顺序，将上述拼接后的图像帧所对应的拼接后的子码流重新组合，组合为拼接后的二进制码流。

在本实施例中，将二进制码流中具有相同时间标识的二进制子码流进行拼接，并将拼接后的二进制子码流依据时间标识进行组合，得到拼接后的二进制码流。这种依据时间标识进行组合的方式，能够使在二进制码流拆分、拼接、重组的过程中，保持二进制码流中的二进制子码流顺序不混乱。

可选地，如图9所示，上述步骤S302中，分别对各二进制图像组中的二进制子码流进行拼接，得到多个拼接后子码流，可以通过如下步骤S401至步骤S403实现：

步骤S401，确定第一二进制图像组中各二进制子码流的特征点。

如前述实施例中所述，第一二进制图像组中可以包含多个二进制子码流，各子码流具有相同的时间标识。可以理解的是，每个二进制子码流所对应的图像帧都存在着使该幅图像区别与其他图像的多个像素点，称为图像的特征点。

可选地，从各子码流中提取图像的特征点的方法可以是尺度不变特征变换(ScaleInvariant Feature Transform，SIFT)算法、加速稳健特征(Speeded Up RobustFeatures，SURF)算法、或者ORB(Oriented FAST and Rotated BRIEF)算法，本申请在此不做限定。

步骤S402，将各二进制子码流的特征点进行匹配，得到特征点之间的映射关系。

需要说明的是，上述特征点中，包含了一些因为遮挡、背景混乱等原因，算法提取得到的无匹配关系的特征点，需将提取图像特征点的方法的提取准确度阈值提高，筛选删除上述无匹配关系的特征点。

筛选后余下的各二进制码流的特征点集合，其中包含了多个特征点集，每个特征点集对应于一个二进制码流。接下来将多个特征点集进行匹配，就可以依据上述提取图像特征点的方法，得到多个特征点集之间特征点的映射关系。

可选地，特征点的映射关系可以通过以下方式获取：将第一二进制图像组中的第一二进制子码流所对应的矩阵作为基准图像，在该基准图像上选取某一目标点为中心的图像子块，该图像子块的大小可以根据基准图像的大小以及配准的精确度设置。之后，依次搜索该二进制图像组中包含的其他二进制子码流，将与上述图像子块大小相同的模板依次在各二进制子码流所对应的矩阵上滑动，直到模板中的特征点与第一二进制子码流的特征点小于预设阈值，则认为上述特征点间存在映射关系。其中，特征点相似度阈值可以根据需要设置。

步骤S403，根据特征点之间的映射关系，将各二进制子码流进行叠加以及融合处理，得到第一二进制图像组对应的拼接后的子码流。

上述将二进制子码流进行叠加的过程也可以称为配准，可以解释为将多个二进制码流对应的不同角度、同一时间的多幅图像帧进行对齐融合。

对多个特征点集进行配准，获取到上述特征点间的映射关系后，可以将具有映射关系的特征点进行叠加，得到了进行初步拼接后的子码流。

上述过程中获得的初步拼接后的子码流，由于具有映射关系的特征点并不是完全相同的，这可能是由于光照、相机畸变等原因所导致的。为了克服上述并不完全相同的具有映射关系的特征点的叠加导致的视觉不一致问题，需要进行对初步拼接后的子码流融合处理，可以是重叠区域的像素加权融合等方式，当然，并不以此为限。

需要说明的是，上述第一二进制图像组可以是前述实施例中所述的多个二进制图像组中的任意一个。

在本实施例中，利用特征点间的映射关系对各二进制子码流进行叠加以及融合处理，使得拼接后的子码流所对应的拼接图像帧更为平滑自然，提高了拼接图像帧的鲁棒性。

可选地，上述步骤S202中，对各视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流之前，还包括：将各视频流对应的二进制码流中头文件中的分辨率调整为预设的分辨率。

由于多个图像采集装置可以是同类型的不同型号的装置，所包含的图像采集硬件设备也就可能不同。其中，各视频流对应的二进制码流所对应的视频流的分辨率记录在该二进制码流的头文件中，该视频流的分辨率与图像采集装置的自身采集硬件属性有关。

可选地，可以利用开源软件库中包含的接口，实现修改上述二进制码流中头文件的分辨率为预设的分辨率的目的。其中，开源软件库可以是OpenCV。

可以理解的是，由于采集硬件属性的限制，预设的分辨率应该小于各二进制码流中分辨率的最小值。

在本实施例中，通过对二进制码流的分辨率进行调整，使得拼接的图像更具有一致性，提升了用户在浏览视频时的体验。

可选地，上述步骤S203中，将拼接后的二进制码流进行编码和封装，得到目标视频流，可以由以下步骤S501至S502实现：

步骤S501，对拼接后的二进制码流进行编码，得到编码后的二进制码流。

本步骤中对拼接后的二进制码流进行编码的方式与前述实施例中所述的编码方式相同，即，将拼接后的二进制码流去除图像帧中空间、时间的冗余内容，压缩后得到了编码后的二进制码流。

步骤S502，对编码后的二进制码流进行封装，得到目标视频流。

如前述实施例中所述，封装就是将编码后的二进制码流打包为一个视频文件的过程，也就是说，封装可以将已经编码压缩后的视频流按照预设的封装格式放置到一个文件中，得到目标视频流。

其中，目标视频流的扩展名可以是.mp4、.mkv、.mov、.avi等，依据预设的封装格式而确定。

在本实施例中，将编码、封装后的目标视频流发送至服务器，避免了原始的视频流占用过高的网络带宽，提高了传输视频流的速度。

可选地，智能机器人还包括：第一无线通信模块。

其中，第一无线通信模块可以是支持WIFI(Wireless Fidelity，无线保真)的通信设备，示例性地，可以是与第二无线通信模块，也就是基站主站进行通信连接的基站从站，本申请在此不做限定。

可选地，对多个视频流进行拼接处理，得到目标视频流之后，还包括：通过第一无线通信模块将目标视频流发送至与第一无线通信模块通信连接的第二无线通信模块。

点对点基站中的第一无线通信模块与第二无线通信模块，也可以是其他支持WIFI路由功能的设备，本申请在此不做限定。

可选地，上述基站从站设置在智能机器人本体上，通过WIFI与第二无线通信模块相连接，实现了智能机器人通过第一无线通信模块与第二无线通信模块的通信连接。这样，智能机器人的第一无线通信模块将目标视频流发送至第二无线通信模块，第二无线通信模块可以响应于客户端的播放请求，将目标视频流转发至客户端。客户端可以通过流媒体播放器播放该目标视频流。

在本实施例中，点对点基站作为移动通信的补充通信方式，够在4G网络状况较差或者现场调试时，保证目标视频流的传输。

请参阅图10，本申请实施例还提供了一种视频拼接处理装置10，该装置包括：

获取模块1001，用于获取由多个图像采集装置实时采集的多个视频流，每个视频流中包括多帧图像。

处理模块1002，用于对多个视频流进行拼接处理，得到目标视频流，目标视频流包括多帧目标图像，每帧目标图像包括多个图像采集装置所对应的多个视角下的图像。

处理模块1002具体还用于，将目标视频流实时发送给目标设备。

可选地，处理模块1002具体还用于：

对各视频流分别进行解码，得到各视频流对应的二进制码流。对各视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流。将拼接后的二进制码流进行编码和封装，得到目标视频流。

可选地，处理模块1002具体还用于：

根据各视频流对应的二进制码流中头文件的时间标识，将各视频流对应的二进制码流拆分为多个二进制图像组，每个二进制图像组中包括多个二进制子码流，各二进制子码流中头文件的时间标识相同。分别对各二进制图像组中的二进制子码流进行拼接，得到多个拼接后子码流。将多个拼接后子码流按照时间标识进行组合处理，得到拼接后的二进制码流。

可选地，处理模块1002具体还用于：

确定第一二进制图像组中各二进制子码流的特征点。将各二进制子码流的特征点进行匹配，得到特征点之间的映射关系。根据特征点之间的映射关系，将各二进制子码流进行叠加以及融合处理，得到第一二进制图像组对应的拼接后的子码流。

可选地，处理模块1002具体还用于：

将各视频流对应的二进制码流中头文件中的分辨率调整为预设的分辨率。

可选地，处理模块1002具体还用于：

对拼接后的二进制码流进行编码，得到编码后的二进制码流。对编码后的二进制码流进行封装，得到目标视频流。

可选地，处理模块具体1002还用于：

通过第一无线通信模块将目标视频流发送至与第一无线通信模块通信连接的第二无线通信模块。

可选地，本申请实施例还提供一种智能机器人，如图11所示，该处理设备包括：处理器2001、存储器2002、多个图像采集装置2003、多个移动通信装置2004和总线，上述图像采集装置2003，用于实时采集的多个视频流，每个视频流中包括多帧图像，移动通信装置2004用于发送目标视频流，存储器2002存储有处理器2001可执行的机器可读指令，当该智能机器人运行时，处理器2001与各所述图像采集装置2003、各移动通信装置2004以及存储器2002之间通过总线通信，处理器2001执行上述机器可读指令，以执行前述实施例中的视频拼接处理方法的步骤。

存储器2002、处理器2001以及总线各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。视频拼接处理装置包括至少一个可以软件或固件(firmware)的形式存储于存储器2002中或固化在处理设备的操作系统(operating system，OS)中的软件功能模块。处理器2001用于执行存储器2002中存储的可执行模块，例如视频拼接处理装置所包括的软件功能模块及计算机程序等。

其中，存储器2002可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种视频拼接处理方法，其特征在于，应用于智能机器人，所述智能机器人包括多个图像采集装置以及多个移动通信装置，所述方法包括：

获取由所述多个图像采集装置实时采集的多个视频流，每个视频流中包括多帧图像；

对所述多个视频流进行拼接处理，得到目标视频流，所述目标视频流包括多帧目标图像，每帧目标图像包括所述多个图像采集装置所对应的多个视角下的图像；

将所述目标视频流经由至少一个所述移动通信装置实时发送给目标设备。

2.根据权利要求1所述的视频拼接处理方法，其特征在于，所述对所述多个视频流进行拼接处理，得到目标视频流，包括：

对各所述视频流分别进行解码，得到各所述视频流对应的二进制码流；

对各所述视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流；

将所述拼接后的二进制码流进行编码和封装，得到所述目标视频流。

3.根据权利要求2所述的视频拼接处理方法，其特征在于，所述对各所述视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流，包括：

根据各所述视频流对应的二进制码流中头文件的时间标识，将各所述视频流对应的二进制码流拆分为多个二进制图像组，每个二进制图像组中包括多个二进制子码流，各二进制子码流中头文件的时间标识相同；

分别对各二进制图像组中的二进制子码流进行拼接，得到多个拼接后子码流；

将所述多个拼接后子码流按照所述时间标识进行组合处理，得到所述拼接后的二进制码流。

4.根据权利要求3所述的视频拼接处理方法，其特征在于，所述分别对各二进制图像组中的二进制子码流进行拼接，得到多个拼接后子码流，包括：

确定第一二进制图像组中各二进制子码流的特征点；

将各二进制子码流的特征点进行匹配，得到特征点之间的映射关系；

根据所述特征点之间的映射关系，将各二进制子码流进行叠加以及融合处理，得到所述第一二进制图像组对应的拼接后的子码流。

5.根据权利要求2所述的视频拼接处理方法，其特征在于，所述对各所述视频流对应的二进制码流进行拼接处理，得到拼接后的二进制码流之前，还包括：

将各所述视频流对应的二进制码流中头文件中的分辨率调整为预设的分辨率。

6.根据权利要求2所述的视频拼接处理方法，其特征在于，所述将所述拼接后的二进制码流进行编码和封装，得到所述目标视频流，包括：

对所述拼接后的二进制码流进行编码，得到编码后的二进制码流；

对所述编码后的二进制码流进行封装，得到所述目标视频流。

7.根据权利要求1所述的视频拼接处理方法，其特征在于，所述智能机器人还包括：第一无线通信模块；

所述对所述多个视频流进行拼接处理，得到目标视频流之后，还包括：

通过所述第一无线通信模块将所述目标视频流发送至与所述第一无线通信模块通信连接的第二无线通信模块。

8.一种视频拼接处理装置，其特征在于，所述装置包括：

获取模块，用于获取由所述多个图像采集装置实时采集的多个视频流，每个视频流中包括多帧图像；

处理模块，用于对所述多个视频流进行拼接处理，得到目标视频流，所述目标视频流包括多帧目标图像，每帧目标图像包括所述多个图像采集装置所对应的多个视角下的图像；

所述处理模块具体还用于，将所述目标视频流实时发送给服务器。

9.一种智能机器人，其特征在于，所述智能机器人包括：

处理器、存储器、多个图像采集装置、多个移动通信装置和总线，所述图像采集装置，用于实时采集的多个视频流，每个视频流中包括多帧图像，所述移动通信装置用于发送目标视频流，所述存储器存储有所述处理器可执行的机器可读指令，当所述智能机器人运行时，所述处理器与各所述图像采集装置、各所述移动通信装置以及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任一项所述的视频拼接处理方法的步骤。

10.一种视频拼接处理系统，其特征在于，所述系统包括：权利要求9所述的智能机器人以及目标设备；

所述目标设备与所述智能机器人通信连接，所述目标设备用于从所述智能机器人获取视频流。

Images