CN113660540A - 图像信息处理方法、系统、显示方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种图像信息处理方法、系统、显示方法、装置及存储介质，属于数据处理的技术领域，图像信息处理方法应用于网关控制器，网关控制器与多个摄像头通信连接,该方法包括：获取每个摄像头的标识并生成信息文件，提取每个摄像头采集的图像信息，根据图像信息，结合信息文件，得到每个摄像头对应的话题，将多个摄像头对应的话题融合成话题数据包并进行缓存，使得单个话题数据包中包括多个摄像头所采集的图像信息，以能够通过获取单个话题数据包来同时获取多个摄像头的视频图像，从而减少资源耗费。

Description

图像信息处理方法、系统、显示方法、装置及存储介质

技术领域

本发明涉及数据处理的领域，尤其是涉及一种图像信息处理方法、系统、显示方法、装置及存储介质。

背景技术

视频监控是安全防范系统的重要组成部分，完整的视频监控系统是由摄像、传输、控制、显示、记录登记五大部分组成。摄像机通过网络线缆或同轴视频电缆将视频图像传输到控制主机，控制主机再将视频信号分配到各监视器及路线设备，同时可将需要传输的语音信号同步录入到录像机内。

目前，多个摄像头之间通过局部网络连接在一起，使得可以通过一路实时流传输协议（Real Time Streaming Protocol，RTSP）流进行近实时访问，但是每次只能访问一个摄像头，不能同时访问多个摄像头。如果需要同时访问多个摄像头，则需要连接多路RTSP流服务，资源耗费较大。

发明内容

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

本发明的目的包括，提供一种图像信息处理方法、系统、显示方法、装置及存储介质，以能够改善现有技术中同时获取多个摄像头的监控视频时，需要在流媒体服务器和摄像头之间建立多条链路，而导致资源耗费较大的问题。

第一方面，本发明提供一种图像信息处理方法，采用如下的技术方案。

一种图像信息处理方法，应用于网关控制器，所述网关控制器与多个摄像头通信连接,所述方法包括：

获取每个所述摄像头的标识并生成信息文件；

提取每个所述摄像头采集的图像信息；

根据所述图像信息，结合所述信息文件，得到每个所述摄像头对应的话题；

将多个所述摄像头对应的话题融合成话题数据包并进行缓存。

在一种可行的实施方式中，所述将多个所述摄像头对应的话题融合成话题数据包并进行缓存的步骤，包括：

将多个所述摄像头对应的话题融合成话题数据包并进行发布；

订阅所述话题数据包，获取所述话题数据包的帧数据；

将所述话题数据包的帧数据推到所述网关控制器的缓存区。

在一种可行的实施方式中，所述订阅所述话题数据包，获取所述话题数据包的帧数据的步骤，包括：

订阅所述话题数据包，以触发gstreamer信号；

当所述gstreamer信号触发时，发射push-buffer到appsrc上，以使所述appsrc上的gst-rtsp-server的类实体通过interpipesink到interpipesrc获取所述话题数据包的帧数据。

在一种可行的实施方式中，所述将所述话题数据包的帧数据推到所述网关控制器的缓存区的步骤，包括：

将所述话题数据包的帧数据以gst_rtsp_media_factory推到所述网关控制器的缓存区。

在一种可行的实施方式中，所述获取每个所述摄像头的标识并生成信息文件的步骤，包括：

运行所述多个摄像头的驱动程序，获取每个所述摄像头的标识；

统计所述摄像头的个数；

根据所述每个所述摄像头的标识和所述摄像头的个数，生成所述信息文件。

在一种可行的实施方式中，所述根据所述图像信息，结合所述信息文件，得到每个所述摄像头对应的话题的步骤，包括：

根据所述摄像头的个数，建立所述话题的个数，所述话题的个数与所述摄像头的个数一样；

将所述每个所述摄像头采集的图像信息存放至每个所述话题的数据结构体中；

读取所述信息文件，提取所述每个所述摄像头的标识，并根据所述标识，将所述每个所述摄像头的标识存放至对应的所述每个所述话题的数据结构体中。

在一种可行的实施方式中，所述网关控制器上搭载有ROS；

所述将多个所述摄像头对应的话题融合成话题数据包的步骤，包括：

采用ROS信息融合技术，对每个所述摄像头对应的话题进行融合形成话题数据包。

在一种可行的实施方式中，所述提取每个所述摄像头采集的图像信息的步骤，包括：

每间隔预设周期，提取每个所述摄像头在所述预设周期内采集的图像信息；

所述根据所述图像信息，结合所述信息文件，得到每个摄像头对应的话题的步骤，包括：

每间隔所述预设周期，根据每个所述摄像头在所述预设周期内采集的所述图像信息，结合所述信息文件，得到每个所述摄像头对应的话题。

第二方面，本发明提供一种图像信息显示方法，采用如下的技术方案。

一种图像信息显示方法，应用于客户端，所述客户端与网关控制器通信连接，所述方法包括：

获取缓存在所述网关控制器的话题数据包，所述话题数据包包括多个摄像头对应的话题，每个所述摄像头对应的话题是根据每个所述摄像头采集的图像信息和每个所述摄像头的标识生成的信息文件获得的；

解析所述话题数据包，以根据每个所述摄像头的标识获取每个所述摄像头对应的图像信息并在所述客户端的显示器进行显示。

在一种可行的实施方式中，所述获取缓存在所述网关控制器的话题数据包的步骤之前，所述方法还包括：

向所述网关控制器发送图像信息显示请求；

当所述图像信息显示请求通过后，获取缓存在所述网关控制器的话题数据包。

在一种可行的实施方式中，所述客户端通过TCP/IP连接所述网关控制器。

第三方面，本发明提供一种图像信息处理系统，采用如下的技术方案。

一种图像信息处理系统，包括网关控制器、客户端和多个摄像头，所述网关控制器包括智能网关和流服务器，所述智能网关分别与所述流服务器和所述多个摄像头通信连接，所述流服务器与所述客户端通信连接；其中：

各所述摄像头，用于实时采集各监控区域的图像信息；

所述智能网关，用于获取每个所述摄像头的标识并生成信息文件，提取每个所述摄像头采集的图像信息，并根据所述图像信息和信息文件，得到每个所述摄像头对应的话题，将多个所述摄像头对应的话题融合成话题数据包，将所述话题数据包进行发布；

所述流服务器，用于订阅所述话题数据包并进行缓存；

所述客户端，用于获取所述缓存在所述流服务器的所述话题数据包，解析所述话题数据包，从而根据每个所述摄像头的标识获取到每个所述摄像头对应的图像信息并发送至所述客户端的显示器进行显示。

第四方案，本发明提供一种图像信息处理装置，采用如下的技术方案。

一种图像信息处理装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的方法。

第五方面，本发明提供一种存储介质，采用如下的技术方案。

一种存储介质，所述存储介质包括计算机程序，所述计算机程序运行时控制所述存储介质所在的电子设备执行第一方面所述的方法。

第六方面，本发明提供一种图像信息显示装置，采用如下的技术方案。

一种图像信息显示装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第二方面所述的方法。

第七方面，本发明提供一种存储介质，所述存储介质包括计算机程序，所述计算机程序运行时控制所述存储介质所在的电子设备执行第二方面所述的方法。

本发明实施方式的有益效果包括，例如：

通过本发明提供的应用于网关控制器的图像信息处理方法，通过获取每个摄像头的标识后生成的信息文件，以及提取的每个摄像头所采集的图像信息，得到每个摄像头对应的话题，即将每个摄像头采集的图像信息转换成话题的形式，并将各摄像头对应的多个话题融合成话题数据包后进行缓存，以能够通过获取单个话题数据包来同时获取多个摄像头的视频图像，单个话题数据包无需借助多条服务链路获取，极大地改善了现有技术中同时获取多个摄像头的监控视频时，需要在流媒体服务器和摄像头之间建立多条链路，而导致资源耗费较大的问题。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施方式，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为一种实施方式提供的图像信息处理系统的方框结构示意图。

图2为一种实施方式提供的图像信息处理方法的流程示意图。

图3为图2中步骤S110的一种子步骤的流程示意图。

图4为图2中步骤S130的一种子步骤的流程示意图。

图5为图2中步骤S140的一种子步骤的流程示意图。

图6为图5中步骤S142的一种子步骤的流程示意图。

图7为一种实施方式中网关控制器的方框结构示意图。

图8为一种实施方式提供的图像信息显示方法的流程示意图。

图9为一种实施方式提供的客户端的方框结构示意图。

图10为一种实施方式提供的图像信息处理装置的方框结构示意图。

图11为一种实施方式提供的图像信息显示装置的方框结构示意图。

附图标记说明：001-客户端；002-网关控制器；003-流服务器；004-智能网关；005-摄像头；006-获取模块；007-图像提取模块；008-话题生成模块；009-融合缓存模块；010-请求发送模块；011-数据包获取模块；012-图像显示模块。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本发明实施方式的组件可以以各自不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下获得的所有其他实施方式，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参考图1，本发明提供了一种图像信息处理系统。该图像信息处理系统包括网关控制器002、客户端001和多个摄像头005，网关控制器002包括智能网关004和流服务器003，智能网关004分别与流服务器003以及多个摄像头005通信连接，且流服务器003与客户端001通信连接。

各摄像头005，用于实时采集各监控区域的图像信息。

智能网关004，用于获取每个摄像头005的标识并生成信息文件，提取每个摄像头005采集的图像信息，并根据图像信息和信息文件，得到每个摄像头005对应的话题，将多个摄像头005对应的话题融合成话题数据包，将话题数据包进行发布。

流服务器003，用于订阅话题数据包并进行缓存。

客户端001，用于获取缓存在流服务器003的话题数据包，解析话题数据包，从而根据每个摄像头005的标识获取到每个摄像头005对应的图像信息并发送至客户端001的显示器进行显示。

上述图像信息处理系统中，智能网关004获取各摄像头005的标识和摄像头005的个数，以结合提取的各摄像头005采集的图像信息，得到每个摄像头005对应的话题，即将图像信息转换成话题，各摄像头005对应的多个话题融合成话题数据包之后，将话题数据包进行实时发布，以实现多摄像头005的监控视频同步发布。流服务器003无需建立多条服务链路，即可订阅话题数据包，并将话题数据包进行缓存。客户端001获取并解析流服务器003上缓存的话题数据包，使得客户端001上的显示器能够根据每个摄像头005的标识显示每个摄像头005对应的图像信息，极大地改善了现有技术中同时获取多个摄像头005的监控视频时，需要在流媒体服务器和摄像头005之间建立多条链路，而导致资源耗费较大的问题。

在上述基础上，在一种实施方式中，如图2所示，为本发明提供一种图像信息处理方法的流程示意图。该图像信息处理方法应用于网关控制器002，已知该网关控制器002与多个摄像头005通信连接。

S110，获取每个摄像头的标识并生成信息文件。

S120，提取每个摄像头采集的图像信息。

S130，根据图像信息，结合信息文件，得到每个摄像头对应的话题。

S140，将多个摄像头对应的话题融合成话题数据包并进行缓存。

具体地，网关控制器002在每次启动时（此时，图像信息处理还没有开始），网关控制器002预先获取每个摄像头005的标识并生成信息文件。当图像信息处理开始时，网关控制器002实时提取各摄像头005所采集的图像信息，并根据图像信息和信息文件，得到每个摄像头005对应的话题，即将图像信息转换为话题的形式。得到话题后，网关控制器002将多个摄像头005对应的话题，即多个话题，融合成一个话题数据包，并将该话题数据包进行缓存，以使客户端001通过获取该话题数据包即可得到各摄像头005对应的图像信息。

单个话题数据包无需借助多条服务链路就可获取，极大地改善了现有技术中同时获取多个摄像头005的监控视频时，需要在流媒体服务器和摄像头005之间建立多条链路，而导致资源耗费较大的问题。

需要说明的是，步骤S110可以在网关控制器002每次启动时进行，在之后的图像信息融合成话题以及话题数据包的过程中无需每次都执行。且，也可以在固定的时间间隔内获取一次信息文件。

网关控制器002中预先安装有摄像头005的驱动程序。在此基础上，如图3所示，为上述步骤S110的一种子步骤的流程示意图。

S111, 运行多个摄像头的驱动程序，获取每个摄像头的标识。

具体地，网关控制器002通过运行多个摄像头005的驱动程序，获取每个摄像头005的标识。

S112，统计摄像头的个数。

具体地，网关控制器002可以通过标识个数统计摄像头005的个数，也可以通过驱动程序统计摄像头005的个数。

S113，根据每个摄像头的标识和摄像头的个数，生成信息文件。

即，信息文件包括摄像头005的个数以及每个摄像头005的标识。

其中，可以为网关控制器002上的智能网关004通过运行多个摄像头005的驱动程序，遍历各个摄像头005的设备信息，得到每个摄像头005的标识。

在其他实施方式中，也可以是，摄像头005主动将标识发送至智能网关004。还可以是，人工往智能网关004内输入每个摄像头005的标识。

并且，每个摄像头005的标识可以为摄像头005的ID，也可以为摄像头005的唯一属性中的任一个属性。

基于上述内容，如图4所示，提供步骤S130的一种子步骤。该子步骤的执行主体可以为网关控制器002本身，也可以为网关控制器002中的智能网关004。

S131，根据摄像头的个数，建立话题的个数。

其中，话题的个数与摄像头的个数一样。

S132，将每个摄像头采集的图像信息存放至每个话题的数据结构体中。

S133，读取信息文件，提取每个摄像头的标识，并根据标识，将每个摄像头的标识存放至对应的每个话题的数据结构体中。

以此，通过步骤S131-133得到每个摄像头005对应的话题（TOPIC）。

进一步地，为了实现话题融合，网关控制器002上可以搭载有ROS，步骤S140中的将多个摄像头005对应的话题融合成话题数据包并进行缓存的步骤，可以为：采用ROS信息融合技术，对每个摄像头005对应的话题进行信息融合，形成话题数据包。

在视频监控等场景中，是需要近实时获取所监控场景的图像信息的。因此，步骤S120可以为：每间隔预设周期，提取每个摄像头005在预设周期内采集的图像信息。

并且，步骤S130可以为：每间隔预设周期，根据每个摄像头005在预设周期内采集的图像信息，结合信息文件，得到每个摄像头005对应的话题。

预设周期与摄像头005的录像采集周期一致，所有摄像头005的录像采集周期可以都为同一个周期，每个摄像头005在录像采集周期内至少采集一次图像信息。需要说明的是，由于是视频监控系统，网关控制器002近实时得到摄像头005采集的图像信息，因此，录像采集周期可以小于1s。每生成一次话题，网关控制器002均会立即融合成一个话题数据包。

已知网关控制器002包括智能网关004和流服务器003，网关控制器002可以为集成有智能网关004和流服务器003功能的设备，也可以为由相互独立的智能网关004和流服务器003组成的设备。在此基础上，在一种实施方式中，如图5所示，为上述步骤S140的一种子步骤的流程示意图。

S141，将多个摄像头对应的话题融合成话题数据包并进行发布。

具体地，网关控制器002中的智能网关004将多个摄像头005对应的话题融合成话题数据包，并将话题数据包进行发布。在实时视频监控中，网关控制器002中的智能网关004将话题数据包实时进行发布。

S142，订阅话题数据包，获取话题数据包的帧数据。

具体地，网关控制器002中的流服务器003订阅智能网关004实时发布的话题是举报，以根据话题数据包获取话题数据包的帧数据。该帧数据为各摄像头005所采集的图像信息的帧数据。

S143，将话题数据包的帧数据推到网关控制器的缓存区。

具体地，流服务器003将获取的话题数据包的帧数据推送到网关控制器002的缓存区进行缓存。其中，该网关控制器002的缓存区可以为流服务器003的缓存区。

应当理解的是，话题数据包中每个摄像头005对应的话题会形成一组帧数据，即有几个摄像头005，得到的话题数据包的帧数据就有几组。

网关控制器002通过形成话题，进一步融合成话题数据包，并通过订阅话题数据包得到话题数据包对应的帧数据，即各个摄像头005所采集的图像信息的帧数据，并将得到的帧数据推到缓存区进行缓存，以能够使客户端001获取帧数据以进行播放。

接着，流服务器003上可以搭载有开源多媒体框架（Gstreamer），Gstreamer可以用来处理MP3、Ogg、MPEG1、MPEG2、AVI、Quicktime 等多种格式的多媒体数据。在此基础上，提供一种实施方式，如图6所示，为步骤S142的一种子步骤的流程图。

S201，订阅话题数据包，以触发gstreamer信号。

具体地，网关控制器002上的流服务器003订阅话题数据包，以触发gstreamer信号。即，只要网关控制器002上的流服务器003开始订阅话题数据包，则会一直触发gstreamer信号，直至订阅停止。

S202，当gstreamer信号触发时，发射push-buffer到appsrc上，以使appsrc上的gst-rtsp-server的类实体通过interpipesink到interpipesrc获取所述话题数据包的帧数据。

其中，appsrc为网关控制器002的流服务器003上搭载的Gstreamer的一个组件。具体地，当gstreamer信号触发时，流服务器003采用appsrc上的st-rtsp-server的类实体通过interpipesink到interpipesrc获取话题数据包的帧数据。

如此得到的帧数据是具有顺序且连续的帧数据，且顺序与各摄像头005采集图像信息的时间相关。

进一步地，步骤S143可以为：将话题数据包的帧数据以gst_rtsp_media_factory推到网关控制器002的缓存区。

采用Gstreamer来处理话题数据包中的图像信息，以获取帧数据。

与上述提供的图像信息处理方法对应的，如图7所示，提供一种与该方法对应的网关控制器002。该网关控制器002包括获取模块006、图像提取模块007、话题生成模块008以及融合缓存模块009。

获取模块006，用于获取每个摄像头005的标识并生成信息文件。

图像提取模块007，用于提取每个摄像头005采集的图像信息。

话题生成模块008，用于根据图像信息，结合信息文件，得到每个摄像头005对应的话题。

融合缓存模块009，将多个摄像头005对应的话题融合成话题数据包并进行缓存。

或者提供一种智能网关004和流服务器003，智能网关004包括获取模块006、图像提取模块007、话题生成模块008和融合发布模块。流服务器003包括订阅模块和缓存模块。

获取模块006、图像提取模块007和话题生成模块008与上述网关控制器002中的获取模块006、图像提取模块007和话题生成模块008功能一致。

融合发布模块，用于将多个摄像头005对应的话题融合成话题数据包并进行发布。

订阅模块，用于订阅话题数据包，获取话题数据包的帧数据。

缓存模块，用于将话题数据包的帧数据推到网关控制器002的缓存区。

在一种实施方式中，如图8所示，本发明还提供一种图像信息显示方法。该图像信息显示方法应用于客户端001，该客户端001可以为上述图像信息处理装置中的客户端001。该客户端001与上述内容中的网关控制器002通信连接。下述步骤S320和S330的执行主体均为该客户端001。

S320，获取缓存在网关控制器的话题数据包。

其中，话题数据包包括多个摄像头005对应的话题，每个摄像头005对应的话题是根据每个摄像头005采集的图像信息和每个摄像头005的标识生成的信息文件获得的。

并且缓存在网关控制器002的话题数据包实际为带有各摄像头005标识的多组帧数据的数据包。

S330，解析话题数据包，以根据每个摄像头的标识获取每个摄像头对应的图像信息并在客户端的显示器进行显示。

在上述图像信息显示方法中，客户端001通过获取缓存在网关控制器002中的话题数据包，即可获取各摄像头005所采集的图像信息的帧数据，即获取单个数据包即将获得多个摄像头005的帧数据。以能够减少资源耗费。

其中，该客户端001可以通过TCP /IP连接网关控制器002。

例如，客户端001（安装有小程序的平板）通过TCP/IP连接流服务器003的缓存区，调用URL为流服务器003的IP地址，8554为端口号，/test为interpipesrc源。客户端001获取缓存区内的话题数据包的帧数据（即多个TOPIC话题的帧数据），解析帧数据，解读到ID及其对应的图像信息，根据ID号把视频流放到各个视频播放器（小程序上的播放器）进行播放。

更为具体地，继续参照图8，该图像信息显示方法还包括S310和S320。该S310在S320之前执行。

S310，向网关控制器发送图像信息显示请求。

具体地，当用户点击某个视频播放器时，客户端001触发图像信息显示请求，并向网关控制器002发送该图像信息显示请求。

此时，320可以为当图像信息显示请求通过后，获取缓存在网关控制器002的话题数据包。

具体地，网关控制器002（或流服务器003）接收到客户端001发送的图像信息显示请求后，向客户端001推送缓存的最新的话题数据包。客户端001获取到该话题数据包。

应当理解的是，客户端001可以只播放一个摄像头005的图像信息，也可以播放多个摄像头005的图像信息。具体地，客户端001通过摄像头005的标识获取对应的图像信息的帧数据。

与上述提供的图像信息显示方法对应的，如图9所示，提供一种与该方法对应的客户端001。该客户端001安装有显示器。该客户端001包括请求发送模块010、数据包获取模块011和图像显示模块012。

请求发送模块010，用于向网关控制器002发送图像信息显示请求。

数据包获取模块011，用于获取缓存在网关控制器002的话题数据包。

图像显示模块012，用于解析话题数据包，以根据每个摄像头005的标识获取每个摄像头005对应的图像信息并在所述客户端001的显示器进行显示。

关于网关控制器002以及客户端001的具体限定可以参见上文中对于图像信息处理方法和图像信息显示方法的限定，在此不再赘述。上述图像信息处理方法和图像信息显示方法中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施方式中，提供了一种图像信息处理装置和图像信息显示装置，该图像信息处理装置和图像信息显示装置可以是服务器，其内部结构图可以如图10和图11所示。其中，该图像信息处理装置和图像信息显示装置的处理器均用于提供计算和控制能力。该图像信息处理装置和图像信息显示装置的存储器均包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该图像信息处理装置和图像信息显示装置的数据库用于存储图像信息处理时以及图像信息显示时所产生的数据。该图像信息处理装置和图像信息显示装置的网络接口用于与外部的终端通过网络连接通信。该图像信息处理装置的计算机程序被处理器执行时以实现一种图像信息处理方法，该图像信息显示装置的计算机程序被处理器执行时以实现一种图像信息显示方法。

在一个实施方式中，提供了一种图像信息处理装置和图像信息显示装置，该图像信息处理装置和图像信息显示装置均可以是终端，它们的内部结构图可以如图10和图11所示。该图像信息处理装置和图像信息显示装置都包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，处理器用于提供计算和控制能力。存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信（NFC）或其他技术实现。图像信息处理装置的计算机程序被处理器执行时以实现一种图像信息处理方法，图像信息显示装置的计算机程序被处理器执行时实现一种图像信息显示方法。显示屏可以是液晶显示屏或者电子墨水显示屏，输入装置可以是显示屏上覆盖的触摸层，也可以是外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10和图11中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的图像信息处理装置和图像信息显示装置的限定，具体的图像信息处理装置和图像信息显示装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施方式中，本发明提供的网关控制器002可以实现为一种计算机程序的形式，计算机程序可在如图10所示的图像信息处理装置上运行。图像信息处理装置的存储器中可存储组成该网关控制器002的各个程序模块，比如，图7所示的获取模块006、图像提取模块007、话题生成模块008以及融合缓存模块009。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本发明各个实施方式的图像信息处理方法中的步骤。

例如，图10所示的图像信息处理装置可以通过如图7所示的网关控制器002中的获取模块006执行步骤S110。图像信息处理装置可通过图像提取模块007执行步骤S120。图像信息处理装置可通过话题生成模块008执行步骤S130。图像信息处理装置可以通过融合缓存模块009执行步骤S140。

在一个实施方式中，提供了一种图像信息处理装置，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取缓存在网关控制器002的话题数据包，话题数据包包括多个摄像头005对应的话题，每个摄像头005对应的话题是根据每个摄像头005采集的图像信息和每个摄像头005的标识生成的信息文件获得的；解析话题数据包，以根据每个摄像头005的标识获取每个摄像头005对应的图像信息并在客户端001的显示器进行显示。

在一个实施方式中，处理器执行计算机程序时还实现以下步骤：将多个摄像头005对应的话题融合成话题数据包并进行发布；订阅话题数据包，获取话题数据包的帧数据；将话题数据包的帧数据推到网关控制器002的缓存区。

在一个实施方式中，处理器执行计算机程序时还实现以下步骤：根据摄像头005的个数，建立话题的个数，话题的个数与摄像头005的个数一样；将每个摄像头005采集的图像信息存放至每个话题的数据结构体中；读取信息文件，提取每个摄像头005的标识，并根据标识，将每个所述摄像头005的标识存放至对应的每个话题的数据结构体中。

在一个实施方式中，处理器执行计算机程序时还实现以下步骤：运行多个摄像头005的驱动程序，获取每个摄像头005的标识；统计摄像头005的个数；根据每个摄像头005的标识和摄像头005的个数，生成信息文件。

在一个实施方式中，提供了一种存储介质，包括计算机程序，计算机程序运行时控制存储介质所在的电子设备或图像信息处理装置执行时实现以下步骤：获取每个摄像头005的标识并生成信息文件；提取每个摄像头005采集的图像信息；根据图像信息，结合信息文件，得到每个摄像头005对应的话题；将多个摄像头005对应的话题融合成话题数据包并进行缓存。

在一个实施方式中，计算机程序被处理器执行时还实现以下步骤：将多个摄像头005对应的话题融合成话题数据包并进行发布；订阅话题数据包，获取话题数据包的帧数据；将话题数据包的帧数据推到网关控制器002的缓存区。

在一个实施方式中，计算机程序被处理器执行时还实现以下步骤：根据摄像头005的个数，建立话题的个数，话题的个数与摄像头005的个数一样；将每个摄像头005采集的图像信息存放至每个话题的数据结构体中；读取信息文件，提取每个摄像头005的标识，并根据标识，将每个所述摄像头005的标识存放至对应的每个话题的数据结构体中。

在一个实施方式中，计算机程序被处理器执行时还实现以下步骤：运行多个摄像头005的驱动程序，获取每个摄像头005的标识；统计摄像头005的个数；根据每个摄像头005的标识和摄像头005的个数，生成信息文件。

在一个实施方式中，本发明提供的客户端001可以实现为一种计算机程序的形式，计算机程序可在如图11所示的图像信息显示装置上运行。图像信息显示装置的存储器中可存储组成该客户端001的各个程序模块，比如，图9所示的请求发送模块010、数据包获取模块011和图像显示模块012。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本发明各个实施方式的图像信息处理方法中的步骤。

还例如，图11所示的图像信息显示装置可以通过如图9所示的客户端001的请求发送模块010执行步骤S310。图像信息处理装置可通过数据包获取模块011执行步骤S320。图像信息处理装置可通过图像显示模块012执行步骤S330。

在一个实施方式中，提供了一种图像信息显示装置，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取缓存在所述网关控制器002的话题数据包，话题数据包包括多个摄像头005对应的话题，每个摄像头005对应的话题是根据每个摄像头005采集的图像信息和每个摄像头005的标识生成的信息文件获得的；解析话题数据包，以根据每个摄像头005的标识获取每个摄像头005对应的图像信息并在客户端001的显示器进行显示。

在一个实施方式中，处理器执行计算机程序时还实现以下步骤：向网关控制器002发送图像信息显示请求；当图像信息显示请求通过后，获取缓存在网关控制器002的话题数据包。

在一个实施方式中，提供了一种存储介质，包括计算机程序，计算机程序运行时控制存储介质所在的电子设备或图像信息显示装置执行时实现以下步骤：获取缓存在所述网关控制器002的话题数据包，话题数据包包括多个摄像头005对应的话题，每个摄像头005对应的话题是根据每个摄像头005采集的图像信息和每个摄像头005的标识生成的信息文件获得的；解析话题数据包，以根据每个摄像头005的标识获取每个摄像头005对应的图像信息并在客户端001的显示器进行显示。

在一个实施方式中，计算机程序被处理器执行时还实现以下步骤：向网关控制器002发送图像信息显示请求；当图像信息显示请求通过后，获取缓存在网关控制器002的话题数据包。

在本发明所提供的几个实施方式中，应该理解到，所揭露的装置、系统图和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本发明的可选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种图像信息处理方法，其特征在于，应用于网关控制器，所述网关控制器与多个摄像头通信连接,所述方法包括：

获取每个所述摄像头的标识并生成信息文件；

提取每个所述摄像头采集的图像信息；

根据所述图像信息，结合所述信息文件，得到每个所述摄像头对应的话题；

将多个所述摄像头对应的话题融合成话题数据包并进行缓存。

2.根据权利要求1所述的方法，其特征在于，所述将多个所述摄像头对应的话题融合成话题数据包并进行缓存的步骤，包括：

将多个所述摄像头对应的话题融合成话题数据包并进行发布；

订阅所述话题数据包，获取所述话题数据包的帧数据；

将所述话题数据包的帧数据推到所述网关控制器的缓存区。

3.根据权利要求2所述的方法，其特征在于，所述订阅所述话题数据包，获取所述话题数据包的帧数据的步骤，包括：

订阅所述话题数据包，以触发gstreamer信号；

当所述gstreamer信号触发时，发射push-buffer到appsrc上，以使所述appsrc上的gst-rtsp-server的类实体通过interpipesink到interpipesrc获取所述话题数据包的帧数据。

4.根据权利要求3所述的方法，其特征在于，所述将所述话题数据包的帧数据推到所述网关控制器的缓存区的步骤，包括：

将所述话题数据包的帧数据以gst_rtsp_media_factory推到所述网关控制器的缓存区。

5.根据权利要求1所述的方法，其特征在于，所述获取每个所述摄像头的标识并生成信息文件的步骤，包括：

运行所述多个摄像头的驱动程序，获取每个所述摄像头的标识；

统计所述摄像头的个数；

根据所述每个所述摄像头的标识和所述摄像头的个数，生成所述信息文件。

6.根据权利要求5所述的方法，其特征在于，所述根据所述图像信息，结合所述信息文件，得到每个所述摄像头对应的话题的步骤，包括：

根据所述摄像头的个数，建立所述话题的个数，所述话题的个数与所述摄像头的个数一样；

将所述每个所述摄像头采集的图像信息存放至每个所述话题的数据结构体中；

读取所述信息文件，提取所述每个所述摄像头的标识，并根据所述标识，将所述每个所述摄像头的标识存放至对应的所述每个所述话题的数据结构体中。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述网关控制器上搭载有ROS；

所述将多个所述摄像头对应的话题融合成话题数据包的步骤，包括：

采用ROS信息融合技术，对每个所述摄像头对应的话题进行融合形成话题数据包。

8.根据权利要求7所述的方法，其特征在于，所述提取每个所述摄像头采集的图像信息的步骤，包括：

每间隔预设周期，提取每个所述摄像头在所述预设周期内采集的图像信息；

所述根据所述图像信息，结合所述信息文件，得到每个摄像头对应的话题的步骤，包括：

每间隔所述预设周期，根据每个所述摄像头在所述预设周期内采集的所述图像信息，结合所述信息文件，得到每个所述摄像头对应的话题。

9.一种图像信息显示方法，其特征在于，应用于客户端，所述客户端与网关控制器通信连接，所述方法包括：

获取缓存在所述网关控制器的话题数据包，所述话题数据包包括多个摄像头对应的话题，每个所述摄像头对应的话题是根据每个所述摄像头采集的图像信息和每个所述摄像头的标识生成的信息文件获得的；

解析所述话题数据包，以根据每个所述摄像头的标识获取每个所述摄像头对应的图像信息并在所述客户端的显示器进行显示。

10.根据权利要求9所述的方法，其特征在于，所述获取缓存在所述网关控制器的话题数据包的步骤之前，所述方法还包括：

向所述网关控制器发送图像信息显示请求；

当所述图像信息显示请求通过后，获取缓存在所述网关控制器的话题数据包。

11.根据权利要求9或10所述的方法，其特征在于，所述客户端通过TCP/IP连接所述网关控制器。

12.一种图像信息处理系统，其特征在于，包括网关控制器、客户端和多个摄像头，所述网关控制器包括智能网关和流服务器，所述智能网关分别与所述流服务器和所述多个摄像头通信连接，所述流服务器与所述客户端通信连接；其中，

各所述摄像头，用于实时采集各监控区域的图像信息；

所述智能网关，用于获取每个所述摄像头的标识并生成信息文件，提取每个所述摄像头采集的图像信息，并根据所述图像信息和信息文件，得到每个所述摄像头对应的话题，将多个所述摄像头对应的话题融合成话题数据包，将所述话题数据包进行发布；

所述流服务器，用于订阅所述话题数据包并进行缓存；

所述客户端，用于获取所述缓存在所述流服务器的所述话题数据包，解析所述话题数据包，从而根据每个所述摄像头的标识获取到每个所述摄像头对应的图像信息并发送至所述客户端的显示器进行显示。

13.一种图像信息处理装置，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的方法。

14.一种存储介质，其特征在于，所述存储介质包括计算机程序，所述计算机程序运行时控制所述存储介质所在的电子设备执行权利要求1至8任一项所述的方法。

15.一种图像信息显示装置，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求9至11任一项所述的方法。

16.一种存储介质，其特征在于，所述存储介质包括计算机程序，所述计算机程序运行时控制所述存储介质所在的电子设备执行权利要求9至11任一项所述的方法。

Images