CN102510542A - 智能分析系统及用于智能分析的装置和方法 - Google Patents

Abstract

本发明提供了一种智能分析系统及用于智能分析的装置和方法。本发明在智能事件产生时，会由前端设备将智能事件信息封装至码流中；由于智能事件信息所对应的智能事件即用来表示有效多媒体内容的开始或结束，因此，分析服务器只要依据智能实现信息启动或停止对多媒体数据的解码以及解码后的智能分析，就能够有选择性地仅针对包含有效多媒体内容的多媒体数据进行解码及分析，从而，既能够确保对有效多媒体内容进行智能分析，又能够降低分析服务器的负担、并提高分析服务器所能够支持的码流数量。

Description

智能分析系统及用于智能分析的装置和方法

技术领域

本发明涉及智能分析技术，特别涉及一种智能分析系统、以及用于智能分析的装置和方法。

背景技术

在现有的智能分析系统中，通常都是由前端设备对连续采集到的多媒体原始信息进行编码、并将编码得到的连续的多媒体数据顺序封装至码流中发送至后端的分析服务器，再由后端的分析服务器对接收到的码流进行解析、并对解析出的多媒体数据进行解码以及对解码后得到的多媒体原始信息进行智能分析。其中，本文所述的多媒体原始信息可以是音频和/或图像等，相应地，多媒体数据就是音频数据和/或视频数据。

但是，前端设备采集到的所有多媒体原始信息中，通常只有一部分会包含需要关注的有效多媒体内容、而另一部分则仅包含无需关注的无效多媒体内容，因此，分析服务器对每一多媒体数据均进行解码以及分析，就导致分析服务器会无谓地针对无效多媒体内容进行解码以及分析，从而就无谓地增加了分析服务器的负担、并使分析服务器所能够支持的码流数量降低。

发明内容

有鉴于此，本发明提供一种智能分析系统、以及用于智能分析的装置和方法。

本发明提供的一种智能分析系统，包括：

前端设备，对采集到的多媒体原始信息进行编码、并将编码得到的多媒体数据封装至码流中，以及，若有智能事件产生，则还将对应的智能事件信息封装至所述码流中；

分析服务器，对接收到的所述码流进行解析，以及，若从所述码流中解析出所述智能事件信息，则依据所述智能事件信息启动或停止对解析出的所述多媒体数据的解码以及解码后的智能分析。

本发明提供的一种用于智能分析的装置，该装置承载于前端设备中、并包括：

信息采集模块，用于采集多媒体原始信息；

数据编码模块，用于对采集到的多媒体原始信息进行编码并得到多媒体数据；

事件信息模块，用于在有智能事件产生时生成对应的智能事件信息；

码流打包模块，用于将接收到的所述多媒体数据封装至码流中，以及，若还接收到所述智能事件信息，则将所述智能事件信息封装至所述码流中。

本发明提供的另一种用于智能分析的装置，该装置承载于分析服务器中、并包括：

码流解析模块，用于对接收到的码流进行解析；

码流分析模块，用于判断是否从所述码流中解析出了智能事件信息，若是，则依据所述智能事件信息启动或停止数据解码模块和智能分析模块；

所述数据解码模块，用于对从所述码流中解析出的所述多媒体数据进行解码；

所述智能分析模块，用于对解码得到的多媒体原始信息进行分析。

本发明提供的一种用于智能分析的方法，该方法应用于前端设备中、并包括：

采集多媒体原始信息；

对采集到的多媒体原始信息进行编码并得到多媒体数据；

在有智能事件产生时生成对应的智能事件信息；

将接收到的所述多媒体数据封装至码流中，以及，若还接收到所述智能事件信息，则将所述智能事件信息封装至所述码流中。

本发明提供的另一种用于智能分析的方法，该方法应用于分析服务器中、并包括：

对接收到的码流进行解析；

判断是否从所述码流中解析出了智能事件信息，若是，则依据所述智能事件信息启动或停止对解析出的所述多媒体数据的解码以及解码后的智能分析。

对于上述的系统、装置、以及方法，优选地：

所述码流为TS流、所述智能事件信息被封装在所述TS流的任意包中，其中，在所述TS流的封装有所述智能事件信息的包中：包头中的PID字段被设定为用于标识所述智能事件信息的特定值；数据区中携带所述智能事件信息；

或者，所述码流为PS流、所述智能事件信息被封装在所述PS流的任意包中，其中，在所述PS流的封装有所述智能事件信息的包中：包头中的流类型字段被设定为用于标识所述智能事件信息的特定值；载荷区中的数据封装包携带所述智能事件信息；

再或者，所述码流为RTP流、所述智能事件信息被封装在所述RTP流的任意包中，其中，在所述RTP流的封装有所述智能事件信息的包中：包头中的载荷类型字段被设定为用于标识所述智能事件信息的特定值；载荷区携带所述智能事件信息。

如上可见，本发明在智能事件产生时，会由前端设备将智能事件信息封装至码流中；由于智能事件信息所对应的智能事件即用来表示有效多媒体内容的开始或结束，因此，分析服务器只要依据智能实现信息启动或停止对多媒体数据的解码以及解码后的智能分析，就能够有选择性地仅针对包含有效多媒体内容的多媒体数据进行解码及分析，从而，既能够确保对有效多媒体内容进行智能分析，又能够降低分析服务器的负担、并提高分析服务器所能够支持的码流数量。

而且，本发明的方案适用于多种码流。

附图说明

图1为本发明实施例中智能分析系统的架构示意图；

图2为如图1所示的智能分析系统中的前端设备的逻辑结构示意图；

图3为如图1所示的智能分析系统中的分析服务器的逻辑结构示意图；

图4为本发明实施例中在前端设备侧用于智能分析的方法的示例性流程示意图；

图5为本发明实施例中在分析服务器侧用于智能分析的方法的示例性流程示意图；

图6a至图6c分别为本发明实施例中基于三种码流实现封装的示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

所谓的有效多媒体内容，就是指智能分析所关注的场景内容。这些场景内容通常都是以对应的智能事件(例如车辆到达、车辆离开、发生地感、车档抬起、车档降下等)触发开始或结束，因而对应的智能事件即可用来表示有效多媒体内容的开始或结束。

基于此，本发明实施例中就利用智能事件来控制分析服务器，使分析服务器有选择性地仅对包含有效多媒体内容的多媒体数据进行解码及智能分析、而不是持续不断地针对所有多媒体数据均进行解码及智能分析。从而，既能够确保对有效多媒体内容进行智能分析，又能够降低分析服务器的负担、进而提高分析服务器所能够支持的码流数量。

图1为本发明实施例中智能分析系统的架构示意图。如图1所示，本发明实施例中的智能分析系统包括若干前端设备、以及至少一个分析服务器，所有的前端设备均通过网络与分析服务器相连、并通过网络向分析服务器传输码流。其中：

前端设备外接有音频传感器和/或相机、并连续采集音频传感器输出的音频和/或相机输出的图像，从而采集到多媒体原始信息；以及，对采集到的多媒体原始信息进行编码、并将编码得到的多媒体数据封装至码流中；

前端设备还外接有用于感测智能事件的感测器件、并检测感测器件是否感测到有智能事件产生，以及，在有智能事件产生时生成对应的智能事件信息，并将对应的智能事件信息封装至码流中。

需要说明是，码流是以连续的包构成的，那么，本文所述的将智能事件信息封装至码流中的过程实际上可以理解为将智能事件信息封装至码流的任意包中。后续对包进行解析，即查看包头信息和包数据区域信息，判断出是否包含有智能事件信息以及是何种智能事件。另外，由于智能事件信息是指示分析服务器是否需要启动或停止解码及分析功能的，因此，将智能事件信息封装至码流中的作用可以理解为在码流中承载对分析服务器的指示信息。

分析服务器通过网络接收来自前端设备的码流、并对接收到的码流进行解析，以及，若从码流中解析出智能事件信息，则依据智能事件信息启动或停止对码流中解析出的多媒体数据的解码、以及对解码得到的多媒体原始信息的分析。

可见，只要将智能事件信息传递至分析服务器、以及分析服务器的解码及分析功能可以依据智能事件信息而有选择性地启动和停止，就能够避免分析服务器持续不断地进行智能解码和分析，从而降低分析服务器的负担。

相应地，分析服务器中可以预先设定相应的策略，以针对不同的智能事件信息对应地执行启动和停止的操作。例如，假设智能事件信息表示汽车到达事件，则对应的操作就为启动，以便于通过对后续多媒体数据解码得到汽车到达后的原始图像、并从该原始图像中分析出汽车的车牌号码；再假设智能事件信息表示汽车离开事件，则对应的操作就为停止，这样，由于汽车离开后采集到的图像中不可能再包含有汽车的车牌号码，因此就能够避免无谓地对多媒体数据进行解码以及后续分析。

实际应用中，可以由本领域技术人员任意设定何种智能事件所对应的智能事件信息用于所述的启动以及如何启动、何种智能事件所对应的智能事件信息用于所述的停止以及如何停止，本文不再一一追述。

为了实现上述系统中的前端设备能够将智能事件信息传递至分析服务器、以及分析服务器可以依据智能事件信息有选择性地启动和停止解码及分析的功能，本发明实施例提供了分别承载于前端设备和分析服务器的逻辑装置。

图2为如图1所示的智能分析系统中的前端设备的逻辑结构示意图。如图2所示，承载于前端设备中、并用于智能分析的装置包括：

信息采集模块，用于采集多媒体原始信息(例如音频传感器输出的音频和/或相机输出的图像)；

数据编码模块，用于对采集到的多媒体原始信息进行编码并得到多媒体数据；

事件信息模块，用于检测感测器件是否感测到有智能事件产生，以及，在有智能事件产生时生成对应的智能事件信息；

码流打包模块，用于将接收自数据编码模块的多媒体数据封装至码流中，以及，若还从事件信息模块接收到智能事件信息，则将智能事件信息封装至码流中。

图3为如图1所示的智能分析系统中的分析服务器的逻辑结构示意图。如图3所示，承载于分析服务器中、并用于智能分析的装置包括：

码流解析模块，用于对接收到的码流进行解析；

码流分析模块，用于判断是否从码流中解析出了智能事件信息，若是，则依据智能事件信息启动或停止数据解码模块和智能分析模块；

数据解码模块，用于对从码流中解析出的多媒体数据进行解码；

智能分析模块，用于对解码得到的多媒体原始信息进行分析。

基于上述装置，本发明实施例相应地提供了用于智能分析的方法。

图4为本发明实施例中在前端设备侧用于智能分析的方法的示例性流程示意图。如图4所示的方法应用于前端设备、并包括：

步骤401，采集多媒体原始信息(例如音频传感器输出的音频和/或相机输出的图像)；

步骤402，对采集到的多媒体原始信息进行编码并得到多媒体数据；

步骤403，判断感测器件是否感测到有智能事件产生，若是则执行步骤404，否则执行步骤405；

步骤404，生成对应的智能事件信息、并将智能事件信息封装至码流中；

步骤405，将多媒体数据封装至码流中。

至此，上述流程结束。

图5为本发明实施例中在分析服务器侧用于智能分析的方法的示例性流程示意图。如图5所示的方法应用于分析服务器、并包括：

步骤501，对接收到的码流进行解析；

步骤502判断是否从码流中解析出了智能事件信息，若是，则执行步骤503，否则返回本步骤继续判断；

步骤503，依据智能事件信息启动或停止对解析出的多媒体数据的解码以及解码后的智能分析，然后返回步骤502继续判断。

至此，上述流程结束。

实际应用中，上述的系统、装置、以及方法可以利用任意一种码流来封装多媒体数据和智能事件信息，对于任意一种码流来说，封装多媒体数据的方式均可以采用现有方式，但由于现有技术中并未提供在各种码流中封装智能信息的方式，因此，本发明实施例还进一步提供了封装智能事件信息的具体方式，下面举例进行说明。

图6a至图6c分别为本发明实施例中基于三种码流实现封装的示意图。

如图6a所示，本发明实施例中可以利用第二代动态图像专家组(MovingPicture Exports Group，MPEG-2)所定义的传输流(Transport Stream，TS)来封装智能事件信息。

TS的每个包的长度均为固定的188字节，且每个包均包括有4字节的包头、以及总共184字节的适配区(可选)和数据区。其中，4字节的头信息中包含有包标识(Packet Identifier，PID)等信息，最大为184的数据区中则用于承载各种数据内容。

因此，在利用TS来封装智能事件信息时，前端设备(即码流打包模块)可以将包头中的PID字段设定为用于标识智能事件信息的特定值(例如0xA5)，并将智能事件信息携带于数据区中。这样，在分析服务器(即码流解析模块)实时解析码流的过程中，分析服务器(即码流分析模块)可以依据该PID字段的值是否为特定值来判断该包中是否携带有智能事件信息、并在判断出该包中携带有智能事件信息时直接从数据区获取到智能事件信息。

如图6b所示，本发明实施例中也可以利用MPEG-2所定义的节目流(Program Stream，PS)来封装智能事件信息。

PS的每个包的长度是可变的，且每个包均包括有一包头、一系统头(可选)、以及载荷区(Payload)。其中，包头中包含有流类型(Stream Type)等信息，载荷区包括若干数量的视频封装包、音频封装包、以及数据封装包。

因此，在利用PS来封装智能事件信息时，前端设备(即码流打包模块)可以将包头中的流类型字段设定为用于标识智能事件信息的特定值(例如0xA5)，并将智能事件信息携带于载荷区中的数据封装报内。这样，在分析服务器(即码流解析模块)实时解析码流的过程中，分析服务器(即码流分析模块)可以依据流类型字段的值是否为特定值来判断该包中是否携带有智能事件信息、并在判断出该包中携带有智能事件信息时直接从载荷区的数据封装包内获取到智能事件信息。

如图6c所示，本发明实施例中还可以利用实时传输协议(Real-time TransportProtocol，RTP)流来封装智能事件信息。

RTP流的每个包均包括包头和载荷区。其中，包头中包含有载荷类型(Payload Type)等信息，载荷区能够携带视频、音频等各种类型的数据内容。

因此，在利用RTP流来封装智能事件信息时，前端设备(即码流打包模块)可以将包头中的载荷类型字段设定为用于标识智能事件信息的特定值(例如0xA5)，并将智能事件信息携带于载荷区中。这样，在分析服务器(即码流解析模块)实时解析码流的过程中，分析服务器(即码流分析模块)可以依据载荷类型字段的值是否为特定值来判断该包中是否携带有智能事件信息、并在判断出该包中携带有智能事件信息时直接从载荷区获取到智能事件信息。

基于上述如图6a至图6c所给出的启示，本领域技术人员还可以利用其他类型的码流来封装智能事件信息，本文就不再一一列举。

上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种智能分析系统，其特征在于，包括：

前端设备，对采集到的多媒体原始信息进行编码、并将编码得到的多媒体数据封装至码流中，以及，若有智能事件产生，则还将对应的智能事件信息封装至所述码流中；

分析服务器，对接收到的所述码流进行解析，以及，若从所述码流中解析出所述智能事件信息，则依据所述智能事件信息启动或停止对解析出的所述多媒体数据的解码以及解码后的智能分析。

2.根据权利要求1所述的智能分析系统，其特征在于，

所述码流为TS流、所述智能事件信息被封装在所述TS流的任意包中，其中，在所述TS流的封装有所述智能事件信息的包中：包头中的PID字段被设定为用于标识所述智能事件信息的特定值，数据区中携带所述智能事件信息；

所述码流为PS流、所述智能事件信息被封装在所述PS流的任意包中，其中，在所述PS流的封装有所述智能事件信息的包中：包头中的流类型字段被设定为用于标识所述智能事件信息的特定值，载荷区中的数据封装包携带所述智能事件信息；

所述码流为RTP流、所述智能事件信息被封装在所述RTP流的任意包中，其中，在所述RTP流的封装有所述智能事件信息的包中：包头中的载荷类型字段被设定为用于标识所述智能事件信息的特定值，载荷区携带所述智能事件信息。

3.一种用于智能分析的装置，其特征在于，该装置承载于前端设备中、并包括：

信息采集模块，用于采集多媒体原始信息；

数据编码模块，用于对采集到的多媒体原始信息进行编码并得到多媒体数据；

事件信息模块，用于在有智能事件产生时生成对应的智能事件信息；

码流打包模块，用于将接收到的所述多媒体数据封装至码流中，以及，若还接收到所述智能事件信息，则将所述智能事件信息封装至所述码流中。

4.根据权利要求3所述的装置，其特征在于，

所述码流为TS流、所述智能事件信息被封装在所述TS流的任意包中，其中，在所述TS流的封装有所述智能事件信息的包中：包头中的PID字段被设定为用于标识所述智能事件信息的特定值，数据区中携带所述智能事件信息；

所述码流为PS流、所述智能事件信息被封装在所述PS流的任意包中，其中，在所述PS流的封装有所述智能事件信息的包中：包头中的流类型字段被设定为用于标识所述智能事件信息的特定值，载荷区中的数据封装包携带所述智能事件信息；

所述码流为RTP流、所述智能事件信息被封装在所述RTP流的任意包中，其中，在所述RTP流的封装有所述智能事件信息的包中：包头中的载荷类型字段被设定为用于标识所述智能事件信息的特定值，载荷区携带所述智能事件信息。

5.一种用于智能分析的装置，其特征在于，该装置承载于分析服务器中、并包括：

码流解析模块，用于对接收到的码流进行解析；

码流分析模块，用于判断是否从所述码流中解析出了智能事件信息，若是，则依据所述智能事件信息启动或停止数据解码模块和智能分析模块；

所述数据解码模块，用于对从所述码流中解析出的所述多媒体数据进行解码；

所述智能分析模块，用于对解码得到的多媒体原始信息进行智能分析。

6.根据权利要求5所述的装置，其特征在于，

所述码流为TS流、所述智能事件信息被封装在所述TS流的任意包中，其中，在所述TS流的封装有所述智能事件信息的包中：包头中的PID字段被设定为用于标识所述智能事件信息的特定值，数据区中携带所述智能事件信息；

所述码流为PS流、所述智能事件信息被封装在所述PS流的任意包中，其中，在所述PS流的封装有所述智能事件信息的包中：包头中的流类型字段被设定为用于标识所述智能事件信息的特定值，载荷区中的数据封装包携带所述智能事件信息；

所述码流为RTP流、所述智能事件信息被封装在所述RTP流的任意包中，其中，在所述RTP流的封装有所述智能事件信息的包中：包头中的载荷类型字段被设定为用于标识所述智能事件信息的特定值，载荷区携带所述智能事件信息。

7.一种用于智能分析的方法，其特征在于，该方法应用于前端设备中、并包括：

采集多媒体原始信息；

对采集到的多媒体原始信息进行编码并得到多媒体数据；

在有智能事件产生时生成对应的智能事件信息；

将接收到的所述多媒体数据封装至码流中，以及，若还接收到所述智能事件信息，则将所述智能事件信息封装至所述码流中。

8.根据权利要求7所述的方法，其特征在于，

所述码流为TS流、所述智能事件信息被封装在所述TS流的任意包中，其中，在所述TS流的封装有所述智能事件信息的包中：包头中的PID字段被设定为用于标识所述智能事件信息的特定值，数据区中携带所述智能事件信息；

所述码流为PS流、所述智能事件信息被封装在所述PS流的任意包中，其中，在所述PS流的封装有所述智能事件信息的包中：包头中的流类型字段被设定为用于标识所述智能事件信息的特定值，载荷区中的数据封装包携带所述智能事件信息；

所述码流为RTP流、所述智能事件信息被封装在所述RTP流的任意包中，其中，在所述RTP流的封装有所述智能事件信息的包中：包头中的载荷类型字段被设定为用于标识所述智能事件信息的特定值，载荷区携带所述智能事件信息。

9.一种用于智能分析的方法，其特征在于，该方法应用于分析服务器中、并包括：

对接收到的码流进行解析；

判断是否从所述码流中解析出了智能事件信息，若是，则依据所述智能事件信息启动或停止对解析出的所述多媒体数据的解码以及解码后的智能分析。

10.根据权利要求9所述的方法，其特征在于，

所述码流为TS流、所述智能事件信息被封装在所述TS流的任意包中，其中，在所述TS流的封装有所述智能事件信息的包中：包头中的PID字段被设定为用于标识所述智能事件信息的特定值，数据区中携带所述智能事件信息；

所述码流为PS流、所述智能事件信息被封装在所述PS流的任意包中，其中，在所述PS流的封装有所述智能事件信息的包中：包头中的流类型字段被设定为用于标识所述智能事件信息的特定值，载荷区中的数据封装包携带所述智能事件信息；

所述码流为RTP流、所述智能事件信息被封装在所述RTP流的任意包中，其中，在所述RTP流的封装有所述智能事件信息的包中：包头中的载荷类型字段被设定为用于标识所述智能事件信息的特定值，载荷区携带所述智能事件信息。

Images