CN112672086B

CN112672086B - 一种音视频设备数据采集、分析、预警系统

Info

Publication number: CN112672086B
Application number: CN202110289591.9A
Authority: CN
Inventors: 张宇驰
Original assignee: Jiangsu Chenhua Intelligent Technology Co ltd
Current assignee: Jiangsu Chenhua Intelligent Technology Co ltd
Priority date: 2021-03-18
Filing date: 2021-03-18
Publication date: 2021-06-01
Anticipated expiration: 2041-03-18
Also published as: CN112672086A

Abstract

本发明公开了一种音视频设备数据采集、分析、预警系统，属于音视频分析技术领域，利用存储的模型训练文件对音视频进数据分析的数据识别模块；所述数据识别模块设有对外识别服务接口；用于获取音视频的数据采集模块；接收所述数据采集模块的采集数据并检验有效性的数据清洗模块，所述数据清洗模块将符合识别条件的清洗后数据传输给数据归集模块；将清洗后数据根据分类存储成归集文件的数据归集模块；读取归集文件并发送给数据识别模块的数据分析模块，所述数据分析模块把数据识别模块识别后的结果存储为标准化的分析结果文件；该音视频设备数据采集、分析、预警系统，提高系统运转效率，降低人工分析识别的成本及出错率。

Description

一种音视频设备数据采集、分析、预警系统

技术领域

本发明属于音视频分析技术领域，具体涉及音视频设备数据采集、分析、预警系统。

背景技术

目前国内外音视频数据采集，都是每个音视频设备的生产厂家配套有专门的采集软件负责数据采集，另外也没有预警通知，也没有采用标准化的通知方法，在各个数据流转过程中，仍旧采用的是传统的数据交互方式，因此需要研发一种能够适应不同音视频设备生产厂家的采集、分析、预警的系统来解决现有的问题。

发明内容

本发明的目的在于提供一种音视频设备数据采集、分析、预警系统，以解决针对不同的音视频设备生产厂家需要更换不同的采集、分析、预警系统的问题。

为实现上述目的，本发明提供如下技术方案：一种音视频设备数据采集、分析、预警系统，其特征在于：包括：

利用存储的模型训练文件对音视频数据进行分析的数据识别模块；所述数据识别模块设有对外识别服务接口；

用于获取音视频的数据采集模块；

接收所述数据采集模块的采集数据并检验有效性的数据清洗模块，所述数据清洗模块将符合识别条件的清洗后数据传输给数据归集模块；

将清洗后数据根据分类存储成归集文件的数据归集模块；

读取归集文件并发送给数据识别模块的数据分析模块，所述数据分析模块把数据识别模块识别后的结果存储为标准化的分析结果文件；

将分析结果文件与已设定规则比对并生成比对结果文件的规则比对模块；

判断比对结果文件是否达到预警条件的预警模块。

上述模型训练文件由识别训练模块生成，所述识别训练模块包括视频或图片识别训练模块和音频识别训练模块，所述视频或图片识别训练模块获取音视频设备录制的训练资料中的视频或者图片资源；所述音频识别训练模块获取音视频设备录制的训练资料中的音频资源。

上述数据采集模块包括标准化数据采集终端以及标准化数据上传接口；所述标准化数据采集终端通过通讯端口与音视频设备做连接；

所述标准化数据上传接口设有基于自定义的标准化规范开发的HTTP协议类型上传接口和RTSP协议类型上传接口来接收音视频数据；

所述数据清洗模块将符合识别条件的清洗后数据传输给数据归集模块，具体的方法如下：

数据清洗模块接收到已上传的数据后，如果是视频或者是图片，则使用JAVA调用OpenCV工具对其处理，使用VideoCapture方法判断分辨率、尺寸、清晰度是否符合用户事先设置的要求，不符合则丢弃文件，执行删除操作，并记录日志信息，包括删除的文件名称、时间以及删除原因；

如果是音频文件，则使用JAVA调用ffmpeg工具对其处理，使用ffprobe方法判断录音时长、比特率、采样率是否符合要求，不符合则丢弃文件，执行删除操作，并记录日志信息，包括删除的文件名称、时间以及删除原因；

经过清洗检测合格的文件，将会传入数据归集模块；所述数据归集模块接收到已清洗的文件后，如果是视频文件，则会使用JAVA调用OpenCV工具，按照预设的时间间隔对视频进行截图抽帧处理，生成多张图片文件，之后进行储存；如果是音频或者图片文件，则直接进行储存。

上述标准化数据采集终端安装有标准化数据采集软件，所述标准化数据采集软件实时检测是否有新的设备连接上终端，若发现有新设备接入后，则进入到其设备存储空间的根目录下寻找ID.DAT文件，若未寻找到ID.DAT文件，则创建ID.DAT文件，并存储在该设备存储空间的根目录下；若存在ID.DAT文件，则读取ID.DAT文件的第一行，使用3DES解密算法进行解密，将解密后的字符串作为设备ID使用；所述标准化数据采集软件采用递归方式查询该设备存储空间下所有文件夹内的音视频文件，并同时读取文件的创建时间、创建者参数，并将音视频文件复制到标准化数据采集终端的硬盘中；文件复制成功后，标准化数据采集软件会根据用户事先的配置决定是否将已复制的源文件从设备中删除，同时会调用标准化数据上传接口上传数据。

上述数据清洗模块接收到数据采集模块的数据时，若数据格式为视频或图片，则使用计算机视觉处理工具对其处理，判断分辨率、尺寸、清晰度是否符合要求；若数据格式为音频数据，使用计算机音频工具对其处理，判断录音时长、比特率、采样率。

上述数据归集模块中分类存储的方式为：若清洗后数据格式是音频或图片，则直接存储；若清洗后数据格式是视频，则会按照设置的时间间隔进行截图处理，再将截图存储。

上述截图处理的方式为使用计算机视觉处理工具，按设置的时间间隔对视频截图抽帧处理，生成多张图片文件并储存。

上述数据分析模块将接收到的音视频文件发送给数据识别模块，并接收数据识别模块的返回值；若发送图片数据，则返回值为出现特定物体的像素位置信息；若发送音频数据，则返回值为出现指定话术的音频时间点。

上述标准化数据上传接口包括基于自定义的标准化规范开发的HTTP协议类型上传接口和RTSP协议类型上传接口；可以选择HTTP协议类型或者是RTSP协议类型传输音视频数据；若选择HTTP协议类型则按照自定义的标准化规范进行传输数据；若选择RTSP协议类型，则还需要提供音视频设备的RTSP数据流地址给所述标准化数据上传接口，所述标准化数据上传接口会自动连接设备的RTSP数据流地址采集音视频数据流。

上述规则比对模块采用的是RETE规则匹配算法，RETE规则匹配算法用于判定的规则分为前提LHS和结论RHS；首先读取标准化分析结果文件，生成Working Memory集合，然后找出符合LHS部分的Working Memory集合，之后选出一个条件被满足的规则，最后执行RHS的内容，根据RHS的内容，生成最终的标准化比对结果文件，文件最终可以用XML格式进行存储；

所述预警模块根据预先设置的方式进行预警，并将预警记录日志并进行储存；

所述预警模块的实现方法如下：

预警模块在接收到标准化比对结果文件后，首先会解析标准化比对结果文件，依次读取每一行，并提取出匹配结果数据；

会依次将提取到的匹配结果数据与预警条件进行比对；如果达到了预警条件，则会根据用户事先设置的电话、短信、声音方式进行预警；

其中所述电话、短信预警方式是与电信运营商进行对接，预警模块将报警数据提交给电信运营商，由电信运营商发送短信或打电话；

所述声音方式指的是在后台计算机上进行高音量的语音提示或高亮文字提示；无论是否达到了预警条件，预警模块都会记录日志并进行储存。

本发明的技术效果和优点：该音视频设备数据采集、分析、预警系统，在数据采集阶段，采用标准化、通用的方式支持不同的音视频设备；在数据分析阶段，采用生成标准化分析结果文件的方法，以及在规则比对阶段，采用生成标准化比对结果文件的方法，从而实现预警数据流程过程中的统一性，提高系统运转效率，降低人工分析识别的成本及出错率，具有如下优点：

1、用户可以通过系统，实现市面上所有携带有USB数据接口或者网络传输接口的音视频设备数据的采集，无需根据不同的生产厂家更换不同的采集软件；

2、将音频、视频、图片的训练和识别采用了统一的方法，实现了标准化的数据分析方法；

3、在数据分析阶段，采用生成标准化分析结果文件的方法；

4、在规则比对阶段，采用生成标准化比对结果文件的方法；

5、在预警阶段，如果达到了预警条件，则会根据用户事先设置的方式进行预警，例如电话、短信、声音等。无论是否达到了预警条件，系统都会记录日志并进行储存。

附图说明

图1为本发明的流程图；

图2为本发明数据识别总体流程图；

图3为本发明数据采集的流程图；

图4为本发明数据清洗的流程图；

图5为本发明数据归集的流程图；

图6为本发明数据分析的流程图；

图7为本发明规则比对的流程图；

图8为本发明预警模块的流程图；

图9为本发明流程创建ID.DAT文件的流程图；

图10为本发明标准化数据分析结果文件的生成流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1-10中所示的一种音视频设备数据采集、分析、预警系统，首先由人工通过音视频设备录制训练资料，例如需要识别的场景信息、图片信息、音频信息等；

如果训练资料是视频或者图片资源，则将资源数据传输给“视频或图片识别训练模块”；

如果训练资料是音频资源，则将资源数据传输给“音频识别训练模块”；

“视频或图片识别训练模块”以及“音频识别训练模块”在训练结束后，会输出训练后的模型文件，将模型训练文件导入安装了TensorFlow Serving软件的服务器中，并提供基于HTTP协议类型的“对外识别服务接口”，用于接收后续需要识别的资源；

模型文件部署完成，并对外开放识别服务接口后，就可以进入正式的数据识别流程，“对外识别服务接口”采用JAVA语言开发，其自定义的标准化规范如下所示：

接口安全规范：

需将请求参数以Key-Value的形式写入请求当中。请求中除了包含请求方法对应的各参数之外，还必须在请求中包含以下请求参数信息：

统一请求头参数：

ResultInfo请求结果基类对象说明：

传输数据加密：

接口业务规范：

接口地址：https://xxxxxx/recognition/media

请求方式：POST

请求参数：

返回值：ResultInfo的json序列化对象；

1、当操作成功时，返回Type =1，Desc=“包含识别结果的文件”；

2、当操作失败时，返回Type =0，Desc=“失败原因的文字描述”；

如图2所示，数据识别总体流程为：

1)、系统支持市面上所有携带有USB数据接口或者网络传输接口的音视频设备；

2)、数据采集模块会根据设备的不同，采用不同的方式与设备进行连接，它可以通过USB数据线或者是网络与音视频设备连接，并从音视频设备上采集数据；

3)、数据采集模块将采集到的数据传输给数据清洗模块，由数据清洗模块数据进行有效性的检验，剔除不符合规则的数据，保留下符合系统识别条件的数据，并传输给数据归集模块；

4)、数据归集模块将数据进一步加工后，分类存储在不同的位置。如果是音频或图片，则直接存储；如果是视频，则会按照设置好的时间间隔进行截图处理，然后将截图存储；

5)、数据分析模块读取已存储归集的文件，并调用图1所示的对外识别服务接口进行数据分析识别，并将识别结果存储为标准化的分析结果文件；

6)、标准化的分析结果文件传输到规则比对模块中，规则比对模块根据已设定的规则逐条比对，生成标准化比对结果文件；

7)、标准化比对结果文件传输给预警模块后，预警模块会判断是否达到预警条件，如果达到条件，则会启动对应的通知方式，并记录日志；

如图3所示，数据采集模块的功能实现：

1)、市面上的音视频设备可以分为可联网与不可联网两种，我们的数据采集模块可以同时支持这两种设备，模块主要由两部分构成：标准化数据采集终端以及标准化数据上传接口；

2)、标准化数据采集终端适用于不可联网的音视频设备，或者是具有联网功能，但是不具有与标准化数据上传接口对接能力的音视频设备。标准化数据采集终端是一台安装了标准化数据采集软件的普通计算机，其具有USB接口，可以通过USB接口方式与音视频设备做连接；

标准化数据采集软件会实时检测是否有新的设备连接上终端，一旦发现有新设备接入后，会立即到设备存储空间的根目录下寻找ID.DAT文件，如果不存在则按照图9所示流程创建ID.DAT文件，并存储在设备存储空间的根目录下。如果存在ID.DAT文件，则读取ID.DAT文件的第一行，使用3DES解密算法进行解密，将解密后的字符串作为设备ID使用；

3)、标准化数据采集软件随后采用递归方式查询设备存储空间下所有文件夹内的音视频文件，并同时读取文件的创建时间、创建者参数，并将音视频文件复制到标准化数据采集终端的硬盘中；文件复制成功后，标准化数据采集软件会根据用户事先的配置决定是否将已复制的源文件从设备中删除，同时会调用标准化数据上传接口，将已采集的数据传输到后台服务器中，以便进行下一步的处理；

4)、标准化数据上传接口支持HTTP、RTSP协议类型上传音视频数据，HTTP协议类型接口符合RESTFUL开发标准，其作用是采用通用的、标准化的方式来接收音视频数据；RTSP协议类型接口符合RTSP（Real Time Streaming Protocol，实时流传输协议）开发标准，其作用是在上述HTTP协议类型接口的基础上支持接收实时音视频数据流；标准化数据上传接口采用JAVA语言开发，其自定义的标准化规范如下所示：

接口安全规范：

需将请求参数以Key-Value的形式写入请求当中。请求中除了包含请求方法对应的各参数之外，还必须在请求中包含以下请求参数信息；

统一请求头参数：

ResultInfo请求结果基类对象说明：

传输数据加密：

接口业务规范：

接口地址：https://xxxxxx/upload/media

请求方式：POST

请求参数：

返回值：ResultInfo的json序列化对象；

1、当操作成功时，返回Type =1，Desc=“音视频文件的唯一编号”；

3、EntityMedia对象说明：

5)、如果音视频设备具备联网和系统对接的能力，即可与标准化数据上传接口进行对接，上传数据；设备可以选择HTTP协议类型或者是RTSP协议类型传输音视频数据；如果选择HTTP协议类型则按照上述自定义的标准化规范进行传输数据；如果选择RTSP协议类型，那么还需要提供音视频设备的RTSP数据流地址给标准化数据上传接口，标准化数据上传接口会自动连接设备的RTSP数据流地址采集音视频数据流；如果音视频设备不具备联网或系统对接的能力，那么可以通过标准化数据采集终端来对接；

标准化数据采集终端与标准化数据上传接口之间的通讯算法，采用JAVA语言开发，使用HttpClient组件的HttpPOST方法，并遵循自定义的标准化规范上传数据；

如图4、图5所示，数据清洗与数据归集模块的功能实现：

1)、数据清洗模块接收到已上传的数据后，如果是视频或者是图片，则使用JAVA调用OpenCV工具对其处理，使用VideoCapture方法判断分辨率、尺寸、清晰度是否符合用户事先设置的要求，不符合则丢弃文件，执行删除操作，并记录日志信息，包括删除的文件名称、时间以及删除原因等

2)、如果是音频文件，则使用JAVA调用ffmpeg工具对其处理，使用ffprobe方法判断录音时长、比特率、采样率是否符合要求，不符合则丢弃文件，执行删除操作，并记录日志信息，包括删除的文件名称、时间以及删除原因等；

3)、经过清洗检测合格的文件，将会传入数据归集模块；

数据归集模块接收到已清洗的文件后，如果是视频文件，则会使用JAVA调用OpenCV工具，按照事先设置的时间间隔对视频进行截图抽帧处理，生成多张图片文件，之后进行储存。如果是音频或者图片文件，则直接进行储存；

如图6所示，数据分析模块的功能实现：

1)、数据分析模块接收到已归集的文件后，模块使用HttpClient组件的HttpPOST方法，将音视频文件发送到图1所示的对外识别服务接口中，并接收服务接口的返回值；

2)、对外识别服务接口的返回值是JSON格式数据。如果是图片，那么他会返回出现特定物体的像素位置信息，例如识别一个图片中是否有一辆小轿车，如果存在，则会返回小轿车位于图片中的相对像素位置。如果是音频，则会返回出现指定话术的音频时间点，例如需要识别出某一段音频中是否包含不文明用语，如果出现的话，会返回不文明用语位于音频的第几秒位置；

3)、因为服务接口的返回值是非结构化的数据，不具有可读性与统一性，并且不同的数据类型、数据分类都会返回不同结构的数据值；因此数据分析模块会对返回值数据做标准化处理，生成标准化数据分析结果文件，最终可以用XML格式进行存储。文件范例为：

4)、标准化数据分析结果文件的生成流程，如图10所示；

如图7所示，规则比对模块的功能实现：

1)、规则比对模块在接收到标准化分析结果文件后，通过规则匹配算法进行规则比对；

2)、这里采用的是RETE规则匹配算法。RETE算法是一个高效模式匹配算法。被处理的数据叫做Working Memory，用于判定的规则分为两个部分LHS（left-hand-side）和RHS（right-hand-side），分别表示前提和结论；

3)、我们首先读取标准化分析结果文件，生成Working Memory集合，然后找出符合LHS部分的Working Memory集合，之后选出一个条件被满足的规则，最后执行RHS的内容；

4)、根据RHS的内容，生成最终的标准化比对结果文件，文件最终可以用XML格式进行存储。文件范例为：

如图8所示，预警模块的功能实现：

1)、预警模块在接收到标准化比对结果文件后，首先会解析标准化比对结果文件，依次读取每一行，并提取出匹配结果数据。

2)、会依次将提取到的匹配结果数据与预警条件进行比对。如果达到了预警条件，则会根据用户事先设置的方式进行预警，例如电话、短信、声音等；

3）其中电话、短信报警方式是与电信运营商进行对接，预警模块将报警数据提交给电信运营商，由电信运营商发送短信或打电话。声音方式指的是可以在后台计算机上进行高音量的语音提示或高亮文字提示。无论是否达到了预警条件，预警模块都会记录日志并进行储存。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种音视频设备数据采集、分析、预警系统，其特征在于：包括：

用于获取音视频的数据采集模块；

将清洗后数据根据分类存储成归集文件的数据归集模块；

判断比对结果文件是否达到预警条件的预警模块，所述模型训练文件由识别训练模块生成，所述识别训练模块包括视频或图片识别训练模块和音频识别训练模块，所述视频或图片识别训练模块获取音视频设备录制的训练资料中的视频或者图片资源；所述音频识别训练模块获取音视频设备录制的训练资料中的音频资源，所述数据采集模块包括标准化数据采集终端以及标准化数据上传接口；所述标准化数据采集终端通过通讯端口与音视频设备做连接；

经过清洗检测合格的文件，将会传入数据归集模块；所述数据归集模块接收到已清洗的文件后，如果是视频文件，则会使用JAVA调用OpenCV工具，按照预设的时间间隔对视频进行截图抽帧处理，生成多张图片文件，之后进行储存；如果是音频或者图片文件，则直接进行储存，所述标准化数据采集终端安装有标准化数据采集软件，所述标准化数据采集软件实时检测是否有新的设备连接上终端，若发现有新设备接入后，则进入到其设备存储空间的根目录下寻找ID.DAT文件，若未寻找到ID.DAT文件，则创建ID.DAT文件，并存储在该设备存储空间的根目录下；若存在ID.DAT文件，则读取ID.DAT文件的第一行，使用3DES解密算法进行解密，将解密后的字符串作为设备ID使用；所述标准化数据采集软件采用递归方式查询该设备存储空间下所有文件夹内的音视频文件，并同时读取文件的创建时间、创建者参数，并将音视频文件复制到标准化数据采集终端的硬盘中；文件复制成功后，标准化数据采集软件会根据用户事先的配置决定是否将已复制的源文件从设备中删除，同时会调用标准化数据上传接口上传数据，所述规则比对模块采用的是RETE规则匹配算法，RETE规则匹配算法用于判定的规则分为前提LHS和结论RHS；首先读取标准化分析结果文件，生成WorkingMemory集合，然后找出符合LHS部分的Working Memory集合，之后选出一个条件被满足的规则，最后执行RHS的内容，根据RHS的内容，生成最终的标准化比对结果文件，文件最终可以用XML格式进行存储；

所述预警模块的实现方法如下：

2.根据权利要求1所述的一种音视频设备数据采集、分析、预警系统，其特征在于：所述数据清洗模块接收到数据采集模块的数据时，若数据格式为视频或图片，则使用计算机视觉处理工具对其处理，判断分辨率、尺寸、清晰度是否符合要求；若数据格式为音频数据，使用计算机音频工具对其处理，判断录音时长、比特率、采样率。

3.根据权利要求1所述的一种音视频设备数据采集、分析、预警系统，其特征在于：所述数据归集模块中分类存储的方式为：若清洗后数据格式是音频或图片，则直接存储；若清洗后数据格式是视频，则会按照设置的时间间隔进行截图处理，再将截图存储。

4.根据权利要求3所述的一种音视频设备数据采集、分析、预警系统，其特征在于：所述截图处理的方式为使用计算机视觉处理工具，按设置的时间间隔对视频截图抽帧处理，生成多张图片文件并储存。

5.根据权利要求1所述的一种音视频设备数据采集、分析、预警系统，其特征在于：所述数据分析模块将接收到的音视频文件发送给数据识别模块，并接收数据识别模块的返回值；若发送图片数据，则返回值为出现特定物体的像素位置信息；若发送音频数据，则返回值为出现指定话术的音频时间点。

6.根据权利要求1所述的一种音视频设备数据采集、分析、预警系统，其特征在于：所述标准化数据上传接口包括基于自定义的标准化规范开发的HTTP协议类型上传接口和RTSP协议类型上传接口；可以选择HTTP协议类型或者是RTSP协议类型传输音视频数据；若选择HTTP协议类型则按照自定义的标准化规范进行传输数据；若选择RTSP协议类型，则还需要提供音视频设备的RTSP数据流地址给所述标准化数据上传接口，所述标准化数据上传接口会自动连接设备的RTSP数据流地址采集音视频数据流。