CN105045914A - 信息归纳分析方法及装置 - Google Patents

Abstract

一种信息归纳分析方法及装置，属于IT应用技术领域，为了解决现有信息归纳分析方法分析周期长，人力成本投入巨大且查全虑不高的技术问题，技术要点是：S1.根据使用者提供的输入数据信息的类型，提取特征数据，并加载、释放对应的样本模型库；S2.动态加载检测引擎以对所述特征数据追踪识别处理，在样本模型库中找到疑似目标；S3.预置关联条件以得到疑似目标之间的关联性，确定各疑似目标的相似性；S4.得到输出数据信息。效果为：减小了人工信息筛选范围，将需要阅览的海量数据信息转变为阅览与目标相关的有效信息，提高有用信息的提取效率。

Description

信息归纳分析方法及装置

技术领域

本发明属于IT应用技术领域，尤其涉及一种对信息归纳分析的方法和装置。

背景技术

随着信息技术的发展，政府机构、企事业单位、公益机构和国家安全部门等都积累了海量的数据信息，在一些情况下，需要从该数据信息中的部分数据里提取需要的信息，而由于这些媒体数据信息之间并没有建立直接的关联关系，无法直接用搜索引擎检索，通常只能通过人工过滤、分析、确认的方法进行信息提取，该方法使得信息提取的工作量巨大，又由于信息归纳分析涉及语音检测与识别、图像检测与识别、文本分析等人工智能技术，较为复杂，所以，在数据分析应用中，还是主要依赖人工分析确认，这就产生了巨大的人工成本，也增加了信息分析的周期。

例如，每个城市的交警队都通过交通监控系统摄取了大量视频录像资料，由于工作量大和技术的原因，这些视频资料中的车辆信息目前是不做内容检索的，只有在出现交通事故后，如果发生车辆逃逸，需要对逃逸车辆进行轨迹追踪时，通过人工浏览各可能经过路线的录像资料查找相关逃逸车辆的逃逸路线及其他信息。

此外，在有些应用中，采用大数据分析技术，可以对部分静态信息进行过滤和提取，但是，大数据分析侧重于信息状态发展趋势的分析，对于实时性处理要求较高和现场应用的环境，还不适合。同时，大数据不以信息处理中查全为主，对于查全率要求高的应用也不适合。

发明内容

为了解决现有信息归纳分析方法主要依靠人工信息筛选完成，造成的分析周期长，人力成本投入巨大且查全虑不高的技术问题，本发明提供了一种信息归纳分析方法及装置，用以减小人工信息筛选范围，将需要阅览的海量数据信息转变为阅览与目标相关的有效信息，提高有用信息的提取效率。

为了实现上述目的，本发明采用的技术方案为：一种信息归纳分析方法，包括如下步骤：

S1.根据使用者提供的输入数据信息的类型，对输入数据信息中涉及的文本、语音、图片和视频中的一种或多种数据信息提取特征数据，并加载、释放对应的样本模型库；

S2.动态加载检测引擎以对所述特征数据追踪识别处理，在样本模型库中找到疑似目标；

S3.预置关联条件以得到疑似目标之间的关联性，确定各疑似目标的相似性；

S4.得到输出数据信息，所述输出的数据信息包括媒体文件或媒体流中出现的疑似目标的所在位置。

作为技术方案的补充，所述输入数据信息为文本、语音、图片和视频中；所述样本模型库，包括文本分析用的文本特征库，语音处理用的声纹模型库及声学和语言模型库，图片处理和视频处理用的物体形体特征模型库、人脸特征模型库、颜色特征模型库和物体纹理特征模型库；所述样本模型库的加载由动态加载、云端服务器或集群模型库中加载、本地模型库加载和USB设备加载中任意加载方式实现。

作为技术方案的补充，根据输入数据信息的类型，自动启动相应的服务引擎；根据系统状态，控制各服务引擎进程；在网络环境下，输入信息由接收云端或集群服务端的待检测数据文件或接收IP媒体流的方式得到。

作为技术方案的补充，动态加载的检测引擎来自于云端服务器、集群引擎库、本地引擎库及USB设备中的一种或多种；对所述生物特征数据进行追踪识别处理时，其包括语音关键词识别、图像检测、图像识别、颜色识别、物体大小识别、纹理分析、音视频特征比对和多种引擎协同并行处理的方法中的多种组合。

作为技术方案的进一步补充，在对所述生物特征数据进行追踪识别处理时，还进行如下一种或多种操作：设置和/或调整检测目标、调整检测顺序、增加同一检测目标的检测要素。

作为技术方案的补充，输出信息还包括，出现该疑似目标的音频、视频文件的名称、疑似目标出现的入点时间和时长；出现该疑似目标的音频流、视频流媒体的名称：疑似目标出现的入点时间和时长；出现该疑似目标的图片文件的文件名列表和存储路径，在输出信息后，将媒体文件或媒体流中出现的疑似目标的所在位置的媒体片段留存和/或提取。

作为技术方案的补充，还包括对相似的疑似目标进行聚类汇编，并以时间顺序、位置信息为主线展示。

作为技术方案的补充，设置有网络集群运行和单机独立运行两种模式，并提供有网络端口，自动检测网络链接状态，处于离线状态时，自动或手动切换到独立运行状态；处于网络连接状态时，根据配置信息，自动运行在集群模式或独立运行模式。

作为技术方案的补充，使用该方法时涉及的各功能模块和引擎之间的数据交换，通过消息机制实现，消息格式有标准定义，系统提供消息池进行管理，定义消息触发、推送机制，各引擎之间有消息确认机制，实时了解引擎的工作状态，在出现引擎宕机故障时，启动重启机制；

设置系统故障监测管理为独立进程，实时采集各功能模块的状态信息，在发现软件或硬件故障时发出报警消息，在功能模块宕机时触发重启功能模块机制，应用该方法的系统宕机时重启整个系统，在网络集群运行模式下，各设备间的故障监测管理进程之间会实时汇总设备状态到主设备。

一种使用所述的信息归纳分析方法的信息归纳分析装置，

加载、释放样本模型库模块，根据使用者提供的输入数据信息的类型，对输入数据信息中涉及的文本、语音、图片和视频中的一种或多种数据信息提取特征数据，并加载、释放对应的样本模型库；

特征数据提取模块，动态加载检测引擎以对所述特征数据追踪识别处理，在样本模型库中找到疑似目标；

疑似目标查找模块，动态加载检测引擎以对所述生物特征数据追踪识别处理，找到疑似目标；

关联模块，预置关联条件以得到疑似目标之间的关联性，确定各疑似目标的相似性；

输出模块，得到输出数据信息，所述输出的数据信息包括媒体文件或媒体流中出现的疑似目标的所在位置。

有益效果：该所述信息归纳分析方法及装置，针对可提供的疑是目标的关键词、图片、语音中的单一信息进行检测，追踪发现关联信息并输出，可以减小人工信息筛选范围，将需要阅览的海量数据信息转变为阅览与目标相关的有效信息，提高有用信息的提取效率。

附图说明

图1为实施例1中的各分类信息提取的特征信息与样本模型库对应的示意图；

图2为实施例5中的装置统一管理控制引擎的加载、运行和释放的示意图；

图3为实施例4中的装置的内部功能模块连接的示意图；

图4为实施例1中所述信息归纳分析方法的流程示意图。

具体实施方式

实施例1：一种信息归纳分析方法，包括如下步骤：

S1.根据使用者提供的输入数据信息的类型，对输入数据信息中涉及的文本、语音、图片和视频中的一种或多种数据信息提取特征数据，并加载、释放对应的样本模型库；

具体的，所述输入数据信息为文本、语音、图片和视频中，尤其是，本方法可以接收网络文件数据和网络流媒体数据，数据格式：视频及流媒体支持AVI、MPEG-1/2/4，H.263/264/265，M-JPEG、MP4；音频支持:WAV、MP3、PCM；图片支持:BMP、JPG/JPEG、Gif、Tiff、PNG、PIC。

所述样本模型库，包括文本分析用的文本特征库，语音处理用的声纹模型库及声学和语言模型库，图片处理和视频处理用的物体形体特征模型库、人脸特征模型库、颜色特征模型库和物体纹理特征模型库；所述样本模型库的加载由动态加载、云端服务器或集群模型库中加载、本地模型库加载和USB设备加载中任意加载方式实现。

在输入数据一共分成文本、语音、图片和视频4种类型时，图1表示了对输入信息分类，并提取其特征信息，各分类信息提取的特征信息对应于不同的样本模型库，而对特征数据追踪识别处理即在相应的样本模型库中进行。

其中：

文本数据用于关键词检索，对应关键词查询样本模型库库。

语音数据用于说话人辨识、语音识别，说话人辨识与语音识别不冲突，是同步并行工作，说话人辨识对应的是“说话人声纹特征”模型，语音识别对应的“语音声学特征”模型。

图片数据用于物体、人脸检测与识别，也用于颜色识别、纹理分析，这些应用分别对应物体特征模型、人脸特征模型、颜色特征模型、纹理特征模型，这些模型与图片数据匹配使用由系统参数控制，根据系统应用状态进行对应匹配。

视频数据也是用于检测和识别物体目标、人脸、颜色以及纹理分析，不同的是，图片是静态的，视频是动态的，在视频中用到了目标追踪技术，应用模型的匹配与图片数据是相同的。

S2.动态加载检测引擎以对所述特征数据追踪识别处理，在样本模型库中找到疑似目标；

具体的，动态加载的检测引擎来自于云端服务器、集群引擎库、本地引擎库及USB设备中的一种或多种；对所述生物特征数据进行追踪识别处理时，其包括语音关键词识别、图像检测、图像识别、颜色识别、物体大小识别、纹理分析、音视频特征比对和多种引擎协同并行处理的方法中的多种组合。而本实施例中对疑似目标定义为：信息归纳分析的数据检测引擎工作的前提是需要输入检测目标条件，目标条件可以是语音片段、实物图片(人、物体或人脸照片)，这些目标数据经过系统预处理提取相关的特征信息，检测引擎以这些特征信息为检测条件，从用户指定的媒体数据中检测与输入目标特征匹配的数据信息，这些检测结果，我们称之为疑似目标。

例如，用户要从一段视频中找一辆“轿车”，用户需要将要找的“轿车”图片输入给系统，系统经过对图片预处理后，加载视频检测引擎，视频检测引擎根据“轿车”的图片特征信息，在用户指定的视频中检测与“轿车”特征匹配的车辆出现的“入点”时间(Timeline上的时间点)和出现的“时长”(目标从“入点”开始，到从画面消失，在视频中持续出现的时间长度)，视频检测引擎找到的这个与输入的检测目标相匹配的车，就是疑似目标。

本实施例中，在对所述生物特征数据进行追踪识别处理时，还进行如下一种或多种操作：设置和/或调整检测目标、调整检测顺序、增加同一检测目标的检测要素，其目的为适应不同应用。该操作为所提供的检测流程管理操作，可以允许使用者动态调整检测流程，可以增减检测项目，例如，可以只检测语音或者图像，也可以混合检测，检测先后顺序都可以调整，通过对检测条件的设置和调整，可以对视频中检测目标进行有效的追踪，为了达到更好的检测效果，可以针对同一类目标，从不同方面检测，例如，检测车辆时，可以增加车型、颜色等检测条件。

S4.预置关联条件以得到疑似目标之间的关联性，确定各疑似目标的相似性；

具体的，关联条件是系统对指定目标的检测结果所具有的共性特征，这些共性特征是可以预知的或者是在检测过程中发现的，在对检测结果分析之前，以这些共性特征为条件，将具有共性特征的信息进行聚类关联分析，进一步判断这些出现的疑似目标的相似性。

例如，从视频中检测“轿车”后，再输入“车型”、“颜色”、“车牌号码”等关联条件，就可以进一步判断疑似目标是否为同一车辆，如果疑似目标之间的关联性大，也就是说相同车型、相同颜色，或者是同一车牌号码，那就可以认为具有这些共性特征的疑似目标为同一目标。

S5.得到输出数据信息，所述输出的数据信息包括媒体文件或媒体流中出现的疑似目标的所在位置，且其还包括，出现该疑似目标的音频、视频文件的名称、疑似目标出现的入点时间和时长；出现该疑似目标的音频流、视频流媒体的名称：疑似目标出现的入点时间和时长；出现该疑似目标的图片文件的文件名列表和存储路径，在输出信息后，将媒体文件或媒体流中出现的疑似目标的所在位置的媒体片段留存和/或提取。

本实施例的一个直接应用为，要从一段音视频节目中找到“张三”，若只能提供“张三”这个名字，其他信息不清楚，使用本实施例的技术方案，对语音进行识别，提取到所有关于“张三”的音视频片段，再利用相似性判断，从这些片段中推断疑出“张三”的照片，再以疑是“张三”的照片检测全部视频，进一步提取更多的信息。如果在语音识别中发现有“欢迎张三讲话”内容，再通过这个时点之后的讲话语音提取“张三”声纹，进一步检测音视频中的“张三”讲话的内容。经过这样处理后，提到“张三”的声音、出现“张三”的画面、“张三”说话的内容都被提取出来。

实施例2：

与实施例1的技术方案相同，其区别在于：为了便于阅览检测引擎输出的结果，还包括对相似的疑似目标进行聚类汇编，并以时间顺序、位置信息为主线展示的步骤，使用者也可以增加自定义汇编条件，以组合方式展示检测结果。

实施例3：

使用实施例1或2的方法，得到的一种信息归纳分析装置，包括

加载、释放样本模型库模块，根据使用者提供的输入数据信息的类型，对输入数据信息中涉及的文本、语音、图片和视频中的一种或多种数据信息提取特征数据，并加载、释放对应的样本模型库；

特征数据提取模块，动态加载检测引擎以对所述特征数据追踪识别处理，在样本模型库中找到疑似目标；

疑似目标查找模块，动态加载检测引擎以对所述生物特征数据追踪识别处理，找到疑似目标；

关联模块，预置关联条件以得到疑似目标之间的关联性，确定各疑似目标的相似性；

输出模块，得到输出数据信息，所述输出的数据信息包括媒体文件或媒体流中出现的疑似目标的所在位置。

实施例4：

对实施例3的技术方案进行改进，对其设置网络集群运行和单机独立运行两种模式，并提供有网络端口，自动检测网络链接状态，处于离线状态时，自动或手动切换到独立运行状态；处于网络连接状态时，根据配置信息，自动运行在集群模式或独立运行模式，集群模式的检测结果保存在指定的设备中，结果展示可以指定在特定设备上，或者默认的主设备中，在现场工作时，其可以独立作为全媒体数据检测处理，多台装置也可以自动级联组成一个本地的集群处理中心，在现场进行分布式计算。

每台装置根据自己的预置属性，在集群中心中分担不同的角色，集群中有一台装置为主控装置，如果一台或几台装置脱离集群，集群主控装置自动再平衡计算资源，保证集群的稳定、高速、可靠运行。

使用实施例3中的方法时涉及的各功能模块(如图3所示)和引擎之间的数据交换，是通过消息机制实现的，消息格式有标准定义，系统提供消息池进行管理，定义消息触发、推送机制，各引擎之间有消息确认机制，实时了解引擎的工作状态，在出现引擎宕机故障时，启动重启机制；

本实施例还将系统故障监测管理作为独立进程，实时采集各功能模块的状态信息，在发现软件或硬件故障时发出报警消息，在功能模块宕机时触发重启功能模块机制，应用该方法的系统宕机时重启整个系统，在网络集群运行模式下，各设备间的故障监测管理进程之间会实时汇总设备状态到主设备。

实施例5：

与实施例1-4任一项的技术方案相同，区别在于：该方法或该装置根据输入数据信息的类型，自动启动相应的服务引擎；根据系统状态，控制各服务引擎进程；在网络环境下，输入信息由接收云端或集群服务端的待检测数据文件或接收IP媒体流的方式得到。

服务引擎包括数据类型检测、文本分析、语音识别、声纹识别、语音关键词识别、图像检测、图像识别、颜色识别、物体大小识别、纹理分析、音视频特征比对和数据分类引擎。如图2所示，装置统一管理控制引擎的加载、运行和释放，各引擎之间不直接相互调用，表一示出了每种服务引擎的应用条件。

表一

本实施例的有益效果是：除可对声纹、语音、图像的生物特征进行综合追踪识别外，还可以支持数据类型检测、文本分析、语音关键词识别、图像检测、图像识别、颜色识别、物体大小识别、纹理分析、音视频特征比对多种引擎协同并行处理，通过对输入装置的数据多维检测与辨识，达到预期的全媒体检测的查全率和正确识别率。而对文字、声音、图像多维度检测目标，可以同时，对多个不同目标进行检测，也就是一台装置可以同时分担多个人的工作。多个引擎可以并行同时工作，对数据进行检测与辨识，保证了处理速度，而对于新的领域或未包含样本，可以从指定地址升级样本库，或者自动学习相关内容，自升级样本，升级后的样本库，可以适用于新的应用环境或内容。对于不同数据信息，通过动态加载数据接口引擎，实现数据格式兼容。本实施例还可以在现场处理数据，如果需要处理的数据量非常大，需要将多个装置自动做集群布置，各装置根据预置的主从关系，可以直接级联组成现场集群处理中心，当不需要集群处理数据时，直接断开级联，各装置就可以独立工作，互不干扰。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种信息归纳分析方法，其特征在于，包括如下步骤：

S1.根据使用者提供的输入数据信息的类型，对输入数据信息中涉及的文本、语音、图片和视频中的一种或多种数据信息提取特征数据，并加载、释放对应的样本模型库；

S2.动态加载检测引擎以对所述特征数据追踪识别处理，在样本模型库中找到疑似目标；

S3.预置关联条件以得到疑似目标之间的关联性，确定各疑似目标的相似性；

S4.得到输出数据信息，所述输出的数据信息包括媒体文件或媒体流中出现的疑似目标的所在位置。

2.如权利要求1所述的信息归纳分析方法，其特征在于，所述输入数据信息为文本、语音、图片和视频中；所述样本模型库，包括文本分析用的文本特征库，语音处理用的声纹模型库及声学和语言模型库，图片处理和视频处理用的物体形体特征模型库、人脸特征模型库、颜色特征模型库和物体纹理特征模型库；所述样本模型库的加载由动态加载、云端服务器或集群模型库中加载、本地模型库加载和USB设备加载中任意加载方式实现。

3.如权利要求1或2所述的信息归纳分析方法，其特征在于，根据输入数据信息的类型，自动启动相应的服务引擎；根据系统状态，控制各服务引擎进程；在网络环境下，输入信息由接收云端或集群服务端的待检测数据文件或接收IP媒体流的方式得到。

4.如权利要求1所述的信息归纳分析方法，其特征在于，动态加载的检测引擎来自于云端服务器、集群引擎库、本地引擎库及USB设备中的一种或多种；对所述生物特征数据进行追踪识别处理时，其包括语音关键词识别、图像检测、图像识别、颜色识别、物体大小识别、纹理分析、音视频特征比对和多种引擎协同并行处理的方法中的多种组合。

5.如权利要求4所述的信息归纳分析方法，其特征在于，在对所述生物特征数据进行追踪识别处理时，还进行如下一种或多种操作：设置和/或调整检测目标、调整检测顺序、增加同一检测目标的检测要素。

6.如权利要求1所述的信息归纳分析方法，其特征在于，输出信息还包括，出现该疑似目标的音频、视频文件的名称、疑似目标出现的入点时间和时长；出现该疑似目标的音频流、视频流媒体的名称：疑似目标出现的入点时间和时长；出现该疑似目标的图片文件的文件名列表和存储路径，在输出信息后，将媒体文件或媒体流中出现的疑似目标的所在位置的媒体片段留存和/或提取。

7.如权利要求1或2或4所述的信息归纳分析方法，其特征在于，还包括对相似的疑似目标进行聚类汇编，并以时间顺序、位置信息为主线展示。

8.如权利要求1或2或4所述的信息归纳分析方法，其特征在于，设置有网络集群运行和单机独立运行两种模式，并提供有网络端口，自动检测网络链接状态，处于离线状态时，自动或手动切换到独立运行状态；处于网络连接状态时，根据配置信息，自动运行在集群模式或独立运行模式。

9.如权利要求1或2或4所述的信息归纳分析方法，其特征在于，使用该方法时涉及的各功能模块和引擎之间的数据交换，通过消息机制实现，消息格式有标准定义，系统提供消息池进行管理，定义消息触发、推送机制，各引擎之间有消息确认机制，实时了解引擎的工作状态，在出现引擎宕机故障时，启动重启机制；

设置系统故障监测管理为独立进程，实时采集各功能模块的状态信息，在发现软件或硬件故障时发出报警消息，在功能模块宕机时触发重启功能模块机制，应用该方法的系统宕机时重启整个系统，在网络集群运行模式下，各设备间的故障监测管理进程之间会实时汇总设备状态到主设备。

10.一种使用权利要求1—9任意项所述的信息归纳分析方法的信息归纳分析装置，其特征在于，包括：

加载、释放样本模型库模块，根据使用者提供的输入数据信息的类型，对输入数据信息中涉及的文本、语音、图片和视频中的一种或多种数据信息提取特征数据，并加载、释放对应的样本模型库；

特征数据提取模块，动态加载检测引擎以对所述特征数据追踪识别处理，在样本模型库中找到疑似目标；

疑似目标查找模块，动态加载检测引擎以对所述生物特征数据追踪识别处理，找到疑似目标；

关联模块，预置关联条件以得到疑似目标之间的关联性，确定各疑似目标的相似性；

输出模块，得到输出数据信息，所述输出的数据信息包括媒体文件或媒体流中出现的疑似目标的所在位置。