CN109684355A - 安防数据处理方法、装置、计算机设备和存储介质 - Google Patents
安防数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109684355A CN109684355A CN201811415918.7A CN201811415918A CN109684355A CN 109684355 A CN109684355 A CN 109684355A CN 201811415918 A CN201811415918 A CN 201811415918A CN 109684355 A CN109684355 A CN 109684355A
- Authority
- CN
- China
- Prior art keywords
- data
- security protection
- querying
- obtains
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Computer And Data Communications (AREA)
Abstract
本申请涉及一种安防数据处理方法、装置、计算机设备和存储介质。一个实施例中的方法包括：获取安防实时监测数据，对安防实时监测数据进行归类处理，得到整合数据集，获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件，根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据。通过对安防实时监测数据进行归类处理，并对查询文本进行语义提取，根据查询属性和查询条件进行数据查询，这样可以有效提高安防数据查询效率。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种安防数据处理方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的发展，各种安防监控设备广泛应用于人们的生产生活中。比如烟雾报警装置，当烟雾报警装置检测到烟雾浓度超过一定值时，发出声光报警，起到警示作用。
安防监测设备的广泛应用，产生了大量的安防监测数据。传统的，当需要对安防监测数据进行查询时，由于数据量巨大，往往比较耗时，数据查询效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种可以提高查询效率的安防数据处理方法、装置、计算机设备和存储介质。
一种安防数据处理方法，所述方法包括：
获取安防实时监测数据；
对所述安防实时监测数据进行归类处理，得到整合数据集；
获取查询文本，基于语义提取所述查询文本的关键词，并根据所述关键词得到查询属性和查询条件；
根据所述查询属性和所述查询条件在所述整合数据集中查找，得到与所述查询属性和所述查询条件匹配的目标安防数据。
在一个实施例中，所述对所述安防实时监测数据进行归类处理，得到整合数据集，包括：
将所述安防实时监测数据进行数据格式处理，得到标准化数据；
根据所述标准化数据的采集时间，对所述标准化数据进行处理，得到时间维度数据表；
根据所述时间维度数据表的数据来源标识，对所述时间维度数据表中数据进行处理，得到类型维度数据表；
所述根据所述查询属性和所述查询条件在所述整合数据集中查找，得到与所述查询属性和所述查询条件匹配的目标安防数据，包括：
根据所述查询属性在所述类型维度数据表中进行查找，得到与所述查询属性对应的类型维度数据表；
在查找到的类型维度数据表中，根据所述查询条件进行筛选，得到与所述查询条件对应的目标安防数据。
在一个实施例中，所述根据所述查询属性在类型维度数据表中进行查找之后，还包括：
当查找不到与所述查询属性对应的类型维度数据表时，根据所述查询属性和所述时间维度数据表生成新的类型维度数据表。
在一个实施例中，所述基于语义提取所述查询文本的关键词，包括：
获取所述查询文本中的词语集合；
计算所述词语集合中词语统计特征值以及词语居间度密度；
根据所述词语统计特征值和所述词语居间度密度，得到各词语的关键度，并根据所述关键度得到所述查询文本的关键词。
在一个实施例中，所述计算所述词语集合中词语居间度密度，包括：
计算所述词语集合中词语间的语义相似度；
根据所述词语集合和所述语义相似度构建词语网络；
计算所述词语网络中各顶点的居间度，得到居间度集合；
根据居间度密度算法以及所述居间度集合，得到居间度密度。
在一个实施例中，所述获取所述查询文本中的词语集合，包括：
对所述查询文本进行分词和词性标注处理，得到候选词语列表；
对所述候选词语列表中词语进行过滤处理，得到词语集合。
一种安防数据处理装置，所述装置包括：
数据获取模块，用于获取安防实时监测数据；
归类处理模块，用于对所述安防实时监测数据进行归类处理，得到整合数据集；
请求接收模块，用于获取查询文本，基于语义提取所述查询文本的关键词，并根据所述关键词得到查询属性和查询条件；
请求处理模块，用于根据所述查询属性和所述查询条件在所述整合数据集中查找，得到与所述查询属性和所述查询条件匹配的目标安防数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取安防实时监测数据；
对所述安防实时监测数据进行归类处理，得到整合数据集；
获取查询文本，基于语义提取所述查询文本的关键词，并根据所述关键词得到查询属性和查询条件；
根据所述查询属性和所述查询条件在所述整合数据集中查找，得到与所述查询属性和所述查询条件匹配的目标安防数据。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取安防实时监测数据；
对所述安防实时监测数据进行归类处理，得到整合数据集；
获取查询文本，基于语义提取所述查询文本的关键词，并根据所述关键词得到查询属性和查询条件；
根据所述查询属性和所述查询条件在所述整合数据集中查找，得到与所述查询属性和所述查询条件匹配的目标安防数据。
上述安防数据处理方法、装置、计算机设备和存储介质，通过获取安防实时监测数据，对安防实时监测数据进行归类处理，得到整合数据集，获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件，根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据，通过对安防实时监测数据进行归类处理，并对查询文本进行语义提取，根据查询属性和查询条件进行数据查询，这样可以有效提高安防数据查询效率。
附图说明
图1为一个实施例中安防数据处理方法的应用环境图；
图2为一个实施例中安防数据处理方法的流程示意图；
图3为另一个实施例中安防数据处理方法的流程示意图；
图4为又一个实施例中安防数据处理方法的流程示意图；
图5为一个实施例中查询文本关键词提取步骤的流程示意图；
图6为一个实施例中安防数据处理装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的安防数据处理方法，可以应用于如图1所示的应用环境中。其中，安防监测器102以及查询终端104分别与服务器106连接，安防监测器以及查询终端可以通过有线通信或无线通信方式与服务器进行通信。安防监测器102可以包括烟雾传感器、红外传感器、光敏传感器等，安防监测器采集不同类型的安防实时监测数据。服务器获取安防实时监测数据，对安防实时监测数据进行归类处理，得到整合数据集。查询终端发出查询请求，服务器获取查询终端的查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件，然后根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据。其中，查询终端104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种安防数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取安防实时监测数据。
安防实时监测数据可以通过安防监测器采集，比如烟雾传感器、光敏传感器、红外传感器等。安防实时监测数据包括通过烟雾传感器采集的烟雾浓度实时数据、通过光敏传感器采集的光度实时数据以及通过红外传感器采集的红外实时数据中的至少一种。
步骤204，对安防实时监测数据进行归类处理，得到整合数据集。
归类处理是指按照分类规则对安防实时监测数据进行分类处理，比如按照第一分类规则对安防实时监测数据进行第一次分类，得到第一分类结果；再按照第二分类规则对第一分类结果中的数据进行二次分类，得到第二分类结果，以此类推。整合数据集是指按照分类规则进行排列的数据集合。
步骤206，获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件。
查询文本是指查询终端发出的，用于对所需数据进行查询的请求字段。关键词是指通过语义对查询文本提取得到的词语，查询属性是指查询关键字，查询属性可以是时间、类型等。查询条件是指查询属性的具体属性值以及查询属性之间的关系，比如2018年10月1日上午9点至11点，逻辑与，光度实时数据。将关键词与预设查询属性列表进行对比，得到查询属性，再根据查询属性以及查询文本，得到查询条件。比如查询文本为D，基于语义提取得到文本D的关键词包括d1、d2和d3。假设预设查询属性列表中不包括d1，那么将关键词d1、d2和d3与预设查询属性列表对比，得到对应的查询属性为d2和d3。根据d2、d3以及查询文本D，得到对应的查询条件。
步骤208，根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据。
目标安防数据是指符合查询文本请求的反馈数据。根据查询属性和查询条件在整合数据集中查找，以2018年10月1日上午9点至11点，逻辑与，光度实时数据为例，查询属性为时间和数据类型，可以先根据时间进行查找，找到2018年10月1日上午9点至11点的安防监测数据，在2018年10月1日上午9点至11点的安防监测数据中再以光度实时数据进行匹配，得到目标安防数据。
上述安防数据处理方法，通过获取安防实时监测数据，对安防实时监测数据进行归类处理，得到整合数据集，获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件，根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据，通过对安防实时监测数据进行归类处理，并对查询文本进行语义提取，根据查询属性和查询条件进行数据查询，这样可以有效提高安防数据查询效率。
在一个实施例中，如图3所示，对安防实时监测数据进行归类处理，得到整合数据集，包括：步骤302，将安防实时监测数据进行数据格式处理，得到标准化数据；步骤304根据标准化数据的采集时间，对标准化数据进行处理，得到时间维度数据表；步骤308，根据时间维度数据表的数据来源标识，对时间维度数据表中数据进行处理，得到类型维度数据表；根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据，包括：步骤312，根据查询属性在类型维度数据表中进行查找，得到与查询属性对应的类型维度数据表；步骤314，在查找到的类型维度数据表中，根据查询条件进行筛选，得到与查询条件对应的目标安防数据。
数据格式归一处理是指对原始不规整数据进行数据格式归一处理，将不规整数据转化为规整数据，比如可以对安防实时监测数据进行数据清洗，对数据进行基本的预处理，以方便后续分析处理。此外还可以对安防实时监测数据进行异常值检测，当检测到异常值时，对安防实时监测数据进行去异常值处理，得到去异常值处理后的安防实时监测数据。时间维度数据表是指按照时间维度对安防实时监测数据进行划分得到的数据表，类型维度数据表是指按照类型维度对安防实时监测数据进行划分得到的数据表。
数据来源标识用于表示安防实时监测数据来源于红外传感器、光敏传感器、烟雾传感器等，比如可以用1标识数据来源于红外传感器，用2标识数据来源于光敏传感器。以安防实时监测数据包括红外传感器实时数据集合以及光敏传感器实时数据集合为例，对集合中的数据进行数据格式归一处理，得到红外传感器实时数据集合A和光敏传感器实时数据集合B。根据标准化数据的采集时间，对集合A和集合B中数据进行处理，得到时间维度数据表X，再根据时间维度数据表X中数据的数据来源标识，对时间维度数据表X中数据进行处理，得到类型维度数据表Y。以光度作为查询属性为例，根据光度在类型维度数据表Y中进行查找，得到与光度对应的类型维度数据表，在查找到的类型维度数据表中，根据查询条件，比如光度大于预设阈值进行筛选，得到与查询条件对应的目标安防数据。
可以在室内安装红外传感器和光敏传感器，通过红外传感器采集的红外实时监测数据判断室内有没有人员活动，当无人员活动时，检测不到变化的红外实时监测数据，当有人员活动时则能检测到动态的红外实时监测数据。比如，可以量化人体在室内活动的频率，当红外实时监测数据变化超过一定值时，表明居住者活动频率高或者多人在室内。此外，可以通过综合光敏传感器采集的光度实时监测数据，判断室内人员作息时间和居住情况。当红外实时监测数据表明时间在9点钟无人员活动时，而光度实时监测数据表明监测到室内状态为“亮”，这时可以得到房主出门忘关灯。当红外实时监测数据表明时间在23点无人员活动时，而光度实时监测数据表明监测到室内状态为“亮”，可以得出房主作息不规律。当红外实时监测数据表明有人员活动，而光度实时监测数据表明10分钟之内室内状态不为“亮”，可以得到主人没开灯或者室内有小偷。通过量化的红外实时监测数据和光度实时监测数据，对数据进行建模分析，从而可以判断室内的各种情况，比如居住人口、居住人口行为规律等。
在一个实施例中，根据查询属性在类型维度数据表中进行查找之后，还包括：当查找不到与查询属性对应的类型维度数据表时，根据查询属性和时间维度数据表生成新的类型维度数据表。比如，根据查询属性a3在类型维度数据表中进行查找，类型维度数据表的属性包括a1、a2、b1、b2和b3。此时，查找不到与查询属性a3对应的类型维度数据表时，根据查询属性a3和时间维度数据表生成新的类型维度数据表，以便后续查询。
在一个实施例中，如图4所示，获取安防监测数据之前，还包括：步骤402，创建多个并行线程，并行线程包括数据接收线程、数据归类线程、查询请求线程以及数据查找线程；获取安防实时监测数据，包括：步骤404，通过数据接收线程获取安防实时监测数据；步骤406，对安防实时监测数据进行归类处理，得到整合数据集，包括：通过数据归类线程对安防实时监测数据进行归类处理，得到整合数据集；获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件，包括：步骤408，通过查询请求线程获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件；根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据，包括：步骤410，通过数据查找线程，根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据。
对安防实时监测数据的接收以及处理涉及多个线程协同工作完成，各个线程是同时工作的，可以有效提高数据处理效率，通过互斥锁等技术手段保证数据资源的安全。以文件读写的方式与无线模块进行数据收发，以接收安防监测器的安防实时监测数据。通过数据接收线程获取无线模块内的数据，以数据归类线程归类获取的数据。请求终端可以发送命令到消息队列，查询请求线程会依次去处理消息队列里的命令，然后通过数据查找线程逐个执行，从而实现请求终端获取数据。
在一个实施例中，如图5所示，基于语义提取查询文本的关键词，包括：步骤502，获取查询文本中的词语集合；步骤504，计算词语集合中词语统计特征值以及词语居间度密度；步骤506，根据词语统计特征值和词语居间度密度，得到各词语的关键度，并根据关键度得到查询文本的关键词。词语集合是指通过对查询文本进行处理后得到的词语，词语统计特征值是指某词语在查询文本中出现的次数与查询文本中所有词语出现的次数总和之比。词语居间度密度用于表征词语相似度程度，将词语统计特征值和词语居间度密度分别乘以预设权重再求和，得到词语的关键度，将关键度大于预设值的词语作为查询文本的关键词。
在一个实施例中，计算词语集合中词语居间度密度，包括：计算词语集合中词语间的语义相似度；根据词语集合和语义相似度构建词语网络；计算词语网络中各顶点的居间度，得到居间度集合；根据居间度密度算法以及居间度集合，得到居间度密度。语义相似度可以通过词语件的语义距离来表示，比如可以根据同义词词典计算两个词语编码的距离。将词语集合中的各个词语作为词语网络中的顶点，如果两个顶点的语义相似度大于预设阈值，则在这两个顶点之间添加一条无向边。各个顶点组成顶点集合，各无向边组成无向边集合，词语网络包括顶点集合以及无向边集合。顶点i的居间度其中，gi是指顶点m和顶点k之间的最短路径是否通过顶点i，通过则为1，不通过则为0；g是指顶点m和顶点k之间的最短路径数，n为词语网络中的顶点数量。顶点i的居间度密度是指将词语网络中所有顶点的居间度集合平均划分成一定数目的区间后，顶点i的居间度所在区间的顶点密度。居间度密度能够正确反映词语的语义关键程度，并能有效排除居间度很大但主题无关的词语。
在一个实施例中，获取查询文本中的词语集合，包括：对查询文本进行分词和词性标注处理，得到候选词语列表；对候选词语列表中词语进行过滤处理，得到词语集合。可以通过最短路径分词法、最大匹配法等方法对查询文本进行分词处理，得到查询文本中的词语集合。词性标注是指对词语所属种类进行标注，词语所属种类包括形容词、成语、动词。名词、简称略语、语气词等。进行过滤处理是指删除候选词语列表中的部分词性对应的词语，比如去除语气词对应的词语。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种安防数据处理装置，包括：数据获取模块602、归类处理模块604、请求接收模块606和请求处理模块608。其中，数据获取模块，用于获取安防实时监测数据；归类处理模块，用于对安防实时监测数据进行归类处理，得到整合数据集；请求接收模块，用于获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件；请求处理模块，用于根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据。
在一个实施例中，归类处理模块包括标准化处理单元，用于将安防实时监测数据进行数据格式归一处理，得到标准化数据；时间维度处理单元，用于根据标准化数据的采集时间，对标准化数据进行处理，得到时间维度数据表；类型维度单元，用于根据时间维度数据表的数据来源标识，对时间维度数据表中数据进行处理，得到类型维度数据表；请求处理模块，用于根据查询属性在类型维度数据表中进行查找，得到与查询属性对应的类型维度数据表；在查找到的类型维度数据表中，根据查询条件进行筛选，得到与查询条件对应的目标安防数据。
在一个实施例中，请求处理模块还用于当查找不到与查询属性对应的类型维度数据表时，根据查询属性和时间维度数据表生成新的类型维度数据表。
在一个实施例中，数据获取模块之前还包括线程创建模块，用于创建多个并行线程，并行线程包括数据接收线程、数据归类线程、查询请求线程以及数据查找线程；数据获取模块，用于通过数据接收线程获取安防实时监测数据；归类处理模块，用于通过数据归类线程对安防实时监测数据进行归类处理，得到整合数据集；请求接收模块，用于通过查询请求线程获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件；请求处理模块，用于通过数据查找线程，根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据。
在一个实施例中，请求接收模块包括词语获取单元，用于获取查询文本中的词语集合；计算单元，用于计算词语集合中词语统计特征值以及词语居间度密度；关键词获取单元，用于根据词语统计特征值和词语居间度密度，得到各词语的关键度，并根据关键度得到查询文本的关键词。
在一个实施例中，计算单元还用于计算词语集合中词语间的语义相似度；根据词语集合和语义相似度构建词语网络；计算词语网络中各顶点的居间度，得到居间度集合；根据居间度密度算法以及居间度集合，得到居间度密度。
在一个实施例中，词语获取单元还用于对查询文本进行分词和词性标注处理，得到候选词语列表；对候选词语列表中词语进行过滤处理，得到词语集合。
关于安防数据处理装置的具体限定可以参见上文中对于安防数据处理方法的限定，在此不再赘述。上述安防数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储安防实时监测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种安防数据处理方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取安防实时监测数据，对安防实时监测数据进行归类处理，得到整合数据集，获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件，根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将安防实时监测数据进行数据格式归一处理，得到标准化数据；根据标准化数据的采集时间，对标准化数据进行处理，得到时间维度数据表；根据时间维度数据表的数据来源标识，对时间维度数据表中数据进行处理，得到类型维度数据表；根据查询属性在类型维度数据表中进行查找，得到与查询属性对应的类型维度数据表；在查找到的类型维度数据表中，根据查询条件进行筛选，得到与查询条件对应的目标安防数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当查找不到与查询属性对应的类型维度数据表时，根据查询属性和时间维度数据表生成新的类型维度数据表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：创建多个并行线程，并行线程包括数据接收线程、数据归类线程、查询请求线程以及数据查找线程；通过数据接收线程获取安防实时监测数据；通过数据归类线程对安防实时监测数据进行归类处理，得到整合数据集；通过查询请求线程获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件；通过数据查找线程，根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取查询文本中的词语集合；计算词语集合中词语统计特征值以及词语居间度密度；根据词语统计特征值和词语居间度密度，得到各词语的关键度，并根据关键度得到查询文本的关键词。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算词语集合中词语间的语义相似度；根据词语集合和语义相似度构建词语网络；计算词语网络中各顶点的居间度，得到居间度集合；根据居间度密度算法以及居间度集合，得到居间度密度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对查询文本进行分词和词性标注处理，得到候选词语列表；对候选词语列表中词语进行过滤处理，得到词语集合。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取安防实时监测数据，对安防实时监测数据进行归类处理，得到整合数据集，获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件，根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将安防实时监测数据进行标准化预处理，得到标准化数据；根据标准化数据的采集时间，对标准化数据进行处理，得到时间维度数据表；根据时间维度数据表的数据来源标识，对时间维度数据表中数据进行处理，得到类型维度数据表；根据查询属性在类型维度数据表中进行查找，得到与查询属性对应的类型维度数据表；在查找到的类型维度数据表中，根据查询条件进行筛选，得到与查询条件对应的目标安防数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当查找不到与查询属性对应的类型维度数据表时，根据查询属性和时间维度数据表生成新的类型维度数据表。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：创建多个并行线程，并行线程包括数据接收线程、数据归类线程、查询请求线程以及数据查找线程；通过数据接收线程获取安防实时监测数据；通过数据归类线程对安防实时监测数据进行归类处理，得到整合数据集；通过查询请求线程获取查询文本，基于语义提取查询文本的关键词，并根据关键词得到查询属性和查询条件；通过数据查找线程，根据查询属性和查询条件在整合数据集中查找，得到与查询属性和查询条件匹配的目标安防数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取查询文本中的词语集合；计算词语集合中词语统计特征值以及词语居间度密度；根据词语统计特征值和词语居间度密度，得到各词语的关键度，并根据关键度得到查询文本的关键词。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：计算词语集合中词语间的语义相似度；根据词语集合和语义相似度构建词语网络；计算词语网络中各顶点的居间度，得到居间度集合；根据居间度密度算法以及居间度集合，得到居间度密度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对查询文本进行分词和词性标注处理，得到候选词语列表；对候选词语列表中词语进行过滤处理，得到词语集合。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种安防数据处理方法，所述方法包括：
获取安防实时监测数据；
对所述安防实时监测数据进行归类处理，得到整合数据集；
获取查询文本，基于语义提取所述查询文本的关键词，并根据所述关键词得到查询属性和查询条件；
根据所述查询属性和所述查询条件在所述整合数据集中查找，得到与所述查询属性和所述查询条件匹配的目标安防数据。
2.根据权利要求1所述的方法，其特征在于，所述对所述安防实时监测数据进行归类处理，得到整合数据集，包括：
将所述安防实时监测数据进行数据格式归一处理，得到标准化数据；
根据所述标准化数据的采集时间，对所述标准化数据进行处理，得到时间维度数据表；
根据所述时间维度数据表的数据来源标识，对所述时间维度数据表中数据进行处理，得到类型维度数据表；
所述根据所述查询属性和所述查询条件在所述整合数据集中查找，得到与所述查询属性和所述查询条件匹配的目标安防数据，包括：
根据所述查询属性在所述类型维度数据表中进行查找，得到与所述查询属性对应的类型维度数据表；
在查找到的类型维度数据表中，根据所述查询条件进行筛选，得到与所述查询条件对应的目标安防数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述查询属性在类型维度数据表中进行查找之后，还包括：
当查找不到与所述查询属性对应的类型维度数据表时，根据所述查询属性和所述时间维度数据表生成新的类型维度数据表。
4.根据权利要求1所述的方法，其特征在于，所述基于语义提取所述查询文本的关键词，包括：
获取所述查询文本中的词语集合；
计算所述词语集合中词语统计特征值以及词语居间度密度；
根据所述词语统计特征值和所述词语居间度密度，得到各词语的关键度，并根据所述关键度得到所述查询文本的关键词。
5.根据权利要求4所述的方法，其特征在于，所述计算所述词语集合中词语居间度密度，包括：
计算所述词语集合中词语间的语义相似度；
根据所述词语集合和所述语义相似度构建词语网络；
计算所述词语网络中各顶点的居间度，得到居间度集合；
根据居间度密度算法以及所述居间度集合，得到居间度密度。
6.根据权利要求4所述的方法，其特征在于，所述获取所述查询文本中的词语集合，包括：
对所述查询文本进行分词和词性标注处理，得到候选词语列表；
对所述候选词语列表中词语进行过滤处理，得到词语集合。
7.一种安防数据处理装置，其特征在于，所述装置包括：
数据获取模块，用于获取安防实时监测数据；
归类处理模块，用于对所述安防实时监测数据进行归类处理，得到整合数据集；
请求接收模块，用于获取查询文本，基于语义提取所述查询文本的关键词，并根据所述关键词得到查询属性和查询条件；
请求处理模块，用于根据所述查询属性和所述查询条件在所述整合数据集中查找，得到与所述查询属性和所述查询条件匹配的目标安防数据。
8.根据权利要求7所述的装置，其特征在于，所述归类处理模块包括：
标准化处理单元，用于将所述安防实时监测数据进行数据格式归一处理，得到标准化数据；
时间维度处理单元，用于根据标准化数据的采集时间，对标准化数据进行处理，得到时间维度数据表；
类型维度单元，用于根据时间维度数据表的数据来源标识，对时间维度数据表中数据进行处理，得到类型维度数据表；
所述请求处理模块，用于根据查询属性在类型维度数据表中进行查找，得到与查询属性对应的类型维度数据表，在查找到的类型维度数据表中，根据查询条件进行筛选，得到与查询条件对应的目标安防数据。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811415918.7A CN109684355A (zh) | 2018-11-26 | 2018-11-26 | 安防数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811415918.7A CN109684355A (zh) | 2018-11-26 | 2018-11-26 | 安防数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109684355A true CN109684355A (zh) | 2019-04-26 |
Family
ID=66184981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811415918.7A Pending CN109684355A (zh) | 2018-11-26 | 2018-11-26 | 安防数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109684355A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111144092A (zh) * | 2019-12-16 | 2020-05-12 | 深圳市金蝶天燕云计算股份有限公司 | 数据拆分方法、装置、计算机可读存储介质和计算机设备 |
| CN111694708A (zh) * | 2020-05-28 | 2020-09-22 | 新浪网技术(中国)有限公司 | 数据查询方法、装置及电子设备、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103853838A (zh) * | 2014-03-17 | 2014-06-11 | 中国联合网络通信集团有限公司 | 一种数据处理方法和装置 |
| CN106033466A (zh) * | 2015-03-20 | 2016-10-19 | 华为技术有限公司 | 数据库查询的方法和设备 |
| CN107330045A (zh) * | 2017-06-28 | 2017-11-07 | 携程旅游网络技术（上海）有限公司 | 机票预订平台的大数据可视化分析方法及系统 |
| CN108073644A (zh) * | 2016-11-15 | 2018-05-25 | 南京南瑞继保电气有限公司 | 一种电网气象海量数据处理方法 |
-
2018
- 2018-11-26 CN CN201811415918.7A patent/CN109684355A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103853838A (zh) * | 2014-03-17 | 2014-06-11 | 中国联合网络通信集团有限公司 | 一种数据处理方法和装置 |
| CN106033466A (zh) * | 2015-03-20 | 2016-10-19 | 华为技术有限公司 | 数据库查询的方法和设备 |
| CN108073644A (zh) * | 2016-11-15 | 2018-05-25 | 南京南瑞继保电气有限公司 | 一种电网气象海量数据处理方法 |
| CN107330045A (zh) * | 2017-06-28 | 2017-11-07 | 携程旅游网络技术（上海）有限公司 | 机票预订平台的大数据可视化分析方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| 余正涛等: "受限领域自然语言数据库查询接口研究", 《昆明理工大学学报（理工版）》 * |
| 杨健: "《Java程序设计》", 31 August 2016, 北京邮电大学出版社 * |
| 王世伟等: "《医学信息系统教程》", 31 August 2006, 中国铁道出版社 * |
| 王立霞等: "基于语义的中文文本关键词提取算法", 《计算机工程》 * |
| 王西亚: "基于物联网的仓储系统的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111144092A (zh) * | 2019-12-16 | 2020-05-12 | 深圳市金蝶天燕云计算股份有限公司 | 数据拆分方法、装置、计算机可读存储介质和计算机设备 |
| CN111144092B (zh) * | 2019-12-16 | 2023-11-24 | 深圳市金蝶天燕云计算股份有限公司 | 数据拆分方法、装置、计算机可读存储介质和计算机设备 |
| CN111694708A (zh) * | 2020-05-28 | 2020-09-22 | 新浪网技术(中国)有限公司 | 数据查询方法、装置及电子设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kalmegh | Analysis of weka data mining algorithm reptree, simple cart and randomtree for classification of indian news | |
| CN106104533B (zh) | 处理大型数据储存库中的数据集 | |
| US7593927B2 (en) | Unstructured data in a mining model language | |
| US20130198116A1 (en) | Leveraging user-to-tool interactions to automatically analyze defects in it services delivery | |
| US20170109668A1 (en) | Model for Linking Between Nonconsecutively Performed Steps in a Business Process | |
| CN107844533A (zh) | 一种智能问答系统及分析方法 | |
| CN112579728B (zh) | 基于海量数据全文检索的行为异常识别方法及装置 | |
| CN112613789A (zh) | 风险管控数据处理方法、风险预警规则前置数据监控方法 | |
| WO2019128527A1 (zh) | 一种社交内容风险识别方法、装置以及设备 | |
| WO2019179408A1 (zh) | 机器学习模型的构建 | |
| Shah et al. | Towards benchmarking feature type inference for automl platforms | |
| CN109684355A (zh) | 安防数据处理方法、装置、计算机设备和存储介质 | |
| CN114153995B (zh) | 医学术语的处理方法、装置、计算机设备和存储介质 | |
| US20170109640A1 (en) | Generation of Candidate Sequences Using Crowd-Based Seeds of Commonly-Performed Steps of a Business Process | |
| Sosnowski et al. | Generating fuzzy linguistic summaries for menstrual cycles | |
| CN110874366A (zh) | 数据处理、查询方法和装置 | |
| Kumar et al. | A Real-Time Approach for Smart Building Operations Prediction Using Rule-Based Complex Event Processing and SPARQL Query | |
| CN105786929A (zh) | 一种信息监测方法及装置 | |
| CN108549667B (zh) | 一种结构化工程设计知识的语义检索方法 | |
| EP4002151A1 (en) | Data tagging and synchronisation system | |
| CN112507129A (zh) | 配电网作业文件的内容变动处理方法及相关设备 | |
| Natarajan et al. | EDF: A framework for Semantic Annotation of Video | |
| Alharthi | Recognizing hate-prone characteristics of online hate speech targets | |
| CN117852900A (zh) | 一种运维管控服务水平管理系统 | |
| Panse et al. | Indeterministic handling of uncertain decisions in duplicate detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |