CN107592306A - 基于物联网环境大数据的信息安全监测管理方法及系统 - Google Patents
基于物联网环境大数据的信息安全监测管理方法及系统 Download PDFInfo
- Publication number
- CN107592306A CN107592306A CN201710803400.XA CN201710803400A CN107592306A CN 107592306 A CN107592306 A CN 107592306A CN 201710803400 A CN201710803400 A CN 201710803400A CN 107592306 A CN107592306 A CN 107592306A
- Authority
- CN
- China
- Prior art keywords
- rule
- data
- packet
- keyword
- mapping relations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供的基于物联网环境大数据的信息安全监测管理方法及系统,方法为:配置过滤规则,在每一条规则对应的哈希表中建立条件与规则RULE_ID的映射关系;解析多个环境监测设备上传的数据包,提取数据包中的数据的多个关键字;将每个关键字生成哈希,并查找对应关键字的哈希表,得到关键字对应的查找结果;在所有的关键字查找完成后,得到多个RULE_ID位图,将多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;确定最终匹配的规则后,按照过滤规则输出对应的数据报文。本发明通过在云数据中心利用云处理技术对环境指标数据进行过滤处理,充分利用多核处理器性能,实现高性能的实时数据过滤,保证数据的安全。
Description
技术领域
本发明涉及互联网领域,尤其涉及基于物联网环境大数据的信息安全监测管理方法及系统领域。
背景技术
目前,通过环境监测设备获取各个地方,包括旅游目的地的环境指标数据进行采集,并通过网络将数据上传到云数据中心系统;云数据中心系统采用云计算技术对上传的数据分析管理后进行推送,通过移动互联网推送到用户终端的面向用户的数据服务平台;利用物联网技术和云技术实现了环境数据的自动上传汇聚、存储和挖掘,形成数据应用服务。整个过程中云数据中心需要处理大量的数据,并对应存储大量的数据,在数据处理传输的过程中,需要对数据进行跟踪过滤,现有技术中,通常需要先将所有数据,保存到本地服务器或云服务器的磁盘阵列上,然后根据界面下发的条件,过滤出满足条件的数据。但是由于移动互联网的数据量日益增长(大数据时代的到来),按照现有系统需要的存储设备越来越多,过滤的性能也成为了该系统的瓶颈。因此需要提供一种高性能的实时数据过滤方法,满足移动互联网大数据处理的要求。
因此,现有技术中的缺陷是,对于数据的追踪过滤,需要将所有数据进行保存,再通过过滤查找出满足条件的数据,但在上传到云数据中心的数据中有一些垃圾数据、错误数据和危险数据,将这些数据参与数据分析和保存,不但影响数据的处理速度,还影响数据的安全。
发明内容
针对上述技术问题,本发明提供一种基于物联网环境大数据的信息安全
ON17-P14353监测管理方法及系统,通过在云数据中心利用云处理技术对环境指标数据进行过滤处理,将配置规则与匹配规则分开处理,充分利用多核处理器性能,将数据中的垃圾数据、错误数据和危险数据进行及时过滤,实现高性能的实时数据过滤,提供了更加深入、精确的数据过滤功能,保证数据的安全。
为解决上述技术问题,本发明提供的技术方案是:
第一方面,本发明提供一种基于物联网环境大数据的信息安全监测管理方法,包括:
步骤S1,配置过滤规则,每条过滤规则分配一个唯一RULE_ID,解析所述过滤规则的内容,每一条规则单独生成哈希,在所述每一条规则对应的哈希表中建立条件与所述规则RULE_ID的映射关系;
步骤S2,通过位图算法和链表对所述映射关系进行过滤处理,得到新的映射关系;
步骤S3,在云数据中心,解析多个环境监测设备上传的数据包,所述数据包中包括环境指标数据和地理位置数据,提取所述数据包中的数据的多个关键字;
步骤S4,将每个关键字生成哈希,并根据所述每个关键字查找对应关键字的哈希表,根据所述新的映射关系得到所述关键字对应的查找结果;
步骤S5,在所有的关键字查找完成后,得到多个RULE_ID位图,将所述多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;
步骤S6,确定最终匹配的规则后,按照所述过滤规则输出对应的数据报文,形成数据应用服务。
本发明提供的基于物联网环境大数据的信息安全监测管理方法,其技术方案为:配置过滤规则,每条过滤规则分配一个唯一RULE_ID,解析所述过滤规则的内容,每一条规则单独生成哈希,在所述每一条规则对应的哈希表中建立条件与所述规则RULE_ID的映射关系;通过位图算法和链表对所述映射关系进行过滤处理,得到新的映射关系;在云数据中心,解析多个环境监测设备上传的数据包,所述数据包中包括环境指标数据和地理位置数据,提取所述数据包中的数据的多个关键字;
将每个关键字生成哈希,并根据所述每个关键字查找对应关键字的哈希表,根据所述新的映射关系得到所述关键字对应的查找结果;在所有的关键字查找完成后,得到多个RULE_ID位图,将所述多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;确定最终匹配的规则后,按照所述过滤规则输出对应的数据报文,形成数据应用服务。
本发明提供的基于物联网环境大数据的信息安全监测管理方法,通过在云数据中心利用云处理技术对环境指标数据进行过滤处理,将配置规则与匹配规则分开处理,充分利用多核处理器性能,将数据中的垃圾数据、错误数据和危险数据进行及时过滤,实现高性能的实时数据过滤,提供了更加深入、精确的数据过滤功能,保证数据的安全。
进一步地,所述步骤S2中,通过位图算法对所述映射关系进行过滤处理,具体为:
在每一个哈希结点中,保存一个RULE_ID的位图,通过条件查找到对应哈希结点,在哈希结点的RULE_ID位图对应bit位置1;如果某个条件没有配置,则设置USER_IP条件的默认RULE_ID位图的对应bit位,所述bit位置为1。
进一步地,所述步骤S3中,所述解析多个环境监测设备上传的数据包之前,还包括,对所述数据包进行过滤存储,具体为:
获取待存储数据包,并存储在所述云数据中心的内存中;
根据所述云数据中心的加密处理策略对所述待存储数据包进行加密处理,生成字符串;
根据所述云数据中心的乱序处理策略将所述字符串进行乱序处理;
根据所述云数据中心的删减处理策略将进行乱序处理后的字符串进行字节的删减处理,形成损坏字符串和删减内容,并将所述损坏字符串存储于所述云数据中心。
进一步地,所述方法还包括:
记录加密处理策略信息、乱序处理策略信息以及删减处理策略信息到所述云数据中心的文件处理日志中。
进一步地,所述加密处理策略信息为加密处理策略的身份标识,所述乱序处理策略信息为乱序处理策略的身份标识,所述删减处理策略信息为删减处理策略的身份标识。
第二方面,本发明提供了一种基于物联网环境大数据的信息安全监测管理系统,包括:
过滤规则配置模块,用于配置过滤规则,每条过滤规则分配一个唯一RULE_ID,解析所述过滤规则的内容,每一条规则单独生成哈希,在所述每一条规则对应的哈希表中建立条件与所述规则RULE_ID的映射关系;
映射关系过滤模块,用于通过位图算法和链表对所述映射关系进行过滤处理,得到新的映射关系;
关键词提取模块,用于在云数据中心,解析多个环境监测设备上传的数据包,所述数据包中包括环境指标数据和地理位置数据,提取所述数据包中的数据的多个关键字;
查找结果模块,用于将每个关键字生成哈希,并根据所述每个关键字查找对应关键字的哈希表,根据所述新的映射关系得到所述关键字对应的查找结果;
匹配模块,用于在所有的关键字查找完成后,得到多个RULE_ID位图,将所述多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;
数据报文生成模块,用于确定最终匹配的规则后,按照所述过滤规则输出对应的数据报文,形成数据应用服务。
本发明提供的基于物联网环境大数据的信息安全监测管理系统,其技术方案为:通过过滤规则配置模块,配置过滤规则,每条过滤规则分配一个唯一RULE_ID,解析所述过滤规则的内容,每一条规则单独生成哈希,在所述每一条规则对应的哈希表中建立条件与所述规则RULE_ID的映射关系;通过映射关系过滤模块,通过位图算法和链表对所述映射关系进行过滤处理,得到新的映射关系;通过关键词提取模块,在云数据中心,解析多个环境监测设备上传的数据包,所述数据包中包括环境指标数据和地理位置数据,提取所述数据包中的数据的多个关键字;
通过查找结果模块,将每个关键字生成哈希,并根据所述每个关键字查找对应关键字的哈希表,根据所述新的映射关系得到所述关键字对应的查找结果;通过匹配模块,在所有的关键字查找完成后,得到多个RULE_ID位图,将所述多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;通过数据报文生成模块,确定最终匹配的规则后,按照所述过滤规则输出对应的数据报文,形成数据应用服务。
本发明提供的基于物联网环境大数据的信息安全监测管理系统,通过在云数据中心利用云处理技术对环境指标数据进行过滤处理,将配置规则与匹配规则分开处理,充分利用多核处理器性能,将数据中的垃圾数据、错误数据和危险数据进行及时过滤,实现高性能的实时数据过滤,提供了更加深入、精确的数据过滤功能,保证数据的安全。
进一步地,所述映射关系过滤模块,具体用于:通过位图算法对所述映射关系进行过滤处理:
在每一个哈希结点中,保存一个RULE_ID的位图,通过条件查找到对应哈希结点,在哈希结点的RULE_ID位图对应bit位置1;如果某个条件没有配置,则设置USER_IP条件的默认RULE_ID位图的对应bit位,所述bit位置为1。
进一步地,所述关键词提取模块,具体用于在所述解析多个环境监测设备上传的数据包之前,对所述数据包进行过滤存储:
获取待存储数据包,并存储在所述云数据中心的内存中;
根据所述云数据中心的加密处理策略对所述待存储数据包进行加密处理,生成字符串;
根据所述云数据中心的乱序处理策略将所述字符串进行乱序处理;
根据所述云数据中心的删减处理策略将进行乱序处理后的字符串进行字节的删减处理,形成损坏字符串和删减内容,并将所述损坏字符串存储于所述云数据中心。
进一步地,所述系统还包括信息管理模块,用于:
记录加密处理策略信息、乱序处理策略信息以及删减处理策略信息到所述云数据中心的文件处理日志中。
进一步地,所述加密处理策略信息为加密处理策略的身份标识,所述乱序处理策略信息为乱序处理策略的身份标识,所述删减处理策略信息为删减处理策略的身份标识。
与现有技术相比,本发明的有益效果是:
在云数据中心利用云处理技术对环境指标数据进行过滤处理,将配置规则与匹配规则分开处理,充分利用多核处理器性能,将数据中的垃圾数据、错误数据和危险数据进行及时过滤,实现高性能的实时数据过滤,提供了更加深入、精确的数据过滤功能,保证数据的安全。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1示出了本发明实施例所提供的一种基于物联网环境大数据的信息安全监测管理方法及系统的商业模式示意图;
图2示出了本发明实施例所提供的一种基于物联网环境大数据的信息安全监测管理方法的流程图;
图3示出了本发明实施例所提供的一种基于物联网环境大数据的信息安全监测管理方法的乱序处理的示意图;
图4示出了本发明实施例所提供的一种基于物联网环境大数据的信息安全监测管理方法的删减处理的示意图;
图5示出了本发明实施例所提供的一种基于物联网环境大数据的信息安全监测管理系统的示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
实施例一
参见图1,基于本发明提供的基于物联网环境大数据的信息安全监测管理方法及系统,搭建SaaS模式的开放平台,基于SaaS模式的开放平台搭建商业模式,保证在此商业模式下,保证环境指标数据的安全性。其商业模式具体说明如下:
基于物联网大数据技术,进行生态旅游目的地环境源数据采集,搭建模式SAAS(软件即服务)的开放平台,让第三方平台使用生态旅游目的地环境数据用于商业应用开发进而传递数据价值并实现变现的目的。核心工作就是采数据,开发数据应用,用户在开放平台上购买应用,并将数据应用与第三方平台对接,在其平台上应用。整个流程的每一环节都产品和单独模式作为支撑,以下为模式流程图:
(一)源数据采集(押金模式)
源数据采集是使用生态指数监测仪,即环境监测设备,有别于传统的环保监测厂商,氧生度并不直接销售采集设备,而是让生态旅游目的地用户向平台支付押金便可以在目的地部署一台采集设备。通过与专业厂商合作生产,加之成本优势,支付的押金已经超过设备本身的成本,但是仍然低于市面上的其它同类产品,等于变相销售设备。设备的技术服务由氧生度负责而且设备还可以免费多次升级,如不需要可以退回。这可以有效避免与传统设备厂商直接竞争,快速部署设备,采集数据,并可获取资金。
(三)氧生度数据应用(收益分成模式)
采集的数据传输至氧生度开放平台,开放平台是一个数据价值传递的中枢,通过提供源数据以及数据应用,连接了氧生度、第三方开发平台、旅游目的地用户、衍生客户、广告主以及游客,实现了数据价值和收益流通。
第三方开发者:付费使用数据用于自身业务并直接销售给自己的客户。亦可以将开发的消费级应用在氧生度开放平台上销售,获取收益分成;
旅游目的地用户:这里的用户分为部署设备的用户和没有部署设备用户。
(1)部署设备的用户:首先应当是付费购买数据应用。但这部分用户由于在其经营范围内采集了数据,因此当第三方开放者付费使用了该目的地采集的数据,该用户将按数据量获取收益分成。目的在于通过经济利益与目的地建立牢固的关系,降低设备退还率,也便于开拓市场;
没有部署设备的用户:这部分用户直接付费购买数据应用,无法获取收益分成。
自主开发的应用:这些应用即是在产品环节阐述的基于氧生度标准开发的指数应用,是为了前期验证模式,形成闭环,也是EDM模式的基础。
(三)数据营销(EDM模式)
这是一个使用数据应用服务中的指数应用分析结果开发的互联网旅游广告产品,指数分析分析结果主要是基于目的地的数据开发的指数应用,是商业模式中最终环节的重要变现通道。通过在旅游产业方平台上发布的指数应用的点击和关注情况分析,对游客的行为习惯进行筛选,形成不同的用户圈层数据。再将这些数据导入到不同的需求用户中,为其精准营销提供数据支撑。例如:某一用户经常性的点击查看睡眠指数。可以反映该用户对目的地的睡眠环境更在意,说明其可能有神经衰弱或者要求更高的睡眠质量。他就是保险公司或者提供静音性家居的厂商就是潜在客户。
因此,基于上述商业模式,为用户提供优质的服务,优质的体验,下面本实施例对基于物联网环境大数据的信息安全监测管理方法及系统进行进一步的说明。
图2示出了本发明实施例所提供的一种基于物联网环境大数据的信息安全监测管理方法的流程图;如图2所示,实施例一提供的一种基于物联网环境大数据的信息安全监测管理方法,包括:
步骤S1,配置过滤规则,每条过滤规则分配一个唯一RULE_ID,解析过滤规则的内容,每一条规则单独生成哈希,在每一条规则对应的哈希表中建立条件与规则RULE_ID的映射关系;其中,每一条规则指每一条过滤规则。
步骤S2,通过位图算法和链表对映射关系进行过滤处理,得到新的映射关系;
步骤S3,在云数据中心,解析多个环境监测设备上传的数据包,数据包中包括环境指标数据和地理位置数据,提取数据包中的数据的多个关键字;
步骤S4,将每个关键字生成哈希,并根据每个关键字查找对应关键字的哈希表,根据新的映射关系得到关键字对应的查找结果;
步骤S5,在所有的关键字查找完成后,得到多个RULE_ID位图,将多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;
步骤S6,确定最终匹配的规则后,按照过滤规则输出对应的数据报文,形成数据应用服务。
本发明提供的基于物联网环境大数据的信息安全监测管理方法,其技术方案为:配置过滤规则,每条过滤规则分配一个唯一RULE_ID,解析过滤规则的内容,每一条规则单独生成哈希,在每一条规则对应的哈希表中建立条件与规则RULE_ID的映射关系;通过位图算法和链表对映射关系进行过滤处理,得到新的映射关系;在云数据中心,解析多个环境监测设备上传的数据包,数据包中包括环境指标数据和地理位置数据,提取数据包中的数据的多个关键字;
将每个关键字生成哈希,并根据每个关键字查找对应关键字的哈希表,根据新的映射关系得到关键字对应的查找结果;在所有的关键字查找完成后,得到多个RULE_ID位图,将多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;确定最终匹配的规则后,按照过滤规则输出对应的数据报文,形成数据应用服务。
本发明提供的基于物联网环境大数据的信息安全监测管理方法,通过在云数据中心利用云处理技术对环境指标数据进行过滤处理,将配置规则与匹配规则分开处理,充分利用多核处理器性能,将数据中的垃圾数据、错误数据和危险数据进行及时过滤,实现高性能的实时数据过滤,提供了更加深入、精确的数据过滤功能,保证数据的安全。
其中,多个环境监测设备上传的数据包中还可包括用户选择的旅游目的地信息,环境监测设备采集的太阳能数据和风能数据等相关信息。
其中,过滤规则分为:用户身份规则和设备规则。
用户身份规则用来检测用户的身份是否符合获取数据的规则,比如需要购买后,才可查看的数据,用户需要付款购买后才可满足用户身份规则,用户身份规则还包括用户的ID信息或任何能表明用户身份的信息。
设备规则用来检测采集到的数据对应的环境监测设备是否是预先设置的环境监测设备,每个设备有唯一确认的设备编号,如果某个设备不在编号列表中,表明该设备上传的数据可能存在安全隐患,识别出这样的设备,对于该设备对应的数据直接全部过滤掉,保证数据的安全性。
作为本发明的优选实施例,步骤S2中,通过位图算法对映射关系进行过滤处理,具体为:
在每一个哈希结点中,保存一个RULE_ID的位图,通过条件查找到对应哈希结点,在哈希结点的RULE_ID位图对应bit位置1;如果某个条件没有配置,则设置USER_IP条件的默认RULE_ID位图的对应bit位,bit位置为1。
优选地,哈希表使用云数据中心的共享内存来存储,把规则的解析与规则的匹配分离。
下面进行具体处理流程的说明:
首先配置过滤规则,解析规则的内容,每一个条件单独生成哈希,在每一个条件对应的哈希表中建立条件与RULE_ID的映射关系,哈希表的冲突通过链表解决,具体而言,就是哈希算法,使用关键字段的值,生成哈希值(一种简单的生成哈希值的算法即求余:关键字%哈希表最大值),新建结点,保存rule_id的值。而对于关键字段值相同出现在多条规则的情况,使用后面叙述的位图算法解决。而对于某一个条件值在多条规则(RULE_ID不同)中出现的情况,本发明中采用位图(bitmap)算法解决,具体如下。
在每一个哈希结点中,保存一个RULE_ID的位图(每一个bit位表示对应的RULE_ID,bit0对应的是RULE_ID=0,bitN对应的是RULE_ID=N)。通过条件查找到对应哈希结点,在哈希结点的RULE_ID位图对应bit位置1,比如RULE_ID=1,则位图的bit1置1。
哈希表使用共享内存来存储,主要目的是把规则的解析与规则的匹配分离,完成解析规则,生成规则哈希表映射后,就只需要访问哈希表完成规则匹配。
解析多个环境监测设备上传的数据包,提取关键字,关键字提取完成后,使用关键字生成哈希,查找对应关键字的哈希表,如果找到结点,则将该哈希结点RULE_ID位图,与该条件的默认RULE_ID位图做或运算,得到该条件查找的结果;如果没有找到结点,则记录该条件的默认RULE_ID位图,作为该条件查找的结果。
所有的关键字查找完成后,得到多个RULE_ID位图,将所有的RULE_ID位图做与运算,得到整个数据包匹配的最终结果。
匹配的最终RULE_ID位图,可能有多个bit位值为1,本发明按照RULE_ID的大小顺序作为优先级,从RULE_ID位图中选择第一个对应bit位为1的RULE_ID(如8bit(bit0-bit7)值为00101001,按照网络顺序从左到右,bit2是第一个为1的位,则最终匹配的RULE_ID就是2,作为最终匹配规则。
确定最终匹配的规则后,按照该条过滤规则的要求输出对应的数据报文,形成数据应用服务。
优选地,步骤S3中,解析多个环境监测设备上传的数据包之前,还包括,对数据包进行过滤存储,具体为:
获取待存储数据包,并存储在云数据中心的内存中;
根据云数据中心的加密处理策略对待存储数据包进行加密处理,生成字符串;
根据云数据中心的乱序处理策略将字符串进行乱序处理;
根据云数据中心的删减处理策略将进行乱序处理后的字符串进行字节的删减处理,形成损坏字符串和删减内容,并将损坏字符串存储于云数据中心。
本发明实施例提供的数据的安全存储方法,通过对待存储数据包进行加密处理,乱序处理以及删减处理,从而避免云数据中心存储完整的数据,而仅存储需要进行云数据中心存储的数据的损坏字符串。能够提高存储在云数据中心中数据的安全性,避免数据内容的泄露。
优选地,方法还包括:
记录加密处理策略信息、乱序处理策略信息以及删减处理策略信息到云数据中心的文件处理日志中。
优选地,加密处理策略信息为加密处理策略的身份标识,乱序处理策略信息为乱序处理策略的身份标识,删减处理策略信息为删减处理策略的身份标识。
具体的,在云数据中心中存储有多种乱序处理策略,可以在多种乱序处理策略中随机选择一种乱序处理策略来对字符串进行乱序处理。例如如图2所示,该字符串有10个字节,则可以每次随机产生数字1-10中的一个数,将该位置的字节移至整个字符串的第一个字节的位置,同时记录下乱序轨迹,并将该位置对应的数字从随机数源中剔除,例如第一次随机数字为3,因此将第三个字节的内容移动到第一个字节的位置。如此循环,随机进行十次移动后,将字符串的字节打乱。这些字节被打乱时所产生的乱序轨迹可以记录在云数据中心的文件处理日志中,例如如图3所示的乱序轨迹为(3、7、9、10、8、5、2、4、1、6),具体可以以环境监测设备的名称和乱序轨迹信息的组合形式存储,例如环境监测设备的名称为环境监测设备一,则可以以“环境监测设备一+|3|7|9|10|8|5|2|4|1|6|”进行存储,但不仅局限于此。乱序处理策略信息可以是所采用的乱序处理策略的身份标识,用于表示采用了何种乱序处理策略;或者乱序处理策略信息可以是上述的环境监测设备的名称和乱序轨迹信息的组合。
具体的,在云数据中心中存储有多种删减处理策略,可以在多种删减处理策略中随机选择一种删减处理策略来对字符串进行删减处理。例如,可以将字符串每隔几个字节就抽取一个字节,进行删减,从而对乱序处理后的字符串进行字节的删减处理。例如,如图4所示,可以采取每8个字节中抽取1个字节的方式来进行删减处理,此处删除的是第1个字节、第9个字节,而第2-8个字节和第10-16个字节将会保存,此处的1-16个字节均为乱序处理后的字符串的字节。删减处理策略信息可以是所采用的删减处理策略的身份标识,用于表示采用了何种删减处理策略。
优选地,获取待存储数据包,并存储在云数据中心的内存中,包括:
通过网络从多个环境监测设备获取待存储数据包,将待存储数据包临时存储于云数据中心的内存中,并存储时间戳到云数据中心的文件处理日志中;时间戳为从多个环境监测设备获取数据时的时间。
优选地,在通过网络从多个环境监测设备获取待存储数据包之前,包括:
判断云数据中心的内存中是否存储有待存储数据包中数据的损坏字符串。
优选地,若判断到云数据中心的内存中未存储损坏字符串,从多个环境监测设备获取待存储数据包。
优选地,若判断到云数据中心的内存中存储有损坏字符串,从云数据中心的内存中获取损坏字符串,并从云数据中心的文件处理日志中获取待存储数据包对应的加密处理策略的身份标识、乱序处理策略的身份标识以及删减处理策略的身份标识。
优选地,方法还包括:
向多个环境监测设备中的至少一个环境监测设备发送请求报文,请求报文包括与当前时间最接近的时间戳、加密处理策略的身份标识、乱序处理策略的身份标识和删减处理策略的身份标识,以使得至少一个环境监测设备根据时间戳获取到与时间戳对应版本的数据,根据加密处理策略的身份标识、乱序处理策略的身份标识和删减处理策略的身份标识从至少一个环境监测设备分别获取到加密处理策略、乱序处理策略以及删减处理策略,并根据加密处理策略、乱序处理策略以及删减处理策略对对应版本的数据进行处理,获取得到对应版本的数据对应的删减内容;
接收至少一个环境监测设备发送的对应版本的数据对应的删减内容,并存储时间戳到云数据中心的文件处理日志中;时间戳为从至少一个环境监测设备获取数据时的时间;
根据删减处理策略的身份标识对应的删减处理策略和删减内容,对损坏字符串进行修复,形成修复后的字符串;
根据乱序处理策略的身份标识对应的乱序处理策略,对修复后的字符串进行还原,形成还原后的字符串;
根据加密处理策略的身份标识对应的加密处理策略,将还原后的字符串进行解密,获取到待存储数据包。
其中,若获知删除处理时所采用的删减处理策略,以及删减内容,则可以按照逆处理的方式来进行修复损坏字符串。例如删减处理策略是删减每8个字节的第一个字节,则可以将删减内容插入到损坏字符串的相应位置,以修复损坏字符串。
其中,可以通过乱序处理策略获取到文件对应的乱序轨迹,并根据乱序轨迹将修复后的字符串进行还原处理,例如乱序轨迹为(3、7、9、10、8、5、2、4、1、6),则还原处理的轨迹应该为(6、1、4、2、5、8、10、9、7、3),则根据还原处理的轨迹进行处理,其中,还原处理的轨迹中的6表示先将修复后的字符串的第一个字节还原到第六个字节的位置,然后将每次处理后的第一个字节均移动到相应的位置上,即可得到还原后的字符串。
优选地,接收至少一个环境监测设备发送的对应版本的数据对应的数据更新信息;
根据数据更新信息对待存储数据包进行数据更新,获取得到更新后的数据包;
将更新后的数据包临时存储于云数据中心的内存中。
参见图5,第二方面,本发明提供了一种基于物联网环境大数据的信息安全监测管理系统10,包括:
过滤规则配置模块101,用于配置过滤规则,每条过滤规则分配一个唯一RULE_ID,解析过滤规则的内容,每一条规则单独生成哈希,在每一条规则对应的哈希表中建立条件与规则RULE_ID的映射关系;
映射关系过滤模块102,用于通过位图算法和链表对映射关系进行过滤处理,得到新的映射关系;
关键词提取模块103,用于在云数据中心,解析多个环境监测设备上传的数据包,数据包中包括环境指标数据和地理位置数据,提取数据包中的数据的多个关键字;
查找结果模块104,用于将每个关键字生成哈希,并根据每个关键字查找对应关键字的哈希表,根据新的映射关系得到关键字对应的查找结果;
匹配模块105,用于在所有的关键字查找完成后,得到多个RULE_ID位图,将多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;
数据报文生成模块106,用于确定最终匹配的规则后,按照过滤规则输出对应的数据报文,形成数据应用服务。
本发明提供的基于物联网环境大数据的信息安全监测管理系统10,其技术方案为:通过过滤规则配置模块101,配置过滤规则,每条过滤规则分配一个唯一RULE_ID,解析过滤规则的内容,每一条规则单独生成哈希,在每一条规则对应的哈希表中建立条件与规则RULE_ID的映射关系;通过映射关系过滤模块102,通过位图算法和链表对映射关系进行过滤处理,得到新的映射关系;通过关键词提取模块103,在云数据中心,解析多个环境监测设备上传的数据包,数据包中包括环境指标数据和地理位置数据,提取数据包中的数据的多个关键字;
通过查找结果模块104,将每个关键字生成哈希,并根据每个关键字查找对应关键字的哈希表,根据新的映射关系得到关键字对应的查找结果;通过匹配模块105,在所有的关键字查找完成后,得到多个RULE_ID位图,将多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;通过数据报文生成模块106,确定最终匹配的规则后,按照过滤规则输出对应的数据报文,形成数据应用服务。
本发明提供的基于物联网环境大数据的信息安全监测管理系统10,通过在云数据中心利用云处理技术对环境指标数据进行过滤处理,将配置规则与匹配规则分开处理,充分利用多核处理器性能,将数据中的垃圾数据、错误数据和危险数据进行及时过滤,实现高性能的实时数据过滤,提供了更加深入、精确的数据过滤功能,保证数据的安全。
优选地,映射关系过滤模块102,具体用于:通过位图算法对映射关系进行过滤处理:
在每一个哈希结点中,保存一个RULE_ID的位图,通过条件查找到对应哈希结点,在哈希结点的RULE_ID位图对应bit位置1;如果某个条件没有配置,则设置USER_IP条件的默认RULE_ID位图的对应bit位,bit位置为1。
优选地,关键词提取模块103,具体用于在解析多个环境监测设备上传的数据包之前,对数据包进行过滤存储:
获取待存储数据包,并存储在云数据中心的内存中;
根据云数据中心的加密处理策略对待存储数据包进行加密处理,生成字符串;
根据云数据中心的乱序处理策略将字符串进行乱序处理;
根据云数据中心的删减处理策略将进行乱序处理后的字符串进行字节的删减处理,形成损坏字符串和删减内容,并将损坏字符串存储于云数据中心。
优选地,系统还包括信息管理模块,用于:
记录加密处理策略信息、乱序处理策略信息以及删减处理策略信息到云数据中心的文件处理日志中。
优选地,加密处理策略信息为加密处理策略的身份标识,乱序处理策略信息为乱序处理策略的身份标识,删减处理策略信息为删减处理策略的身份标识。
实施例二
作为本发明的优选实施例,多个环境监测设备上传的数据包中还可包括用户选择的旅游目的地信息,环境监测设备采集的太阳能数据、风能数据等相关信息。
其中,对旅游目的地信息的信息安全监测管理,具体为:
将用户输入的旅游目的地作为数据过滤条件;
根据数据过滤条件,在数据应用服务中进行数据的检索,得到旅游目的地对应的环境指标数据。
通过实施例一中的过滤匹配,可快速找到匹配的信息,用户可通过输入关键词(旅游目的地),快速了解该旅游目的地的详细生态信息,满足用户需求。
另外,对太阳能数据的信息安全监测管理,具体为:
获取多个环境监测设备采集的太阳能数据;
结合每个环境监测设备的地理位置信息,可进行太阳能分布的识别,生成数据报表;
通过数据报表,对太阳能数据进行安全监测,当太阳能数据达到预设阈值,进行安全报警。保证每个环境监测设备的用电安全。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于物联网环境大数据的信息安全监测管理方法,其特征在于,包括:
步骤S1,配置过滤规则,每条过滤规则分配一个唯一RULE_ID,解析所述过滤规则的内容,每一条规则单独生成哈希,在所述每一条规则对应的哈希表中建立条件与所述规则RULE_ID的映射关系;
步骤S2,通过位图算法和链表对所述映射关系进行过滤处理,得到新的映射关系;
步骤S3,在云数据中心,解析多个环境监测设备上传的数据包,所述数据包中包括环境指标数据和地理位置数据,提取所述数据包中的数据的多个关键字;
步骤S4,将每个关键字生成哈希,并根据所述每个关键字查找对应关键字的哈希表,根据所述新的映射关系得到所述关键字对应的查找结果;
步骤S5,在所有的关键字查找完成后,得到多个RULE_ID位图,将所述多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;
步骤S6,确定最终匹配的规则后,按照所述过滤规则输出对应的数据报文,形成数据应用服务。
2.根据权利要求1所述的基于物联网环境大数据的信息安全监测管理方法,其特征在于,
所述步骤S2中,通过位图算法对所述映射关系进行过滤处理,具体为:
在每一个哈希结点中,保存一个RULE_ID的位图,通过条件查找到对应哈希结点,在哈希结点的RULE_ID位图对应bit位置1;如果某个条件没有配置,则设置USER_IP条件的默认RULE_ID位图的对应bit位,所述bit位置为1。
3.根据权利要求1所述的基于物联网环境大数据的信息安全监测管理方法,其特征在于,
所述步骤S3中,所述解析多个环境监测设备上传的数据包之前,还包括,对所述数据包进行过滤存储,具体为:
获取待存储数据包,并存储在所述云数据中心的内存中;
根据所述云数据中心的加密处理策略对所述待存储数据包进行加密处理,生成字符串;
根据所述云数据中心的乱序处理策略将所述字符串进行乱序处理;
根据所述云数据中心的删减处理策略将进行乱序处理后的字符串进行字节的删减处理,形成损坏字符串和删减内容,并将所述损坏字符串存储于所述云数据中心。
4.根据权利要求3所述的基于物联网环境大数据的信息安全监测管理方法,其特征在于,
所述方法还包括:
记录加密处理策略信息、乱序处理策略信息以及删减处理策略信息到所述云数据中心的文件处理日志中。
5.根据权利要求4所述的基于物联网环境大数据的信息安全监测管理方法,其特征在于,
所述加密处理策略信息为加密处理策略的身份标识,所述乱序处理策略信息为乱序处理策略的身份标识,所述删减处理策略信息为删减处理策略的身份标识。
6.一种基于物联网环境大数据的信息安全监测管理系统,其特征在于,包括:
过滤规则配置模块,用于配置过滤规则,每条过滤规则分配一个唯一RULE_ID,解析所述过滤规则的内容,每一条规则单独生成哈希,在所述每一条规则对应的哈希表中建立条件与所述规则RULE_ID的映射关系;
映射关系过滤模块,用于通过位图算法和链表对所述映射关系进行过滤处理,得到新的映射关系;
关键词提取模块,用于在云数据中心,解析多个环境监测设备上传的数据包,所述数据包中包括环境指标数据和地理位置数据,提取所述数据包中的数据的多个关键字;
查找结果模块,用于将每个关键字生成哈希,并根据所述每个关键字查找对应关键字的哈希表,根据所述新的映射关系得到所述关键字对应的查找结果;
匹配模块,用于在所有的关键字查找完成后,得到多个RULE_ID位图,将所述多个RULE_ID位图做与运算,得到整个数据包匹配的最终结果;
数据报文生成模块,用于确定最终匹配的规则后,按照所述过滤规则输出对应的数据报文,形成数据应用服务。
7.根据权利要求6所述的基于物联网环境大数据的信息安全监测管理系统,其特征在于,
所述映射关系过滤模块,具体用于:通过位图算法对所述映射关系进行过滤处理:
在每一个哈希结点中,保存一个RULE_ID的位图,通过条件查找到对应哈希结点,在哈希结点的RULE_ID位图对应bit位置1;如果某个条件没有配置,则设置USER_IP条件的默认RULE_ID位图的对应bit位,所述bit位置为1。
8.根据权利要求6所述的基于物联网环境大数据的信息安全监测管理系统,其特征在于,
所述关键词提取模块,具体用于在所述解析多个环境监测设备上传的数据包之前,对所述数据包进行过滤存储:
获取待存储数据包,并存储在所述云数据中心的内存中;
根据所述云数据中心的加密处理策略对所述待存储数据包进行加密处理,生成字符串;
根据所述云数据中心的乱序处理策略将所述字符串进行乱序处理;
根据所述云数据中心的删减处理策略将进行乱序处理后的字符串进行字节的删减处理,形成损坏字符串和删减内容,并将所述损坏字符串存储于所述云数据中心。
9.根据权利要求8所述的基于物联网环境大数据的信息安全监测管理系统,其特征在于,
所述系统还包括信息管理模块,用于:
记录加密处理策略信息、乱序处理策略信息以及删减处理策略信息到所述云数据中心的文件处理日志中。
10.根据权利要求9所述的基于物联网环境大数据的信息安全监测管理系统,其特征在于,
所述加密处理策略信息为加密处理策略的身份标识,所述乱序处理策略信息为乱序处理策略的身份标识,所述删减处理策略信息为删减处理策略的身份标识。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710803400.XA CN107592306A (zh) | 2017-09-08 | 2017-09-08 | 基于物联网环境大数据的信息安全监测管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710803400.XA CN107592306A (zh) | 2017-09-08 | 2017-09-08 | 基于物联网环境大数据的信息安全监测管理方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107592306A true CN107592306A (zh) | 2018-01-16 |
Family
ID=61050288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710803400.XA Pending CN107592306A (zh) | 2017-09-08 | 2017-09-08 | 基于物联网环境大数据的信息安全监测管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107592306A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109587153A (zh) * | 2018-12-14 | 2019-04-05 | 中国人民解放军国防科技大学 | 基于数据流定制的通用生态安全监测数据采集方法与装置 |
CN109743312A (zh) * | 2018-12-28 | 2019-05-10 | 北京五维星宇科技有限公司 | 一种配置文件的数据动态解析方法、系统、终端及介质 |
WO2020000847A1 (zh) * | 2018-06-25 | 2020-01-02 | 中译语通科技股份有限公司 | 一种基于新闻大数据的恐慌指数监测分析方法及系统 |
CN111897644A (zh) * | 2020-08-06 | 2020-11-06 | 成都九洲电子信息系统股份有限公司 | 一种基于多维度的网络数据融合匹配方法 |
CN112380257A (zh) * | 2020-11-26 | 2021-02-19 | 厦门市美亚柏科信息股份有限公司 | 一种网络数据流锁定方法、终端设备及存储介质 |
CN112799155A (zh) * | 2020-12-28 | 2021-05-14 | 董浩 | 一种基于大数据的环境监测方法 |
CN114268412A (zh) * | 2021-11-18 | 2022-04-01 | 岚图汽车科技有限公司 | 车辆通信方法、装置、存储介质及设备 |
CN115002243A (zh) * | 2022-08-02 | 2022-09-02 | 上海秉匠信息科技有限公司 | 一种数据处理方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103618733A (zh) * | 2013-12-06 | 2014-03-05 | 北京中创信测科技股份有限公司 | 一种应用于移动互联网的数据过滤系统及方法 |
CN103745163A (zh) * | 2014-01-13 | 2014-04-23 | 中国工商银行股份有限公司 | 文件的安全存储方法及装置 |
CN103902410A (zh) * | 2014-03-28 | 2014-07-02 | 西北工业大学 | 云存储系统的数据备份加速方法 |
CN103929499A (zh) * | 2014-05-05 | 2014-07-16 | 中国科学院计算机网络信息中心 | 一种物联网异构标识识别方法和系统 |
CN107070943A (zh) * | 2017-05-05 | 2017-08-18 | 兰州理工大学 | 基于流量特征图和感知哈希的工业互联网入侵检测方法 |
-
2017
- 2017-09-08 CN CN201710803400.XA patent/CN107592306A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103618733A (zh) * | 2013-12-06 | 2014-03-05 | 北京中创信测科技股份有限公司 | 一种应用于移动互联网的数据过滤系统及方法 |
CN103745163A (zh) * | 2014-01-13 | 2014-04-23 | 中国工商银行股份有限公司 | 文件的安全存储方法及装置 |
CN103902410A (zh) * | 2014-03-28 | 2014-07-02 | 西北工业大学 | 云存储系统的数据备份加速方法 |
CN103929499A (zh) * | 2014-05-05 | 2014-07-16 | 中国科学院计算机网络信息中心 | 一种物联网异构标识识别方法和系统 |
CN107070943A (zh) * | 2017-05-05 | 2017-08-18 | 兰州理工大学 | 基于流量特征图和感知哈希的工业互联网入侵检测方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020000847A1 (zh) * | 2018-06-25 | 2020-01-02 | 中译语通科技股份有限公司 | 一种基于新闻大数据的恐慌指数监测分析方法及系统 |
CN109587153B (zh) * | 2018-12-14 | 2021-01-15 | 中国人民解放军国防科技大学 | 基于数据流定制的通用生态安全监测数据采集方法与装置 |
CN109587153A (zh) * | 2018-12-14 | 2019-04-05 | 中国人民解放军国防科技大学 | 基于数据流定制的通用生态安全监测数据采集方法与装置 |
CN109743312A (zh) * | 2018-12-28 | 2019-05-10 | 北京五维星宇科技有限公司 | 一种配置文件的数据动态解析方法、系统、终端及介质 |
CN111897644B (zh) * | 2020-08-06 | 2024-01-30 | 成都九洲电子信息系统股份有限公司 | 一种基于多维度的网络数据融合匹配方法 |
CN111897644A (zh) * | 2020-08-06 | 2020-11-06 | 成都九洲电子信息系统股份有限公司 | 一种基于多维度的网络数据融合匹配方法 |
CN112380257A (zh) * | 2020-11-26 | 2021-02-19 | 厦门市美亚柏科信息股份有限公司 | 一种网络数据流锁定方法、终端设备及存储介质 |
CN112799155A (zh) * | 2020-12-28 | 2021-05-14 | 董浩 | 一种基于大数据的环境监测方法 |
CN112799155B (zh) * | 2020-12-28 | 2022-08-26 | 北京中科信控大数据有限公司 | 一种基于大数据的环境监测方法 |
CN114268412B (zh) * | 2021-11-18 | 2023-10-13 | 岚图汽车科技有限公司 | 车辆通信方法、装置、存储介质及设备 |
CN114268412A (zh) * | 2021-11-18 | 2022-04-01 | 岚图汽车科技有限公司 | 车辆通信方法、装置、存储介质及设备 |
CN115002243A (zh) * | 2022-08-02 | 2022-09-02 | 上海秉匠信息科技有限公司 | 一种数据处理方法及装置 |
CN115002243B (zh) * | 2022-08-02 | 2022-11-01 | 上海秉匠信息科技有限公司 | 一种数据处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107592306A (zh) | 基于物联网环境大数据的信息安全监测管理方法及系统 | |
CN108763445B (zh) | 专利知识库的构建方法、装置、计算机设备和存储介质 | |
CN102930023B (zh) | 基于知识的数据质量解决方案 | |
Fritz et al. | Identifying and quantifying uncertainty and spatial disagreement in the comparison of Global Land Cover for different applications | |
CN109582969A (zh) | 实体匹配方法、装置及电子设备 | |
CN105630938A (zh) | 一种智能问答系统 | |
da Rocha et al. | Identifying bank frauds using CRISP-DM and decision trees | |
CN106686599A (zh) | 一种用于应用信息的风险管理的方法与设备 | |
CN112507160A (zh) | 商标侵权的自动化判定方法、装置、电子设备和存储介质 | |
CN104778123B (zh) | 一种检测系统性能的方法及装置 | |
CN105282123A (zh) | 一种网络协议识别方法和装置 | |
CN110019519A (zh) | 数据处理方法、装置、存储介质和电子装置 | |
CN107766353A (zh) | 一种数据库统计信息迁移的方法和设备 | |
CN104021217A (zh) | 一种提取手机碎片文件和被删除文件的系统和方法 | |
CN110020161B (zh) | 数据处理方法、日志处理方法和终端 | |
CN106033438A (zh) | 舆情数据存储方法和服务器 | |
CN106844482A (zh) | 一种基于搜索引擎的检索信息匹配方法及装置 | |
CN108154305A (zh) | 一种食品安全检测信息管理平台及其实现方法 | |
CN109614521A (zh) | 一种高效的隐私保护子图查询处理方法 | |
CN104283942B (zh) | 遥测数据收集与分发系统 | |
CN107871055A (zh) | 一种数据分析方法和装置 | |
CN105207831B (zh) | 操作事件的检测方法和装置 | |
CN112907308B (zh) | 数据检测方法和装置、计算机可读存储介质 | |
CN106933880A (zh) | 一种标签数据泄漏渠道检测方法及装置 | |
CN107220262B (zh) | 信息处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180116 |