CN110516138A - 一种基于多源自更新威胁情报库的食品安全事件预警系统 - Google Patents
一种基于多源自更新威胁情报库的食品安全事件预警系统 Download PDFInfo
- Publication number
- CN110516138A CN110516138A CN201910820119.6A CN201910820119A CN110516138A CN 110516138 A CN110516138 A CN 110516138A CN 201910820119 A CN201910820119 A CN 201910820119A CN 110516138 A CN110516138 A CN 110516138A
- Authority
- CN
- China
- Prior art keywords
- information
- threat
- data
- module
- food safety
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 92
- 238000004458 analytical method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000007418 data mining Methods 0.000 claims abstract description 15
- 230000009193 crawling Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 20
- 230000010365 information processing Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 235000021393 food security Nutrition 0.000 claims description 6
- 238000009412 basement excavation Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 4
- 108091027981 Response element Proteins 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000009885 systemic effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 235000012055 fruits and vegetables Nutrition 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003556 assay Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011534 incubation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Computer Security & Cryptography (AREA)
- Marketing (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于多源自更新威胁情报库的食品安全事件预警系统，它包括数据采集模块、数据处理模块、数据挖掘模块、情报分析模块、威胁预警模块和应急决策模块，数据采集模块通过爬取网络上的食品安全事件，采集包含文本、图片和音视频信息的食品安全事件威胁数据，通过数据处理模块提炼整合成威胁信息，经过数据挖掘模块的分析与抽取，建立具有标准化字段的威胁知识库，再由情报分析模块进行交互式数据分析，将威胁知识库升级为威胁情报库，威胁情报库中发现食品安全问题时触发威胁预警模块，发出警报，决策者根据应急决策模块采取决策措施，实现食品安全智慧监管，在发生食品安全问题时能够及时预警并在第一时间处理。
Description
技术领域
本发明涉及计算机领域，特别是一种基于多源自更新威胁情报库的食品安全事件预警系统。
背景技术
洪范八政，食为政首。食品安全是关系国计民生的突出的公共卫生问题，越来越受到社会各界的重视。近年来食品安全问题呈现出突发与频发的基本走势，已成为当今中国乃至世界公众关注的焦点问题之一。2013-2017年间，我国共立案查处食品违法案件92.49万件，这些食品安全事件极大损害了人民群众的生命健康与生活质量，同时也严重制约了整个食品行业的健康发展。
食品安全问题涉及多环节、多部门，存在潜伏期长、爆发快、转移迅速等特征。大数据背景下的食品安全监管工作实际需求，急需一个能够对现实世界和网络世界的食品安全大数据进行抓取，实现多方联动的智能化的食品安全监控预警系统。但是现有技术中仅解决了单类食品从生产到加工再到流通环节的控制，不能实现对网络与现实中的食品安全大数据进行智能抓取形成威胁情报库并预警。
中国专利CN108181438A“一种食品安全检测系统”通过把个人、企业、检测机构和监管部门建立网络互联，实现了对食品的快速高效检测和监管，但是这种监管仅仅是一种事前预防，对于已经发生的食品安全事件，缺乏一个有效的机器学习与知识发现，以及以此为基础的智能预警机制，对食品安全问题实现实时发现与速效打击。
发明内容
本发明所要解决的技术问题是提供一种基于多源自更新威胁情报库的食品安全事件预警系统，能够在发现食品安全事件的第一时间发出预警，让有关责任部门能够及时有效处理。
为解决上述技术问题，本发明所采用的技术方案是：一种基于多源自更新威胁情报库的食品安全事件预警系统，它包括数据采集模块、数据处理模块、数据挖掘模块、情报分析模块、威胁预警模块和应急决策模块，数据采集模块通过爬取网络上的食品安全事件，采集包含文本、图片和音视频信息的食品安全事件威胁数据，通过数据处理模块提炼整合成威胁信息，经过数据挖掘模块的分析与抽取，建立具有标准化字段的威胁知识库，再由情报分析模块进行交互式数据分析，将威胁知识库升级为威胁情报库，威胁情报库中发现食品安全问题时触发威胁预警模块，发出警报，决策者根据应急决策模块采取决策措施。
优选的方案中，数据采集模块包括文本数据采集模块、图片数据采集模块和音视频数据采集模块。
优选的方案中，数据采集模块根据基本特征库对各平台网站进行饱和抓取，并对爬取过的链接去重，得到食品安全事件威胁数据，文本数据采集模块对网站进行爬虫递归遍历，抓取文本信息；
图片数据采集模块对静态图片和动态加载图片进行分类爬取；
音视频数据采集模块对音频信息和视频信息进行分类爬取。
优选的方案中，数据处理模块包括文本信息处理模块、图片信息处理模块和音视频信息处理模块。
优选的方案中，数据处理模块对不同类型的数据进行处理，将食品安全事件威胁数据整合成威胁信息，文本信息处理模块对标准化字段进行提取，并建立字段化档案；
图片信息处理模块初步识别图片并分类存储；
音视频信息处理模块对音频数据和视频数据进行频谱转化和分帧遍历。
优选的方案中，数据挖掘模块对于不同类型的威胁信息建立相应的识别提取算法，将威胁信息中蕴含的关于食品安全的知识进行提炼，构建威胁知识库，步骤为：
S1.对不同类型的威胁信息建立相应的识别提取算法；
S2.对不同类型的威胁信息进行深度挖掘，对于文本数据，将经过数据处理模块处理得到的字段化事件档案与特征库进行匹配对比，利用封装好的算法节点进行多样化数据挖掘，将威胁信息转化为威胁知识存入威胁知识库；
对于图片数据，用EXIF信息分析进行GPS数据读取，获得经纬度、高程和角度等地理信息，然后将其字段化处理进行地理可视化分析。建立图片分类器，构建一个可以将食品供应链全流程涉及的主要物体进行分类识别的深度卷积神经网络；
对于音频数据，使用Python语言的Keras和Tensorflow类库，先将知识库中已存在的语音文件转化为梅尔频率倒谱系数(MFCC)，正值化处理后，将每个音频的MFCC值当做对应的特征向量，然后进行神经网络的训练；
对于视频数据，使用OpenCV视觉库和Python语言实现对视频数据中运动目标的检测和对特征画面的追踪；
S3.将不同类型的威胁知识集合成威胁知识库。
优选的方案中，基本特征库通过对典型食品安全事件主要特征进行聚类分析获得，步骤为：
S1.从历年n个食品安全事件中任意选择k个新闻报道对象作为初始聚类中心；
S2.提取每个聚类对象的特征字段，计算每个特征字段与这些系统预设特征字段的距离，并根据最小距离重新对相应聚类对象进行划分；
S3.重新提取每个(有变化)聚类的特征字段；
重复下面过程直到收敛{
对于每一个样例i，计算其应该属于的类：
对于每一个类j，重新计算该类的质心：
}
S4.循环S2，S3直到每个聚类不再发生变化为止，根据提取到的食品安全事件特征构建基本特征库。
优选的方案中，情报分析模块基于生成的威胁知识库，挖掘潜在食品安全事件的相关信息，生成威胁情报进而组成威胁情报库，步骤为：
S1.通过人工智能线索归集将威胁知识转化为有预见性的威胁情报，在威胁信息搜集足够充分的情况下，基于威胁知识库，智能地引导威胁信息向有助于威胁发现的方向归并。根据知识库中关于犯罪区域的知识将引导有关地理坐标信息作为预测模型的输入参与运算，从而预测出可能的事发地点；
S2.对威胁知识的时效性进行智能分析得到多维度的威胁情报，在汇集食品安全事件描述维度，空间维度的信息的同时，智能地追踪食品安全事件发生的时间维度；
S3.对威胁知识的目的性智能分析得到指导性的威胁情报，依据情报需求模型分流引导，将情报级别分为战略级情报、作业级情报和战术级情报，对不同级别情报进行置信度分析，抽取出响应要素，得到满足实际需求的威胁情报，输出对于应急决策最有利的情报结构；
S4.将不同类型的威胁情报整合为威胁情报库。
优选的方案中，情报分析模块能够利用自动读写技术从威胁信息库、威胁知识库以及预测、决策型威胁数据模块中获取到的信息完成自更新操作。
优选的方案中，威胁情报库中出现威胁信息时，威胁预警模块发出预警。
优选的方案中，根据预警信息的分类，提前建立应急决策模块，决策者根据当前发出的预警，选取决策措施。
本发明提供的一种基于多源自更新威胁情报库的食品安全事件预警系统,通过采用以上的方案，采用数据挖掘技术对包含文本、图片、音视频的信息进行提取分析，通过构建威胁知识库和威胁情报库实现食品安全事件演化机理的知识发现和案例匹配的功能、利用自动化读写功能确保建立起的情报库具备AI级自更新能力，实现为食品安全智慧监管，在发生食品安全问题时能够及时预警并在第一时间处理。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的模块框架示意图；
图2为本发明系统实现流程图。
图3为食品安全威胁情报库前端开发流程；
图4为食品安全威胁情报库中端开发流程；
图5为食品安全威胁情报库后端开发流程；
图6为基于政府行政数据的食品安全关联规则挖掘子系统UI界面；
图7为基于R语言的各子系统界面与服务器的编程与维护方式。
图中：数据采集模块100，数据处理模块200，数据挖掘模块300，情报分析模块400，威胁预警模块500，应急决策模块600，文本数据采集模块110，图片数据采集模块120，音视频数据采集模块130，文本信息处理模块210，图片信息处理模块 220，音视频信息处理模块230。
具体实施方式
如图1～2中，一种基于多源自更新威胁情报库的食品安全事件预警系统，它包括数据采集模块100、数据处理模块200、数据挖掘模块300、情报分析模块400、威胁预警模块500和应急决策模块600，数据采集模块100通过爬取网络上的食品安全事件，采集包含文本、图片和音视频信息的食品安全事件威胁数据，通过数据处理模块200 提炼整合成威胁信息，经过数据挖掘模块300的分析与抽取，建立具有标准化字段的威胁知识库，再由情报分析模块400进行交互式数据分析，将威胁知识库升级为威胁情报库，威胁情报库中发现食品安全问题时触发威胁预警模块500，发出警报决策者根据应急决策模块600采取决策措施。通过上述五个模块，对现有网络中关于食品安全问题的数据进行采集，实现“数据—信息—知识—情报”的转化过程。
优选的方案中，数据采集模块100包括文本数据采集模块110、图片数据采集模块120和音视频数据采集模块130。不同类型的数据爬取的方式不同、处理方式不同、存储位置不同，对不同类型的数据进行分类采集，便于后期数据进行分类整理。
优选的方案中，数据采集模块100根据基本特征库对各平台网站进行饱和抓取，并对爬取过的链接去重，得到食品安全事件威胁数据，文本数据采集模块110对网站进行爬虫递归遍历，抓取文本信息；
图片数据采集模块120对静态图片和动态加载图片进行分类爬取；爬取静态图片时先解析页面，找寻最大页数，再逐个爬取套图，并爬取套图中的每一页图片。爬取动态加载图片时先爬取图片的保存路径，通过动态图片爬取函数指定爬取图片类型、数量和存储路径，进行图片爬取。
音视频数据采集模块130对音频信息和视频信息进行分类爬取，音频信息的爬取正则表达式：r＝r"href＝'(http.*\.mp3)'"，音频信息的爬取正则表达式：r＝r" href＝'(http.*\.mp3)'"，在源代码里面寻找所有匹配正则r的字符串通过正则r，以及正则模块re里的findall方法来获取地址，最后模块urllib里的urlretrieve()方法通过视频地址将视频下载下来。
优选的方案中，数据处理模块200包括文本信息处理模块210、图片信息处理模块220和音视频信息处理模块230，不同类型的数据所能体现的食品安全信息不尽相同，不同类型的数据需结合其特性进行分类处理，提升形成的威胁信息的精确度。
优选的方案中，数据处理模块200对不同类型的数据进行处理，将食品安全事件威胁数据整合成威胁信息，文本信息处理模块210对标准化字段进行提取，并建立字段化档案，对文本信息中进行字段提取，初步识别并标记字段标签，根据字段标签统一编码，建立字段化档案。
图片信息处理模块220初步识别图片并分类存储，用OpenCV对初步获取图片信息，获取图片属性，对不同类型的图片分别存储，把提取的信息以文字形式与图片同比存储。
音视频信息处理模块230对音频数据和视频数据分别进行频谱转化和分帧遍历，对于音频数据，音频信息经过分频器，过滤出高、低频信号，对低频信号进行降采样处理，再进行快速傅里叶变换，将时域信号转换为频域信号，构造低频的高次谐波，再进行升采样处理。对于视频数据，按照给定的帧数进视频进行裁剪，读进视频流数据后,遍历至指定帧画面进行处理后返回。
优选的方案中，数据挖掘模块(300)对于不同类型的威胁信息建立相应的识别提取算法，将威胁信息中蕴含的关于食品安全的知识进行提炼，构建威胁知识库，步骤为：
S1.对不同类型的威胁信息建立相应的识别提取算法；
S2.对不同类型的威胁信息进行深度挖掘，对于文本数据，将经过数据处理模块处理得到的字段化事件档案与特征库进行匹配对比，利用封装好的算法节点：关联规则分析、聚类分析、神经网络进行多样化数据挖掘，将威胁信息转化为威胁知识存入威胁知识库；
对于图片数据，用EXIF信息分析进行GPS数据读取，获得经纬度、高程和角度等地理信息，然后将其字段化处理进行地理可视化分析。建立图片分类器，构建一个可以将食品供应链全流程涉及的主要物体进行分类识别的深度卷积神经网络；对图片信息使用Python语言的Imaging Library包库，对EXIF(Exchangeable Image File) 进行GPS数据等读取，得到经维度、高程和角度等地理信息，然后将其字段化处理进行地理可视化分析。采用连续犯罪预测的区域覆盖加权模型(AOWM)来计算和标记最可能的事件区域分布。另一方面对于图像内容所包含的信息，在特征库的基础上基于Python语言利用TensorFlow和Keras建立图片分类器，构建一个可以将食品供应链全流程涉及的主要物体进行分类识别的深度卷积神经网络(CNN)，为了降低问题的空间复杂度，拟将整个食品供应链进行拆解和分类，分阶段分类别进行图片识别，使用GPUs物理架构提升处理像矩阵乘法的并行计算任务时的训练速度。
对于音频数据，使用Python语言的Keras和Tensorflow类库，先将知识库中已存在的语音文件转化为梅尔频率倒谱系数(MFCC)，正值化处理后，将每个音频的MFCC值当做对应的特征向量，然后进行神经网络的训练；使用Python语言的 Keras和Tensorflow类库，先将知识库中已存在的语音文件转化为梅尔频率倒谱系数(MFCC)，正值化处理后，将每个音频的MFCC值当做对应的特征向量，然后进行神经网络的训练，这一过程仍然使用GPUs物理架构，提升训练速度。训练结束后生成.h5格式的训练模型。对于采集到的新的音频文件，先获取被试音频的 MFCC值，封装成和训练时一样的维度，再加载已生成的.h5格式的训练模型，使用 predict函数输出结果，返回对应类别相似度，确认语音识别结果。
对于视频数据，使用OpenCV视觉库和Python语言实现对视频数据中运动目标的检测和对特征画面的追踪；使用OpenCV视觉库和Python语言实现对视频数据中运动目标的检测和对特征画面的追踪，先利用cv2.VideoCapture获取视频流，再利用OpenCV自带的haarcascade_frontalface_default.xml人脸分类器可以实现视频流的人脸识别，这有助于我们掌握事件视频中关键机构和人物等。另外，通过 argparse，time，imutils和cv2类库的联合使用，对视频每一帧进行预处理，并遍历视频的每一帧，计算各帧之间的差别，遍历轮廓，计算最小外接矩形，可以实现对运动目标的检测，这有助于我们发现事件现场的动态情况。
S3.将不同类型的威胁知识集合成威胁知识库，威胁知识库的来源不仅包括对威胁信息库的提取，还包括从食品安全典型事件进行案例收集得到的信息中提取的预设特征库。
优选的方案中，基本特征库通过对典型食品安全事件主要特征进行聚类分析获得，步骤为：
S1.从历年n个食品安全事件中任意选择k个新闻报道对象作为初始聚类中心；
S2.提取每个聚类对象的特征字段，计算每个特征字段与这些系统预设特征字段的距离，并根据最小距离重新对相应聚类对象进行划分；
S3.重新提取每个(有变化)聚类的特征字段；
重复下面过程直到收敛{
对于每一个样例i，计算其应该属于的类：
对于每一个类j，重新计算该类的质心：
}
S4.循环S2，S3直到每个聚类不再发生变化为止，根据提取到的食品安全事件特征构建基本特征库。
聚类分析属于非监督学习，聚类分析根据样本间的相似性对样本集进行分类试图使类内差距最小化，类间差距最大化。聚类分析能够对密集聚类进行区别分析且分析效果较好，也能够处理大数据集，相对可伸缩和高效。
优选的方案中，情报分析模块400基于生成的威胁知识库，挖掘潜在食品安全事件的相关信息，生成威胁情报进而组成威胁情报库，步骤为：
S1.通过人工智能线索归集将威胁知识转化为有预见性的威胁情报，在威胁信息搜集足够充分的情况下，基于威胁知识库，智能地引导威胁信息向有助于威胁发现的方向归并。根据知识库中关于犯罪区域的知识将引导有关地理坐标信息作为预测模型的输入参与运算，从而预测出可能的事发地点；
S2.对威胁知识的时效性进行智能分析得到多维度的威胁情报，在汇集食品安全事件描述维度，空间维度的信息的同时，智能地追踪食品安全事件发生的时间维度；
S3.对威胁知识的目的性智能分析得到指导性的威胁情报，依据情报需求模型分流引导，将情报级别分为战略级情报、作业级情报和战术级情报，对不同级别情报进行置信度分析，抽取出响应要素，得到满足实际需求的威胁情报，输出对于应急决策最有利的情报结构；
S4.将不同类型的威胁情报整合为威胁情报库，根据威胁情报库构建情报需求模型，对以获取威胁情报进行比较得到最优威胁情报。
优选的方案中，情报分析模块400能够利用自动读写技术从威胁信息库、威胁知识库以及预测、决策型威胁数据模块中获取到的信息完成自更新操作，系统对食品安全信息地不断爬取和处理，扩容威胁信息库和威胁知识库，对新数据进行字段的提取，与现有特征库进行比较，对已有的特征信息覆盖或者去除，新增的特征信息保留。
优选的方案中，威胁情报库中出现威胁信息时，威胁预警模块500发出预警，威胁预警模块500对爬取到的最新发生的食品安全事件、地点事件结果方向的预测以及时间紧迫度的判断，智能的提出威胁情报的使用方式，超过安全阈值设定需采取必要紧急措施。
优选方案中，根据预警信息的分类，提前建立应急决策模块600，决策者根据当前发出的预警，选取决策措施，根据威胁情报库中可能发生的预警信息，提前制定应急决策，一旦发生预警，根据预警信息的类别从应急决策模块600中找到解决对策并提供者决策者执行。
系统实现层面，考虑基于R语言，搭建更适合大数据条件的食品安全智慧监管系统。具体地，主要使用R语言的Shiny包库构建ui.R和server.R，其特有的websockets 包库使得浏览器和R之间能够实现快速双向通信，其特有的反应式编程模型使得核心代码更为简洁，且能够自动实时刷新计算结果。在server.R中嵌入其他包库以及不同的机器学习算法，就可以构建有用有关食品安全的web应用程序。
实施例1：基于政府行政数据的食品安全关联规则挖掘子系统
该子系统主要针对各级市场监督管理部门(原各级食品药品监督管理部门)官方发布的行政处罚汇总数据，根据整理好的二维表及其字段排列，展开有逻辑和广度优先的关联规则数据挖掘，以期在庞大的食品安全事件历史处罚数据中发现隐性的知识，并以这种隐性知识指导食品安全监管工作的实践。
数据处理层面，通过主动爬取或者数据下载等方式，获取历史处罚数据。以.csv格式存储为二维表，并进行初步的数据查看和数据转换。然后，构造Apriori算法，展开关联规则挖掘。最后，以规则网络图、分组矩阵图和平行坐标图等丰富的可视化图像进行数据展示。
编程实现层面，主要使用arules和arulesViz包库实现关联规则算法的构造及其可视化。该子系统能够帮助有关部门发现潜藏在海量行政处罚数据之下，未被发现的隐性知识，进而为有关部门利用这些隐性知识开展更加有针对性的执法监管奠定了技术基础，可以节约监管成本，以及提升监管效能。
实施例2：基于食品抽检数据的食品安全神经网络预测子系统
该子系统主要针对食品安全检测部门发布的各种抽检数据，使用BP神经网络算法，将抽检数据二维表的各个字段加以考虑，通过隐含层字段的调节，最终输出抽检产品是否合格的预测结果。
编程实现层面，主要使用GA包库实现遗传算法，在UI界面上设置交叉概率、变异概率、精英种群保留率、最大迭代次数和适应度函数的上界等仪表盘调节按钮，以便于对遗传算法的各个参数进行灵活的调节。
数据展示层面，以迭代收敛曲线、最优解追踪曲线，预测数据输出表等图表展示对于食品抽检数据的预测结果。该子系统对于有关部门的抽检频次、抽检项目和抽检计划安排等，具有重要的科学指导意义。
实施例3：基于图像识别技术的食品质量无损检测分析子系统
该子系统主要针对网络爬取或者用户上传的图片数据，根据图片中的果蔬表皮成色与专家知识库的对比分析，应用支持向量机(Support Vector Machine,SVM)算法，对训练样本进行研判，得到混淆矩阵，进而实现对果蔬新鲜程度的分析评价。
数据处理层面，主要分为图像切割和特征提取两个阶段。图像切割指从原图像截取长宽为特定像素点的子图像，并保存新图像。特征提取指使用RGB颜色矩提取R 通道、G通道和B通道的一阶、二阶和三阶颜色矩。随后进行样本抽样，作为模型输入。抽取前75％为训练样本，后25％为测试样本，以提升模型的研判精度与评价准度。
编程实现层面，主要用到e1071包建立SVM分类模型。经过“样本数据采集→数据预处理→构建专家样本→构建模型→果蔬新鲜程度评价”的分析评价流程，得出水果蔬菜的食品安全无损检测结果，能为消费者提供有效的购买建议，也能为监管部门提供有效的抽检建议。
实施例4：基于网络爬取技术的食品安全网络舆情监测子系统
该子系统主要针对网络中出现的大量与食品安全事件有关的新闻报道、微博博文、行政处罚通告等数据源，通过网络爬虫技术爬取舆情数据，利用算法模块分析数据，并以可视化的形式展现给决策者，实现对食品安全网络舆情的实时监测与精准掌控。
数据处理层面，在R Shiny构建的web应用程序中内嵌入实时网络爬虫，使用rvest包库来实现，使得每次程序一启动就对所指定的食品安全信息相对集中的特定网站 (如：食品类的微博、食品伙伴网、国家市场监督管理局官网、各省市市场监督管理局官网等)开始执行最新的实时爬虫。使用plyr和dplyr实现数据筛选、排序与聚合计算等，使用stringr实现对字符串的分割、转换等，使用data.table实现读取大量的历史数据并做一些简单的处理，使用reshape2实现对数据框的变形处理。
数据展示层面，使用Shiny和Shinydashboard用来搭建基本的网页结构和内容，使用ggplot2实现数据的高级可视化，使用ggiraph把ggplot2的图形转化成交互式图形，使用dygraphs生成交互式的时间序列折线图，使用DT生成交互式表格，使用igraph进行社会网络分析。
通过该系统的数据挖掘与知识发现，决策者可以探测出当前热点的食品安全事件，判断网民群众对于这些事件的情感倾向，以及掌握微博转发的中心节点等，进而对网络舆情进行合理引导。
上述的实施例(含具体举例子系统的实现方案)仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。对本发明中所涉及到的算法和函数，以及算法实现阶段所使用的具体计算机语言的种类(本系统的编程实验阶段，采用了R 语言试制原型系统，但若以其他计算机语言，如：Python，Java，Julia，Matlab或C++ 等，对本发明专利所述的系统架构及其实现路径进行重新编程，所产生的新系统也应受到本发明专利的保护)，也不应视为对本发明实现的唯一方式。
Claims (10)
1.一种基于多源自更新威胁情报库的食品安全事件预警系统，其特征是：它包括数据采集模块(100)、数据处理模块(200)、数据挖掘模块(300)、情报分析模块(400)、威胁预警模块(500)和应急决策模块(600)，数据采集模块(100)通过爬取网络上的食品安全事件，采集包含文本、图片和音视频信息的食品安全事件威胁数据，通过数据处理模块(200)提炼整合成威胁信息，经过数据挖掘模块(300)的分析与抽取，建立具有标准化字段的威胁知识库，再由情报分析模块(400)进行交互式数据分析，将威胁知识库升级为威胁情报库，威胁情报库中发现食品安全问题时触发威胁预警模块(500)，发出警报，决策者根据应急决策模块(600)采取决策措施。
2.如权利要求1所述的一种基于多源自更新威胁情报库的食品安全事件预警系统，其特征是：数据采集模块(100)包括文本数据采集模块(110)、图片数据采集模块(120)和音视频数据采集模块(130)。
3.如权利要求1或2所述的一种基于多源自更新威胁情报库的食品安全事件预警系统，其特征是：数据采集模块(100)根据基本特征库对各平台网站进行饱和抓取，并对爬取过的链接去重，得到食品安全事件威胁数据，文本数据采集模块(110)对网站进行爬虫递归遍历，抓取文本信息；
图片数据采集模块(120)对静态图片和动态加载图片进行分类爬取；
音视频数据采集模块(130)对音频信息和视频信息进行分类爬取。
4.如权利要求1所述的一种基于多源自更新威胁情报库的食品安全事件预警系统，其特征是：数据处理模块(200)包括文本信息处理模块(210)、图片信息处理模块(220)和音视频信息处理模块(230)。
5.如权利要求1或4所述的一种基于多源自更新威胁情报库的食品安全事件预警系统，其特征是：数据处理模块(200)对不同类型的数据进行处理，将食品安全事件威胁数据整合成威胁信息，文本信息处理模块(210)对标准化字段进行提取，并建立字段化档案；
图片信息处理模块(220)初步识别图片并分类存储；
音视频信息处理模块(230)对音频数据和视频数据分别进行频谱转化和分帧遍历。
6.如权利要求1所述的一种基于多源自更新威胁情报库的食品安全事件预警系统，其特征是：数据挖掘模块(300)对于不同类型的威胁信息建立相应的识别提取算法，将威胁信息中蕴含的关于食品安全的知识进行提炼，构建威胁知识库，步骤为：
S1.对不同类型的威胁信息建立相应的识别提取算法；
S2.对不同类型的威胁信息进行深度挖掘，对于文本数据，将经过数据处理模块(200)处理得到的字段化事件档案与特征库进行匹配对比，利用封装好的算法节点进行多样化数据挖掘，将威胁信息转化为威胁知识存入威胁知识库；
对于图片数据，用EXIF信息分析进行GPS数据读取，获得经纬度、高程和角度等地理信息，然后将其字段化处理进行地理可视化分析。建立图片分类器，构建一个可以将食品供应链全流程涉及的主要物体进行分类识别的深度卷积神经网络；
对于音频数据，使用Python语言的Keras和Tensorflow类库，先将知识库中已存在的语音文件转化为梅尔频率倒谱系数(MFCC)，正值化处理后，将每个音频的MFCC值当做对应的特征向量，然后进行神经网络的训练；
对于视频数据，使用OpenCV视觉库和Python语言实现对视频数据中运动目标的检测和对特征画面的追踪；
S3.将深度挖掘得到的不同类型威胁知识集合成威胁知识库。
7.如权利要求6所述的一种基于多源自更新威胁情报库的食品安全事件预警系统，其特征是：基本特征库通过对典型食品安全事件主要特征进行聚类分析获得，步骤为：
S1.从历年n个食品安全事件中任意选择k个新闻报道对象作为初始聚类中心；
S2.提取每个聚类对象的特征字段，计算每个特征字段与这些系统预设特征字段的距离，并根据最小距离重新对相应聚类对象进行划分；
S3.重新提取每个(有变化)聚类的特征字段；
重复下面过程直到收敛{
对于每一个样例i，计算其应该属于的类：
对于每一个类j，重新计算该类的质心：
}；
S4.循环S2，S3直到每个聚类不再发生变化为止，根据提取到的食品安全事件特征构建基本特征库。
8.如权利要求1所述的一种基于多源自更新威胁情报库的食品安全事件预警系统，其特征是：情报分析模块(400)基于生成的威胁知识库，挖掘潜在食品安全事件的相关信息，生成威胁情报进而组成威胁情报库，步骤为：
S1.通过人工智能线索归集将威胁知识转化为有预见性的威胁情报，在威胁信息搜集足够充分的情况下，基于威胁知识库，智能地引导威胁信息向有助于威胁发现的方向归并。根据知识库中关于犯罪区域的知识将引导有关地理坐标信息作为预测模型的输入参与运算，从而预测出可能的事发地点；
S2.对威胁知识的时效性进行智能分析得到多维度的威胁情报，在汇集食品安全事件描述维度，空间维度的信息的同时，智能地追踪食品安全事件发生的时间维度；
S3.对威胁知识的目的性智能分析得到指导性的威胁情报，依据情报需求模型分流引导，将情报级别分为战略级情报、作业级情报和战术级情报，对不同级别情报进行置信度分析，抽取出响应要素，得到满足实际需求的威胁情报，输出对于应急决策最有利的情报结构；
S4.将不同类型的威胁情报整合为威胁情报库。
9.如权利要求8所述的一种基于多源自更新威胁情报库的食品安全事件预警系统，其特征是：情报分析模块(400)能够利用自动读写技术从威胁信息库、威胁知识库以及预测、决策型威胁数据模块中获取到的信息完成自更新操作。
10.如权利要求1所述的一种基于多源自更新威胁情报库的食品安全事件预警系统，其特征是：威胁情报库中出现威胁信息时，威胁预警模块(500)发出预警；
根据预警信息的分类，提前建立应急决策模块(600)，决策者根据当前发出的预警，选取决策措施。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910820119.6A CN110516138A (zh) | 2019-08-31 | 2019-08-31 | 一种基于多源自更新威胁情报库的食品安全事件预警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910820119.6A CN110516138A (zh) | 2019-08-31 | 2019-08-31 | 一种基于多源自更新威胁情报库的食品安全事件预警系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110516138A true CN110516138A (zh) | 2019-11-29 |
Family
ID=68629017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910820119.6A Pending CN110516138A (zh) | 2019-08-31 | 2019-08-31 | 一种基于多源自更新威胁情报库的食品安全事件预警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110516138A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223026A (zh) * | 2020-01-03 | 2020-06-02 | 武汉理工大学 | 垃圾危机转化智能管理方法 |
| CN111931028A (zh) * | 2020-08-18 | 2020-11-13 | 北京微步在线科技有限公司 | 一种基于k8s的监控系统及监控方法 |
| CN112559844A (zh) * | 2020-12-17 | 2021-03-26 | 北京邮电大学 | 自然灾害舆情分析方法和装置 |
| CN112560029A (zh) * | 2020-12-25 | 2021-03-26 | 中国南方电网有限责任公司超高压输电公司 | 基于智能分析技术的网站内容监测和自动化响应防护方法 |
| CN112818200A (zh) * | 2021-01-28 | 2021-05-18 | 平安普惠企业管理有限公司 | 基于静态网站的数据爬取及事件分析方法及系统 |
| CN112991659A (zh) * | 2021-03-18 | 2021-06-18 | 湖州星创生态科技有限公司 | 一种具备预警处理功能的大数据安防监控管理方法 |
| CN113435642A (zh) * | 2021-06-24 | 2021-09-24 | 青岛海尔科技有限公司 | 食用策略的确定方法及装置、存储介质、电子装置 |
| CN113592338A (zh) * | 2021-08-09 | 2021-11-02 | 新疆大学 | 一种食品质量管理安全风险预筛查模型 |
| CN114004719A (zh) * | 2021-10-12 | 2022-02-01 | 杭州畅鸿信息技术有限公司 | 一种基于大数据和云计算的食品药品监管系统及方法 |
| CN114444511A (zh) * | 2022-01-17 | 2022-05-06 | 空地互联网络科技股份有限公司 | 一种风险数据识别方法及系统 |
| CN116662989A (zh) * | 2023-08-01 | 2023-08-29 | 深圳奥联信息安全技术有限公司 | 一种安全数据解析方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491499A (zh) * | 2017-07-27 | 2017-12-19 | 杭州中奥科技有限公司 | 一种基于非结构化数据的舆情预警方法 |
| CN108494806A (zh) * | 2018-05-29 | 2018-09-04 | 广西电网有限责任公司 | 基于人工智能的网络威胁预警监测系统 |
| US20180367561A1 (en) * | 2017-06-14 | 2018-12-20 | International Business Machines Corporation | Threat disposition analysis and modeling using supervised machine learning |
| CN109241429A (zh) * | 2018-09-05 | 2019-01-18 | 食品安全与营养（贵州）信息科技有限公司 | 一种食品安全舆情监控方法及系统 |
-
2019
- 2019-08-31 CN CN201910820119.6A patent/CN110516138A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180367561A1 (en) * | 2017-06-14 | 2018-12-20 | International Business Machines Corporation | Threat disposition analysis and modeling using supervised machine learning |
| CN107491499A (zh) * | 2017-07-27 | 2017-12-19 | 杭州中奥科技有限公司 | 一种基于非结构化数据的舆情预警方法 |
| CN108494806A (zh) * | 2018-05-29 | 2018-09-04 | 广西电网有限责任公司 | 基于人工智能的网络威胁预警监测系统 |
| CN109241429A (zh) * | 2018-09-05 | 2019-01-18 | 食品安全与营养（贵州）信息科技有限公司 | 一种食品安全舆情监控方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| 侯艳芳: "基于自更新威胁情报库的大数据安全分析方法", 《电信科学》, 20 March 2018 (2018-03-20), pages 50 - 57 * |
| 宋万清等: "数据挖掘", 北京：中国铁道出版社, pages: 129 - 130 * |
| 徐洁磐: "《人工智能导论》", 31 July 2019, pages: 176 - 177 * |
| 徐鹏: "《监狱智能化安全防范关键技术研究》", 30 April 2017, pages: 162 * |
| 王丽: "《基于社交网络的旅游者时空行为研究》", 30 June 2019, pages: 78 - 79 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223026A (zh) * | 2020-01-03 | 2020-06-02 | 武汉理工大学 | 垃圾危机转化智能管理方法 |
| CN111223026B (zh) * | 2020-01-03 | 2024-03-01 | 武汉理工大学 | 垃圾危机转化智能管理方法 |
| CN111931028A (zh) * | 2020-08-18 | 2020-11-13 | 北京微步在线科技有限公司 | 一种基于k8s的监控系统及监控方法 |
| CN112559844A (zh) * | 2020-12-17 | 2021-03-26 | 北京邮电大学 | 自然灾害舆情分析方法和装置 |
| CN112560029A (zh) * | 2020-12-25 | 2021-03-26 | 中国南方电网有限责任公司超高压输电公司 | 基于智能分析技术的网站内容监测和自动化响应防护方法 |
| CN112818200A (zh) * | 2021-01-28 | 2021-05-18 | 平安普惠企业管理有限公司 | 基于静态网站的数据爬取及事件分析方法及系统 |
| CN112991659B (zh) * | 2021-03-18 | 2023-07-28 | 浙江赛龙建设科技有限公司 | 一种具备预警处理功能的大数据安防监控管理方法 |
| CN112991659A (zh) * | 2021-03-18 | 2021-06-18 | 湖州星创生态科技有限公司 | 一种具备预警处理功能的大数据安防监控管理方法 |
| CN113435642A (zh) * | 2021-06-24 | 2021-09-24 | 青岛海尔科技有限公司 | 食用策略的确定方法及装置、存储介质、电子装置 |
| CN113592338B (zh) * | 2021-08-09 | 2023-09-12 | 新疆大学 | 一种食品质量管理安全风险预筛查模型 |
| CN113592338A (zh) * | 2021-08-09 | 2021-11-02 | 新疆大学 | 一种食品质量管理安全风险预筛查模型 |
| CN114004719A (zh) * | 2021-10-12 | 2022-02-01 | 杭州畅鸿信息技术有限公司 | 一种基于大数据和云计算的食品药品监管系统及方法 |
| CN114444511A (zh) * | 2022-01-17 | 2022-05-06 | 空地互联网络科技股份有限公司 | 一种风险数据识别方法及系统 |
| CN116662989A (zh) * | 2023-08-01 | 2023-08-29 | 深圳奥联信息安全技术有限公司 | 一种安全数据解析方法及系统 |
| CN116662989B (zh) * | 2023-08-01 | 2024-04-09 | 深圳奥联信息安全技术有限公司 | 一种安全数据解析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110516138A (zh) | 一种基于多源自更新威胁情报库的食品安全事件预警系统 | |
| Qi et al. | Exploiting multi-domain visual information for fake news detection | |
| Wang et al. | Unsupervised machine learning in urban studies: A systematic review of applications | |
| Yu et al. | Deep learning for real-time social media text classification for situation awareness–using Hurricanes Sandy, Harvey, and Irma as case studies | |
| CN112749608B (zh) | 视频审核方法、装置、计算机设备和存储介质 | |
| Weber et al. | Detecting natural disasters, damage, and incidents in the wild | |
| Curilem et al. | Classification of seismic signals at Villarrica volcano (Chile) using neural networks and genetic algorithms | |
| Yin et al. | Deep convolutional generative adversarial network and convolutional neural network for smoke detection | |
| CN112668375B (zh) | 景区内游客分布分析系统及方法 | |
| CN104142995A (zh) | 基于视觉属性的社会事件识别方法 | |
| Khatoon et al. | Social media-based intelligence for disaster response and management in smart cities | |
| CN109446461A (zh) | 一种cdn及cache缓存不良信息内容审计的方法 | |
| CN115294519A (zh) | 一种基于轻量化网络的异常事件检测及预警方法 | |
| CN109002746A (zh) | 3d立体火灾识别方法和系统 | |
| CN111191498A (zh) | 行为识别方法和相关产品 | |
| Kamoji et al. | Effective Flood prediction model based on Twitter Text and Image analysis using BMLP and SDAE-HHNN | |
| Rulff et al. | Urban Rhapsody: Large‐scale exploration of urban soundscapes | |
| Wang et al. | Enhanced open biomass burning detection: The BranTNet approach using UAV aerial imagery and deep learning for environmental protection and health preservation | |
| Arshad et al. | Anomalous situations recognition in surveillance images using deep learning | |
| Hu et al. | Urban landscape information atlas and model system based on remote sensing images | |
| Ganga et al. | Object detection and crowd analysis using deep learning techniques: Comprehensive review and future directions | |
| Khan et al. | Assessment of indoor risk through deep learning-based object recognition in disaster situations | |
| Liu et al. | Complex background classification network: a deep learning method for urban images classification | |
| Zhang et al. | Violent target detection based on improved YOLO network | |
| Shaker et al. | Review on Analyzing and Detecting Crimes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |