CN111223026A - 垃圾危机转化智能管理方法 - Google Patents
垃圾危机转化智能管理方法 Download PDFInfo
- Publication number
- CN111223026A CN111223026A CN202010005056.1A CN202010005056A CN111223026A CN 111223026 A CN111223026 A CN 111223026A CN 202010005056 A CN202010005056 A CN 202010005056A CN 111223026 A CN111223026 A CN 111223026A
- Authority
- CN
- China
- Prior art keywords
- garbage
- data
- word
- file
- crisis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 19
- 238000007726 management method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 230000009193 crawling Effects 0.000 claims abstract description 9
- 238000004140 cleaning Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 9
- 238000003058 natural language processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 235000014347 soups Nutrition 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 238000013459 approach Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000013481 data capture Methods 0.000 abstract description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004056 waste incineration Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- HGUFODBRKLSHSI-UHFFFAOYSA-N 2,3,7,8-tetrachloro-dibenzo-p-dioxin Chemical compound O1C2=CC(Cl)=C(Cl)C=C2OC2=C1C=C(Cl)C(Cl)=C2 HGUFODBRKLSHSI-UHFFFAOYSA-N 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 240000006413 Prunus persica var. persica Species 0.000 description 1
- 206010041243 Social avoidant behaviour Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种垃圾危机转化智能管理方法，包括：对网络数据库进行数据爬取；对步骤一中爬取到的文档进行超文本标记语言处理、词法相似度分析和词表频度处理；运用FCM聚类算法对步骤二中已经完成数据清洗和相似词替换的案例向量化数据进行分析，将案例分成四类，构成名利空间下的决策支持模型；对归类的数据进行余弦相似度分析，根据贝叶斯网络模型对当前案例结构进行优化，演化出每一类的最优贝叶斯结构。本发明应用数据抓取、数据清洗和数据分析方法，交互友好，综合运用人工智能的相关方法，文本处理过程流畅，为垃圾“邻避”事件的解决提供了新的思路和参考建议，降低了决策难度，有很强的可行性。
Description
技术领域
本发明属于垃圾焚烧处理领域，涉及垃圾危机转化智能管理方法及平台系统。
背景技术
随着城市化进程的推进，垃圾“邻避”事件层出不穷，对社会稳定和垃圾焚烧行业发展产生了极其恶劣的影响。垃圾排放量大、占用社会资源多、污染生态环境的特点导致垃圾危机的产生。居民的“邻避”心理给垃圾处理带来了更大的困难。探究“邻避”问题的解决方案成为了解除制约，进一步更快更好发展垃圾焚烧发电项目的迫切要求。
发明内容：
为了克服上述背景技术的缺陷，本发明提供一种垃圾危机转化智能管理方法，因地制宜地提出建议供决策者参考，降低决策难度，为决策者提供解决“邻避”问题的新思路。
为了解决上述技术问题本发明的所采用的技术方案为：
一种垃圾危机转化智能管理方法，包括：
步骤一，对网络数据库进行数据爬取；
步骤二，对步骤一中爬取到的文档进行超文本标记语言处理、词法相似度分析和词表频度处理；
步骤三，运用FCM聚类算法对步骤二中已经完成数据清洗和相似词替换的案例向量化数据进行分析，将案例分成四类，构成名利空间下的决策支持模型；对归类的数据进行余弦相似度分析，根据贝叶斯网络模型对当前案例结构进行优化，演化出每一类的最优贝叶斯结构。
较佳地，步骤一对网络数据库进行数据爬取包括：
使用Python在网络数据库爬取文件，基于关键词表和停用词表的标题分词进行筛选，最后再通过超文本标记语言HTML结构筛选算法进行筛选，获取作为本决策系统的案例库。
较佳地，Python使用的相关库包括scrapy、jieba、BeautifulSoup和chardet。
较佳地，超文本标记语言HTML结构筛选算法进行筛选的方法包括：先定义处理后的文档的路径，读取内容过滤词的文件，并写入contentfilter_list过滤词列表，完成数据初始化；去除网页中的JavaScript和层叠样式表链接，提取网页中其它标签的文本，完成超文本标记语言HTML结构处理；对每个标签中的文本进行判断，如果文本的长度小于设定长度或者文本中有contentfilter_list过滤词列表的字符串就不取，否则添加进write_list列表；将每个html文件的write_list写入txt文件中。
较佳地，设定长度为20。
较佳地，词法相似度分析的方法包括：
利用Python的jieba库对超文本标记语言HTML文件处理后的txt文件进行分词并统计出现频度最高的15个词获取需要比较的词语、关键字；调用并初始化云AI平台自然语言处理应用程序接口；利用自然语言处理应用程序接口相似度计算算法得到关键字与需要比较的词汇的相似度，对相似度进行排序；把关键字和需要比较的词的相似度写入csv文件中。
较佳地，构建邻避CRN网络进行词表频度处理，具体方法包括：对超文本标记语言HTML处理后的txt文件进行依次读取，利用jieba对文本进行分词处理，写入csv文件中；把词法相似度分析中读取的所有词的词频全部写入一个csv文件中；利用词法相似度表的数据对全部词频的csv文件进行词汇的替换；将词频矩阵进行奇异值分解得到每个词的奇异值和每个文本对应的奇异向量，得到关键词-关键词语义距离表表和文本-关键词语义距离表。
本发明的有益效果在于：针对日益突出垃圾危机和亟待解决的城市垃圾“邻避”问题，本发明提供了垃圾危机转化智能管理方法及平台，搭建中国垃圾“邻避”事件案例库，针对不同的“邻避”问题，运用相似度计算捕捉相似的典型案例，建立贝叶斯网络模型，完成最优路径转化。本发明应用数据抓取、数据清洗和数据分析方法，交互友好，综合运用人工智能的相关方法，文本处理过程流畅，为垃圾“邻避”事件的解决提供了新的思路和参考建议，降低了决策难度，有很强的可行性。
附图说明
图1为本发明方法的处理层次结构模型图。
图2为本发明得到的关键词-关键词语义距离表。
图3为本发明得到的案例-关键词语义距离表。
图4为本发明聚类中心矩阵节选
图5为本发明隶属度矩阵节选
图6为本发明简化后的单位隶属度矩阵
图7为本发明的首页展示。
图8为本发明的决策支持平台案例分析界面。
图9为本发明的决策支持平台案例贝叶斯转化界面。
图10为本发明的案例数据库界面。
图11为本发明的案例数据库具体事件查看界面。
图12为本发明的贝叶斯演化界面。
图13为本发明的案例分析结果展示。
图14为本发明的贝叶斯演化平台。
图15为本发明的搜索案例关键词表。
图16湖北仙桃垃圾焚烧邻避案例相似度分析图
图17湖北仙桃垃圾焚烧邻避案例贝叶斯优化路径图
具体实施方式
下面结合附图和实施例对本发明做进一步的说明。
垃圾危机转化智能管理方法，支持平台通过如下步骤实现：
步骤一，数据爬取。基于相关学术网站(如：中国知网)有关“邻避”的论文、期刊等文章网页；各大新闻(如：百度、新浪、搜狐)网站关键词为“邻避”的新闻报道网页；政府相关官方网站(如：国家环保局)有关“邻避”事件的网页等，使用Python在网络上爬取文件，并基于项目研究确定的关键词表(垃圾、垃圾焚烧、邻避)和停用词表的标题分词进行筛选，最后再通过针对篇章结构设计的超文本标记语言(HTML)结构筛选算法进行筛选，最终获得了与研究相关度较高的重点页面的网页文件作为本决策系统的案例库。其中Python使用的相关库有scrapy、jieba、BeautifulSoup和chardet，scrapy、jieba、BeautifulSoup和chardet均为Python的代码包、库名。
步骤二，数据清洗。对步骤一中爬取到的文档进行超文本标记语言(HTML)处理、词法相似度分析和词表频度处理。
超文本标记语言(HTML)文件处理过程是：
(1)先定义处理后的文档的路径，读取内容过滤词的文件，并写入contentfilter_list过滤词列表中,完成数据初始化。
(2)利用BeautifulSoup去掉网页中的JavaScript和层叠样式表(css)链接，提取网页中其它标签的文本，完成超文本标记语言(HTML)结构处理。
(3)对每个标签中的文本进行判断，如果文本的长度小于20或者文本中有contentfilter_list过滤词列表的字符串就不取，否则添加进write_list列表中，完成对标文本的判断。
(4)把每个html文件的write_list写入txt文件中。
词法相似度分析的过程是：
(1)利用Python的jieba库对超文本标记语言(HTML)文件处理后的txt文件进行分词并统计出现频度最高的15个词获取需要比较的词语、关键字。
(2)调用并初始化云AI平台自然语言处理应用程序接口(如：百度API NLP)。
(3)利用自然语言处理应用程序接口相似度计算算法得到关键字与需要比较的词汇的相似度，对这些相似度进行排序。
(4)把关键字和需要比较的词的相似度写入csv文件中供后续使用。
构建“邻避”CRN网络：
(1)对超文本标记语言(HTML)处理后的txt文件进行依次读取，利用jieba对文本进行分词处理，写入csv文件中。
(2)把词法相似度分析中读取的所有词的词频全部写入一个csv文件中。
(3)利用词法相似度表的数据对全部词频的csv文件进行词汇的替换。
(4)将词频矩阵进行奇异值分解得到每个词的奇异值和每个文本对应的奇异向量，得到关键词-关键词语义距离表表和文本-关键词语义距离表
步骤三：数据分析。运用FCM聚类算法(模糊c-均值聚类算法)，对步骤二中已经完成数据清洗和相似词替换的案例向量化数据进行分析。将案例分成四类，构成名利空间下的决策支持模型。对归类的数据进行余弦相似度分析，根据贝叶斯网络模型对当前案例结构进行优化，演化出每一类的最优贝叶斯结构，并给出相关参考建议。
FCM聚类算法的原理是：它的思想就是根据所有数据得到相应数量的聚类中心，称为簇，再计算每个案例的向量化数据于每个聚类中心的欧拉距离，将语义距离矩阵转换成隶属度矩阵，最后将隶属度矩阵简化成单位隶属度矩阵。模糊C均值算法是普通C均值算法的改进，普通C均值算法对于数据的划分是硬性的，而FCM则是一种柔性的模糊划分。
余弦相似度：用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。向量的夹角越小，余弦值越接近1，它们的方向更加吻合，则越相似。我们在两个文本中分别建立一个向量，计算这两个向量的余弦值，便可以推断两个文本的相似情况。
本发明提供了垃圾危机转化智能管理方法及平台，包括：
垃圾焚烧“邻避”危机转化决策支持平台，用于供用户根据实际情况向本系统输入有关文本，同时为决策提供材料；
中国城市垃圾知识库，用于供决策者对案例进行查询，得到相匹配的信息，为决策者提供决策辅助；
人机交互平台，用于供决策者根据决策偏好对垃圾焚烧领域影响因子进行顺序选择，生成相对应的贝叶斯演化模型。
以上所述仅用以说明本发明的几种实施方式，但不能因此理解为对本发明专利范围的限制。应当指出的是，对于本领域的技术人员来说，再不脱离本发明构思的前提下，所做的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。
具体实现过程：
a.文本抓取(网络爬虫)：收集网络上包括但不限于与垃圾焚烧邻避事件相关的期刊、专家论文、新闻报道等原始文本。
b.文本挖掘(提取关键词)：数据预处理，剔除案例文本中没有实际意义(如“的”等助词)或者与本研究无关的词语，保留具有核心价值的词语。
c.构建CRN网络(潜在语义索引)：通过大量文本分析，构建语义索引矩阵，后用奇异值分解的方法求的矩阵的奇异值和奇异向量，选取前N个(本研究选取前50个)奇异值和奇异向量构建关键词语文本之间的向量距离，和关键词之间的向量距离，最后形成CRN网络。
d.关键词聚类：运用FCM等聚类算法，实现数据降维，减少算法的时间复杂度，得到与垃圾焚烧邻避事件相关的更加精准的关键词。
e.数据录入：把降维的文本-关键词语义距离表与相关的案例信息整合录入系统后台数据库，以供操作者查询。
f.聚类定位：运用FCM等聚类算法，在文本—关键词语义距离表的基础上实现案例的“名利”空间定位。
g.区间分析：针对聚类后不同类型的数据(案例)，通过贝叶斯网络演算邻避事件的成因和转化路径，利用皮尔逊相关系数法进行案例相似度计算，分析案例所属空间。
h.贝叶斯决策：对比优化贝叶斯结构与当前案例贝叶斯结构，提出危机转化决策建议。
以湖北仙桃垃圾焚烧邻避事件为例进行系统应用，得出的演化结果见图16和图17。
将湖北仙桃的案例文本输入分析框中，通过案例相似度计算与分析(见图16)，得出湖北仙桃垃圾焚烧邻避事件在“名利”二维空间中的隶属区间，即区域C(失名失利)。危机转化的主要导向是实现案例情景向区域A(名利双收)方向转变，本研究集成的系统从多个视角，探讨有效路径的实现过程，湖北仙桃垃圾焚烧邻避事件的贝叶斯优化路径见图17。
其中RE＝居民；SS＝选址；PO＝污染；EA＝环评；CO＝冲突；PA＝参与；ID＝信息公开；DI＝二噁英；BC＝补偿；GO＝政府。
角度A优化方案：增强关联——GO与SS、GO与PA、BC与RE，弱化关联——RE与ID、RE与ID、EA与CO。
本方案主要策略：决策者应依照相关法律法规，科学合理选址；决策者应积极引导民众，推动民众参与；决策者应因地制宜，从经济，心理，生态多方面为民众提供补偿，并注意污染量不应该是补偿多少的唯一判断标准。该方案使得C与A类结构相似度从0.45提升到0.65。
角度B优化方案：增强关联——PA与CO、RE与CO、BC与SS；弱化关联——CO与SS、CO与BC、CO与EA、PO与BC、PA与ID、EA与GO。
本方案主要策略：决策者在制定补偿方案与项目选址的过程中，必须保证民众的充分参与，避免民众因被动参与而导致线上线下冲突，获取民众对决策的充分理解与支持。决策者应充分尊重民意，普及项目相关的科学知识，保障民众的呼声能够得到有效表达和回应，消除决策者与民众信息不对称而导致的价值冲突。对已经形成的冲出，从经济补偿、心理补偿、生态补偿多方面进行弥补。决策者可以借助环境补偿，通过“竞价选址”的方式来完成选址，同时制定科学合理的补偿机制，对选址周边的居民提供合理有效的补偿。该方案使得C与A类结构相似度从0.44提升到0.67。
角度C优化方案：增强关联——CO与SS、SS与EA、SS与BC；弱化关联——BC与PO、EA与RE、EA与PO。
本方案主要策略：决策者选址过程必须科学合理，充分考虑环评因素，避免因环评问题激发民众的不满情绪，避免因选址不当而带来二次污染；决策者对选址地周边的居民必须提供多方位的补偿，同时注意污染量不因该是补偿的唯一判断标准；决策者应普及相关科学知识，避免民众情绪化保障民众理性参与。该方案使得C与A类结构相似度从0.51提升到0.68。
最终得到湖北仙桃案例危机转化决策建议为：
①政府应依照相关法律法规，科学合理选址。
②政府应积极引导民众，推动民众参与。
③因地制宜，为民众从经济、心理，生态方面提供有效补偿。
④主动公开信息，增加信息透明度。
⑤污染量不应该是补偿的唯一判断标准，应建立多元化，多方式的补偿模式。
⑥避免因环评问题而激发民众的邻避情绪。
事实证明，本项目所构建的城市垃圾危机转化平台应用所得到的结果与湖北仙桃邻避事件的处理方案是高度一致的，邻避冲突发生一年后，湖北仙桃垃圾焚烧项目建设圆满落地，实现了邻避向邻利的转变。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种垃圾危机转化智能管理方法，其特征在于，包括：
步骤一，对网络数据库进行数据爬取；
步骤二，对步骤一中爬取到的文档进行超文本标记语言处理、词法相似度分析和词表频度处理；
步骤三，运用FCM聚类算法对步骤二中已经完成数据清洗和相似词替换的案例向量化数据进行分析，将案例分成四类，构成名利空间下的决策支持模型；对归类的数据进行余弦相似度分析，根据贝叶斯网络模型对当前案例结构进行优化，演化出每一类的最优贝叶斯结构。
2.根据权利要求1所述的一种垃圾危机转化智能管理方法，其特征在于，所述步骤一对网络数据库进行数据爬取包括：
使用Python在网络数据库爬取文件，基于关键词表和停用词表的标题分词进行筛选，最后再通过超文本标记语言HTML结构筛选算法进行筛选，获取作为本决策支持系统的案例库。
3.根据权利要求2所述的一种垃圾危机转化智能管理方法，其特征在于：Python使用的相关库包括scrapy、jieba、BeautifulSoup和chardet。
4.根据权利要求2所述的一种垃圾危机转化智能管理方法，其特征在于，超文本标记语言HTML结构筛选算法进行筛选的方法包括：先定义处理后的文档的路径，读取内容过滤词的文件，并写入contentfilter_list过滤词列表，完成数据初始化；去除网页中的脚本编程语言JavaScript和层叠样式表链接，提取网页中其它标签的文本，完成超文本标记语言HTML结构处理；对每个标签中的文本进行判断，如果文本的长度小于设定长度或者文本中有contentfilter_list过滤词列表的字符串就不取，否则添加进write_list列表；将每个html文件的write_list写入txt文件中。
5.根据权利要求4所述的一种垃圾危机转化智能管理方法，其特征在于:所述设定长度为20。
6.根据权利要求4所述的一种垃圾危机转化智能管理方法，其特征在于，词法相似度分析的方法包括：
利用Python的jieba库对超文本标记语言HTML文件处理后的txt文件进行分词并统计出现频度最高的15个词获取需要比较的词语、关键字；调用并初始化云AI平台自然语言处理应用程序接口；利用自然语言处理应用程序接口相似度计算算法得到关键字与需要比较的词汇的相似度，对所述相似度进行排序；把关键字和需要比较的词的相似度写入csv文件中。
7.根据权利要求6所述的一种垃圾危机转化智能管理方法，其特征在于，构建邻避CRN网络进行词表频度处理，具体方法包括：
对超文本标记语言HTML处理后的txt文件进行依次读取，利用jieba对文本进行分词处理，写入csv文件中；把词法相似度分析中读取的所有词的词频全部写入一个csv文件中；利用词法相似度表的数据对全部词频的csv文件进行词汇的替换；将词频矩阵进行奇异值分解得到每个词的奇异值和每个文本对应的奇异向量，得到关键词-关键词语义距离表表和文本-关键词语义距离表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010005056.1A CN111223026B (zh) | 2020-01-03 | 2020-01-03 | 垃圾危机转化智能管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010005056.1A CN111223026B (zh) | 2020-01-03 | 2020-01-03 | 垃圾危机转化智能管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111223026A true CN111223026A (zh) | 2020-06-02 |
| CN111223026B CN111223026B (zh) | 2024-03-01 |
Family
ID=70832190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010005056.1A Active CN111223026B (zh) | 2020-01-03 | 2020-01-03 | 垃圾危机转化智能管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111223026B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383027A (zh) * | 2008-09-12 | 2009-03-11 | 同济大学 | 一种突发环境事件应急预案的生成方法及系统 |
| KR20100056065A (ko) * | 2008-11-19 | 2010-05-27 | 한국과학기술정보연구원 | 의미 기반 자동 연계 시스템 및 방법 |
| US20110320197A1 (en) * | 2010-06-23 | 2011-12-29 | Telefonica S.A. | Method for indexing multimedia information |
| CN103049532A (zh) * | 2012-12-21 | 2013-04-17 | 东莞中国科学院云计算产业技术创新与育成中心 | 基于突发事件应急管理的知识库引擎构建及其查询方法 |
| CN104199933A (zh) * | 2014-09-04 | 2014-12-10 | 华中科技大学 | 一种多模态信息融合的足球视频事件检测与语义标注方法 |
| CN104820629A (zh) * | 2015-05-14 | 2015-08-05 | 中国电子科技集团公司第五十四研究所 | 一种智能的舆情突发事件应急处理系统及方法 |
| US20170004128A1 (en) * | 2015-07-01 | 2017-01-05 | Institute for Sustainable Development | Device and method for analyzing reputation for objects by data mining |
| US20170235820A1 (en) * | 2016-01-29 | 2017-08-17 | Jack G. Conrad | System and engine for seeded clustering of news events |
| CN107844609A (zh) * | 2017-12-14 | 2018-03-27 | 武汉理工大学 | 一种基于文体和词表的突发事件信息抽取方法及系统 |
| CN108304580A (zh) * | 2018-03-05 | 2018-07-20 | 上海思贤信息技术股份有限公司 | 一种面向城市网格化管理的重大事件预警方法和系统 |
| CN109523061A (zh) * | 2018-10-22 | 2019-03-26 | 哈尔滨工业大学 | 一种基于情景分析的突发事件应急决策方法 |
| CN110188979A (zh) * | 2019-04-15 | 2019-08-30 | 广州智联研究院有限公司 | 水行业应急决策生成方法及装置 |
| US20190347282A1 (en) * | 2018-05-10 | 2019-11-14 | Royal Bank Of Canada | Technology incident management platform |
| CN110516138A (zh) * | 2019-08-31 | 2019-11-29 | 武汉理工大学 | 一种基于多源自更新威胁情报库的食品安全事件预警系统 |
-
2020
- 2020-01-03 CN CN202010005056.1A patent/CN111223026B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383027A (zh) * | 2008-09-12 | 2009-03-11 | 同济大学 | 一种突发环境事件应急预案的生成方法及系统 |
| KR20100056065A (ko) * | 2008-11-19 | 2010-05-27 | 한국과학기술정보연구원 | 의미 기반 자동 연계 시스템 및 방법 |
| US20110320197A1 (en) * | 2010-06-23 | 2011-12-29 | Telefonica S.A. | Method for indexing multimedia information |
| CN103049532A (zh) * | 2012-12-21 | 2013-04-17 | 东莞中国科学院云计算产业技术创新与育成中心 | 基于突发事件应急管理的知识库引擎构建及其查询方法 |
| CN104199933A (zh) * | 2014-09-04 | 2014-12-10 | 华中科技大学 | 一种多模态信息融合的足球视频事件检测与语义标注方法 |
| CN104820629A (zh) * | 2015-05-14 | 2015-08-05 | 中国电子科技集团公司第五十四研究所 | 一种智能的舆情突发事件应急处理系统及方法 |
| US20170004128A1 (en) * | 2015-07-01 | 2017-01-05 | Institute for Sustainable Development | Device and method for analyzing reputation for objects by data mining |
| US20170235820A1 (en) * | 2016-01-29 | 2017-08-17 | Jack G. Conrad | System and engine for seeded clustering of news events |
| CN107844609A (zh) * | 2017-12-14 | 2018-03-27 | 武汉理工大学 | 一种基于文体和词表的突发事件信息抽取方法及系统 |
| CN108304580A (zh) * | 2018-03-05 | 2018-07-20 | 上海思贤信息技术股份有限公司 | 一种面向城市网格化管理的重大事件预警方法和系统 |
| US20190347282A1 (en) * | 2018-05-10 | 2019-11-14 | Royal Bank Of Canada | Technology incident management platform |
| CN109523061A (zh) * | 2018-10-22 | 2019-03-26 | 哈尔滨工业大学 | 一种基于情景分析的突发事件应急决策方法 |
| CN110188979A (zh) * | 2019-04-15 | 2019-08-30 | 广州智联研究院有限公司 | 水行业应急决策生成方法及装置 |
| CN110516138A (zh) * | 2019-08-31 | 2019-11-29 | 武汉理工大学 | 一种基于多源自更新威胁情报库的食品安全事件预警系统 |
Non-Patent Citations (2)
| Title |
|---|
| 王少静: "城市垃圾邻避危机系统动态演化与仿真研究", 现代商贸工业, vol. 40, no. 20, pages 214 - 216 * |
| 谢豪: "基于分词相关系数的垃圾焚烧"邻避"事件文本相似度计算研究", vol. 21, no. 13, pages 157 - 159 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111223026B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tang et al. | Multi-attribute large-scale group decision making with data mining and subgroup leaders: An application to the development of the circular economy | |
| CN110334178B (zh) | 数据检索方法、装置、设备及可读存储介质 | |
| Konys | Knowledge systematization for ontology learning methods | |
| Huang et al. | Policy change analysis based on “policy target–policy instrument” patterns: A case study of China’s nuclear energy policy | |
| Sansone et al. | Legal information retrieval systems: State-of-the-art and open issues | |
| CN113806563A (zh) | 面向多源异构建筑人文史料的建筑师知识图谱构建方法 | |
| CN103440287A (zh) | 一种基于产品信息结构化的Web问答检索系统 | |
| CN110781670A (zh) | 基于百科知识库和词向量的中文地名语义消歧方法 | |
| CN111475625A (zh) | 基于知识图谱的新闻稿件生成方法及系统 | |
| CN112883286A (zh) | 基于bert的新冠肺炎疫情微博情感分析方法、设备、介质 | |
| Chung et al. | Comparing natural language processing (NLP) applications in construction and computer science using preferred reporting items for systematic reviews (PRISMA) | |
| CN115712700A (zh) | 热词提取方法、系统、计算机设备及存储介质 | |
| Sandhiya et al. | A review of topic modeling and its application | |
| Mustafa et al. | Optimizing document classification: Unleashing the power of genetic algorithms | |
| Wan et al. | Evaluation model of power operation and maintenance based on text emotion analysis | |
| CN111104492A (zh) | 一种基于层次化Attention机制的民航领域自动问答方法 | |
| CN111223026A (zh) | 垃圾危机转化智能管理方法 | |
| Belhoucine et al. | A Middle-out Approach for Building a Legal domain ontology in Arabic | |
| Ali et al. | Graph-based semantic learning, representation and growth from text: A systematic review | |
| Hu et al. | A classification model of power operation inspection defect texts based on graph convolutional network | |
| Suhariyanto et al. | Aspect based sentiment analysis: a systematic literature review | |
| CN102436472B (zh) | 一种基于关系机制的多类别web对象抽取方法 | |
| Jorvekar et al. | ABSC-HMLT: Aspect based sentiment classification using hybrid machine learning techniques | |
| Zhu et al. | Construction of transformer substation fault knowledge graph based on a depth learning algorithm | |
| Segura-Tinoco et al. | An Argument-based Search Framework: Implementation on a Spanish Corpus in the E-Participation Domain. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |