CN110377680A - 基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法 - Google Patents
基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法 Download PDFInfo
- Publication number
- CN110377680A CN110377680A CN201910622585.3A CN201910622585A CN110377680A CN 110377680 A CN110377680 A CN 110377680A CN 201910622585 A CN201910622585 A CN 201910622585A CN 110377680 A CN110377680 A CN 110377680A
- Authority
- CN
- China
- Prior art keywords
- information
- disaster
- database
- webpage
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000005516 engineering process Methods 0.000 claims abstract description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000011144 upstream manufacturing Methods 0.000 claims description 15
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 239000013589 supplement Substances 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，采用了网络爬虫技术和语义分析法，抓取信息网页和提取山洪灾害的关键信息，并将提取的信息打包成标准关联信息存储到山洪灾害数据库中，对其进行实时更新补充。该方法充分利用网络信息资源，对站点山洪信息进行补充校对，更加全面精准地描述和分析洪水事件的发生与发展过程，解决了目前山洪灾害网络数据资源数量多、种类多、来源多，难以准确高效提取有用数据信息的技术难题，为山洪灾害数据库的快速构建及更新提供一种有用的方法。
Description
技术领域
本发明属于山洪信息采集处理技术领域及利用计算机软件对网络信息进行采集处理的信息技术领域，尤其涉及一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，主要用于山洪灾害信息提取及山洪灾害信息补充更新等工作。
背景技术
近些年来随着网络的迅速发展，互联网成为大量信息的载体，从互联网中搜寻所需要的数据，成为新兴的热门研究领域。预计到2020年，全球数据总量可以超过4万亿GB。利用数据分析等技术手段，探寻数据中隐藏的关系规律，是当前各行各业都常用的方法。然而，网络中的海量信息，涵盖政治、娱乐、传媒、工业、商业、学校、人文等多个领域、各个方面，且信息以多种格式存在，呈现出碎片化、非结构化的特征，信息网络上新闻及自媒体等信息时刻都在呈爆炸式增长，如何有效地提取并利用这些信息是一个巨大的挑战。目前人们通过搜索引擎获得有效数据的方法效率低下，难以准确快速的找到自己所需的信息。数据挖掘是大数据时代最基础的部分，通过数据挖掘的方法高效查找有用的信息是当前亟待解决的问题。
山洪多发于无资料地区，山洪灾害基本数据信息缺失、不完善极大地影响了山洪灾害分析，削弱了防灾治灾的能力。利用提取互联网中的有效山洪灾害数据信息，并将其与水文站、雨量站灾害信息结合起来，联合描述一场山洪灾害的详细情况，有助于相关人员及时准确判断洪水灾害舆情，正确作出应对措施。
发明内容
本发明设计了一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，其解决的技术问题是针对无资料地区山洪信息缺失难题，运用网络爬虫技术定向爬取网页山洪灾害信息，结合语义分析及数据解析等技术将爬取信息分类储存，实现了山洪灾害数据的实时自动提取及更新。
为了解决上述存在的技术问题，本发明采用了以下方案：
一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，包括以下步骤：
(1)运用网络爬虫技术实时抓取山洪灾害相关网页信息：利用网络聚焦爬虫对网页中文档、图片、视频资源进行定向抓取；
(2)基于语义分析方法，提取相关的山洪灾害关键语义信息，并参照山洪灾害关键语义信息对网页信息进行分类标记储存，所述山洪灾害关键语义信息包括：发生位置、发生时间、所在行政区、发生范围、灾害量级、灾害损失；
(3)构建数据库查重系统判断提取的山洪灾害信息在数据库中是否建立，对已建立或未建立的数据库信息进行以下不同操作：
A、对于新信息，则根据灾害事件发生位置、发生时间、所在行政区，关联流域水雨情数据库，将流域水雨情信息及网页提取的灾害场次信息打包成标准关联信息文件格式，新建数据包并储存到山洪灾害数据库；所述新信息是指该场次灾害的任何数据均未在山洪灾害数据库中储存；
B、对于已有信息，将新提取的网页信息打包成标准关联信息文件格式，更新补充该场次数据包信息，并储存到山洪灾害数据库；所述已有信息是指该场次灾害已经有其他数据在山洪灾害数据库中储存。
进一步的，步骤(1)中网络聚焦爬虫的工作过程具体为：需要根据指定的网页分析算法过滤与主题相关度不大的链接，保留有用的链接并将其放入等待抓取的URL队列；然后根据指定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，当网络爬虫对同一网页进行重复抓取时，网页抓取停止；根据网页与山洪信息的相关性分析，将网页质量分成四级：相关度100％～80％的为一级；相关度80％～50％的为二级，相关度50％～20％的为三级，相关度0～20％的为四级；采取最佳优先搜索策略，根据等级需求，选取一系列“最佳”URL进行抓取，然后构建聚焦爬虫URL节点，并建立灾害信息网页索引；以便对以后的抓取过程提供智能反馈与指导。这种搜索策略不仅对采集到的海量网页数据进行了有效去重，提高了网页抓取的效率，而且保证了网页信息抓取的质量。
本发明在具体实现上述聚焦网络爬虫抓取信息的过程中：结合最佳搜索策略确定初始URL，将其放入待抓取URL序列中，解析网页ip将网页载入网页库，并将这些载入信息放入已抓取URL中，分析其他要素信息时再将已抓取URL，放到待抓取中，重复上述操作，具体流程为参考图2。
进一步的，步骤(2)中对网页信息进行分类标记储存的具体过程为：
构建一个分布式数据库模型，有区分的对网页信息进行统计汇集：对于网页文本信息，利用神经网络语义分析法对文档进行命名实体识别以及对应关系元组自动抽取，然后汇入相应的语义空间；对于网页视频及图片信息，根据卷积神经网络语义分析法，提取视图多维度视觉特征，添加图像语义标签，然后联合映射到低维嵌入空间及最终语义空间；最后，将所获灾害发生位置、发生时间、所在行政区、发生范围、灾害量级、灾害损失基本信息分类统计到灾害数据库中。具体过程如图3所示。
进一步的，步骤(2)中：
卷积神经网络语义分析法中，向融合层输入视图多维度视觉特征：
其中，Z(l)为特征矩阵、为l层人物语义、为l层行为语义、为l层上下文环境语义，
以行为语义为例，语义多层次建立联系：
其中，表示行为语义偏置后第l层第k个输入矩阵，σ表示激活函数，表示偏置前第l-1层第k个输入矩阵，表示行为语义通道上的第l层卷积核；Dl表示第L-1层需要输入的特征图集合；bl表示l层特征图的偏置；
映射关系为Φ：x→y，满足
其中，·是X上的运算；是Y上的运算。
进一步，步骤(3)在网页灾害信息提取后，根据事件发生时间、发生位置、所在行政区，判断该场山洪灾害在数据库中是否记录，若无记录则新建数据包，若有记录，则比对时间先后，依据最新时间山洪信息更新数据包。
进一步，步骤(3)A的具体操作为：提取新信息山洪灾害位置所在流域，并确定上游集水区和下游河道的范围；根据上游集水区的范围和下游河道的范围，关联水雨情数据库，提取灾害对应场次的上游集水区内雨量站点降雨数据、上游集水区和下游河道水文站、水位站的水位和流量数据；采用XML格式，将提取的每一场灾害的水雨情信息与网页中的有效信息打包形成一个标准的灾害关联信息文件，存储到洪水灾害数据库。
该步骤中关联发生山洪灾害流域的水雨情库，首先进行小流域区域划分，然后根据事件已知发生位置信息判定事件发生流域，最后确定每个事件发生地的上游集水区及下游河道范围。根据上游集水区和下游河道的范围，确定上游雨量站、下游水文站、水位站详情，然后确定与事件相关的水雨情数据库。将相应的水雨情数据库与灾害数据库进行关联链接，补充灾害事件的水雨情信息。将爬取的html文件或txt文本文档解析成XML标准格式。首先利用解析器程序将相应文件进行解析，然后通过XML Dom模型或XPath灵活地进行数据处理。XML标准格式与水雨情数据格式一致，新建数据包，补充灾害数据库相关信息。
进一步的，步骤(3)B的具体操作是：在原有灾害数据库建成之后，根据新提取的网页信息，将原有灾害新提供的数据形成标准数据包，对已入库灾害补充或更新相关信息，包括事件基本信息、灾害损失信息、应急响应信息；将爬取的html文件或txt文本文档解析成XML标准格式，更新已有数据包，完成对灾害数据库的更新工作。
本发明在山洪灾害方面具有以下有益效果：
(1)该方法充分利用网络信息资源，对站点山洪信息进行补充校对，更加全面精准地描述和分析洪水事件的发生与发展过程，解决了目前山洪灾害网络数据资源数量多、种类多、来源多，难以准确高效提取有用数据信息的技术难题，为山洪灾害数据库的快速构建及更新提供一种有用的方法。
(2)采用了网络爬虫与语义分析法，将网络大数据中关于山洪灾害的有效实时信息采集起来，存储于山洪灾害数据库中，对其进行更新补充，成功的解决了传统网络搜索引擎查找数据效率低，提取信息准确率差的难题。
(3)将网络山洪灾害数据与水文站、雨量站数据相结合，使山洪灾害数据的完整性与可靠性大幅度提升，对于山洪灾害数据库的建设有重要帮助。
附图说明
图1：本发明自动提取网页山洪灾害信息的方法流程方框示意图。
图2：本发明步骤(1)操作示意图。
图3：本发明步骤(2)操作示意图。
图4：实施例1中抓取的网页。
图5：实施例1中提取的网络信息。
图6：实施例1中的山洪灾害数据库。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示，本发明所采用的技术方案是基于网络爬虫技术和网页语义分析的自动提取网页山洪灾害信息的方法，该方法按照以下步骤实施：
(1)运用网络爬虫技术实时抓取信息网页，抓取有关山洪灾害Web网页的文档、图片、音频、视频等，如通过网络爬虫抓取到图4所示的网页，经山洪灾害信息相关性分析，相关度100％，网页质量等级为一级，解析网页ip并载入网页库。
(2)采用神经网络语义分析方法，对于网页文本信息，进行命名实体识别以及对应关系元组自动抽取，然后汇入相应的语义空间；对于网页视频及图片信息，根据卷积神经网络语义分析法，提取视图多维度视觉特征，添加图像语义标签，然后联合映射到低维嵌入空间及最终语义空间，如图5所示。最后，将所获灾害事件信息按地点、时间、所在行政区、发生范围、灾害量级、灾害损失分类统计到洪水灾害数据库中。所提取灾害相关的关键信息包括地点、时间、经济损失、人员伤亡、灾害相应等级等，在本例中，地点为延安、榆林，时间为2016年8月13日，经济损失9600余万元，人员伤亡为7人死亡1人失踪，提取信息后按类别分类储存，如图6所示。
(3)根据事件发生位置，提取灾害位置所在流域，并确定上游集水区和下游河道的范围；根据上游集水区的范围和下游河道的范围，关联水雨情数据库，提取灾害对应场次的上游集水区内雨量站点降雨数据、上游集水区和下游河道水文站、水位站的水位和流量数据，本例中灾害所在流域为洛河流域，关联此区域的水情数据库，提取相关信息。
(4)根据灾害事件基本信息，将相应的水雨情数据库与灾害数据库进行关联链接，新建灾害事件的水雨情信息。
(5)将网页提取的灾害场次信息打包成标准关联信息文件格式，并储存到山洪灾害数据库，对灾害数据库补充。具体的，将爬取的html文件或txt文本文档解析成XML标准格式，与水雨情数据格式一致。包括事件基本信息、流域基本信息、水雨情信息、灾害损失信息、应急响应信息等。
上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。
Claims (7)
1.一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，其特征在于：包括以下步骤：
(1)运用网络爬虫技术实时抓取山洪灾害相关网页信息：利用网络聚焦爬虫对网页中文档、图片、视频资源进行定向抓取；
(2)基于语义分析方法，提取相关的山洪灾害关键语义信息，并参照山洪灾害关键语义信息对网页信息进行分类标记储存，所述山洪灾害关键语义信息包括：发生位置、发生时间、所在行政区、发生范围、灾害量级、灾害损失；
(3)构建数据库查重系统判断提取的山洪灾害信息在数据库中是否建立，对已建立或未建立的数据库信息进行以下不同操作：
A、对于新信息，则根据灾害事件发生位置、发生时间、所在行政区，关联流域水雨情数据库，将流域水雨情信息及网页提取的灾害场次信息打包成标准关联信息文件格式，新建数据包并储存到山洪灾害数据库；所述新信息是指该场次灾害的任何数据均未在山洪灾害数据库中储存；
B、对于已有信息，将新提取的网页信息打包成标准关联信息文件格式，更新补充该场次数据包信息，并储存到山洪灾害数据库；所述已有信息是指该场次灾害已经有其他数据在山洪灾害数据库中储存。
2.根据权利要求1所述一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，其特征在于：
步骤(1)中网络聚焦爬虫的工作过程具体为：需要根据指定的网页分析算法过滤与主题相关度不大的链接，保留有用的链接并将其放入等待抓取的URL队列；然后根据指定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，当网络爬虫对同一网页进行重复抓取时，网页抓取停止；根据网页与山洪信息的相关性分析，将网页质量分成四级：相关度100％～80％的为一级；相关度80％～50％的为二级，相关度50％～20％的为三级，相关度0～20％的为四级；采取最佳优先搜索策略，根据等级需求，选取一系列“最佳”URL进行抓取，然后构建聚焦爬虫URL节点，并建立灾害信息网页索引。
3.根据权利要求1所述一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，其特征在于：步骤(2)中对网页信息进行分类标记储存的具体过程为：
构建一个分布式数据库模型，有区分的对网页信息进行统计汇集：对于网页文本信息，利用神经网络语义分析法对文档进行命名实体识别以及对应关系元组自动抽取，然后汇入相应的语义空间；对于网页视频及图片信息，根据卷积神经网络语义分析法，提取视图多维度视觉特征，添加图像语义标签，然后联合映射到低维嵌入空间及最终语义空间；最后，将所获灾害发生位置、发生时间、所在行政区、发生范围、灾害量级、灾害损失基本信息分类统计到灾害数据库中。
4.根据权利要求3所述一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，其特征在于：步骤(2)中：
卷积神经网络语义分析法中，向融合层输入视图多维度视觉特征：
其中，Z(l)为特征矩阵、为l层人物语义、为l层行为语义、为l层上下文环境语义，
以行为语义为例，语义多层次建立联系：
其中，表示行为语义偏置后第l层第k个输入矩阵，σ表示激活函数，表示偏置前第l-1层第k个输入矩阵，表示行为语义通道上的第l层卷积核；Dl表示第L-1层需要输入的特征图集合；bl表示l层特征图的偏置；
映射关系为Φ：x→y，满足
其中，·是X上的运算；是Y上的运算。
5.根据权利要求1所述一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，其特征在于：步骤(3)在网页灾害信息提取后，根据事件发生时间、发生位置、所在行政区，判断该场山洪灾害在数据库中是否记录，若无记录则新建数据包，若有记录，则比对时间先后，依据最新时间山洪信息更新数据包。
6.根据权利要求1所述一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，其特征在于：步骤(3)A的具体操作为：提取新信息山洪灾害位置所在流域，并确定上游集水区和下游河道的范围；根据上游集水区的范围和下游河道的范围，关联水雨情数据库，提取灾害对应场次的上游集水区内雨量站点降雨数据、上游集水区和下游河道水文站、水位站的水位和流量数据；采用XML格式，将提取的每一场灾害的水雨情信息与网页中的有效信息打包形成一个标准的灾害关联信息文件，存储到洪水灾害数据库。
7.根据权利要求1所述一种基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法，其特征在于：步骤(3)B的具体操作是：在原有灾害数据库建成之后，根据新提取的网页信息，将原有灾害新提供的数据形成标准数据包，对已入库灾害补充或更新相关信息，包括事件基本信息、灾害损失信息、应急响应信息；将爬取的html文件或txt文本文档解析成XML标准格式，更新已有数据包，完成对灾害数据库的更新工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910622585.3A CN110377680B (zh) | 2019-07-11 | 2019-07-11 | 基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910622585.3A CN110377680B (zh) | 2019-07-11 | 2019-07-11 | 基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110377680A true CN110377680A (zh) | 2019-10-25 |
| CN110377680B CN110377680B (zh) | 2020-04-28 |
Family
ID=68252600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910622585.3A Active CN110377680B (zh) | 2019-07-11 | 2019-07-11 | 基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110377680B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950199A (zh) * | 2020-08-11 | 2020-11-17 | 杭州叙简科技股份有限公司 | 一种基于地震新闻事件的地震数据结构化自动方法 |
| CN112069378A (zh) * | 2020-09-14 | 2020-12-11 | 郑州大学 | 一种基于idf曲线的城市致灾降水分类判定方法 |
| CN112365078A (zh) * | 2020-11-23 | 2021-02-12 | 南京莱斯信息技术股份有限公司 | 一种基于灾害链的多灾种耦合与次生衍生演化预测系统 |
| CN112750138A (zh) * | 2021-01-14 | 2021-05-04 | 黄河勘测规划设计研究院有限公司 | 一种黄河流域淤地坝空间分布识别方法 |
| CN116433032A (zh) * | 2023-04-26 | 2023-07-14 | 中国农业科学院农业环境与可持续发展研究所 | 基于网络爬虫方式的智能评估方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609512A (zh) * | 2012-02-07 | 2012-07-25 | 北京中机科海科技发展有限公司 | 异构信息知识挖掘与可视化分析系统及方法 |
| US20160292571A1 (en) * | 2013-12-10 | 2016-10-06 | Shenyang Institute Of Automation Of The Chinese Academy Of Sciences | A semantic method for terminal devices of internet of things |
| CN107391930A (zh) * | 2017-07-21 | 2017-11-24 | 华北水利水电大学 | 山洪灾害分析评价系统及山洪灾害分析评价方法 |
| CN107562814A (zh) * | 2017-08-14 | 2018-01-09 | 中国农业大学 | 一种地震应急和灾情信息获取分类方法及系统 |
| CN107784036A (zh) * | 2016-08-31 | 2018-03-09 | 北京国双科技有限公司 | 网络爬虫系统和基于网络爬虫系统的数据处理方法 |
| CN108280553A (zh) * | 2018-02-24 | 2018-07-13 | 中山大学 | 基于gis-神经网络集成的山洪灾害风险区划及预测方法 |
| CN108711264A (zh) * | 2018-05-16 | 2018-10-26 | 深圳市城市公共安全技术研究院有限公司 | 基于大数据的地质灾害监测方法及监测系统 |
-
2019
- 2019-07-11 CN CN201910622585.3A patent/CN110377680B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609512A (zh) * | 2012-02-07 | 2012-07-25 | 北京中机科海科技发展有限公司 | 异构信息知识挖掘与可视化分析系统及方法 |
| US20160292571A1 (en) * | 2013-12-10 | 2016-10-06 | Shenyang Institute Of Automation Of The Chinese Academy Of Sciences | A semantic method for terminal devices of internet of things |
| CN107784036A (zh) * | 2016-08-31 | 2018-03-09 | 北京国双科技有限公司 | 网络爬虫系统和基于网络爬虫系统的数据处理方法 |
| CN107391930A (zh) * | 2017-07-21 | 2017-11-24 | 华北水利水电大学 | 山洪灾害分析评价系统及山洪灾害分析评价方法 |
| CN107562814A (zh) * | 2017-08-14 | 2018-01-09 | 中国农业大学 | 一种地震应急和灾情信息获取分类方法及系统 |
| CN108280553A (zh) * | 2018-02-24 | 2018-07-13 | 中山大学 | 基于gis-神经网络集成的山洪灾害风险区划及预测方法 |
| CN108711264A (zh) * | 2018-05-16 | 2018-10-26 | 深圳市城市公共安全技术研究院有限公司 | 基于大数据的地质灾害监测方法及监测系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950199A (zh) * | 2020-08-11 | 2020-11-17 | 杭州叙简科技股份有限公司 | 一种基于地震新闻事件的地震数据结构化自动方法 |
| CN112069378A (zh) * | 2020-09-14 | 2020-12-11 | 郑州大学 | 一种基于idf曲线的城市致灾降水分类判定方法 |
| CN112069378B (zh) * | 2020-09-14 | 2022-09-30 | 郑州大学 | 一种基于idf曲线的城市致灾降水分类判定方法 |
| CN112365078A (zh) * | 2020-11-23 | 2021-02-12 | 南京莱斯信息技术股份有限公司 | 一种基于灾害链的多灾种耦合与次生衍生演化预测系统 |
| CN112750138A (zh) * | 2021-01-14 | 2021-05-04 | 黄河勘测规划设计研究院有限公司 | 一种黄河流域淤地坝空间分布识别方法 |
| CN112750138B (zh) * | 2021-01-14 | 2022-07-15 | 黄河勘测规划设计研究院有限公司 | 一种黄河流域淤地坝空间分布识别方法 |
| CN116433032A (zh) * | 2023-04-26 | 2023-07-14 | 中国农业科学院农业环境与可持续发展研究所 | 基于网络爬虫方式的智能评估方法 |
| CN116433032B (zh) * | 2023-04-26 | 2024-04-09 | 中国农业科学院农业环境与可持续发展研究所 | 基于网络爬虫方式的智能评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110377680B (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110377680B (zh) | 基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法 | |
| CN106202561B (zh) | 基于文本大数据的数字化应急管理案例库构建方法及装置 | |
| Nguyen et al. | Automatic image filtering on social networks using deep learning and perceptual hashing during crises | |
| CN108256104B (zh) | 基于多维特征的互联网网站综合分类方法 | |
| Landwehr et al. | Using tweets to support disaster planning, warning and response | |
| CN103544255A (zh) | 基于文本语义相关的网络舆情信息分析方法 | |
| CN101620608A (zh) | 信息采集方法及系统 | |
| CN102270206A (zh) | 一种有效网页内容的抓取方法及装置 | |
| CN110457579B (zh) | 基于模板和分类器协同工作的网页去噪方法及系统 | |
| CN102708096A (zh) | 一种基于语义的网络智能舆情监测系统及其工作方法 | |
| Rizk et al. | A computationally efficient multi-modal classification approach of disaster-related Twitter images | |
| CN102682082B (zh) | 基于内容结构特征的网络Flash搜索系统及搜索方法 | |
| CN109657058A (zh) | 一种公告信息的抽取方法 | |
| CN107451120B (zh) | 一种公开文本情报的内容冲突检测方法及系统 | |
| CN113935502A (zh) | 基于双重注意力机制的面向大坝应急工况事件抽取方法 | |
| CN112258254B (zh) | 基于大数据架构的互联网广告风险监测方法及系统 | |
| CN111680073A (zh) | 一种基于用户数据的金融服务平台政策资讯推荐方法 | |
| CN103078854B (zh) | 报文过滤方法与装置 | |
| Rahmadan et al. | Sentiment analysis and topic modelling using the lda method related to the flood disaster in jakarta on twitter | |
| CN111723256A (zh) | 一种基于信息资源库的政务用户画像构建方法及其系统 | |
| CN111859070A (zh) | 一种海量互联网新闻清洗系统 | |
| CN106844588A (zh) | 一种基于网络爬虫的用户行为数据的分析方法及系统 | |
| KR102124935B1 (ko) | 크라우드 소싱을 활용한 재난 모니터링 시스템, 재난 모니터링 방법 및 이를 수행하기 위한 컴퓨터 프로그램 | |
| Hou et al. | Understanding social media beyond text: a reliable practice on Twitter | |
| CN1320481C (zh) | 一种对报纸版面进行标题与正文逻辑关联的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |