CN112989817B - 一种气象预警信息自动审核方法 - Google Patents
一种气象预警信息自动审核方法 Download PDFInfo
- Publication number
- CN112989817B CN112989817B CN202110508696.9A CN202110508696A CN112989817B CN 112989817 B CN112989817 B CN 112989817B CN 202110508696 A CN202110508696 A CN 202110508696A CN 112989817 B CN112989817 B CN 112989817B
- Authority
- CN
- China
- Prior art keywords
- early warning
- character
- word
- auditing
- participles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000011218 segmentation Effects 0.000 claims abstract description 104
- 238000012550 audit Methods 0.000 claims description 55
- 230000003247 decreasing effect Effects 0.000 claims description 55
- 239000010410 layer Substances 0.000 claims description 27
- 239000002356 single layer Substances 0.000 claims description 8
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012552 review Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000590419 Polygonia interrogationis Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 210000001520 comb Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000009955 starching Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Machine Translation (AREA)
Abstract
本公开提供一种气象预警信息自动审核方法,涉及自然语言处理技术领域。其中,审核方法包括:基于指定字符对待审核的气象预警文本进行切分,得到多个子句;将所述子句中每个单字依次作为切分首字,并将预设字符长度作为切分长度,对所述子句切分得到分词;基于所述分词与预设的气象预警语料库之间的匹配操作依次对所述分词进行审核;在检测到具有审核失败的所述分词时,在所述气象预警文本中对审核失败的所述分词进行标记,生成标记文本。通过本公开实施例提供的技术方案,能够保证分词组合中的分词与气象预警语料库之间执行可靠匹配,一方面,能够保证分词检测的准确性,另一方面,也有利于提升文本审核的效率,减少人工审核的工作量。
Description
技术领域
本公开涉及自然语言处理技术领域,具体而言,涉及一种气象预警信息自动审核方法、装置、计算机可存储介质与电子设备。
背景技术
气象灾害预警信息是由各级气象主管机构所属的气象台站向社会公众发布的、因气象条件引发灾害的预警信息。其中,预警信息通常包括突发气象事件的类别、预警级别、起始时间、可能影响范围、警示事项、应采取的措施和发布单位等。
因此,预警信息的准确、及时发布能够为各级政府应急指挥提供重要支撑,以确保政府管理部门、各个行业和社会公众能在第一时间对突发气象事件采取防御措施,减少经济财产损失。
由于预警信息中正文的单字量占整条预警信息的85%以上,而目前预警信息发布过程中预警信息的录入和审核主要还是依赖人工。一方面,人工审核由于效率较低,导致预警信息发布延迟,另一方,人工审核难以保证审核结果的准确性,导致错误的预警内容影响了信息的权威发布,严重的可能因人们对于预警信息的歧义而延误灾害应急处置,会对人民生命和财产安全造成损失。
需要说明的是,在上述背景技术分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种气象预警信息自动审核方法、气象预警信息自动审核装置、介质与电子设备,用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的人工审核耗时较长以及审核错误概率较大的问题。
根据本公开实施例的一方面,提供一种气象预警信息自动审核方法,包括:基于指定字符对待审核的气象预警文本进行切分,得到多个子句;将所述子句中每个单字依次作为切分首字,并将预设字符长度作为切分长度,对所述子句切分得到分词;基于所述分词与预设的气象预警语料库之间的匹配操作依次对所述分词进行审核;在检测到具有审核失败的所述分词时,在所述气象预警文本中对审核失败的所述分词进行标记,生成标记文本。
在本公开的一种示例性实施例中,在检测到具有审核失败的所述分词时,在所述气象预警文本中对审核失败的所述分词进行标记,生成标记文本包括:在检测到具有所述二次审核分词时,根据逐层递减规则对所述二次审核分词再次进行审核;在检测到所述二次审核分词递减至单字,所述单字仍与所述气象预警语料库匹配失败,将所述单字确定为审核失败的所述分词;在所述气象预警文本中对审核失败的所述单字进行标记,生成所述标记文本。
在本公开的一种示例性实施例中,所述根据逐层递减规则对所述二次审核分词再次进行审核包括:从所述二次审核分词到所述单字包括至少一层递减操作,其中,单层递减操作具体包括:删除所述二次审核分词的首字生成第一递减字组;在检测到所述第一递减字组与所述气象预警语料库匹配成功时,确定所述二次审核分词审核成功,并对首字与所述第一递减字组的尾字相同的所述分词继续进行审核;在检测到所述第一递减字组与所述气象预警语料库匹配失败时,删除所述二次审核分词的尾字生成第二递减字组,以完成所述单层递减操作,并对所述第二递减字组继续审核。
在本公开的一种示例性实施例中,所述根据逐层递减规则对所述二次审核分词再次进行审核还包括:在检测到所述第二递减字组与气象预警语料库匹配失败时,继续执行所述单层递减操作,直至递减至单字;在检测到所述第二递减字组与气象预警语料库匹配成功时,确定所述二次审核分词审核成功,并对首字与所述第二递减字组的尾字相同的所述分词继续进行审核。
在本公开的一种示例性实施例中,所述在检测到所述二次审核分词递减至单字,所述单字仍与所述气象预警语料库匹配失败,将所述单字确定为审核失败的所述分词还包括:在检测到所述单字与所述气象预警语料库匹配成功时,确定与匹配成功的所述单字相邻的下一单字,并基于对以所述下一单字作为首字的所述分词继续进行审核,直至对所述子句审核完毕。
在本公开的一种示例性实施例中,还包括:将全国行政区域信息、全国行政区域的历史气象预警信息和时间描述信息进行汇总,得到汇总信息;提取所述汇总信息中的气象预警关键信息;对所述气象预警关键信息进行切分,得到切分数据;对所述切分数据进行去重操作,得到切分单字;基于所述预设字符长度对相邻的所述切分单字进行组合,得到所述气象预警语料库。
在本公开的一种示例性实施例中,所述指定字符包括标点符号、特殊字符、数字、字母和量词中的至少一种。
根据本公开实施例的另一方面,提供一种气象预警信息自动审核装置,包括:第一切分模块,用于基于指定字符对待审核的气象预警文本进行切分,得到多个子句;第二切分模块,用于将所述子句中每个单字依次作为切分首字,并将预设字符长度作为切分长度,对所述子句切分得到分词;审核模块,用于基于所述分词与预设的气象预警语料库之间的匹配操作依次对所述分词进行审核;标识模块,用于在检测到具有审核失败的所述分词时,在所述气象预警文本中对审核失败的所述分词进行标记,生成标记文本。
根据本公开的另一方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行如上述任意一项所述的气象预警信息自动审核方法。
根据本公开的另一方面,提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上述任意一项所述的气象预警信息自动审核方法。
本公开实施例的技术方案,通过将获取到的待审核的气象预警文本进行二次切分,依次得到子句和分词集合,其中,分词集合采用以每个单字作为切分起点依次切分的方式生成,切分得到的每个分词为包括一个或多个单字,该切分方式有利于保证得到的分词集合中具有正常语义的字词,进而能够保证分词组合中的分词与气象预警语料库之间执行可靠匹配,一方面,能够保证分词检测的准确性,另一方面,也有利于提升气象预警信息自动审核的效率,减少人工审核的工作量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种气象预警信息自动审核系统结构的示意图;
图2示出本公开示例性实施例中一种气象预警信息自动审核方法的流程图;
图3示出本公开示例性实施例中另一种气象预警信息自动审核方法的流程图;
图4示出本公开示例性实施例中再一种气象预警信息自动审核方法的流程图;
图5示出本公开示例性实施例中又一种气象预警信息自动审核方法的流程图;
图6示出本公开示例性实施例中又一种气象预警信息自动审核方法的流程图;
图7示出本公开示例性实施例中又一种气象预警信息自动审核方法的流程图;
图8示出本公开示例性实施例中又一种气象预警信息自动审核方法的流程图;
图9示出本公开示例性实施例中一种气象预警信息自动审核装置的方框图;
图10示出本公开示例性实施例中一种电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的征、结构或性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述定细节中的一个或更多,或者可以采用其它的、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出本公开实施例中一种气象预警气象预警信息自动审核系统的结构示意图,包括多个终端120和服务器集群140。
终端120可以是手机、游戏主机、平板电脑、电子书阅读器、智能眼镜、MP4(MovingPicture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、智能家居设备、AR(Augmented Reality,增强现实)设备、VR(Virtual Reality,虚拟现实)设备等移动终端,或者,终端120也可以是个人计算机(Personal Computer,PC),比如膝上型便携计算机和台式计算机等等。
其中,终端120中可以安装有用于提供停车场流量的应用程序。
终端120与服务器集群140之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
服务器集群140是一台服务器,或者由若干台服务器组成,或者是一个虚拟化平台,或者是一个云计算服务中心。服务器集群140用于为提供邮件跟踪日志的解析应用程序以及流量预测模型的训练应用程序提供后台服务。可选地,服务器集群140承担主要计算工作,终端120承担次要计算工作;或者,服务器集群140承担次要计算工作,终端120承担主要计算工作;或者,终端120和服务器集群140之间采用分布式计算架构进行协同计算。
在一些可选的实施例中,服务器集群140通过加载Redis库160加载审核模型180。
可选地,不同的终端120中安装的应用程序的客户端是相同的,或两个终端120上安装的应用程序的客户端是不同控制系统平台的同一类型应用程序的客户端。基于终端平台的不同,该应用程序的客户端的具体形态也可以不同,比如,该应用程序客户端可以是手机客户端、PC客户端或者全球广域网(World Wide Web,Web)客户端等。
本领域技术人员可以知晓,上述终端120的数量可以更多或更少。比如上述终端可以仅为一个,或者上述终端为几十个或几百个,或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。
可选的,该系统还可以包括管理设备(图1未示出),该管理设备与服务器集群140之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(ExtensibleMarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(InternetProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图2示出本公开实施例中一种气象预警信息自动审核方法流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行,例如如图1中的终端120和/或服务器集群140。在下面的举例说明中,以终端120为执行主体进行示例说明。
如图2所示,终端120执行气象预警信息自动审核方法,可以包括以下步骤:
步骤S202,基于指定字符对待审核的气象预警文本进行切分,得到多个子句。
其中,指定字符包括但不限于标点符号、特殊字符、数字、字母和量词等。
具体地,标点符号包括逗号、句号、冒号、引号、问号以及感叹号等。
特殊字符包括数学符号、单位符号和制表符等。
另外,子句可以理解为去除了标点、特殊字符、数字、字母和量词的一句紧凑的语句。
步骤S204,将子句中每个单字依次作为切分首字,并将预设字符长度作为切分长度,对子句切分得到分词。
其中,在本公开中将一个单字的长度定为单位字符长度,预设字符长度为N个单位字符长度,N为大于或等于1的整数。
例如,N=3,子句为:ABCDEFGHIJKLMNOPQRSTUVWXYZ。
具体地,将子句中每个单字依次作为切分首字,并将预设字符长度作为切分长度,对子句切分得到的分词依次包括:ABC、BCD、CDE……以及XYZ。
基于切分操作得到的子句,由于不需要执行语义解析,因此无法确定子句中的哪些字组为气象预警语料库中的语料,因此通过将子句中的每个单字均作为分词的首字,切分出字数相同的分词,以基于分词与气象预警语料库之间的匹配操作进行分词审核。
步骤S206,基于分词与预设的气象预警语料库之间的匹配操作依次对分词进行审核。
其中,预设的气象预警语料库为用于审核气象预警文本的标准文本,包括但不限于气象预警的描述单字、地理位置信息和时间描述单字等。
而将检测分词集合中的分词和气象预警语料库进行匹配,则是检测气象预警语料库中是否具有和分词集合中的分词一致的语料,如果匹配成功,则表明该分词拼写正确,如果匹配失败,则表明该分词可能存在错误。
步骤S208,在检测到具有审核失败的分词时,在气象预警文本中对审核失败的分词进行标记,生成标记文本。
其中,如果分词包括多字,对审核失败的分词进行标记,可以将多字都进行标记,也可以对审核失败的分词进行处理后再次审核,直至到达单字的层级,并对审核失败的单字进行标记,得到标记文本。
另外,通过将检测到的可能存在错误的分词进行标记,以生成标记文本,对于得到的标记文本,可以执行二次审核操作,也可以转为其它审核方式,比如人工审核等。
在该实施例中,通过将获取到的待审核的气象预警文本进行二次切分,依次得到子句和分词集合,其中,分词集合采用以每个单字作为切分起点依次切分的方式生成,切分得到的每个分词为包括一个或多个单字,该切分方式有利于保证得到的分词集合中具有正常语义的字词,降低将本来具有语义的词语由于多切入字或少切入字而导致的无法与气象预警语料库中的语料进行匹配的概率,进而能够保证分词组合中的分词与气象预警语料库之间执行可靠匹配,一方面,能够保证分词检测的准确性,另一方面,也有利于提升气象预警信息审核的效率,减少人工审核的工作量。
具体地,本领域的技术人员能够理解的是,凡是判别通过的预警信息都是严格满足正文正确性要求的,对判别不通过的预警信息交由工作人员进行复审。通过此方法,可使大部分预警信息通过系统自动审核,有效减少了人工审核的数量。
采用本公开的气象预警信息自动审核方法可以有效的提高气象预警信息自动审核的效率,从试验结果看,可以自动审核通过95%的预警正文信息。
另外,在检测到气象预警文本含有气象预警语料库中未出现的分词,且并且该分词对预警影响范围较大时,可以通过更新分词库的方式,提升审核通过率。
如图3所示,步骤S208,检测到具有审核失败的分词时,在气象预警文本中对审核失败的分词进行标记,生成标记文本的一种具体实现方式,包括:
步骤S302,在检测到具有二次审核分词时,根据逐层递减规则对二次审核分词再次进行审核。
步骤S304,在检测到二次审核分词递减至单字,单字仍与气象预警语料库匹配失败,将单字确定为审核失败的分词。
步骤S306,在气象预警文本中对审核失败的单字进行标记,生成标记文本。
具体地,预设字符长度可以为一个单位字符长度,也可以多个单位字符长度,对于中文来说,四字分词、三字分词、二字分词和单字为较常见的分词,因此逐层递减规则可以理解为将审核失败的四字分词删减一个单字得到三字分词,如果三字分词继续审核失败,则将审核失败的三字分词删减一个单字得到二字分词,如果二字分词继续审核失败,则将审核失败的二字分词删减一个单字得到单字,如果单字仍审核失败,则进行标记,得到标记文本。
另外,在四字分词匹配成功时,则四字分词包含的三字分词、二字分词和单字均不再重新匹配,该方式与单纯的采用切分成的单字进行匹配的方式相比,能够提升审核效率。
具体地,将子句依次切分成三字分词。
例如, N=3,子句为:ABCDEFGHIJKLMNOPQRSTUVWXYZ。依次切分后得到的分词为:ABC,BCD,CDE……XYZ。
基于逐层递减规则进行递减,N减为3,得到二字的递减字组,为AB,BC,CD……YZ。
在N减至1时,将子句依次切分成单字,依次为A,B,C……Z。
本领域的技术人员能够理解的是,本公开的气象预警信息审核方案,在将子句中每个单字依次作为切分首字,并将预设字符长度作为切分长度,对子句切分得到分词的阶段,预先完成上述基于逐层递减规则的切分操作,以在审核失败时,直接从已切分出的分词中提取满足删除首字条件的第一递减字组,或满足删除尾字条件的第二递减字组。
在该实施例中,通过设置多个递减的预设字符长度,对于每个预设字符长度,对应生成一个分词集合,在预设字符长度为多个时,则对应生成多个分词集合,该方式生成的分词集合,有利于保证文本中分词核查的完整性,进而保证气象预警信息自动审核的可靠性。
如图4所示,在本公开的一种示例性实施例中,步骤S206,根据逐层递减规则对二次审核分词再次进行审核,具体包括:从所述二次审核分词到所述单字包括至少一层递减操作,其中,单层递减操作具体包括:
步骤S402,删除二次审核分词的首字生成第一递减字组。
步骤S404,在检测到第一递减字组与气象预警语料库匹配失败时,删除二次审核分词的尾字生成第二递减字组,并对第二递减字组继续审核。
其中,对于N个字符的二次审核分词,删除二次审核分词的首字生成N-1个字符的第一递减字组进行审核,如果第一递减字组审核失败,则删除二次审核分词的尾字(即恢复首字)生成N-1个字符的第二递减字组,继续审核。
其中,最上层的分词为初始的字数最多的分词,最底层的分词为单字。
步骤S406,在检测到第一递减字组与气象预警语料库匹配成功时,确定二次审核分词审核成功,并对首字与第一递减字组的尾字相同的分词继续进行审核。
步骤S408,在检测到第二递减字组与气象预警语料库匹配成功时,确定二次审核分词审核成功,并对首字与第二递减字组的尾字相同的分词继续进行审核。
步骤S410,在检测到第二递减字组与气象预警语料库匹配失败时,继续基于单层递减操作进行审核。
如图4所示,在本公开的一种示例性实施例中,步骤S304,在检测到二次审核分词递减至单字,单字仍与气象预警语料库匹配失败,将单字确定为审核失败的分词,还包括:
步骤S412,在检测到单字与气象预警语料库匹配成功时,确定与匹配成功的单字相邻的下一单字,以对以下一单字作为首字的分词继续进行审核,直至对子句审核完毕。
在该实施例中,通过先审核分词字数多的分词,如果与气象预警语料库匹配成功,即气象预警语料库中具有匹配的语料,则确定审核正确,即文本拼写无误,如果匹配失败,则对分词进行递减,递减的操作方式为先删除首字,如果删除首字的字组仍匹配失败,则保留首字,并删除尾字,如果匹配仍失败,则逐层递减,逐层匹配,直至匹配到底层的单字,如果在单字层面仍未与气象预警语料库匹配成功,则确定为匹配失败,一方面,优先遍历分词字数多的分词,和气象预警语料库进行匹配,由于单词匹配操作能够审核多个单字,因此有利于提升审核效率,另一方面,通过采用对分词逐层递减的匹配方式,以多字为主,中间字数为辅,单字为补充,按规则与分词库进行字分词匹配,也能够保证对气象预警信息自动审核的完整性和准确性。
如图5所示,根据本公开的另一个实施例的气象预警信息自动审核方法,包括:
步骤S502,将审核失败的分词记为二次审核分词,在对二次审核分词进行二次审核时,通过删除二次审核分词的首字生成的第一递减字组,和/或删除二次审核分词的尾字生成的第二递减字组。
步骤S504,如果第一递减字组与气象预警语料库匹配成功,则确定二次审核分词审核成功,并对首字与第一递减字组的尾字相同的分词继续进行审核。
步骤S506,如果第一递减字组与气象预警语料库审核失败,则将第二递减字组与气象预警语料库进行匹配。
步骤S508,如果第二递减字组与气象预警语料库匹配成功,则确定二次审核分词审核成功,并对首字与第二递减字组的尾字相同的分词继续进行审核。
步骤S510,如果第二递减字组与气象预警语料库匹配失败,则将第二递减字组作为新的二次审核分词继续递减审核。
步骤S512,检测到递减至与气象预警语料库匹配失败的单字时,对匹配失败的单字进行标记,生成标记文本。
在该实施例中,假设初始数量为三字,则在匹配过程中,先按三字分词进行字分词匹配,如果匹配成功,则继续三字分词匹配,直至遍历该条信息中的所有字,如某个三字分词配不成功,则依次进行右侧或左侧二字分词匹配,以二字分词末字为起点,继续三字分词匹配,直至遍历该条信息中的所有字。
进一步地,如某个二字分词匹配不成功,进行左侧单字分词匹配,以单字的下一字为起点,继续三字分词匹配,直至遍历该条信息中的所有字。
通过上述的遍历和审核方式,能够兼顾审核效率和审核内容的完整性,以及审核操作的准确性。
具体地,采用英单字母表示单字,一条长度为26个数量的子句,表示为:ABCDEFGHIJKLMNOPQRSTUVWXYZ,其切分得到第一分词集合、第二分词集合和第二分词集合,其中,第一分词集合为三字集合,第二分词集合为二字集合,第二分词集合为单字集合。
第一步,首先遍历三字集合,比如ABC,与气象预警语料库中的分词进行匹配。如果ABC匹配成功,继续匹配BCD匹配,如果BCD匹配成功,则继续匹配CDE,直至XYZ匹配成功,则该条信息通过质量控制模型。
第二步,如果ABC匹配不成功,优先匹配右侧二字分词,即匹配BC,如果BC匹配成功,则认为ABC匹配成功,跳跃不处理BCD,以C字为起点,匹配CDE,重复第一步。
第三步,如果BC匹配不成功,则匹配左侧二字分词,即匹配AB,如果AB匹配成功,以B字为起点,继续匹配BCD,重复第一步。
第四步,如果AB匹配不成功,匹配A,如果匹配成功,继续匹配BCD,重复第一步,如果A匹配不成功,记录A的单字信息。
第五步,重复第一步至第五步,直至子句末尾,记录匹配过程中所有不通过检验的字及其位置。
如图6所示,在本公开的一种示例性实施例中,气象预警语料库的具体生成方式,包括:
步骤S602,将全国行政区域信息、全国行政区域的历史气象预警信息和时间描述信息进行汇总,得到汇总信息。
步骤S604,提取汇总信息中的气象预警关键信息。
步骤S606,对预警关键信息进行切分,得到切分数据。
步骤S608,对切分数据进行去重操作,得到切分单字。
步骤S610,基于预设字符长度对相邻的切分单字进行组合,得到气象预警语料库。
在该实施例中,由于预警正文通常会对影响范围进行描述,历史语料中未出现信息约90%是机构和行政区划,针对此类未出现词,收录了全国机构和行政区划信息,进行语料拆分和构建。此方法可以有效的增加自动审核的通过率,减少人工审核的数量。
另外,由于自动审核的时效性要求较高,通过采用哈希存储的方式存储气象预警语料库,每次检验的平均时间复杂度为O(1),核验所需时间不会随着分词库的信息量增大而增加延迟,单条预警(约百字),耗时在毫秒级,约0.084s,满足应用要求。
具体地,在自然语言处理方面,语句拆分,尤其是词的切分是个难点,通用词库或通用切词工具皆不适应于气象预警领域。本发明方法梳理统计了历年的气象预警信息,将信息汇总、抽取、去重、字切分,构建了一套气象预警领域内的以字为单元,字与字按序组合方式的分词库。
分词库中的二字分词示例:偏大、偏弱、偏少、偏西、海淀、屯北
分词库中的三字分词示例:偏大风、偏弱冷、偏西部、偏西风、海淀区、海淀南、海淀街、屯北社、屯北里、屯北街
分词库中的单字/停用字示例:月、日、分、区、度、站、村、街等。
如图7所示,根据本公开的一个实施例的气象预警信息自动审核方法,包括:
步骤S702,检测语句长度是否大于或等于3个文字,若“是”,进入步骤S704,若“否”,进入步骤S722。
步骤S704,选取第一组三字分词。
步骤S706,检测预警分词库是否包括三字分词,若“是”,进入步骤S710,若“否”,进入步骤S708。
步骤S708,检测预警分词库是否包括三字分词中后两个字符,若“是”,进入步骤S714,若“否”,进入步骤S712。
步骤S710,指针向后滑动一位,检测是否选取到三字分词,若“是”,返回步骤S706,若“否”,进入步骤S722。
步骤S712,检测预警分词库是否包括三字分词中前两个字符,若“是”,进入步骤S714,若“否”,进入步骤S716。
步骤S714,指针向后滑动二位,检测是否选取到三字分词,若“是”,返回步骤S706,若“否”,进入步骤S722。
步骤S716,检测预警分词库是否包括前两个字符中的首字符,若“是”,进入步骤S720,若“否”,进入步骤S718。
步骤S718,进行错误字符标注。
步骤S720,指针向后滑动一位,检测是否选取到三字分词,若“是”,返回步骤S706,若“否”,进入步骤S722。
步骤S722,检测语句尾部是否还有剩余字组,若“是”,进入步骤S724若“否”,进入步骤S726。
步骤S724,对剩余字组进行审核。
步骤S726,审核完毕。
下面结合图8,对图7中步骤S724,对剩余字组进行审核的过程进行具体描述,剩余字组具体包括二字字组,包括:
步骤S802,检测预警分词库是否包括二字字组,若“是”,进入步骤S804,若“否”,进入步骤S806。
步骤S804,确定语句审核正确。
步骤S806,选取前侧分词。
步骤S808,检测预警分词库是否包括前侧分词,若“是”,返回步骤S804,若“否”,进入步骤S810。
步骤S810,指针向后滑动一位,选取后侧分词。
步骤S812,检测预警分词库是否包括后侧分词,若“是”,返回步骤S804,若“否”,进入步骤S814。
步骤S814,进行错误字符标注。
图9是本公开示例性实施例中一种气象预警信息自动审核装置的方框图。
参考图9,气象预警信息自动审核装置900可以包括:第一切分模块902,用于基于指定字符对待审核的气象预警文本进行切分,得到多个子句;第二切分模块904,用于将所述子句中每个单字依次作为切分首字,并将预设字符长度作为切分长度,对所述子句切分得到分词;审核模块906,用于基于所述分词与预设的气象预警语料库之间的匹配操作依次对所述分词进行审核;标识模块908,用于在检测到具有审核失败的所述分词时,在所述气象预警文本中对审核失败的所述分词进行标记,生成标记文本。
由于装置900的各功能已在其对应的实施例中予以详细说明,本公开于此不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中,还提供了一种能够实现上述的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图10来描述根据本发明的这种实施方式的电子设备1000,包括上述的终端与节点设备,图10显示的电子设备1000仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于:上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030。
其中,存储单元存储有程序代码,程序代码可以被处理单元1010执行,使得处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,处理单元1010可以执行如图2中所示的步骤S202、S204至S208,以及本公开的物联网设备身份认证方法中限定的其他步骤。
存储单元1020可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202,还可以进一步包括只读存储单元(ROM)10203。
存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204,这样的程序模块10205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1030可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1000也可以与一个或多个外部设备1060(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备交互的设备通信,和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且,电子设备1000还可以通过网络适配器1050与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1050通过总线1030与电子设备1000的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性”分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、分地在用户设备上执行、作为一个独立的软件包执行、分在用户计算设备上分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外计算设备(例如利用因网服务提供商来通过因网连接)。
此外,上述附图仅是根据本发明示例性实施例的所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和构思由权利要求指出。
Claims (7)
1.一种气象预警信息自动审核方法,其特征在于,包括:
基于指定字符对待审核的气象预警文本进行切分,得到多个子句;
将所述子句中每个单字依次作为切分首字,并将预设字符长度作为切分长度,对所述子句切分得到分词;
基于所述分词与预设的气象预警语料库之间的匹配操作依次对所述分词进行审核;
在检测到具有审核失败的所述分词时,在所述气象预警文本中对审核失败的所述分词进行标记,生成标记文本。
2.根据权利要求1所述的气象预警信息自动审核方法,其特征在于,在检测到具有审核失败的所述分词时,在所述气象预警文本中对审核失败的所述分词进行标记,生成标记文本包括:
在检测到具有审核初步失败的二次审核分词时,根据逐层递减规则对所述二次审核分词再次进行审核;
在检测到所述二次审核分词递减至单字,所述单字仍与所述气象预警语料库匹配失败,将所述单字确定为审核失败的所述分词;
在所述气象预警文本中对审核失败的所述单字进行标记,生成所述标记文本。
3.根据权利要求2所述的气象预警信息自动审核方法,其特征在于,所述根据逐层递减规则对所述二次审核分词再次进行审核包括:
从所述二次审核分词到所述单字包括至少一层递减操作,其中,单层递减操作具体包括:删除所述二次审核分词的首字生成第一递减字组;
在检测到所述第一递减字组与所述气象预警语料库匹配成功时,确定所述二次审核分词审核成功,并对首字与所述第一递减字组的尾字相同的所述分词继续进行审核;
在检测到所述第一递减字组与所述气象预警语料库匹配失败时,删除所述二次审核分词的尾字生成第二递减字组,以完成所述单层递减操作,并对所述第二递减字组继续审核。
4.根据权利要求3所述的气象预警信息自动审核方法,其特征在于,所述根据逐层递减规则对所述二次审核分词再次进行审核还包括:
在检测到所述第二递减字组与所述气象预警语料库匹配失败时,继续基于所述单层递减操作进行审核,直至递减至单字;
在检测到所述第二递减字组与所述气象预警语料库匹配成功时,确定所述二次审核分词审核成功,并对首字与所述第二递减字组的尾字相同的所述分词继续进行审核。
5.根据权利要求2所述的气象预警信息自动审核方法,其特征在于,所述在检测到所述二次审核分词递减至单字,所述单字仍与所述气象预警语料库匹配失败,将所述单字确定为审核失败的所述分词还包括:
在检测到所述单字与所述气象预警语料库匹配成功时,确定与匹配成功的所述单字相邻的下一单字,并继续对以所述下一单字作为首字的所述分词进行审核,直至对所述子句审核完毕。
6.根据权利要求1至5中任一项所述的气象预警信息自动审核方法,其特征在于,还包括:
将全国行政区域信息、全国行政区域的历史气象预警信息和时间描述信息进行汇总,得到汇总信息;
提取所述汇总信息中的气象预警关键信息;
对所述气象预警关键信息进行切分,得到切分数据;
对所述切分数据进行去重操作,得到切分单字;
基于所述预设字符长度对相邻的所述切分单字进行组合,得到所述气象预警语料库。
7.根据权利要求1所述的气象预警信息自动审核方法,其特征在于,所述指定字符包括标点符号、特殊字符、数字、字母和量词中的至少一种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110508696.9A CN112989817B (zh) | 2021-05-11 | 2021-05-11 | 一种气象预警信息自动审核方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110508696.9A CN112989817B (zh) | 2021-05-11 | 2021-05-11 | 一种气象预警信息自动审核方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112989817A CN112989817A (zh) | 2021-06-18 |
CN112989817B true CN112989817B (zh) | 2021-08-27 |
Family
ID=76337427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110508696.9A Active CN112989817B (zh) | 2021-05-11 | 2021-05-11 | 一种气象预警信息自动审核方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112989817B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114898389A (zh) * | 2022-06-11 | 2022-08-12 | 国网安徽省电力有限公司 | 一种会计凭证摘要智能审核方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105468584A (zh) * | 2015-12-31 | 2016-04-06 | 武汉鸿瑞达信息技术有限公司 | 文本中不良文字信息的过滤方法及过滤系统 |
CN109710518A (zh) * | 2018-12-13 | 2019-05-03 | 中国联合网络通信集团有限公司 | 脚本审核方法及装置 |
CN111881667A (zh) * | 2020-07-24 | 2020-11-03 | 南京烽火星空通信发展有限公司 | 一种敏感文本审核方法 |
CN112036187A (zh) * | 2020-07-09 | 2020-12-04 | 上海极链网络科技有限公司 | 一种结合上下文语境的视频弹幕文本审核方法及系统 |
CN112364645A (zh) * | 2020-10-29 | 2021-02-12 | 浪潮通用软件有限公司 | 一种自动审核erp财务系统业务单据的方法及设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001043221A (ja) * | 1999-07-29 | 2001-02-16 | Matsushita Electric Ind Co Ltd | 中国語単語分割装置 |
US20190303437A1 (en) * | 2018-03-28 | 2019-10-03 | Konica Minolta Laboratory U.S.A., Inc. | Status reporting with natural language processing risk assessment |
-
2021
- 2021-05-11 CN CN202110508696.9A patent/CN112989817B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105468584A (zh) * | 2015-12-31 | 2016-04-06 | 武汉鸿瑞达信息技术有限公司 | 文本中不良文字信息的过滤方法及过滤系统 |
CN109710518A (zh) * | 2018-12-13 | 2019-05-03 | 中国联合网络通信集团有限公司 | 脚本审核方法及装置 |
CN112036187A (zh) * | 2020-07-09 | 2020-12-04 | 上海极链网络科技有限公司 | 一种结合上下文语境的视频弹幕文本审核方法及系统 |
CN111881667A (zh) * | 2020-07-24 | 2020-11-03 | 南京烽火星空通信发展有限公司 | 一种敏感文本审核方法 |
CN112364645A (zh) * | 2020-10-29 | 2021-02-12 | 浪潮通用软件有限公司 | 一种自动审核erp财务系统业务单据的方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112989817A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107908635B (zh) | 建立文本分类模型以及文本分类的方法、装置 | |
US10095780B2 (en) | Automatically mining patterns for rule based data standardization systems | |
CN110427618B (zh) | 对抗样本生成方法、介质、装置和计算设备 | |
US10838996B2 (en) | Document revision change summarization | |
CN110276023B (zh) | Poi变迁事件发现方法、装置、计算设备和介质 | |
CN113051356B (zh) | 开放关系抽取方法、装置、电子设备及存储介质 | |
CN111783450B (zh) | 语料文本中的短语提取方法、装置、存储介质及电子设备 | |
CN112445775B (zh) | 一种光刻机的故障分析方法、装置、设备和存储介质 | |
US10282467B2 (en) | Mining product aspects from opinion text | |
CN112163072B (zh) | 基于多数据源的数据处理方法以及装置 | |
CN110516034A (zh) | 日志管理方法、装置、网络设备和可读存储介质 | |
CN113743101A (zh) | 文本纠错方法、装置、电子设备和计算机存储介质 | |
CN111966730A (zh) | 基于常驻地的风险预测方法、装置和电子设备 | |
CN115574867A (zh) | 互感器故障检测方法、装置、电子设备及存储介质 | |
CN112989817B (zh) | 一种气象预警信息自动审核方法 | |
CN113658002B (zh) | 基于决策树的交易结果生成方法、装置、电子设备及介质 | |
CN112818667B (zh) | 地址纠正方法、系统、设备及存储介质 | |
CN116402166A (zh) | 一种预测模型的训练方法、装置、电子设备及存储介质 | |
CN113836308B (zh) | 网络大数据长文本多标签分类方法、系统、设备及介质 | |
CN115758211A (zh) | 文本信息分类方法、装置、电子设备和存储介质 | |
CN113051396B (zh) | 文档的分类识别方法、装置和电子设备 | |
CN112732896B (zh) | 目标信息显示方法、装置、电子设备和介质 | |
CN114925757A (zh) | 多源威胁情报融合方法、装置、设备和存储介质 | |
CN114647734A (zh) | 舆情文本的事件图谱生成方法、装置、电子设备和介质 | |
CN112560437A (zh) | 文本通顺度的确定方法、目标模型的训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |