CN113111231A - 基于正则表达式接处警文本人物信息要素提取方法和装置 - Google Patents
基于正则表达式接处警文本人物信息要素提取方法和装置 Download PDFInfo
- Publication number
- CN113111231A CN113111231A CN202010306934.3A CN202010306934A CN113111231A CN 113111231 A CN113111231 A CN 113111231A CN 202010306934 A CN202010306934 A CN 202010306934A CN 113111231 A CN113111231 A CN 113111231A
- Authority
- CN
- China
- Prior art keywords
- information element
- preset
- training sample
- personal information
- regular expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 153
- 238000012545 processing Methods 0.000 title claims abstract description 82
- 238000000605 extraction Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 290
- 238000012360 testing method Methods 0.000 claims description 52
- 238000004590 computer program Methods 0.000 claims description 10
- 239000003795 chemical substances by application Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services; Handling legal documents
Abstract
本公开实施例公开了基于正则表达式接处警文本人物信息要素提取方法和装置。该方法的一具体实施方式包括:获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合,其中,各目标人物信息要素标识属于预设人物信息要素标识集合;将待提取人物信息要素接处警文本与目标人物信息要素标识集合中的各目标人物信息要素标识对应的正则表达式进行匹配,以提取待提取人物信息要素接处警文本中的相应目标人物信息要素。该实施方式实现了自动提取接处警文本中的人物信息要素。
Description
技术领域
本公开实施例涉及计算机技术领域,具体涉及基于正则表达式接处警文本人物信息要素提取方法和装置。
背景技术
目前,公安机关的110接警员在接警时会录入接警文本。处警员在处警结束后会录入处警文本。接处警文本即包括上述接警文本和处警文本。实践中,往往接处警文本中都会涉及关于人物信息要素的描述。例如,可能包括人物的姓名、年龄、性别、家庭住址,还可能包括人物的身份证号码、电话号码等。案情分析员往往会根据接处警文本中的人物信息要素,分析各接处警文本中的相同人物信息要素以期发现系列案件或关联案件(例如,同一身份证号码出现在多个接处警文本中),然而凭人工提取接处警文本中的人物信息要素的人工成本太高且依赖于个人经验。
发明内容
本公开实施例提出了基于正则表达式接处警文本人物信息要素提取方法和装置。
第一方面,本公开实施例提供了一种基于正则表达式的接处警文本人物信息要素提取方法,该方法包括:获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合,其中,各目标人物信息要素标识属于预设人物信息要素标识集合;将待提取人物信息要素接处警文本与目标人物信息要素标识集合中的各目标人物信息要素标识对应的正则表达式进行匹配,以提取待提取人物信息要素接处警文本中的相应目标人物信息要素。
在一些实施例中,预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式是通过如下第一训练步骤预先训练得到的:获取训练样本集合和测试样本集合,其中,训练样本和测试样本均包括历史接处警文本和标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各预设人物信息要素;对于预设人物信息要素标识集合中的每个预设人物信息要素标识,执行以下第一正则表达式确定操作:将各训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合;在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合;对于目标数目个正训练样本子集合中的每个正训练样本子集合,基于该正训练样本子集合中各正训练样本,生成与该预设人物信息要素标识对应的候选正则表达式;基于测试样本集合对所生成的各个候选正则表达式进行测试以确定与每个所生成的候选正则表达式对应的准确率;将所生成的各候选正则表达式中准确率最高的候选正则表达式确定为与该预设人物信息要素标识对应的正则表达式。
在一些实施例中,在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合,包括:执行目标数目次正训练样本子集合生成操作以生成目标数目个正训练样本子集合,正训练样本子集合生成操作包括:在该预设人物信息要素标识对应的正训练样本集合中随机选取N个正训练样本组成正训练样本子集合,其中,N为对L除以M的商向下取整所得的整数,L是该预设人物信息要素标识对应的正训练样本集合中的正样本数量,M是大于等于2小于L的正整数。
在一些实施例中,预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式是通过如下第二训练步骤预先训练得到的:获取训练样本集合,其中,训练样本包括历史接处警文本和标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各预设人物信息要素;对于预设人物信息要素标识集合中的每个预设人物信息要素标识,执行以下第二正则表达式确定操作:将各训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合;基于该预设人物信息要素标识对应的正训练样本集合,生成与该预设人物信息要素标识对应的正则表达式。
在一些实施例中,预设人物信息要素标识集合包括以下至少一项:身份证号码、手机号码、银行卡号码、信用卡号码、邮箱地址、网页地址。
第二方面,本公开实施例提供了一种基于正则表达式的接处警文本人物信息要素提取装置,该装置包括:获取单元,被配置成获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合,其中,各目标人物信息要素标识属于预设人物信息要素标识集合;提取单元,被配置成将待提取人物信息要素接处警文本与目标人物信息要素标识集合中的各目标人物信息要素标识对应的正则表达式进行匹配,以提取待提取人物信息要素接处警文本中的相应目标人物信息要素。
在一些实施例中,预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式是通过如下第一训练步骤预先训练得到的:获取训练样本集合和测试样本集合,其中,训练样本和测试样本均包括历史接处警文本和标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各预设人物信息要素;对于预设人物信息要素标识集合中的每个预设人物信息要素标识,执行以下第一正则表达式确定操作:将各训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合;在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合;对于目标数目个正训练样本子集合中的每个正训练样本子集合,基于该正训练样本子集合中各正训练样本,生成与该预设人物信息要素标识对应的候选正则表达式;基于测试样本集合对所生成的各个候选正则表达式进行测试以确定与每个所生成的候选正则表达式对应的准确率;将所生成的各候选正则表达式中准确率最高的候选正则表达式确定为与该预设人物信息要素标识对应的正则表达式。
在一些实施例中,在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合,包括:执行目标数目次正训练样本子集合生成操作以生成目标数目个正训练样本子集合,正训练样本子集合生成操作包括:在该预设人物信息要素标识对应的正训练样本集合中随机选取N个正训练样本组成正训练样本子集合,其中,N为对L除以M的商向下取整所得的整数,L是该预设人物信息要素标识对应的正训练样本集合中的正样本数量,M是大于等于2小于L的正整数。
在一些实施例中,预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式是通过如下第二训练步骤预先训练得到的:获取训练样本集合,其中,训练样本包括历史接处警文本和标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各预设人物信息要素;对于预设人物信息要素标识集合中的每个预设人物信息要素标识,执行以下第二正则表达式确定操作:将各训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合;基于该预设人物信息要素标识对应的正训练样本集合,生成与该预设人物信息要素标识对应的正则表达式。
在一些实施例中,预设人物信息要素标识集合包括以下至少一项:身份证号码、手机号码、银行卡号码、信用卡号码、邮箱地址、网页地址。
第三方面,本公开实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被一个或多个处理器执行时实现如第一方面中任一实现方式描述的方法。
现有技术中一般是通过人工对接处警文本提取人物信息要素,可能存在以下问题:(1)历史遗留有大量未曾被提取人物信息要素的接处警文本,以及随着时间的推移接警处警员每天都会录入新的大量接处警文本,导致接处警文本待提取人物信息要素的数据体量太大,人工提取所需的人力和时间成本太高;(2)接处警文本大多采用自然语言描述、表达方式严重口语化且无规则,人工提取人物信息要素难度较高;(3)人物信息要素种类较多,不同种类人物信息要素提取方式不同,依赖于人工经验,即人工提取过程中学习成本较高。
本公开的实施例提供的基于正则表达式接处警文本人物信息要素提取方法和装置,通过将待提取人物信息要素接处警文本与目标人物信息要素标识集合中的各目标人物信息要素标识对应的正则表达式进行匹配,以提取待提取人物信息要素接处警文本中的相应目标人物信息要素,从而有效利用了每个目标人物信息要素对应的正则表达式,实现了对接处警文本自动提取人物信息要素,无需人工操作,降低了对接处警文本进行人物信息要素提取的成本,提高了对接处警文本进行人物信息要素提取的提取速度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的基于正则表达式的接处警文本人物信息要素提取方法的一个实施例的流程图;
图3是根据本公开的第一训练步骤的一个实施例的流程图;
图4是根据本公开的第二训练步骤的一个实施例的流程图;
图5是根据本公开的基于正则表达式的接处警文本人物信息要素提取装置的一个实施例的结构示意图;
图6是适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的基于正则表达式的接处警文本人物信息要素提取方法或基于正则表达式的接处警文本人物信息要素提取装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互,以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用,例如接处警记录类应用、接处警文本人物信息要素提取类应用、网页浏览器应用等。
终端设备101可以是硬件,也可以是软件。当终端设备101为硬件时,可以是具有显示屏并且支持文本输入的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供接处警文本人物信息要素提取服务),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以是提供各种服务的服务器,例如对终端设备101发送的接处警文本提供人物信息要素提取的后台服务器。后台服务器可以对接收到的接处警文本进行分析等处理,并将处理结果(例如人物信息要素)反馈给终端设备。
在一些情况下,本公开实施例所提供的基于正则表达式的接处警文本人物信息要素提取方法可以由终端设备101和服务器103共同执行,例如,“获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合”的步骤可以由终端设备101执行,其余步骤可以由服务器103执行。本公开对此不做限定。相应地,基于正则表达式的接处警文本人物信息要素提取装置也可以分别设置于终端设备101和服务器103中。
在一些情况下,本公开实施例所提供的基于正则表达式的接处警文本人物信息要素提取方法可以由服务器103执行,相应地,基于正则表达式的接处警文本人物信息要素提取装置也可以设置于服务器103中,这时,系统架构100也可以不包括终端设备101。
在一些情况下,本公开实施例所提供的基于正则表达式的接处警文本人物信息要素提取方法可以由终端设备101执行,相应地,基于正则表达式的接处警文本人物信息要素提取装置也可以设置于终端设备101中,这时,系统架构100也可以不包括服务器103。
需要说明的是,服务器103可以是硬件,也可以是软件。当服务器103为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器103为软件时,可以实现成多个软件或软件模块(例如用来提供接处警文本人物信息要素提取服务),也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,其示出了根据本公开的基于正则表达式的接处警文本人物信息要素提取方法的一个实施例的流程200。该基于正则表达式的接处警文本人物信息要素提取方法,包括以下步骤:
步骤201,获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合。
在本实施例中,基于正则表达式的接处警文本人物信息要素提取方法的执行主体(例如,图1所示的服务器)可以获取本地存储的待提取人物信息要素接处警文本以及目标人物信息要素标识集合,或者上述执行主体也可以远程地从与上述执行主体网络连接的其他电子设备(例如,图1所示的终端设备)获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合。
这里,待提取人物信息要素接处警文本可以是接警员根据接警电话的内容整理的文本数据或者处警员根据处警过程整理的文本数据。待提取人物信息要素接处警文本也可以是从终端设备接收的用户在终端设备上安装的报警类应用或者具备报警功能的网页中输入的报警文本。
这里,目标人物信息要素标识集合用于指示将要从待提取人物信息要素接处警文本中提取的各人物信息要素,并且目标人物信息要素标识集合中各目标人物信息要素标识均属于预设人物信息要素标识集合。
在一些可选的实现方式中,预设人物信息要素标识集合可以是由技术人员根据接处警文本中可能出现的人物信息要素以及各人物信息要素对于案件分析与关联的重要程度而人工制定的。
在一些可选的实现方式中,预设人物信息要素标识集合可以包括以下至少一项:身份证号码、手机号码、银行卡号码、信用卡号码、邮箱地址、网页地址。
步骤202,将待提取人物信息要素接处警文本与目标人物信息要素标识集合中的各目标人物信息要素标识对应的正则表达式进行匹配,以提取待提取人物信息要素接处警文本中的相应目标人物信息要素。
在本实施例中,正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。给定一个正则表达式和另一个字符串可以确定给定的字符串是否匹配正则表达式的过滤逻辑,并且通过给定一个正则表达式可以从字符串中获取想要提取的特定部分。因此,上述执行主体(例如,图1所示的服务器)可以对于目标人物信息要素标识集合中的每个目标人物信息要素标识,将待提取人物信息要素接处警文本与该目标人物信息要素标识对应的正则表达式进行匹配,以提取待提取人物信息要素接处警文本中的相应目标人物信息要素。而如何确定一个正则表达式与另一个字符串是否匹配,以及如何通过一个正则表达式提取其中想要提取的部分是本领域广泛研究和应用的现有技术,在此不再赘述。
在一些可选的实现方式中,预设人物信息要素标识集合中每个预设人物信息要素对应的正则表达式可以是由技术人员基于对大量的包括该预设人物信息要素标识所指示的人物信息要素的历史接处警文本中该预设人物信息要素部分进行统计分析而制定的对字符串操作的、用于提取该预设人物信息要素标识所指示的人物信息要素的逻辑公式。
在一些可选的实现方式中,预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式也可以是通过如图3所示的第一训练步骤预先训练得到的。请参考图3,图3示出了根据本公开的第一训练步骤的一个实施例的流程300。该第一训练步骤的流程300可以包括以下步骤:
步骤301,获取训练样本集合和测试样本集合。
这里,第一训练步骤的执行主体可以与上述基于正则表达式的接处警文本人物信息要素提取方法的执行主体相同。这样,第一训练步骤的执行主体可以在训练得到预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式后,将预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式存储在上述执行主体本地,并在执行上述基于正则表达式的接处警文本人物信息要素提取方法的过程中读取上述训练得到的预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式。
这里,第一训练步骤的执行主体也可以与上述基于正则表达式的接处警文本人物信息要素提取方法的执行主体不同。这样,第一训练步骤的执行主体可以在训练得到预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式后,将预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式发送给上述基于正则表达式的接处警文本人物信息要素提取方法的执行主体。这样,上述基于正则表达式的接处警文本人物信息要素提取方法的执行主体可以在执行上述基于正则表达式的接处警文本人物信息要素提取方法的过程中读取上述从第一训练步骤的执行主体接收到的预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式。
这里,第一训练步骤的执行主体可以首先获取训练样本集合和测试样本集合。其中,训练样本和测试样本均包括历史接处警文本和对应的标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各预设人物信息要素。需要说明的是,实践中,接处警文本中可能包括不止一种预设人物信息要素,因此,训练样本和测试样本中包括的标注人物信息要素信息也可以是至少一个。
这里,标注人物信息要素信息可以包括预设人物信息要素标识以及起始位置和终止位置,用于表征在该训练样本中的历史接处警文本的起始位置和终止位置之间的内容为预设人物信息要素标识所指示的人物信息要素。为便于理解,下面举例说明。比如训练样本可以包括历史接处警文本“接到甲报警称,甲,身份证号码XXXXXXXXXXXXXXXXXX,向乙的银行卡号YYYYYYYYYYYYYYYY转账8000元,经查系电信诈骗”,上述历史接处警文本可以对应有两条标注人物信息要素信息,其中一条为:预设人物信息要素标识-身份证号码,起始位置-29(注,这里按照一个汉字以及中文标点符号占用两个字符,数字以及英文字母占用一个字符记),终止位置-46;另外一条为:预设人物信息要素标识-银行卡号码,起始位置-63,终止位置-74。上述两条标注人物信息要素信息用于表征在历史接处警文本“接到甲报警称,甲,身份证号码XXXXXXXXXXXXXXXXXX,向乙的银行卡号YYYYYYYYYYYYYYYY转账8000元,经查系电信诈骗”中第29个字符到第46个字符之间是身份证号码,第63个字符到第74个字符之间是银行卡号码。
这里,训练样本和测试样本中的标注人物信息要素信息可以是由人工对相应的历史接处警文本进行标注得到的。
实践中,为了提高训练得到的预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式对预设人物信息要素的匹配度,这里所获取的训练样本和测试样本中的历史接处警文本可以不包括无效接处警文本。例如,有的接处警文本中不包括任何人物信息要素,没有实际提取要素的价值,这样的接处警文本可以被认为是无效接处警文本。
在一些可选的实现方式中,对于预设人物信息要素标识集合中的每个预设人物信息要素标识,训练样本集合中与该预设人物信息要素标识对应的正样本数量和负样本数量的比值可以在第一预设比例范围内,即,不能正样本太多负样本太少,或者也不能负样本太多而正样本太少。作为示例,第一预设比例范围可以是在大于等于0.6且小于等于1.6之间。其中,训练样本集合中与该预设人物信息要素标识对应的正样本为训练样本集合的各训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本,相应的,与该预设人物信息要素标识对应的负样本为训练样本集合的各训练样本中标注人物信息要素信息不包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本。
在一些可选的实现方式中,对于预设人物信息要素标识集合中的每个预设人物信息要素标识,测试样本集合中与该预设人物信息要素标识对应的正样本数量和负样本数量的比值可以在第二预设比例范围内,即,不能正样本太多负样本太少,或者也不能负样本太多而正样本太少。作为示例,第二预设比例范围可以是在大于等于0.6且小于等于1.6之间。其中,测试样本集合中与该预设人物信息要素标识对应的正样本为测试样本集合的各测试样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的测试样本,相应的,与该预设人物信息要素标识对应的负样本为测试样本集合的各测试样本中标注人物信息要素信息不包括该预设人物信息要素标识所指示的预设人物信息要素的测试样本。
在一些可选的实现方式中,预设人物信息要素标识集合中的每个预设人物信息要素标识,训练样本集合中与该预设人物信息要素标识对应的正样本数量和测试样本集合中与该预设人物信息要素标识对应的正样本数量之间的比例可以在第三预设比例范围内。这里,一般而言,训练样本集合中与该预设人物信息要素标识对应的正样本数量要多于测试样本集合中与该预设人物信息要素标识对应的正样本数量,因为大量的正样本用于训练而少量正样本用于测试是符合可以更大程度减少所需样本总数,进而减少对训练样本和测试样本进行标注的人工成本。
步骤302,对于预设人物信息要素标识集合中的每个预设人物信息要素标识,执行第一正则表达式确定操作。
这里,第一正则表达式确定操作可以包括以下步骤3021到步骤3025:
步骤3021,将各训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合。
为了便于理解,这里假设预设人物信息要素标识集合包括{“身份证号码”,“银行卡号”,“手机号码”},以及假设训练样本集合如表1所示。其中,示出了训练样本的样本编号以及对应的标注人物信息要素信息,但省略了历史接处警文本的具体内容。从表1中可以看出,训练样本集合中“身份证号码”这个预设人物信息要素标识对应的正训练样本集合可以包括:样本1、样本2、样本4和样本6,训练样本集合中“银行卡号”这个预设人物信息要素标识对应的正训练样本集合可以包括:样本1、样本2、样本3和样本7,而训练样本集合中“手机号码”这个预设人物信息要素标识对应的正训练样本集合可以包括:样本1、样本3、样本4和样本5。
表1
步骤3022,在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合。
在步骤3021中得到了该预设人物信息要素标识对应的正训练样本集合之后,第一训练步骤的执行主体可以在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合。这里目标数目可以是预先设定的,目标数目也可以经由上述执行主体中提供的界面接收用户输入而确定。
在一些可选的实现方式中,步骤3022可以如下执行:
执行目标数目次正训练样本子集合生成操作以生成目标数目个正训练样本子集合。其中,正训练样本子集合生成操作包括:在该预设人物信息要素标识对应的正训练样本集合中随机选取N个正训练样本组成正训练样本子集合,其中,N为对L除以M的商向下取整所得的整数,L是该预设人物信息要素标识对应的正训练样本集合中的正样本数量,M是大于等于2小于L的预设正整数。举例说明,比如,该预设人物信息要素标识对应的正训练样本集合中包括100个正训练样本,目标数目为3,M为2,L即100,N为100除以2的商向下取整的正整数50,这里执行3次以下操作:从该包括100个正训练样本的正训练样本集合中随机选取50个正训练样本组成正训练样本子集合,最终会得到3个正训练样本子集合,每个正训练样本子集合包括50个正训练样本。
在一些可选的实现方式中,步骤3022也可以如下执行:
将该预设人物信息要素标识对应的正训练样本集合分成目标数目个正训练样本子集合,其中,每个子集合中正训练样本的数目尽量接近。具体而言,设该预设人物信息要素标识对应的正训练样本集合包括L个正训练样本,目标数目为T,Q为对L除以T的商向下取整所得的正整数,R为L除以T的余数,那么当R为零的时候,可以将该预设人物信息要素标识对应的正训练样本集合平均分成T个正训练样本子集合,每个正训练样本子集合中的正训练样本数为Q个。当R大于零的时候,可以将该预设人物信息要素标识对应的正训练样本集合平均分成T个正训练样本子集合,其中,T-1个正训练样本子集合包括Q个正训练样本,而另一个正训练样本子集合包括Q+R个正训练样本。
步骤3023,对于目标数目个正训练样本子集合中的每个正训练样本子集合,基于该正训练样本子集合中各正训练样本,生成与该预设人物信息要素标识对应的候选正则表达式。
经过步骤3022,已经从该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成了目标数目个正训练样本子集合。这里,第一训练步骤的执行主体可以对于上述所生成的目标数目个正训练样本子集合中的每个正训练样本子集合,基于该正训练样本子集合中各正训练样本,采用各种实现方式生成与该预设人物信息要素标识对应的候选正则表达式。具体而言,可以首先对于正该训练样本子集合中的每个正训练样本,按照该正训练样本的各标注人物信息要素信息中包括该预设人物信息要素标识的标注人物信息要素信息中的起始位置和终止位置获取该正训练样本的历史接处警文本中的该预设人物信息要素。然后,基于针对该训练样本子集合中的各正训练样本所获取的该预设人物信息要素,生成与该预设人物信息要素标识对应的候选正则表达式。需要说明的是,基于至少一个文本生成正则表达式可以采用各种实现方式。例如,可以将目标重复内容作为正则表达式中的内容,而将目标变化内容在正则表达式中用通配符表示,其中,目标重复内容在至少一个文本中的重复比例大于等于预设比例,目标变化内容在至少一个文本中的重复比例小于上述预设比例。作为示例,针对身份证号码这个预设人物信息要素所生成的正则表达式可以是#################s,其中,#是数字的通配符,而s是数字或者英文字母的通配符,即表示身份证号码这个人物信息要素包括18位,其中前17位为数字,最后一位为数字或者字母。
经过步骤3023,可以生成最多目标数目个与该预设人物信息要素标识对应的候选正则表达式。
步骤3024,基于测试样本集合对所生成的各个候选正则表达式进行测试以确定与每个所生成的候选正则表达式对应的准确率。
具体而言,第一训练步骤的执行主体可以对于步骤3023中所生成的每个候选正则表达式,执行以下准确率确定操作:首先,对于步骤301中所获取的测试样本集合中的每个测试样本,确定该测试样本中的历史接处警文本是否与该候选正则表达式匹配;如果确定匹配,则表明该测试样本中的历史接处警文本包括该预设人物信息要素,再进一步确定该测试样本中的标注人物信息要素信息是否包括该预设人物信息要素标识,如果确定包括则确定该测试样本相对于该候选正则表达式为正样本,如果确定不包括则确定该测试样本相对于该候选正则表达式为负样本。最后,将测试样本集合中相对于该候选正则表达式为正样本的测试样本数目除以测试样本集合中测试样本的总数所得的比值确定为该候选正则表达式对应的准确率。
步骤3025,将所生成的各候选正则表达式中准确率最高的候选正则表达式确定为与该预设人物信息要素标识对应的正则表达式。
在一些可选的实现方式中,预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式还可以是通过如图4所示的第二训练步骤预先训练得到的。请参考图4,图4示出了根据本公开的第二训练步骤的一个实施例的流程400。该第二训练步骤的流程400可以包括以下步骤:
步骤401,获取训练样本集合。
这里,关于第二训练步骤的执行主体具体可参照图3所示的实施例中步骤301中的相关描述,在此不再赘述。另外,关于如何获取训练样本集合以及训练样本的具体描述可以参考图3所示的实施例中步骤301中的相关描述,在此不再赘述。
步骤402,对于预设人物信息要素标识集合中的每个预设人物信息要素标识,执行第二正则表达式确定操作。
这里,第二正则表达式确定操作包括以下步骤4021到步骤4022:
步骤4021,将各训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合。
这里,子步骤4021的具体操作及其所带来的技术效果与图3所示的实施例中步骤3021中的相应描述基本相同,在此不再赘述。
步骤4022,基于该预设人物信息要素标识对应的正训练样本集合,生成与该预设人物信息要素标识对应的正则表达式。
具体而言,第二训练步骤的执行主体可以首先对于该预设人物信息要素标识对应的正训练样本集合中的每个正训练样本,按照该正训练样本的各标注人物信息要素信息中包括该预设人物信息要素标识的标注人物信息要素信息中的起始位置和终止位置获取该正训练样本的历史接处警文本中的该预设人物信息要素。然后,基于针对该预设人物信息要素标识对应的正训练样本集合中的各正训练样本所获取的该预设人物信息要素,生成与该预设人物信息要素标识对应的正则表达式。需要说明的是,基于至少一个文本生成正则表达式可以采用各种实现方式。
按照上述流程400所示的第二训练步骤训练得到的预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式,利用了训练样本集合训练得到正则表达式,可以自动生成预设人物信息要素标识对应的正则表达式,降低了生成预设人物信息要素标识对应的正则表达式的人工成本。而按照上述流程300所示的第一训练步骤训练得到的预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式,利用了训练样本集合训练得到目标数目个候选正则表达式,再利用测试样本集合对所生成的候选正则表达式进行测试,并从中选择准确率最高的候选正则表达式作为预设人物信息要素标识对应的正则表达式,除了可以自动生成预设人物信息要素标识对应的正则表达式以外,还由于经过了测试样本集合的测试,可以提高正则表达式对预设人物信息要素标识的表达匹配度。
本公开的上述实施例提供的方法通过利用每个目标人物信息要素对应的正则表达式,实现了对接处警文本自动提取人物信息要素,无需人工操作,降低了接处警文本进行人物信息要素提取的成本,提高了对接处警文本进行人物信息要素提取的提取速度。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种基于正则表达式的接处警文本人物信息要素提取装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的基于正则表达式的接处警文本人物信息要素提取装置500包括:获取单元501和提取单元502。其中,获取单元501,被配置成获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合,其中,各上述目标人物信息要素标识属于预设人物信息要素标识集合;而提取单元502,被配置成将上述待提取人物信息要素接处警文本与上述目标人物信息要素标识集合中的各目标人物信息要素标识对应的正则表达式进行匹配,以提取上述待提取人物信息要素接处警文本中的相应目标人物信息要素。
在本实施例中,基于正则表达式的接处警文本人物信息要素提取装置500的获取单元501和提取单元502的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201和步骤202的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,上述预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式可以是通过如下第一训练步骤预先训练得到的:获取训练样本集合和测试样本集合,其中,训练样本和测试样本均包括历史接处警文本和标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各上述预设人物信息要素;对于上述预设人物信息要素标识集合中的每个预设人物信息要素标识,执行以下第一正则表达式确定操作:将各上述训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合;在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合;对于目标数目个正训练样本子集合中的每个正训练样本子集合,基于该正训练样本子集合中各正训练样本,生成与该预设人物信息要素标识对应的候选正则表达式;基于上述测试样本集合对所生成的各个候选正则表达式进行测试以确定与每个所生成的候选正则表达式对应的准确率;将所生成的各候选正则表达式中准确率最高的候选正则表达式确定为与该预设人物信息要素标识对应的正则表达式。
在本实施例的一些可选的实现方式中,上述在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合,可以包括:执行上述目标数目次正训练样本子集合生成操作以生成上述目标数目个正训练样本子集合,上述正训练样本子集合生成操作包括:在该预设人物信息要素标识对应的正训练样本集合中随机选取N个正训练样本组成正训练样本子集合,其中,上述N为对L除以M的商向下取整所得的整数,上述L是该预设人物信息要素标识对应的正训练样本集合中的正样本数量,上述M是大于等于2小于上述L的正整数。
在本实施例的一些可选的实现方式中,上述预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式可以是通过如下第二训练步骤预先训练得到的:获取训练样本集合,其中,训练样本包括历史接处警文本和标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各上述预设人物信息要素;对于上述预设人物信息要素标识集合中的每个预设人物信息要素标识,执行以下第二正则表达式确定操作:将各上述训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合;基于该预设人物信息要素标识对应的正训练样本集合,生成与该预设人物信息要素标识对应的正则表达式。
在本实施例的一些可选的实现方式中,上述预设人物信息要素标识集合可以包括以下至少一项:身份证号码、手机号码、银行卡号码、信用卡号码、邮箱地址、网页地址。
需要说明的是,本公开实施例提供的基于正则表达式的接处警文本人物信息要素提取装置中各单元的实现细节和技术效果可以参考本公开中其它实施例的说明,在此不再赘述。
下面参考图6,其示出了适于用来实现本公开实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU,Central Processing Unit)601,其可以根据存储在只读存储器(ROM,Read Only Memory)602中的程序或者从存储部分608加载到随机访问存储器(RAM,Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O,Input/Output)接口605也连接至总线604。
以下部件连接至I/O接口605:包括触控屏、手写板、键盘或鼠标等的输入部分606;包括诸如阴极射线管(CRT,Cathode Ray Tube)、液晶显示器(LCD,Liquid CrystalDisplay)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN(局域网,Local Area Network)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本公开的方法中限定的上述功能。需要说明的是,本公开所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元和提取单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合的单元”。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合,其中,各目标人物信息要素标识属于预设人物信息要素标识集合;将待提取人物信息要素接处警文本与目标人物信息要素标识集合中的各目标人物信息要素标识对应的正则表达式进行匹配,以提取待提取人物信息要素接处警文本中的相应目标人物信息要素。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (12)
1.一种基于正则表达式的接处警文本人物信息要素提取方法,包括:
获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合,其中,各所述目标人物信息要素标识属于预设人物信息要素标识集合;
将所述待提取人物信息要素接处警文本与所述目标人物信息要素标识集合中的各目标人物信息要素标识对应的正则表达式进行匹配,以提取所述待提取人物信息要素接处警文本中的相应目标人物信息要素。
2.根据权利要求1所述的方法,其中,所述预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式是通过如下第一训练步骤预先训练得到的:
获取训练样本集合和测试样本集合,其中,训练样本和测试样本均包括历史接处警文本和标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各所述预设人物信息要素;
对于所述预设人物信息要素标识集合中的每个预设人物信息要素标识,执行以下第一正则表达式确定操作:将各所述训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合;在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合;对于目标数目个正训练样本子集合中的每个正训练样本子集合,基于该正训练样本子集合中各正训练样本,生成与该预设人物信息要素标识对应的候选正则表达式;基于所述测试样本集合对所生成的各个候选正则表达式进行测试以确定与每个所生成的候选正则表达式对应的准确率;将所生成的各候选正则表达式中准确率最高的候选正则表达式确定为与该预设人物信息要素标识对应的正则表达式。
3.根据权利要求2所述的方法,其中,所述在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合,包括:
执行所述目标数目次正训练样本子集合生成操作以生成所述目标数目个正训练样本子集合,所述正训练样本子集合生成操作包括:在该预设人物信息要素标识对应的正训练样本集合中随机选取N个正训练样本组成正训练样本子集合,其中,所述N为对L除以M的商向下取整所得的整数,所述L是该预设人物信息要素标识对应的正训练样本集合中的正样本数量,所述M是大于等于2小于所述L的正整数。
4.根据权利要求1所述的方法,其中,所述预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式是通过如下第二训练步骤预先训练得到的:
获取训练样本集合,其中,训练样本包括历史接处警文本和标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各所述预设人物信息要素;
对于所述预设人物信息要素标识集合中的每个预设人物信息要素标识,执行以下第二正则表达式确定操作:将各所述训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合;基于该预设人物信息要素标识对应的正训练样本集合,生成与该预设人物信息要素标识对应的正则表达式。
5.根据权利要求1-3中任一所述的方法,其中,所述预设人物信息要素标识集合包括以下至少一项:身份证号码、手机号码、银行卡号码、信用卡号码、邮箱地址、网页地址。
6.一种基于正则表达式的接处警文本人物信息要素提取装置,包括:
获取单元,被配置成获取待提取人物信息要素接处警文本以及目标人物信息要素标识集合,其中,各所述目标人物信息要素标识属于预设人物信息要素标识集合;
提取单元,被配置成将所述待提取人物信息要素接处警文本与所述目标人物信息要素标识集合中的各目标人物信息要素标识对应的正则表达式进行匹配,以提取所述待提取人物信息要素接处警文本中的相应目标人物信息要素。
7.根据权利要求6所述的装置,其中,所述预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式是通过如下第一训练步骤预先训练得到的:
获取训练样本集合和测试样本集合,其中,训练样本和测试样本均包括历史接处警文本和标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各所述预设人物信息要素;
对于所述预设人物信息要素标识集合中的每个预设人物信息要素标识,执行以下第一正则表达式确定操作:将各所述训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合;在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合;对于目标数目个正训练样本子集合中的每个正训练样本子集合,基于该正训练样本子集合中各正训练样本,生成与该预设人物信息要素标识对应的候选正则表达式;基于所述测试样本集合对所生成的各个候选正则表达式进行测试以确定与每个所生成的候选正则表达式对应的准确率;将所生成的各候选正则表达式中准确率最高的候选正则表达式确定为与该预设人物信息要素标识对应的正则表达式。
8.根据权利要求7所述的装置,其中,所述在该预设人物信息要素标识对应的正训练样本集合中选取正训练样本组成目标数目个正训练样本子集合,包括:
执行所述目标数目次正训练样本子集合生成操作以生成所述目标数目个正训练样本子集合,所述正训练样本子集合生成操作包括:在该预设人物信息要素标识对应的正训练样本集合中随机选取N个正训练样本组成正训练样本子集合,其中,所述N为对L除以M的商向下取整所得的整数,所述L是该预设人物信息要素标识对应的正训练样本集合中的正样本数量,所述M是大于等于2小于所述L的正整数。
9.根据权利要求6所述的装置,其中,所述预设人物信息要素标识集合中各预设人物信息要素标识对应的正则表达式是通过如下第二训练步骤预先训练得到的:
获取训练样本集合,其中,训练样本包括历史接处警文本和标注人物信息要素信息,其中,标注人物信息要素信息用于表征该历史接处警文本所包括的各所述预设人物信息要素;
对于所述预设人物信息要素标识集合中的每个预设人物信息要素标识,执行以下第二正则表达式确定操作:将各所述训练样本中标注人物信息要素信息包括该预设人物信息要素标识所指示的预设人物信息要素的训练样本确定为该预设人物信息要素标识对应的正训练样本集合;基于该预设人物信息要素标识对应的正训练样本集合,生成与该预设人物信息要素标识对应的正则表达式。
10.根据权利要求6-9中任一所述的装置,其中,所述预设人物信息要素标识集合包括以下至少一项:身份证号码、手机号码、银行卡号码、信用卡号码、邮箱地址、网页地址。
11.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010091315 | 2020-02-13 | ||
CN2020100913157 | 2020-02-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113111231A true CN113111231A (zh) | 2021-07-13 |
Family
ID=76708875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010306934.3A Pending CN113111231A (zh) | 2020-02-13 | 2020-04-17 | 基于正则表达式接处警文本人物信息要素提取方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113111231A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304372A (zh) * | 2017-09-29 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 实体提取方法和装置、计算机设备和存储介质 |
CN109376293A (zh) * | 2018-05-17 | 2019-02-22 | 新华网股份有限公司 | 一种文本信息的过滤方法、装置和电子设备 |
CN109766438A (zh) * | 2018-12-12 | 2019-05-17 | 平安科技(深圳)有限公司 | 简历信息提取方法、装置、计算机设备和存储介质 |
CN109800432A (zh) * | 2019-01-24 | 2019-05-24 | 出门问问信息科技有限公司 | 评估语义理解准确率的方法、装置、存储介质和电子设备 |
CN110020038A (zh) * | 2017-08-01 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 网页信息提取方法、装置、系统及电子设备 |
-
2020
- 2020-04-17 CN CN202010306934.3A patent/CN113111231A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020038A (zh) * | 2017-08-01 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 网页信息提取方法、装置、系统及电子设备 |
CN108304372A (zh) * | 2017-09-29 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 实体提取方法和装置、计算机设备和存储介质 |
CN109376293A (zh) * | 2018-05-17 | 2019-02-22 | 新华网股份有限公司 | 一种文本信息的过滤方法、装置和电子设备 |
CN109766438A (zh) * | 2018-12-12 | 2019-05-17 | 平安科技(深圳)有限公司 | 简历信息提取方法、装置、计算机设备和存储介质 |
CN109800432A (zh) * | 2019-01-24 | 2019-05-24 | 出门问问信息科技有限公司 | 评估语义理解准确率的方法、装置、存储介质和电子设备 |
Non-Patent Citations (1)
Title |
---|
朱文琰 等: "基于正则表达式构建学习的网页信息抽取方法", 《计算机应用与软件》, vol. 34, no. 2, 15 February 2017 (2017-02-15), pages 14 - 19 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10558984B2 (en) | Method, apparatus and server for identifying risky user | |
CN108121699B (zh) | 用于输出信息的方法和装置 | |
CN108228567B (zh) | 用于提取组织机构的简称的方法和装置 | |
CN113657113A (zh) | 文本处理方法、装置和电子设备 | |
CN109190123B (zh) | 用于输出信息的方法和装置 | |
CN111368551A (zh) | 一种确定事件主体的方法和装置 | |
US20230005283A1 (en) | Information extraction method and apparatus, electronic device and readable storage medium | |
CN110738056B (zh) | 用于生成信息的方法和装置 | |
CN107885872B (zh) | 用于生成信息的方法和装置 | |
CN110634050A (zh) | 一种鉴别房源类型的方法、装置、电子设备及存储介质 | |
CN113111233B (zh) | 基于正则表达式的接处警文本居住地地址提取方法和装置 | |
CN113590756A (zh) | 信息序列生成方法、装置、终端设备和计算机可读介质 | |
CN113111167A (zh) | 基于深度学习模型的接处警文本车辆型号提取方法和装置 | |
CN114840634B (zh) | 信息存储方法、装置、电子设备和计算机可读介质 | |
CN113111230B (zh) | 基于正则表达式的接处警文本户籍地地址提取方法和装置 | |
CN113111231A (zh) | 基于正则表达式接处警文本人物信息要素提取方法和装置 | |
CN113111229B (zh) | 基于正则表达式的接处警文本轨迹地地址提取方法和装置 | |
CN113111169A (zh) | 基于深度学习模型的接处警文本地址信息提取方法和装置 | |
CN113111234A (zh) | 基于正则表达式的处警警情类别确定方法和装置 | |
CN114066603A (zh) | 贷后风险预警方法、装置、电子设备和计算机可读介质 | |
CN113111228A (zh) | 基于正则表达式的接处警文本车牌号码提取方法和装置 | |
CN113111232A (zh) | 基于正则表达式的接处警文本地址提取方法和装置 | |
CN111626052A (zh) | 基于哈希词典的接处警文本物品名称提取方法和装置 | |
CN113111165A (zh) | 基于深度学习模型的接警警情类别确定方法和装置 | |
CN111079185A (zh) | 数据库信息处理的方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |