CN110457436B - 信息标注方法、装置、计算机可读存储介质及电子设备 - Google Patents

信息标注方法、装置、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
CN110457436B
CN110457436B CN201910693851.1A CN201910693851A CN110457436B CN 110457436 B CN110457436 B CN 110457436B CN 201910693851 A CN201910693851 A CN 201910693851A CN 110457436 B CN110457436 B CN 110457436B
Authority
CN
China
Prior art keywords
text information
information
target
target text
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910693851.1A
Other languages
English (en)
Other versions
CN110457436A (zh
Inventor
郑孙聪
周博通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910693851.1A priority Critical patent/CN110457436B/zh
Publication of CN110457436A publication Critical patent/CN110457436A/zh
Application granted granted Critical
Publication of CN110457436B publication Critical patent/CN110457436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供一种信息标注方法、信息标注装置、计算机可读存储介质及电子设备;涉及计算机技术领域。该信息标注方法包括:根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息;从第二文本信息库中确定出包括第一文本信息的第一目标文本信息,并从第二文本信息库中随机确定出第二目标文本信息;根据第二文本信息库确定出与第二文本信息相对应的第三目标文本信息;根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,根据类型对第三目标文本信息进行信息标注。本公开中的信息标注方法能够一定程度上克服人工标注训练数据效率较低的问题,提升对于信息标注的效率。

Description

信息标注方法、装置、计算机可读存储介质及电子设备
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种信息标注方法、信息标注装置、计算机可读存储介质及电子设备。
背景技术
命名实体识别(Named Entity Recognition,NER),是用于信息提取、问答系统、句法分析以及机器翻译等领域的基础工具,在自然语言处理技术走向实用化的过程中占有重要地位。一般来说,命名实体识别的任务就是识别出待处理文本中三大类:实体类、时间类和数字类,以及七小类:人名、机构名、地名、时间、日期、货币和百分比。
在通常情况下,需要通过人工标注的方法对大量的NER训练数据进行标注,以使得用于训练NER的该训练数据能够覆盖更为多样化的表述场景。但是,通过人工标注的方式标注训练数据会存在效率较低的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种信息标注方法、信息标注装置、计算机可读存储介质及电子设备,在一定程度上克服人工标注训练数据效率较低的问题,其中,训练数据的表现形式可以为文本信息,因此,通过本公开的实施例能够提升对于信息标注的效率。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种信息标注方法,包括:
根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息;
从第二文本信息库中确定出包括第一文本信息的第一目标文本信息,并从第二文本信息库中随机确定出第二目标文本信息;
根据第二文本信息库确定出与第二文本信息相对应的第三目标文本信息;
根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,根据类型对第三目标文本信息进行信息标注。
在本公开的一种示例性实施例中,根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息,包括:
计算文本信息集中各信息对应的特征向量,并计算第一文本信息库中各信息的特征向量与文本信息集中各信息的特征向量之间的向量距离;
根据向量距离确定文本信息集中各信息对应的特定文本信息;其中,特定文本信息与对应的文本信息集中的信息之间的向量距离小于预设距离,第一文本信息库包括特定文本信息;
根据文本信息集中各信息对应的特定文本信息将文本信息集中各信息划分为第一文本信息和第二文本信息。
在本公开的一种示例性实施例中,文本信息集中各信息分别对应多个特定文本信息,根据文本信息集中各信息对应的特定文本信息将文本信息集中各信息划分为第一文本信息和第二文本信息,包括:
若特定文本信息中存在超过预设比例的信息与文本信息集中信息的类型相同,则将特定文本信息对应的文本信息集中的信息确定为第一文本信息;
若特定文本信息中不存在超过预设比例的信息与文本信息集中信息的类型相同,则将特定文本信息对应的文本信息集中的信息确定为第二文本信息。
在本公开的一种示例性实施例中,根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,包括:
将第一目标文本信息中包括的第一文本信息替换为预设字符,以及将第二目标文本信息中任一与文本信息集无交集的字段替换为预设字符;
通过预设字符替换后的第一目标文本信息和第二目标文本信息对二分类判别模型进行训练;
根据训练后的二分类判别模型确定第三目标文本信息对应的类型。
在本公开的一种示例性实施例中,根据训练后的二分类判别模型确定第三目标文本信息对应的类型,包括:
根据预设字符替换后的第一目标文本信息和第二目标文本信息更新第二文本信息库;其中,更新后的第二文本信息库包括第三目标文本信息,第三目标文本信息中包括预设字符;
根据第二文本信息替换第三目标文本信息中的预设字符;
根据训练后的二分类判别模型确定替换预设字符后的第三目标文本信息中的第二文本信息对应的类型。
在本公开的一种示例性实施例中,根据类型对第三目标文本信息进行信息标注,包括:
若确定出第三目标文本信息中的第二文本信息与文本信息集中的第二文本信息的类型相同,则根据类型对第三目标文本信息中的第二文本信息进行标注。
在本公开的一种示例性实施例中,该信息标注方法还包括:
通过信息标注后的第三目标文本信息对命名实体识别模型进行训练。
根据本公开的第二方面,提供一种信息标注装置,包括信息比对单元、信息比对单元以及信息标注单元,其中:
信息比对单元,用于根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息;
信息确定单元,用于从第二文本信息库中确定出包括第一文本信息的第一目标文本信息,并从第二文本信息库中随机确定出第二目标文本信息;
信息确定单元,还用于根据第二文本信息库确定出与第二文本信息相对应的第三目标文本信息;
信息标注单元,用于在根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,根据类型对第三目标文本信息进行信息标注。
在本公开的一种示例性实施例中,信息比对单元根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息的方式具体为:
信息比对单元计算文本信息集中各信息对应的特征向量,并计算第一文本信息库中各信息的特征向量与文本信息集中各信息的特征向量之间的向量距离;
信息比对单元根据向量距离确定所述文本信息集中各信息对应的特定文本信息;其中,特定文本信息与对应的文本信息集中的信息之间的向量距离小于预设距离,第一文本信息库包括特定文本信息;
信息比对单元根据文本信息集中各信息对应的特定文本信息将文本信息集中各信息划分为第一文本信息和第二文本信息。
在本公开的一种示例性实施例中,文本信息集中各信息分别对应多个特定文本信息,信息比对单元根据文本信息集中各信息对应的特定文本信息将文本信息集中各信息划分为第一文本信息和第二文本信息的方式具体为:
若特定文本信息中存在超过预设比例的信息与文本信息集中信息的类型相同,信息比对单元将特定文本信息对应的文本信息集中的信息确定为第一文本信息;
若特定文本信息中不存在超过预设比例的信息与文本信息集中信息的类型相同,信息比对单元将特定文本信息对应的文本信息集中的信息确定为第二文本信息。
在本公开的一种示例性实施例中,信息标注单元根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型的方式具体为:
信息标注单元将第一目标文本信息中包括的第一文本信息替换为预设字符,以及将第二目标文本信息中任一与文本信息集无交集的字段替换为预设字符;
信息标注单元通过预设字符替换后的第一目标文本信息和第二目标文本信息对二分类判别模型进行训练;
信息标注单元根据训练后的二分类判别模型确定第三目标文本信息对应的类型。
在本公开的一种示例性实施例中,信息标注单元根据训练后的二分类判别模型确定第三目标文本信息对应的类型的方式具体为:
信息标注单元根据预设字符替换后的第一目标文本信息和第二目标文本信息更新第二文本信息库;其中,更新后的第二文本信息库包括第三目标文本信息,第三目标文本信息中包括预设字符;
信息标注单元根据第二文本信息替换第三目标文本信息中的预设字符;
信息标注单元根据训练后的二分类判别模型确定替换预设字符后的第三目标文本信息中的第二文本信息对应的类型。
在本公开的一种示例性实施例中,信息标注单元根据类型对第三目标文本信息进行信息标注的方式具体为:
若确定出第三目标文本信息中的第二文本信息与文本信息集中的第二文本信息的类型相同,信息标注单元根据类型对第三目标文本信息中的第二文本信息进行标注。
在本公开的一种示例性实施例中,该信息标注装置还可以包括模型训练单元,其中:
模型训练单元,用于通过信息标注后的第三目标文本信息对命名实体识别模型进行训练。
根据本公开的第三方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果:
在本公开的一示例实施方式所提供的信息标注方法中,根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息(如,无歧义的文本信息)和第二文本信息(如,有歧义的文本信息),其中,第一文本信息库中的信息可以理解为预先存储的文本信息,文本信息集可以理解为需要进行处理的信息;进而,可以从第二文本信息库中确定出包括第一文本信息的第一目标文本信息,并从第二文本信息库中随机确定出第二目标文本信息;进而,可以根据第二文本信息库确定出与第二文本信息相对应的第三目标文本信息;进而,可以根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,根据类型对第三目标文本信息进行信息标注。依据上述方案描述,本公开一方面能够在一定程度上克服人工标注训练数据效率较低的问题,其中,训练数据的表现形式可以为文本信息,因此,通过本公开的实施例能够提升对于信息标注的效率;另一方面能够通过自动信息标注降低人工成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的一种信息标注方法及信息标注装置的示例性系统架构的示意图;
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图;
图3示意性示出了根据本公开的一个实施例的信息标注方法的流程图;
图4示意性示出了根据本公开的另一个实施例的信息标注方法的流程图;
图5示意性示出了根据本公开的一个实施例中的信息标注装置的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种信息标注方法及装置的示例性应用环境的系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、102、103中的一个或多个,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备,包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的信息标注方法一般由服务器105执行,相应地,信息标注装置一般设置于服务器105中。但本领域技术人员容易理解的是,本公开实施例所提供的信息标注方法也可以由终端设备101、102、103执行,相应的,信息标注装置也可以设置于终端设备101、102、103中,本示例性实施例中对此不做特殊限定。举例而言,在一种示例性实施例中,服务器105可以根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息;以及,可以从第二文本信息库中确定出包括第一文本信息的第一目标文本信息,并从第二文本信息库中随机确定出第二目标文本信息;以及,可以根据第二文本信息库确定出与第二文本信息相对应的第三目标文本信息;以及,可以根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,根据类型对第三目标文本信息进行信息标注。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图2示出的电子设备的计算机系统200仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示,计算机系统200包括中央处理单元(CPU)201,其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中,还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205:包括键盘、鼠标等的输入部分206;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207;包括硬盘等的存储部分208;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器210上,以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地,根据本公开的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分209从网络上被下载和安装,和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时,执行本申请的方法和装置中限定的各种功能。在一些实施例中,计算机系统200还可以包括AI(ArtificialIntelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。例如,所述的电子设备可以实现如图3和图4所示的各个步骤等。
以下对本公开实施例的技术方案进行详细阐述:
目前,构建NER模型的训练数据方法主要以人工标注为主,给定一句话,标注人员可以将句子中的人名,地名,机构名等实体信息标注出来。除了人工标注之外,还存在一些自动标注的方法,例如,利用人名词典直接与句进行匹配,如果句中包含词典中的词语,那么,则将句中的这个词语标注上人名的标签。
申请人考虑到人工标注方法准确率较高,但是其标注成本也较高,因此,难以利用人工标注的方式标注大量的NER训练数据,而少量的训练数据又难以覆盖多样化的表述场景,故,需要一种自动标注的方式来生成大规模的NER训练数据。
此外,申请人又考虑到上述的利用词典自动回标的方法虽然可以得到大量的训练数据,但是这种直接匹配的方式会引入大量的噪声数据,进而影响NER的效果。例如:利用人名“文章”去回标句子,我们可能得到如下的结果:
句子1:文章参演了这部电视剧。
句子2:我写了一篇文章。
句子3:这篇文章并没有提到这件事。
在上述示例中,除了句子1中的“文章”是人名以外,其他的句子中匹配到的“文章”都是和人名无关的噪声数据,也可以理解为错误样本,将上述结果作为训练数据会影响NER的识别效果。
基于上述一个或多个问题,申请人提供了一种信息标注方法。该信息标注方法可以应用于上述服务器105,也可以应用于上述终端设备101、102、103中的一个或多个,本示例性实施例中对此不做特殊限定。参考图3所示,该信息标注方法可以包括以下步骤S310至步骤S340:
步骤S310:根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息。
步骤S320:从第二文本信息库中确定出包括第一文本信息的第一目标文本信息,并从第二文本信息库中随机确定出第二目标文本信息。
步骤S330:根据第二文本信息库确定出与第二文本信息相对应的第三目标文本信息。
步骤S340:根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,根据类型对第三目标文本信息进行信息标注。
在本公开的一示例实施方式所提供的信息标注方法中,根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息(如,无歧义的文本信息)和第二文本信息(如,有歧义的文本信息),其中,第一文本信息库中的信息可以理解为预先存储的文本信息,文本信息集可以理解为需要进行处理的信息;进而,可以从第二文本信息库中确定出包括第一文本信息的第一目标文本信息,并从第二文本信息库中随机确定出第二目标文本信息;进而,可以根据第二文本信息库确定出与第二文本信息相对应的第三目标文本信息;进而,可以根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,根据类型对第三目标文本信息进行信息标注。依据上述方案描述,本公开一方面能够在一定程度上克服人工标注训练数据效率较低的问题,其中,训练数据的表现形式可以为文本信息,因此,通过本公开的实施例能够提升对于信息标注的效率;另一方面能够通过自动信息标注降低人工成本。
下面,对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S310中,根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息。
本示例实施方式中,第一文本信息库可以为存储了大量实体的数据库;其中,实体可以为人名(如,贝多芬)、地名(如,巴塞罗那)、机构名(如,中央机构编制委员会办公室)和专有名词(如,外交部)等,本公开的实施例不作限定。此外,第一文本信息库中的文本信息数量大于文本信息集中的文本信息数量。
本示例实施方式中,文本信息库集可以为多个文本信息的集合,该集合中的文本信息可以为同一类型的信息,如,集合内的文本信息可以均为人名;该集合中的文本信息也可以为多类型的信息,如,集合中可以包括人名类型的文本信息和机构名类型的文本信息,本公开的实施例不作限定。
本示例实施方式中,第一文本信息可以理解为无歧义的文本信息,第二文本信息可以理解为有歧义的文本信息。上述的将文本信息集中的信息划分为第一文本信息和第二文本信息,可以理解为,将文本信息集中的信息划分为无歧义的文本信息和有歧义的文本信息。举例来说,如果按照人名对文本信息集中的信息进行划分,且该文本信息集中的文本信息均为人名类型的信息,那么,人名“李建国”、“李爱国”以及“李寻欢”可以被划分为无歧义的文本信息,而人名“文章”、“户口”和“白雪”则会被划分为有歧义的文本信息,由于人名“文章”、“户口”和“白雪”不仅可以作为人名也可以作为专有名词,因此,在检索到与“文章”、“户口”和“白雪”相关的句子时,这些词汇在句中代表的含义并不一定为人名,而在检索人名“李建国”、“李爱国”以及“李寻欢”相关的句子时则大概率不会存在上述问题,故,可以将人名“李建国”、“李爱国”以及“李寻欢”划分为无歧义的文本信息。
另外,如果按照人名和地名对文本信息集中的信息进行划分,且该文本信息集中包括人名类型的文本信息和地名类型的文本信息。那么,人名“李建国”和地名“巴塞罗那”可以被划分为无歧义的文本信息,而人名“文章”和地名“富裕”可以被划分为有歧义的文本信息,由于人名“文章”和地名“富裕”不仅可以作为人名也可以作为专有名词,因此,在检索到与“文章”和“富裕”相关的句子时,这些词汇在句中代表的含义并不一定为人名,而在检索人名“李建国”和“巴塞罗那”相关的句子时则大概率不会存在上述问题,故,可以将人名“李建国”和地名“巴塞罗那”划分为无歧义的文本信息。
本示例实施方式中,文本信息集中至少包括第一文本信息和第二文本信息两种信息。
本示例实施方式中,根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息的方式具体可以为:
首先,若文本信息集中的信息包含的字符数量小于预设数量,则将该信息划分为第二文本信息,否则进行下一步骤;若文本信息集中的信息被第一文本信息库中至少N个文本信息包含,则将该信息划分为第二文本信息;进而,根据第一文本信息库与文本信息集的比对,将文本信息集中剩余的信息划分为第一文本信息和第二文本信息。其中,N为正整数。
本示例实施方式中,可选的,根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息,可以包括以下步骤:
计算文本信息集中各信息对应的特征向量,并计算第一文本信息库中各信息的特征向量与文本信息集中各信息的特征向量之间的向量距离;
根据向量距离确定文本信息集中各信息对应的特定文本信息;其中,特定文本信息与对应的文本信息集中的信息之间的向量距离小于预设距离,第一文本信息库包括特定文本信息;
根据文本信息集中各信息对应的特定文本信息将文本信息集中各信息划分为第一文本信息和第二文本信息。
进一步地,文本信息集中各信息分别对应多个特定文本信息,根据文本信息集中各信息对应的特定文本信息将文本信息集中各信息划分为第一文本信息和第二文本信息,可以包括以下步骤:
若特定文本信息中存在超过预设比例的信息与文本信息集中信息的类型相同,则将特定文本信息对应的文本信息集中的信息确定为第一文本信息;
若特定文本信息中不存在超过预设比例的信息与文本信息集中信息的类型相同,则将特定文本信息对应的文本信息集中的信息确定为第二文本信息。
本示例实施方式中,特征向量可以为词向量。计算文本信息集中各信息对应的特征向量的方式具体可以为:通过Word2vec(Word to vector)、FastText或Glove(GlobalVectors for Word Representation)计算文本信息集中各信息对应的词向量,本公开的实施例不作限定。
其中,词向量(Word embedding),也可以为Word嵌入式自然语言处理(NLP)中的一组语言建模和特征学习技术的统称,用于将来自词汇表的单词或短语映射为实数的向量。从概念上讲,它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。
另外,Word2vec是词的一种表示,它将词以固定维数的向量表示出来。具体地,Word2vec可以充分利用上下文信息,对上下文进行训练,每个词不再只是一个位置1,其余位置都为0的稀疏向量,Word2vec可以是一个稠密的固定维数的向量。
另外,FastText是一种高效的文本分类和表示工具,其最大的特点是模型简单,仅存在一层隐藏层和一层输出层,因此训练速度较快,在普通的CPU上可以实现分钟级别的训练。
另外,Glove是一个基于全局词频统计的词表征工具。它可以把一个单词表达成一个由实数组成的向量,这些向量可以捕捉到单词之间一些语义特性,比如相似性、类比性等。我们通过对向量的运算,例如,对欧几里得距离或者余弦相似度的计算,可以确定出两个词之间的语义相似度。
本示例实施方式中,计算第一文本信息库中各信息的特征向量与文本信息集中各信息的特征向量之间的向量距离,可以理解为确定出每个第一文本信息库中的信息与每个文本信息集中的信息之间的语义相似度,其中,向量距离可以用于表征语义相似度。
举例来说,若第一文本信息库中存在5个信息,文本信息集中存在3个信息,分别计算5个信息和3个信息间的向量距离,最终可以得到15个向量距离。此外,上述的向量距离可以为余弦距离也可以为欧式距离,本公开的实施例不作限定。
本示例实施方式中,特定文本信息可以为与该信息的向量距离短于预设距离的至少一个文本信息;其中,上述的该信息为文本信息集中的信息。
本示例实施方式中,根据向量距离确定文本信息集中各信息对应的特定文本信息的方式具体可以为:按照向量距离由高到低的顺序确定所述文本信息集中各信息对应的特定文本信息,特定文本信息可以为前N名的信息,其中,N为正整数,且N小于排名结果中所有信息的数量。举例来说,如果文本信息集中的某个信息为“李建国”,那么,从第一文本信息库中确定出的与“李建国”的向量距离小于预设距离的特定文本信息可以有“李爱国”、“李建军”、“李建设”以及“李卫国”等与“李建国”语义相似的文本信息。
本示例实施方式中,上述的第一文本信息库包括特定文本信息,可以理解为,特定文本信息是从第一文本信息库中确定出的。
本示例实施方式中,若特定文本信息中存在超过预设比例(如,70%)的信息与文本信息集中信息的类型(如,人名类型)相同,则将特定文本信息对应的文本信息集中的信息确定为第一文本信息。举例来说,若人名“李建国”对应的多个特定文本信息的数量为10个,其中有7个文本信息的类型与文本信息集中信息的类型相同,即,人名类型,那么,则可以认为“李建国”属于无歧义的文本信息,即表述为上述的,将特定文本信息对应的文本信息集中的信息确定为第一文本信息。同理,若人名“文章”对应的多个特定文本信息的数量为10个,其中有7个文本信息的类型与文本信息集中信息的类型不相同,那么,则可以认为“文章”属于有歧义的文本信息,即表述为上述的,将特定文本信息对应的文本信息集中的信息确定为第二文本信息。
可见,实施该可选的实施方式,能够通过确定与文本信息集中信息对应的特定文本信息(即,语义相似的信息)所属的类型,从而确定出文本信息集中的该信息是否存在歧义,根据上述方法分类得到的第一文本信息(即,无歧义的文本信息)和第二文本信息(即,有歧义的文本信息)准确性更高,进而有利于二分类判别模型对于存在歧义的信息的判别。
在步骤S320中,从第二文本信息库中确定出包括第一文本信息的第一目标文本信息,并从第二文本信息库中随机确定出第二目标文本信息。
本示例实施方式中,第二文本信息库可以为存储了大量句子的数据库。第一目标文本信息可以理解为包含第一文本信息的句子。举例来说,第一文本信息为“李建国”,第一目标文本信息为“李建国是个演员”。此外,第二目标文本信息可以理解为第二文本信息库中任一文本信息,可以理解为任一句子。特别地,第二目标文本信息可以与第一目标文本信息相同,也可以与第一目标文本信息不同,本公开的实施例不作限定。另外,需要说明的是,第一目标文本信息和第二目标文本信息均可以为至少一个。
在步骤S330中,根据第二文本信息库确定出与第二文本信息相对应的第三目标文本信息。
本示例实施方式中,第三目标文本信息中包括预设字符,预设字符可以为通配符,通配符是一种通用表示字符,例如,通配符可以用于表示人名,如果第三目标文本信息中存在用于表示人名的通配符,那么,该通配符可以被其他人名替换。举例来说,若第三目标文本信息为“<PER>是一个好人”,其中的<PER>为通配符,那么,<PER>可以被“李爱国”、“李建军”、“李建设”以及“李卫国”等人名代替,其中,第二文本信息可以为“李爱国”、“李建军”、“李建设”以及“李卫国”等人名。
本示例实施方式中,根据第二文本信息库确定出与第二文本信息相对应的第三目标文本信息,可以理解为,若第三目标文本信息中存在可以使用第二文本信息替换的通配符,则可以认为第三目标文本信息与第二文本信息相对应。
在步骤S340中,根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,根据类型对第三目标文本信息进行信息标注。
本示例实施方式中,第三目标文本信息对应的类型至少可以包括人名类型、地名类型、机构名类型和专有名词类型,本公开的实施例不作限定。其中,根据类型对第三目标文本信息进行信息标注,可以理解为,如果第三目标文本信息为人名类型,则将第三目标文本信息中的人名部分使用不同的标识符进行标注。同理,如果第三目标文本信息为地名类型/机构名类型/专有名词类型,则将第三目标文本信息中的地名类型/机构名类型/专有名词类型部分使用不同的标识符进行标注。
本示例实施方式中,可选的,根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,可以包括以下步骤:
将第一目标文本信息中包括的第一文本信息替换为预设字符,以及将第二目标文本信息中任一与文本信息集无交集的字段替换为预设字符;
通过预设字符替换后的第一目标文本信息和第二目标文本信息对二分类判别模型进行训练;
根据训练后的二分类判别模型确定第三目标文本信息对应的类型。
进一步地,根据训练后的二分类判别模型确定第三目标文本信息对应的类型,可以包括以下步骤:
根据预设字符替换后的第一目标文本信息和第二目标文本信息更新第二文本信息库;其中,更新后的第二文本信息库包括第三目标文本信息,第三目标文本信息中包括预设字符;
根据第二文本信息替换第三目标文本信息中的预设字符;
根据训练后的二分类判别模型确定替换预设字符后的第三目标文本信息中的第二文本信息对应的类型。
举例来说,第一目标文本信息中包括的第一文本信息替换为预设字符,可以理解为:当第一文本信息为“李建国”第一目标文本信息为“李建国是个好人”预设字符为“<PER>”时,将“李建国是个好人”中的“李建国”替换为“<PER>”,替换后的第一目标文本信息为“<PER>是个好人”;其中,第一文本信息为人名类型的文本信息,预设字符是用于表示人名类型文本信息的字符。
举例来说,将第二目标文本信息中任一与文本信息集无交集的字段替换为预设字符,可以理解为:当文本信息集中的文本信息均为人名类型,且第二文本信息为“李建国”第二目标文本信息为“李建国是个好人”预设字符为“<PER>”时,将“李建国是个好人”中的“好人”替换为“<PER>”,替换后的第一目标文本信息为“李建国是个<PER>”;此时,预设字符为用于表示非人名类型文本信息的字符。
举例来说,通过预设字符替换后的第一目标文本信息和第二目标文本信息对二分类判别模型进行训练,可以理解为:通过“<PER>是个好人”和“李建国是个<PER>”对二分类判别模型进行训练。二分类判别模型可以为BERT等用于分类的模型,本公开的实施例不作限定。
需要说明的是,上述的BERT(Bidirectional Encoder Representations fromTransformers)可以用于问答系统,情感分析,垃圾邮件过滤,命名实体识别,文档聚类等任务中,作为这些任务的基础设施,即语言模型。其创新点在于,可以将双向Transformer用于语言模型,其中,Transformer是一种基于encoder-decoder结构的模型。
本示例实施方式中,通过预设字符替换后的第一目标文本信息和第二目标文本信息对二分类判别模型进行训练的方式具体可以为:
将替换后的第一目标文本信息和第二目标文本信息按照数量1:1的比例合并,得到训练数据;
将训练数据输入BERT模型,以使得BERT模型根据训练数据进行学习,进而实现对于包含歧义信息的句子的判定。
可见,实施该可选的实施方式,能够通过对二分类判别模型进行训练,并通过训练后的二分类判别模型对文本信息的类型进行确定,进而可以实现对于文本信息的标注,降低人工成本。
本示例实施方式中,可选的,根据类型对第三目标文本信息进行信息标注,可以包括以下步骤:
若确定出第三目标文本信息中的第二文本信息与文本信息集中的第二文本信息的类型相同,则根据类型对第三目标文本信息中的第二文本信息进行标注。
本示例实施方式中,根据类型对第三目标文本信息中的第二文本信息进行标注的方式具体可以为:将第三目标文本信息中的第二文本信息的每个字后标注第一特定符号(如,/PER),并在除第二文本信息外的第三目标文本信息的其他部分每个字后标注第二特定符号(如,/O)。
本示例实施方式中,若确定出第三目标文本信息中的第二文本信息与文本信息集中的第二文本信息的类型不相同,则根据类型对第三目标文本信息进行标注。其中,根据类型对第三目标文本信息进行标注的方式具体可以为:将第三目标文本信息每个字后标注第二特定符号。
举例来说,如果第三目标文本信息为“小李写了一篇文章”,其中,“文章”作为第二文本信息与文本信息集中的“文章”的类型相同,即,第一个“文章”为专有名词类型,第二个“文章”为人名类型,故,可以将第三目标文本信息标注为“小/O李/O写/O了/O一/O篇/O文/O章/O”,此处的第三目标文本信息可以理解为噪声数据,可以被终端设备或服务器过滤。
可见,实施该可选的实施方式,能够通过对于第三目标文本信息中的第二文本信息的标注,方便用于对NER模型的训练,以提升对于NER模型的训练效率,降低人工成本。
可见,实施图3所示的信息标注方法,能够一定程度上克服人工标注训练数据(即,文本信息)效率较低的问题,进而提升对于信息标注的效率;以及,能够通过自动信息标注降低人工成本;以及,能够通过二分类判别模型对有歧义文本信息进行判别,以提升文本信息的标注准确率,改善用户的使用体验。
本示例实施方式中,可选的,该信息标注方法还可以包括以下步骤:
通过信息标注后的第三目标文本信息对命名实体识别模型进行训练。
本示例实施方式中,通过信息标注后的第三目标文本信息对命名实体识别模型进行训练的方式具体可以为:将信息标注后的第三目标文本信息输入命名实体识别模型,以使得命名实体识别模型根据第三目标文本信息进行学习,进而实现对于命名实体的识别。
其中,需要说明的是,命名实体识别(Named Entity Recognition,NER)又称作专名识别,是自然语言处理中常见的一项任务,使用的范围非常广。命名实体通常指的是文本中具有特别意义或者指代性非常强的实体。NER系统就是从非结构化的文本中抽取出上述实体,并且可以按照业务需求识别出更多类别的实体,例如,产品名称、型号或价格等。因此,该实体概念较为广泛,只要是业务需要的特殊文本片段均可以称之为实体。
可见,实施该可选的实施方式,能够通过信息标注后的第三目标文本信息对命名实体识别模型进行训练,以提升对于命名实体的识别准确率,进而改善用户的使用体验。
请参阅图4,图4示意性示出了根据本公开的另一个实施例的信息标注方法的流程图。如图4所示,另一个实施例的信息标注方法可以包括以下步骤S410至步骤S460:
步骤S410:确定知识库中的相关实体。
步骤S420:对上述的相关实体进行筛选获得无歧义实体和有歧义实体。
步骤S430:匹配无歧义实体和有歧义实体相关的文本信息。
步骤S440:得到高置信度数据和低置信度数据。
步骤S450:通过高置信度数据训练二分类判别模型。
步骤S460:通过二分类判别模型判别低置信度数据并对其进行信息标注,以得到命名实体识别模型的训练数据。
具体地,知识库可以理解为包括多个文本信息集的数据库,相关实体可以理解为本公开实施例中的文本信息集,无歧义实体可以理解为上述的第一文本信息,有歧义实体可以理解为上述的第二文本信息,与无歧义实体相关的文本信息可以包括第一目标文本信息(即,高置信度数据)和第二目标文本信息(即,低置信度数据),与有歧义实体相关的文本信息可以包括第三目标文本信息。
需要说明的是,上述步骤相应的实施例已在上述实施例中详细展开,请参阅图3对应的实施例,此处不再赘述。
可见,实施图4所示的信息标注方法,能够一定程度上克服人工标注训练数据(即,文本信息)效率较低的问题,进而提升对于信息标注的效率;以及,能够通过自动信息标注降低人工成本;以及,能够通过二分类判别模型对有歧义文本信息进行判别,以提升文本信息的标注准确率,改善用户的使用体验。
进一步的,本示例实施方式中,还提供了一种信息标注装置。该信息标注装置可以应用于一服务器或终端设备。参考图5所示,该信息标注装置可以包括:信息比对单元501、信息比对单元502以及信息标注单元503,其中:
信息比对单元501,用于根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息;
信息确定单元502,用于从第二文本信息库中确定出包括第一文本信息的第一目标文本信息,并从第二文本信息库中随机确定出第二目标文本信息;
信息确定单元502,还用于根据第二文本信息库确定出与第二文本信息相对应的第三目标文本信息;
信息标注单元503,用于在根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型,根据类型对第三目标文本信息进行信息标注。
可见,实施图5所示的信息标注装置,能够一定程度上克服人工标注训练数据(即,文本信息)效率较低的问题,进而提升对于信息标注的效率;以及,能够通过自动信息标注降低人工成本;以及,能够通过二分类判别模型对有歧义文本信息进行判别,以提升文本信息的标注准确率,改善用户的使用体验。
在本公开的一种示例性实施例中,信息比对单元501根据第一文本信息库与文本信息集的比对,将文本信息集中的信息划分为第一文本信息和第二文本信息的方式具体为:
信息比对单元501计算文本信息集中各信息对应的特征向量,并计算第一文本信息库中各信息的特征向量与文本信息集中各信息的特征向量之间的向量距离;
信息比对单元501根据向量距离确定所述文本信息集中各信息对应的特定文本信息;其中,特定文本信息与对应的文本信息集中的信息之间的向量距离小于预设距离,第一文本信息库包括特定文本信息;
信息比对单元501根据文本信息集中各信息对应的特定文本信息将文本信息集中各信息划分为第一文本信息和第二文本信息。
进一步地,文本信息集中各信息分别对应多个特定文本信息,信息比对单元501根据文本信息集中各信息对应的特定文本信息将文本信息集中各信息划分为第一文本信息和第二文本信息的方式具体为:
若特定文本信息中存在超过预设比例的信息与文本信息集中信息的类型相同,信息比对单元501将特定文本信息对应的文本信息集中的信息确定为第一文本信息;
若特定文本信息中不存在超过预设比例的信息与文本信息集中信息的类型相同,信息比对单元501将特定文本信息对应的文本信息集中的信息确定为第二文本信息。
可见,实施该示例性实施例,能够通过确定与文本信息集中信息对应的特定文本信息(即,语义相似的信息)所属的类型,从而确定出文本信息集中的该信息是否存在歧义,根据上述方法分类得到的第一文本信息(即,无歧义的文本信息)和第二文本信息(即,有歧义的文本信息)准确性更高,进而有利于二分类判别模型对于存在歧义的信息的判别。
在本公开的一种示例性实施例中,信息标注单元503根据第一目标文本信息和第二目标文本信息确定第三目标文本信息对应的类型的方式具体为:
信息标注单元503将第一目标文本信息中包括的第一文本信息替换为预设字符,以及将第二目标文本信息中任一与文本信息集无交集的字段替换为预设字符;
信息标注单元503通过预设字符替换后的第一目标文本信息和第二目标文本信息对二分类判别模型进行训练;
信息标注单元503根据训练后的二分类判别模型确定第三目标文本信息对应的类型。
进一步地,信息标注单元503根据训练后的二分类判别模型确定第三目标文本信息对应的类型的方式具体为:
信息标注单元503根据预设字符替换后的第一目标文本信息和第二目标文本信息更新第二文本信息库;其中,更新后的第二文本信息库包括第三目标文本信息,第三目标文本信息中包括预设字符;
信息标注单元503根据第二文本信息替换第三目标文本信息中的预设字符;
信息标注单元503根据训练后的二分类判别模型确定替换预设字符后的第三目标文本信息中的第二文本信息对应的类型。
可见,实施该示例性实施例,能够通过对二分类判别模型进行训练,并通过训练后的二分类判别模型对文本信息的类型进行确定,进而可以实现对于文本信息的标注,降低人工成本。
在本公开的一种示例性实施例中,信息标注单元503根据类型对第三目标文本信息进行信息标注的方式具体为:
若确定出第三目标文本信息中的第二文本信息与文本信息集中的第二文本信息的类型相同,信息标注单元503根据类型对第三目标文本信息中的第二文本信息进行标注。
可见,实施该示例性实施例,能够通过对于第三目标文本信息中的第二文本信息的标注,方便用于对NER模型的训练,以提升对于NER模型的训练效率,降低人工成本。
在本公开的一种示例性实施例中,该信息标注装置还可以包括模型训练单元(未图示),其中:
模型训练单元,用于通过信息标注后的第三目标文本信息对命名实体识别模型进行训练。
可见,实施该示例性实施例,能够通过信息标注后的第三目标文本信息对命名实体识别模型进行训练,以提升对于命名实体的识别准确率,进而改善用户的使用体验。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
由于本公开的示例实施例的信息标注装置的各个功能模块与上述信息标注方法的示例实施例的步骤对应,因此对于本公开装置实施例中未披露的细节,请参照本公开上述的信息标注方法的实施例。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (9)

1.一种信息标注方法,其特征在于,包括:
根据第一文本信息库与文本信息集的比对,将所述文本信息集中的信息划分为第一文本信息和第二文本信息;
从第二文本信息库中确定出包括所述第一文本信息的第一目标文本信息,并从所述第二文本信息库中随机确定出第二目标文本信息;
根据所述第二文本信息库确定出与所述第二文本信息相对应的第三目标文本信息;
将所述第一目标文本信息中包括的所述第一文本信息替换为预设字符,以及将所述第二目标文本信息中任一与所述文本信息集无交集的字段替换为所述预设字符;
通过预设字符替换后的第一目标文本信息和第二目标文本信息对二分类判别模型进行训练;
根据训练后的二分类判别模型确定所述第三目标文本信息对应的类型,根据所述类型对所述第三目标文本信息进行信息标注。
2.根据权利要求1所述的方法,其特征在于,根据第一文本信息库与文本信息集的比对,将所述文本信息集中的信息划分为第一文本信息和第二文本信息,包括:
计算文本信息集中各信息对应的特征向量,并计算所述第一文本信息库中各信息的特征向量与所述文本信息集中各信息的特征向量之间的向量距离;
根据所述向量距离确定所述文本信息集中各信息对应的特定文本信息;其中,所述特定文本信息与对应的所述文本信息集中的信息之间的向量距离小于预设距离,所述第一文本信息库包括所述特定文本信息;
根据所述文本信息集中各信息对应的特定文本信息将所述文本信息集中各信息划分为第一文本信息和第二文本信息。
3.根据权利要求2所述的方法,其特征在于,所述文本信息集中各信息分别对应多个特定文本信息,根据所述文本信息集中各信息对应的特定文本信息将所述文本信息集中各信息划分为第一文本信息和第二文本信息,包括:
若所述特定文本信息中存在超过预设比例的信息与所述文本信息集中信息的类型相同,则将所述特定文本信息对应的所述文本信息集中的信息确定为第一文本信息;
若所述特定文本信息中不存在超过预设比例的信息与所述文本信息集中信息的类型相同,则将所述特定文本信息对应的所述文本信息集中的信息确定为第二文本信息。
4.根据权利要求1所述的方法,其特征在于,根据训练后的二分类判别模型确定所述第三目标文本信息对应的类型,包括:
根据预设字符替换后的第一目标文本信息和第二目标文本信息更新所述第二文本信息库;其中,所述更新后的第二文本信息库包括所述第三目标文本信息,所述第三目标文本信息中包括所述预设字符;
根据所述第二文本信息替换所述第三目标文本信息中的所述预设字符;
根据训练后的二分类判别模型确定替换所述预设字符后的第三目标文本信息中的第二文本信息对应的类型。
5.根据权利要求1所述的方法,其特征在于,根据所述类型对所述第三目标文本信息进行信息标注,包括:
若确定出所述第三目标文本信息中的第二文本信息与所述文本信息集中的第二文本信息的类型相同,则根据所述类型对所述第三目标文本信息中的第二文本信息进行标注。
6.根据权利要求1所述的方法,其特征在于,还包括:
通过信息标注后的第三目标文本信息对命名实体识别模型进行训练。
7.一种信息标注装置,其特征在于,包括:
信息比对单元,用于根据第一文本信息库与文本信息集的比对,将所述文本信息集中的信息划分为第一文本信息和第二文本信息;
信息确定单元,用于从第二文本信息库中确定出包括所述第一文本信息的第一目标文本信息,并从所述第二文本信息库中随机确定出第二目标文本信息;
所述信息确定单元,还用于根据所述第二文本信息库确定出与所述第二文本信息相对应的第三目标文本信息;
信息标注单元,用于将所述第一目标文本信息中包括的所述第一文本信息替换为预设字符,以及将所述第二目标文本信息中任一与所述文本信息集无交集的字段替换为所述预设字符;通过预设字符替换后的第一目标文本信息和第二目标文本信息对二分类判别模型进行训练;根据训练后的二分类判别模型确定所述第三目标文本信息对应的类型,根据所述类型对所述第三目标文本信息进行信息标注。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-6任一项所述的方法。
CN201910693851.1A 2019-07-30 2019-07-30 信息标注方法、装置、计算机可读存储介质及电子设备 Active CN110457436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910693851.1A CN110457436B (zh) 2019-07-30 2019-07-30 信息标注方法、装置、计算机可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910693851.1A CN110457436B (zh) 2019-07-30 2019-07-30 信息标注方法、装置、计算机可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110457436A CN110457436A (zh) 2019-11-15
CN110457436B true CN110457436B (zh) 2022-12-27

Family

ID=68484001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910693851.1A Active CN110457436B (zh) 2019-07-30 2019-07-30 信息标注方法、装置、计算机可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110457436B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761918A (zh) * 2020-06-04 2021-12-07 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN113064993B (zh) * 2021-03-23 2023-07-21 南京视察者智能科技有限公司 一种基于大数据的自动化文本分类标注系统的设计方法、优化方法及标注方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268339A (zh) * 2013-05-17 2013-08-28 中国科学院计算技术研究所 微博消息中命名实体识别方法及系统
CN108959242A (zh) * 2018-05-08 2018-12-07 中国科学院信息工程研究所 一种基于中文字符词性特征的目标实体识别方法及装置
WO2019006115A1 (en) * 2017-06-30 2019-01-03 Elsevier, Inc. SYSTEMS AND METHODS FOR EXTRACTING DONOR INFORMATION FROM A TEXT
CN109190110A (zh) * 2018-08-02 2019-01-11 厦门快商通信息技术有限公司 一种命名实体识别模型的训练方法、系统及电子设备
CN109284763A (zh) * 2017-07-19 2019-01-29 阿里巴巴集团控股有限公司 一种生成分词训练数据的方法和服务器
CN109726397A (zh) * 2018-12-27 2019-05-07 网易(杭州)网络有限公司 中文命名实体的标注方法、装置、存储介质和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050027664A1 (en) * 2003-07-31 2005-02-03 Johnson David E. Interactive machine learning system for automated annotation of information in text

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268339A (zh) * 2013-05-17 2013-08-28 中国科学院计算技术研究所 微博消息中命名实体识别方法及系统
WO2019006115A1 (en) * 2017-06-30 2019-01-03 Elsevier, Inc. SYSTEMS AND METHODS FOR EXTRACTING DONOR INFORMATION FROM A TEXT
CN109284763A (zh) * 2017-07-19 2019-01-29 阿里巴巴集团控股有限公司 一种生成分词训练数据的方法和服务器
CN108959242A (zh) * 2018-05-08 2018-12-07 中国科学院信息工程研究所 一种基于中文字符词性特征的目标实体识别方法及装置
CN109190110A (zh) * 2018-08-02 2019-01-11 厦门快商通信息技术有限公司 一种命名实体识别模型的训练方法、系统及电子设备
CN109726397A (zh) * 2018-12-27 2019-05-07 网易(杭州)网络有限公司 中文命名实体的标注方法、装置、存储介质和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chemical Name Extraction Based on Automatic Training Data Generation and Rich Feature Set;Su Yan等;《IEEE/ACM Transactions on Computational Biology and Bioinformatics》;20130821;第10卷(第5期);1218-1233 *
面向文本的自动语义标注技术研究与实现;崔愉;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20160415(第4期);I138-1485 *

Also Published As

Publication number Publication date
CN110457436A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN109241524B (zh) 语义解析方法及装置、计算机可读存储介质、电子设备
CN107679039B (zh) 用于确定语句意图的方法和装置
CN111191428B (zh) 评论信息处理方法、装置、计算机设备和介质
CN112560912A (zh) 分类模型的训练方法、装置、电子设备和存储介质
CN110162749A (zh) 信息提取方法、装置、计算机设备及计算机可读存储介质
CN111930792B (zh) 数据资源的标注方法、装置、存储介质及电子设备
CN113761377B (zh) 基于注意力机制多特征融合的虚假信息检测方法、装置、电子设备及存储介质
CN112528658B (zh) 层次化分类方法、装置、电子设备和存储介质
CN113158656B (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN111414561A (zh) 用于呈现信息的方法和装置
CN110807086A (zh) 文本数据标注方法及装置、存储介质、电子设备
CN115099239B (zh) 一种资源识别方法、装置、设备以及存储介质
CN116402166B (zh) 一种预测模型的训练方法、装置、电子设备及存储介质
CN113722483A (zh) 话题分类方法、装置、设备及存储介质
CN113268615A (zh) 资源标签生成方法、装置、电子设备及存储介质
CN111782793A (zh) 智能客服处理方法和系统及设备
CN113761190A (zh) 文本识别方法、装置、计算机可读介质及电子设备
CN116245097A (zh) 训练实体识别模型的方法、实体识别方法及对应装置
CN110457436B (zh) 信息标注方法、装置、计算机可读存储介质及电子设备
CN115510188A (zh) 文本关键词关联方法、装置、设备及存储介质
CN116450829A (zh) 医疗文本分类方法、装置、设备及介质
CN117436438A (zh) 情感分析方法、大语言模型的训练方法及装置
CN114970540A (zh) 训练文本审核模型的方法和装置
CN114722832A (zh) 一种摘要提取方法、装置、设备以及存储介质
CN111368532B (zh) 一种基于lda的主题词嵌入消歧方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant