CN116108163A - 一种文本的匹配方法、装置、设备及存储介质 - Google Patents
一种文本的匹配方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116108163A CN116108163A CN202310361604.8A CN202310361604A CN116108163A CN 116108163 A CN116108163 A CN 116108163A CN 202310361604 A CN202310361604 A CN 202310361604A CN 116108163 A CN116108163 A CN 116108163A
- Authority
- CN
- China
- Prior art keywords
- text data
- text
- sentence
- standard
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 239000013589 supplement Substances 0.000 claims description 123
- 238000005457 optimization Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 15
- 230000001502 supplementing effect Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009469 supplementation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书公开了一种文本的匹配方法、装置、设备及存储介质,可以对待匹配文本数据中包含的各文本语句进行筛选,以对待匹配文本数据进行提炼,得到目标文本数据。并且,可以通过将与标准数据相关的参考文献中的至少部分内容补充到标准文本数据中,从而可以根据提炼出的目标文本数据从各补充后标准文本数据对应的标准文本数据中筛选出与目标文本数据相匹配的各标准文本数据,进而可以提升筛选出的各标准文本数据的准确性。
Description
技术领域
本说明书涉及自然语言处理技术领域,尤其涉及一种文本的匹配方法、装置、设备及存储介质。
背景技术
目前,对医疗领域中的原始医学文本数据进行编码,以用于在医学候选文本体系中进行术语匹配,从而根据匹配到的候选文本进行学习研究,是医疗领域信息化进程中的重要内容。
而在医疗领域中的原始医学文本数据通常分为两类,一类为短文本,如:病历文本中的疾病、症状的名称等概念,这些短文本在医学候选文本体系中通常有含义完全相同的候选文本,只是不同的医护人员的书写习惯、俗称、简写不同而产生的。例如:原始医学文本中的“胃癌”对应的候选文本为“胃恶性肿瘤”。另一类为长文本,这些长文本主要是指医护人员在患者诊疗过程中记录的对某项临床过程或临床概念的详细描述。例如:患者的“手术经过”,也就是患者的手术操作过程的详细记录等。
在长文本中,每个词句的重要性是不同的,如果直接将整段文本的词句输入到语言模型中来确定该文本的语义向量,会导致大量无效信息的冗余,从而降低提取的语义向量的准确性较低,进而导致从医学候选文本体系中为长文本确定出与该长文本相匹配的候选文本的准确率较低。
因此,如何能够准确地从医学候选文本体系中为长文本确定出与该长文本相匹配的候选文本,则是一个亟待解决的问题。
发明内容
本说明书提供一种文本的匹配方法、装置、设备及存储介质,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种文本的匹配方法,包括:
获取待匹配文本数据;
针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性;
根据各文本语句对应的相关性,从各文本语句中筛选出各目标文本语句,并根据所述各目标文本语句,构建目标文本数据;
根据确定出的所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,所述补充后标准文本数据是将与标准文本数据相关的参考文献中的至少部分内容补充到所述标准文本数据后得到的;
根据所述匹配度,从各补充后标准文本数据对应的各标准文本数据中确定出与所述目标文本数据相匹配的标准文本数据。
可选地,针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性,具体包括:
对所述待匹配文本数据进行分析,确定出所述待匹配文本数据包含的每个文本语句,并通过在所述待匹配文本数据中插入指定的分隔符,从所述待匹配文本数据中划分出各文本语句;
针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性。
可选地,根据各文本语句对应的相关性,从各文本语句中筛选出各目标文本语句,具体包括:
针对所述待匹配文本数据中包含的每个文本语句,生成该文本语句包含的每个字符以及分隔符的初始特征表示,通过多轮优化迭代,根据所述分隔符的所述初始特征表示与该文本语句包含的每个字符的所述初始特征表示之间的注意力权重,对该文本语句包含的每个字符以及分隔符的初始特征表示进行优化,得到该文本语句包含的每个字符以及分隔符的优化后特征表示,所述初始特征表示用于表征所述字符本身、所述字符在该文本语句中的位置、所述字符在所述待匹配文本数据中的位置;其中,
针对每轮优化迭代,确定该轮优化迭代中该文本语句包含的每个字符以及分隔符的基础特征表示,根据该轮优化迭代中该文本语句包含的分隔符以及该文本语句包含的每个字符之间的注意力权重,对该文本语句包含的分隔符的基础特征表示以及该文本语句包含的每个字符的基础特征表示进行优化,得到该轮优化迭代后该文本语句包含的每个字符的优化后特征表示以及该文本语句包含的分隔符的优化后特征表示,直到满足预设的终止条件为止,所述基础特征表示是将该文本语句包含的每个字符以及分隔符的初始特征表示优化迭代至上一轮后得到的;
根据该文本语句包含的每个字符以及分隔符的优化后特征表示,确定该文本语句的特征表示;
根据各文本语句对应的相关性,以及各文本语句的特征表示,从各文本语句中筛选出各目标文本语句。
可选地,根据各文本语句对应的相关性,以及各文本语句的特征表示,从各文本语句中筛选出各目标文本语句,具体包括:
针对所述待匹配文本数据中包含的每个文本语句,根据该文本语句与其他文本语句之间的相关性,确定该文本语句与其他文本语句之间的注意力权重,并根据该文本语句与其他文本语句之间的注意力权重,对该文本语句的特征表示进行优化,得到该文本语句的优化后特征表示;
根据该文本语句的优化后特征表示,确定出该文本语句对应的重要性权重,判断该文本语句对应的重要性权重是否超过预设阈值;
若是,则确定该文本语句为目标文本语句。
可选地,根据确定出的所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,具体包括:
通过预设的语言表征模型,提取出所述目标文本数据中的每个字符的特征表示,以及提取出每个补充后标准文本数据中的每个字符的特征表示;
确定出所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,以得到相似度矩阵;
将所述目标文本数据中的每个字符的特征表示与所述相似度矩阵进行融合,得到所述目标文本数据对应的特征表示;以及,
针对每个补充后标准文本数据,将该补充后标准文本数据中的每个字符的特征表示与所述相似度矩阵进行融合,得到该补充后标准文本数据对应的特征表示;
根据所述目标文本数据对应的特征表示和每个补充后标准文本数据对应的特征表示,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度。
可选地,根据所述目标文本数据对应的特征表示和每个补充后标准文本数据对应的特征表示,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,具体包括:
将所述目标文本数据对应的特征表示和每个补充后标准文本数据对应的特征表示输入到预先训练的匹配度确定模型中,以通过所述匹配度确定模型,确定出所述目标文本数据和每个补充后标准文本数据之间的匹配度。
可选地,训练所述匹配度确定模型,具体包括:
获取历史文本数据以及所述历史文本数据对应的各补充后标准文本数据;
将所述历史文本数据对应的特征表示和所述历史文本数据对应的每个补充后标准文本数据对应的特征表示输入到匹配度确定模型中,以通过所述匹配度确定模型,确定出所述历史文本数据和所述历史文本数据对应的每个补充后标准文本数据之间的匹配度;
从所述历史文本数据对应的各补充后标准文本数据中,任意选取出两个补充后标准文本数据,并根据所述历史文本数据和该两个补充后标准文本数据中的每个补充后标准文本数据之间的匹配度,确定该两个补充后标准文本数据之间的排列顺序;
以最小化确定出的该两个标准文本数据之间的排列顺序,和该两个补充后标准文本数据之间实际对应的排列顺序之间的偏差为优化目标,对所述匹配度确定模型进行训练。
本说明书提供了一种文本的匹配装置,包括:
获取模块,用于获取待匹配文本数据;
筛选模块,用于针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性;
数据确定模块,用于根据各文本语句对应的相关性,从各文本语句中筛选出各目标文本语句,并根据所述各目标文本语句,构建目标文本数据;
匹配度确定模块,用于根据确定出的所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,所述补充后标准文本数据是将与标准文本数据相关的参考文献中的至少部分内容补充到所述标准文本数据后得到的;
匹配模块,用于根据所述匹配度,从各补充后标准文本数据对应的各标准文本数据中确定出与所述目标文本数据相匹配的标准文本数据。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述文本的匹配方法。
本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述文本的匹配方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
在本说明书提供的文本的匹配方法,首选获取待匹配文本数据,针对从待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性,从而根据各文本语句对应的相关性,从各文本语句中筛选出各目标文本语句,并根据各目标文本语句,构建目标文本数据,进而根据确定出的目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定目标文本数据和每个补充后标准文本数据之间的匹配度,其中,补充后标准文本数据是将与标准文本数据相关的参考文献中的至少部分内容补充到标准文本数据后得到的,最后根据匹配度,从各补充后标准文本数据对应的各标准文本数据中确定出与目标文本数据相匹配的标准文本数据。
从上述方法中可以看出,可以对待匹配文本数据中包含的各文本语句进行筛选,以对待匹配文本数据进行提炼,得到目标文本数据,并且,可以通过将与标准数据相关的参考文献中的至少部分内容补充到标准文本数据中,从而可以根据提炼出的目标文本数据从各补充后标准文本数据对应的标准文本数据中筛选出与目标文本数据相匹配的各标准文本数据,进而可以提升筛选出的各标准文本数据的准确性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书中提供的一种文本的匹配方法的流程示意图;
图2为本说明书提高的待识别语音数据的识别的过程示意图;
图3为本说明书提供的一种文本的匹配装置的示意图;
图4为本说明书提供的一种对应于图1的电子设备的示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种文本的匹配方法的流程示意图,包括以下步骤:
S101:获取待匹配文本数据。
在医学领域中,有一系列的国际通用的标准术语集,如:手术术语集ICD-9-CM-3、疾病术语集ICD-10、医学检验术语集LONIC等,这些标准术语集中的每个术语都有各自对应的唯一的编码,能够代表该标准术语在整个术语体系中的层次位置以及详细信息,而在对医护工作者在工作中记录的医学文本数据进行学习和研究的过程中,通常会对医护工作者在工作中记录的医学文本数据进行编码,以根据编码后的医学文本数据,从国际标准术语集中匹配出与医护工作者在工作中记录的医学文本数据相匹配的标准术语,进而可以根据与医护工作者在工作中记录的医学文本数据相匹配的标准术语对应的标准化的编码,对医护工作者在工作中记录的医学文本数据进行研究。
基于此,在本说明书中,业务平台可以获取医护工作者在工作中记录的医学文本数据,作为待匹配文本数据,进而可以针对获取到的待匹配文本数据进行标准术语的匹配。这里的医学文本数据可以是指:医护工作者基于各自的书写习惯、各自认知中的俗称、简写写出的疾病、症状对应的名称或概念,也可以是指:医护工作者在为患者诊疗过程中记录的对某项临床过程或临床概念的详细描述,优选地,可以是指医护工作者在为患者诊疗过程中记录的对某项临床过程或临床概念的详细描述这类内容较长的医学文本数据。
在本说明书中,用于实现文本的匹配方法的执行主体,可以是指服务器等设置于业务平台的指定设备,也可以是指诸如台式电脑、笔记本电脑等指定设备,为了便于描述,下面仅以服务器是执行主体为例,对本说明书提供的文本的匹配方法进行说明。
S102:针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性。
S103:根据各文本语句对应的相关性,从各文本语句中筛选出各目标文本语句,并根据所述各目标文本语句,构建目标文本数据。
服务器在获取到待匹配文本数据后,可以对获取到的待匹配文本数据进行分析,以确定出获取到的待匹配文本数据包含的每个文本语句,并通过在待匹配文本数据中插入指定的分隔符,将待匹配文本数据中将各文本语句进行划分。其中,分析的方法可以根据待匹配文本数据中包含的标点符号,判断该待匹配文本数据是否为自然句,若是,则在该自然句之前插入分隔符。例如:插入分隔符后的待匹配文本数据可以表示为,这里的即为分隔符,这里的即为待匹配文本数据中包含的文本语句。
进一步地,服务器可以针对从待匹配文本数据中划分出的每个文本语句,对该文本语句中的每个字符进行编码,以确定出该文本语句中的每个字符对应的初始特征表示,其中,这里的初始特征表示用于表征字符本身、字符在该文本语句中的位置、字符在待匹配文本数据中的位置。
具体地,服务器可以通过随机初始化的方式,生成用于表征该字符本身的初始子特征表示,生成用于表征该文字符在该文本语句中的位置的初始子特征表示,生成用于表征字符在待匹配文本数据中的位置的初始子特征表示,进而可以根据这三个初始子特征表示,得到该字符对应的初始特征表示。
需要说明的是,在实际应用中,分隔符也可以作为该文本语句中的一个字符,并通过上述的方式确定出该文本语句对应的分隔符的初始特征表示。
进而可以通过多轮优化迭代,针对从待匹配文本数据中划分出的每个文本语句,根据该文本语句包含的每个字符的初始特征表示,确定出该文本语句的特征表示。
具体地,针对每轮优化迭代,确定该轮优化迭代中该文本语句包含的每个字符以及分隔符的基础特征表示,根据该轮优化迭代中该文本语句包含的分隔符以及该文本语句包含的每个字符之间的注意力权重,对该文本语句包含的分隔符的基础特征表示以及该文本语句包含的每个字符的基础特征表示进行优化,得到该轮优化迭代后的该文本语句包含的每个字符的优化后特征表示以及该文本语句包含的分隔符的优化后特征表示,直到满足预设的终止条件为止,其中,该轮优化迭代中每个字符以及分隔符的基础特征表示是将该文本语句包含的每个字符以及分隔符的初始特征表示优化迭代至上一轮后得到的。
其中,预设的终止条件可以根据实际需要设定,例如:优化迭代的轮数达到预设阈值等。
从上述内容中可以看出,在每轮优化迭代的过程中,针对该文本语句中包含的每个字符与分隔符,都会根据该字符和该文本语句中的其他字符之间的关联关系,确定出该字符与其他字符之间的注意力权重,根据该字符和分隔符之间的关联关系,确定出该字符与分隔符之间的注意力权重,从而可以基于每个字符与其他字符,每个字符与分隔符之间的注意力权重,对该文本语句中包含的每个字符以及分隔符的初始特征表示进行优化,因此,在每轮迭代中,都会使分隔符的初始特征表示在经过该轮迭代后,都会隐含有该文本语句中的每个字符的至少部分特征,因此,在经过多轮优化迭代后的分隔符的优化后特征表示,就包含有该文本语句中每个字符的特征,以及每个字符之间的关联关系,因此,可以将多轮迭代优化后的分隔符的优化后特征表示,作为该文本语句的特征表示,这里的所说的关联关系可以是指字符的位置之间的关联关系,以及字符在语义中的关联关系等。
需要说明的是,上述的多轮优化迭代可以是通过预设的多层文本编码模型进行的,具体地,服务器可以将该文本语句包含的每个字符以及分隔符的初始特征表示输入到多层文本编码模型中,以通过多层文本编码模型的每层文本编码模型对输入的该文本语句包含的每个字符以及分隔符的初始特征表示进行一次优化迭代,其中,多层文本编码模型的每层文本编码模型的计算原理可以参考以下公式。
在上述公式中,为该文本语句包含的每个字符以及分隔符的初始特征表示,在经过每层文本编码模型优化迭代后的该文本语句包含的每个字符以及分隔符的优化后特征表示,为该层文本编码模型的上一层文本编码模型输出的该文本语句包含的每个字符以及分隔符的优化后特征表示,为用于表征该文本语句的字符之间的关联关系的第一交互矩阵参数,为用于表征该文本语句的字符之间的关联关系的第二交互矩阵参数,为用于表征该文本语句的字符之间的注意力权重的权重矩阵参数,这里的三个矩阵参数是在多层文本编码模型迭代过程中得到的模型参数。
进一步地,从上述内容中可以看出,通过上述内容提取出的待匹配文本数据中的每个文本语句的特征表示中包含有该文本语句中的每个字符之间的关联关系,而为了进一步地的提升确定出的每个文本语句的特征表示的准确性,还可以针对待匹配文本数据中包含的每个文本语句,根据该文本语句与其他文本语句之间的相关性,确定该文本语句与其他文本语句之间的注意力权重,并根据确定出的该文本语句与其他文本语句之间的注意力权重,对该文本语句的特征表示进行优化,得到该文本语句的优化后特征表示。
进一步地,在确定出待匹配文本数据中包含的每个文本语句的优化后特征表示后,服务器可以根据确定出的每个文本语句的优化后特征表示确定每个文本语句的对应的重要性权重,进而可以针对每个文本语句,判断该文本语句对应的重要性权重是否超过预设阈值,若是,则确定该文本语句为目标文本语句。
其中,服务器根据每个文本语句的优化后特征表示确定每个文本语句的对应的重要性权重的方法可以是将每个文本语句的优化后特征表示输入到预设的重要性权重确定模型中,以通过重要性权重确定模型确定出每个文本语句的重要性权重,具体可以参考如下公式:
上述公式中,即为文本语句对应的重要性权重,为激活函数(可以为sigmoid函数),和是重要性权重确定模型的可训练参数。
当服务器从待匹配文本数据中包含的各文本语句中筛选出各目标文本语句后,可以根据筛选出的目标文本语句,得到目标文本数据,可以理解为从待匹配文本数据中筛选出比较重要的文本语句作为文本摘要,进而可以根据文本摘要进行匹配。
S104:根据确定出的所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,所述补充后标准文本数据是将与标准文本数据相关的参考文献中的至少部分内容补充到所述标准文本数据后得到的。
从上述内容可以看出,当服务器获取到目标文本数据后,需要从国际标准术语集中匹配出与该目标文本数据相匹配的标准术语,进而可以根据确定出的标准术语的编码,进行后续的研究和学习。
基于此,服务器可以根据确定出的目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,这里的标准文本数据可以是指为目标文本数据标准化的文本数据,例如:国际标准术语集中的标准术语,这里的补充后标准文本数据可以是将与标准文本数据相关的参考文献中的至少部分内容补充到标准文本数据后得到的。
具体地,由于国际标准术语集中的标准术语通常为对某项医学概念或临床过程的概括性总结,因此,在文本长度和包含的信息量上与较长的医学文本数据差异较大。所以,为了提高为目标文本数据匹配出的标准术语的准确性,服务器还可以获取各标准文本数据,针对每个标准文本数据,根据该标准文本数据中的每个字在每个补充文本数据中出现的频率,以及每个补充文本数据包含的字符总数,确定出该标准文本数据与每个补充文本数据的相关度。根据确定出的相关度,从各补充文本数据中确定出该标准文本数据对应的补充文本数据,并将与该标准文本数据对应的补充文本数据补充到该标准文本数据中,得到补充后标准文本数据,这里的补充文本数据可以是指与标准文本数据相关的参考文献中的至少部分内容。例如:与标准文本数据相关的医学论文、医学专著、临床指南等医学文献中的至少部分内容(由于这些医学文献中包含有大量的标准术语以及和标准术语相关的内容,所以可以用来做补充文本数据)。
其中,服务器在获得用于对标准文本数据进行补充的文本后,可以按照指定长度,将该文本分割为不同的段落,这里的每个段落都可以作为一个补充文本数据,其中,在对文本进行分割时,若一个自然句的长度和指定长度之间的差值小于预设阈值,则可以将该自然句作为分割后的一个段落,可以理解为,在自然句的长度接近于指定长度时,可以将该自然句作为分割后的段落,而不用按照指定长度进行分割。
上述内容中,根据该标准文本数据中的每个字在每个补充文本数据中出现的频率,以及每个补充文本数据包含的字符总数,确定出该标准文本数据与每个补充文本数据的相关度的方法可以参考如下公式:
上述公式中,为标准文本数据c与补充文本数据之间的相关度,word为标准文本数据c中包含的字符,IDF(word)为字符word的IDF值,这里的IDF值是根据该字符在该文本语句中出现的频率和该字符在其他文本语句中出现的频率确定出的,若该字符在该文本语句中出现的频率越高,且该字符在其他文本语句中出现的频率越低,则该字符的IDF值越高,该字符的IDF值越高,说明该字符对于该文本语句的重要性越大。
上述公式中用于表征字符word相对于补充文本数据的相关度,其中,表示字符在补充数据中出现的频率也就是词频,词频越高则说明字符相对于的权重越大;为补充文本数据的长度,为所有补充文本数据的平均长度,表示补充文本数据的相对长度,参数和为调节因子,用来调节字符在补充文本数据中的词频的标准化范围,当,得到,表示所有字符的词频都强制变为1,越大则越接近字符在补充文本数据中的实际词频,用来调节补充文本数据的相对长度的重要性,表示不考虑补充文本数据的相对长度,越大则补充文本数据的相对长度对确定出的相关度的影响越大,而的相对长度越大则确定出的相关度越小,可以理解为同等词频的情况下,字符与越长的补充文本数据的相关度越低。优选地,上述的和的值可以为:,。
从上述公式中可以看出,服务器可以根据该标准文本数据中的每个字在每个补充文本数据中出现的频率,以及每个补充文本数据包含的字符总数,确定出该标准文本数据与每个补充文本数据的相关度。
进而可以从各补充文本数据中筛选出满足预设的筛选条件的补充文本数据,作为与该标准文本数据对应的补充文本数据,这里的筛选条件可以有很多,例如:与该标准文本数据的相关度高于预设阈值,再例如:与该标准文本数据的相关度最高等。
进一步地,服务器在获得补充后标准文本数据后,可以根据确定出的目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定目标文本数据和每个补充后标准文本数据之间的匹配度。
具体地,服务器可以将目标文本数据和各补充后标准文本数据分别输入到预设的深度学习语言模型中,以通过预设的深度学习语言模型,针对目标文本数据或任意一个补充后标准文本数据,提取出该目标文本数据或该任意一个补充后标准文本数据中包含的每个字符对应的特征表示,这里的深度学习语言模型可以为Bert模型。
需要说明的是,之前确定出的待匹配文本数据中包含的每个字符的优化后特征表示仅用于筛选出目标文本语句,而这里通过深度学习语言模型是基于目标文本数据所包含的字符(此时已经不包含分隔符了),重新提取出的每个字符的特征表示,具体如图2所示。
图2为本说明书中提供的目标文本数据和补充后标准文本数据的匹配度的确定方法的示意图。
从图2中可以看出,服务器可以通过将目标文本数据和补充后标准文本数据输入到预设的深度学习语言模型中,以通过深度学习语言模型,提取出目标文本数据中的每个字符的特征表示和补充后标准文本数据中的每个字符的特征表示,进而可以针对每个补充后标准文本数据,根据确定出的目标文本数据中包含的每个字符的特征表示和该补充后标准文本数据中包含的每个字符的特征表示之间的相似度,确定出目标文本数据和该补充后标准文本数据之间的相似度矩阵,具体可以参考如下公式:
在上述公式中,即为确定出的相似度矩阵,即为目标文本数据中包含的第i个字符的特征表示,即为该补充后标准文本数据中包含的第j个字符的特征表示。
进一步地,服务器可以将确定出的目标文本数据和该补充后标准文本数据之间的相似度矩阵以及目标文本数据中包含的每个字符的特征表示,输入到预设的神经网络模型中,以通过预设的神经网络模型提取出目标文本数据对应于该补充后标准文本数据的特征表示,以及针对每个补充后标准文本数据,将确定出的目标文本数据和该补充后标准文本数据之间的相似度矩阵以及该补充后标准文本数据中包含的每个字符的特征表示,输入到预设的神经网络模型中,以通过预设的神经网络模型提取出该补充后标准文本数据的特征表示,这里的神经网络模型可以为卷积神经网络模型。
需要说明的是,若两个文本数据的语义相似时,这两个文本数据中通常会包含大量含义相同的字符,但是这些字符在这些字符所在的文本数据中的位置顺序可能不同,例如:“张先生的苹果”和“苹果是张先生的”,因此,服务器可以通过上述方法,提取出的特征表示中包含有两个文本数据中的字符之间的关联关系,进而可以提高基于这两个文本数据的特征表示来确定出的匹配度的确定性。
进一步地,服务器可以针对每个补充后标准文本数据,根据目标文本数据对应于该补充后标准文本数据的特征表示和该补充后标准文本数据的特征表示,确定出目标文本数据与该补充后标准文本数据之间的匹配度。
具体地,服务器可以通过预先训练的匹配度确定模型,针对每个补充后标准文本数据,根据目标文本数据对应于该补充后标准文本数据的特征表示和该补充后标准文本数据的特征表示,确定出目标文本数据与该补充后标准文本数据之间的匹配度。
需要说明的是,上述的匹配度确定模型可以是根据实际需求确定出的神经网络模型,优选地,上述的匹配度确定模型可以是回归模型,具体可以参考如下公式:
在上述公式中,即为目标文本数据和任意一个补充后标准文本数据之间的匹配度,为确定出的目标文本数据对应于该任意一个补充后标准文本数据的特征表示,为确定出的该任意一个补充后标准文本数据的特征表示,、和均为匹配度确定模型的权重参数。
其中,训练上述的匹配度确定模型的方法可以是,获取样本文本数据,以及与样本文本数据对应的各样本补充后标准文本数据,通过所述匹配度确定模型,根据该样本文本数据对应于每个样本补充后标准文本数据的特征表示和每个补充后标准文本数据的特征表示,确定出样本文本数据与每个样本补充后标准文本数据之间的匹配度。
从各样本补充后标准文本数据中任意选取出两个样本补充后标准文本数据,根据样本文本数据与选取出的两个样本补充后标准文本数据之间的匹配度,确定出选取出的第一个样本补充后标准文本数据的排列顺序在第二个样本补充后标准文本数据的排序顺序之前的概率值,以最小化确定出的这两个样本补充后标准文本数据之间的排列顺序的概率值和这两个样本补充后标准文本数据之间的实际排列顺序之间的偏差为优化目标,对上述的匹配度确定模型进行训练。
其中,服务器确定选取出的两个样本补充后标准文本数据之间的排列顺序的方法可以参考如下公式:
在上述公式中,即为确定的选取出的第i个样本补充后标准文本数据的排列顺序在第j个样本补充后标准文本数据的排序顺序之前的概率值,为通过匹配度确定模型确定出的样本文本数据与第i样本补充后标准文本数据之间的匹配度,为通过匹配度确定模型确定出的样本文本数据与第j样本补充后标准文本数据之间的匹配度。
通过上述公式可以看出,服务器可以通过排序学习的方式,对匹配度确定模型进行训练,从而提升匹配度确定模型确定出的目标文本数据与每个补充后标准文本数据之间的匹配度的确定性。
S105:根据所述匹配度,从各补充后标准文本数据对应的各标准文本数据中确定出与所述目标文本数据相匹配的标准文本数据。
服务器在确定出目标文本数据与每个补充后标准文本数据之间的匹配度后,可以根据确定出的匹配度,通过上述的方式对各补充后标准文本数据进行排序,进而根据排序结果,从各补充后标准文本数据中筛选出至少一个补充后标准文本数据,作为与目标文本数据相匹配的补充后标准文本数据,进而可以根据与目标文本数据相匹配的补充后标准文本数据,确定出与目标文本数据相匹配的标准文本数据。
进而可以根据确定出的与目标文本数据相匹配的标准文本数据对应的标准特征表示。这里的确定出的标准文本数据对应的标准特征表示可以用于很多医学领域的研究中,例如:通过与目标文本数据相匹配的标准文本数据对应的标准特征表示,对诊疗方案推荐神经网络模型进行训练,以使诊疗方案推荐神经网络模型能够根据输入的医学文本数据,进行疾病的诊疗方案推荐等。
从上述内容中可以看出,服务器可以根据待匹配文本数据的字符之间的关联关系,以及文本语句之间的相关性,对待匹配文本数据中包含的各文本语句进行筛选,以从待匹配文本数据中提炼出目标文本数据,从而可以根据提炼出的目标文本数据从各补充后标准文本数据中筛选出与目标文本数据相匹配的各补充后标准文本数据,进而可以提升筛选出的各补充后标准文本数据的准确性。
以上为本说明书的一个或多个实施例提供的文本的匹配方法,基于同样的思路,本说明书还提供了相应的文本的匹配装置,如图3所示。
图3为本说明书提供的一种文本的匹配装置的示意图,包括:
获取模块301,用于获取待匹配文本数据;
相关性确定模块302,用于针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性;
筛选模块303,用于根据各文本语句对应的相关性,从各文本语句中筛选出各目标文本语句,并根据所述各目标文本语句,构建目标文本数据;
匹配度确定模块304,用于根据确定出的所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,所述补充后标准文本数据是将与标准文本数据相关的参考文献中的至少部分内容补充到所述标准文本数据后得到的;
匹配模块305,用于根据所述匹配度,从各补充后标准文本数据对应的各标准文本数据中确定出与所述目标文本数据相匹配的标准文本数据。
可选地,所述相关性确定模块302具体用于,对所述待匹配文本数据进行分析,确定出所述待匹配文本数据包含的每个文本语句,并通过在所述待匹配文本数据中插入指定的分隔符,从所述待匹配文本数据中划分出各文本语句;针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性。
可选地,所述筛选模块303具体用于,针对所述待匹配文本数据中包含的每个文本语句,生成该文本语句包含的每个字符以及分隔符的初始特征表示,通过多轮优化迭代,根据所述分隔符的所述初始特征表示与该文本语句包含的每个字符的所述初始特征表示之间的注意力权重,对该文本语句包含的每个字符以及分隔符的初始特征表示进行优化,得到该文本语句包含的每个字符以及分隔符的优化后特征表示,所述初始特征表示用于表征所述字符本身、所述字符在该文本语句中的位置、所述字符在所述待匹配文本数据中的位置;其中,针对每轮优化迭代,确定该轮优化迭代中该文本语句包含的每个字符以及分隔符的基础特征表示,根据该轮优化迭代中该文本语句包含的分隔符以及该文本语句包含的每个字符之间的注意力权重,对该文本语句包含的分隔符的基础特征表示以及该文本语句包含的每个字符的基础特征表示进行优化,得到该轮优化迭代后该文本语句包含的每个字符的优化后特征表示以及该文本语句包含的分隔符的优化后特征表示,直到满足预设的终止条件为止,所述基础特征表示是将该文本语句包含的每个字符以及分隔符的初始特征表示优化迭代至上一轮后得到的;根据该文本语句包含的每个字符以及分隔符的优化后特征表示,确定该文本语句的特征表示;根据各文本语句对应的相关性,以及各文本语句的特征表示,从各文本语句中筛选出各目标文本语句。
可选地,所述筛选模块303具体用于,针对所述待匹配文本数据中包含的每个文本语句,根据该文本语句与其他文本语句之间的相关性,确定该文本语句与其他文本语句之间的注意力权重,并根据该文本语句与其他文本语句之间的注意力权重,对该文本语句的特征表示进行优化,得到该文本语句的优化后特征表示;根据该文本语句的优化后特征表示,确定出该文本语句对应的重要性权重,判断该文本语句对应的重要性权重是否超过预设阈值;若是,则确定该文本语句为目标文本语句。
可选地,所述匹配度确定模块304具体用于,通过预设的语言表征模型,提取出所述目标文本数据中的每个字符的特征表示,以及提取出每个补充后标准文本数据中的每个字符的特征表示;确定出所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,以得到相似度矩阵;将所述目标文本数据中的每个字符的特征表示与所述相似度矩阵进行融合,得到所述目标文本数据对应的特征表示;以及,针对每个补充后标准文本数据,将该补充后标准文本数据中的每个字符的特征表示与所述相似度矩阵进行融合,得到该补充后标准文本数据对应的特征表示;根据所述目标文本数据对应的特征表示和每个补充后标准文本数据对应的特征表示,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度。
可选地,所述匹配度确定模块304具体用于,将所述目标文本数据对应的特征表示和每个补充后标准文本数据对应的特征表示输入到预先训练的匹配度确定模型中,以通过所述匹配度确定模型,确定出所述目标文本数据和每个补充后标准文本数据之间的匹配度。
可选地,所述装置还包括:训练模块306;
所述训练模块306具体用于,获取历史文本数据以及所述历史文本数据对应的各补充后标准文本数据;将所述历史文本数据对应的特征表示和所述历史文本数据对应的每个补充后标准文本数据对应的特征表示输入到匹配度确定模型中,以通过所述匹配度确定模型,确定出所述历史文本数据和所述历史文本数据对应的每个补充后标准文本数据之间的匹配度;从所述历史文本数据对应的各补充后标准文本数据中,任意选取出两个补充后标准文本数据,并根据所述历史文本数据和该两个补充后标准文本数据中的每个补充后标准文本数据之间的匹配度,确定该两个补充后标准文本数据之间的排列顺序;以最小化确定出的该两个标准文本数据之间的排列顺序,和该两个补充后标准文本数据之间实际对应的排列顺序之间的偏差为优化目标,对所述匹配度确定模型进行训练。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的一种的方法。
本说明书还提供了图4所示的一种对应于图1的电子设备的示意结构图。如图4所示,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的方法。
当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种文本的匹配方法,其特征在于,包括:
获取待匹配文本数据;
针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性;
根据各文本语句对应的相关性,从各文本语句中筛选出各目标文本语句,并根据所述各目标文本语句,构建目标文本数据;
根据确定出的所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,所述补充后标准文本数据是将与标准文本数据相关的参考文献中的至少部分内容补充到所述标准文本数据后得到的;
根据所述匹配度,从各补充后标准文本数据对应的各标准文本数据中确定出与所述目标文本数据相匹配的标准文本数据。
2.如权利要求1所述的方法,其特征在于,针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性,具体包括:
对所述待匹配文本数据进行分析,确定出所述待匹配文本数据包含的每个文本语句,并通过在所述待匹配文本数据中插入指定的分隔符,从所述待匹配文本数据中划分出各文本语句;
针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性。
3.如权利要求2所述的方法,其特征在于,根据各文本语句对应的相关性,从各文本语句中筛选出各目标文本语句,具体包括:
针对所述待匹配文本数据中包含的每个文本语句,生成该文本语句包含的每个字符以及分隔符的初始特征表示,通过多轮优化迭代,根据所述分隔符的所述初始特征表示与该文本语句包含的每个字符的所述初始特征表示之间的注意力权重,对该文本语句包含的每个字符以及分隔符的初始特征表示进行优化,得到该文本语句包含的每个字符以及分隔符的优化后特征表示,所述初始特征表示用于表征所述字符本身、所述字符在该文本语句中的位置、所述字符在所述待匹配文本数据中的位置;其中,
针对每轮优化迭代,确定该轮优化迭代中该文本语句包含的每个字符以及分隔符的基础特征表示,根据该轮优化迭代中该文本语句包含的分隔符以及该文本语句包含的每个字符之间的注意力权重,对该文本语句包含的分隔符的基础特征表示以及该文本语句包含的每个字符的基础特征表示进行优化,得到该轮优化迭代后该文本语句包含的每个字符的优化后特征表示以及该文本语句包含的分隔符的优化后特征表示,直到满足预设的终止条件为止,所述基础特征表示是将该文本语句包含的每个字符以及分隔符的初始特征表示优化迭代至上一轮后得到的;
根据该文本语句包含的每个字符以及分隔符的优化后特征表示,确定该文本语句的特征表示;
根据各文本语句对应的相关性,以及各文本语句的特征表示,从各文本语句中筛选出各目标文本语句。
4.如权利要求3所述的方法,其特征在于,根据各文本语句对应的相关性,以及各文本语句的特征表示,从各文本语句中筛选出各目标文本语句,具体包括:
针对所述待匹配文本数据中包含的每个文本语句,根据该文本语句与其他文本语句之间的相关性,确定该文本语句与其他文本语句之间的注意力权重,并根据该文本语句与其他文本语句之间的注意力权重,对该文本语句的特征表示进行优化,得到该文本语句的优化后特征表示;
根据该文本语句的优化后特征表示,确定出该文本语句对应的重要性权重,判断该文本语句对应的重要性权重是否超过预设阈值;
若是,则确定该文本语句为目标文本语句。
5.如权利要求1所述的方法,其特征在于,根据确定出的所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,具体包括:
通过预设的语言表征模型,提取出所述目标文本数据中的每个字符的特征表示,以及提取出每个补充后标准文本数据中的每个字符的特征表示;
确定出所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,以得到相似度矩阵;
将所述目标文本数据中的每个字符的特征表示与所述相似度矩阵进行融合,得到所述目标文本数据对应的特征表示;以及,
针对每个补充后标准文本数据,将该补充后标准文本数据中的每个字符的特征表示与所述相似度矩阵进行融合,得到该补充后标准文本数据对应的特征表示;
根据所述目标文本数据对应的特征表示和每个补充后标准文本数据对应的特征表示,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度。
6.如权利要求5所述的方法,其特征在于,根据所述目标文本数据对应的特征表示和每个补充后标准文本数据对应的特征表示,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,具体包括:
将所述目标文本数据对应的特征表示和每个补充后标准文本数据对应的特征表示输入到预先训练的匹配度确定模型中,以通过所述匹配度确定模型,确定出所述目标文本数据和每个补充后标准文本数据之间的匹配度。
7.如权利要求6所述的方法,其特征在于,训练所述匹配度确定模型,具体包括:
获取历史文本数据以及所述历史文本数据对应的各补充后标准文本数据;
将所述历史文本数据对应的特征表示和所述历史文本数据对应的每个补充后标准文本数据对应的特征表示输入到匹配度确定模型中,以通过所述匹配度确定模型,确定出所述历史文本数据和所述历史文本数据对应的每个补充后标准文本数据之间的匹配度;
从所述历史文本数据对应的各补充后标准文本数据中,任意选取出两个补充后标准文本数据,并根据所述历史文本数据和该两个补充后标准文本数据中的每个补充后标准文本数据之间的匹配度,确定该两个补充后标准文本数据之间的排列顺序;
以最小化确定出的该两个标准文本数据之间的排列顺序,和该两个补充后标准文本数据之间实际对应的排列顺序之间的偏差为优化目标,对所述匹配度确定模型进行训练。
8.一种文本的匹配装置,其特征在于,包括:
获取模块,用于获取待匹配文本数据;
相关性确定模块,用于针对从所述待匹配文本数据中划分出的每个文本语句,确定该文本语句与其他文本语句之间的相关性,作为该文本语句对应的相关性;
筛选模块,用于根据各文本语句对应的相关性,从各文本语句中筛选出各目标文本语句,并根据所述各目标文本语句,构建目标文本数据;
匹配度确定模块,用于根据确定出的所述目标文本数据中的每个字符的特征表示和确定出的每个补充后标准文本数据中的每个字符的特征表示之间的相似度,确定所述目标文本数据和每个补充后标准文本数据之间的匹配度,所述补充后标准文本数据是将与标准文本数据相关的参考文献中的至少部分内容补充到所述标准文本数据后得到的;
匹配模块,用于根据所述匹配度,从各补充后标准文本数据对应的各标准文本数据中确定出与所述目标文本数据相匹配的标准文本数据。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310361604.8A CN116108163B (zh) | 2023-04-04 | 2023-04-04 | 一种文本的匹配方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310361604.8A CN116108163B (zh) | 2023-04-04 | 2023-04-04 | 一种文本的匹配方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116108163A true CN116108163A (zh) | 2023-05-12 |
CN116108163B CN116108163B (zh) | 2023-06-27 |
Family
ID=86262341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310361604.8A Active CN116108163B (zh) | 2023-04-04 | 2023-04-04 | 一种文本的匹配方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116108163B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111581374A (zh) * | 2020-05-09 | 2020-08-25 | 联想(北京)有限公司 | 文本的摘要获取方法、装置及电子设备 |
CN112256828A (zh) * | 2020-10-20 | 2021-01-22 | 平安科技(深圳)有限公司 | 医学实体关系抽取方法、装置、计算机设备及可读存储介质 |
CN112347791A (zh) * | 2020-11-06 | 2021-02-09 | 北京奇艺世纪科技有限公司 | 文本匹配模型的构建方法、系统、计算机设备及存储介质 |
CN112541075A (zh) * | 2020-10-30 | 2021-03-23 | 中科曙光南京研究院有限公司 | 一种警情文本的标准案发时间提取方法及系统 |
CN112800763A (zh) * | 2021-04-14 | 2021-05-14 | 北京金山云网络技术有限公司 | 数据处理方法、医学文本数据处理方法、装置及电子设备 |
CN113254631A (zh) * | 2020-02-13 | 2021-08-13 | 阿里巴巴集团控股有限公司 | 数据处理、实体对象的处理及提供方法、设备及存储介质 |
WO2021184552A1 (zh) * | 2020-03-19 | 2021-09-23 | 平安科技(深圳)有限公司 | 医疗文本搜索方法、装置、计算机设备及存储介质 |
CN113656547A (zh) * | 2021-08-17 | 2021-11-16 | 平安科技(深圳)有限公司 | 文本匹配方法、装置、设备及存储介质 |
CN113704513A (zh) * | 2021-07-27 | 2021-11-26 | 北京三快在线科技有限公司 | 一种模型训练的方法、信息展示的方法以及装置 |
CN113887235A (zh) * | 2021-09-24 | 2022-01-04 | 北京三快在线科技有限公司 | 一种信息推荐的方法及装置 |
CN114254080A (zh) * | 2021-12-22 | 2022-03-29 | 中国工商银行股份有限公司 | 一种文本匹配方法、装置及设备 |
CN115495553A (zh) * | 2022-09-20 | 2022-12-20 | 中国平安人寿保险股份有限公司 | 查询文本排序方法、装置、计算机设备及存储介质 |
WO2023273596A1 (zh) * | 2021-06-29 | 2023-01-05 | 北京字节跳动网络技术有限公司 | 确定文本相关性的方法、装置、可读介质及电子设备 |
CN115576975A (zh) * | 2022-10-08 | 2023-01-06 | 浙江极氪智能科技有限公司 | 一种数据查询方法、装置、设备和介质 |
CN115718801A (zh) * | 2022-11-29 | 2023-02-28 | 微梦创科网络科技(中国)有限公司 | 文本处理方法、模型的训练方法、装置、设备及存储介质 |
-
2023
- 2023-04-04 CN CN202310361604.8A patent/CN116108163B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113254631A (zh) * | 2020-02-13 | 2021-08-13 | 阿里巴巴集团控股有限公司 | 数据处理、实体对象的处理及提供方法、设备及存储介质 |
WO2021184552A1 (zh) * | 2020-03-19 | 2021-09-23 | 平安科技(深圳)有限公司 | 医疗文本搜索方法、装置、计算机设备及存储介质 |
CN111581374A (zh) * | 2020-05-09 | 2020-08-25 | 联想(北京)有限公司 | 文本的摘要获取方法、装置及电子设备 |
CN112256828A (zh) * | 2020-10-20 | 2021-01-22 | 平安科技(深圳)有限公司 | 医学实体关系抽取方法、装置、计算机设备及可读存储介质 |
CN112541075A (zh) * | 2020-10-30 | 2021-03-23 | 中科曙光南京研究院有限公司 | 一种警情文本的标准案发时间提取方法及系统 |
CN112347791A (zh) * | 2020-11-06 | 2021-02-09 | 北京奇艺世纪科技有限公司 | 文本匹配模型的构建方法、系统、计算机设备及存储介质 |
CN112800763A (zh) * | 2021-04-14 | 2021-05-14 | 北京金山云网络技术有限公司 | 数据处理方法、医学文本数据处理方法、装置及电子设备 |
WO2023273596A1 (zh) * | 2021-06-29 | 2023-01-05 | 北京字节跳动网络技术有限公司 | 确定文本相关性的方法、装置、可读介质及电子设备 |
CN113704513A (zh) * | 2021-07-27 | 2021-11-26 | 北京三快在线科技有限公司 | 一种模型训练的方法、信息展示的方法以及装置 |
CN113656547A (zh) * | 2021-08-17 | 2021-11-16 | 平安科技(深圳)有限公司 | 文本匹配方法、装置、设备及存储介质 |
CN113887235A (zh) * | 2021-09-24 | 2022-01-04 | 北京三快在线科技有限公司 | 一种信息推荐的方法及装置 |
CN114254080A (zh) * | 2021-12-22 | 2022-03-29 | 中国工商银行股份有限公司 | 一种文本匹配方法、装置及设备 |
CN115495553A (zh) * | 2022-09-20 | 2022-12-20 | 中国平安人寿保险股份有限公司 | 查询文本排序方法、装置、计算机设备及存储介质 |
CN115576975A (zh) * | 2022-10-08 | 2023-01-06 | 浙江极氪智能科技有限公司 | 一种数据查询方法、装置、设备和介质 |
CN115718801A (zh) * | 2022-11-29 | 2023-02-28 | 微梦创科网络科技(中国)有限公司 | 文本处理方法、模型的训练方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
CHENGKAI WU: "LabCor:Multi-label classification using a label correction strategy", SPRINGLINK, pages 5414 - 5434 * |
汤柳君: "基于深度学习的中文自动问答与校对研究", 中国优秀硕士学位论文全文数据库, pages 138 - 712 * |
Also Published As
Publication number | Publication date |
---|---|
CN116108163B (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111401066B (zh) | 基于人工智能的词分类模型训练方法、词处理方法及装置 | |
JP7164843B2 (ja) | 医療記録問題リスト生成 | |
US8935155B2 (en) | Method for processing medical reports | |
CN111951805A (zh) | 一种文本数据处理方法及装置 | |
CN116227474B (zh) | 一种对抗文本的生成方法、装置、存储介质及电子设备 | |
CN112905735A (zh) | 用于自然语言处理的方法和设备 | |
CN110427486B (zh) | 身体病况文本的分类方法、装置及设备 | |
US20210183526A1 (en) | Unsupervised taxonomy extraction from medical clinical trials | |
CN110033382B (zh) | 一种保险业务的处理方法、装置及设备 | |
CN112151183A (zh) | 一种基于Lattice LSTM模型的中文电子病历的实体识别方法 | |
CN112417093B (zh) | 一种模型训练的方法及装置 | |
CN112347781A (zh) | 生成或修改表示输入数据内的关系的本体 | |
Gérardin et al. | Multilabel classification of medical concepts for patient clinical profile identification | |
BOUZILLE et al. | Supervised learning for the ICD-10 coding of French clinical narratives | |
CN116525125B (zh) | 一种虚拟电子病历的生成方法及装置 | |
CN116108163B (zh) | 一种文本的匹配方法、装置、设备及存储介质 | |
CN115048927A (zh) | 一种基于文本分类的病症识别方法、装置及设备 | |
CN112380845B (zh) | 句子噪声设计方法、设备及计算机存储介质 | |
WO2023229483A1 (ru) | Способ и система классификации текста | |
Lu et al. | Renal biopsy recommendation based on text understanding | |
CN117573815B (zh) | 一种基于向量相似度匹配优化的检索增强生成方法 | |
KR102567388B1 (ko) | 면담 내용을 이용하여 검사 세트를 제공하는 처방 보조 방법 | |
Avcu et al. | A tale of two lexica: Investigating computational pressures on word representation with neural networks | |
CN116453702B (zh) | 孤独症行为特征集的数据处理方法、设备、系统及介质 | |
CN117271766A (zh) | 一种医学文本的分析方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |