CN114765072A - 用于数据处理的方法、设备和介质 - Google Patents
用于数据处理的方法、设备和介质 Download PDFInfo
- Publication number
- CN114765072A CN114765072A CN202111022565.6A CN202111022565A CN114765072A CN 114765072 A CN114765072 A CN 114765072A CN 202111022565 A CN202111022565 A CN 202111022565A CN 114765072 A CN114765072 A CN 114765072A
- Authority
- CN
- China
- Prior art keywords
- field
- text
- fields
- text sequence
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Epidemiology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本公开的实施例涉及用于数据处理的方法、设备和介质。根据各种实施例,接收包括受试者或对象的相关信息的文本记录。从文本记录标识与表单中的多个字段中的至少一个字段相关联的至少一个文本序列,多个字段指示感兴趣的多个特征。基于标识的结果,确定多个字段中的相应字段的值。通过这个方案,可以利用结构化的表单来记录受试者或对象的信息,从而使受试者或对象的信息更易于查看、存储和访问。
Description
技术领域
本公开的实施例总体上涉及数据处理,并且更具体地,涉及用于数据处理的方法、设备和介质。
背景技术
目前,数据信息化已经成为广受关注的研究方向。特别地,诸如医学数据之类的专业数据具有类型多、分散性强的特点。例如,医学数据可以包括患者的病历、医学检查报告、影像报告等多种类型的数据。因此,在医学数据的查看、处理和存储等方面还存在诸多不便。因此,期望能够更好地呈现、管理和存储数据的方案。
发明内容
根据本公开的实施例,提供一种用于数据处理的方案。
在本公开的第一方面,提供了一种数据处理的方法。该方法包括:接收包括受试者或对象的相关信息的文本记录。该方法还包括:从文本记录标识与表单中的多个字段中的至少一个字段相关联的至少一个文本序列,多个字段指示感兴趣的多个特征。该方法还包括:基于标识的结果,确定多个字段中的相应字段的值。
根据一些可选实施例,其中文本记录包括医学文本记录并且多个特征包括多个医学特征,多个医学特征包括以下至少一项:生理指标、症状、诊断和疗法。
根据一些可选实施例,其中从文本记录标识与表单中的多个字段中的至少一个字段分别相关联的至少一个文本序列包括:利用标识模型来确定文本记录是否包括与多个字段中的每个字段相关联的文本序列,标识模型针对每个字段的输出指示文本记录中与该字段相关联的文本序列或指示文本记录不存在与该字段相关联的文本序列。
根据一些可选实施例,其中标识模型基于包括正样本集和负样本集的第一数据集被训练,针对多个字段中的每个字段,正样本集包括被标注为与该字段关联的正样本文本序列并且负样本集包括被标注为与该字段不关联的负样本文本序列,并且其中正样本集包括利用与多个字段中的至少一个字段相关联的术语搜索到的至少一个正样本文本序列。
根据一些可选实施例,该方法还包括:如果针对多个字段中的第一字段标识出相关联的第一文本序列,向用户呈现第一文本序列;接收用户的输入以更新第一文本序列;以及将经更新的第一文本序列与第一字段相关联地存储,以用于标识模型的进一步训练。
根据一些可选实施例,其中基于标识的结果确定多个字段中的相应字段的值包括执行以下至少一项:如果针对多个字段中的第二字段标识出相关联的第二文本序列,从第二文本序列提取与第二字段匹配的文本片段,以作为第二字段的值;如果针对多个字段中的第三字段标识出相关联的第三文本序列,从针对第三字段配置的多个候选值中选择与第三文本序列匹配的至少一个值;以及如果多个字段中的第四字段被配置有指示感兴趣的特征存在的第一候选值和指示感兴趣的特征不存在的第二候选值,基于针对第四字段是否标识出相关联的文本序列,为第四字段选择第一候选值或第二候选值。
根据一些可选实施例,其中多个字段包括与目标时间相关的第五字段,并且其中从文本记录标识与表单中的多个字段中的至少一个字段分别相关联的至少一个文本序列包括:从文本记录标识与第五字段相关联的至少一个候选文本序列;以及从至少一个候选文本序列确定包含与目标时间匹配的时间信息的文本序列,以作为与第五字段相关联的文本序列。
根据一些可选实施例,其中确定多个字段中的相应字段的值包括:基于标识出的至少一个文本序列,利用确定模型确定至少一个字段的值,确定模型基于第二数据集被训练,其中:针对多个字段中的每个字段,第二数据集包括多个训练文本序列以及与多个训练文本序列分别关联的该字段的多个值。
根据一些可选实施例,方法还包括:获得多个文件,其中多个文件包括候选医学文本类型的医学文件,候选医学文本类型包括以下至少一项:病历、检查报告和医学影像;基于受试者或对象的标识信息,从多个文件中取回与受试者或对象相关的至少一个文件;以及从至少一个文件确定文本记录。
根据一些可选实施例,其中表单还包括指示受试者或对象的身份的另一字段,并且另一字段的值基于受试者或对象的标识信息被确定。
在本公开的第二方面,提供了一种电子设备。该设备包括:处理单元;以及存储器,耦合至处理单元并且包含存储于其上的指令。指令在由处理单元执行时使设备执行动作:接收包括受试者或对象的相关信息的文本记录;从文本记录标识与表单中的多个字段中的至少一个字段相关联的至少一个文本序列,多个字段指示感兴趣的多个特征;以及基于标识的结果,确定多个字段中的相应字段的值。
根据一些可选实施例,其中文本记录包括医学文本记录并且多个特征包括多个医学特征,多个医学特征包括以下至少一项:生理指标、症状、诊断和疗法。
根据一些可选实施例,其中从文本记录标识与表单中的多个字段中的至少一个字段分别相关联的至少一个文本序列包括:利用标识模型来确定文本记录是否包括与多个字段中的每个字段相关联的文本序列,标识模型针对每个字段的输出指示文本记录中与该字段相关联的文本序列或指示文本记录不存在与该字段相关联的文本序列。
根据一些可选实施例,其中标识模型基于包括正样本集和负样本集的第一数据集被训练,针对多个字段中的每个字段,正样本集包括被标注为与该字段关联的正样本文本序列并且负样本集包括被标注为与该字段不关联的负样本文本序列,并且其中正样本集包括利用与多个字段中的至少一个字段相关联的术语搜索到的至少一个正样本文本序列。
根据一些可选实施例,动作还包括:如果针对多个字段中的第一字段标识出相关联的第一文本序列,向用户呈现第一文本序列;接收用户的输入以更新第一文本序列;以及将经更新的第一文本序列与第一字段相关联地存储,以用于标识模型的进一步训练。
根据一些可选实施例,其中基于标识的结果确定多个字段中的相应字段的值包括执行以下至少一项:如果针对多个字段中的第二字段标识出相关联的第二文本序列,从第二文本序列提取与第二字段匹配的文本片段,以作为第二字段的值;如果针对多个字段中的第三字段标识出相关联的第三文本序列,从针对第三字段配置的多个候选值中选择与第三文本序列匹配的至少一个值;以及如果多个字段中的第四字段被配置有指示感兴趣的特征存在的第一候选值和指示感兴趣的特征不存在的第二候选值,基于针对第四字段是否标识出相关联的文本序列,为第四字段选择第一候选值或第二候选值。
根据一些可选实施例,其中多个字段包括与目标时间相关的第五字段,并且其中从文本记录标识与表单中的多个字段中的至少一个字段分别相关联的至少一个文本序列包括:从文本记录标识与第五字段相关联的至少一个候选文本序列;以及从至少一个候选文本序列确定包含与目标时间匹配的时间信息的文本序列,以作为与第五字段相关联的文本序列。
根据一些可选实施例,其中确定多个字段中的相应字段的值包括:基于标识出的至少一个文本序列,利用确定模型确定至少一个字段的值,确定模型基于第二数据集被训练,其中:针对多个字段中的每个字段,第二数据集包括多个训练文本序列以及与多个训练文本序列分别关联的该字段的多个值。
根据一些可选实施例,动作还包括:获得多个文件,其中多个文件包括候选医学文本类型的医学文件,候选医学文本类型包括以下至少一项:病历、检查报告和医学影像;基于受试者或对象的标识信息,从多个文件中取回与受试者或对象相关的至少一个文件;以及从至少一个文件确定文本记录。
根据一些可选实施例,其中表单还包括指示受试者或对象的身份的另一字段,并且另一字段的值基于受试者或对象的标识信息被确定。
在本公开的第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现根据第一方面的方法的各种实施例。
附图说明
通过参考附图阅读下文的详细描述,本公开的上述以及其他目的、结构和特征将更加清楚。在附图中,以示例性而非限制性的方式示出了本公开的若干实施例,其中:
图1示出了根据本公开的一些实施例的用于实现数据处理的环境的示意图;
图2示出了根据本公开的一些实施例的用于数据处理的方法的流程图;
图3示出了根据本公开的一些实施例的从文本记录标识文本序列的过程的示意图;
图4示出了根据本公开的一些实施例的更新所标识的文本序列的过程的示意图;
图5示出了适于实现本公开的实施例的设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如本文中所使用的,表述“模型”可以从训练数据中学习到相应的输入与输出之间的关联,从而在训练完成后可以针对给定的输入,生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一种机器学习算法,通过使用多层处理单元来处理输入和提供相应输出。神经网络模型是基于深度学习的模型的一个示例。在本文中,“模型”也可以被称为“机器学习模型”、“学习模型”、“机器学习网络”或“学习网络”,这些表述在本文中可互换地使用。
深度学习能够处理输入并且提供相应输出,其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的神经网络通常包括许多隐藏层,从而增加网络的深度。神经网络的各个层按顺序相连,从而前一层的输出被提供作为后一层的输入,其中输入层接收神经网络的输入,而输出层的输出作为神经网络的最终输出。神经网络的每个层包括一个或多个节点(也称为处理节点或神经元),每个节点处理来自上一层的输入。
通常,机器学习大致可以包括三个阶段,即训练阶段、测试阶段和使用阶段(也称为推理阶段)。在训练阶段,给定的模型可以使用大量的训练数据进行训练,不断迭代更新参数值,直到模型能够从训练数据中获取一致的满足预期目标的推理。通过训练,模型可以被认为能够从训练数据中学习从输入到输出之间的关联(也称为输入到输出的映射)。经训练的模型的参数值被确定。在测试阶段,将测试输入应用到训练后的模型,测试模型是否能够提供正确的输出,从而确定模型的性能。在使用阶段,模型可以被用于基于训练得到的参数值,对实际的输入进行处理,确定对应的输出。
如上文简述,期望能够更好地呈现、管理和存储医学数据的方案。目前,电子病历报告表(eCRF)被广泛用于医学数据的记录。然而,将各种类型的医学数据填写到eCRF中需要消耗大量的人力资源。此外,现有的eCRF仅能记录有限类型的医学数据。
根据本公开的实施例,提出了一种用于数据处理的方案。根据该方案,接收包括受试者或对象的相关信息的文本记录。从文本记录标识与表单中的多个字段中的至少一个字段相关联的至少一个文本序列,多个字段指示感兴趣的多个特征。基于标识的结果,确定多个字段中的相应字段的值。通过这个方案,可以利用结构化的表单来记录受试者或对象的信息,从而使受试者或对象的信息更易于查看、存储和访问。
图1示出了根据本公开的一些实施例的用于实现数据处理的环境100的示意图。应当理解,图1示出的实体、元素和模块的数目和布置仅是示例,环境100中可以包括不同数目和不同布置方式的实体、元素和模块。
在图1的环境100中,计算设备110被配置为基于文件120确定表单140中的多个字段的值。计算设备110包括通用计算设备形式的计算设备110。在一些实现中,计算设备110可以被实现为具有计算能力的各种用户终端或服务终端。服务终端可以是各种服务提供方提供的服务器、大型计算设备等。用户终端诸如是任意类型的移动终端、固定终端或便携式终端,包括移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合,包括这些设备的配件和外设或者其任意组合。
计算设备110的组件可以包括但不限于一个或多个处理器或处理单元、存储器、存储设备、一个或多个通信单元、一个或多个输入设备以及一个或多个输出设备。这些组件可以被集成在单个设备上,也可以以云计算架构的形式被设置。在云计算架构中,这些部件可以被远程布置,并且可以一起工作以实现本公开所描述的功能。在一些实现中,云计算提供计算、软件、数据访问和存储服务,它们不需要终端用户知晓提供这些服务的系统或硬件的物理位置或配置。在各种实现中,云计算使用适当的协议通过广域网(诸如因特网)提供服务。例如,云计算提供商通过广域网提供应用,并且它们可以通过web浏览器或任何其他计算组件被访问。云计算架构的软件或组件以及相应的数据可以被存储在远程位置处的服务器上。云计算环境中的计算资源可以在远程数据中心位置处被合并或者它们可以被分散。云计算基础设施可以通过共享数据中心提供服务,即使它们表现为针对用户的单一访问点。因此,可以使用云计算架构从远程位置处的服务提供商提供本文所描述的组件和功能。备选地,它们也可以从常规服务器被提供,或者它们可以直接或以其他方式被安装在客户端设备上。
计算设备110可以用于实施根据本公开的实施例的数据处理方法。如图1所示,计算设备110接收与受试者或对象130相关联的文件120。受试者或对象130可以是任何实体,例如患者、企业、组织、物品等。文件120记载受试者或对象130的相关信息。例如,文件120可以记载患者的就诊信息。文件120可以包括各种类型的文件,文件类型的示例包括文档、图片、音频、视频等。例如,文件120可以包括针对受试者或对象130的病历121、医学检查报告122、医学影像123等。基于与受试者或对象130关联的文件120,计算设备110被配置为将受试者或对象130的相关信息以表单的形式呈现。例如,计算设备110可以将患者的相关医学信息以表单的形式呈现,从而使相关医学信息更易于查看、存储和访问。
如图1所示,计算设备110利用文件120中记载的受试者或对象130的相关信息来确定表单140中的多个字段(也称为数据元素)的值。表单140中的多个字段可以包括多种类型的字段。例如,表单140可以包括文本框类型的字段141、单选框类型的字段142和复选框类型的字段143。表单140中的字段可以是预先定义的,并且可以根据需要增加、删除或替换。基于表单140,计算设备110可以将文件120中记载的受试者或对象130的各种类型的信息以结构化的形式记录,从而使得受试者或对象130的相关信息更易于查看、存储和访问。
图2示出了根据一些实施例的用于数据处理的方法200的流程图。应理解,虽然在图中以特定顺序示出各个步骤,但这些步骤中的一些或全部可以以其他顺序或者并行执行。例如,在图2中,框210可以由多个步骤执行。下文将参考图2来描述基于受试者或对象130的文件120来填充表单140的细节。方法200可以由图1的计算设备110实现。
在框210,计算设备110接收记载受试者或对象130的相关信息的文件120。文件120可以记载以文本形式呈现的受试者或对象130的相关信息。相关信息可以包括病史、诊断结果、对于影像的描述、对于影像的特征的描述、临床症状、对后续医学治疗或检查的建议等。
在一些可选实施例中,可以基于与受试者或对象130关联的文件120来确定包括受试者或对象130的相关信息的文本记录。在一些可选实施例中,可以从非文本形式的文件提取文本记录。例如,可以利用图像-文本识别等技术从图像类型的文件提取对应的文本以作为文本记录;也可以利用适合的技术从音频、视频类型的文件提取对应的文本以作为文本记录。在一些可选实施例中,文本记录可以包括来自多个文件120的数据。在一些可选实施例中,文本记录可以包括医学文本记录。例如,医学文本记录可以包括来自患者的病历121、医学检查报告122以及医学影像123的信息。
在一些可选实施例中,计算设备110可以访问存储多个候选文件的数据库。在数据库中,多个候选文件可能与一个或多个受试者或对象130相关联。通常,每个候选文件可能在特定位置呈现受试者或对象130的标识信息。计算设备110可以基于受试者或对象130的标识信息从多个候选文件中取回与同一受试者或对象130相关的至少一个文件。在一些示例中,受试者或对象130的标识信息可以包括受试者或对象130的姓名、身份证号码、医保账号、公司注册名称、股票代码等。具体地,计算设备110可以利用受试者或对象130的姓名来从候选文件中找出针对受试者或对象130的病历121、医学影像123等。在筛选出受试者或对象130的至少一个文件后,计算设备110可以从至少一个文件来确定要用于后续处理的文本记录。
在一些可选实施例中,多个候选文件可以包括候选医学文本类型的医学文件。候选医学文本类型可以包括病历、检查报告、医学影像等。例如,计算设备110可以从多个医学文件中取回与特定患者相关联的病历121和医学影像123。计算设备110可以从病历121直接提取文本信息来生成文本记录。附加地或备选地,计算设备110可以利用图像识别算法来获得描述医学影像123的文本信息并将其添加到针对该特定患者的文本记录中。
在框220,计算设备110从文本记录标识与表单140中的多个字段中的至少一个字段相关联的至少一个文本序列。文本序列可以包括文本记录中的一个或多个连续的单词、词组或句子。多个字段指示感兴趣的多个特征。例如,在受试者或对象130为企业的情况下,感兴趣的多个特征可以包括创立时间、股权结构、资金情况等。
在一些可选实施例中,多个特征可以包括多个医学特征。医学特征可以包括与医学有关的各种属性,例如生理指标、症状、诊断和疗法以及诊疗历史等。具体地,医学特征的示例可以包括血压、心率、发热、咳嗽、最近三次的血压测量值等。
在一些可选实施例中,表单140中的一个或多个字段可以基于电子病历报告表来确定。例如,可以基于eCRF所需的信息来设置表单140中的多个字段。备选地或附加地,可以基于历史文本记录来设置表单140中的一个或多个字段。例如,可以统计历史文本记录中出现频率较高的特征来设置多个字段。备选地或附加地,可以人工设置表单140中的多个字段。应理解,表单140中的字段还可以根据需要来增加或删减。下文将参考图3来描述从文本记录标识与字段关联的文本序列的细节。
图3示出了根据本公开的一些实施例的从文本记录标识文本序列的过程300的示意图。图3示出了受试者或对象130的示例文本记录310。如图3所示,文本记录310可以包括受试者或对象130的标识信息311。标识信息311可以是受试者或对象130的姓名。文本记录310可以包括受试者或对象130的现病史、既往史、过敏史等。文本记录310还可以包括受试者或对象130的症状、生理指标的检查结果等。文本记录310还可以包括时间信息。例如,受试者或对象130的诊疗日期、生理指标的检查日期等。
图3还示出了示例表单320。如图3所示,表单320可以包括指示受试者或对象130的身份的字段321、指示受试者或对象130是否有高血压的字段322、指示受试者或对象130最近一次的血压测量值的字段323、以及指示受试者或对象130的症状的字段324。指示受试者或对象130是否有高血压的字段322可以是单选类型(也称为布尔型)的字段。指示受试者或对象130最近一次的血压测量值的字段323可以是字符串类型的字段。指示受试者或对象130的症状的字段324可以是复选类型的字段。
在一些可选实施例中,计算设备110可以利用标识模型来确定文本记录310是否包括与多个字段中的每个字段相关联的文本序列。标识模型可以基于机器学习或深度学习技术构造和训练出的模型。标识模型的输入可以是字段所指示的特征。标识模型的输入还可以基于该特征而被构造的。标识模型针对每个字段的输出可以指示文本记录310中与该字段相关联的文本序列或指示文本记录310不存在与该字段相关联的文本序列。
可以利用标识模型基于字段所指示的特征来确定文本记录310是否包括与字段相关联的文本序列。附加地,可以利用标识模型基于字段所指示的特征来确定文本记录310中与该字段相关联的文本序列。例如,如图3所示,标识模型可以确定与字段321相关联的文本序列311、与字段322相关联的文本序列312、与字段323相关联的文本序列313、以及与字段324相关联的文本序列314。
标识模型可以利用多种算法来实现。在一些可选实施例中,标识模型可以利用关键词匹配等自然语言处理算法来确定文本记录310中是否包括与字段关联的文本序列,以及确定与字段关联的文本序列。例如,标识模型可以通过确定文本记录310中是否包括与“高血压”匹配的关键词来确定是否包括与字段322关联的文本序列。标识模型还可以利用句法分析等自然语言处理算法来确定与字段关联的文本序列。例如,基于关键词“高血压”和句法分析,标识模型可以确定与字段322关联的文本序列312。
在一些可选实施例中,标识模型可以包括基于包括正样本集和负样本集的第一数据集被训练的神经网络模型。在一些可选实施例中,标识模型可以包括针对多个字段中的每个字段分别被训练的模型。例如,标识模型中可以包括多个子模型,每个子模型针对每个字段被分别训练。在一些可选实施例中,标识模型可以包括针对多个字段中的一些或全部字段一起被训练的模型。例如,标识模型中可以包括用于关键词匹配的第一子模型以及用于句法分析的第二子模型。第一子模型可以被训练用于字段322和字段323。第二子模型可以被训练用于字段323。本公开的范围在标识模型的架构和训练方面不受限制。
针对每个字段,第一数据集中的正样本集包括被标注为与该字段关联的正样本文本序列,并且负样本集包括被标注为与该字段不关联的负样本文本序列。可以将包括由字段指示的医学特征的信息的文本序列标注为与该字段相关联。例如,针对字段322,包括文本“高血压”的文本序列可以被标注为与字段322相关联。例如,针对字段322的正样本文本序列可以包括示例“患有高血压”、“有高血压病史”等。针对字段322的负样本文本序列可以包括示例“血压正常”、“患有高血糖”等。在一些可选实施例中,第一数据集还可以包括被标注为与字段具有负关联的样本文本序列。例如,针对字段322的具有负关联的文本序列可以包括示例“经诊断患者没有高血压”。
在一些可选实施例中,标识模型可以是问答模型。字段所指示的特征可以作为问答模型中的问题,与该字段关联的文本序列可以作为问答模型中的答案。问答模型可以基于上述正样本集来进行训练。在一些可选实施例中,正样本集和负样本集可以由人工标注获得。例如,可以通过由医生对历史医学文本记录进行标注来获得针对每个字段的正样本集和负样本集。
在一些可选实施例中,正样本集可以包括利用与多个字段中的至少一个字段相关联的术语搜索到的至少一个正样本文本序列。具体地,可以基于与字段所指示的特征关联的术语来搜索描述该术语的文本序列。例如,针对字段322,可以基于医学术语“高血压”来搜索描述“高血压”的文本序列。可以在教科书、词典、互联网、知识库等不同来源搜索描述“高血压”的文本序列。例如,可以从教科书收集“高血压”的定义,以作为针对字段322的正样本文本序列。作为另一示例,可以从教科书收集“股份制公司”的定义,以作为针对指示企业是否为股份制公司的字段的正样本文本序列。
以此方式,可以扩充正样本集以解决正样本集数量较少的问题。此外,通过利用描述术语的文本序列作为正样本文本序列,经训练的标识模型可以更智能地标识与字段相关联的文本序列。例如,标识模型可以将仅描述了“高血压”的症状而没有显式地记载“高血压”的文本序列标识为与字段322相关联。
在一些可选实施例中,表单320中可以包括与时间相关的字段。与时间相关的字段的示例可以包括指示目标时间时的医学特征的字段。例如,字段323可以是与时间相关的字段。针对与时间相关的字段,计算设备110可以从文本记录310标识与相关联的至少一个候选文本序列。计算设备110可以从该至少一个候选文本序列确定包含与目标时间匹配的时间信息的文本序列,以作为与该字段相关联的文本序列。
例如,针对字段323,计算设备110可以从文本记录310标识出候选文本序列“自测血压为210/100mmHg”和“血压可控制在130-150/60-70mmHg”。计算设备110可以利用自然语言处理算法基于候选文本序列的上下文信息来确定与候选文本序列关联的时间信息。例如,候选文本序列“自测血压为210/100mmHg”的时间信息为“2020-01-02”。候选文本序列“血压可控制在130-150/60-70mmHg”的时间信息为“2020-01-23”。计算设备110可以基于对时间信息的分析来确定候选文本序列“血压可控制在130-150/60-70mmHg”包含与目标时间“最近一次”匹配的时间信息,从而确定与字段323关联的值为“130-150/60-70mmHg”。
在一些可选实施例中,计算设备110还可以向用户呈现与字段标相关联的文本序列。计算设备110可以接收用户的输入以更新该文本序列。计算设备110可以将经更新的该文本序列与该字段相关联地存储,以用于标识模型的进一步训练。下文将参考图4来描述更新所标识的文本序列的细节。
图4示出了根据本公开的一些实施例的更新所标识的文本序列的过程400的示意图。如图4所示,计算设备110可以向用户呈现由标识模型预测的、与字段423关联的文本序列411。计算设备110可以突出地显示由标识模型预测的文本序列411,例如以方框作为视觉指示。计算设备110可以接收用户的输入以更新所预测的文本序列411。用户的输入可以是经由用户界面对文本记录410中的文本序列的选择、点击、加粗等操作。对所预测的文本序列411的更新可以包括对文本序列411的长度的改变。例如,改变文本序列411所包括的单词、词组、或语句的数目。备选地,更新文本序列411还可以包括选择文本记录410中的其他文本序列以作为新的文本序列。例如,计算设备110可以接收用户对文本序列412的选择,并且将文本序列412作为经更新的文本序列。计算设备110可以将经更新的文本序列,也即文本序列412与字段423相关联地存储,以用于标识模型的进一步训练。
以此方式,通过向用户呈现由标识模型预测的文本序列并且接收用户对文本序列的更新,可以提高标识的准确性。此外,由用户标识的与字段相关联的文本序列可以用作训练数据来进一步训练标识模型,从而提高标识模型的标识的准确性。
继续参考图2,在框230,计算设备110基于标识的结果,确定多个字段中的相应字段的值。在一些可选实施例中,针对被配置有指示感兴趣的特征存在的第一候选值和指示感兴趣的特征不存在的第二候选值的字段,可以基于针对该字段是否标识出相关联的文本序列来为该字段选择第一候选值或第二候选值。例如,针对字段322,标识模型可以标识相关联的文本序列312。在这种情况下,计算设备110可以基于文本序列312被标识而确定字段323的值为“是”。
在一些可选实施例中,如果针对字段标识出相关联的文本序列,可以从针对该字段配置的多个候选值中选择与该文本序列匹配的至少一个值。例如,针对字段324,标识模型可以确定相关联的文本序列314。在这种情况下,计算设备110可以基于文本序列314确定与文本序列314匹配的字段324的值为“以上皆无”。
在一些可选实施例中,如果针对字段标识出相关联的文本序列,可以从文本序列提取与该字段匹配的文本片段,以作为第二字段的值。例如,针对字段323,标识模型可以确定相关联的文本序列313。在这种情况下,计算设备110可以从文本序列313提取文本片段“130-150/60-70mmHg”作为字符串类型的字段323的值。
在一些可选实施例中,基于标识出的文本序列,可以利用确定模型确定相应字段的值。确定模型可以是多种类型的神经网络模型。例如,确定模型可以是问答模型、自然语言处理模型等。确定模型可以基于第二数据集被训练。针对每个字段,第二数据集可以包括多个训练文本序列以及与多个训练文本序列分别关联的该字段的多个值。第二数据集可以通过专业人员对历史文本记录的标注来获得。例如,针对字段323,训练文本序列的示例可以包括“血压的测试结果为210/100mmHg”,对应的值为“210/100mmHg”。训练文本序列的示例还可以包括“测得血压200/100mmHg”,对应的值为“200/100mmHg”。本公开的范围在确定模型的架构和训练方面不受限制。
上文参考图1至图4描述了根据本公开的实施例的数据处理的方案。应理解,根据本公开的实施例还提出了一种用于标注数据的方案。在该方案中,计算设备110接收记录受试者或对象130的相关信息的文本记录,并且将文本记录呈现给专业人员。计算设备110可以接收专业人员经由用户界面对于文本记录的操作,例如选择、点击等。计算设备110可以基于专业人员对文本记录中的文本序列的选择,从所选择的文本记录标识与表单140中的多个字段中的至少一个字段分别相关联的至少一个文本序列。计算设备110基于标识的结果可以确定表单140中的多个字段中的相应字段的值。
以此方式,可以使用人机交互的方式来提高专业人员标注专业数据的效率。例如,专业人员可以仅执行选择文本序列的操作,可以由计算设备110基于所选择的文本序列来自动确定相应字段的值。在另一示例中,可以由计算设备110自动标识文本序列并且自动确定相应字段的值,专业人员仅在计算设备110的预测有误时执行人工标注。此外,利用此方案,可以在专业人员的标注过程中方便地利用文本记录中的受试者或对象的信息来填充结构化的表单,从而使信息更易于查看、存储和访问。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。图1的计算设备110的全部或部分组件可以被实现在设备500。如图5所示,设备500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令,来执行各种适当的动作和处理。在RAM 503中,还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,例如方法400,可由处理单元501执行。例如,在一些实施例中,方法400可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序被加载到RAM 503并由CPU 501执行时,可以执行上文描述的方法400的一个或多个动作。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (15)
1.一种数据处理的方法,包括:
接收包括受试者或对象的相关信息的文本记录;
从所述文本记录标识与表单中的多个字段中的至少一个字段相关联的至少一个文本序列,所述多个字段指示感兴趣的多个特征;以及
基于所述标识的结果,确定所述多个字段中的相应字段的值。
2.根据权利要求1所述的方法,其中所述文本记录包括医学文本记录并且所述多个特征包括多个医学特征,所述多个医学特征包括以下至少一项:生理指标、症状、诊断和疗法。
3.根据权利要求1所述的方法,其中从所述文本记录标识与表单中的多个字段中的至少一个字段相关联的至少一个文本序列包括:
利用标识模型来确定所述文本记录是否包括与所述多个字段中的每个字段相关联的文本序列,所述标识模型针对每个字段的输出指示所述文本记录中与所述该字段相关联的文本序列或指示所述文本记录不存在与该字段相关联的文本序列。
4.根据权利要求3所述的方法,其中所述标识模型基于包括正样本集和负样本集的第一数据集被训练,针对所述多个字段中的每个字段,所述正样本集包括被标注为与该字段关联的正样本文本序列并且所述负样本集包括被标注为与该字段不关联的负样本文本序列,并且
其中所述正样本集包括利用与所述多个字段中的至少一个字段相关联的术语搜索到的至少一个正样本文本序列。
5.根据权利要求3所述的方法,还包括:
如果针对所述多个字段中的第一字段标识出相关联的第一文本序列,向用户呈现所述第一文本序列;
接收所述用户的输入以更新所述第一文本序列;以及
将经更新的所述第一文本序列与所述第一字段相关联地存储,以用于所述标识模型的进一步训练。
6.根据权利要求1所述的方法,其中基于所述标识的结果确定所述多个字段中的相应字段的值包括执行以下至少一项:
如果针对所述多个字段中的第二字段标识出相关联的第二文本序列,从所述第二文本序列提取与所述第二字段匹配的文本片段,以作为所述第二字段的值;
如果针对所述多个字段中的第三字段标识出相关联的第三文本序列,从针对所述第三字段配置的多个候选值中选择与所述第三文本序列匹配的至少一个值;以及
如果所述多个字段中的第四字段被配置有指示感兴趣的特征存在的第一候选值和指示感兴趣的特征不存在的第二候选值,基于针对所述第四字段是否标识出相关联的文本序列,为所述第四字段选择所述第一候选值或所述第二候选值。
7.根据权利要求1所述的方法,其中所述多个字段包括与目标时间相关的第五字段,并且其中从所述文本记录标识与表单中的多个字段中的至少一个字段相关联的至少一个文本序列包括:
从所述文本记录标识与所述第五字段相关联的至少一个候选文本序列;以及
从所述至少一个候选文本序列确定包含与所述目标时间匹配的时间信息的文本序列,以作为与所述第五字段相关联的文本序列。
8.根据权利要求1所述的方法,其中确定所述多个字段中的相应字段的值包括:
基于标识出的所述至少一个文本序列,利用确定模型确定所述至少一个字段的值,所述确定模型基于第二数据集被训练,其中:
针对所述多个字段中的每个字段,所述第二数据集包括多个训练文本序列以及与所述多个训练文本序列分别关联的该字段的多个值。
9.根据权利要求1所述的方法,还包括:
获得多个文件,其中所述多个文件包括候选医学文本类型的医学文件,所述候选医学文本类型包括以下至少一项:病历、检查报告和医学影像;
基于所述受试者或对象的标识信息,从所述多个文件中取回与所述受试者或对象相关的至少一个文件;以及
从所述至少一个文件确定所述文本记录。
10.根据权利要求1所述的方法,其中所述表单还包括指示所述受试者或对象的身份的另一字段,并且所述另一字段的值基于所述受试者或对象的标识信息被确定。
11.一种电子设备,包括:
处理单元;以及
存储器,耦合至所述处理单元并且包含存储于其上的指令,所述指令在由所述处理单元执行时使所述设备执行动作:
接收包括受试者或对象的相关信息的文本记录;
从所述文本记录标识与表单中的多个字段中的至少一个字段相关联的至少一个文本序列,所述多个字段指示感兴趣的多个特征;以及
基于所述标识的结果,确定所述多个字段中的相应字段的值。
12.根据权利要求11所述的设备,其中所述文本记录包括医学文本记录并且所述多个特征包括多个医学特征,所述多个医学特征包括以下至少一项:生理指标、症状、诊断和疗法。
13.根据权利要求11所述的设备,其中所述标识模型基于包括正样本集和负样本集的第一数据集被训练,针对所述多个字段中的每个字段,所述正样本集包括被标注为与该字段关联的正样本文本序列并且所述负样本集包括被标注为与该字段不关联的负样本文本序列,并且
其中所述正样本集包括利用与所述多个字段中的至少一个字段相关联的术语搜索到的至少一个正样本文本序列。
14.根据权利要求11所述的设备,其中基于所述标识的结果确定所述多个字段中的相应字段的值包括执行以下至少一项:
如果针对所述多个字段中的第二字段标识出相关联的第二文本序列,从所述第二文本序列提取与所述第二字段匹配的文本片段,以作为所述第二字段的值;
如果针对所述多个字段中的第三字段标识出相关联的第三文本序列,从针对所述第三字段配置的多个候选值中选择与所述第三文本序列匹配的至少一个值;以及
如果所述多个字段中的第四字段被配置有指示感兴趣的特征存在的第一候选值和指示感兴趣的特征不存在的第二候选值,基于针对所述第四字段是否标识出相关联的文本序列,为所述第四字段选择所述第一候选值或所述第二候选值。
15.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据权利要求1至10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111022565.6A CN114765072A (zh) | 2021-09-01 | 2021-09-01 | 用于数据处理的方法、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111022565.6A CN114765072A (zh) | 2021-09-01 | 2021-09-01 | 用于数据处理的方法、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114765072A true CN114765072A (zh) | 2022-07-19 |
Family
ID=82364754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111022565.6A Pending CN114765072A (zh) | 2021-09-01 | 2021-09-01 | 用于数据处理的方法、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114765072A (zh) |
-
2021
- 2021-09-01 CN CN202111022565.6A patent/CN114765072A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200334416A1 (en) | Computer-implemented natural language understanding of medical reports | |
US10699215B2 (en) | Self-training of question answering system using question profiles | |
US11881293B2 (en) | Methods for automatic cohort selection in epidemiologic studies and clinical trials | |
US11031103B2 (en) | Personalized questionnaire for health risk assessment | |
US11288279B2 (en) | Cognitive computer assisted attribute acquisition through iterative disclosure | |
US11663057B2 (en) | Analytics framework for selection and execution of analytics in a distributed environment | |
US11495332B2 (en) | Automated prediction and answering of medical professional questions directed to patient based on EMR | |
US11334806B2 (en) | Registration, composition, and execution of analytics in a distributed environment | |
US10424403B2 (en) | Adaptive medical documentation system | |
EP3485495A1 (en) | Automated identification of salient finding codes in structured and narrative reports | |
US20240053307A1 (en) | Identifying Repetitive Portions of Clinical Notes and Generating Summaries Pertinent to Treatment of a Patient Based on the Identified Repetitive Portions | |
CN112655047B (zh) | 对医学记录分类的方法 | |
CN110471941B (zh) | 自动定位判断依据的方法、装置及电子设备 | |
CN111755090A (zh) | 病历查找方法、病历查找装置、存储介质与电子设备 | |
US11837343B2 (en) | Identifying repetitive portions of clinical notes and generating summaries pertinent to treatment of a patient based on the identified repetitive portions | |
US20240006039A1 (en) | Medical structured reporting workflow assisted by natural language processing techniques | |
CN114765072A (zh) | 用于数据处理的方法、设备和介质 | |
EP3654339A1 (en) | Method of classifying medical records | |
CN113688854A (zh) | 数据处理方法、装置及计算设备 | |
JP2021507392A (ja) | エンティティ間のコンテキスト的類似性の学習および適用 | |
US20230368892A1 (en) | Method for automating radiology workflow | |
US11636933B2 (en) | Summarization of clinical documents with end points thereof | |
CN114093504A (zh) | 信息生成方法、装置、电子设备及存储介质 | |
CN117350292A (zh) | 一种电子病历命名实体抽取方法、装置、设备及存储介质 | |
CN116403672A (zh) | 用于医学报告撰写的方法、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |