CN108352197A - 由信息提取应用使用的众包文本注释系统 - Google Patents

Abstract

用于突出显示/过滤文本注释系统中的医学记录的相关术语的词汇表基于用户反馈连续更新。为了使该更新的有效性最大化，从系统的所有用户提取反馈，从而提供相关术语的“组来源”词汇表。随着每个用户修改所提供的相关术语的词汇表以将文本注释系统定制为符合用户的偏好，修改被收集并被传递给相关术语的词汇表的提供者。相关术语的词汇表的提供者吸收由词语注释系统的每个用户实施的修改以确定是否为相关术语的公共词汇表的后续用户修改相关术语的词汇表。

Description

由信息提取应用使用的众包文本注释系统

技术领域

本发明涉及医学信息系统领域，并且具体而言涉及使用用户反馈来识别相关词语或短语以用于从文本文档进行高效和有效的数据提取的系统和方法。

背景技术

有效的医学诊断和处置需要患者的当前医学状况的评估以及患者的医学史。如果患者在延长的时间段内与相同初级医师相处，则初级医师可能知道患者的医学史；但随着情况的变化，患者可能需要访问新的初级医师，或者更常见地来自另一学科的医师。这些其他医师不具有原始医师的经验的益处。以类似的方式，特别是就医学专业而言，医师可能不经常看到患者，并且不能预期记住每位患者的医学史。

在这种情况下，医师必须花时间查看患者的医学史，以在形成诊断和预后之前吸收(assimilate)患者的当前状况。由电子医学记录的可用性以及便于高效查看这些记录的计算机应用促进查看患者的医学史的任务。例如，心脏病专家可以将对患者记录的查看限制到被识别为与心脏系统有关的材料。然而，这样的系统通常要求以特定方式组织医学记录信息，例如包括可以用于识别哪些记录能够与医师领域相关的特定HTML字段。

然而，患者记录中的一些能够是自由格式文本的，并且能够包括医师可能发现相关的信息。然而，必须阅读这样的文本记录消耗了医师的时间，而常常没有公开相关信息。

已经开发了工具以促进对自由格式文本记录的高效查看，如图1A-1C图示的。图1A图示了自由格式文本记录的显示。图1B示出了由文本注释系统提供的该文本的显示，所述文本注释系统突出显示与患者的诊断相关的词语和短语(在下文中称为“相关术语”)，使得医师的注意力被引导到这些相关术语。图1C图示了自由格式文本中的仅相关术语的显示，以潜在地将医师的注意力进一步引导到患者记录中的这些相关方面。

在一些实施例中，显示仅提供如图1C中的相关术语，但是当医师“将鼠标移到”所显示的文本上(即，将鼠标指针移动到文本的显示区域内)时，显示改变为整个自由格式文本的显示，诸如图1A或1B图示的。“选择”用于显示患者记录的自由格式文本中的一些或全部的所显示的文本的其它方法对于本领域技术人员而言将是显而易见的。

常规文本注释系统的有效性的关键是这样的“相关术语”的适当识别，以及被提供给医师以定义这样的相关术语的选项。在一些实施例中，可以根据一般医学本体或针对特定医学专业的专用本体导出相关术语。这些相关术语可以由文本注释系统的提供者来定义，或者由提供者基于与正在实施这样的系统的医学机构或组织的交互来开发。在一些实施例中，系统的个体用户可以修改或补充相关术语的词汇表。

然而，甚至在具有相关术语的广泛词汇表的情况下，因为自由格式文本记录不必限于符合这样定义的词汇表，并且因为对词汇表的本地变化可能超过对定义的词汇表的变化，并且因为词汇表的创建者可能不是主动聘请的医师，因此患者记录中的相关术语的识别可能遗漏一些新识别的相关术语，或者可能是如此包容性的以通过突出显示最小相关或甚至无关的术语而最小化文本注释系统的有效性，从而模糊了实际相关术语。

发明内容

提供准确可靠地突出显示患者记录中的相关术语的文本注释系统将是有利的。提供能够跟上变化的医学诊断技术和词汇表的文本注释系统也是有利的。

为了更好地解决这些问题中的一个或多个，在本发明的实施例中，基于用户反馈不断更新用于突出显示/过滤文本注释系统中的医学记录的相关术语的词汇表。为了使这种更新的效果最大化，从系统的所有用户中提取反馈，从而提供相关术语的“组来源”词汇表。随着每个用户修改所提供的相关术语的词汇表以定制文本注释系统以符合用户的偏好，收集这些修改并将其传递给相关术语的词汇表的提供者。由相关术语的词汇表的提供者吸收由词语注释系统的每个用户实施的修改以确定是否针对相关术语的公共词汇表的后续用户修改相关术语的词汇表。

在一个示范性实施例中，文本注释系统被配置为从将词汇表提供给多个医师的提供者接收相关术语的词汇表，然后处理患者记录以基于相关术语的词汇表识别患者记录中的相关术语。在患者记录中识别的相关术语以与医师有区别的方式显示，并且医师对相关术语的词汇表的修改被记录。词汇表的这些修改与来自该词汇表的其他用户的修改一起传递给词汇表的提供者。此后，文本注释系统基于词汇表的这些修改从提供者接收经更新的相关术语的词汇表。

众包知识模块向多个文本注释系统提供相关术语的公共词汇表，然后从文本注释系统接收对相关术语的词汇表的修改。该模块吸收对词汇表的修改以确定对相关术语的词汇表的更新是否有必要，并且如果是的话，更新相关术语的词汇表并随后将经更新的相关术语的词汇表提供给文本注释系统。

提供了文本注释系统的网络，其包括：存储可用于医学记录中的相关术语的词汇表的数据库；多个文本注释系统，所述多个文本注释系统中的每个文本注释系统基于相关术语的词汇表突出显示患者医学记录中的相关术语，并且接收对相关术语的词汇表的用户建议修改；以及众包知识模块，其将来自数据库的相关术语的词汇表提供给多个文本注释系统，从多个文本注释系统接收对相关术语的词汇表的建议修改，将建议修改吸收以确定对相关术语的词汇表的更新是否有必要，并在更新被确定为有必要时更新相关术语的词汇表。

附图说明

参考附图通过范例更详细地说明本发明，其中：

图1A图示了范例自由格式文本医学记录。

图1B图示了用于突出显示自由格式文本医学记录中的相关术语的对图1A的自由格式文本的注释。

图1C图示了用于显示自由格式文本医学记录中的相关术语上的对图1A的自由格式文本的备选注释。

图2图示了根据本公开的方面的文本注释系统的范例网络，所述网络共享基于由该文本注释系统网络的用户提供的反馈而连续更新的相关术语的公共词汇表。

图3图示了根据本公开的方面的使用由多个用户公共使用的相关术语的词汇表的文本注释系统的范例使用的流程图，其中，相关术语的词汇表基于由多个用户提供的反馈来连续更新。

贯穿附图，相同的附图标记指示相似或对应的特征或功能。包括附图是为了说明性目的，而不旨在限制本发明的范围。

具体实施方式

在以下描述中，出于解释而非限制的目的，阐述了诸如特定体系结构、接口、技术等的具体细节，以便提供对本发明的概念的透彻理解。然而，对于本领域技术人员而言显而易见的是，本发明可以在偏离这些具体细节的其他实施例中实施。以类似的方式，本说明书的文本涉及如附图中图示的范例实施例，并且不旨在将要求保护的发明限制超出权利要求中明确包括的限制。为了简化和清楚的目的，省略了公知设备、电路和方法的详细描述，以免以不必要的细节模糊本发明的描述。

本公开认识到对“知识”的唯一源的依赖具有实质限制。在定义患者记录中的相关术语的情况下，哪些术语是相关或非相关的定义通常依赖于创建相关术语的词汇表的个人或组织的“知识”。尽管一些系统可以使每个用户能够根据该用户的偏好来定制词汇表，但是这样的定制限于该特定用户在与相关术语的所提供的词汇表对比时区分相关术语和非相关术语中的专业知识。

例如，新手医师可能不会认识到为什么某个特定术语可能是相关的，并且可能认为词汇表已经过时并且修改他/她的个人词汇表以将该术语从相关术语的词汇表移除。以同样的方式，另一位医师可能有一些经验，这些经验向该医师指示词汇表应扩大到包括从相关术语的词汇表中遗漏的术语。在每种情况下，医师都对以下信心：基于医师的知识基础，从词汇表移除或添加到词汇表是有必要的(warranted)；但从客观的角度来看，这些特定的修改是否“有效”是未知的。

因此，如果系统使得用户能够修改相关术语的词汇表，则用户的经修改的词汇表可能与通常接受的相关和非相关信息的定义不一致。另一方面，被限制到由词汇表提供者定义的相关术语的词汇表的系统会陷入过时的风险，除非词汇表的提供者在随着医学界的知识增长或变化而保持词汇表为最新方面是警觉的。

发明人已经认识到，具有对相关术语的公共词汇表的访问的医师的联网实现以下特征：

提供在定制词汇表中的用户灵活性；

实现这样的定制的验证；以及，

在其文本注释系统中向该词汇表的多个用户提供相关术语的连续生效的词汇表。

图2图示了具有对相关术语的公共词汇表的访问的医师的这样的网络。向给每个医师提供文本注释系统210，所述文本注释系统包括分析器220，所述分析器识别一个或多个患者记录230中的相关术语。在范例实施例中，(一个或多个)患者记录可以包括如图1A图示的自由格式文本。

分析器220识别患者记录中的相关术语的每次出现，并以区别性方式显示相关术语，如图1B和1C中图示的。如果初始显示如图1C图示的，其中，仅相关术语被显示，则医师可以“选择”显示以实现对全文的显示，如图1A或1B中的任一个中图示的。

相关术语的词汇表260可以经由网络240公用地提供给全部相关性分析器220。根据本公开的方面，众包知识模块250被配置为基于来自文本注释系统210的用户的反馈来更新该词汇表260。

在范例实施例中，向文本注释系统210的每个用户提供本地修改相关术语的词汇表的选项，以识别例如本领域中新近被发现为相关的术语，或者移除不再被认为相关的术语等。当这样的修改完成时，修改被传递到众包知识模块250。该传递可以在修改完成时实时发生，或者以周期性间隔实时发生，例如每天或在提供文本注释系统210的医学设施处的每个工作班的结束处。

众包知识模块250可以被配置为在接收到修改时或者定期地吸收接收到的全部修改，并且基于从文本注释系统210的用户接收的修改来确定应该对共同提供的词汇表260进行什么修改(如果存在的话)。在一些实施例中，词汇表260被连续更新；在其他实施例中，词汇表260基于在定义的时间段(诸如每几小时或每日)内接收的修改来更新。

在更新词汇表260之后，模块250可以将经更新的词汇表260“广播”给文本注释系统210中的每个，或者可以响应于来自每个文本注释系统210的对词汇表260的特定请求而提供经更新的词汇表260。广播可以被安排为周期性地发生，或者每当对词汇表260完成改变时发生。

任何数量的技术可以用于吸收从文本注释系统210接收的修改，通常基于从词汇表260遗漏相关术语的风险与以非相关的术语使报告中的相关术语的显示模糊的风险之间的折中。

在一些实施例中，可以使用简单的投票方案，其中，如果更多用户选择将术语添加到相关词汇表260而不是从相关词汇表260中删除术语，则将术语被添加到词汇表260；否则术语从词汇表260删除。另一方面，如果从词汇表260遗漏相关术语的风险被认为比潜在地在词汇表260中包括非相关术语的风险(在下文中称为“混乱”)更重要，则每当用户修改本地词汇表以包括术语时，所述术语就可以被添加到词汇表260，但是仅当移除术语的修改的数量显著大于将所述术语添加到词汇表260的修改的数量时，从词汇表260删除所述术语。

在一些实施例中，可以维持加权积累，其中，例如，将术语添加到词汇表260的修改可以被评估为大的正数，并且从词汇表移除术语的修改可以被评估为小负数，并且只要积累大于零，术语就保留在词汇表260中。另一方面，如果混乱的风险被认为超过了遗漏的风险，则添加术语的修改可能被给予小的正值，而删除术语的修改可能被给予大的负值。

在一些实施例中，新近修改能够被认为比更旧的修改更重要，并且可以保持滚动平均，其中，更新近的修改比更旧的修改被加权更多。

本领域的技术人员将认识到，该众包反馈方案有效地提供了用于确定哪些术语可能被文本注释系统210的普通用户群视为相关的“采样”系统。因此，统计技术也可以被用于吸收修改“样本”，从而仅当可以示出修改“有统计学意义”时才提供对词汇表260的改变。

吸收也可以考虑“非修改”的效果。亦即，例如，如果用户在使用词汇表260来查看患者记录时没有修改词汇表，则可以假定用户在查看患者记录时关于识别的相关术语同意词汇表260的内容，并且该“被动同意”应当影响从词汇表260中删除这些术语的任何决定。在一些实施例中，从文本注释系统210提供的反馈可以包括被显示给用户的相关术语的列表(并且未被标记为要移除)，或者更具选择性地，在用户选择为显示记录的完全文本的窗口中显示的相关术语的列表。例如，这些术语可以接收上述积累中的小的正值，从而降低移除这些“被动接受的”术语的可能性，直到大量用户指示针对其移除的偏好。词汇表260中的现有术语的这种被动强化可以避免使用上述加权值来抵消将从词汇表260中移除所述术语的修改的效应的需要。

吸收还可以被配置为设置用于初始向词汇表260添加术语的“阈值”，以避免当单个用户修改词汇表以包括新术语时的不必要的“啰嗦”。因为这将是关于所述术语的唯一“投票”，所以在常规投票方案中，该投票可能导致词汇表260的改变以包括该术语。然而，该新术语可能被许多其他用户认为是非相关的，导致将所述术语从词汇表中移除的许多随后的修改。为了避免这种情况，吸收可以被配置为仅当给定数量的用户修改词汇表以包括新术语时，才向词汇表260添加该术语。该最小用户数阈值方案也可以有效地使恶意用户添加显然会导致所有用户的显示混乱(至少直到接收到移除该术语的反馈)的“常用”术语的风险最小化。

本领域的技术人员将认识到，对来自众包知识模块的用户修改的该连续反馈以及相关改变的公共词汇表260的随后更新可以在对词汇表260进行改变时产生瞬态效应，然后通过反作用反馈而取消，但是公共词汇表260中的最终“稳定”术语可能对于使用该词汇表260的文本注释系统210的大多数用户是适合的。

图3图示了根据本公开的方面的文本注释系统的范例使用的流程图。左列指示在文本注释系统(诸如图2的系统210)处采取的动作，并且右列指示由图2的众包知识模块250采取的行动。

在310处，模块250向文本注释系统210提供相关术语的词汇表。这可以作为对网络中的所有文本注释系统210的广播来执行，或者其可以响应于针对来自文本注释系统210的词汇表的请求而执行。

在320处，相关术语的词汇表在文本注释系统210处被下载，并且在330用于分析(一个或多个)患者记录并且以区别性方式显示患者记录中的任何相关术语，诸如在自由文本记录显示内突出显示(例如图1B)，或者在没有患者记录中的非相关术语的情况下显示(例如图1C)。

任选地，在340处，用户可以通过例如将鼠标指针放置在所显示的信息上或者通过在所显示的信息上“点击”或“双击”来选择所显示的信息。

如果用户期望修改相关术语的词汇表，添加或删除术语，则例如用户可以在350处实现这样的修改。在范例实施例中，用户可以“右击”术语以改变其状态。如果术语当前是词汇表中的相关术语，则其状态将变为非相关并从文本注释系统的词汇表的本地副本中移除；如果术语当前是非相关的术语，则其状态将更改为相关并添加到词汇表的本地副本中。然后，文本注释系统基于对本地词汇表的该改变来更新(一个或多个)患者记录中的相关术语的显示。

在360处，将对本地词汇表的任何修改从文本注释系统210传递到众包知识模块250。如上所述，可以在所述修改完成时传递修改，或者以周期性或非周期性的间隔传递修改。

在370处，修改与来自其他文本注释系统210的任何修改一起在模块250处被接收。在380处，由模块250吸收这些修改以确定对相关术语的词汇表的改变是否有必要。如上所述，加权或未加权投票方案，优选地利用阈值化，可以用于确定可能对文本注释系统210的用户群体而言合适的改变。

在390处，对相关术语的词汇表的所确定的改变被实施，使得下次在310处从模块250发送词汇表时，其包括这些改变。

如上所述，本公开提供了一种将相关术语的词汇表保持为最新、同时提供词汇表的每个稳定修订对于使用该词汇表的文本注释系统的绝大多数用户而言可能合适的确认的自动化方法。

尽管已经在附图和前述描述中详细说明和描述了本发明，但是这样的说明和描述被认为是说明性的或示范性的而非限制性的；本发明不限于所公开的实施例。

例如，在备选实施例中，文本注释系统210的每个用户可以维持增强从众包知识模块250接收的词汇表260的“私人”补充词汇表。补充词汇表可以被配置为识别被认为是非相关的词汇表260中的术语并且识别可能或可能不在词汇表260中的总是被认为是相关的额外的术语。

通过研究附图、公开内容和权利要求，本领域技术人员在实践要求保护的本发明时能够理解和实现所公开的实施例的其他变型。在权利要求中，“包括”一词不排除其他元素或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以履行权利要求中记载的若干项目的功能。尽管在相互不同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。计算机程序可以存储/分布在合适的介质上，诸如与其他硬件一起或作为其他硬件的部分提供的光存储介质或固态介质，但也可以以其他形式分布，诸如经由互联网或其他有线或无线电信系统分布。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种包括程序的非暂态计算机可读介质，所述程序当由处理系统运行时使所述处理系统：

从将相关术语的词汇表提供到多个医师的提供者接收所述词汇表；

接收来自医师的对患者记录的请求；

处理所述患者记录以基于所述相关术语的词汇表来识别所述患者记录中的相关术语；

以区别性方式向所述医师显示所述患者记录中的所识别的相关术语；

从所述医师接收对所述相关术语的词汇表的修改的识别；

将所述词汇表的所述修改传递到所述词汇表的所述提供者；并且

随后基于由所述医师和所述多个医师中的至少一个其他医师对所述词汇表的修改来从所述提供者接收经更新的相关术语的词汇表。

2.根据权利要求1所述的介质，其中，所述程序使所述处理器显示所述患者记录中的一个或多个非相关术语，并且对所述词汇表的所述修改包括指示所述患者记录中的非相关术语应该是所述相关术语的词汇表中的相关术语。

3.根据权利要求1所述的介质，其中，对所述词汇表的所述修改包括指示所述患者记录中应该从所述相关术语的词汇表移除的相关术语。

4.根据权利要求1所述的介质，其中，所述程序使所述处理器通过仅显示所述相关术语来以区别性方式显示所识别的相关术语。

5.根据权利要求4所述的介质，其中，当所述医师指示对包含所述相关术语的显示区域的选择时，所述程序使所述处理器随后显示所述患者记录的至少部分的全部内容。

6.根据权利要求1所述的介质，其中，所述程序使所述处理器通过使用与所述患者记录中的其他术语不同的显示格式显示所识别的相关术语来以区别性方式显示所述相关术语。

7.一种包括程序的非暂态计算机可读介质，所述程序当由处理系统运行时使所述处理系统：

将相关术语的词汇表提供到多个文本注释系统；

从所述多个文本注释系统中的两个或更多个接收对所述相关术语的词汇表的修改；

吸收对所述词汇表的所述修改，以确定对所述相关术语的词汇表的更新是否有必要；

当所述更新被确定为有必要时更新所述相关术语的词汇表；并且

将经更新的相关术语的词汇表提供到所述多个文本注释系统中的一个或多个。

8.根据权利要求7所述的介质，其中，所述程序使所述处理器通过维持将术语添加到所述相关术语的词汇表和从所述词汇表移除所述术语的修改的计数来吸收所述修改。

9.根据权利要求8所述的介质，其中，修改的所述计数是加权积累，其中，第一权重被应用于将所述术语添加到所述词汇表的每个修改，并且第二权重被应用于从所述词汇表移除所述术语的每个修改。

10.根据权利要求8所述的介质，其中，非零阈值被应用于修改的所述计数以确定对所述词汇表的更新是否有必要。

11.一种文本注释系统的网络，包括：

数据库，其存储能够用在医学记录中的相关术语的词汇表；

多个文本注释系统，所述多个文本注释系统中的每个执行以下操作：

基于所述相关术语的词汇表来突出显示患者医学记录中的相关术语；并且

接收由所述文本注释系统的用户对所述相关术语的词汇表的建议修改；

众包知识模块，其执行以下操作：

将所述数据库处的所述相关术语的词汇表提供到所述多个文本注释系统；

从所述多个文本注释系统接收对所述相关术语的词汇表的建议修改；

吸收对所述词汇表的所述建议修改以确定对所述相关术语的词汇表的更新是否有必要；

当所述更新被确定为有必要时更新所述相关术语的词汇表；并且

将经更新的相关术语的词汇表提供到所述多个文本注释系统中的一个或多个。

12.根据权利要求11所述的网络，其中，所述文本注释系统中的至少一个显示所述患者记录中的一个或多个非相关术语，并且使得用户能够选择非相关术语，从而指示所述建议修改是将所选择的非相关术语添加到所述相关术语的词汇表。

13.根据权利要求11所述的网络，其中，所述文本注释系统中的至少一个使得用户能够选择所显示的相关术语，从而指示所述建议修改是从所述相关术语的词汇表移除所选择的相关术语。

14.根据权利要求13所述的网络，其中，所述众包知识模块通过维持将术语添加到所述相关术语的词汇表和从所述词汇表移除所述术语的修改的计数来吸收所述建议修改。

15.根据权利要求8所述的介质，其中，修改的所述计数是加权积累，其中，第一权重被应用于将所述术语添加到所述词汇表的每个建议修改，并且第二权重被应用于从所述词汇表移除所述术语的每个建议修改。