CN109697283B - 用于生成患者-健康护理提供者对话的文字记录的方法和系统 - Google Patents

用于生成患者-健康护理提供者对话的文字记录的方法和系统 Download PDF

Info

Publication number
CN109697283B
CN109697283B CN201810842301.7A CN201810842301A CN109697283B CN 109697283 B CN109697283 B CN 109697283B CN 201810842301 A CN201810842301 A CN 201810842301A CN 109697283 B CN109697283 B CN 109697283B
Authority
CN
China
Prior art keywords
text
record
word
recording
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810842301.7A
Other languages
English (en)
Other versions
CN109697283A (zh
Inventor
M.斯特拉德
W.伊托
C.科
K.周
A.拉杰科马尔
R.罗尔夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN109697283A publication Critical patent/CN109697283A/zh
Application granted granted Critical
Publication of CN109697283B publication Critical patent/CN109697283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Abstract

公开了一种用于生成患者和健康护理从业者之间的对话的文字记录的方法和工作站。所述工作站提供有诸如图标、链接等的工具，用于渲染对话的音频记录，并且与音频记录的渲染基本实时地、使用语音到文本引擎来生成音频记录的文字记录的显示，由此使能检验语音到文本的转换的准确性。提供了一种用于贯穿文字记录滚动并且根据滚动的位置来渲染部分音频的工具。在文字记录中使得涉及症状、药物或其他医疗相关的概念、患者所说出的单词或短语高亮。附加地，提供有使能基于音频记录的对应部分的内容来编辑文字记录的特定部分的一组文字记录辅助工具。所述文字记录辅助工具的示例包括：a)用于单词或短语的智能建议的显示、和用于对于所述建议进行编辑、批准、拒绝或者提供反馈的工具；b)建议的改正的医疗专有名词的显示；c)建议的单词或短语中置信等级的指示的显示。

Description

用于生成患者-健康护理提供者对话的文字记录的方法和 系统
技术领域
背景技术
此公开一般涉及医疗文档编制和笔记生成的领域，即，健康护理提供者(医师或者护士)对由于患者就诊而得到的相关医疗信息进行记录的处理。当前，医师平均花费他们时间的20％(每天2-3小时)，用于通过在患者的电子健康记录中创建笔记(即，症状的文本描述、主诉、有关医疗历史、和就诊期间得到的其他相关信息)而将患者就诊记录在档。所述笔记还促进患者或者其保险公司的正确账单开账单(billing)。
现有技术中存在对于以下方法和系统的需求，所述方法和系统改进占用医师较少时间的、生成患者就诊笔记的效率，允许他们接诊更多的患者并将更多时间花费在患者护理上。还存在以下未满足的需求，即，在机器文字记录(transcription)和信息提取处理中提供透明度，以在文字记录和笔记生成处理中建立信任和可信度(credibility)，同时还使得对于用户注意力的影响最小化。此公开满足这些需求。另外，能将此公开说成表示工作站上的新型界面和交互，其在医疗文档编制的上下文中提供机器智能输出的支持重点(supportive emphasis)和快速理解。
发明内容
此公开涉及用于显示患者-健康护理提供者对话的文字记录的界面(例如，提供者所使用的工作站的显示器)、和使用机器学习的对话的笔记或者总结的自动生成。能在对话发生时的寻医就诊期间基本实时地、或者在就诊结束后稍后地生成文字记录和笔记。
所述方法包括在工作站上提供用于渲染对话的音频记录的工具的步骤。所述方法进一步包括步骤：在工作站的显示器上的(1)第一文字记录区域中，与音频记录的渲染基本实时地显示该记录的文字记录，并且同时在(2)第二笔记区域显示总结该对话的笔记，所述笔记包括在涉及与患者相关的医疗话题的文字记录中自动地提取的单词或者短语，所述单词或者短语的提取在训练的机器学习模型的帮助下执行。与患者相关的医疗话题能是诸如症状及其属性(诸如发作(onset)、进度、严重程度、地点等)、药物、主诉等的事情。所述方法进一步包括提供在笔记中提取的单词或者短语、与所述提取的单词或者短语源自的文字记录的部分之间的链接或者映射的步骤，由此能由用户来验证在笔记中提取的单词或者短语的来源和准确性，例如通过选择笔记中提取的单词或者短语之一、或者通过利用在文字记录和笔记两者中高亮(highlight)的提取的单词或者短语来与文字记录并排地检验(inspection)笔记。
本公开还以上述方法的许多不同的方面和变化为特征。例如，标识说话者，即，患者和医师。与生成手写文字记录同时地，文字记录中的医疗有关的单词或者短语从对话提取，并且自动地填充到与文字记录在相同的屏幕上显示的笔记中。将笔记中提取的单词或者短语链接到它们源自的文字记录的对应部分。因此，医师能检验文字记录和有关单词和短语的提取以及自动生成的笔记，以确认笔记的准确性。能将单词或者短语放置到笔记中适合的类别或者分类中，诸如症状、药物等的标题之下。文字记录(和笔记)是可编辑的，具有版本控制以对用于编辑文字记录的生成的建议进行批准、拒绝或者提供反馈。建议了替代的单词，用于与自动语音识别中的词汇不匹配的文字记录中的语音、或者用于听不清的和部分可听的话音输入。
本公开还涉及自动生成的笔记本身的方面，包括基于医师的偏好来在术语的关键章节或者布告(bullet)列表中将笔记扩充成散文(prose)；症状实体和症状属性通过分类符来分组并放置在笔记中的特定栏(bucket)中。笔记可编辑为移动分类符和分组或者添加新的内容。当存在某些疑问等级时，例如，当语音是听不清的、患者错读单词、或者不完整记得他们正在服用的药物的名称时，存在用于生成的建议的置信等级的显示的特征。另外，所述界面能包括在就诊期间的建议的显示或者作为跟进患者的提醒，诸如建议的要问的问题或者建议的账单代码，所述账单代码具有证明该账单代码所显示的部分文字记录。另外，存在用于在就诊结束时提供患者指令的可发电子邮件的或者SMS准备列表的特征，包括用于编辑指令的列表、添加来自可用的或者建议的指令的列表的新指令的特征，以及用来在根据医生笔记的评估和计划部分生成的列表中注释(note)药物改变或者添加的特征。
另外，此公开进一步描述了一种用于生成患者-健康护理提供者对话的音频记录的文字记录的方法。本公开涉及增加文字记录的信任和可信度的方法。
所述方法使用一种工作站，所述工作站准备(例如，通过工作站上的扬声器的)对话的音频记录的渲染，并且与音频记录的渲染基本实时地、使用语音到文本引擎来生成音频记录的文字记录的显示。与音频记录的渲染基本实时地生成文字记录使能检验文字记录和验证语音到文本的转换的准确性，由此增加文字记录是准确的信心。工作站包括诸如滚动条的工具，用于在文字记录的全长上滚动，并且根据滚动通过文字记录的位置来渲染部分音频。因此，用户能导航浏览文字记录，并且重新播放文字记录中的具体点的部分音频，以确认语音到文本的转换的准确性。
另外，所述方法涉及在文字记录中使得涉及症状、药物或者其他医疗相关概念的、患者说出的单词或者短语高亮。例如，如果患者说“今天早上我感觉发烧的”，则将会在文字记录中使得短语“感觉发烧的”或者只是“发烧的”和短语“今天早上”高亮，由于它们与患者体验的症状和症状的发作相关。此特征唤起用户的注意，特别是文字记录中重要的或者意义重大的单词或者词语。
另外，所述方法提供一组文字记录辅助工具，其使能基于音频记录的对应部分的内容来编辑文字记录的特定部分。具体地，可能存在这样的部分音频记录，其中患者的声音可能是听不清的，他们可能错读意义重大的单词(诸如药物的名称)，他们只记得他们正在服用的药物的第一个音节或者药片颜色等。文字记录辅助工具诸如通过显示建议的替代短语、显示改正的医疗专有名词(terminology)、显示对于不完整的单词的建议等，使能文字记录的这些部分的编辑，以及用于接受、拒绝或者编辑文字记录和生成的建议的工具。
附图说明
图1是从患者-健康护理提供者就诊的音频输入到机器学习系统、并且生成用于患者就诊的笔记和文字记录的一组数据的形式的输出的数据流的图示。图1还图示机器学习系统的几个方面。
图2是其中能实践本公开的特征的计算环境的框图。
图3是在患者-健康护理提供者对话的音频记录的渲染期间、基本实时地自动生成的文字记录和笔记的图示。
图4是编辑笔记中的高亮的医疗事件或者术语的分组的能力的图示。
图5是用于利用单词的智能建议以替换文字记录中的文本(text)来编辑文字记录以及编辑笔记的特征的图示。
图6示出了以布告列表格式基本实时地生成的笔记、和用来在布告列表和散文风格之间切换笔记展示的在显示器底部的工具的示例。
图7是用于在笔记中出现的短语的信心指示符的图示。
图8是用于跨越文字记录和笔记搜索的智能搜索工具的图示。
图9是笔记分段(segment)与文字记录和对应的音频部分中的单词之间的链接和映射的图示。
图10是患者指令屏幕的图示，其中所有的患者指令聚集在一个地点(spot)，并且提供用于管理患者指令的清单(checklist)的工具，包括添加或者移除用于患者的讲义(handouts)。
图11是连同改变用于联系患者的SMS或者电子邮件偏好的选项一起的一组患者指令的图示。
图12是在医师做出决策时支持医师的建议问题列表的显示，其能在渲染与患者的对话的记录期间基本实时地生成。还标记需要解决但是还未由患者提出的潜在问题。
图13是还没有询问的、向医师呈现的进一步的问题列表、以及建议的替代的诊断和账单代码。
图14是图2的终端的主显示器上的最小化的部件(图标)的图示，其允许访问文字记录和就诊的记录，还允许医师导航浏览其他患者数据。
图15是与渲染音频记录基本实时地生成文字记录的图示，允许医师查看文字记录的准确性。
图16是文字记录的另一种形式，其在工作站上播放患者-健康护理提供者对话的记录时逐行地生成。
图17是如图6的布告形式的笔记的图示，但是当患者在描述了他们的发烧症状之后立即地告诉他们的医师“我还在我的右胫骨上发现了皮疹。…”时，增加(augment)有新的症状“皮疹”和地点：右胫骨。
图18是根据布告列表格式的音频记录而自动生成的部分笔记的另一示例。
图19是对于由患者说出的术语“Lipodrene”自动地生成的建议的图示；医师具有接受或者拒绝所述建议的能力。
图20是用于不确定的短语的文字记录建议的显示的图示。
图21是具有适应于专业优选术语的专有名词的散文风格笔记的图示。
具体实施方式
综述
本公开的一个方面涉及自动地生成患者-健康护理提供者对话的文字记录、以及将对话记录在档的医师笔记。通过附图标记100在图1中示出了信息和软件处理的流。存在由在对话发生的房间中存在的记录设备作出的音频输入102。例如，所述记录设备能由医师工作站(210，图2)的麦克风功能、和工作站中存在的传统音频记录软件构成。可替代地，记录设备能由特定目的音频记录单元(由内置于医师办公室或其一部分的麦克风和软件构成)构成。将音频输入102提供给机器学习模型104(或者以机器学习模型的集合的形式的系统)，其生成记录的文字记录并且提取形成用于笔记的数据106的文字记录中的单词或者短语。机器学习模型104在图1中被示出为由以软件和硬件实施的分立的模型组成，包括通过不同的说话者(在此种情况下为患者和健康护理提供者)将音频输入分离为语音的模型108。能通过提供语音训练样本的健康护理提供者和患者两者来训练此模型108。一旦说话者已经通过模型108分离了音频输入，就将该音频输入提供给语音到文本转换模型110。该模型实施传统的语音到文本功能，但是该模型110使用监督的学习技术和标签的训练语音数据来训练，以识别语音中的医疗相关的专有名词，包括诸如症状、药物、人体解剖学术语等的事情。
进一步包括命名实体识别模型112，其处理通过语音到文本转换模型110生成的文本，以识别医疗有关单词或者短语。命名实体识别(NER)模型在机器学习领域是众所周知的，并且在科学文献中被广泛描述。NER模型112需要其拥有的标签的训练数据。对于此训练数据，我们使用利用深度学习单词嵌入的大量的医疗教科书(超过12万本医疗教科书)，结合现有医疗本体的大型词典，例如，UMLS(统一医疗语言系统)和SNOMED(系统化药物术语集)。另外，能根据注解的医疗档案文字记录来训练NER模型112。还能根据混合的数据源来训练NER模型，其可以包括医疗和临床教科书、来自医生-患者对话的注解的文字记录、和在大量患者的匿名的电子健康记录中包含的临床文档。
如114所指示的，将命名实体识别模型112应用于通过语音到文本转换模型110生成的文本的应用结果是音频输入102的高亮的文字记录，其具有高亮的有关单词或者短语(通过命名实体识别模型识别)，以及提取此高亮的单词或者文本作为用于笔记生成的数据、并且将高亮的单词或者短语分类成笔记的不同区域或者栏目(field)。将会在此文档的随后的章节详细解释这些模型对于音频文件的应用、以及文字记录和笔记的生成。
图2是其中能实施此公开的特征的、计算环境的一个可能物理配置的图示。临床、医院或者医疗办公室202是健康护理提供者202和患者204之间的就诊的地点。在地点200，记录设备206(其可以与工作站210物理地连接或者是其一部分)用于捕获和记录提供者202和患者204两者的语音。将此记录转换成数字形式，并且可选地经过计算机网络208提供给工作站210，其由提供者202使用以查看根据此公开的特征生成的文字记录和笔记。在一种格式中，工作站(其可以在例如患者就诊期间的医师办公室的地点存在)可以采用台式计算机的形式，其包括以显示器形式的界面、键盘214和鼠标216、以及为了记录对话而内置的麦克风。工作站210还可以采用平板电脑、膝上型计算机、智能电话或者其他格式的形式，其包括渲染(播放)音频记录、显示文字记录、和显示笔记的设施，并且包括用于编辑文字记录和笔记的下面解释的工具。工作站210还通过使其本地存储在数据存储器212中或者经由网络连接可访问的方式，来访问患者的电子健康记录(EHR)。
在图2中，还经过网络208和云209将音频输入发送给诸如服务提供者的实体，该实体包括实施图1的机器学习模型的机器学习系统218。实施机器学习模型的实体或者服务提供者生成文字记录和笔记，并且经过应用编程界面将它们传送到在工作站210上驻留的软件，以与记录音频基本实时地(或者，晚于、当在工作站上播放记录时)渲染文字记录和笔记。关于图2的系统的设计和实施的进一步细节与本讨论不是特别相关，为了简洁起见并且为了不使本公开的突出细节模糊而省略。在工作站210的显示器上渲染随后附图中示出的图示、屏幕显示、或者页面。
在一个可能的配置中，工作站210能用作用于生成文字记录和笔记的独立的系统，在此种情况中，将图1的机器学习方面内置于工作站上的特定目的处理器和计算装置中。此实施例将适于在互联网接入不可用或者不可靠的偏远地区使用。
可替代地，能在办公室200的本地设施中实施图2的机器学习系统218，诸如在通用计算机或者局域网208上的一组计算机中。或者，如图2中示出的，机器学习系统218能驻留在云209中，在这种情况中，系统接收医生-患者对话的音频信号，并且生成文字记录和笔记数据，并且将其发送回工作站210用于在工作站的显示器上显示。
A.自动生成患者-健康护理提供者对话的笔记
现在，读者的注意将转向图3-14。现在我们将描述用于生成总结患者和健康护理提供者之间的对话的笔记的方法。如以下结合图3将会详细解释的，本质上，我们在工作站(图2的210)上提供用于渲染(即在与工作站关联的扬声器上播放)对话的音频记录、和使用语音到文本引擎(图1的模型110的一部分)来生成音频记录的文字记录的工具(例如，图标、标签、链接、或者界面上的其他动作)。然后，我们在工作站的显示器的第一区域312(图3)上显示记录的文字记录，并且同时地在显示器的第二区域314上显示总结对话的笔记。另外，所述方法包括利用训练的机器学习模型(图1的NER模型112)来提取涉及与患者的健康状况相关的医疗话题(诸如，症状、药物、主诉、有关医疗历史等)的文字记录中的单词或者短语，以及在工作站的第二区域314中显示提取的单词或者短语的步骤。例如，如果患者说出单词“我感觉发烧的”，则在文字记录区域312中高亮术语“发烧的”，并且在笔记区域314中示出术语“发烧”或者“感觉发烧的”，例如，在症状标题下面或者作为诸如“患者主诉感觉发烧的”的散文句子的一部分。
此外，在所述方法中，提供在笔记区域314中的提取的/高亮的单词或者短语与提取的单词或者短语源自的部分文字记录之间的链接或者映射，由此能由工作站的用户验证提取的单词或者短语的来源和准确性。例如，如果工作站的用户点击笔记区域314中的提取的短语“感觉发烧的”，则文字记录区域312将示出其中患者说他们感觉发烧的部分文字记录。相似地，如果用户点击文字记录区域中的高亮的术语“感觉发烧的”，则在症状标题下的笔记中示出对应的笔记元素“感觉发烧的”或者“发烧”，或者示出具有高亮的“感觉发烧的”的句子“患者主诉感觉发烧的”。
在图3中，在工作站210的界面上示出有文字记录的显示的一种可能格式。示出的页面包括已经选择的文字记录标签308，以及笔记标签306、图表标签304、和患者指令标签302。区域312中示出的文字记录是可编辑的，即如果他们觉得这样做合适的话，用户基于渲染的音频记录在文字记录中选择高亮单词或者短语并且编辑。扬声器图标310指示正在播放音频记录，并且逐行地、基本实时地生成文字记录。例如，工作站播放患者说出的“没有，没有发烧或者类似的事情”的声音，并且其后立即地将文字记录增加新的文本行：Ft：没有，没有发烧或者类似的事情。笔记区域314包括根据电子健康记录中的数据和/或根据在与提供者的就诊中生成的语音而生成的当前疾病的历史。笔记包括当前身体检查数据，诸如在316指示的血压。文字记录地区还包括当前检查数据的列表，诸如脉搏和体重。响应于在文字记录顶部的高亮文章(其中医生陈述“我想要观察肿胀。”)而生成脉搏和体重数据(根据患者电子健康记录中的最近生命体征(vital signs))。
将理解的是，能根据文字记录并且利用图1的机器学习模型来自动生成笔记栏目314中提出的笔记。可能通过将笔记分段与文字记录和对应的音频进行匹配，例如，通过文字记录中高亮的单词或短语和笔记区域中对应的单词或短语之间的链接，以及使得音频在文字记录的该部分播放，来验证笔记，。此外，工作站显示器上的音频记录工具包括暂停、倒带、播放、快进等，使得用户能开始和停止记录以收听敏感的或者重要的患者信息，并且确认文字记录、高亮的单词或者短语、和在笔记中插入单词或者短语是正确的。
图4示出如何从文字记录提取高亮的短语“腿受伤了”402和“感觉发烧”403并且放置在笔记中的示例。此外，还从文字记录提取症状“感觉发烧”的属性，以及具体地，发作、缓解、和进度(404)，并且放置在笔记中。如在图4的右侧所指示的，区域406是用于用户指示主诉(CC)的栏目，并且尽管此栏目最初是空白的，用户能点击并且将文本“腿受伤了”402拖入到CC栏目406中。因此，笔记中的文本元素的分组是可编辑的。
图5图示了文字记录500和笔记的编辑的进一步示例。在图5中，患者响应于关于他们正在服用的药物的问题，已经说出短语“我是。Lipodrene”(502)。短语“Lipodrene”无法识别为药物的名称，并且图1的NER模型生成两个智能建议：Amlodipine和Lipozene(504和506)，其与可疑的术语“Lipodrene”相邻放置。用户能通过点击它们来接受这些建议之一，或者通过激活X图标508来拒绝他们。在笔记区域314中，存在在文字记录创建时自动地生成的笔记512。用户已经在术语.EXA中键入(510)以搜索笔记中的检查条目，并且基于搜索查询示出建议的.EXA搜索的完成。可编辑笔记来移动分类符和分组或者添加新的内容。当键入新的内容时，医生能使用设施的电子健康记录系统的等同的快速密钥(“智能短语”或者“点(dot)短语”)，诸如利用.EXA搜索在此示例中示出的。
图6示出了在生成对话的文字记录时自动生成的笔记，其中，笔记600是布告列表的形式。在此具体的示例中，存在布告条款“症状”，并且在此标题下面，连同症状的附加属性(即发作和进度)一起存在短语“感觉…发烧的”602(引自文字记录)。笔记600进一步包括生命体征604。在笔记的底部存在用来触发用于显示笔记的附加形式的图标，即触发与笔记并排地显示文字记录的图标610、触发如图6中示出的显示布告列表的图标606、和触发显示散文风格的笔记的图标608。
图7示出了当在记录的语音中或者通过机器学习模型生成的建议中存在不确定性时、所生成的信心指示符704的显示的示例。例如，说出的短语“今天早上感觉更糟了”(702)可能是听不清的或者被拙劣地记录，并且语音到文本转换器模型对于这是患者说出的可以只有54％的信心。用户能点击短语“今天早上感觉更糟了”，在该点上，在该位置显示文字记录并且重播音频短语。用户能接受或者拒绝(即编辑)笔记。还能显示用于建议的信心指示符，诸如用于说出的单词“Lipodrene”的图5中示出的建议。具有高置信等级(例如，>80％)的建议的单词或者短语通常不会伴随信心指示符，并且通常不会向用户建议具有低置信等级(例如，<30％)的单词或者短语。因此，仅对于具有中间等级信心的建议的单词和短语(比如30％和80％之间或者30％和70％之间)提供置信等级。
图8示出当用户已经选择了笔记标签306时的工作站210的图示。在区域314中连同笔记一起显示文字记录，在此示例中以散文风格。页面包括搜索工具802，其中用户正在文字记录或者笔记中搜索术语“发热(pyrexia)”。搜索功能是“智能”搜索功能，意味着还找到文字记录中的“发热”的等效物(即，发烧、发烧的、热的、出汗等)。在此情况中，文字记录具有5个命中(hit)(参见区域806)并且文字记录正在示出第二个命中，即在804处患者提到发烧。另外，笔记区域314中的术语“发烧”被高亮。
图9是如何选择笔记分段映射或转变到文字记录和音频记录的对应部分的图示。在此示例中，用户已经点击了笔记区域314中的短语“体重增加”902，并且在相同的屏幕上高亮示出链接到笔记短语“体重增加”的对应部分的文字记录。在此示例中，如在904处指示的，医生提到“增加了你的体重”。相似地，如果用户将症状布告下的MSK类别下选择“膝盖疼痛”，将会利用文字记录中的高亮的短语“我膝盖的疼痛”来示出其中患者说出关于膝盖疼痛的诉求的有关部分的文字记录。用户具有播放在含有高亮的单词的行处的音频记录的选项，以验证语音到文本转换的准确性。
图10是用户已经选择了患者指令标签302的工作站210显示的图示。在此显示中，存在区域1000，将所有患者指令收集在一个地点，用于便于查看和传输给患者。在此示例中，患者指令包括处方(1002)、要阅读的文章(1004)和选择模板“接下来做什么”(1006)的选项。复选框挨着处方和文章栏目1002和1006，在用户希望取消这些特别的指令的情况下，其能不被选中。通过选中挨着模板描述1006的开放的复选框，将会将此模板添加到指令。存在用户添加定制指令的栏目1008。当选择了此栏目1008时，存在弹出窗口，其具有可用于选择用来发送给患者的讲义或者指令列表。在页面的底部，存在用来经由电子邮件向患者发送所有的指令的图标1010。如果选择了图标1012，则通过SMS消息向患者的智能电话或者平板发送指令。能在图10的页面的右侧显示关于模板、文章或者其他定制指令中任一项的进一步细节。因为它们不能一次全部在显示上呈现，所以包括了滚动条，以向下滚动浏览关于指令的所有细节信息。
图11示出用于患者的指令的进一步显示1106的另一版本、以及用于示出患者的联系信息(包括电子邮件地址1102和(多个)电话号码1104)的栏目。此页面呈现在如1102和1104处示出的联系信息列表中、通过利用鼠标选择或者不选择它们、来改变SMS或者电子邮件偏好的选项。
图12示出机器学习模型的附加特征，其在文字记录中提取高亮文本时使用。根据标签的训练数据来训练机器学习模型，使得在患者讨论他们的问题或者症状时，生成建议的问题列表，并且在工作站上显示，以支持医生作出决策。生成建议的问题列表或者医师的疑问的临床决策支持模型在本领域中是已知的，因此为了简洁省略了描述。例如，患者-医生对话可以导致生成在图12中1200处示出的建议的临床问题，包括诊断账单代码。另外，还可以标记需要解决但是在对话中还未通过患者提出的问题。这在如图12中1202处指示的潜在的记录在档(under-documented)的问题列表中示出。在此示例中，标记了高血压，因为在之前的就诊中，患者示出高血压读数。还标记了前期糖尿病，因为最近的血红蛋白ATc测量值为6.3％，指示患者具有成为糖尿病的可能性。能基本实时地在患者就诊期间，在临床或者医师办公室内的工作站上生成这些建议的临床问题和记录在档的问题的显示，因此健康护理提供者能在办公室就诊期间和患者当场解决这些困难。
图13图示当用户已经变换(tog)到账单标签时，在图2的工作站上显示的页面。页面包括账单代码1300和来自支持所述账单代码的笔记的对应的文本1302的显示。区域1304显示还未提问的患者疑问的列表，诸如连同与文字记录(行209)的行的参考(患者在此处提到他们感觉发烧的)一起的“什么时候开始发烧”。页面还显示可能的困难以与患者探讨，诸如高血压和前期糖尿病。页面的底部示出指示音频记录可用于播放的区域1312，连同用来对记录进行暂停、播放、快进、倒带等的工具1310一起。当激活了向上箭头图标(^)1314时，显示对话的文字记录。在此示例中，以散文风格显示区域314中的笔记。
图14图示了这样的特征，通过其在工作站的显示中包括了智能缩放，以允许访问音频记录和文字记录，并且同时导航到其他患者数据。在此示例中，工作站示出患者的电子健康记录，包括用于示出记录的各个组成部分(药物、家族史、生命体征、先前程序、先前笔记等)的多个标签。还在显示的外围示出用于播放或暂停记录的小图标1402。例如，如果用户正在听记录并且查看文字记录，但是想要探查患者记录的其他方面，他们能最小化显示(例如，图3、或者图13的显示)，并且导航到患者的整个电子健康记录，并且探查在患者-提供者对话中当前讨论的可能感兴趣的数据。其间，当用户正在导航浏览电子健康记录时，小图标1402保留在页面上。通过选择它，他们能重新开始音频记录的渲染，并且如上所解释的同时生成文字记录和笔记。此界面(例如图3-12的)能在就诊期间最小化，并且仍主动地记录患者就诊，以允许医生访问其它桌面工具。
一旦健康护理提供者已经完成了审阅和编辑文字记录和笔记的处理，其就能下载并且本地存储在例如图2中示出的数据存储器212中的患者的电子健康记录中或者工作站210的硬盘驱动器上。
鉴于以上所述，将会理解，我们还描述了一种促进自动生成总结患者和健康护理提供者之间的对话的笔记的系统。例如，如图3中示出的，所述系统包括具有工具(图标、链接或者其它)的工作站210，所述工具用于渲染对话的音频记录，并且使用语音到文本引擎来生成音频记录的文字记录。工作站包括显示(图3)，其具有用于显示记录的文字记录的第一文字记录区域(312，图3)和用于同时地显示总结对话的笔记的第二笔记区域(314、图3、图4、图13等)。训练的机器学习模型(图1、104)提取涉及与患者相关的医疗话题的文字记录中的单词或者短语，并且在系统中，在显示的笔记区域314中显示提取的单词或者短语(图4、图17等)。将笔记区域314中的提取的单词或者短语链接或者映射到所述提取的单词或者短语源自的部分文字记录，由此能通过工作站的用户验证提取的单词或者短语的来源和准确性，例如，如以上结合图3、4等解释的。
通过进一步总结，此公开的系统和方法以一些可能的和可选的变化或者增强为特征，诸如：如图6、7、9、17、18等中示出的，将提取的单词或者短语放置到诸如症状、药物等的笔记区域中适合的类别或者分类中。另外，在文字记录中标识说话者，例如，图3、8、19。文字记录和笔记是可编辑的，例如，如图5中示出的。所述方法可以进一步包括步骤：自动生成用于文字记录中的单词或者短语的替代的单词或者短语的建议，和用来对于生成的建议进行批准、拒绝或者提供反馈的工具，由此编辑文字记录，例如，如以上图5中描述的。所述方法和系统可以以散文风格渲染笔记，例如，如图8中示出的，或者以布告列表的形式，例如，图6、17、18。将与症状或者此症状的属性相关的文字记录中的单词或者短语在笔记中分组和分类在一起，例如，如图7、9、17、18中示出的。笔记是可编辑的以改变症状和症状属性的分类和分组，例如，如图4中示出的。所述方法和系统还可以提供显示用于替代的单词或者短语的生成的建议的置信等级，例如，如图5中示出的。如图12和13中示出的，可以存在用来跟进患者的话题的建议、临床问题的建议、潜在的记录在档的问题的建议、和具有证明账单代码的显示的部分文字记录的建议的账单代码中的至少一种的显示。另外，可以存在显示患者指令的可发电子邮件的或者SMS准备列表的步骤(图10和11)，包括用于编辑指令的列表、添加来自可用的或者建议的指令的列表的新指令、根据医生笔记的评估和计划部分生成的列表来改变或者添加药物的特征。如图14中示出的，所述方法可以进一步包括在电子健康记录屏幕的显示器上显示最小化的图标(1402)，当激活时，其变换到对话的音频记录及其文字记录。
附加可能特征包括在工作站显示器上显示搜索工具，以搜索用来插入到笔记中的单词或者短语，例如，如在图5和8中示出的。图8示出了智能搜索工具，允许在文字记录和笔记之间搜索与键入到智能搜索工具中的单词或者短语相同和等效的单词或者短语。图5的搜索工具集成在患者的电子健康记录中存在的智能短语或者点短语搜索快捷方式。
B.自动生成患者-健康护理提供者对话的文字记录、和可视化指示符以建立对于文字记录的信心和信任
此公开还涉及用于生成患者-健康护理提供者对话的音频记录的文字记录的方法。此公开涉及用来增加对于文字记录的信任、和对于用来创建文字记录的幕后处理的可信度和信心。如之前注释的，医师平均花费他们时间的20-30％在将患者就诊笔记记录在档用于正确的账单。在患者检查期间捕获音频并且生成自动的文字记录，而不是依赖于手动或者计算机记笔记，这允许医生专注于他们的患者并且推进(expedite)医生写笔记的能力。从文字记录提取有关医疗概念的技术能更加简化文档书写。然而，做出医疗决策的处理是非常复杂的。在将机器智能的输出集成到他们实践的工作流程之前，医生必须感觉到他们理解如何以及为什么做出这些自动的推荐。
同时，医生已经信息过载。本公开提供机器文字记录和信息提取处理的透明度以建立信任和可信度，同时还最小化对于用户注意力的影响。为了实现这一点，我们开发了新颖的用户界面和交互，其提供机器智能输出的支持重点和快速理解。
如下面将会解释的，利用上下文信息对文字记录进行注解(即，高亮)，以促进可靠性和可信度。在患者/临床医师交互期间的音频被捕获并且基本实时地文字记录，在说出单词后不久，在工作站的用户界面上出现所述单词。医生能在任意时间确认正在准确地记录音频。
还实时地从文字记录自动提取用于在医疗笔记中使用的短语。选择建议的笔记提取变换到对应部分的文字记录。这些笔记高亮添附(append)有每个症状的建议分组和每个账单代码的分类符(进度、发作等)，所有这些能由医生批准或者拒绝。
所述方法使用工作站(210，图2、3)，其提供对话的音频记录的渲染(例如，经过工作站上的扬声器)、以及与音频记录的渲染基本实时地、使用语音到文本引擎来生成音频记录的文字记录的显示(图3)。与音频记录的渲染基本实时地生成文字记录使得能够检验语音到文本的对话的准确性。工作站包括诸如滚动条的工具，用于在文字记录的全长上滚动，并且根据滚动的位置来渲染部分音频。因此，用户能导航浏览文字记录，并且重播文字记录中的特定点处的部分音频，以确认语音到文本转换的准确性。
另外，所述方法涉及在文字记录中使得涉及症状、药物或者与患者的医疗状况相关的其它医疗有关概念的、患者所说出的单词或者短语高亮。例如，如果患者说“今天早上我感觉发烧的”，则将会在文字记录中使得短语“感觉发烧的”或者仅是“发烧的”以及短语“今天早上”高亮，由于它们与患者体验的症状和症状的发作相关。此特征唤起用户的注意，特别是文字记录中重要的或者意义重大的单词或者短语。
另外，所述方法提供一组文字记录辅助工具，其使能基于对应部分的音频记录的内容、来编辑特定部分的文字记录。具体地，可以存在其中患者的声音可能听不清的部分音频记录，他们可能错读意义重大的单词，诸如药物的名称，他们只记得他们正在服用的药物的第一个音节或者药片颜色等。文字记录辅助工具诸如通过显示建议的替代短语、显示改正的医疗专有名词、显示对于不完整的单词的建议等，使能文字记录的这些部分的编辑，以及用于接受、拒绝或者编辑文字记录和生成建议的工具。另外，这些建议可以伴随有对于自动建议的单词或者短语的置信等级的指示的显示。
生成文字记录的方法可以伴随有其它可选的特征，诸如与文字记录的显示同时地显示笔记，并且用于高亮的单词或者短语填充笔记，例如，如图9中示出的。另外，可以最小化文字记录，并且工作站可以准备仅查看与音频记录的渲染基本实时地生成的笔记。另外，将高亮的单词或者短语放置到诸如症状、药物等的笔记中的适合的类别/分类中。可以提供用于症状的辅助信息，包括用于开账单所需的短语的标签。还存在笔记中的元素到有关部分文字记录的链接，例如，如果用户点击笔记中的症状标题下的短语“感觉发烧的”，则与该部分笔记相邻地显示其中患者描述此症状的有关部分的文字记录。
以下章节将描述生成文字记录的方法或其使用的进一步的方面，其建立对于文字记录的信任和幕后处理的可信度。
A.滚动/更新的实时文字记录
如图3中示出的，在患者和临床医师正在讲话时(或者稍后，当在工作站上渲染音频记录时)，实时自动生成滚动和更新的文字记录，其中记录附加语音。图15示出关于此的另一示例。工作站上存在显示1502，包括音频控制1504(诸如播放、暂停、快进等)，其控制音频记录的渲染，并且在其播放患者说出的声音“呃，我的腿受伤了”时，存在语音的文字记录的显示(“呃，我的腿受伤了”)。如图3和15中示出的，此显示提供正在捕获并且准确文字记录的语音短语的可视化指示。
B.文字记录中的高亮
文字记录中的医疗有关的单词或者短语被唤起或者高亮。例如，在图16中，患者已经说出短语“呃，我的腿受伤了”，并且以粗体示出短语“腿受伤了”。两行后，患者陈述他们开始感觉发烧的，并且也高亮了单词“感觉”和“发烧的”。高亮的方式并不特别重要，并且可以采用多种形式，诸如使用红色字体、更大的字体、粗体、下划线等。再一次地，在渲染音频记录并且生成文字记录时，在产生文字记录时，立即高亮这些医疗有关的单词或者短语。
C.最小化文字记录并变换到仅限笔记的视图
如图3、15和16中示出的，在渲染记录并且生成文字记录时，医师可能想要专注于笔记生成处理而不是文字记录本身，并且因此显示包括最小化工具，用于最小化其中产生文字记录处的显示的区域，由此变换到仅限笔记的视图。例如，在图17中示出了在适合的标题或者类别(在此种情况中是症状类别)下在笔记区域314中形成笔记的单词或者短语的显示。图17与图6中的图示相似，然而，在图17中，患者刚刚说出短语“在我的右胫骨上出现了皮疹”，并且然后立即将单词“皮疹”(1702)和“右胫骨”(1704)放置在症状标题下的笔记中。
D.笔记建议分组/分类符
由于将从文字记录摘录的单词或者短语放置在笔记中，因此将它们分组到推荐的章节，与当前在实践中如何构建笔记相一致。如通过图1的机器学习模型所建议的，用于症状的辅助信息包括开账单所需的关键短语的标签。例如，在图18中，示出有笔记区域314，其中将短语“腿受伤了”放置在题名“主诉”的章节中。在疾病存在历史章节(HPI)，存在包括发作、缓解和进度的、从文字记录提取的附加症状的列表。
E.接受/拒绝文字记录和笔记建议的能力
附图中示出的用户界面包括编辑文字记录和笔记的能力，包括接受或者拒绝用于文字记录和笔记的建议的能力，例如，当错误地说出单词、语音听不清或者部分不可听、或者语音识别引擎对于说出的单词无信心时出现的其它情形时。在图19的示例中，患者被问及药物，并陈述名称“Lipodrene”，该术语不在NER模型的词汇中，并且向用户呈现两个替代词1904和1906，它们可能是患者打算说的药物的名称。用户能选择两者之一或者通过激活X图标1908拒绝它们。此外，用户能通过将条款移动到不同的分组、改变下拉、删除建议或者添加更多的上下文，来改变建议的分类。在图4中，利用将提取的短语“腿受伤了”从笔记中的症状区域移动到笔记中的主诉区域，而示出了此示例。
F.不确定短语的文字记录建议
如果语音到文本转换器模型(图1)中的自动语音识别功能不能挑选短语，或者也许患者不确定正确的单词(尤其是关于药物名称)，则界面准备自动地建议适合的替代单词或者短语。在图20中，示出有文字记录2000的一部分，其中医师(“MA”)问患者他们是否仍在使用他们的吸入器用于他们的哮喘(2002)，具有高亮的“用于你的哮喘的吸入器”。然后患者提到“有时”，这被高亮，并且然后说一些句子“Ben-thing是更新的”。未识别单词“Ben-thing”，并且因此NER模型提议在笔记区域314中显示药物贝那普利，10毫克，哮喘吸入器。用户能接受、编辑或者拒绝笔记中包括贝那普利10毫克的建议。
G.用于听不清的短语的文字记录信心指示符
如之前结合图7所描述的，对于自动建议的短语，显示包括关于建议的确定性的期望。此种置信等级的显示还可以应用于笔记中术语的显示，而不仅仅是文字记录中的术语。
H.将笔记链接到有关部分的文字记录
如之前所解释的，在笔记片段(单词或者短语)和此片段源自的部分文字记录之间存在直接的链接或者映射。因此，能点击或者轻拍笔记片段，以查看是如何基于通过文字记录陈述的内容来生成它们的。参见之前图9的讨论。
I.专有名词适应于专业优选的术语
在可应用情况下，笔记中的专有名词适应于专业优选的术语。例如，在图21中，笔记已经将“皮疹”替换为“皮炎”并且将“感觉发烧的”替换为“发热”。
鉴于以上所述，我们已经描述了显示患者和健康护理提供者之间的对话的文字记录的工作站(210)。所述工作站包括例如图标、标签、链接等的工具，用于渲染对话的音频记录，并且与音频记录的渲染基本实时地使用语音到文本引擎来生成音频记录的文字记录的显示，由此使能检验语音到文本的转换的准确性。例如，参见图3、15、16。所述工作站进一步包括诸如滚动条(311，图3)的工具，用于在文字记录的全长上滚动，并且根据滚动的位置渲染部分音频。参见图3、8、9等，文字记录的显示包括与症状、药物或者其它医疗有关概念相关的、患者所说出的单词或者短语的高亮。所述工作站进一步包括一组文字记录辅助工具，其使能基于音频记录的对应部分的内容来编辑文字记录的特定部分。

Claims (14)

1.一种用于生成患者和健康护理从业者之间的对话的文字记录的方法，包含：
在工作站上提供对话的音频记录的渲染，并且与音频记录的渲染基本实时地、使用语音到文本引擎来生成音频记录的文字记录的显示，由此使能检验语音到文本的转换的准确性；
提供用于贯穿文字记录滚动并根据滚动的位置来渲染部分音频的工具；
在文字记录中使得涉及症状、药物或其他医疗相关的概念、患者所说出的单词或短语高亮；和
提供使能基于音频记录的对应部分的内容来编辑文字记录的特定部分的一组文字记录辅助工具，
其中，所述方法还包含步骤：与文字记录的显示同时地显示笔记，和与音频的渲染基本实时地、利用高亮的单词或短语来填充笔记。
2.根据权利要求1所述的方法，其中，所述文字记录辅助工具包括以下中的至少一种：
a)用于单词或短语的智能建议的显示，和用于对于所述建议进行编辑、批准、拒绝或者提供反馈的工具；
b)建议的改正的医疗专有名词的显示；
c)建议的单词或短语中置信等级的指示的显示。
3.根据权利要求1所述的方法，进一步包含最小化文字记录并且仅查看笔记，并且其中所述笔记是与音频的渲染基本实时地生成的。
4.根据权利要求1所述的方法，其中，将高亮的单词或短语放置到诸如症状、药物等的笔记中的适合类别或分类中。
5.根据权利要求1所述的方法，进一步包含提供包括用于开账单所需的短语的标签的、症状的辅助信息的步骤。
6.根据权利要求1所述的方法，进一步包含将笔记中的单词或短语链接到所述笔记中的单词或短语所源自的文字记录的有关部分。
7.根据权利要求1所述的方法，进一步包含提供用来编辑文字记录的工具的步骤。
8.一种显示患者和健康护理从业者之间的对话的文字记录的工作站，包含：
用于渲染对话的音频记录、并且与音频记录的渲染基本实时地、使用语音到文本引擎来生成音频记录的文字记录的显示的工具，由此使能检验语音到文本的转换的准确性；
用于贯穿文字记录滚动并且根据滚动的位置来渲染部分音频的工具；
其中，文字记录的显示包括涉及症状、药物或其他医疗相关的概念、患者所说出的单词或短语的高亮；和
使能基于音频记录的对应部分的内容来编辑文字记录的特定部分的一组文字记录辅助工具，
其中，所述工作站还配置为与文字记录的显示同时地显示笔记，并且其中与音频的渲染基本实时地利用高亮的单词或短语来填充笔记。
9.根据权利要求8所述的工作站，其中，所述文字记录辅助工具包括以下中的至少一种：
a)用于单词或短语的智能建议的显示，和用于对于所述建议进行编辑、批准、拒绝或者提供反馈的工具；
b)建议的改正的医疗专有名词的显示；
c)建议的单词或短语中置信等级的指示的显示。
10.根据权利要求8所述的工作站，其中所述工作站进一步包括用于最小化文字记录并且仅查看笔记的工具，并且其中所述笔记是与音频的渲染基本实时地生成的。
11.根据权利要求8所述的工作站，其中将高亮的单词或短语放置到诸如症状、药物等的笔记中的适合类别或分类中。
12.根据权利要求8所述的工作站，其中所述笔记包括症状的辅助信息，所述症状的辅助信息包括用于开账单所需的短语的标签。
13.根据权利要求8所述的工作站，其中将笔记中的单词或短语链接到所述笔记中的单词或短语所源自的文字记录的有关部分。
14.根据权利要求8所述的工作站，进一步包含用于编辑文字记录的工具。
CN201810842301.7A 2017-10-23 2018-07-27 用于生成患者-健康护理提供者对话的文字记录的方法和系统 Active CN109697283B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762575725P 2017-10-23 2017-10-23
US62/575,725 2017-10-23

Publications (2)

Publication Number Publication Date
CN109697283A CN109697283A (zh) 2019-04-30
CN109697283B true CN109697283B (zh) 2023-07-07

Family

ID=66170535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810842301.7A Active CN109697283B (zh) 2017-10-23 2018-07-27 用于生成患者-健康护理提供者对话的文字记录的方法和系统

Country Status (2)

Country Link
US (5) US10719222B2 (zh)
CN (1) CN109697283B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030983B2 (en) 2017-06-26 2021-06-08 Adio, Llc Enhanced system, method, and devices for communicating inaudible tones associated with audio files
US10460709B2 (en) * 2017-06-26 2019-10-29 The Intellectual Property Network, Inc. Enhanced system, method, and devices for utilizing inaudible tones with music
US10957427B2 (en) 2017-08-10 2021-03-23 Nuance Communications, Inc. Automated clinical documentation system and method
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11412333B2 (en) * 2017-11-15 2022-08-09 Starkey Laboratories, Inc. Interactive system for hearing devices
US10496936B2 (en) * 2018-03-05 2019-12-03 Capital One Services, Llc Systems and methods for preventing machine learning models from negatively affecting mobile devices through intermittent throttling
US11250383B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
US20190272902A1 (en) * 2018-03-05 2019-09-05 Nuance Communications, Inc. System and method for review of automated clinical documentation
EP3762921A4 (en) 2018-03-05 2022-05-04 Nuance Communications, Inc. AUTOMATED CLINICAL DOCUMENTATION SYSTEM AND PROCESS
EP3762942B1 (en) * 2018-04-05 2024-04-10 Google LLC System and method for generating diagnostic health information using deep learning and sound understanding
US11386304B2 (en) * 2018-08-20 2022-07-12 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same
GB201816532D0 (en) * 2018-10-10 2018-11-28 Leso Digital Health Ltd Methods, systems and apparatus for improved therapy delivery and monitoring
US11875883B1 (en) 2018-12-21 2024-01-16 Cerner Innovation, Inc. De-duplication and contextually-intelligent recommendations based on natural language understanding of conversational sources
US11869509B1 (en) 2018-12-21 2024-01-09 Cerner Innovation, Inc. Document generation from conversational sources
US11798560B1 (en) 2018-12-21 2023-10-24 Cerner Innovation, Inc. Rapid event and trauma documentation using voice capture
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US11043207B2 (en) 2019-06-14 2021-06-22 Nuance Communications, Inc. System and method for array data simulation and customized acoustic modeling for ambient ASR
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
CN110650250B (zh) * 2019-09-25 2022-03-08 携程旅游信息技术（上海）有限公司 语音对话的处理方法、系统、设备和存储介质
US11670408B2 (en) * 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11687318B1 (en) * 2019-10-11 2023-06-27 State Farm Mutual Automobile Insurance Company Using voice input to control a user interface within an application
CN110706814A (zh) * 2019-10-14 2020-01-17 郑州西亚斯学院 一种分布式的智能经济管理系统
KR102153668B1 (ko) * 2019-10-29 2020-09-09 주식회사 퍼즐에이아이 키보드 매크로 기능을 활용한 자동 음성 인식기 및 음성 인식 방법
US11404049B2 (en) * 2019-12-09 2022-08-02 Microsoft Technology Licensing, Llc Interactive augmentation and integration of real-time speech-to-text
WO2021211716A1 (en) * 2020-04-15 2021-10-21 University Of Pittsburgh-Of The Commonwealth System Of Higher Education System and method for automated observation and analysis of instructional discourse
US20220102015A1 (en) * 2020-09-25 2022-03-31 GoForward, Inc. Collaborative smart screen
DE112021005137T5 (de) * 2020-09-29 2023-08-10 Google Llc Scroller-oberfläche für die transkriptionsnavigation
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11404061B1 (en) * 2021-01-11 2022-08-02 Ford Global Technologies, Llc Speech filtering for masks
US20230081372A1 (en) * 2021-09-08 2023-03-16 Abstractive Health, Inc. Automated Summarization of a Hospital Stay Using Machine Learning
US20230113607A1 (en) * 2021-09-29 2023-04-13 Intuit Inc. Automated search and presentation computing system
US20230244857A1 (en) * 2022-01-31 2023-08-03 Slack Technologies, Llc Communication platform interactive transcripts
WO2023220199A1 (en) * 2022-05-10 2023-11-16 Google Llc Dynamic summary adjustments for live summaries
WO2024062328A1 (en) * 2022-09-21 2024-03-28 Alibashe Ahmed Mohamed Method for providing patient-specific content

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1773536A (zh) * 2004-11-11 2006-05-17 国际商业机器公司 生成话音纪要的方法、设备和系统
CN102141889A (zh) * 2010-02-12 2011-08-03 微软公司 用于编辑的打字辅助
CN102906735A (zh) * 2010-05-21 2013-01-30 微软公司 语音流增强的笔记记录
US8504369B1 (en) * 2004-06-02 2013-08-06 Nuance Communications, Inc. Multi-cursor transcription editing
CN103390016A (zh) * 2012-05-07 2013-11-13 Lg电子株式会社 显示与音频文件相关联的文本的方法以及电子设备
CN105283837A (zh) * 2013-05-21 2016-01-27 微软技术许可有限责任公司 适于在语音用户界面中使用的用于找出web页面中的元素的方法（消歧）
CN107247868A (zh) * 2017-05-18 2017-10-13 深思考人工智能机器人科技（北京）有限公司 一种人工智能辅助问诊系统
CN107273347A (zh) * 2009-09-09 2017-10-20 意美森公司 用于触觉增强的文本界面的系统和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249870B2 (en) 2008-11-12 2012-08-21 Massachusetts Institute Of Technology Semi-automatic speech transcription
US8972269B2 (en) 2008-12-01 2015-03-03 Adobe Systems Incorporated Methods and systems for interfaces allowing limited edits to transcripts
US8744239B2 (en) * 2010-08-06 2014-06-03 Apple Inc. Teleprompter tool for voice-over tool
US10032127B2 (en) * 2011-02-18 2018-07-24 Nuance Communications, Inc. Methods and apparatus for determining a clinician's intent to order an item
US20120232422A1 (en) * 2011-03-08 2012-09-13 Donofrio William T Response testing for conscious sedation utilizing a non-ear-canal-contacting speaker
US9231898B2 (en) * 2013-02-08 2016-01-05 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US20150149540A1 (en) * 2013-11-22 2015-05-28 Dell Products, L.P. Manipulating Audio and/or Speech in a Virtual Collaboration Session
US10231622B2 (en) * 2014-02-05 2019-03-19 Self Care Catalysts Inc. Systems, devices, and methods for analyzing and enhancing patient health
US10621977B2 (en) 2015-10-30 2020-04-14 Mcafee, Llc Trusted speech transcription
US10204158B2 (en) * 2016-03-22 2019-02-12 International Business Machines Corporation Audio summarization of meetings driven by user participation
US10628531B2 (en) * 2016-06-09 2020-04-21 Billy D. Duc System and method for enabling translation of speech
US10049263B2 (en) * 2016-06-15 2018-08-14 Stephan Hau Computer-based micro-expression analysis
US20170365183A1 (en) * 2016-06-16 2017-12-21 Georgetown University Intelligent medical hypertext information translator
US20190228059A1 (en) * 2016-06-28 2019-07-25 Tal FLORENTIN Method and system for creating and managing a content marketplace
US10691407B2 (en) * 2016-12-14 2020-06-23 Kyruus, Inc. Methods and systems for analyzing speech during a call and automatically modifying, during the call, a call center referral interface
US20180218127A1 (en) * 2017-01-31 2018-08-02 Pager, Inc. Generating a Knowledge Graph for Determining Patient Symptoms and Medical Recommendations Based on Medical Information
US20180218126A1 (en) * 2017-01-31 2018-08-02 Pager, Inc. Determining Patient Symptoms and Medical Recommendations Based on Medical Information
US20180365385A1 (en) * 2017-06-16 2018-12-20 University Hospitals Of Cleveland Monitoring and evaluating patient reactions to medications
US10694038B2 (en) * 2017-06-23 2020-06-23 Replicant Solutions, Inc. System and method for managing calls of an automated call management system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8504369B1 (en) * 2004-06-02 2013-08-06 Nuance Communications, Inc. Multi-cursor transcription editing
CN1773536A (zh) * 2004-11-11 2006-05-17 国际商业机器公司 生成话音纪要的方法、设备和系统
CN107273347A (zh) * 2009-09-09 2017-10-20 意美森公司 用于触觉增强的文本界面的系统和方法
CN102141889A (zh) * 2010-02-12 2011-08-03 微软公司 用于编辑的打字辅助
CN102906735A (zh) * 2010-05-21 2013-01-30 微软公司 语音流增强的笔记记录
CN103390016A (zh) * 2012-05-07 2013-11-13 Lg电子株式会社 显示与音频文件相关联的文本的方法以及电子设备
CN105283837A (zh) * 2013-05-21 2016-01-27 微软技术许可有限责任公司 适于在语音用户界面中使用的用于找出web页面中的元素的方法（消歧）
CN107247868A (zh) * 2017-05-18 2017-10-13 深思考人工智能机器人科技（北京）有限公司 一种人工智能辅助问诊系统

Also Published As

Publication number Publication date
CN109697283A (zh) 2019-04-30
US20190121532A1 (en) 2019-04-25
US20220391083A1 (en) 2022-12-08
US10990266B2 (en) 2021-04-27
US20200319787A1 (en) 2020-10-08
US11650732B2 (en) 2023-05-16
US10719222B2 (en) 2020-07-21
US20210216200A1 (en) 2021-07-15
US20230315279A1 (en) 2023-10-05
US11442614B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
CN109697283B (zh) 用于生成患者-健康护理提供者对话的文字记录的方法和系统
CN109698030B (zh) 用于患者-提供者对话的界面以及笔记或总结的自动生成
US20220328046A1 (en) Methods and apparatus for formatting text for clinical fact extraction
US9679107B2 (en) Physician and clinical documentation specialist workflow integration
US9971848B2 (en) Rich formatting of annotated clinical documentation, and related methods and apparatus
US6434547B1 (en) Data capture and verification system
US10460288B2 (en) Methods and apparatus for identifying unspecified diagnoses in clinical documentation
US8788289B2 (en) Methods and apparatus for linking extracted clinical facts to text
US8595620B2 (en) Document creation and management systems and methods
US8738403B2 (en) Methods and apparatus for updating text in clinical documentation
US9898580B2 (en) Methods and apparatus for analyzing specificity in clinical documentation
US20130297348A1 (en) Physician and clinical documentation specialist workflow integration
WO2021026533A1 (en) Method of labeling and automating information associations for clinical applications
EP3011489A2 (en) Physician and clinical documentation specialist workflow integration
EP2673722B1 (en) Tools for clinical documentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant