CN110720124B - 监测患者语言的使用以识别潜在的言语和相关的神经障碍 - Google Patents

监测患者语言的使用以识别潜在的言语和相关的神经障碍 Download PDF

Info

Publication number
CN110720124B
CN110720124B CN201780091377.4A CN201780091377A CN110720124B CN 110720124 B CN110720124 B CN 110720124B CN 201780091377 A CN201780091377 A CN 201780091377A CN 110720124 B CN110720124 B CN 110720124B
Authority
CN
China
Prior art keywords
response
patient
processor
text
verbal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780091377.4A
Other languages
English (en)
Other versions
CN110720124A (zh
Inventor
D·麦克罗斯基
H·尼苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN110720124A publication Critical patent/CN110720124A/zh
Application granted granted Critical
Publication of CN110720124B publication Critical patent/CN110720124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/741—Details of notification to user or communication with user or patient ; user input means using sound using synthesised speech
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

提供了一种用于监测患者语言使用的方法和相关计算机系统和计算机程序产品，其可以使得能够识别、分析和报告各种神经或语言障碍的自然进展。该方法包括获得患者对刺激的口头响应，分别通过分析口头响应和响应文本来将口头响应转换为文本以及生成口头和文本响应数据。可以基于口头和文本响应数据形成响应向量，然后可以使用该响应向量来确定对患者的答复。实现了监测与神经和语言障碍相关的语言的使用的改进的准确性和一致性，导致在这些症状的治疗中获得更大的成功率。

Description

监测患者语言的使用以识别潜在的言语和相关的神经障碍
技术领域
本发明涉及患者语言的使用，更具体地，涉及基于从患者收集的数据来监测患者语言使用的方法，其可用于识别潜在的神经或言语障碍。
背景技术
早期干预已被确定为成功治疗神经和言语障碍的关键因素，例如自闭症谱系障碍(ASD)和痉挛症。
发明内容
本发明的一个方面涉及一种用于监视患者语言的使用的方法，以及相关的计算机系统和计算机程序产品。计算系统的处理器获得患者对刺激的口头响应。口头响应被转换为响应文本。通过分析口头响应生成口头响应数据。通过分析响应文本生成文本响应数据。基于口头响应数据和文本响应数据形成响应向量。基于响应向量确定对患者的答复。
附图说明
现在将仅通过示例的方式参考附图描述本发明的实施例，附图中：
图1描绘根据本发明实施例的示例分布式数据处理系统的图形表示；
图2是根据本发明实施例的示例数据处理系统的框图；
图3描绘了根据本发明实施例的用于监视患者语言使用的方法的流程图；
图4描绘了根据本发明实施例的用于确定对患者的答复的方法的流程图；
图5描绘了能够实现图1的数据处理系统的计算系统的框图；以及根据本发明的实施例的图3-4的方法。
具体实施方式
当前的限制，例如医疗保健系统成本、容量和政策，可能导致疾病检测的严重延迟；导致对患者的预测和未来生活质量的相应且通常显著的影响。此外，干预策略并非绝对可靠，并且已知会达到不一致的准确性，这通常取决于个体从业者的能力和资源。
因此，需要用于监测患者语言的使用和获取的系统和方法，以便在病症发展的早期阶段提供对神经和言语障碍的一致准确诊断。
本发明的实施例涉及一种用于监控患者语言使用的方法，该方法可以使得能够识别、分析和报告各种神经或言语障碍的自然进展。该方法的实施例可以包括获得患者对刺激的口头响应，将口头响应转换为文本，以及通过分别分析口头响应和响应文本来生成口头和文本响应数据。
可以基于口头和文本响应数据形成响应向量，然后可以使用该响应向量来确定对患者的答复。响应向量的进一步使用可以是为患者分配分类。因此，所提出的实施方案可以提供监测与神经和言语障碍相关的语言的使用的改进的准确性和一致性，从而导致在治疗这些病症中更大的成功率。
本发明的实施例还提供了一种计算机程序产品，包括用于在处理器上执行时实现所提出的分析概念的计算机程序代码。
本发明的实施例还提供了一种被配置为执行该计算机程序代码的系统(诸如处理设备和/或网络组件)。
根据本发明的实施例，一种用于监控患者语言使用的计算机实现的方法，该方法包括：获得患者对刺激的口头响应；将口头响应转换为响应文本；通过分析口头响应生成口头响应数据；通过分析响应文本生成文本响应数据；基于口头响应数据和文本响应数据形成响应向量；并根据响应向量确定对患者的答复。
提出的是分析患者对刺激的口头响应的概念，其中对口头响应的音频概况和转换的响应文本执行分析。来自这些分析的数据用于以响应向量的形式建立患者响应的概况，其形成对患者的答复的基础。该答复可以用作进一步刺激以收集来自患者的额外的口头响应。然后可以使用额外的口头响应来根据每个新响应更新响应向量。
换句话说，提出的可以是与患者建立连续对话的概念，其中可以以音频和文本形式分析患者的响应，以监测患者语言的使用，这可以指示患者的神经或言语障碍。
在示例性实施例中，提供给患者的刺激可包括以下中的至少一个：听觉成分、视觉成分、肝脏成分、味道成分、气味成分、基于文本的成分、问题、照片、和视频。
根据该实施例的一个方面，可以鼓励患者通过提出简单问题来提供口头响应。这些问题的答案可能具有预定的响应，或者答案可能根据会话的上下文而变化。在已知预定或预期答案的情况下，可以通过比较患者对已知答案的口头响应来快速分析患者的口头响应。
患有神经或言语障碍的患者通常极度视觉定向。换句话说，患有神经或言语障碍的患者通常更容易对视觉学习技术作出响应。通过提供包括视觉成分的刺激，患者可以以更积极的方式响应刺激，或答复患者，并且可能更愿意提供口头响应。这反过来可以辅助诊断程序，因为患者将提供更多的口头数据，这可能与患者是孩子的情况特别相关。
作为示例，可以向孩子提供包括老鼠图片的刺激和“这是什么？”的问题，然后，孩子可以提供可以随后被记录和分析的响应。在这种情况下，分析可以包括比较孩子对图片内容的响应，以便检查孩子的响应是否与图片的内容相匹配。这里，预期响应可以是“它是老鼠”，或者表示存在老鼠的类似语句。
在一些实施例中，可以通过分析口头响应的语音成分来生成口头响应数据，其中语音成分可以包括音高级别。
以这种方式，可以识别多种言语障碍，例如，如果在口头响应中存在口吃者节奏，则可以检测到口吃。回到前面的例子，以“I-i-i-it-m-m-m-mouse”形式的响应可以提供孩子口吃的指示。孩子口吃的指示可以形成用于形成响应向量的口头响应数据的一部分。
虽然上述示例纯粹处理言语障碍，但是将这些方面包括在与神经障碍相关的语言获取的分析中也是有用的，因为在该响应的语音成分内可能存在各种关键指标。例如，单词之间的不规则停顿可以指示患者正在努力获得正确的单词以响应所提供的刺激。在这种情况下，孩子的响应可能采取“它是......老鼠”的形式，其中孩子语音的常规节奏被“老鼠”一词之前的不规则停顿所打断。不规则的停顿可以表明孩子正在努力从孩子的词汇中获得“老鼠”这个词。
孩子对刺激的响应可以进一步指示通过分析口头响应的音高，患者正努力形成对所提供的刺激的正确响应。口头响应的音高可以指示患者不确定患者的响应或者患者正在努力获得正确的单词和/或句子结构。
在一些实施例中，可以通过分析响应文本的语义组件和语法组件中的至少一个来生成文本响应数据。
分析响应文本的语义组件和语法组件中的至少一个可以允许分析口头响应内的单词的含义并与提供的刺激进行比较，这意味着形成响应的认知过程背后可以更深入地分析并且生成更准确的患者概况。回到老鼠的例子，孩子可能提供形式为“它是一只鸟”的响应，没有任何可听到的不规则性。在这种情况下，纯粹基于音频的分析可能无法检测到响应的语义内容与刺激不匹配；但是，通过分析响应的语义，可能会检测到孩子的响应是不正确的。根据该方法的实施例，孩子的不正确响应可以用作患者分类过程中的因素。在另一示例中，孩子可能提供形式为“它被猫追逐”的响应，其中不存在特定单词“老鼠”，但是已经进行了与老鼠的共同连接。通过了解孩子的响应的含义，可以评估正确性水平，这可能反过来导致更准确的病情概况。
通过进一步分析口头响应的语法内容，可能生成患者所属的神经或言语障碍的更准确分类。例如，在老鼠示例的情况下，患者可以在句子中使用不正确的代词并给出"我是老鼠"形式的响应。换句话说，可以在没有听觉差异的情况下提供响应，并且可以是已经识别出正确的对象"老鼠"；然而，响应的结构仍然不正确。通过识别该错误，可以向患者提供答复，诸如"它是老鼠，是不是？"，其试图纠正错误并向患者提供进一步的刺激，该刺激鼓励患者再次尝试。文本分析可以揭示神经障碍的关键认知标识符，其不在响应的音频概况中存在。
在示例性实施例中，该方法还可以包括：获得患者对刺激的运动神经响应；通过分析运动神经响应生成运动神经响应数据；基于所述运动神经响应数据形成运动神经响应向量；以及基于所述运动神经响应向量和所述响应向量形成总体响应向量。
换句话说，该方法的实施例还可以考虑患者的运动，例如眼睛运动、面部表情、姿势等，以便获得用于生成对患者的响应的附加信息。
另一种说法，通过在患者响应的分析中包括附加的因素，可为患者构建更精确的神经学概况。
在一些实施例中，确定对患者的答复的步骤可以包括：通过分析响应向量来识别多个候选症状；基于响应向量的内容确定每个候选症状的置信度分数；基于所述置信度分数来识别对所述口头响应的潜在答复；以及基于对患者的先前答复、先前记录的口头响应和刺激中的至少一个来语境化该潜在答复。
响应向量可以包括各种不同的度量，通过这些度量来分析患者的响应，例如单词之间的停顿长度的变化、句子长度、语法错误的数量等。患者关于这些度量中的每一个的表现可允许响应向量被分类为匹配特定症状。由于使用理想化数据对症状进行分类，因此可以将患者响应分类为多个不同的症状。
通过为每个匹配症状分配置信分值，其中置信分值取决于匹配的强度，可以识别与患者的响应最接近的匹配症状简档。
在一些情况下，存在可以提供给患者的多个答复。通过确定对患者的口头响应的最合适的答复，可以提高系统的效率。再次回到老鼠的例子，孩子可以提供响应“我是老鼠”，因此分析将揭示患者使用了不正确的代词。基于该分析，可以使用具有不同患者的等效病例，其中患者也提供类似的响应，以选择适当的响应。
然而，可能是使用不同刺激的情况，例如，猫的图片。这可能导致选择的对患者的答复为“它是猫，不是吗？”显然，孩子的响应是不正确的，可能导致患者混淆。在这种情况下，可以对答复进行语境化，以使答复的内容与当前的患者互动对齐。可以将潜在响应的主题猫与当前患者交互的主题(老鼠)进行比较。如果发现潜在响应的主题和当前患者交互的主题不匹配，则潜在响应的主体可以被当前交互中的主题替换，这可以导致提供给患者的答复采取正确的形式，“这是一个老鼠，不是吗？”
在示例性实施例中，如果候选症状的确定置信度分数高于预定值，则可将候选症状识别为主要症状。
换种说法，如果候选症状的置信水平高于预定水平，则诊断患者局有该症状。置信水平也可以提供给患者或护理人员。
在一些实施例中，识别潜在答复的步骤可包括：比较对现有临床知识的口头响应；将口头响应与患者先前的响应进行比较；将口头响应与文档化语言讨论或其任何组合进行比较；并根据比较确定对患者的潜在答复。
这些实施例可以允许将患者的口头响应与现有临床知识(例如跨多个症状的各种标准化测试结果)进行比较。可以在任何患者交互开始之前访问该知识，一旦该过程开始就允许快速且有效地识别关键症状指示符，这意味着所识别的潜在答复可以包括被设计以揭示某些症状的标准化组件。此外，可以将口头响应与患者给出的先前口头响应进行比较。在不正确的代词示例的情况下，给出的第一个口头响应是“我是老鼠”，针对其答复可以是“它是老鼠，不是吗？”患者提供的第二个响应然后可能是“它是老鼠”的形式，然后可以将其与第一个口头响应进行比较。通过这种比较，可以看出患者已经改善，在这种情况下，对话可以被标记为成功。
此外，可以将口头响应与文档化的语言讨论(例如在科学研究期刊、治疗建议指南、在线讨论论坛等中找到的那些)进行比较。通过这些比较的组合，可以通过将患者的口头简档与已知示例进行比较来提高构建患者的复杂神经和语音概况的效率。
在各种实施例中，该方法还可以包括：将答复作为进一步的刺激提供给患者；获得患者对进一步刺激的进一步口头响应；将进一步的口头响应转换为进一步的响应文本；通过分析进一步的口头响应生成进一步的口头响应数据；通过分析进一步的响应文本生成进一步的文本响应数据；基于进一步的口头响应数据和进一步的文本响应数据形成进一步的响应向量；基于进一步的响应向量确定对患者的进一步答复。
在该实施例中，可以重复该方法以便从患者收集更多的口头数据。在这种情况下，基于候选症状和口头响应数据确定给予患者的答复，以便为患者提供最合适的刺激。
换句话说，可以重复该方法以便与患者形成连续对话以便收集大量的口头数据，从而允许更准确地监测患者对语言的使用。
根据本发明的进一步实施例，这里提供了一种用于监视患者语言的使用和获取的计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有嵌入其中的程序指令，该程序指令可由处理单元执行以使处理单元执行的方法包括：获得患者对刺激的口头响应；将口头响应转换为响应文本；通过分析口头响应生成口头响应数据；通过分析响应文本生成文本响应数据；基于口头响应数据和文本响应数据形成响应向量；基于响应向量确定对患者的答复。
根据又一方面，提供了一种处理系统，包括根据一个或多个实施例的至少一个处理器和计算机程序产品，其中，所述至少一个处理器被配置为执行计算机程序产品的计算机程序代码。
处理系统可以被配置为充当位于护理人员和患者之间的语言使用和获取监视组件。处理系统可以被配置为实现外部部署平台(例如基于云的系统或服务器)的一部分。
因此，系统的实施例可以以音频和文本形式分析患者的口头响应，并基于分析的结果诊断患者的症状。
因此，根据本发明的进一步实施例，本文还提供了一种用于监视患者语言的使用和获取的系统，该系统包括：被配置为获得患者对刺激的口头响应的装置；被配置为将口头响应转换为响应文本的处理单元；被配置为通过分析口头响应生成口头响应数据的第一数据生成单元；被配置为通过分析响应文本生成文本响应数据的第二数据生成单元；被配置为基于口头响应数据和文本响应数据形成响应向量的数据处理单元；被配置为基于响应向量确定对患者的答复的答复生成单元。
刺激可以包括以下中的至少一个：可听组件、可视组件、基于文本的组件、问题，图片和视频。
第一数据生成单元还可以被配置为通过分析口头响应的语音组件来生成口头响应数据，其中语音组件可以包括音高水平。
在示例性实施例中，第二数据生成单元还可以被配置为通过分析响应文本的语义组件和语法组件中的至少一个来生成文本响应数据。
在另一个实施例中，该系统还可以包括：第二设备，被配置为获得患者对刺激的神经运动响应；第三数据生成单元，被配置为通过分析神经运动响应生成神经运动响应数据；第二数据处理单元，被配置为基于神经运动响应数据形成神经运动响应向量；第三数据处理单元，被配置为基于神经运动响应向量和响应向量形成总体响应向量。
答复生成单元还被配置为：通过分析响应向量来识别多个候选症状；基于响应向量的内容确定每个候选症状的置信度分数；根据置信度分数确定对口头响应的潜在答复；并且基于先前对患者的答复、先前记录的口头响应和刺激中的至少一个来对潜在答复进行语境化。
在示例性实施例中，答复生成单元还可以被配置为如果候选症状的确定的置信度分数高于预定值，则将候选症状识别为主要症状。
在各种实施例中，对于识别潜在答复的过程，答复生成单元可以被配置为；比较对现有临床知识的口头响应；将口头响应与患者先前给出的响应进行比较；将口头响应与文档化语言讨论或其任何组合进行比较；并根据比较确定对患者的潜在答复。
在一些实施例中，该系统还可以包括：，被配置为提供作为对患者的进一步刺激的答复的用户界面；被配置为获得患者对进一步刺激的进一步口头响应的设备；被配置为将进一步的口头响应转换为进一步的响应文本的处理单元；被配置为通过分析进一步的口头响应来生成进一步的口头响应数据的第一数据生成单元；被配置为通过分析所述进一步的响应文本生成进一步文本响应数据的第二数据生成单元；被配置为基于所述进一步的口头响应数据和所述进一步的文本响应数据生成的进一步的响应向量的数据处理单元；被配置为基于所述进一步的响应向量确定对患者的进一步答复的答复生成单元。
此外，(处理)系统可以是单个设备或分布式设备的集合，其适于执行本发明的方法的一个或多个实施例。例如，系统可以是个人计算机(PC)、服务器或经由诸如局域网、因特网等网络连接的、以协作地执行本发明的方法至少一个实施例的PC和/或服务器的集合。
说明性实施例涉及用于监视患者语言的使用的计算机实现的方法。该概念可以包括：获得患者对刺激的口头响应；将口头响应转换为响应文本；通过分析口头响应生成口头响应数据；通过分析响应文本生成文本响应数据；基于口头响应数据和文本响应数据形成响应向量；并根据响应向量确定对患者的答复。
换种说法，本发明的实施例可以包括语言监控方法，其中基于患者对刺激的响应来生成对患者的答复。可以分析患者的响应的口头和文本内容以生成最合适的响应。所生成的响应可以形成新的刺激以便与患者建立对话，其中可以进一步分析由患者给出的每个响应。
实施例可以使数据处理系统能够从患者获得刺激的口头响应，将口头响应转换为响应文本，通过分析口头响应生成口头响应数据，通过分析响应文本生成文本响应数据，基于口头响应数据和文本响应数据形成响应向量，并基于响应向量确定对患者的答复。进一步的实施例还可以获得与患者对刺激的运动神经响应有关的信息。可能的刺激可以包括听觉成分、视觉成分、肝脏成分、味道成分、气味成分；基于文本的成分、问题、照片、和视频。
具体地，本发明的实施例可以包括用于发起与患者的对话的计算机实现的方法，其中对患者的每个答复可以充当新的刺激，其可以允许分析多个患者响应，可以允许建立患者认知症状的详细概况。
还可以提供对传统语言监视实现的修改和附加步骤，以增强本发明实施例的价值和实用性。
可以在许多不同类型的数据处理环境中利用说明性实施例。为了提供说明性实施例的元件和功能的描述的上下文，以下提供图1和图2作为其中可以实现说明性实施例的各方面的示例环境。应该理解的是，图1和图2仅是示例，并非旨在声明或暗示关于可以实现本发明的方面或实施例的环境的任何限制。在不脱离本发明的精神和范围的情况下，可以对所描绘的环境进行许多修改。
图1描绘了根据本发明实施例的示例分布式数据处理系统的图形表示。分布式数据处理系统100可以包括计算机网络，其中可以实现说明性实施例的各方面。分布式处理系统100包含至少一个网络102，其是用于在分布式数据处理系统100内在连接在一起的各种设备和计算机之间提供通信链路的介质。网络102可以包括连接，例如有线、无线通信链路，或光纤电缆。
在所描绘的示例中，第一服务器104和第二服务器106连同存储单元108连接到网络102。此外，客户端110、112和114也连接到网络102。客户端110、112和114可以是例如个人计算机、网络计算机等。在所描绘的示例中，第一服务器104向客户端110、112和114提供数据，诸如引导文件、操作系统映像和应用。在所描绘的示例中，客户端110、112和114是第一服务器104的客户端。分布式处理系统100可以包括未示出的附加服务器、客户端和其他设备。
在所描绘的示例中，分布式处理系统100是具有网络102的因特网，其表示使用传输控制协议/因特网协议(TCP/IP)协议组彼此通信的全球网络和网关集合。互联网的核心是主要节点或主机之间的高速数据通信线路的骨干，主要节点或主机由路由数据和消息的数千个商业、政府、教育和其他计算机系统组成。当然，分布式处理系统100还可以被实现为包括多种不同类型的网络，例如内联网、局域网(LAN)、广域网(WAN)等。如上所述，图1旨在作为示例，而不是对于本发明的不同实施例的架构限制，因此，图1中示出的特定元件不应被视为限制于可以实现本发明的实施例的示例性实施例的环境。
图2是根据本发明实施例的示例数据处理系统的框图。数据处理系统200是计算机(例如图1中的客户机110)的示例，其中可以定位实现本发明的说明性实施例的过程的计算机可用代码或指令。
在所描绘的示例中，数据处理系统200采用集线器架构，其包括北桥和存储器控制器集线器(NB/MCH)202以及南桥和输入/输出(I/O)控制器集线器(SB/ICH)。处理单元206、主存储器208和图形处理器210连接到NB/MCH 202。图形处理器210可以通过加速图形端口(AGP)连接到NB/MCH 202。
在所描绘的示例中，局域网(LAN)适配器212连接到SB/ICH 204。音频适配器216、键盘和鼠标适配器220、调制解调器222、只读存储器(ROM)224、硬盘驱动器(HDD)226、CD-ROM驱动器230、通用串行总线(USB)端口和其他通信端口232、以及PCI/PCIe设备234通过第一总线238和第二总线240连接到SB/ICH 204。PCI/PCIe设备可以包括例如用于笔记本计算机的以太网适配器、附加卡和PC卡。PCI使用卡总线控制器，而PCIe则不使用。ROM 224可以是例如闪存基本输入/输出系统(BIOS)。
HDD 226和CD-ROM驱动器230通过第二总线240连接到SB/ICH204。HDD 226和CD-ROM驱动器230可以使用例如集成驱动电子设备(IDE)或串行高级技术附件(SATA)接口。超级I/O(SIO)设备236可以连接到SB/ICH 204。
操作系统在处理单元206上运行。操作系统协调图2中的数据处理系统200内的各种组件并对其提供控制。作为客户端，操作系统可以是商业上可用的操作系统。面向对象的编程系统，例如JavaTM编程系统，可以与操作系统一起运行，并从JavaTM程序或在数据处理系统200上执行的应用程序提供对操作系统的调用。
作为服务器，数据处理系统200可以是例如运行高级交互执行(AIX)操作系统或LINUX操作系统的eServerTMSystem/>计算机系统。数据处理系统200可以是对称多处理器(SMP)系统，其包括处理单元206中的多个处理器。或者，可以采用单个处理器系统。
用于操作系统、面向对象的编程系统和应用程序或程序的指令位于诸如HDD 226的存储设备上，并且可以被加载到主存储器208中以供处理单元206执行。类似地，根据实施例的一个或多个数据结构可以适于由存储设备和/或主存储器208存储。
用于本发明的说明性实施例的过程可以由处理单元206使用计算机可用程序代码来执行，该计算机可用程序代码可以位于存储器中(例如主存储器208、ROM 224)，或者位于一个或多个例如，外围设备226和230中。
诸如图2中所示的第一总线238或第二总线240的总线系统可以包括一个或多个总线。当然，总线系统可以使用任何类型的通信结构或体系结构来实现，该通信结构或体系结构提供在连接到结构或体系结构的不同组件或设备之间的数据传输。通信单元，例如图2的调制解调器222或网络适配器212，可以包括用于发送和接收数据的一个或多个设备。存储器可以是例如主存储器208、ROM 224或诸如在图2中的NB/MCH 202中找到的高速缓存。
本领域普通技术人员将理解，图1和图2中的硬件可以根据实现而改变。除了或代替图1和图2所示的硬件，可以使用其他内部硬件或外围设备，例如闪存、等效的非易失性存储器或光盘驱动器等。此外，在不脱离所提出的概念的范围的情况下，说明性实施例可以应用于除所示的那些之外的多处理器/服务器系统。
此外，数据处理系统200可以采用多种不同数据处理系统中的任何一种的形式，包括客户端计算设备、服务器计算设备、平板计算机、膝上型计算机、电话或其他通信设备、个人数字助理(PDA)等。在一些说明性示例中，例如数据处理系统200可以是便携式计算设备，其配置有闪存以提供用于存储操作系统文件和/或用户生成的数据的非易失性存储器。因此，数据处理系统200可以基本上是任何已知的或以后开发的数据处理系统而没有架构限制。
本发明的实施例可以基于对患者对刺激的响应的分析，通过提供与要生成的患者的认知功能相关的数据来增强语言监控(诸如图2中所示的语言监控)。
图3描绘了根据本发明实施例的用于监视患者语言使用的方法300的流程图。该过程可以在步骤310开始，其中可以从患者获得对刺激的口头响应。
根据患者的年龄和症状，不同的刺激对于鼓励口头响应可能具有不同的成功率。例如，在患者是孩子的情况下，与基于文本的刺激相比，视觉刺激可以更有可能成功地鼓励孩子的口头响应。此外，通常情况下具有某些症状的患者可能是极其视觉定向的。与听觉刺激相比，视觉刺激可能具有更大的成功机会。
作为另一个例子，患者可能患有认知障碍或脑损伤，其性质决定了用于患者的最合适的刺激。刺激可以包括以下中的至少一个：听觉成分、视觉成分、肝脏成分、味道成分、气味成分；基于文本的成分、问题、照片、和视频。基于患者症状的性质，可以为患者单独选择最合适的刺激组合。
在示例性实施例中，可以使用标准化测试评估患者的特定症状，其中标准化测试可以利用预定刺激。以这种方式，可以获得不同患者对相同刺激的响应，这反过来可以允许在患者响应之间进行比较。提供类似响应的患者可以被分类为属于具有相似属性的组。
换句话说，通过使用标准化的一组刺激，可以基于从每个响应形成的相关响应向量来对患者的响应进行比较和分组。
在步骤320中，可以将患者的口头响应转换为文本以形成文本响应。可以通过语音到文本系统来执行将口头响应转换为文本。将口头响应转换为文本可以允许对患者的响应进行深入的语言分析。
换种说法，患者对刺激的响应可以以音频格式存储，然后可以将其转换为文本。以这种方式，患者的响应可以以音频和基于文本的格式存储。
在步骤330中，可以通过分析患者的响应的听觉成分来生成口头响应数据。分析患者的响应的听觉成分可以包括分析患者的响应的语音成分，如步骤335。
通过以音频格式存储患者的响应，可以分析患者的响应的各种韵律和语音特征，以便生成口头响应数据。这些特征可能包括：患者声音的音高、患者响应的节奏、单词之间暂停长度的变化等等。对诸如这些特征的特征分析可以指示与患者相关的各种症状，例如口吃者。此外，患者的认知功能可以通过诸如患者的声音的音高或者单词之间的延长的暂停(其指示患者正在努力获得正确单词来使用或者将响应形成为完整的句子)来评估。
虽然语音特征可以提供患者症状的指示，但是从这些语音特征的分析生成的口头响应数据可以用于以响应向量的形式建立患者的深入认知概况。换句话说，口头响应数据与文本响应数据的组合可以允许识别出仅从响应的音频简档中不容易明显发现的认知症状。
在步骤340中，可以通过分析在步骤320中获得的文本响应来生成文本响应数据。文本分析可以包括分析响应的语义成分和语法成分中的至少一个，如步骤345。
在示例性实施例中，可以使用被称为NLP的自然语言处理将文本分解为单词标记。将文本分解为单词标记可以称为标记化。进一步的基础语言分析可能包括：识别单词的词性标记值，称为POS标记；创建依赖解析树，称为解析；将语义角色分配给话语中的术语和短语，称为SRL；识别命名实体；并解决共同引用，如回指和隐喻，称为共同引用解析度。
可以跨对话应用共同引用解析度，以便评估患者使用的回指(例如代词)是否与患者响应的主题一致。在代词引用未在最近的患者响应的上下文中被解析的情况下，可以检查先前的响应以便评估代词的使用在整个会话的上下文中是否正确。
举例来说，患者的响应可以是“约翰不好，我不喜欢他”的形式。在这种情况下，代词“他”在这种响应的背景下是正确的。或者，这可以采取对话的形式，其中第一患者响应可以是“约翰是坏的”，对患者的答复可以是“你喜欢约翰吗？”然后患者可以答复“我不喜欢他。”来响应答复。通过这种方式，通过整个谈话，可以看出患者使用的代词是正确的；然而，如果响应“我不喜欢他”被单独分析，代词的使用可能被错误地识别为错误。
除了这些基础语言特征之外，可以生成更高级别的特征。例如，在语言获得和自闭症特定语言进展的情况下，诸如句子和从句长度等特征、分句复杂性、词汇使用评分、重复的词语、破裂的协议可能很常见。
通过分析这些特征，可以直接评估患者的认知功能，以便从患者的响应的音频简档或低级基于文本的特征中识别可能不容易明显发现的症状。
在步骤350中，可以基于口头响应数据和文本响应数据形成响应向量。然后，响应向量可以被认为是患者响应的多维表示，其组合了分别从口头响应数据和文本响应数据收集的特定语音和语言特征。然后可以使用各种技术对响应向量进行分类。在一个实施例中，可以使用诸如支持向量机(称为SVM)，或递归神经网络(称为RNN)的机器学习分类器。
在步骤360中，基于响应向量确定对患者的答复。结合图4进一步描述用于确定对患者的答复的方法。
在各种实施例中，步骤360中生成的答复可以作为新刺激呈现给患者，以便重复该方法并与患者形成连续对话。以这种方式，可以从患者获得更大量的数据，以便增强响应向量的准确性。
在一些实施例中，对患者的答复可以尝试纠正患者的响应中识别的错误。例如，可以向患者提供刺激，其包括狗的图片和如下形式的问题“你喜欢狗吗？”。然后患者可以提供如“你不喜欢”的形式的回答。这可能被识别为是代词”你“的错误使用，并且可能进一步归因于诸如Echolalia之类的症状，其中患者在没有考虑其含义的情况下重复单词。然后，系统可以生成如“我喜欢狗，但我可以看到你不喜欢它们。”的形式的对患者的答复，系统可能会强调纠正的单词，以鼓励患者识别这些词语的正确使用。
作为另一个例子，可以再次向患者呈现刺激，该刺激包括狗的图片和如“你喜欢狗吗？”的形式的问题。患者可以提供如“不，我不喜欢狼。”的形式的响应。分析患者响应的语义成分可能允许识别狼和狗之间的联系，以便为患者的响应指定一定程度的正确性。反过来，可以生成对患者的如“我也不喜欢狼，但我确实喜欢狗。”的形式的答复。通过这种方式，可以向患者突出显示差异，以鼓励患者改正错误。
在示例性实施例中，当患者响应被识别为校正先前犯的错误时，可以将该响应识别为已经校正了患者的症状，然后可以在与患者的进一步对话中采用该响应以便持续监控患者的进展和发展。
在一些实施例中，还可以获得患者对刺激的神经运动响应。然后可以通过分析神经运动响应来生成神经运动响应数据，然后可以将神经运动响应形成为神经运动响应向量。然后可以将神经运动响应向量与患者的原始响应向量组合，以便为患者形成总体响应向量。
为了分析患者的神经运动响应，可以使用视频—图像分析来针对特定症状执行特定的运动特征提取和识别。例如，可以检测向某个方向看的趋势。通过使用时间戳，神经运动特征可以与口头响应的声学特征和文本响应的语言特征相关联。
例如，斜视的倾向性，与患者的声音的音高调节对齐以及代词的错误使用，可以指示患者正在努力获得和/或形成对刺激的正确响应。以这种方式，可以以总体响应向量的形式为患者开发更准确的认知概况。
图4描绘了根据本发明实施例的用于确定对患者的答复的方法400的流程图。该过程可以在步骤410开始，其中可以基于响应向量的分析为患者识别多个候选症状。
返回到图3中的步骤350，可以使用机器学习分类器对响应向量进行分类。响应向量的分类可以采用症状分类的形式。机器学习技术需要预标记样本的训练集，其可用于训练系统以创建理想化的类成员向量。换句话说，对于与患者语言的使用相关的每个潜在症状，理想化的类成员向量可用于允许快速识别潜在的患者症状。可以通过将患者响应向量与类成员向量进行比较来识别患者症状。来自患者的响应数据也可用于随时间丰富类成员向量。
以这种方式，可以通过将患者响应向量与与系统已知的症状相关的类成员向量进行比较来识别患者的多个候选症状。候选症状可以被识别为具有包含与患者响应向量相似的特征的类成员向量的候选症状。
在步骤420中，可以基于响应向量的内容来确定每个候选症状的置信度分数。
例如，可以使用诸如余弦距离的度量将患者响应向量与类成员向量进行比较。余弦距离是患者响应向量和类成员向量之间的角度的度量。换句话说，余弦距离可以用作两个向量匹配程度的度量。在这种情况下，余弦距离的倒数可以形成置信度分数。
作为示例，简单的患者响应向量可以包括一个韵律特征、暂停长度的方差、一个基本语言特征、句子长度和一个更高级别的特征、与代词的使用相关的语法错误的数量与响应中的代词数量的比率。患者响应向量可以采用[32.5,5,1]的形式，其可以指示暂停长度的32.5％变化，五个单词的响应以及响应中使用的每个代词在语法上是不正确的。以这种方式，可以将与偶发暂停长度，短句子和不正确的代词使用相关联的症状识别为候选症状，并且基于响应向量与每个候选症状的类成员向量的匹配程度来分配置信度分数。
在一些实施例中，如果相关联的置信度分数高于预定水平，则可以将候选症状识别为主要症状。换句话说，如果患者的响应向量与候选症状相关联的类成员向量足够接近，则该患者可被识别为属于该类。
在步骤430中，可以基于在步骤420中针对每个候选症状确定的置信度分数来识别对患者的潜在答复。
与患者的对话可以采用图的形式。每个患者的响应和对患者的潜在答复可以采取对话图上的节点的形式。这些节点可以通过顶点链接。
例如，可以获得患者响应并将其指示为对话图上的节点。基于患者响应的响应向量，识别患者的候选症状，每个症状具有相关的置信度分数。基于候选症状，可以识别对患者的若干潜在答复，作为对话图上的后续节点出现。然后可以基于与答复相关联的候选症状的置信度分数对这些潜在答复进行排名。选择具有最高等级的潜在答复，并且在患者响应和该潜在答复之间出现顶点。潜在答复的等级还可以考虑最适合于与患者的对话和/或先前患者响应的上下文的答复，其可以在对话的过程中重复。
以这种方式，可以将患者响应与先前患者对标准化测试的响应进行比较，以便快速建立关于患者的基本信息。
可以首先以多种方式识别对患者的潜在答复。在步骤432中，可以将患者响应与现有临床知识进行比较，现有临床知识可以包括用于确定患者症状的标准化测试，其可以在与患者交互之前由系统预处理。
例如，标准化测试可以包括使用已知在具有特定症状的患者中生成特定患者响应的刺激的特定组合。以这种方式，可以有效地测试和评估怀疑患有某种症状的患者，而不是系统开始时没有关于患者的信息并且必须在潜在的长谈话过程中确定潜在的症状。由于许多认知症状的复杂性，可能没有一个能够为患者建立症状识别的测试；然而，可以采用标准化测试作为获得关于患者的基本信息的方法。以这种方式，可以基于该基本信息选择被认为对患者最有效的刺激或给患者的答复。
在步骤434中，可以将患者响应与患者给出的先前响应进行比较。在与患者或其他患者的对话期间，系统可以摄取该信息，以便然后将患者响应与类似的先前患者响应进行比较。以这种方式，可以识别对患者的潜在答复，其维持与患者的对话的上下文。此外，症状可能仅在多个患者响应中变得明显，这意味着可以从可能另外被忽略的一组患者响应中识别出进一步的候选症状。
在步骤436中，可以将患者响应与文档化的语言讨论进行比较。文档化的的语言讨论可以采用科学期刊、研究文章、博客、论坛帖子等形式。举例来说，可以执行对论坛文本的分析以识别情绪，或者换句话说，识别文本中的情绪是正面、负面还是中性，然后可以将其用作文本有用性的指示符。
还可以通过查找引用，识别引用之间的关系以及向它们分配“代理”来处理文本以识别“对话片段”。得到的对话片段可以具有与所引用文本相关联的“患者响应”或“对患者的答复”角色，然后可以将其放置在对话数据库中并编入索引。可以使用与潜在症状有关的元数据来执行对话的进一步注释。例如，这可能是父母或看护者正在问问题或添加评论，该评论推测对话是否代表特定症状。例如，可能会提到“Echolalia”作为潜在症状。尽管这可能不是确定的，但系统可以通过比较患者响应向量与推测症状的类成员向量，将其捕获为要分析和确认或驳斥的患者响应的附加特征元数据。
可以使用步骤432、434和436的组合来为最初使用的训练集之外的潜在症状建立概况，这可以由于增加数据的样本大小而导致更准确的类成员向量，并且可以进一步突出与各种症状相关联的先前未知的属性。
在步骤440中，基于先前对患者的答复、先前的患者响应和刺激中的至少一个，来对在步骤430中识别的潜在答复进行情境化。
情境化可以包括跨多个患者响应执行共同引用解析度，以便确保与患者的对话的主题保持一致。
图5描绘了根据本发明的实施例能够实现图1的数据处理系统、以及图3-4的方法的计算系统800的框图。上面讨论的各种操作可以利用计算机800的能力。例如，用于通过分析响应文本生成文本响应数据的系统的一个或多个部分可以包含在本文讨论的任何元件、模块、应用和/或组件中。
计算机800包括但不限于PC、工作站、膝上型计算机、PDA、掌上设备、服务器、存储器等。通常，就硬件架构而言，计算机800可以包括经由本地接口(未示出)通信地耦合的一个或多个处理器810、存储器820、以及一个或多个I/O设备870。本地接口可以是，例如但不限于，一个或多个总线或其他有线或无线连接，如本领域中已知的。本地接口可以具有附加元件，例如控制器、缓冲器(高速缓存)、驱动器、中继器和接收器，以实现通信。此外，本地接口可以包括地址、控制和/或数据连接，以实现上述组件之间的适当通信。
处理器810是用于执行可以存储在存储器820中的软件的硬件设备。处理器810实际上可以是任何定制的或商业上可用的处理器、中央处理单元(CPU)、数字信号处理器(DSP)、或者与计算机800相关联的几个处理器中的辅助处理器，并且处理器810可以是基于半导体的微处理器(以微芯片的形式)或微处理器。
存储器820可以包括易失性存储器元件中的任何一个或组合(例如，随机存取存储器(RAM)，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和非易失性存储器元件(例如，ROM、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、光盘只读存储器(CD-ROM)、磁盘、磁盘、盒式磁带、盒式磁带等)。此外，存储器820可以包含电子、磁、光和/或其他类型的存储介质。注意，存储器820可以具有分布式架构，其中各种组件彼此远离，但是可以由处理器810访问。
存储器820中的软件可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。根据示例性实施例，存储器820中的软件包括合适的操作系统(O/S)850、编译器840、源代码830和一个或多个应用程序860。如图所示，应用程序860包括用于实现示例性实施例的特征和操作的许多功能组件。计算机800的应用程序860可以表示根据示例性实施例的各种应用程序、计算单元、逻辑、功能单元、过程、操作、虚拟实体和/或模块，但是应用程序860并不意味着限制。
操作系统850控制其他计算机程序的执行，并提供调度、输入—输出控制、文件和数据管理、存储器管理以及通信控制和相关服务，用于实现示例性实施例的应用程序860可适用于所有商用操作系统。
应用程序860可以是源程序、可执行程序(目标代码)、脚本或包括要执行的指令集的任何其他实体。当源程序执行时，程序通常通过编译器(例如编译器840)、汇编器、解释器等翻译，其可以包括或不包括在存储器820中，以便与O/S 850一起正确地操作。I/O设备870可以包括输入设备，例如但不限于鼠标、键盘、扫描仪、麦克风、相机等。此外，I/O设备870还可以包括输出设备，例如但不限于打印机、显示器等。最后，I/O设备870还可以包括与输入和输出的设备通信的设备，例如但不限于NIC或调制器/解调器(用于访问远程设备、其他文件、设备、系统或网络)、射频(RF)或其他收发器、电话接口、桥接器、路由器等。I/O设备870还包括用于通过各种网络(如互联网或内联网)通信的组件。
如果计算机800是PC、工作站、智能设备等，则存储器820中的软件还可以包括基本输入输出系统(BIOS)(为简单起见而省略)。BIOS是一组必要的软件例程，它们在启动时初始化和测试硬件，启动O/S 850，并支持硬件设备之间的数据传输。BIOS存储在某种类型的只读存储器中，例如ROM、PROM、EPROM、EEPROM等，以便在计算机800被激活时可以执行BIOS。
当计算机800在操作中时，处理器810被配置为执行存储在存储器820内的软件，以将数据传送到存储器820和从存储器820传送数据，并且通常根据软件控制计算机800的操作。应用程序860和O/S 850全部或部分地由处理器810读取，可能在处理器810内缓冲，然后执行。
当应用程序860以软件实现时，应当注意，应用程序860可以存储在几乎任何计算机可读介质上以供任何计算机相关系统或方法使用或与之结合使用。在本文件的上下文中，计算机可读介质可以是电子、磁、光学或其他物理设备或装置，其可以包含或存储计算机程序以供计算机相关系统或方法使用或与计算机相关系统或方法结合使用。
应用程序860可以体现在任何计算机可读介质中，供指令执行系统、装置或设备使用或与其结合使用，例如基于计算机的系统、包含处理器的系统或可以是其他系统，从指令执行系统、装置或设备获取指令并执行指令。在本文件的上下文中，“计算机可读介质”可以是能够存储、通信、传播或传输程序以供指令执行系统、装置或设备使用或与之结合使用的任何装置。计算机可读介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置、设备或传播介质。
在本申请的上下文中，在本发明的实施例构成方法的情况下，应该理解，这种方法是由计算机执行的过程，即，是计算机可实现的方法。因此，该方法的各个步骤反映了计算机程序的各个部分，例如，一个或多个算法的各个部分。
本发明可以是系统，方法和/或计算机程序产品。该计算机程序产品可以包括计算机可读存储介质(或介质)，其上具有计算机可读程序指令，用于使处理器执行本发明的各方面。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、存储类存储器(SCM)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，生成了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以生成计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在一个实施例中，本发明的系统可以是或包括诸如计算机、便携式设备等的硬件设备。在一个实施例中，硬件设备是或包括专用设备(例如，计算机、机器、便携式设备)，其包括专用的、非通用的硬件和电路(即，专用的离散非通用的、基于模拟、数字和逻辑的电路)，用于(独立地或组合地)具体化以仅执行本发明的方法。专用的离散非通用的、基于模拟、数字和逻辑电路可以包括专有的专门设计的组件(例如，专用集成电路，例如设计用于仅实现本发明的方法的专用集成电路(ASIC))。
本发明的计算机程序产品可包括一个或多个计算机可读硬件存储设备，其中存储有计算机可读程序代码，所述程序代码包含可由计算系统(或计算机系统)的一个或多个处理器执行的指令以实施本发明的方法。
本发明的计算机系统可包括一个或多个处理器，一个或多个存储器，以及一个或多个计算机可读硬件存储设备，所述一个或多个硬件存储设备包含通过一个或多个存储器可由一个或多个处理器执行的程序代码以实现本发明方法。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种计算机存储介质，包括存储的计算机可读程序代码，所述计算机可读程序代码包括当由计算系统的计算机处理器执行时实现用于监视患者的语言的使用的方法的算法，该方法包括：
由计算系统的处理器获得患者对刺激的口头响应，所述口头响应被捕获为音频文件；
由所述处理器以音频格式存储所述音频文件；
由所述处理器使用语音到文本系统将所述口头响应转换成响应文本，其中所述语音到文本系统将所述音频格式转换为基于文本的格式，并以所述音频形式和所述基于文本的形式存储所述口头响应；
由所述处理器通过所述音频文件来分析所述口头响应的语音成分，来生成口头响应数据；
由所述处理器通过执行所述响应文本的文本分析来对所述响应文本语义成分和语法成分中的至少一个进行分析，来生成文本响应数据；
由处理器使用机器学习技术来训练计算系统，以创建理想化的类成员；
由所述处理器对与所述患者的语言使用相关的每个潜在状况的所述响应进行分类，其中通过将所述响应与所述理想化类成员进行比较来识别患者状况；
由所述处理器使用视频到图像分析来分析通过视频捕获的患者的神经运动响应，以提取和识别针对特定条件的特定运动特征，其中，所述患者的神经运动特征与所述口头响应的声学特征和所述文本响应的语言特征相关联；
由所述处理器将所述口头响应、文本响应和所述神经运动响应组合以形成总体响应；以及
由所述处理器基于所述总体响应确定的响应来对所述患者的答复，从而从所述患者获得进一步的口头响应，其中所述进一步的口头响应用于丰富所述类成员。
2.如权利要求1所述的计算机存储介质，其中所述刺激选自包括以下各项的组：听觉成分、视觉成分、肝脏成分、味道成分、气味成分；基于文本的成分、问题、照片、和视频。
3.如权利要求1所述的计算机存储介质，其中所述语音成分包括音高水平。
4.如权利要求1所述的计算机存储介质，其中确定对所述患者的答复的步骤包括：
由所述处理器通过分析所述响应向量来识别多个候选症状；
由所述处理器基于所述响应向量的内容确定每个候选症状的置信度分数；
由所述处理器基于所述置信度分数识别对所述口头响应的潜在答复；以及
由所述处理器基于对所述患者的先前答复、先前记录的口头响应和所述刺激中的至少一个来对所述潜在答复进行语境化。
5.如权利要求4所述的计算机存储介质，其中如果确定的候选症状的置信度分数高于预定值，则将所述候选症状识别为主要症状。
6.如权利要求4所述的计算机存储介质，其中识别所述潜在答复的步骤包括：
由所述处理器将所述口头响应与现有临床知识进行比较；
由所述处理器将所述口头响应与对所述患者给出的先前响应进行比较；
由所述处理器将所述口头响应与文档化语言讨论进行比较；以及
以上任何组合；以及
由所述处理器基于所述比较识别对所述患者的潜在答复。
7.一种计算机系统，包括：
处理器；
耦合到所述处理器的存储器设备；以及
耦合到所述处理器的计算机可读存储设备，其中所述存储设备包含可由所述处理器经由所述存储设备执行的程序代码，以实现用于监视患者使用语言的方法，该方法包括：
由所述处理器获得患者对刺激的口头响应，所述口头响应被捕获为音频文件；
由所述处理器以音频格式存储所述音频文件；
由所述处理器使用语音到文本系统将所述口头响应转换成响应文本，其中所述语音到文本系统将所述音频格式转换为基于文本的格式，并以所述音频形式和所述基于文本的形式存储所述口头应响应；
由所述处理器通过所述音频文件来分析所述口头响应的语音成分，来生成口头响应数据；
由所述处理器通过执行所述响应文本的文本分析来对所述响应文本语义成分和语法成分中的至少一个进行分析，来生成文本响应数据；
由处理器使用机器学习技术来训练计算系统，以创建理想化的类成员；
由所述处理器对与所述患者的语言使用相关的每个潜在状况的所述响应进行分类，其中通过将所述响应与所述理想化类成员进行比较来识别患者状况；
由所述处理器使用视频到图像分析来分析通过视频捕获的患者的神经运动响应，以提取和识别针对特定条件的特定运动特征，其中，所述患者的神经运动特征与所述口头响应的声学特征和所述文本响应的语言特征相关联；
由所述处理器将所述口头响应、文本响应和所述神经运动响应组合以形成总体响应；以及
由所述处理器基于所述总体响应确定的响应来确定对所述患者的答复，从而从所述患者获得进一步的口头响应，其中所述进一步的口头响应用于丰富所述类成员。
8.如权利要求7所述的计算机系统，其中所述刺激选自包括以下各项的组：听觉成分、视觉成分、肝脏成分、味道成分、气味成分；基于文本的成分、问题、照片、和视频。
9.如权利要求7所述的计算机系统，其中所述语音成分包括音高水平。
10.如权利要求7所述的计算机系统，其中确定对所述患者的答复的步骤包括：
通过分析所述响应向量来识别多个候选症状；
基于所述响应向量的内容确定每个候选症状的置信度分数；
基于所述置信度分数识别对所述口头响应的潜在答复；以及
基于对所述患者的先前答复、先前记录的口头响应和所述刺激中的至少一个来对所述潜在答复进行语境化。
11.如权利要求10所述的计算机系统，其中如果确定的候选症状的置信度分数高于预定值，则将所述候选症状识别为主要症状。
12.如权利要求10所述的计算机系统，其中识别所述潜在答复的步骤包括：
将所述口头响应与现有临床知识进行比较；
将所述口头响应与对所述患者给出的先前响应进行比较；
将所述口头响应与文档化语言讨论进行比较；以及
以上任何组合；以及
基于所述比较识别对所述患者的潜在答复。
13.如权利要求7-12之一所述的计算机系统，其中，所述计算机系统被配置为充当位于护理人员和患者之间的语言使用和获取监视组件。
14.如权利要求7-12之一所述的计算机系统，其中，所述计算机系统被配置为实现外部部署平台的一部分。
CN201780091377.4A 2017-05-31 2017-12-14 监测患者语言的使用以识别潜在的言语和相关的神经障碍 Active CN110720124B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/609,171 US10910105B2 (en) 2017-05-31 2017-05-31 Monitoring the use of language of a patient for identifying potential speech and related neurological disorders
US15/609,171 2017-05-31
PCT/EP2017/082861 WO2018219486A1 (en) 2017-05-31 2017-12-14 Monitoring the use of language of a patient for identifying potential speech and related neurological disorders

Publications (2)

Publication Number Publication Date
CN110720124A CN110720124A (zh) 2020-01-21
CN110720124B true CN110720124B (zh) 2023-08-11

Family

ID=60888395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780091377.4A Active CN110720124B (zh) 2017-05-31 2017-12-14 监测患者语言的使用以识别潜在的言语和相关的神经障碍

Country Status (5)

Country Link
US (1) US10910105B2 (zh)
EP (1) EP3631797B1 (zh)
JP (1) JP7350656B2 (zh)
CN (1) CN110720124B (zh)
WO (1) WO2018219486A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019988B1 (en) * 2016-06-23 2018-07-10 Intuit Inc. Adjusting a ranking of information content of a software application based on feedback from a user
WO2019140399A2 (en) * 2018-01-12 2019-07-18 Vet24seven Inc. Remote veterinary analysis systems and methods
US20190311732A1 (en) * 2018-04-09 2019-10-10 Ca, Inc. Nullify stuttering with voice over capability
US20190385711A1 (en) * 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
US20200152330A1 (en) * 2018-11-13 2020-05-14 CurieAI, Inc. Scalable Personalized Treatment Recommendation
GB2579038A (en) * 2018-11-15 2020-06-10 Therapy Box Ltd Language disorder diagnosis/screening
CN111309875B (zh) * 2018-12-10 2023-08-04 百度在线网络技术（北京）有限公司 问题应答的方法、装置、设备和存储介质
US11133026B2 (en) * 2019-01-04 2021-09-28 International Business Machines Corporation Natural language processor for using speech to cognitively detect and analyze deviations from a baseline
JP6849255B1 (ja) * 2020-04-13 2021-03-24 Ａｓｓｅｓｔ株式会社 認知症兆候判別プログラム
US11615714B2 (en) * 2020-04-30 2023-03-28 Kyndryl, Inc. Adaptive learning in smart products based on context and learner preference modes
WO2022054677A1 (ja) * 2020-09-08 2022-03-17 テルモ株式会社 プログラム、情報処理装置、情報処理方法及び情報処理システム
JPWO2022054675A1 (zh) * 2020-09-08 2022-03-17
EP4205666A4 (en) * 2020-09-08 2024-02-21 Terumo Kabushiki Kaisha PROGRAM, INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING METHOD
CN112617755A (zh) * 2020-12-28 2021-04-09 深圳市艾利特医疗科技有限公司 言语功能障碍检测方法、装置、设备、存储介质及系统
CN114169966B (zh) * 2021-12-08 2022-08-05 海南港航控股有限公司 一种用张量提取货物订单元数据的方法及系统
US11854675B1 (en) 2022-10-11 2023-12-26 Flatiron Health, Inc. Machine learning extraction of clinical variable values for subjects from clinical record data
US11915807B1 (en) * 2022-10-11 2024-02-27 Flatiron Health, Inc. Machine learning extraction of clinical variable values for subjects from clinical record data
WO2024150094A1 (en) * 2023-01-12 2024-07-18 Cochlear Limited Monitoring speech-language milestones
KR102683005B1 (ko) * 2023-09-25 2024-07-09 주식회사 보이노시스 음성 데이터를 이용한 ai 기반 난청 진단 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006109268A1 (en) * 2005-04-13 2006-10-19 Koninklijke Philips Electronics N.V. Automated speech disorder detection method and apparatus
CN101490741A (zh) * 2006-07-12 2009-07-22 微软公司 使用语音识别来检测应答机
CN102245085A (zh) * 2008-10-14 2011-11-16 俄亥俄大学 利用眼跟踪的认知和语言评估
WO2014002349A1 (ja) * 2012-06-29 2014-01-03 テルモ株式会社 情報処理装置及び情報処理方法
CN103857347A (zh) * 2011-08-09 2014-06-11 俄亥俄大学 语言理解的瞳孔度量评估
CN104036776A (zh) * 2014-05-22 2014-09-10 毛峡 一种应用于移动终端的语音情感识别方法
WO2015198317A1 (en) * 2014-06-23 2015-12-30 Intervyo R&D Ltd. Method and system for analysing subjects
WO2016028495A1 (en) * 2014-08-22 2016-02-25 Sri International Systems for speech-based assessment of a patient's state-of-mind

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110123967A1 (en) * 2009-11-24 2011-05-26 Xerox Corporation Dialog system for comprehension evaluation
US8784311B2 (en) 2010-10-05 2014-07-22 University Of Florida Research Foundation, Incorporated Systems and methods of screening for medical states using speech and other vocal behaviors
CA2832513A1 (en) 2011-04-07 2012-10-11 Mordechai Shani Providing computer aided speech and language therapy
US20120311461A1 (en) * 2011-06-06 2012-12-06 Protobrand Sciences, LLC Metaphor elicitation tool
US9443205B2 (en) * 2011-10-24 2016-09-13 President And Fellows Of Harvard College Enhancing diagnosis of disorder through artificial intelligence and mobile health technologies without compromising accuracy
US9269046B2 (en) * 2012-01-18 2016-02-23 Brainscope Company, Inc. Method and device for multimodal neurological evaluation
US9251713B1 (en) * 2012-11-20 2016-02-02 Anthony J. Giovanniello System and process for assessing a user and for assisting a user in rehabilitation
US20150046357A1 (en) * 2013-08-09 2015-02-12 Mattersight Corporation Systems and methods for evaluating job candidates
CN105792752B (zh) 2013-10-31 2021-03-02 P-S·哈鲁塔 用于诊断和治疗语言相关障碍的计算技术
WO2015091223A1 (en) 2013-12-17 2015-06-25 Koninklijke Philips N.V. System and method for assessing the cognitive style of a person
US9818307B2 (en) * 2014-07-28 2017-11-14 Sparkting Llc Communication device interface for a semantic-based creativity assessment
US10395552B2 (en) * 2014-12-19 2019-08-27 International Business Machines Corporation Coaching a participant in a conversation
US20160246947A1 (en) * 2015-02-19 2016-08-25 Univfy Inc. System for interactive profiling of healtcare consumers to provide digital personalized health guides and digital marketing
US9554261B1 (en) * 2015-07-16 2017-01-24 Globestar, Inc. Responding to a message generated by an event notification system
US10706873B2 (en) 2015-09-18 2020-07-07 Sri International Real-time speaker state analytics platform
US11392970B2 (en) * 2017-02-15 2022-07-19 Qualtrics, Llc Administering a digital survey over voice-capable devices
WO2018204935A1 (en) * 2017-05-05 2018-11-08 Canary Speech, LLC Medical assessment based on voice

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006109268A1 (en) * 2005-04-13 2006-10-19 Koninklijke Philips Electronics N.V. Automated speech disorder detection method and apparatus
CN101490741A (zh) * 2006-07-12 2009-07-22 微软公司 使用语音识别来检测应答机
CN102245085A (zh) * 2008-10-14 2011-11-16 俄亥俄大学 利用眼跟踪的认知和语言评估
CN103857347A (zh) * 2011-08-09 2014-06-11 俄亥俄大学 语言理解的瞳孔度量评估
WO2014002349A1 (ja) * 2012-06-29 2014-01-03 テルモ株式会社 情報処理装置及び情報処理方法
CN104036776A (zh) * 2014-05-22 2014-09-10 毛峡 一种应用于移动终端的语音情感识别方法
WO2015198317A1 (en) * 2014-06-23 2015-12-30 Intervyo R&D Ltd. Method and system for analysing subjects
WO2016028495A1 (en) * 2014-08-22 2016-02-25 Sri International Systems for speech-based assessment of a patient's state-of-mind

Also Published As

Publication number Publication date
WO2018219486A1 (en) 2018-12-06
JP7350656B2 (ja) 2023-09-26
US20180349560A1 (en) 2018-12-06
JP2020525061A (ja) 2020-08-27
EP3631797A1 (en) 2020-04-08
US10910105B2 (en) 2021-02-02
EP3631797B1 (en) 2024-05-08
CN110720124A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110720124B (zh) 监测患者语言的使用以识别潜在的言语和相关的神经障碍
US11545173B2 (en) Automatic speech-based longitudinal emotion and mood recognition for mental health treatment
US20190347563A1 (en) Tailoring Question Answering System Output Based on User Expertise
US11170660B2 (en) Harvesting question/answer training data from watched hypotheses in a deep QA system
US20240062760A1 (en) Health monitoring system and appliance
US9508360B2 (en) Semantic-free text analysis for identifying traits
US10540442B2 (en) Evaluating temporal relevance in question answering
EP3811245A1 (en) Systems and methods for mental health assessment
US10909973B2 (en) Intelligent facilitation of communications
Viswanathan et al. Complexity measures of voice recordings as a discriminative tool for Parkinson’s disease
US11024329B2 (en) Word repetition in separate conversations for detecting a sign of cognitive decline
CN115862868A (zh) 心理测评系统、平台、电子设备及存储介质
Yadav et al. A novel automated depression detection technique using text transcript
Herath et al. Automatic assessment of aphasic speech sensed by audio sensors for classification into aphasia severity levels to recommend speech therapies
Preum et al. CognitiveEMS: A cognitive assistant system for emergency medical services
US20170124475A1 (en) Cognitive Visual Debugger that Conducts Error Analysis for a Question Answering System
Kothalkar et al. Automatic screening to detect’at risk’child speech samples using a clinical group verification framework
US10957432B2 (en) Human resource selection based on readability of unstructured text within an individual case safety report (ICSR) and confidence of the ICSR
Munson et al. Does early phonetic differentiation predict later phonetic development? Evidence from a longitudinal study of/ɹ/development in preschool children
Low et al. Identifying bias in models that detect vocal fold paralysis from audio recordings using explainable machine learning and clinician ratings
US20220165414A1 (en) Automated Curation of Genetic Variants
Xu et al. Identifying psychiatric manifestations in schizophrenia and depression from audio-visual behavioural indicators through a machine-learning approach
da Costa AutoSpeech: Automatic Speech Analysis of Verbal Fluency for Older Adults
US12014281B2 (en) Automatic processing of electronic files to identify genetic variants
Wroge et al. An Analysis of Automated Parkinson’s Diagnosis Using Voice: Methodology and Future Directions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant