CN111989031A - 远程医疗中症状的实时标注 - Google Patents

远程医疗中症状的实时标注 Download PDF

Info

Publication number
CN111989031A
CN111989031A CN201980026809.2A CN201980026809A CN111989031A CN 111989031 A CN111989031 A CN 111989031A CN 201980026809 A CN201980026809 A CN 201980026809A CN 111989031 A CN111989031 A CN 111989031A
Authority
CN
China
Prior art keywords
video signal
terminal
disease
audio signal
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980026809.2A
Other languages
English (en)
Other versions
CN111989031B (zh
Inventor
S·博佐塔巴
S·塞戴
N·福克斯
R·加纳维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN111989031A publication Critical patent/CN111989031A/zh
Application granted granted Critical
Publication of CN111989031B publication Critical patent/CN111989031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

一种电话会议系统包括被配置为获取音频信号和视频信号的第一终端。与第一终端和第二终端通信的电话会议服务器被配置为从第一终端实时接收视频信号和音频信号，并将视频信号和音频信号发送到第二终端。与第一终端和电话会议服务器通信的症状识别服务器被配置为从第一终端接收视频信号和音频信号，异步地分析视频信号和音频信号以检测一个或多个疾病迹象，在检测到一个或多个疾病迹象时生成诊断警报，并且将诊断警报发送到电话会议服务器以在第二终端上显示。

Description

远程医疗中症状的实时标注
技术领域
本发明涉及视频会议，并且更具体地涉及用于视频会议中的面部、身体和语音症状的实时标注的系统。
背景技术
远程医疗是这样的实践，通过该实践，可以向位于不同位置，可能在很远的距离的医疗从业者和患者提供医疗。远程医疗为服务不足的人群提供优质的医疗创造了机会，并且还将访问扩展到高度专业化的提供者创造了机会。远程医疗还具有降低医疗保健成本的潜力。
发明内容
一种电话会议系统包括被配置为获取音频信号和视频信号的第一终端。与第一终端和第二终端通信的电话会议服务器被配置为从第一终端实时接收视频信号和音频信号，并将视频信号和音频信号发送到第二终端。与第一终端和电话会议服务器通信的症状识别服务器被配置为从第一终端接收视频信号和音频信号，异步地分析视频信号和音频信号以检测一个或多个疾病迹象，在检测到一个或多个疾病迹象时生成诊断警报，并且将诊断警报发送到电话会议服务器以在第二终端上显示。
一种电话会议系统包括第一终端，该第一终端包括相机和麦克风，该第一终端被配置为获取音频信号和高质量视频信号，并且将所获取的高质量视频信号转换为比特率小于该高质量视频信号的比特率的低质量视频信号。与第一终端和第二终端通信的电话会议服务器被配置为从第一终端实时接收低质量视频信号和音频信号，并将低质量视频信号和音频信号发送到第二终端。与第一终端和电话会议服务器通信的症状识别服务器被配置为从第一终端接收高质量视频信号和音频信号，异步地分析高质量视频信号和音频信号以检测一个或多个疾病迹象，在检测到一个或多个疾病迹象时生成诊断警报，并且将诊断警报发送到电话会议服务器以显示在第二终端上。
一种用于电话会议的方法包括从第一终端获取音频信号和视频信号。视频信号和音频信号被传输到与第一终端和第二终端通信的电话会议服务器。将视频信号和音频信号发送到症状识别服务器，其与所述第一终端和所述电话会议服务器通信。使用多模态递归神经网络从视频信号和音频信号检测疾病迹象。针对所检测到的疾病迹象生成诊断警报。用诊断警告标注视频信号。在第二终端上显示标注的视频信号。
一种用于从图像数据检测疾病迹象的计算机程序产品，所述计算机程序产品包括具有随其体现的程序指令的计算机可读存储介质，所述程序指令可由计算机执行以使所述计算机使用所述计算机获取音频信号和视频信号，使用所述计算机从所述视频信号检测面部，使用所述计算机从所述检测到的面部提取动作单元，使用所述计算机从所述检测到的面部检测标志(landmark)，使用所述计算机跟踪所述检测到的标志，使用所述跟踪标志执行语义特征提取，使用所述计算机从所述音频信号检测音调特征，使用所述计算机转录所述音频信号以生成转录，使用所述计算机对所述转录执行自然语言处理，使用所述计算机对所述转录执行多模态分析，对所述转录执行语言结构提取，以及使用所述计算机使用所述多模态递归神经网络从所述检测到的面部检测所述疾病迹象、提取动作单元、跟踪标志、提取语义特征、音调特征、转录、自然语言处理的结果、语义分析的结果和语言结构提取的结果。
附图说明
当结合附图考虑时，通过参考以下详细描述，将容易获得对本发明及其许多附带方面的更完整理解，并且本发明及其许多附带方面变得更好理解，其中：
图1是示出根据本发明示例性实施例的用于在视频会议中实时标注面部症状的系统的示意图；
图2是示出根据本发明的示例性实施例的图1所示的系统的操作方式的流程图；
图3和4包括示出根据本发明示例性实施例的用于在视频会议中实时标注面部症状的方法的处理流程；
图5是示出根据本发明示例性实施例的电话会议显示器的图；以及
图6示出了能够实现根据本公开的实施例的方法和装置的计算机系统的示例。
具体实施方式
在描述附图中所示的本发明的示例性实施例时，为了清楚起见，使用了特定的术语。然而，本发明不旨在限于图示或任何特定术语，并且应当理解，每个元件包括所有等同物。
如上所述，远程医疗为居住在没有得到医疗提供者良好服务的地区的患者提供了扩展医疗访问的机会。特别地，远程医疗可用于对可能不能充分访问这种医疗服务的患者管理医疗。然而，存在与远程管理对患者的某些类型的医疗相关联的特定问题；尽管全科医生可能能够在视频会议中很好地要求患者描述症状，但是一些专业健康从业者必须经常能够从患者的表情和行为方式中识别细微的症状。
理想地，在远程医疗中使用的视频会议硬件将能够提供未压缩的超高清视频和清晰的音频，使得健康从业者能够容易地了解微小的症状，然而，由于对带宽存在显著的实际限制，特别是在患者的末端处，因为患者可能位于偏远的乡村位置、在没有建立高速网络接入的新兴国家、或者甚至在海上、在空中或太空中，由健康提供者接收的音频和视频的质量可能是不充分的并且重要的，但是可能遗漏细微的症状。
此外，虽然可能将高质量的音频和视频异步地传输到健康提供者，但是由于医疗经常涉及自然对话，其过程取决于健康提供者的观察，因此事后分析音频和视频可能不是提供医疗的适当手段。
本发明的示例性实施例提供了一种用于实时视频会议的系统，其中，为了有效的实时通信，非常清楚地获取音频和视频信号，并且将这些信号压缩和/或缩减为这里所称的低质量信号，同时对高质量信号执行自动症状识别以自动检测来自其中的各种细微症状。然后使用自动症状识别的发现来标注使用低质量信号的实时电话会议，使得可以使医疗提供者以及时的方式意识到发现，以相应地指导医疗咨询。
这可以通过在患者的位置处布置自动症状识别硬件，或者通过随着实时电话会议的继续异步地向自动症状识别硬件发送高质量信号，然后在确定警报时向医疗提供者叠加警报来实现。
自动症状识别硬件可以利用循环神经网络以以下面更详细描述的方式识别症状。
图1是示出根据本发明示例性实施例的用于在视频会议中实时标注面部症状的系统的示意图。患者受试者10可以利用相机和麦克风11，并且可以从其获取患者受试者10的声音和外观。尽管元件11被图示为相机设备，但是该描绘仅仅是示例，并且实际设备可以被实例化为电话会议装备、个人计算机或者甚至移动电子设备，诸如包括相机/麦克风的智能电话或平板计算机。应当理解，照相机/麦克风元件11可以另外包括模数转换器、网络接口和处理器。
摄像机/麦克风11可以数字化所获取的音频/视频信号，以产生诸如符合超高清(UHD)标准的4k视频之类的高清音频/视频信号。数字化信号可以通过计算机网络12，例如因特网，与电话会议服务器14通信。照相机/麦克风11还可以通过缩小和/或利用诸如H.264的压缩方案或一些其它方案来减小音频/视频信号的大小。减少的程度可以由可用带宽和各种传输条件来规定。摄像机/麦克风11可以将音频/视频信号作为高质量获取信号和作为按比例缩小/压缩信号两者发送到电话会议服务器14，所述信号在本文中可以被称为低质量信号。高质量信号可以异步发送，例如，数据可以被分成分组，分组可以到达电话会议服务器14以便在完成一些数量的图像帧的传输时进行处理，而低质量信号可以被实时发送到电话会议服务器14，并且质量降低的程度可以取决于通过计算机网络12的连接的性质，而高质量信号可以不考虑连接质量而被发送。
电话会议服务器14可以执行两个主要功能，第一功能可以是通过将低质量信号实时中继到提供商终端13来维持电话会议。例如，电话会议服务器14可以从相机/麦克风11接收低质量信号，并且仅以最小延迟将低质量信号中继到提供商终端13，使得可以实现实时电话会议。电话会议服务器14还可以从提供商终端13接收音频/视频数据，并在每一端使用互逆硬件将其中继回患者受试者。
由电话会议服务器14执行的第二个主要功能是自动地从高质量信号中检测症状，从中生成诊断警报，并将诊断警报标注给使用低质量信号的电话会议。然而，根据其他方法，自动检测和诊断警报生成可以由不同的服务器处理，例如症状识别服务器15。根据该方法，摄像机/麦克风11可以异步地将高质量信号发送到症状识别服务器15，并且实时地将低质量信号发送到电话会议服务器14，症状识别服务器15然后可以将诊断警报发送到电话会议服务器14，并且电话会议服务器14可以相应地标注电话会议。
图2是示出根据本发明的示例性实施例的图1所示的系统的操作方式的流程图。如上所述，首先，患者受试者的电信终端可以获取音频和视频信号(步骤S21)。然后，这些高质量的信号可以被本地处理或异步地传输到症状识别服务器，而不用为了处理而进行缩减或有损压缩(步骤S24)。无论在哪里执行处理，处理都可以导致识别出可以用于生成诊断警报的症状(步骤S25)。
基本上同时，低质量信号可以以取决于可用带宽的质量被传输到电话会议服务器(步骤S23)。电话会议服务器可以从症状识别服务器接收诊断警告，并且可以以下面更详细描述的方式在其上标注诊断警告(步骤S27)。
症状识别服务器可以利用多模循环神经网络来从高质量信号生成诊断警报。图3和4示出了用于执行该功能的示例性算法。
如上所述，可以获取高清晰度音频和视频信号，并且将其异步地发送到症状识别服务器(301)。此后，症状识别服务器可以使用视频信号来执行面部检测(302)和检测身体运动(303)。因此，视频信号可以包括患者受试者的面部和患者受试者的身体的一些组成部分的图像，诸如颈部、肩部和躯干。同时，可以从音频信号检测声调(304)，并且可以使用语音到文本处理来转录语言(305)。
从所检测的面部，可以提取动作单元(306)并且可以检测标志(307)。另外，可以跟踪肤色以检测肤色的变化。如本文所定义的动作单元可以包括面部运动/表情和/或特定面部肌群的运动的识别序列。在该步骤中，从视频分量的所检测的面部识别一个或多个动作单元的存在。该分析可以利用预定动作单元的图集和匹配例程来将已知动作单元与视频分量的所检测的面部相匹配。
尽管动作单元检测可以利用面部标志，但这不是必须的情况。然而，在任一情况下，可以从检测到的面部检测标志(307)。所识别的标志可以包括关于眼睛、鼻子、下巴、嘴、眉毛等的点。可以用点来表示每个标志，并且可以逐帧地跟踪每个点的移动(311)。从跟踪的点，可以执行语义特征提取(314)。语义特征可以是可以从标志跟踪识别的面部运动的已知模式，例如表情和/或特殊习惯。
同时，从所检测的身体移动(303)，可以确定和跟踪身体姿势(308)和头部移动(309)。这可以例如通过对图像数据进行二值化然后进行轮廓化(silhouetting)来实现。这里，身体姿势可以包括头部、肩部和躯干的一起移动，而头部移动可以包括仅考虑头部的移动。另外，身体姿势可以包括考虑手臂和手，例如，以检测被打乱或令人不安的下意识显示，例如交错的僵硬手指。
从语音到文本转录的文本(305)，可以执行自然语言处理(310)。自然语言处理可以用于确定对患者受试者正在说的话的上下文理解，并且可以用于确定所说的话的情感(312)以及所说的话的内容，如通过语言结构提取(313)确定。
所提取的动作单元(306)、语义特征提取(314)、身体姿势(308)、头部移动(309)、所检测的语调(304)、情感分析(312)和语言结构提取(313)可以全部被发送到多模态递归神经网络(315)。多模态递归神经网络可以使用该数据来确定情绪强度和面部运动的表达程度(316)以及特征与语言的相关性的表达(317)。情绪强度和面部运动的表达可以表示由患者受试者显示的情绪水平，而特征与语言的相关性可以表示患者受试者的非言语通信与正在所说的内容一致的程度。例如，可以考虑面部/身体运动与语言/语音之间的差异。这些因素可用于确定症状显示的概率，因为过度的情绪显示可表示健康紊乱的症状，并且因此可能在特征和语言之间存在偏差。然而，本发明的示例性实施例不限于使用多模态递归神经网络来仅生成这些输出，并且多模态递归神经网络可以使用任何其他特征来检测健康紊乱的症状，诸如以上讨论的那些特征。
在评估这些特征时，可以将强度和面部运动的表情(316)与阈值进行比较，并且可以将高于阈值的值视为症状。此外，可以类似地将表达和语言之间的相关程度(317)与阈值进行比较。
这里，多输出递归网络可用于对不同特征模态的时间依赖性建模，其中，代替简单地随时间聚集视频特征，可通过向递归神经网络提出附加层来集成输入特征的隐藏状态。在网络中，对于训练样本可以存在不同的标签，其不仅测量面部表情强度，而且量化表情和语言分析之间的相关性。尤其是，当患者面部缺乏表情，但是话音特征仍然可以用于分析情绪的深度时。
在评估多模态递归神经网络的这些和/或其他输出以检测健康紊乱的症状时，可以使用过程到精细策略(course-to-fine strategy)(318)来识别音频/视频信号内的潜在症状。该信息用于识别视频内的关键帧，在该关键帧中潜在症状被认为被证实。该步骤可以被认为是上述诊断警报生成的一部分。这些帧可以在高质量信号和低质量信号的帧之间相关，然后，在过程中，诊断警报可以被低质量电话会议图像覆盖。虽然在显示症状的时间和产生诊断警报的时间之间可能已经经过了一定量的时间，但是诊断警报可以是回顾性的，并且可以包括已经创建诊断警报的指示、患者受试者的什么面部特征可能已经表现出症状的指示、以及随着电话会议的进展在电话会议上作为画中画重放相关联的视频/音频的某种方式。重放覆盖可以来自高质量信号或低质量信号。
图5是示出根据本发明示例性实施例的电话会议显示器的图。显示屏50可以包括来自低质量信号的患者受试者51的实时视频图像。诊断警报可以覆盖在其上，包括指定所检测的症状的性质的文本警报52、引用所检测的症状并引起对患者受试者的负责显示症状的区域的注意的指针警报53a和53b、和/或例如在重复循环中显示关键帧周围的视频剪辑的重放视频框54。
本发明的示例性实施例不需要对高质量视频信号执行症状识别。根据本发明的一些示例性实施例，摄像机/麦克风可以将低质量视频信号发送到症状识别服务器，并且症状识别服务器可以通过执行较不敏感的分析来对低质量视频信号执行分析，或者症状识别服务器可以对低质量视频信号进行上采样以从低质量视频信号生成增强质量的视频信号，然后可以对增强质量的视频信号执行症状识别。
图6示出了根据本发明一些实施例的系统的另一示例。作为概述，本发明的一些实施例可以以在一个或多个计算机系统(例如，计算机系统的“云”)上运行的软件应用的形式来实现，所述计算机系统例如是大型机、个人计算机(PC)、手持计算机、客户端、服务器、对等设备等。软件应用可以被实现为存储在计算机可读存储介质(下面更详细地讨论)上的计算机可读/可执行指令，该计算机可读存储介质可由计算机系统本地访问和/或可经由到网络(例如，局域网或因特网)的硬连线或无线连接远程访问。
现在参考图6，计算机系统(一般地称为系统1000)可以包括例如处理器，例如中央处理单元(CPU)1001、诸如随机存取存储器(RAM)之类的存储器1004、打印机接口1010、显示单元1011、可操作地耦合到LAN接口1006的局域网(LAN)数据传输控制器1005，其可以进一步耦合到LAN、可以提供与公共交换电话网(PSTN)的通信的网络控制器1003、一个或多个输入设备1009，例如键盘、鼠标等、以及用于可操作地连接各种子系统/组件的总线1002。如图所示，系统1000还可以经由链路1007连接到非易失性数据存储器，例如硬盘1008。
在一些实施例中，软件应用程序存储在存储器1004中，当由CPU1001执行时，其使得系统执行根据本发明的一些实施例的计算机实现的方法，例如，参考图4和5描述的方法的一个或多个特征。
本发明可以是任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。
计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码装置，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据，或者以一种或多种编程语言(包括面向对象的编程语言，例如Smalltalk、C++等)和过程编程语言(例如“C”编程语言或类似的编程语言)的任意组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施例中，为了执行本发明的各方面，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化。
在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
这里描述的示例性实施例是说明性的，并且在不脱离本发明的精神或所附权利要求的范围的情况下，可以引入许多变化。例如，在本发明和所附权利要求的范围内，不同示例性实施例的元件和/或特征可以彼此组合和/或彼此替换。

Claims (20)

1.一种电话会议系统，包括：
第一终端，包括相机和麦克风，被配置为获取音频信号和高质量视频信号，并将所获取的高质量视频信号转换为比特率小于所述高质量视频信号的比特率的低质量视频信号；
远程会议服务器，其与所述第一终端和第二终端通信，并且被配置为从所述第一终端实时接收所述低质量视频信号和所述音频信号，并且将所述低质量视频信号和所述音频信号发送到所述第二终端；以及
症状识别服务器，其与所述第一终端和所述电话会议服务器通信，并且被配置为从所述第一终端异步地接收所述高质量视频信号和所述音频信号，分析所述高质量视频信号和所述音频信号以检测一个或多个疾病迹象，在检测到所述一个或多个疾病迹象时生成诊断警报，并且将所述诊断警报传输到所述电话会议服务器以显示在所述第二终端上。
2.如权利要求1所述的系统，其中所述症状识别服务器被配置为使用多模态递归神经网络从所述高质量视频信号和所述音频信号检测所述疾病迹象。
3.如权利要求2所述的系统，其中所述症状识别服务器被配置为通过以下步骤从所述高质量视频信号检测所述疾病迹象迹象：
从所述高质量视频信号检测面部；
从所检测的面部提取动作单元；
从所检测的面部检测标志；
跟踪所检测的标志；
使用所跟踪的标志来执行语义特征提取；以及
使用所述多模态递归神经网络来从所检测的面部、所提取的动作单元、所跟踪的标志以及所提取的语义特征检测所述疾病迹象。
4.如权利要求2所述的系统，其中所述症状识别服务器被配置为通过以下步骤从所述高质量视频信号检测所述疾病迹象：
从所述高质量视频信号检测身体姿势；
从所述高质量视频信号跟踪头部移动；以及
使用所述多模态递归神经网络来从所检测的身体姿势和所跟踪的头部移动来检测所述疾病迹象。
5.如权利要求2所述的系统，其中所述症状识别服务器被配置为通过以下步骤从所述音频信号检测所述疾病迹象：
从所述音频信号检测音调特征；
转录所述音频信号以生成转录；
对所述转录执行自然语言处理；
对所述转录进行语义分析；
对所述转录进行语言结构提取；以及
使用所述循环神经网络来从所检测的音调特征、所述转录、所述自然语言处理的结果、所述语义分析的结果以及所述语言结构提取的结果来检测所述疾病迹象。
6.如权利要求1所述的系统，其中所述第一终端被配置为通过降低所述高质量信号的分辨率、通过降低所述高质量信号的帧率、或者通过压缩所述高质量信号来将所述高质量视频信号转换为较低比特率的低质量视频信号。
7.如权利要求1所述的系统，其中所述症状识别服务器是所述第一终端的一部分或本地连接到所述第一终端。
8.如权利要求1所述的系统，其中所述电话会议服务器通过因特网或另一广域网与所述第一终端和所述第二终端通信。
9.如权利要求1所述的系统，其中所述第二终端被配置为显示所述低质量视频信号作为电话会议的一部分，并且所述电话会议服务器被配置为将所述诊断警报覆盖在所述第二终端的显示器上。
10.如权利要求9所述的系统，其中所述电话会议服务器被配置为以文本警报的形式将所述诊断警报覆盖在所述第二终端的显示器上。
11.如权利要求9所述的系统，其中所述电话会议服务器被配置为以图形元素的形式将所述诊断警报覆盖在所述第二终端的显示器上，所述图形元素突出显示或强调所述疾病迹象所基于的面部或身体的一部分。
12.如权利要求9所述的系统，其中所述电话会议服务器被配置为以标注、高亮显示或所述音频信号的文本转录上的其他标记的形式将所述诊断警报覆盖在所述第二终端的显示器上。
13.如权利要求9所述的系统，其中所述电话会议服务器被配置为以画中画元素的形式将所述诊断警报覆盖在所述第二终端的显示器上，所述画中画元素包括所述疾病迹象所基于的所述高质量视频信号的一部分的重放。
14.一种用于电话会议的方法，包括：
从第一终端获取音频信号和视频信号；
将所述视频信号和所述音频信号发送到与所述第一终端和第二终端通信的电话会议服务器；
将所述视频信号和所述音频信号发送到与所述第一终端和所述电话会议服务器通信的症状识别服务器；
使用多模态递归神经网络从所述视频信号和所述音频信号检测疾病迹象；
生成针对所检测的疾病迹象的诊断警报；
用所述诊断警告标注所述视频信号；以及
在所述第二终端上显示所标注的视频信号。
15.如权利要求14所述的方法，其中从所述视频信号检测所述疾病迹象包括：
从视频信号检测面部；
从所检测的面部提取动作单元；
从所检测的面部检测标志；
跟踪所检测的标志；
使用所跟踪的标志来执行语义特征提取；以及
使用所述多模态递归神经网络来从所检测的面部、所提取的动作单元、所跟踪的标志以及所提取的语义特征检测所述疾病迹象。
16.如权利要求14所述的方法，其中从所述视频信号检测所述疾病迹象包括：
从所述视频信号检测身体姿势；
从所述视频信号跟踪头部移动；以及
使用所述多模态递归神经网络来从所检测的身体姿势和所跟踪的头部移动来检测所述疾病迹象。
17.如权利要求14所述的方法，其中从所述音频信号检测所述疾病迹象包括：
从所述音频信号检测音调特征；
转录所述音频信号以生成转录；
对所述转录执行自然语言处理；
对所述转录执行语义分析；
对所述转录执行语言结构提取；以及
使用所述循环神经网络来从所检测的音调特征、转录、所述自然语言处理的结果、所述语义分析的结果以及所述语言结构提取的结果来检测所述疾病迹象。
18.如权利要求14所述的方法，其中在将所述视频信号传输到所述症状识别服务器之前，减小所述视频信号的比特率。
19.如权利要求14所述的方法，其中在从所述视频信号检测所述疾病迹象之前对所述视频信号进行上采样。
20.一种计算机程序，包括当所述计算机程序在计算机系统上执行时，用于执行根据任一前述方法权利要求所述的方法的所有步骤的指令。
CN201980026809.2A 2018-04-27 2019-04-09 远程医疗中症状的实时标注 Active CN111989031B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/964,542 2018-04-27
US15/964,542 US20190328300A1 (en) 2018-04-27 2018-04-27 Real-time annotation of symptoms in telemedicine
PCT/IB2019/052910 WO2019207392A1 (en) 2018-04-27 2019-04-09 Real-time annotation of symptoms in telemedicine

Publications (2)

Publication Number Publication Date
CN111989031A true CN111989031A (zh) 2020-11-24
CN111989031B CN111989031B (zh) 2024-07-05

Family

ID=68290811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026809.2A Active CN111989031B (zh) 2018-04-27 2019-04-09 远程医疗中症状的实时标注

Country Status (5)

Country Link
US (1) US20190328300A1 (zh)
JP (1) JP7292782B2 (zh)
CN (1) CN111989031B (zh)
DE (1) DE112019002205T5 (zh)
WO (1) WO2019207392A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977921B2 (en) * 2018-11-27 2021-04-13 International Business Machines Corporation Cognitive analysis of biosensor data
CN111134686A (zh) * 2019-12-19 2020-05-12 南京酷派软件技术有限公司 一种人体病症确定方法、装置、存储介质及终端
US11417330B2 (en) * 2020-02-21 2022-08-16 BetterUp, Inc. Determining conversation analysis indicators for a multiparty conversation
US20220093220A1 (en) * 2020-09-18 2022-03-24 Seth Feuerstein System and method for patient assessment using disparate data sources and data-informed clinician guidance via a shared patient/clinician user interface

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019631A1 (en) * 2012-07-16 2014-01-16 Ricoh Co., Ltd. Media Stream Modification Based on Channel Limitations
JP2015530886A (ja) * 2012-06-27 2015-10-29 バウチャー、ライアン 医療診断情報を取得するための装置、方法、およびシステム、ならびに遠隔医療サービスの提供
US20160302666A1 (en) * 2010-07-30 2016-10-20 Fawzi Shaya System, method and apparatus for performing real-time virtual medical examinations
CN106126912A (zh) * 2016-06-22 2016-11-16 扬州立兴科技发展合伙企业（有限合伙） 一种远程音视频会诊系统
US20180013699A1 (en) * 2016-07-08 2018-01-11 Asapp, Inc Assisting entities in responding to a request of a user
CN107610768A (zh) * 2017-10-10 2018-01-19 朗昇科技（苏州）有限公司 一种用于远程医疗诊断的采集终端及远程医疗诊断系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10095833B2 (en) 2013-09-22 2018-10-09 Ricoh Co., Ltd. Mobile information gateway for use by medical personnel
CN107358055A (zh) * 2017-07-21 2017-11-17 湖州师范学院 智能辅助诊断系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160302666A1 (en) * 2010-07-30 2016-10-20 Fawzi Shaya System, method and apparatus for performing real-time virtual medical examinations
JP2015530886A (ja) * 2012-06-27 2015-10-29 バウチャー、ライアン 医療診断情報を取得するための装置、方法、およびシステム、ならびに遠隔医療サービスの提供
US20140019631A1 (en) * 2012-07-16 2014-01-16 Ricoh Co., Ltd. Media Stream Modification Based on Channel Limitations
CN106126912A (zh) * 2016-06-22 2016-11-16 扬州立兴科技发展合伙企业（有限合伙） 一种远程音视频会诊系统
US20180013699A1 (en) * 2016-07-08 2018-01-11 Asapp, Inc Assisting entities in responding to a request of a user
CN107610768A (zh) * 2017-10-10 2018-01-19 朗昇科技（苏州）有限公司 一种用于远程医疗诊断的采集终端及远程医疗诊断系统

Also Published As

Publication number Publication date
JP2021521704A (ja) 2021-08-26
CN111989031B (zh) 2024-07-05
US20190328300A1 (en) 2019-10-31
WO2019207392A1 (en) 2019-10-31
JP7292782B2 (ja) 2023-06-19
DE112019002205T5 (de) 2021-02-11

Similar Documents

Publication Publication Date Title
CN111989031B (zh) 远程医疗中症状的实时标注
JP6791197B2 (ja) 電子会議システム
JP6866860B2 (ja) 電子会議システム
US10706873B2 (en) Real-time speaker state analytics platform
CN107153496B (zh) 用于输入表情图标的方法和装置
US9824691B1 (en) Automated population of electronic records
US20180077095A1 (en) Augmentation of Communications with Emotional Data
US10643036B2 (en) Language translation device and language translation method
US9293133B2 (en) Improving voice communication over a network
CA3175428A1 (en) Multimodal analysis combining monitoring modalities to elicit cognitive states and perform screening for mental disorders
US20220327309A1 (en) METHODS, SYSTEMS, and MACHINE-READABLE MEDIA FOR TRANSLATING SIGN LANGUAGE CONTENT INTO WORD CONTENT and VICE VERSA
US10353996B2 (en) Automated summarization based on physiological data
CN111489819A (zh) 检测认知和语言障碍的方法、服务器和计算机可读介质
CN111476114A (zh) 疲劳检测方法、装置、终端设备及存储介质
CN114882861A (zh) 语音生成方法、装置、设备、介质及产品
CN114138960A (zh) 用户意图识别方法、装置、设备及介质
CN110992958B (zh) 内容记录方法、装置、电子设备及存储介质
CN110740212B (zh) 基于智能语音技术的通话接听方法、装置及电子设备
CN116108176A (zh) 基于多模态深度学习的文本分类方法、设备及存储介质
CN116070020A (zh) 基于知识图谱的食材推荐方法、设备及存储介质
US20190332899A1 (en) Analysis of image media corresponding to a communication session
CN111885343B (zh) 特征处理方法及装置、电子设备和可读存储介质
CN114492579A (zh) 情绪识别方法、摄像装置、情绪识别装置及存储装置
US20190332657A1 (en) Automated linking of media data
JP2016024378A (ja) 情報処理装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant