CN110047588A - 基于微表情的呼叫方法、装置、计算机设备及存储介质 - Google Patents
基于微表情的呼叫方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110047588A CN110047588A CN201910203094.5A CN201910203094A CN110047588A CN 110047588 A CN110047588 A CN 110047588A CN 201910203094 A CN201910203094 A CN 201910203094A CN 110047588 A CN110047588 A CN 110047588A
- Authority
- CN
- China
- Prior art keywords
- target
- micro
- target user
- preset
- calling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000014509 gene expression Effects 0.000 title claims abstract description 80
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 230000002996 emotional effect Effects 0.000 claims abstract description 80
- 230000002159 abnormal effect Effects 0.000 claims abstract description 32
- 230000008451 emotion Effects 0.000 claims abstract description 22
- 230000001815 facial effect Effects 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 230000036651 mood Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 206010016322 Feeling abnormal Diseases 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 208000037805 labour Diseases 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
Abstract
本发明公开了一种基于微表情的呼叫方法、装置、计算机设备及存储介质。所述方法包括：接收客户端发送的采集数据；对视频图像进行面部情绪识别，得到目标用户的情绪状态；对体征指标数据进行检测，所述目标用户的体征状态；若所述目标用户的情绪状态所述目标用户的情绪异常，或者所述目标用户的体征状态所述目标用户的体征异常，所述客户端发送预设的询问语音；所述客户端返所述答复语音，对答复语音进行文本转换，得到答复语音对应的答复文本；对答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息；根据所述呼叫对象确定目标医务人员，并按照呼叫方式呼叫目标医务人员。本发明的技术方案提高了医疗监护的自动化水平和智能化水平。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于微表情的呼叫方法、装置、计算机设备及存储介质。
背景技术
目前，病人在住院期间，在面对不舒服或者吊针打完等情况需要呼叫医务人员时，普遍的方法是由陪护家属去护士站寻找医生或者护士来病房处理，或者在病房通过床头的呼叫器呼叫医生或者护士。
现有的呼叫方式均需要由人工手动进行，自动化水平低，并且智能化水平也不高，当病人没有家属陪护时，或者病人因身体情况无法使用床头的呼叫器时，往往导致无法及时呼叫医生或者护士，造成病情或者医疗的延误。
发明内容
本发明实施例提供一种基于微表情的呼叫方法、装置、计算机设备及存储介质，以解决现有的人工手动呼叫医务人员的方式导致医疗监护的自动化水平和智能化水平低的问题。
一种基于微表情的呼叫方法，包括：
接收客户端发送的采集数据，其中，所述采集数据包括目标用户的视频图像和体征指标数据；
使用预设的微表情识别模型对所述视频图像进行面部情绪识别，得到所述目标用户的情绪状态；
使用预设的指标检测模型对所述体征指标数据进行检测，得到所述目标用户的体征状态；
若根据所述目标用户的情绪状态确定所述目标用户的情绪异常，或者根据所述目标用户的体征状态确定所述目标用户的体征异常，则向所述客户端发送预设的询问语音，以使所述客户端采集所述目标用户的答复语音；
接收所述客户端返回的所述答复语音，并使用预设的语音识别模型，对所述答复语音进行文本转换，得到所述答复语音对应的答复文本；
使用预设的语义识别模型对所述答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，其中，所述目标呼叫信息包括呼叫对象和呼叫方式；
根据所述呼叫对象确定目标医务人员，并按照所述呼叫方式呼叫所述目标医务人员。
一种基于微表情的呼叫装置，包括：
数据获取模块，用于接收客户端发送的采集数据，其中，所述采集数据包括目标用户的视频图像和体征指标数据；
情绪识别模块，用于使用预设的微表情识别模型对所述视频图像进行面部情绪识别，得到所述目标用户的情绪状态；
体征检测模块，用于使用预设的指标检测模型对所述体征指标数据进行检测，得到所述目标用户的体征状态；
语音询问模块，用于若根据所述目标用户的情绪状态确定所述目标用户的情绪异常，或者根据所述目标用户的体征状态确定所述目标用户的体征异常，则向所述客户端发送预设的询问语音，以使所述客户端采集所述目标用户的答复语音；
文本转换模块，用于接收所述客户端返回的所述答复语音，并使用预设的语音识别模型，对所述答复语音进行文本转换，得到所述答复语音对应的答复文本；
语义识别模块，用于使用预设的语义识别模型对所述答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，其中，所述目标呼叫信息包括呼叫对象和呼叫方式；
目标呼叫模块，用于根据所述呼叫对象确定目标医务人员，并按照所述呼叫方式呼叫所述目标医务人员。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于微表情的呼叫方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于微表情的呼叫方法的步骤。
上述基于微表情的呼叫方法、装置、计算机设备及存储介质中，通过使用微表情识别模型对客户端采集的目标用户的视频图像进行面部情绪识别，得到目标用户的情绪状态，并使用指标检测模型对客户端采集的目标用户的体征指标数据进行检测，得到目标用户的体征状态，然后根据目标用户的情绪状态和体征状态综合确定是否需要对目标用户进行语音询问，当需要对目标用户进行语音询问时，向客户端发送询问语音并接收客户端返回的答复语音，通过将答复语音转换为答复文本，并对答复文本进行语义识别，确定是否需要呼叫相关医务人员以及呼叫对象和呼叫方式，若根据语义识别结果确定需要呼叫医务人员，则根据呼叫对象选择需要呼叫的目标医务人员，并按照呼叫方式呼叫该目标医务人员，使得目标医务人员能够对目标用户提供及时的医疗服务，通过采用微表情识别、体征指标数据检测和语音询问相结合的方式，实时自动了解目标用户是否需要医务人员的帮助，并自动为目标用户呼叫合适的医务人员，尤其是在当病房中的目标用户没有家属陪护，或者因身体情况无法使用床头的呼叫器等情况时，能够及时地为其呼叫合适的医务人员，避免病情或者医疗的延误，提高了医疗监护的自动化水平和智能化水平。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于微表情的呼叫方法的一应用环境示意图；
图2是本发明一实施例中基于微表情的呼叫方法的一流程图；
图3是本发明一实施例中基于微表情的呼叫方法中步骤S2的一流程图；
图4是本发明一实施例中基于微表情的呼叫方法的步骤S6的一流程图；
图5是本发明一实施例中基于微表情的呼叫方法中在对目标医务人员呼叫失败时采取新的呼叫措施的一流程图；
图6是本发明一实施例中基于微表情的呼叫装置的一示意图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的基于微表情的呼叫方法，可应用在如图1所示的应用环境中，该应用环境为医院里住院病人的病房环境。该应用环境包括服务端和客户端，其中，服务端和应用客户端之间通过网络进行连接，该网络可以是有线网络或者无线网络，客户端具体包括音视频采集装置以及体征指标检测装置，服务端可以用独立的服务器或者多个服务器组成的服务器集群实现。客户端将采集到的音视频数据发送到服务端，服务端根据对音视频数据进行分析，并根据分析结果自动呼叫相关的医护人员。
在一实施例中，如图2所示，提供一种基于微表情的呼叫方法，以该方法应用在图1中的服务端为例进行说明，详述如下：
S1：接收客户端发送的采集数据，其中，采集数据包括目标用户的视频图像和体征指标数据。
在本实施例中，客户端具体可以是安装在医院病房中的一台智能沟通设备，该智能沟通设备包含视频采集装置、音频采集和播放装置，以及医疗数据收集装置。
其中，视频采集装置具体可以是摄像头，用于采集目标用户的视频图像；音频采集和播放装置具体可以是麦克风，用于采集目标用户的语音，以及向目标用户播放语音；医疗数据收集装置通过与目标用户正在使用的医疗仪器之间进行连接，获取医疗仪器中的体征指标数据。例如，体征指标数据包括血压数据、心跳数据等。
具体地，客户端将采集到得目标用户的视频图像和体征指标数据发送到服务端。
需要说明的是，目标用户为医院病房中需要提供服务的病人，目标用户的人脸图像被预先保存在客户端中，客户端通过视频采集装置扫描病房中的每个人的脸部图像，并与预存的人脸图像进行匹配，识别出目标用户，锁定并跟踪识别出的目标用户，将目标用户的视频图像和体征指标数据发送到服务端。
客户端可以按照预定的时间段，将每个预定的时间段采集到的目标用户的视频图像发送到服务端。其中，预定的时间段的长度可以根据实际应用的需要进行设置，此处不做限制。
S2：使用预设的微表情识别模型对视频图像进行面部情绪识别，得到目标用户的情绪状态。
具体地，微表情识别模型用于对视频图像中的人脸图像进行面部情绪识别，得到人脸图像在预设的多种情绪下的概率值，并将概率值最大的情绪确认为人脸图像的情绪状态，即目标用户的情绪状态。
例如，可以将微表表情识别模型中的预设的多种情绪设定为高兴、悲伤、惊讶、轻蔑、害怕、愤怒和厌恶等，可以预先采集分别代表这些情绪的大量样本图片进行标注，形成样本图片集，然后使用样本图片对标准的卷积神经网络模型或者分类器进行训练，得到微表情识别模型。
S3：使用预设的指标检测模型对体征指标数据进行检测，得到目标用户的体征状态。
具体地，预设的指标检测模型通过对体征指标数据进行阈值判断，确定体征状态。其中，体征状态可以划分为正常状态和异常状态，也可以根据异常程度划分多个不同等级的状态。
不同类型的体征指标数据可以对应不同的指标阈值，将每种类型的体征指标数据与该类型的指标阈值进行比较，若体征指标数据的值大于指标阈值，则确定该类型对应的检测结果为体征异常，然后根据每种类型对应的检测结果，计算体征异常的数量占体征指标数据类型的比值，根据比值确定目标用户的体征状态，比值越大则体征状态异常程度越高，比值越小则体征状态异常程度越低。
当体征状态包括正常状态和异常状态时，可以对比值和预设的比例阈值进行比较，若比值大于比例阈值，则目标用户的体征状态为异常状态，若比值小于比例阈值，则目标用户的体征状态为正常状态。
当体征状态包括多个不同等级的状态时，可以设定比值的范围与等级之间的对应关系，根据比值所在的范围，将该范围对应的等级确定为目标用户的体征状态。
进一步地，在一具体实施例中，指标检测模型可以通过对体征指标数据打分的方式，确定目标用户的体征状态。根据不同类型的体征指标数据之间可能存在的相互关联或者相互影响，以及每种类型的体征指标数据与体征状态异常程度之间的关联关系，预先定义体征指标数据与体征分数之间的函数关系：
P＝f(x1,x2,...,xn)
其中，f为体征指标数据与体征分数之间的函数关系，n为体征指标数据的类型数量，x1,x2,...,xn为每种类型的体征指标数据，P为体征分数。
将步骤S1得到的每种类型的体征指标数据输入上述公式，计算得到目标用户的体征分数，根据该体征分数确定目标用户的体征状态。
例如，假设体征状态包括正常、普通异常和严重异常，则可以预先定义体征分数的范围与等级之间的对应关系为：体征分数在[0，60)的范围，对应的等级为严重异常；体征分数在[60，80)的范围，对应的等级为普通异常；体征分数在[80，100)的范围，对应的等级为正常。若根据上述公式计算得到的体征分数为53，则可以确定目标用户的体征状态为严重异常。
需要说明的是，步骤S2和步骤S3之间没有必然的先后执行顺序，其可以是并列执行的关系，此处不做限制。
S4：若根据目标用户的情绪状态确定目标用户的情绪异常，或者根据目标用户的体征状态确定目标用户的体征异常，则向客户端发送预设的询问语音，以使客户端采集目标用户的答复语音。
具体地，若步骤S2得到的目标用户的情绪状态属于预设的异常情绪状态，则确定目标用户的情绪异常，否则确认目标用户的情绪正常。其中，预设的异常情绪状态为微表情识别模型能够识别出的多种情绪中的一个或者多个，其可以根据实际应用的需要进行设置，从微表情识别模型能够识别出的多种情绪中选择包含难受、疼痛或者焦虑不安等微表情的情绪，作为异常情绪状态。
若步骤S3得到的目标用户的体征状态属于预设的异常体征状态，则确定目标用户的体征异常，否则，确认目标用户的体征正常。其中，预设的异常体征状态为指标检测模型定义的体征状态中标识体征异常的体征状态。例如，若指标检测模型定义的体征状态包括正常状态和异常状态，则预设的异常体征状态即为异常状态，若指标检测模型定义的体征状态包括正常、普通异常和严重异常三种不同等级的状态，则预设的异常体征状态可以包括普通异常和严重异常。
当服务端确定目标用户的情绪异常或者体征异常时，向客户端发送预设的询问语音，该询问语音用于询问目标用户当前的身体状况或者是否需要提供医疗帮助。例如，该预设的询问语音具体可以为“XXX先生/女士，您是否身体不适需要医生帮助？”。当服务端确定目标用户的情绪正常并且体征正常时，将不继续后续步骤的执行，丢弃当前处理的采集数据，并继续接收并处理客户端发送的新的采集数据。
客户端接收到询问语音后，通过音频播放装置播放该询问语音，通过音频采集装置采集目标用户的答复语音，并将采集到的答复语音返回给服务端。
进一步地，预设的询问语音可以和目标用户的情绪状态或者体征状态相对应。例如，若目标用户的情绪状态为代表痛苦表情的情绪状态，则询问语音可以为“XXX先生/女士，您是否感觉身体不舒服？”，若目标用户的情绪状态为代表焦虑表情的情绪状态，则询问语音可以为“XXX先生/女士，您的吊针是否快打完了？”。
S5：接收客户端返回的答复语音，并使用预设的语音识别模型，对答复语音进行文本转换，得到答复语音对应的答复文本。
具体地，服务端使用预设的语音识别模型，对接收到的答复语音进行文本转换，将答复语音转换为答复文本。
预设的语音识别模型用于将语音转换为文本，将步骤S4中得到的答复语音输入语音识别模型，该语音识别模型对答复语音进行语音识别，输出答复语音对应的答复文本。
其中，预设的语音识别模型具体可以采用基于隐马尔可夫模型(Hidden MarkovModel，HMM)的语音识别算法，还可以采用基于由高斯混合模型(Gaussian Mixed Model，GMM)和隐马尔可夫模型组合而成的GMM-HMM模型的语音识别算法，但并不限于此，在本发明实施例中对语音识别模型的具体实现算法不做限制。
S6：使用预设的语义识别模型对答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，其中，目标呼叫信息包括呼叫对象和呼叫方式。
具体地，预设的语义识别模型对输入的答复文本进行语义识别，并输出语义识别结果，该语义识别结果可以包括目标用户的当前状态是否正常以及异常程度。
其中，预设的语义识别模型具体可以采用训练好的基于深度学习的神经网络模型进行语义识别，还可以基于隐马尔可夫模型(Hidden Markov Model，HMM)进行语义识别，在本发明实施例中对语义识别模型不做具体限制。
例如，若目标用户的答复文本为“不需要帮助”，则语义识别结果为目标用户的当前状态正常；若标用户的答复文本为“我现在感觉身体不舒服”，则语义识别结果为目标用户的当前状态异常，并且异常程度为普通异常；若标用户的答复文本为“我感到呼吸困难”，则语义识别结果为目标用户的当前状态异常，并且异常程度为严重异常。
服务端根据语义识别结果确定是否需要向相关医务人员进行呼叫。若语义识别结果为目标用户的当前状态正常，则确认不需要进行呼叫，即目标呼叫信息为空。若语义识别结果为目标用户的当前状态异常，则按照异常程度确定目标呼叫信息，即按照异常程度选择相应的呼叫对象以及采取相应的呼叫方式。
其中，目标呼叫信息包括呼叫对象和呼叫方式。呼叫对象具体可以包括护士、护士长、值班医生、主治医生等。呼叫方式具体可以包括广播呼叫、通过即时通信点对点呼叫等。即时通信点对点呼叫具体可以是向具体的呼叫对象发送即时消息或者拨打电话等。
不同的异常程度可以预先设置不同的呼叫对象或者不同的呼叫方式。例如，对于普通异常的异常程度，其对应的呼叫对象可以是护士，其对应的呼叫方式可以是广播呼叫，对于严重异常的异常程度，其对应的呼叫对象可以是主治医生，其对应的呼叫方式可以是即时通信点对点呼叫。
S7：根据呼叫对象确定目标医务人员，并按照呼叫方式呼叫该目标医务人员。
具体地，服务端根据预先设置的呼叫对象与医务人员的联络信息之间的对应关系，获取步骤S6确定的呼叫对象对应的目标医务人员的联络信息，并按照步骤S6确定的呼叫方式，使用目标医务人员的联络信息联络该目标医务人员，并通过语音播报的方式告知该目标医务人员需要帮助的目标用户，以及目标用户所在的病房，以使得目标医务人员能够向目标用户提供及时的医疗服务。
其中，医务人员的联络信息具体可以包括医务人员的姓名、办公地点、固定电话号码、移动电话号码、在岗时间等。
进一步地，一个呼叫对象可以对应多个医务人员的联络信息。例如，呼叫对象为护士时，属于目标用户所在病房的每个护士的联络信息均可以与该呼叫对象对应。服务端在根据呼叫对象确定目标医务人员时，若该呼叫对象对应多个医务人员的联络信息时，可以对多个医务人员的联络信息进行筛选，例如，可以根据在岗时间筛选出当前在岗的医务人员，并从筛选出的医务人员中随机选择一名医务人员作为目标医务人员。
本实施例中，通过使用微表情识别模型对客户端采集的目标用户的视频图像进行面部情绪识别，得到目标用户的情绪状态，并使用指标检测模型对客户端采集的目标用户的体征指标数据进行检测，得到目标用户的体征状态，然后根据目标用户的情绪状态和体征状态综合确定是否需要对目标用户进行语音询问，当需要对目标用户进行语音询问时，向客户端发送询问语音并接收客户端返回的答复语音，通过将答复语音转换为答复文本，并对答复文本进行语义识别，确定是否需要呼叫相关医务人员以及呼叫对象和呼叫方式，若根据语义识别结果确定需要呼叫医务人员，则根据呼叫对象选择需要呼叫的目标医务人员，并按照呼叫方式呼叫该目标医务人员，使得目标医务人员能够对目标用户提供及时的医疗服务，通过采用微表情识别、体征指标数据检测和语音询问相结合的方式，实时自动了解目标用户是否需要医务人员的帮助，并自动为目标用户呼叫合适的医务人员，尤其是在当病房中的目标用户没有家属陪护，或者因身体情况无法使用床头的呼叫器等情况时，能够及时地为其呼叫合适的医务人员，避免病情或者医疗的延误，提高了医疗监护的自动化水平和智能化水平
在一实施例中，如图3所示，在步骤S2中，使用预设的微表情识别模型对视频图像进行面部情绪识别，得到目标用户的情绪状态，具体包括如下步骤：
S21：按照预设的提取方式，从视频图像中提取出包含目标用户的人脸图像的帧图像，并将提取到的帧图像标记为待识别图像。
具体地，预设的提取方式可以是每间隔预设的帧数提取一帧，也可以是随机提取若干帧，其具体可以根据实际应用的需要进行设置，此处不做限制。
S22：将每个待识别图像输入预设的微表情识别模型，得到每个待识别图像在N个预设的微表情状态下的情绪概率，其中，N为正整数。
具体地，预设的微表情识别模型对输入的每个待识别图像进行表情特征提取，并根据提取出的表情特征识别用户的微表情状态，得到每个待识别图像在N个预设的微表情状态下的情绪概率，其中，N为正整数。
其中，预设的微表情状态包括喜怒哀乐等多种细微表情状态，例如：疑惑不解、怒火中烧、大吃一惊、痛苦不堪、疼痛难忍等多种相互具有细微差别的微表情。
S23：从每个待识别图像的N个情绪概率中，选择取值最大的情绪概率对应的微表情状态作为待识别图像的目标微表情状态。
具体地，在得到每个待识别图像在N个微表情状态下的情绪概率后，将N个情绪概率中值最大的情绪概率对应的微表情状态作为该待识别图像的目标微表情状态。
S24：统计每种目标微表情状态的出现次数，并从统计结果中将出现次数最多的目标微表情状态作为目标用户的情绪状态。
具体地，由于每个待识别图像识别出的目标微表情状态可能互不相同，通过统计每种目标微表情状态的出现次数，将出现次数最多的目标微表情状态确定为目标用户的情绪状态，这样得到的目标用户的情绪状态能够更加准确的反映目标用户在当前视频图像这一时间段内的微表情。
例如，若待识别图像一共有10个，每个待识别图像的目标微表情状态分别为A、B、A、C、A、A、B、D、C、A，则统计得到微表情状态A的出现次数为5次，微表情状态B的出现次数为2次，微表情状态C的出现次数为2次，微表情状态D的出现次数为1次，出现数量最多的微表情状态为微表情状态A，因此，目标用户的情绪状态为微表情状态A。
本实施例中，在使用微表情识别模型对视频图像进行面部情绪识别的过程中，首先从视频图像中提取一定数量的帧图像，然后将每个帧图像输入微表情识别模型，针对每个帧图像，从微表情识别模型输出的N个情绪概率中选择最大情绪概率，并将最大情绪概率对应的微表情状态作为该帧图像的目标微表情状态，由于视频图像是一段连续的视频，通过从这一段连续的视频中每个帧图像的目标微表情状态中，统计每种目标微表情状态的出现次数，并将出现次数最多的目标微表情状态作为目标用户的情绪状态，这样得到的目标用户的情绪状态能够更加准确的反映目标用户在当前视频图像这一时间段内的微表情，有效提高微表情识别结果的准确性。
在一实施例中，如图4所示，在步骤S6中，使用预设的语义识别模型对答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，具体包括如下步骤：
S61：在预设的语义识别模型中，对答复文本进行关键字提取，得到答复文本包含的答复关键字。
具体地，在预设的语义识别模型中，采用预设的分词处理算法，对答复文本进行分词处理，得到答复文本包含的若干单词。其中，分词处理算法具体可以采用基于字符串匹配的分词方法，或者采用基于统计语言模型的全切分方法，但并不限于此，在本发明实施例中对分词处理的方式不做具体限制。
其中，基于字符串匹配的分词方法按照一定的扫描策略对答复文本进行字符串切分，并将切分得到的字符串与预设的词典中的词条逐一进行匹配，若在词典中找到该词条，则匹配成功。根据扫描策略的不同，基于字符串匹配的分词方法可以分为正向匹配、逆向匹配以及双向匹配等不同的方式。基于统计语言模型的全切分方法首先切分出与预设的词典中的词条相匹配的所有可能的词，再运用统计语言模型决定最优的切分结果，它的优点在于可以解决分词中的歧义问题。
在得到答复文本包含的若干单词后，采用有监督的机器学习模型为每个单词预测一个[0，1]的权重得分，单词的权重得分越大则该单词重要性越高。有监督的机器学习模型可以采用训练数据自提取的方法进行模型训练，即从历史答复文本里自动挖掘训练数据进行模型训练，对训练数据进行特征提取，并基于逻辑回归算法对提取出的特征进行分析，预测训练数据中每个文本串的重要性，同时，有监督的机器学习模型还可以根据用户的答复文本进行自学习以不断进行模型完善，提高预测的准确度。
根据每个单词的权重得分，将权重得分大于预设的分数阈值的单词确定为答复关键字。
S62：将答复关键字与预设的呼叫信息数据库中的关键字进行匹配，将匹配成功的关键字作为目标关键字，其中，呼叫信息数据库中包含关键字与呼叫信息之间预设的对应关系。
在本实施例中，预设的呼叫信息数据库用于存储答复文本中各种可能的关键字，以及每个关键字对应的呼叫信息，呼叫信息包括呼叫对象和呼叫方式。关键字和呼叫信息之间预设的对应关系可以是一对一的关系，也可以是一对多、多对一，或者多对多的关系，此处不做限制。关键字具体可以来源于预设的词典。例如，关键字可以包括：“不舒服”、“找医生”、“不舒服”、“难受”、“疼”、“呼吸困难”、“吊针打完”等一系列代表目标用户身体状况和医疗需求的词语。
具体地，将步骤S61得到的答复关键字与呼叫信息数据库中的每个关键字进行匹配，具体匹配方式可以是文本字符匹配，即对呼叫信息数据库中的每个关键字进行遍历，查询是否有与答复关键字相同的关键字或者包含答复关键字的关键字，若查询到与答复关键字相同的关键字或者包含答复关键字的关键字，则确认匹配成功，并将查询到的关键字作为目标关键字。
若在呼叫信息数据库中未查询到与答复关键字相同的关键字，并且也未查询到包含答复关键字的关键字，则确认匹配失败，服务端向客户端返回无法理解答复语音的提示信息，并可进一步向客户端发送建议答复内容的提示信息，以使目标用户能够按照建议答复内容重新进行语音答复。其中，建议答复内容可以包括建议目标用户使用的各种代表身体状况和医疗需求的词语。
S63：根据关键字与呼叫信息之间预设的对应关系，获取目标关键字对应的呼叫信息，并将获取到的呼叫信息作为目标呼叫信息。
具体地，根据步骤S62确定的目标关键字，在呼叫信息数据库中保存的关键字与呼叫信息之间预设的对应关系中，获取目标关键字对应的呼叫信息，并将该呼叫信息作为目标呼叫信息。
需要说明的是，当目标关键字对应的呼叫信息有多个，即目标关键字与呼叫信息之间预设的对应关系为一对多的情况时，服务端可以将目标关键字对应的全部呼叫信息都作为目标呼叫信息，并可以按照呼叫信息中呼叫对象的优先级对目标呼叫信息进行排序，以使得后续能够按照呼叫对象的优先级顺序对呼叫对象进行逐一呼叫。
进一步地，服务端还可以按照预设的选择方式，从目标关键字对应的全部呼叫信息中选择所需的呼叫信息作为目标呼叫信息，其中，预设的选择方式具体可以是选择优先级排在第一位的呼叫对象对应的呼叫信息，或者也可以是其他选择方式，此处不做限制。
本实施例中，在使用语义识别模型对答复文本进行语义识别时，通过对答复文本进行关键字提取，得到答复关键字，并将答复关键字与呼叫信息数据库中的关键字进行匹配，将匹配成功的关键字对应的呼叫信息作为目标呼叫信息，这种采用关键字提取和匹配的方式进行语义识别，计算复杂度相对较低，能够提高执行效率，从而有效支撑目标用户寻求医疗服务的时效性需求，同时，根据关键字与呼叫信息之间预设的对应关系，获取目标关键字对应的呼叫信息，能够根据目标用户的实际需求选择合适的呼叫对象进行呼叫，实现了对呼叫对象的准确选择，提高了呼叫的智能化水平。
在一实施例中，如图5所示，在步骤S7之后，还可以在对目标医务人员呼叫失败时进一步采取新的呼叫措施，具体包括如下步骤：
S81：若在预设的时间间隔内没有接收到目标医务人员的呼叫响应，则按照预设的医务人员等级定义，获取高于呼叫对象的等级的高级别呼叫对象，并根据获取到的高级别呼叫对象确定新的目标医务人员。
具体地，服务端在向目标医务人员发起呼叫后，若目标医务人员接收到该呼叫，可以对该呼叫进行响应，响应方式由呼叫方式决定，若呼叫方式为广播呼叫，则响应方式具体可以是操作病区医疗服务中心的呼叫器响应按钮，若呼叫方式为拨打目标医务人员的手机号码，则响应方式具体可以是点击移动终端的接听按钮。
当目标医务人员对呼叫进行响应时，服务端会接收到目标医务人员的呼叫响应，若服务端在预设的时候间隔内没有接收到目标业务人员的呼叫响应，则确认目标医务人员没有响应呼叫，此时，服务端按照预设的医务人员等级定义，获取高于当前呼叫对象的等级的高级别呼叫对象，并根据预先设置的呼叫对象与医务人员的联络信息之间的对应关系，获取高级别呼对象对应的新的目标医务人员的联络信息。
其中，预设的医务人员等级定义中定义了每种类型的呼叫对象的等级，以及不同类型的呼叫对象的等级之间的级别高低关系。例如，若呼叫对象包括护士、护士长、值班医生、主治医生，则护士的等级可以定义为一级、护士长的等级定义为二级、值班医生的等级定义为三级、主治医生的等级定义为四级，并且，一级的级别低于二级，二级的级别低于三级，三级的级别低于四级。假设目标医务人员为护士，若在预设的时间间隔内该目标医务人员未对呼叫进行响应，则服务端获取比护士的等级高一级别的高级别呼叫对象，即护士长，并根据预先设置的呼叫对象与医务人员的联络信息之间的对应关系，获取护士长对应的目标医务人员的联络信息，即新的目标医务人员的联络信息。
S82：按照呼叫方式重新呼叫新的目标医务人员。
具体地，根据步骤S81获取到的新的目标医务人员的联络信息，按照步骤S6确定的呼叫方式，使用新的目标医务人员的联络信息联络该新的目标医务人员，并通过语音播报的方式告知该新的目标医务人员需要帮助的目标用户，以及目标用户所在的病房，以使得新的目标医务人员能够向目标用户提供及时的医疗服务。
进一步地，若新的目标医务人员在预设的时间间隔内仍然没有响应呼叫，则服务端继续向更高级别的医务人员进行呼叫，直到得到响应为止，并且，在不断尝试呼叫的过程中，服务端还可以不断升级呼叫方式的级别，例如，从广播呼叫升级到即时通信点对点呼叫等。
本实施例中，服务端在向目标医务人员发起呼叫后，若目标医务人员在预设的时间间隔内没有响应该呼叫，则服务端按照预设的医务人员等级定义，重新获取高于当前的呼叫对象的等级的高级别呼叫对象，并根据该高级别呼叫对象确定新的目标医务人员，并向新的目标医务人员发起呼叫，以避免因呼叫失败影响对目标用户的医疗服务的及时性。
在一实施例中，在步骤S3之后，还可以对目标用户的情绪状态和体征状态进行实时记录和监控，具体包括如下步骤：
将目标用户的情绪状态和目标用户的体征状态发送到预设的医疗数据监控平台，以使医疗数据监控平台的监控用户进行实时查看。
具体地，将步骤S2得到的目标用户的情绪状态和步骤S3得到的目标用户的体征状态发送到预设的医疗数据监控平台，发送方式可以是实时发送，也可以是每隔预定的发送时间间隔定期发送。
医疗数据监控平台用于对病人的医疗数据进行保存和记录，并对异常的医疗数据进行及时报警。医疗数据监控平台为每个病人建立医疗档案，目标用户的情绪状态和体征状态以时间顺序保存在目标用户的医疗档案中。医疗数据监控平台的监控用户具体为医院的医务人员，监控用户通过医疗数据监控平台对病人的医疗数据进行实时查看或者定期检查，以便及时掌握病人的情况，从而为病人提供及时必要的医疗服务。
本实施例中，通过将目标用户的情绪状态和体征状态保存到预设的医疗数据监控平台中，使得医疗监控平台的监控用户能够进行实时查看和监督，以便及时掌握目标用户的情况，从而能够为目标用户提供及时必要的医疗服务，提高医疗监护的及时性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于微表情的呼叫装置，该基于微表情的呼叫装置与上述实施例中基于微表情的呼叫方法一一对应。如图6所示，该基于微表情的呼叫装置包括：数据获取模块61、情绪识别模块62、体征检测模块63、语音询问模块64、文本转换模块65、语义识别模块66和目标呼叫模块67。各功能模块详细说明如下：
数据获取模块61，用于接收客户端发送的采集数据，其中，采集数据包括目标用户的视频图像和体征指标数据；
情绪识别模块62，用于使用预设的微表情识别模型对视频图像进行面部情绪识别，得到目标用户的情绪状态；
体征检测模块63，用于使用预设的指标检测模型对体征指标数据进行检测，得到目标用户的体征状态；
语音询问模块64，用于若根据目标用户的情绪状态确定目标用户的情绪异常，或者根据目标用户的体征状态确定目标用户的体征异常，则向客户端发送预设的询问语音，以使客户端采集目标用户的答复语音；
文本转换模块65，用于接收客户端返回的答复语音，并使用预设的语音识别模型，对答复语音进行文本转换，得到答复语音对应的答复文本；
语义识别模块66，用于使用预设的语义识别模型对答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，其中，目标呼叫信息包括呼叫对象和呼叫方式；
目标呼叫模块67，用于根据呼叫对象确定目标医务人员，并按照呼叫方式呼叫目标医务人员。
进一步地，情绪识别模块62包括：
提取子模块621，用于按照预设的提取方式，从视频图像中提取出包含目标用户的人脸图像的帧图像，并将提取到的帧图像标记为待识别图像；
分析子模块622，用于将每个待识别图像输入预设的微表情识别模型，得到每个待识别图像在N个预设的微表情状态下的情绪概率，其中，N为正整数；
选取子模块623，用于从每个待识别图像的N个所述情绪概率中，选择取值最大的情绪概率对应的微表情状态作为每个待识别图像的目标微表情状态；
统计子模块624，用于统计每种目标微表情状态的出现次数，并从统计结果中将出现次数最多的目标微表情状态作为目标用户的情绪状态。
进一步地，语义识别模块66包括：
筛选子模块661，用于在预设的语义识别模型中，对答复文本进行关键字提取，得到答复文本包含的答复关键字；
匹配子模块662，用于将答复关键字与预设的呼叫信息数据库中的关键字进行匹配，将匹配成功的关键字作为目标关键字，其中，呼叫信息数据库中包含关键字与呼叫信息之间预设的对应关系；
获取子模块663，用于根据关键字与呼叫信息之间预设的对应关系，获取目标关键字对应的呼叫信息，并将获取到的呼叫信息作为目标呼叫信息。
进一步地，该基于微表情的呼叫装置还包括：
目标更新模块681，用于若在预设的时间间隔内没有接收到目标医务人员的呼叫响应，则按照预设的医务人员等级定义，获取高于呼叫对象的等级的高级别呼叫对象，并根据获取到的高级别呼叫对象确定新的目标医务人员；
重新呼叫模块682，用于按照呼叫方式重新呼叫新的目标医务人员。
进一步地，该基于微表情的呼叫装置还包括：
数据发送模块69，用于将目标用户的情绪状态和目标用户的体征状态发送到预设的医疗数据监控平台，以使医疗数据监控平台的监控用户进行实时查看。
关于基于微表情的呼叫装置的具体限定可以参见上文中对于基于微表情的呼叫方法的限定，在此不再赘述。上述基于微表情的呼叫装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于微表情的呼叫方法。
在一实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于微表情的呼叫方法的步骤，例如图2所示的步骤S1至步骤S7。或者，处理器执行计算机程序时实现上述实施例中基于微表情的呼叫装置的各模块/单元的功能，例如图6所示模块61至模块67的功能。为避免重复，此处不再赘述。
在一实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中基于微表情的呼叫方法，或者，该计算机程序被处理器执行时实现上述装置实施例中基于微表情的呼叫装置中各模块/单元的功能。为避免重复，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于微表情的呼叫方法，其特征在于，所述基于微表情的呼叫方法包括：
接收客户端发送的采集数据，其中，所述采集数据包括目标用户的视频图像和体征指标数据；
使用预设的微表情识别模型对所述视频图像进行面部情绪识别，得到所述目标用户的情绪状态；
使用预设的指标检测模型对所述体征指标数据进行检测，得到所述目标用户的体征状态；
若根据所述目标用户的情绪状态确定所述目标用户的情绪异常，或者根据所述目标用户的体征状态确定所述目标用户的体征异常，则向所述客户端发送预设的询问语音，以使所述客户端采集所述目标用户的答复语音；
接收所述客户端返回的所述答复语音，并使用预设的语音识别模型，对所述答复语音进行文本转换，得到所述答复语音对应的答复文本；
使用预设的语义识别模型对所述答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，其中，所述目标呼叫信息包括呼叫对象和呼叫方式；
根据所述呼叫对象确定目标医务人员，并按照所述呼叫方式呼叫所述目标医务人员。
2.如权利要求1所述的基于微表情的呼叫方法，其特征在于，所述使用预设的微表情识别模型对所述视频图像进行面部情绪识别，得到所述目标用户的情绪状态包括：
按照预设的提取方式，从所述视频图像中提取出包含所述目标用户的人脸图像的帧图像，并将提取到的所述帧图像标记为待识别图像；
将每个所述待识别图像输入所述预设的微表情识别模型，得到每个所述待识别图像在N个预设的微表情状态下的情绪概率，其中，N为正整数；
从每个所述待识别图像的N个所述情绪概率中，选择取值最大的所述情绪概率对应的微表情状态作为每个所述待识别图像的目标微表情状态；
统计每种所述目标微表情状态的出现次数，并从统计结果中将所述出现次数最多的所述目标微表情状态作为所述目标用户的情绪状态。
3.如权利要求1所述的基于微表情的呼叫方法，其特征在于，所述使用预设的语义识别模型对所述答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息包括：
在所述预设的语义识别模型中，对所述答复文本进行关键字提取，得到所述答复文本包含的答复关键字；
将所述答复关键字与预设的呼叫信息数据库中的关键字进行匹配，将匹配成功的所述关键字作为目标关键字，其中，所述呼叫信息数据库中包含所述关键字与呼叫信息之间预设的对应关系；
根据所述关键字与所述呼叫信息之间预设的对应关系，获取所述目标关键字对应的所述呼叫信息，并将获取到的所述呼叫信息作为所述目标呼叫信息。
4.如权利要求1所述的基于微表情的呼叫方法，其特征在于，在所述根据所述呼叫对象确定目标医务人员，并按照所述呼叫方式呼叫所述目标医务人员之后，所述基于微表情的呼叫方法还包括：
若在预设的时间间隔内没有接收到所述目标医务人员的呼叫响应，则按照预设的医务人员等级定义，获取高于所述呼叫对象的等级的高级别呼叫对象，并根据获取到的所述高级别呼叫对象确定新的目标医务人员；
按照所述呼叫方式重新呼叫所述新的目标医务人员。
5.如权利要求1至4任一项所述的基于微表情的呼叫方法，其特征在于，所述使用预设的指标检测模型对所述体征指标数据进行检测，得到所述目标用户的体征状态之后，所述基于微表情的呼叫方法还包括：
将所述目标用户的情绪状态和所述目标用户的体征状态发送到预设的医疗数据监控平台，以使所述医疗数据监控平台的监控用户进行实时查看。
6.一种基于微表情的呼叫装置，其特征在于，所述基于微表情的呼叫装置包括：
数据获取模块，用于接收客户端发送的采集数据，其中，所述采集数据包括目标用户的视频图像和体征指标数据；
情绪识别模块，用于使用预设的微表情识别模型对所述视频图像进行面部情绪识别，得到所述目标用户的情绪状态；
体征检测模块，用于使用预设的指标检测模型对所述体征指标数据进行检测，得到所述目标用户的体征状态；
语音询问模块，用于若根据所述目标用户的情绪状态确定所述目标用户的情绪异常，或者根据所述目标用户的体征状态确定所述目标用户的体征异常，则向所述客户端发送预设的询问语音，以使所述客户端采集所述目标用户的答复语音；
文本转换模块，用于接收所述客户端返回的所述答复语音，并使用预设的语音识别模型，对所述答复语音进行文本转换，得到所述答复语音对应的答复文本；
语义识别模块，用于使用预设的语义识别模型对所述答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，其中，所述目标呼叫信息包括呼叫对象和呼叫方式；
目标呼叫模块，用于根据所述呼叫对象确定目标医务人员，并按照所述呼叫方式呼叫所述目标医务人员。
7.如权利要求6所述的基于微表情的呼叫装置，其特征在于，所述情绪识别模块包括：
提取子模块，用于按照预设的提取方式，从所述视频图像中提取出包含所述目标用户的人脸图像的帧图像，并将提取到的所述帧图像标记为待识别图像；
分析子模块，用于将每个所述待识别图像输入所述预设的微表情识别模型，得到每个所述待识别图像在N个预设的微表情状态下的情绪概率，其中，N为正整数；
选取子模块，用于从每个所述待识别图像的N个所述情绪概率中，选择取值最大的所述情绪概率对应的微表情状态作为每个所述待识别图像的目标微表情状态；
统计子模块，用于统计每种所述目标微表情状态的出现次数，并从统计结果中将所述出现次数最多的所述目标微表情状态作为所述目标用户的情绪状态。
8.如权利要求6所述的基于微表情的呼叫装置，其特征在于，所述语义识别模块包括：
筛选子模块，用于在所述预设的语义识别模型中，对所述答复文本进行关键字提取，得到所述答复文本包含的答复关键字；
匹配子模块，用于将所述答复关键字与预设的呼叫信息数据库中的关键字进行匹配，将匹配成功的所述关键字作为目标关键字，其中，所述呼叫信息数据库中包含所述关键字与呼叫信息之间预设的对应关系；
获取子模块，用于根据所述关键字与所述呼叫信息之间预设的对应关系，获取所述目标关键字对应的所述呼叫信息，并将获取到的所述呼叫信息作为所述目标呼叫信息。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的基于微表情的呼叫方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于微表情的呼叫方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910203094.5A CN110047588A (zh) | 2019-03-18 | 2019-03-18 | 基于微表情的呼叫方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910203094.5A CN110047588A (zh) | 2019-03-18 | 2019-03-18 | 基于微表情的呼叫方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110047588A true CN110047588A (zh) | 2019-07-23 |
Family
ID=67273790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910203094.5A Pending CN110047588A (zh) | 2019-03-18 | 2019-03-18 | 基于微表情的呼叫方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110047588A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647812A (zh) * | 2019-08-19 | 2020-01-03 | 平安科技（深圳）有限公司 | 摔倒行为检测处理方法、装置、计算机设备及存储介质 |
| CN111402523A (zh) * | 2020-03-24 | 2020-07-10 | 宋钰堃 | 一种基于面部影像识别的医疗报警系统及方法 |
| CN111524328A (zh) * | 2020-04-30 | 2020-08-11 | 青岛大学附属医院 | 一种医用可移动式疼痛预警装置 |
| CN111539270A (zh) * | 2020-04-10 | 2020-08-14 | 贵州合谷信息科技有限公司 | 一种用于语音输入法的高识别率微表情识别方法 |
| CN111967307A (zh) * | 2020-07-02 | 2020-11-20 | 广东技术师范大学 | 目标异常处理方法、装置、计算机设备及存储介质 |
| CN112487980A (zh) * | 2020-11-30 | 2021-03-12 | 深圳市广信安科技股份有限公司 | 基于微表情治疗方法、装置、系统与计算机可读存储介质 |
| CN113298326A (zh) * | 2021-07-27 | 2021-08-24 | 成都西辰软件有限公司 | 智能化电子化事件监督方法、设备及存储介质 |
| CN113316041A (zh) * | 2020-02-27 | 2021-08-27 | 阿里巴巴集团控股有限公司 | 远程健康检测系统、方法、装置及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150351632A1 (en) * | 2014-06-06 | 2015-12-10 | Mindray Ds Usa, Inc. | Systems and methods for two-way communication for telemetry device |
| JP2016032501A (ja) * | 2014-07-31 | 2016-03-10 | 株式会社コンテック | 看護・介護支援装置および看護・介護支援方法 |
| WO2017144293A1 (en) * | 2016-02-25 | 2017-08-31 | Koninklijke Philips N.V. | Devices, system and methods for determining a priority level and/or conversation duration of a call |
| CN107705476A (zh) * | 2017-11-01 | 2018-02-16 | 灏圭孩 | 病房无噪音呼叫装置以及方法 |
| CN108391262A (zh) * | 2018-02-09 | 2018-08-10 | 上海京颐科技股份有限公司 | 紧急呼叫方法、装置、系统以及电子设备 |
| CN109008952A (zh) * | 2018-05-08 | 2018-12-18 | 深圳智慧林网络科技有限公司 | 基于深度学习的监护方法及相关产品 |
| CN109190487A (zh) * | 2018-08-07 | 2019-01-11 | 平安科技（深圳）有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
| CN109300537A (zh) * | 2018-09-17 | 2019-02-01 | 金碧地智能科技（珠海）有限公司 | 一种基于深度学习的独居老人异常表情识别及自动求助系统 |
-
2019
- 2019-03-18 CN CN201910203094.5A patent/CN110047588A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150351632A1 (en) * | 2014-06-06 | 2015-12-10 | Mindray Ds Usa, Inc. | Systems and methods for two-way communication for telemetry device |
| JP2016032501A (ja) * | 2014-07-31 | 2016-03-10 | 株式会社コンテック | 看護・介護支援装置および看護・介護支援方法 |
| WO2017144293A1 (en) * | 2016-02-25 | 2017-08-31 | Koninklijke Philips N.V. | Devices, system and methods for determining a priority level and/or conversation duration of a call |
| CN107705476A (zh) * | 2017-11-01 | 2018-02-16 | 灏圭孩 | 病房无噪音呼叫装置以及方法 |
| CN108391262A (zh) * | 2018-02-09 | 2018-08-10 | 上海京颐科技股份有限公司 | 紧急呼叫方法、装置、系统以及电子设备 |
| CN109008952A (zh) * | 2018-05-08 | 2018-12-18 | 深圳智慧林网络科技有限公司 | 基于深度学习的监护方法及相关产品 |
| CN109190487A (zh) * | 2018-08-07 | 2019-01-11 | 平安科技（深圳）有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
| CN109300537A (zh) * | 2018-09-17 | 2019-02-01 | 金碧地智能科技（珠海）有限公司 | 一种基于深度学习的独居老人异常表情识别及自动求助系统 |
Non-Patent Citations (2)
| Title |
|---|
| 包济民等: "远程健康管理物联网系统设计", 《中国医学装备》, no. 05, pages 52 - 54 * |
| 张宜浩等: "《基于半监督学习的个性化推荐算法研究》", 31 May 2016, 重庆大学出版社, pages: 30 - 36 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647812A (zh) * | 2019-08-19 | 2020-01-03 | 平安科技（深圳）有限公司 | 摔倒行为检测处理方法、装置、计算机设备及存储介质 |
| WO2021031384A1 (zh) * | 2019-08-19 | 2021-02-25 | 平安科技（深圳）有限公司 | 摔倒行为检测处理方法、装置、计算机设备及存储介质 |
| CN110647812B (zh) * | 2019-08-19 | 2023-09-19 | 平安科技（深圳）有限公司 | 摔倒行为检测处理方法、装置、计算机设备及存储介质 |
| CN113316041A (zh) * | 2020-02-27 | 2021-08-27 | 阿里巴巴集团控股有限公司 | 远程健康检测系统、方法、装置及设备 |
| CN111402523A (zh) * | 2020-03-24 | 2020-07-10 | 宋钰堃 | 一种基于面部影像识别的医疗报警系统及方法 |
| CN111539270A (zh) * | 2020-04-10 | 2020-08-14 | 贵州合谷信息科技有限公司 | 一种用于语音输入法的高识别率微表情识别方法 |
| CN111524328A (zh) * | 2020-04-30 | 2020-08-11 | 青岛大学附属医院 | 一种医用可移动式疼痛预警装置 |
| CN111967307A (zh) * | 2020-07-02 | 2020-11-20 | 广东技术师范大学 | 目标异常处理方法、装置、计算机设备及存储介质 |
| CN112487980A (zh) * | 2020-11-30 | 2021-03-12 | 深圳市广信安科技股份有限公司 | 基于微表情治疗方法、装置、系统与计算机可读存储介质 |
| CN113298326A (zh) * | 2021-07-27 | 2021-08-24 | 成都西辰软件有限公司 | 智能化电子化事件监督方法、设备及存储介质 |
| CN113298326B (zh) * | 2021-07-27 | 2021-10-26 | 成都西辰软件有限公司 | 智能化电子化事件监督方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110047588A (zh) | 基于微表情的呼叫方法、装置、计算机设备及存储介质 | |
| DE112020002531T5 (de) | Emotionsdetektion unter verwendung der sprechergrundlinie | |
| CN112256825A (zh) | 医疗领域多轮对话智能问答方法、装置和计算机设备 | |
| CN110148318A (zh) | 一种数字助教系统、信息交互方法和信息处理方法 | |
| CN109977202A (zh) | 一种智能客服系统及其控制方法 | |
| CN109960723A (zh) | 一种用于心理机器人的交互系统及方法 | |
| CN110265008A (zh) | 智能回访方法、装置、计算机设备及存储介质 | |
| WO2020190395A1 (en) | Providing emotion management assistance | |
| CN112307975A (zh) | 融合语音与微表情的多模态情感识别方法及系统 | |
| CN106815321A (zh) | 基于智能聊天机器人的聊天方法及装置 | |
| KR20200092166A (ko) | 감정을 인식하는 서버, 방법 및 컴퓨터 프로그램 | |
| CN110347811A (zh) | 一种基于人工智能的专业知识问答机器人系统 | |
| CN112256827A (zh) | 一种手语翻译方法、装置、计算机设备及存储介质 | |
| CN115050457A (zh) | 在线问诊服务质量的评估方法、装置、设备、介质及产品 | |
| CN111581338B (zh) | 一种农业技术服务机器人人机融合咨询问答方法及系统 | |
| CN116600053B (zh) | 一种基于ai大语言模型的客服系统 | |
| CN115271002B (zh) | 识别方法、急救决策方法、介质及生命健康智能监护系统 | |
| KR102380376B1 (ko) | 인공지능 콜을 이용한 음성 질의응답 기반의 치매 검사 방법 및 서버 | |
| CN115346690B (zh) | 引导接线员对求助者进行问话的系统 | |
| EP4093005A1 (en) | System method and apparatus for combining words and behaviors | |
| CN116344048A (zh) | 一种面向认知障碍患者照护的因果推理装置 | |
| CN116386604A (zh) | 基于用户情绪状态的自适应外呼对话策略配置方法及装置 | |
| CN113742687B (zh) | 一种基于人工智能的物联网控制方法及系统 | |
| CN112908362B (zh) | 基于采集机器人终端的系统、机器人终端、方法及介质 | |
| CN115204187A (zh) | 一种基于真人对话语料的话术流程挖掘辅助方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |