CN112634943A - 视频问诊的界面更新方法、装置、电子设备及存储介质 - Google Patents

视频问诊的界面更新方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112634943A
CN112634943A CN202011511541.2A CN202011511541A CN112634943A CN 112634943 A CN112634943 A CN 112634943A CN 202011511541 A CN202011511541 A CN 202011511541A CN 112634943 A CN112634943 A CN 112634943A
Authority
CN
China
Prior art keywords
emotion
patient
video
inquiry
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011511541.2A
Other languages
English (en)
Inventor
谢鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Saiante Technology Service Co Ltd
Original Assignee
Shenzhen Saiante Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Saiante Technology Service Co Ltd filed Critical Shenzhen Saiante Technology Service Co Ltd
Priority to CN202011511541.2A priority Critical patent/CN112634943A/zh
Publication of CN112634943A publication Critical patent/CN112634943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及数字医疗技术领域，提供一种视频问诊的界面更新方法、装置、电子设备及介质，所述方法包括：每隔预设周期获取患者的视频问诊中预设时长的音频数据；提取患者的多个第一语音特征向量及每个第一语音特征向量的情绪标签；将多个第一语音特征向量及每个第一语音特征向量的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别得到多个情绪值；根据多个情绪值及每个情绪值的情绪标识确定最终情绪标识；基于最终情绪标识更新视频问诊的界面颜色。本发明通过计算出音频数据中的患者的最终目标情绪标识及时更新视频问诊的界面颜色，患者根据界面颜色及时的调整情绪，提高了视频问诊的问诊效率。

Description

视频问诊的界面更新方法、装置、电子设备及存储介质
技术领域
本发明涉及数字医疗技术领域，具体涉及一种视频问诊的界面更新方法、装置、电子设备及存储介质。
背景技术
目前在线问诊主要包括图文问诊和视频问诊，其中，视频问诊是患者与医生通过视频进行问诊，在进行问诊过程中，患者在面对疾病的类型或者轻重程度时，都会表现出不同的情绪，而现有的视频问诊的过程中，患者无法感知自己的情绪，且医生也无法掌握患者的情绪，导致视频问诊的问诊效率低下，此外，现有的视频问诊的界面颜色单一，容易让患者产生压抑的感觉，导致患者的满意度低，进而影响视频问诊的问诊效率。
发明内容
鉴于以上内容，有必要提出一种视频问诊的界面更新方法、装置、电子设备及存储介质，通过计算出音频数据中的患者的最终目标情绪标识及时更新视频问诊的界面颜色，患者根据界面颜色及时的调整情绪，提高了视频问诊的问诊效率。
本发明的第一方面提供一种视频问诊的界面更新方法，所述方法包括：
每隔预设周期获取患者的视频问诊中预设时长的音频数据；
从所述音频数据中提取所述患者的多个第一语音特征向量及每个第一语音特征向量的情绪标签；
将所述多个第一语音特征向量及每个第一语音特征向量的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别得到所述患者的多个情绪值；
根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识；
基于所述患者的最终情绪标识更新所述视频问诊的界面颜色。
可选的，所述根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识包括：
计算获取患者的视频问诊中预设时长的音频数据的获取次数；
根据所述获取次数及多个情绪值计算得到每个情绪的情绪平均值；
根据所述每个情绪的情绪平均值得到每个情绪的情绪标识；
获取每个情绪的情绪标识的像素值；
计算所述每个情绪的情绪标识的像素值与对应的预设权重的乘积得到每个情绪的目标像素值；
计算多个所述目标像素值的平均值得到最终目标像素值，根据所述最终目标像素值得到所述患者的最终情绪标识。
可选的，所述从所述音频数据中提取所述患者的多个第一语音特征向量包括：
从所述音频数据中提取所述患者的多个第一语音片段；
对所述多个第一语音片段进行特征提取，得到多个第一语音特征向量。
可选的，所述第一情绪识别模型训练的过程包括：
获取多个历史视频问诊中的多个音频数据中的多个历史语音特征向量；
获取每个历史语音特征向量的情绪标签，及每个历史语音特征向量的情绪标签对应的情绪计算规则，作为样本数据集；
从所述样本数据集中划分出训练集和测试集；
将所述训练集输入预设神经网络中进行训练，得到第一情绪识别模型；
将所述测试集输入至所述第一情绪识别模型中进行测试，并计算测试通过率；
若所述测试通过率大于预设通过率阈值，确定所述第一情绪识别模型训练结束；若所述测试通过率小于预设通过率阈值，增加所述训练集的数量，重新进行第一情绪识别模型的训练。
可选的，在基于所述患者的最终情绪标识更新所述视频问诊的界面颜色之后，所述方法还包括：
记录所述视频问诊的界面颜色变化的频率；
将所述视频问诊的界面颜色变化的频率与预设的频率阈值进行比对；
当所述界面颜色变化的频率大于或者等于所述预设的频率阈值时，暂停所述视频问诊；
当所述界面颜色变化的频率小于所述预设的频率阈值时，保持所述视频问诊。
可选的，在暂停所述视频问诊之后，所述方法还包括：
解析所述视频问诊中的音频数据得到解析结果；
当解析结果为暂停所述视频问诊的原因为医生的原因时，向所述医生的终端发送告警信息，并保持视频问诊；
当解析结果为暂停所述视频问诊的原因为患者的原因时，向所述患者的终端发送终止所述视频问诊的建议。
可选的，所述解析所述视频问诊中的音频数据得到解析结果包括：
从所述视频问诊中的音频数据中提取医生的多个第二语音片段；
对所述多个第二语音片段进行特征提取，得到多个第二语音特征向量；
将所述多个第二语音特征向量及对应的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第二情绪识别模型中进行识别得到所述医生的多个情绪值；
计算所述多个情绪值的平均值作为所述医生的情绪值；
当确定所述医生的情绪值大于或者等于预设的情绪阈值时，确定所述解析结果为暂停所述视频问诊的原因为医生的原因；
当确定所述医生的情绪值小于所述预设的情绪阈值时，确定所述解析结果为暂停所述视频问诊的原因为患者的原因。
本发明的第二方面提供一种视频问诊的界面更新装置，所述装置包括：
获取模块，用于每隔预设周期获取患者的视频问诊中预设时长的音频数据；
提取模块，用于从所述音频数据中提取所述患者的多个第一语音特征向量及每个第一语音特征向量的情绪标签；
识别模块，用于将所述多个第一语音特征向量及每个第一语音特征向量的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别得到所述患者的多个情绪值；
确定模块，用于根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识；
更新模块，用于基于所述患者的最终情绪标识更新所述视频问诊的界面颜色。
本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的视频问诊的界面更新方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的视频问诊的界面更新方法。
综上所述，本发明所述的视频问诊的界面更新方法、装置、电子设备及介质，一方面，通过每隔预设周期获取患者的视频问诊中预设时长的音频数据，计算出所述音频数据中对应的患者的最终目标情绪标识，根据所述最终目标情绪标识及时更新所述视频问诊的界面颜色，所述患者可以根据所述界面颜色直观的看到自己情绪的变化，并做出及时的情绪调整，同时所述医生也可以根据患者的情绪及时的调整问诊策略，提高了视频问诊的问诊效率及患者的满意度；另一方面，通过对不同的情绪标签设置不同的情绪计算规则，并将每个语音特征向量的情绪标签，及每个情绪标签对应的情绪计算规则输入至第一情绪识别模型中进行识别得到情绪值，而不是单一得根据多个第一语音特征向量及对应得情绪标签直接识别得到情绪值，提高了识别得到情绪值的精确度；最后，通过获取所述多个情绪值及对应的情绪标识，根据所述多个情绪的情绪标识确定所述患者的最终情绪标识，而不是单一的直接根据多个情绪值直接确定所述患者的最终情绪，从多个维度进行考虑，提高了得到所述患者的最终情绪标识的准确率。
附图说明
图1是本发明实施例一提供的视频问诊的界面更新方法的流程图。
图2是本发明实施例二提供的视频问诊的界面更新装置的结构图。
图3是本发明实施例三提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例一
图1是本发明实施例一提供的视频问诊的界面更新方法的流程图。
在本实施例中，所述视频问诊的界面更新方法可以应用于电子设备中，对于需要进行视频问诊的界面更新的电子设备，可以直接在电子设备上集成本发明的方法所提供的视频问诊的界面更新的功能，或者以软件开发工具包(Software Development Kit，SKD)的形式运行在电子设备中。
如图1所示，所述视频问诊的界面更新方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11，每隔预设周期获取患者的视频问诊中预设时长的音频数据。
本实施例中，可以预先设置获取患者的视频问诊中预设时长的音频数据的周期，如可以设置为30秒，1分钟为一个获取周期。可以预先设置获取音频数据的时长，所述预设时长是根据对历史视频问诊进行设置的，在医生与患者的视频问诊过程中，控制摄像装置每隔预设周期获取一次视频问诊中的患者的音频数据，具体地，所述摄像装置可以为终端设备自带的，也可以为预先安装在终端设备中的。
S12，从所述音频数据中提取所述患者的多个第一语音特征向量及每个第一语音特征向量的情绪标签。
本实施例中，在医生与患者视频问诊过程中，识别所述音频流中的多个语音片段得到对应的多个第一语音特征向量及每个第一语音特征向量的情绪标签，其中，每个第一语音特征向量对应一个情绪标签，具体地，所述情绪标签可以包括：中性、快乐、悲伤、愤怒等，所述情绪标签可以代表患者当前的情绪。
可选地，所述从所述音频数据中提取所述患者的多个第一语音特征向量包括：
从所述音频数据中提取所述患者的多个第一语音片段；
对所述多个第一语音片段进行特征提取，得到多个第一语音特征向量。
本实施例中，可以提取所述音频数据中所述患者的多个第一语音片段，从每个第一语音片段中进行特征提取，得到所述患者的多个第一语音特性向量。
S13，将所述多个第一语音特征向量及每个第一语音特征向量的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别得到所述患者的多个情绪值。
本实施例中，可以预先训练第一情绪识别模型，在获取到所述患者的语音特性向量以后，将所述多个第一语音特征向量及对应的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别，获取所述第一情绪识别模型输出的多个情绪值。
具体地，所述第一情绪识别模型训练的过程包括：
21)获取多个历史视频问诊中的多个音频数据中的多个历史语音特征向量；
22)获取每个历史语音特征向量的情绪标签，及每个历史语音特征向量的情绪标签对应的情绪计算规则，作为样本数据集；
23)从所述样本数据集中划分出训练集和测试集；
24)将所述训练集输入预设神经网络中进行训练，得到第一情绪识别模型；
25)将所述测试集输入至所述第一情绪识别模型中进行测试，并计算测试通过率；
26)若所述测试通过率大于预设通过率阈值，确定所述第一情绪识别模型训练结束；若所述测试通过率小于预设通过率阈值，增加所述训练集的数量，重新进行第一情绪识别模型的训练。
本实施例中，根据不同的语音特征向量为每个情绪标签设置对应的情绪计算规则，例如，针对快乐的情绪标签设置的情绪计算规则为：语音特征向量的绝对值≥N，对应的快乐的情绪值为10；N-1≤语音特征向量的绝对值≤M，对应的快乐的情绪值为8，M-1≤语音特征向量的绝对值≤P，对应的快乐的情绪值为5，语音特征向量的绝对值≤P-1，对应的快乐的情绪值为0。
本实施例中，获取多个历史视频问诊及每个历史视频问诊中的多个音频数据，具体地，所述历史视频问诊可以为医疗机构上报的视频问诊，也可以为服务器从预设的多个数据源中获取得到的视频问诊，从所述多个历史视频问诊中提取多个历史语音特征向量中的多个音频数据中的多个历史语音特征向量，将每个语音特征向量的情绪标签，及每个情绪标签对应的情绪计算规则输入至第一情绪识别模型中，识别出每个语音特征向量对应的情绪值，并且在后续的预测过程中，将每个语音特征向量及对应的情绪标签作为新的数据，以增加所述数据集的数量，并基于新的数据集来重新训练第一情绪识别模型，及不断的更新第一情绪识别模型，从而不断的提高情绪识别率。
本实施例中，通过对不同的情绪标签设置不同的情绪计算规则，并将每个语音特征向量的情绪标签，及每个情绪标签对应的情绪计算规则输入至第一情绪识别模型中进行识别得到情绪值，而不是单一的根据多个第一语音特征向量及对应的情绪标签直接识别得到情绪值，提高了识别得到情绪值的精确度。
S14，根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识。
本实施例中，所述情绪标识用以唯一识别所述患者的情绪情况，不同的情绪值对应不同的情绪标识，具体地，所述情绪标识可以包括：蓝色、橙色、黑色、红色等。
可选地，所述根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识包括：
计算获取患者的视频问诊中预设时长的音频数据的获取次数；
根据所述获取次数及多个情绪值计算得到每个情绪的情绪平均值；
根据所述每个情绪的情绪平均值得到每个情绪的情绪标识；
获取每个情绪的情绪标识的像素值；
计算所述每个情绪的情绪标识的像素值与对应的预设权重的乘积得到每个情绪的目标像素值；
计算多个所述目标像素值的平均值得到最终目标像素值，根据所述最终目标像素值得到所述患者的最终情绪标识。
示例性的，假设在5分钟的视频问诊过程中，每隔30S获取一次患者的语音数据，则通过语音第一情绪识别模型可以输出10个情绪值，所述10个情绪值中包含3个快乐的情绪值，7个悲伤的情绪值。累加3个快乐的情绪值后除以10得到快乐情绪的情绪平均值，根据快乐情绪的情绪平均值得到快乐情绪的情绪标识：蓝色，累加7个悲伤的情绪值后除以10得到悲伤情绪的情绪平均值，根据悲伤情绪的情绪平均值得到悲伤情绪的情绪标识：黑色。
在其他实施例中，所述情绪标识还可以设置为不同的人脸表情，或者所述情绪标识还可以设置为其他可以标识情绪的其他标识，可以根据不同的情况进行不同的设置，本发明在此不做限制。
本实施例中，所述最终情绪标识用以标识所述患者在所述预设时长的音频数据中的最终情绪，通过根据每个情绪的情绪标识的像素值，并将每个情绪对应的像素值与对应的预设权重进行了乘积后，再对多个情绪的多个目标像素值进行累加后求平均值得到最终目标像素值，再根据最终目标像素值匹配得到所述患者的最终情绪标识，而不是单一的直接根据多个情绪值直接确定所述患者的最终情绪，从多个维度进行考虑，提高了得到所述患者的最终情绪标识的准确率。
S15，基于所述患者的最终情绪标识更新所述视频问诊的界面颜色。
本实施例中，所述视频问诊的界面颜色是根据所述患者的最终情绪标识进行实时更新的，所述视频问诊的界面颜色代表了所述患者再问诊过程中的情绪。
本实施例中，通过每隔预设周期获取患者的视频问诊中预设时长的音频数据，计算出所述音频数据中对应的患者的最终目标情绪标识，根据所述最终目标情绪标识及时更新所述视频问诊的界面颜色，所述患者可以根据所述界面颜色直观的看到自己情绪的变化，并做出及时的情绪调整，同时所述医生也可以根据患者的情绪及时的调整问诊策略，提高了视频问诊的问诊效率及患者的满意度。
进一步地，在基于所述患者的最终情绪标识更新所述视频问诊的界面颜色之后，所述方法还包括：
记录所述视频问诊的界面颜色变化的频率；
将所述视频问诊的界面颜色变化的频率与预设的频率阈值进行比对；
当所述界面颜色变化的频率大于或者等于所述预设的频率阈值时，暂停所述视频问诊；
当所述界面颜色变化的频率小于所述预设的频率阈值时，保持所述视频问诊。
本实施例中，可以预先设置界面颜色变化的频率阈值，当所述界面颜色变化的频率大于或者等于所述预设的频率阈值时，确定所述患者的情绪很不稳定，需要暂停所述视频问诊，便于患者调整情绪，提高了视频问诊的体验度及满意度。
进一步地，在暂停所述视频问诊之后，所述方法还包括：
解析所述视频问诊中的音频数据得到解析结果；
当解析结果为暂停所述视频问诊的原因为医生的原因时，向所述医生的终端发送告警信息，并保持视频问诊；
当解析结果为暂停所述视频问诊的原因为患者的原因时，向所述患者的终端发送终止所述视频问诊的建议。
本实施例中，当确定暂停所述视频问诊的原因为医生的原因时，向所述医生的终端发送告警信息，及时的提醒医生控制情绪，并保持视频问诊，提高了视频问诊的问诊效率；当解析结果为暂停所述视频问诊的原因为患者的原因时，向所述患者的终端发送终止所述视频问诊的建议，患者可以根据自己当前的情绪决定是否终止所述视频问诊，提高了患者的满意度，同时提高了视频问诊的问诊效率。
进一步的，所述解析所述视频问诊中的音频数据得到解析结果包括：
从所述视频问诊中的音频数据中提取医生的多个第二语音片段；
对所述多个第二语音片段进行特征提取，得到多个第二语音特征向量；
将所述多个第二语音特征向量及对应的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第二情绪识别模型中进行识别得到所述医生的多个情绪值；
计算所述多个情绪值的平均值作为所述医生的情绪值；
当确定所述医生的情绪值大于或者等于预设的情绪阈值时，确定所述解析结果为暂停所述视频问诊的原因为医生的原因；
当确定所述医生的情绪值小于所述预设的情绪阈值时，确定所述解析结果为暂停所述视频问诊的原因为患者的原因。
本实施例中，由于所述视频问诊属于交互过程，即存在医生的语音片段，又存在患者的语音片段，根据不同的场景提取不同交互方的语音片段，当需要对医生的情绪解析分析时，提取所述医生的多个第二语音片段，并根据所述医生的多个语音片段进行第二语音特征向量的提取，将提取到的多个第二语音特征向量及对应的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第二情绪识别模型中进行识别得到所述医生的多个情绪值，其中，所述第二情绪识别模型的训练过程同第一情绪识别模型的训练过程，通过计算所述第二情绪识别模型输出的多个情绪值的平均值作为所述医生的情绪值，可以快速的确定出所述医生的情绪，并判断所述医生的情绪是否超过预设的情绪阈值，根据判断结果确定暂停所述视频问诊的原因，提高了确定暂停所述视频问诊的原因的效率，进而提高了视频问诊的问诊效率。
综上所述，本实施例所述的视频问诊的界面更新方法，通过每隔预设周期获取患者的视频问诊中预设时长的音频数据；从所述音频数据中提取所述患者的多个第一语音特征向量及每个第一语音特征向量的情绪标签；将所述多个第一语音特征向量及每个第一语音特征向量的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别得到所述患者的多个情绪值；根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识；基于所述患者的最终情绪标识更新所述视频问诊的界面颜色。
本实施例，一方面，通过每隔预设周期获取患者的视频问诊中预设时长的音频数据，计算出所述音频数据中对应的患者的最终目标情绪标识，根据所述最终目标情绪标识及时更新所述视频问诊的界面颜色，所述患者可以根据所述界面颜色直观的看到自己情绪的变化，并做出及时的情绪调整，同时所述医生也可以根据患者的情绪及时的调整问诊策略，提高了视频问诊的问诊效率及患者的满意度；另一方面，通过对不同的情绪标签设置不同的情绪计算规则，并将每个语音特征向量的情绪标签，及每个情绪标签对应的情绪计算规则输入至第一情绪识别模型中进行识别得到情绪值，而不是单一的根据多个第一语音特征向量及对应的情绪标签直接识别得到情绪值，提高了识别得到情绪值的精确度；此外，通过获取所述多个情绪值及对应的情绪标识，根据所述多个情绪的情绪标识确定所述患者的最终情绪标识，而不是单一的直接根据多个情绪值直接确定所述患者的最终情绪，从多个维度进行考虑，提高了得到所述患者的最终情绪标识的准确率。
实施例二
图2是本发明实施例二提供的视频问诊的界面更新装置的结构图。
在一些实施例中，所述视频问诊的界面更新装置20可以包括多个由程序代码段所组成的功能模块。所述视频问诊的界面更新装置20中的各个程序段的程序代码可以存储于电子设备的存储器中，并由所述至少一个处理器所执行，以执行(详见图1描述)视频问诊的界面更新。
本实施例中，所述视频问诊的界面更新装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块201、提取模块202、识别模块203、确定模块204、更新模块205、比对模块206及解析模块207。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
获取模块201，用于每隔预设周期获取患者的视频问诊中预设时长的音频数据。
本实施例中，获取周期可以预先设置获取患者的视频问诊中预设时长的音频数据的周期，如可以设置为30秒，1分钟为一个获取周期。可以预先设置获取音频数据的时长，所述预设时长是根据对历史视频问诊进行设置的，在医生与患者的视频问诊过程中，控制摄像装置每隔预设周期获取一次视频问诊中的患者的音频数据，具体地，所述摄像装置可以为终端设备自带的，也可以为预先安装在终端设备中的。
提取模块202，用于从所述音频数据中提取所述患者的多个第一语音特征向量及每个第一语音特征向量的情绪标签。
本实施例中，在医生与患者视频问诊过程中，识别所述音频流中的多个语音片段得到对应的多个第一语音特征向量及每个第一语音特征向量的情绪标签，其中，每个第一语音特征向量对应一个情绪标签，具体地，所述情绪标签可以包括：中性、快乐、悲伤、愤怒等，所述情绪标签可以代表患者当前的情绪。
可选地，所述提取模块202从所述音频数据中提取所述患者的多个第一语音特征向量包括：
从所述音频数据中提取所述患者的多个第一语音片段；
对所述多个第一语音片段进行特征提取，得到多个第一语音特征向量。
本实施例中，可以提取所述音频数据中所述患者的多个第一语音片段，从每个第一语音片段中进行特征提取，得到所述患者的多个第一语音特性向量。
识别模块203，用于将所述多个第一语音特征向量及每个第一语音特征向量的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别得到所述患者的多个情绪值。
本实施例中，可以预先训练第一情绪识别模型，在获取到所述患者的语音特性向量以后，将所述多个第一语音特征向量及对应的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别，获取所述第一情绪识别模型输出的多个情绪值。
具体地，所述第一情绪识别模型训练的过程包括：
21)获取多个历史视频问诊中的多个音频数据中的多个历史语音特征向量；
22)获取每个历史语音特征向量的情绪标签，及每个历史语音特征向量的情绪标签对应的情绪计算规则，作为样本数据集；
23)从所述样本数据集中划分出训练集和测试集；
24)将所述训练集输入预设神经网络中进行训练，得到第一情绪识别模型；
25)将所述测试集输入至所述第一情绪识别模型中进行测试，并计算测试通过率；
26)若所述测试通过率大于预设通过率阈值，确定所述第一情绪识别模型训练结束；若所述测试通过率小于预设通过率阈值，增加所述训练集的数量，重新进行第一情绪识别模型的训练。
本实施例中，根据不同的语音特征向量为每个情绪标签设置对应的情绪计算规则，例如，针对快乐的情绪标签设置的情绪计算规则为：语音特征向量的绝对值≥N，对应的快乐的情绪值为10；N-1≤语音特征向量的绝对值≤M，对应的快乐的情绪值为8，M-1≤语音特征向量的绝对值≤P，对应的快乐的情绪值为5，语音特征向量的绝对值≤P-1，对应的快乐的情绪值为0。
本实施例中，获取多个历史视频问诊及每个历史视频问诊中的多个音频数据，具体地，所述历史视频问诊可以为医疗机构上报的视频问诊，也可以为服务器从预设的多个数据源中获取得到的视频问诊，从所述多个历史视频问诊中提取多个历史语音特征向量中的多个音频数据中的多个历史语音特征向量，将每个语音特征向量的情绪标签，及每个情绪标签对应的情绪计算规则输入至第一情绪识别模型中，识别出每个语音特征向量对应的情绪值，并且在后续的预测过程中，将每个语音特征向量及对应的情绪标签作为新的数据，以增加所述数据集的数量，并基于新的数据集来重新训练第一情绪识别模型，及不断的更新第一情绪识别模型，从而不断的提高情绪识别率。
本实施例中，通过对不同的情绪标签设置不同的情绪计算规则，并将每个语音特征向量的情绪标签，及每个情绪标签对应的情绪计算规则输入至第一情绪识别模型中进行识别得到情绪值，而不是单一的根据多个第一语音特征向量及对应的情绪标签直接识别得到情绪值，提高了识别得到情绪值的精确度。
确定模块204，用于根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识。
本实施例中，所述情绪标识用以唯一识别所述患者的情绪情况，不同的情绪值对应不同的情绪标识，具体地，所述情绪标识可以包括：蓝色、橙色、黑色、红色等。
可选地，所述确定模块204根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识包括：
计算获取患者的视频问诊中预设时长的音频数据的获取次数；
根据所述获取次数及多个情绪值计算得到每个情绪的情绪平均值；
根据所述每个情绪的情绪平均值得到每个情绪的情绪标识；
获取每个情绪的情绪标识的像素值；
计算所述每个情绪的情绪标识的像素值与对应的预设权重的乘积得到每个情绪的目标像素值；
计算多个所述目标像素值的平均值得到最终目标像素值，根据所述最终目标像素值得到所述患者的最终情绪标识。
示例性的，假设在5分钟的视频问诊过程中，每隔30S获取一次患者的语音数据，则通过语音第一情绪识别模型可以输出10个情绪值，所述10个情绪值中包含3个快乐的情绪值，7个悲伤的情绪值。累加3个快乐的情绪值后除以10得到快乐情绪的情绪平均值，根据快乐情绪的情绪平均值得到快乐情绪的情绪标识：蓝色，累加7个悲伤的情绪值后除以10得到悲伤情绪的情绪平均值，根据悲伤情绪的情绪平均值得到悲伤情绪的情绪标识：黑色。
在其他实施例中，所述情绪标识还可以设置为不同的人脸表情，或者所述情绪标识还可以设置为其他可以标识情绪的其他标识，可以根据不同的情况进行不同的设置，本发明在此不做限制。
本实施例中，所述最终情绪标识用以标识所述患者在所述预设时长的音频数据中的最终情绪，通过根据每个情绪的情绪标识的像素值，并将每个情绪对应的像素值与对应的预设权重进行了乘积后，再对多个情绪的多个目标像素值进行累加后求平均值得到最终目标像素值，再根据最终目标像素值匹配得到所述患者的最终情绪标识，而不是单一的直接根据多个情绪值直接确定所述患者的最终情绪，从多个维度进行考虑，提高了得到所述患者的最终情绪标识的准确率。
更新模块205，用于基于所述患者的最终情绪标识更新所述视频问诊的界面颜色。
本实施例中，所述视频问诊的界面颜色是根据所述患者的最终情绪标识进行实时更新的，所述视频问诊的界面颜色代表了所述患者再问诊过程中的情绪。
本实施例中，通过每隔预设周期获取患者的视频问诊中预设时长的音频数据，计算出所述音频数据中对应的患者的最终目标情绪标识，根据所述最终目标情绪标识及时更新所述视频问诊的界面颜色，所述患者可以根据所述界面颜色直观的看到自己情绪的变化，并做出及时的情绪调整，同时所述医生也可以根据患者的情绪及时的调整问诊策略，提高了视频问诊的问诊效率及患者的满意度。
进一步地，所述更新模块205在基于所述患者的最终情绪标识更新所述视频问诊的界面颜色之后，记录所述视频问诊的界面颜色变化的频率。
比对模块206，用于将所述视频问诊的界面颜色变化的频率与预设的频率阈值进行比对；当所述界面颜色变化的频率大于或者等于所述预设的频率阈值时，暂停所述视频问诊；当所述界面颜色变化的频率小于所述预设的频率阈值时，保持所述视频问诊。
本实施例中，可以预先设置界面颜色变化的频率阈值，当所述界面颜色变化的频率大于或者等于所述预设的频率阈值时，确定所述患者的情绪很不稳定，需要暂停所述视频问诊，便于患者调整情绪，提高了视频问诊的体验度及满意度。
进一步地，在暂停所述视频问诊之后，解析模块207，用于解析所述视频问诊中的音频数据得到解析结果；当解析结果为暂停所述视频问诊的原因为医生的原因时，向所述医生的终端发送告警信息，并保持视频问诊；当解析结果为暂停所述视频问诊的原因为患者的原因时，向所述患者的终端发送终止所述视频问诊的建议。
保持本实施例中，当确定暂停所述视频问诊的原因为医生的原因时，向所述医生的终端发送告警信息，及时的提醒医生控制情绪，并保持视频问诊，提高了视频问诊的问诊效率；当解析结果为暂停所述视频问诊的原因为患者的原因时，向所述患者的终端发送终止所述视频问诊的建议，患者可以根据自己当前的情绪决定是否终止所述视频问诊，提高了患者的满意度，同时提高了视频问诊的问诊效率。
进一步的，所述解析所述视频问诊中的音频数据得到解析结果包括：
从所述视频问诊中的音频数据中提取医生的多个第二语音片段；
对所述多个第二语音片段进行特征提取，得到多个第二语音特征向量；
将所述多个第二语音特征向量及对应的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第二情绪识别模型中进行识别得到所述医生的多个情绪值；
计算所述多个情绪值的平均值作为所述医生的情绪值；
当确定所述医生的情绪值大于或者等于预设的情绪阈值时，确定所述解析结果为暂停所述视频问诊的原因为医生的原因；
当确定所述医生的情绪值小于所述预设的情绪阈值时，确定所述解析结果为暂停所述视频问诊的原因为患者的原因。
本实施例中，由于所述视频问诊属于交互过程，即存在医生的语音片段，又存在患者的语音片段，根据不同的场景提取不同交互方的语音片段，当需要对医生的情绪解析分析时，提取所述医生的多个第二语音片段，并根据所述医生的多个语音片段进行第二语音特征向量的提取，将提取到的多个第二语音特征向量及对应的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第二情绪识别模型中进行识别得到所述医生的多个情绪值，其中，所述第二情绪识别模型的训练过程同第一情绪识别模型的训练过程，通过计算所述第二情绪识别模型输出的多个情绪值的平均值作为所述医生的情绪值，可以快速的确定出所述医生的情绪，并判断所述医生的情绪是否超过预设的情绪阈值，根据判断结果确定暂停所述视频问诊的原因，提高了确定暂停所述视频问诊的原因的效率，进而提高了视频问诊的问诊效率。
综上所述，本实施例所述的视频问诊的界面更新装置，通过每隔预设周期获取患者的视频问诊中预设时长的音频数据；从所述音频数据中提取所述患者的多个第一语音特征向量及每个第一语音特征向量的情绪标签；将所述多个第一语音特征向量及每个第一语音特征向量的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别得到所述患者的多个情绪值；根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识；基于所述患者的最终情绪标识更新所述视频问诊的界面颜色。
本实施例，一方面，通过每隔预设周期获取患者的视频问诊中预设时长的音频数据，计算出所述音频数据中对应的患者的最终目标情绪标识，根据所述最终目标情绪标识及时更新所述视频问诊的界面颜色，所述患者可以根据所述界面颜色直观的看到自己情绪的变化，并做出及时的情绪调整，同时所述医生也可以根据患者的情绪及时的调整问诊策略，提高了视频问诊的问诊效率及患者的满意度；另一方面，通过对不同的情绪标签设置不同的情绪计算规则，并将每个语音特征向量的情绪标签，及每个情绪标签对应的情绪计算规则输入至第一情绪识别模型中进行识别得到情绪值，而不是单一的根据多个第一语音特征向量及对应的情绪标签直接识别得到情绪值，提高了识别得到情绪值的精确度；此外，通过获取所述多个情绪值及对应的情绪标识，根据所述多个情绪的情绪标识确定所述患者的最终情绪标识，而不是单一的直接根据多个情绪值直接确定所述患者的最终情绪，从多个维度进行考虑，提高了得到所述患者的最终情绪标识的准确率。
实施例三
参阅图3所示，为本发明实施例三提供的电子设备的结构示意图。在本发明较佳实施例中，所述电子设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解，图3示出的电子设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述电子设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述电子设备3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31用于存储程序代码和各种数据，例如安装在所述电子设备3中的视频问诊的界面更新装置20，并在电子设备3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述电子设备3的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行电子设备3的各种功能和处理数据。
在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出，所述电子设备3还可以包括给各个部件供电的电源(比如电池)，可选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。
在进一步的实施例中，结合图2，所述至少一个处理器32可执行所述电子设备3的操作装置以及安装的各类应用程序(如所述的视频问诊的界面更新装置20)、程序代码等，例如，上述的各个模块。
所述存储器31中存储有程序代码，且所述至少一个处理器32可调用所述存储器31中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器31中的程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以达到视频问诊的界面更新的目的。
在本发明的一个实施例中，所述存储器31存储多个指令，所述多个指令被所述至少一个处理器32所执行以实现视频问诊的界面更新的功能。
具体地，所述至少一个处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。本发明中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种视频问诊的界面更新方法，其特征在于，所述方法包括：
每隔预设周期获取患者的视频问诊中预设时长的音频数据；
从所述音频数据中提取所述患者的多个第一语音特征向量及每个第一语音特征向量的情绪标签；
将所述多个第一语音特征向量及每个第一语音特征向量的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别得到所述患者的多个情绪值；
根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识；
基于所述患者的最终情绪标识更新所述视频问诊的界面颜色。
2.如权利要求1所述的视频问诊的界面更新方法，其特征在于，所述根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识包括：
计算获取患者的视频问诊中预设时长的音频数据的获取次数；
根据所述获取次数及多个情绪值计算得到每个情绪的情绪平均值；
根据所述每个情绪的情绪平均值得到每个情绪的情绪标识；
获取每个情绪的情绪标识的像素值；
计算所述每个情绪的情绪标识的像素值与对应的预设权重的乘积得到每个情绪的目标像素值；
计算多个所述目标像素值的平均值得到最终目标像素值，根据所述最终目标像素值得到所述患者的最终情绪标识。
3.如权利要求1所述的视频问诊的界面更新方法，其特征在于，所述从所述音频数据中提取所述患者的多个第一语音特征向量包括：
从所述音频数据中提取所述患者的多个第一语音片段；
对所述多个第一语音片段进行特征提取，得到多个第一语音特征向量。
4.如权利要求1所述的视频问诊的界面更新方法，其特征在于，所述第一情绪识别模型训练的过程包括：
获取多个历史视频问诊中的多个音频数据中的多个历史语音特征向量；
获取每个历史语音特征向量的情绪标签，及每个历史语音特征向量的情绪标签对应的情绪计算规则，作为样本数据集；
从所述样本数据集中划分出训练集和测试集；
将所述训练集输入预设神经网络中进行训练，得到第一情绪识别模型；
将所述测试集输入至所述第一情绪识别模型中进行测试，并计算测试通过率；
若所述测试通过率大于预设通过率阈值，确定所述第一情绪识别模型训练结束；若所述测试通过率小于预设通过率阈值，增加所述训练集的数量，重新进行第一情绪识别模型的训练。
5.如权利要求1所述的视频问诊的界面更新方法，其特征在于，在基于所述患者的最终情绪标识更新所述视频问诊的界面颜色之后，所述方法还包括：
记录所述视频问诊的界面颜色变化的频率；
将所述视频问诊的界面颜色变化的频率与预设的频率阈值进行比对；
当所述界面颜色变化的频率大于或者等于所述预设的频率阈值时，暂停所述视频问诊；
当所述界面颜色变化的频率小于所述预设的频率阈值时，保持所述视频问诊。
6.如权利要求5所述的视频问诊的界面更新方法，其特征在于，在暂停所述视频问诊之后，所述方法还包括：
解析所述视频问诊中的音频数据得到解析结果；
当解析结果为暂停所述视频问诊的原因为医生的原因时，向所述医生的终端发送告警信息，并保持视频问诊；
当解析结果为暂停所述视频问诊的原因为患者的原因时，向所述患者的终端发送终止所述视频问诊的建议。
7.如权利要求6所述的视频问诊的界面更新方法，其特征在于，所述解析所述视频问诊中的音频数据得到解析结果包括：
从所述视频问诊中的音频数据中提取医生的多个第二语音片段；
对所述多个第二语音片段进行特征提取，得到多个第二语音特征向量；
将所述多个第二语音特征向量及对应的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第二情绪识别模型中进行识别得到所述医生的多个情绪值；
计算所述多个情绪值的平均值作为所述医生的情绪值；
当确定所述医生的情绪值大于或者等于预设的情绪阈值时，确定所述解析结果为暂停所述视频问诊的原因为医生的原因；
当确定所述医生的情绪值小于所述预设的情绪阈值时，确定所述解析结果为暂停所述视频问诊的原因为患者的原因。
8.一种视频问诊的界面更新装置，其特征在于，所述装置包括：
获取模块，用于每隔预设周期获取患者的视频问诊中预设时长的音频数据；
提取模块，用于从所述音频数据中提取所述患者的多个第一语音特征向量及每个第一语音特征向量的情绪标签；
识别模块，用于将所述多个第一语音特征向量及每个第一语音特征向量的情绪标签和每个情绪标签携带的情绪计算规则输入至预设的第一情绪识别模型中进行识别得到所述患者的多个情绪值；
确定模块，用于根据所述患者的多个情绪值及每个情绪值的情绪标识确定所述患者的最终情绪标识；
更新模块，用于基于所述患者的最终情绪标识更新所述视频问诊的界面颜色。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的视频问诊的界面更新方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的视频问诊的界面更新方法。
CN202011511541.2A 2020-12-18 2020-12-18 视频问诊的界面更新方法、装置、电子设备及存储介质 Pending CN112634943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011511541.2A CN112634943A (zh) 2020-12-18 2020-12-18 视频问诊的界面更新方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011511541.2A CN112634943A (zh) 2020-12-18 2020-12-18 视频问诊的界面更新方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112634943A true CN112634943A (zh) 2021-04-09

Family

ID=75318151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011511541.2A Pending CN112634943A (zh) 2020-12-18 2020-12-18 视频问诊的界面更新方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112634943A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649933A (zh) * 2023-11-28 2024-03-05 广州方舟信息科技有限公司 在线问诊辅助方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649933A (zh) * 2023-11-28 2024-03-05 广州方舟信息科技有限公司 在线问诊辅助方法、装置、电子设备和存储介质
CN117649933B (zh) * 2023-11-28 2024-05-28 广州方舟信息科技有限公司 在线问诊辅助方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111783439B (zh) 人机交互对话处理方法、装置、计算机设备及存储介质
CN110414370B (zh) 人脸脸型识别方法、装置、电子设备及存储介质
CN111814775B (zh) 目标对象异常行为识别方法、装置、终端及存储介质
CN114007131A (zh) 视频监控方法、装置及相关设备
CN105095415A (zh) 网络情绪的确定方法和装置
CN113409823B (zh) 语音情绪识别方法、装置、电子设备及存储介质
CN111695594A (zh) 图像类别识别方法、装置、计算机设备及介质
CN114663223A (zh) 基于人工智能的信用风险评估方法、装置及相关设备
CN113190372B (zh) 多源数据的故障处理方法、装置、电子设备及存储介质
CN111797756A (zh) 基于人工智能的视频分析方法、设备及介质
CN114359970A (zh) 行人重识别方法、装置、电子设备及存储介质
CN113807515A (zh) 模型训练的方法、装置、计算机设备及存储介质
CN112634943A (zh) 视频问诊的界面更新方法、装置、电子设备及存储介质
CN112053205A (zh) 通过机器人情绪识别的产品推荐方法及装置
CN113707157A (zh) 基于声纹识别的身份验证方法、装置、电子设备及介质
CN113435353A (zh) 基于多模态的活体检测方法、装置、电子设备及存储介质
CN114245204B (zh) 基于人工智能的视频面签方法、装置、电子设备及介质
CN113470679B (zh) 基于无监督学习的语音唤醒方法、装置、电子设备及介质
CN115658858A (zh) 基于人工智能的对话推荐方法及相关设备
CN110459296A (zh) 信息推送方法及相关产品
CN114925674A (zh) 文件合规性检查方法、装置、电子设备及存储介质
CN114968336A (zh) 应用灰度发布方法、装置、计算机设备及存储介质
CN114998782A (zh) 面审视频的场景分类方法、装置、电子设备及存储介质
CN113987351A (zh) 基于人工智能的智能推荐方法、装置、电子设备及介质
CN113674065A (zh) 基于服务触点的业务推荐方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination