CN115271002B - 识别方法、急救决策方法、介质及生命健康智能监护系统 - Google Patents

识别方法、急救决策方法、介质及生命健康智能监护系统 Download PDF

Info

Publication number
CN115271002B
CN115271002B CN202211194709.0A CN202211194709A CN115271002B CN 115271002 B CN115271002 B CN 115271002B CN 202211194709 A CN202211194709 A CN 202211194709A CN 115271002 B CN115271002 B CN 115271002B
Authority
CN
China
Prior art keywords
data
recognition result
feature map
emotion
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211194709.0A
Other languages
English (en)
Other versions
CN115271002A (zh
Inventor
汪承研
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Mechanical and Electrical College
Original Assignee
Guangdong Mechanical and Electrical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Mechanical and Electrical College filed Critical Guangdong Mechanical and Electrical College
Priority to CN202211194709.0A priority Critical patent/CN115271002B/zh
Publication of CN115271002A publication Critical patent/CN115271002A/zh
Application granted granted Critical
Publication of CN115271002B publication Critical patent/CN115271002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Cardiology (AREA)
  • Data Mining & Analysis (AREA)
  • Child & Adolescent Psychology (AREA)
  • Mathematical Physics (AREA)
  • Hospice & Palliative Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Educational Technology (AREA)

Abstract

本发明公开了一种识别方法、急救决策方法、介质及生命健康智能监护系统，所述识别方法包括：获取目标人员的脸部表情数据、动作行为数据、语调数据和语音数据；对所述语音数据进行解释，得到语义数据；将所述脸部表情数据、所述动作行为数据、所述语调数据和所述语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果。本发明通过采集语调、语音、动作行为等数据，并运用人工智能自然语言、深度学习算法处理，创造性地解决了目标人员的情感难以感知和异常行为难以实时识别的问题，为生命与健康监护提供了极其重要的数据。

Description

识别方法、急救决策方法、介质及生命健康智能监护系统
技术领域
本发明涉及一种识别方法、急救决策方法、介质及生命健康智能监护系统，属于智能识别与监护领域。
背景技术
针对独居者生活场景，包括家庭、养老院和医院，现有的服务机器人、穿戴设备、家用心率/血压计、医疗级监护设备等，均存在功能单一、场景受限、智能化程度不高等缺点，具体地，主要存在以下三点不足：
（1）独居者的情绪问题难以感知。独居者的生活痛点之一是情绪问题，主要是孤独感，同时他们年龄比较大，两个因素叠加，容易形成各种潜在疾病和风险；目前的设备和方法，由于数据单一或者感知数据不全面，导致不能进行情感感知和异常行为的实时识别。因此，也无法提供相应的预防功能。
（2）生命与健康监护准确性不足。不管是紧急情况还是潜在风险，及时发现非常重要，例如：独居者在家跌倒了，呼吸心率正常，但是说不了话，也不能动，此时穿戴手表并不能发现上述问题，也无法向外界呼救。因此，此类问题需要一个多维的数据来研判，并采用自动的通信系统来解决。
（3）现场监护能力不足。现有的设备仅仅提供被动监测功能，无法主动提供生命救护支持，包括自动连接急救系统，自动靠近并提供药箱功能等。
发明内容
有鉴于此，本发明提供了一种情感要素与动作行为识别方法、装置、计算机设备、存储介质，以及急救决策方法、装置、计算机设备、存储介质，以及生命健康智能监护系统，其通过采集语调、语音、动作行为等数据，并运用人工智能自然语言、深度学习算法处理，创造性地解决了目标人员的情感难以感知和异常行为难以实时识别的问题，为生命与健康监护提供了极其重要的数据。
本发明的第一个目的在于提供一种情感要素与动作行为识别方法。
本发明的第二个目的在于提供一种情感要素与动作行为识别装置。
本发明的第三个目的在于提供一种急救决策方法。
本发明的第四个目的在于提供一种急救决策装置。
本发明的第五个目的在于提供一种计算机设备。
本发明的第六个目的在于提供一种存储介质。
本发明的第七个目的在于提供一种生命健康智能监护系统。
本发明的第一个目的可以通过采取如下技术方案达到：
一种情感要素与动作行为识别方法，所述方法包括：
获取目标人员的脸部表情数据、动作行为数据、语调数据和语音数据；
对所述语音数据进行解释，得到语义数据；
将所述脸部表情数据、所述动作行为数据、所述语调数据和所述语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果。
进一步的，所述多尺度特征融合网络模型以ResNet-101为骨干网络；
输入所述多尺度特征融合网络模型的数据依次经过四组多次卷积操作和0.5倍下采样操作，生成四个尺度不同的特征图，其中，所述特征图依次分为第一初始特征图、第二初始特征图、第三初始特征图和第四初始特征图；
所述第四初始特征图通过1 × 1 卷积操作生成第三临时性特征图；
所述第三临时性特征图通过2倍上采样操作并与1 × 1卷积操作后的第三特征图进行特征融合，以生成第二临时性特征图；
所述第二临时性特征图通过2倍上采样操作并与1 × 1卷积操作后的第二特征图进行特征融合，以生成第一临时性特征图；
所述第一临时性特征图、第二临时性特征图和第三临时性特征图分别通过3 × 3卷积操作生成第一最终特征图、第二最终特征图和第三最终特征图。
进一步的，所述对所述语音数据进行解释，得到语义数据，具体包括：
根据语义分析系统，对所述语音数据进行解释，得到语义数据；
所述语义分析系统包括新词发现功能、批量分词功能和语言统计功能。
进一步的，根据声学特征参数组合，确定所述语调情感要素识别结果；
所述语调情感要素识别结果包括第一高兴、第一愉悦、第一轻松、第一平和、第一紧张、第一激动和第一伤心的其中之一；
根据语义信息元所记录的标签，确定所述语义情感要素识别结果；
所述语义情感要素识别结果包括第二高兴、第二愉悦、第二轻松、第二平和、第二紧张、第二激动和第二伤心的其中之一。
本发明的第二个目的可以通过采取如下技术方案达到：
一种情感要素与动作行为识别装置，所述装置包括：
第一获取模块，用于获取目标人员的脸部表情数据、动作行为数据、语调数据和语音数据；
解释模块，用于对所述语音数据进行解释，得到语义数据；
识别模块，用于将所述脸部表情数据、所述动作行为数据、所述语调数据和所述语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果。
本发明的第三个目的可以通过采取如下技术方案达到：
一种急救决策方法，所述方法包括：
获取目标人员的实时心率数据和实时呼吸频率数据；
对脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果进行综合研判，形成情绪标签和异常行为指针；
根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否需要急救；
所述脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果通过上述情感要素与动作行为识别方法获取得到。
进一步的，所述对脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果进行综合研判，形成情绪标签和异常行为指针，具体包括：
对脸部情感要素识别结果、语调情感要素识别结果和语义情感要素识别结果赋予不同的权重并作为第一维数据；
将动作行为识别结果作为第二维数据；
对所述第一维数据和所述第二维数据进行相互补充和支撑，并经过决策机综合分析之后，输出情绪标签和异常行为指针；
所述情绪标签包括第三愉悦、第三平和、第一郁闷、危急的其中之一；
所述异常行为指针包括行为轻度异常、行为中度异常、行为高度异常的其中之一。
进一步的，所述根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否需要急救，具体包括：
在选定时间段内，累积目标人员的心率和呼吸频率，得到历史心率数据和历史呼吸频率数据；
对所述历史心率数据和所述历史呼吸频率数据进行变异性分析；
当所述实时心率数据和/或所述实时呼吸频率数据过低、过高或骤停时，将所述情绪标签和所述异常行为指针作为辅助决策数据，由此判断目标人员是否需要急救。
本发明的第四个目的可以通过采取如下技术方案达到：
一种急救决策装置，所述装置包括：
第二获取模块，用于获取目标人员的实时心率数据和实时呼吸频率数据；
研判模块，用于对脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果进行综合研判，形成情绪标签和异常行为指针；
决策模块，用于根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否需要急救；
所述脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果通过上述情感要素与动作行为识别方法获取得到。
本发明的第五个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述情感要素与动作行为识别方法和/或急救决策方法。
本发明的第六个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述情感要素与动作行为识别方法和/或急救决策方法。
本发明的第七个目的可以通过采取如下技术方案达到：
一种生命健康智能监护系统，所述系统包括生命体征探测模块、图像采集模块、音频采集模块、深度学习模块、情感感知和行为识别模块和生命健康与监护模块；
所述生命体征探测模块，用于采集目标人员的实时心率数据和实时呼吸频率数据；
所述图像采集模块，用于采集目标人员的脸部表情数据和动作行为数据；
所述音频采集模块，用于采集目标人员的语调数据和语音数据，并对所述语音数据进行解释，得到语义数据；
所述深度学习模块，用于将所述脸部表情数据、所述动作行为数据、所述语调数据和所述语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果；
所述情感感知和行为识别模块，用于对四种识别结果进行综合研判，形成情绪标签和异常行为指针；
所述生命健康与监护模块，用于根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否存在潜在疾病和/或生命风险。
进一步的，所述系统还包括目标跟随模块和通信与导航模块；所述目标跟随模块与生命体征探测模块、图像采集模块、音频采集模块、通信与导航模块连接；所述生命体征探测模块包括毫米波雷达。
本发明相对于现有技术具有如下的有益效果：
（1）本发明通过采集语调、语音、动作行为等数据，并运用人工智能自然语言、深度学习算法处理，创造性地解决了目标人员的情感难以感知和异常行为难以实时识别的问题，为生命与健康监护提供了极其重要的数据；
（2）本发明通过多维度数据提升了生命与健康监护的准确性和可靠性；其中，实时数据和历史数据相结合、相互支撑，并通过生命与健康多维度数据智能分析引擎做决策，从而全方位地满足了目标人员的紧急急救、潜在疾病发现和长期性干预的需求；
（3）本发明可以实现目标人员的跟随功能，以及在目标人员需要急救的情况下，可以启动供药功能，方便目标人员获得急救药物。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的生命健康智能监护系统的结构框图。
图2为本发明实施例1的深度学习模块的处理流程图。
图3为本发明实施例1的动作行为采集及处理的流程图。
图4为本发明实施例1的人脸表情采集及处理的流程图。
图5为本发明实施例1的音频语调采集及处理的流程图。
图6为本发明实施例1的音频语义采集及处理的流程图。
图7为本发明实施例1的情感感知和行为识别模块的处理流程图。
图8为本发明实施例1的生命与健康监护模块的处理流程图。
图9为本发明实施例1的系统数据库的处理流程图。
图10为本发明实施例1的通信与导航模块的结构框图。
图11为本发明实施例1的情感要素与动作行为识别方法的流程图。
图12为本发明实施例1的多尺度特征融合网络模型的结构图。
图13为本发明实施例1的急救决策方法的流程图。
图14为本发明实施例2的情感要素与动作行为识别装置的结构框图。
图15为本发明实施例3的急救决策装置的结构框图。
图16为本发明实施例4的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种生命健康智能监护系统，该系统包括生命体征探测模块、图像采集模块、音频采集模块、深度学习模块、情感感知和行为识别模块、生命健康与监护模块、目标跟随模块和通信与导航模块；其中：
生命体征探测模块，用于采集目标人员的实时心率数据和实时呼吸频率数据。
具体地，生命体征探测模块运用毫米波雷达技术实现对目标人员的实时心率数据和实时呼吸频率数据的采集。
本实施例中，目标人员为独居者，例如：独居在家的老人。
另一个实施例中，目标人员为医院中待监控的病人或养老院中待照料的中老年人。
图像采集模块，用于采集目标人员的脸部表情数据和动作行为数据。
音频采集模块，用于采集目标人员的语调数据和语音数据，并对语音数据进行解释，得到语义数据。
深度学习模块，用于将脸部表情数据、动作行为数据、语调数据和语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果。
如图2所示，深度学习模块接收目标人员的脸部表情、动作行为、语调和语义数据；在深度学习模块中，多尺度特征融合网络模型经过常规数据集训练之后，实现上述脸部表情、动作行为、语调和语义数据的多尺度特征提取，并运用支持向量机法进行分类，分类即确定情感要素的类别值以及动作行为识别结果，简称行为识别结果。
具体地，深度学习模块以Tensorflow为框架，运用神经网络算法，构建多尺度特征融合网络模型，以对相应的数据进行特征提取、识别和分类；其负责对脸部表情数据集、动作行为数据集、语调数据集和语义数据集进行训练，以得到对应训练好的多尺度特征融合网络模型，从而识别量化的脸部情感要素识别结果（情感要素1）、动作行为识别结果、语调情感要素识别结果（情感要素2）和语义情感要素识别结果（情感要素3）。
如图3所示，图像采集模块与深度学习模块紧密联合工作，具体为：图像采集模块通过摄像头采集动作行为数据集，并对动作行为数据集进行数据增强和归一化处理；将数据增强和归一化处理后的动作行为数据集输入深度学习模块中的多尺度特征融合网络模型进行训练，得到训练好的多尺度特征融合网络模型，即目标人员的日常动作行为识别网络模型；其中：该日常动作行为识别网络模型可以对目标人员的动作行为数据进行识别，并依据对生命健康的影响程度标记为行为轻度异常、行为中度异常或行为危险，例如：目标人员走路摇摆为行为轻度异常，目标人员在洗手间长时间未出来为行为中度异常，目标人员倒地不起为行为危险。
同理，如图4所示，根据采集得到的脸部表情数据集，得到目标人员的脸部表情情感识别网络模型；其中：该脸部表情情感识别网络模型可以对目标人员的脸部表情数据进行识别，得到情感要素1。
如图5所示，音频采集模块与深度学习模块紧密联合工作，具体为：音频采集模块通过麦克风采集语调数据集，并对语调数据集进行声学特征参数的提取；将多种声学特征参数组合输入深度学习模块中的多尺度特征融合网络模型进行训练，得到训练好的多尺度特征融合网络模型，即目标人员的语调情感识别网络模型，其中：该语调情感识别网络模型可以对目标人员的语调数据进行识别，得到情感要素2。
如图6所示，音频采集模块运用NLPIR语义分析系统（中科院的ictclas）对语音数据进行解释，NLPIR语义分析系统具有新词发现、批量分词、语言统计等功能；同理，根据语义数据集，得到目标人员的语义情感识别网络模型；其中：该语义情感识别网络模型可以对目标人员的语义数据进行识别，得到情感要素3。
本实施例中，情感要素1包括高兴、愉悦、轻松、平和、郁闷、焦虑和痛苦的其中之一；情感要素2包括第一高兴、第一愉悦、第一轻松、第一平和、第一紧张、第一激动和第一伤心的其中之一；情感要素3包括第二高兴、第二愉悦、第二轻松、第二平和、第二紧张、第二激动和第二伤心的其中之一；例如，高兴、第一高兴和第二高兴表示目标人员正处在高兴的情感状态。
需要说明的是，情感要素2来自于对语调数据集的深度学习结果，在音频采集模块中，针对采集到的目标人员的语调与语气数据，提取其多种声学特征；其中：声学特征参数包括发音的平均持续时间、速率、幅度均值、幅度范围、基频平均值、基频动态值和基频变化率的其中之一；每一种情感要素2是这些特征参数值的组合，即是基于一种特征参数值的组合可以确定一种情感要素2，经过深度学习模块的反复训练和标记之后，当目标人员的讲话、自言言语、独自歌唱等语调与语气数据将被持续记录和识别为带有时间戳的情感要素2。例如：目标人员的高亢声、笑声、欢快小调儿声等语调会被识别为第一高兴。
需要说明的是，情感要素3来自于对语义数据集的深度学习结果，在音频采集模块中，针对采集到的目标人员的语音数据（普通话语音数据或其他方言语音数据），NLPIR语义分析系统会逐一进行语义解析，即通过通用自然语言处理，理解目标人员的讲话涵义，比如：理解目标人员正在谈论的一件高兴事情，或者理解目标人员接收到的令人兴奋的信息所发出的语音，那么此类语义数据作为语义信息元被记录为第二高兴标签；在相应的标签被送入深度学习模块并反复训练和标记之后，目标人员的讲话、自言言语等语义数据将被持续记录和识别为带有时间戳的情感要素3，例如：目标人员正在与其他人沟通，相约去广场跳舞，或者目标人员收到子女的电话，并报告平安信息，这些一般会被识别为第二高兴。
情感感知和行为识别模块，用于对四种识别结果进行综合研判，形成情绪标签和异常行为指针。
如图7所示，对脸部情感要素识别结果、语调情感要素识别结果和语义情感要素识别结果赋予不同的权重并作为第一维数据；将动作行为识别结果作为第二维数据；对第一维数据和所述第二维数据进行相互补充和支撑，并经过决策机综合分析之后，输出情绪标签和异常行为指针；其中：情绪标签包括第三愉悦、第三平和、第一郁闷、危急的其中之一；异常行为指针包括行为轻度异常、行为中度异常、行为高度异常的其中之一。
另一个实施例中，第一维数据和第二维数据也分别赋予相应权重。
需要说明的是，情绪标签和异常行为指针是生命健康与监护模块的重要输入数据。
生命健康与监护模块，用于根据生命与健康多维度数据智能分析引擎，对实时心率数据、实时呼吸频率数据、情绪标签和异常行为指针进行处理，以判断目标人员是否存在潜在疾病和/或生命风险。
如图8所示，生命健康与监护模块包括两条主要工作线路，其一是生命急救，其二是潜在疾病或生命风险的识别与干预。首先该模块接收生命体征数据，即心率数据和呼吸频率数据，当目标人员的实时心率数据和实时呼吸频率数据被监测到过低、过高或骤停时，则将目标人员此时的情绪标签、异常行为指针作为辅助决策数据，并实时做出决策，立即自动呼叫急救资源，包括社区人员和120医疗服务，同时启动供药装置方便目标人员获得急救药物，其中供药装置设置在目标跟随模块上并与生命健康与监护模块连接；其次，心率数据和呼吸频率数据经过积累之后，形成数据量足够大的历史数据，并进行心率变异性分析（hrv）和呼吸率变异性分析（brv），变异性分析后的两个数据是潜在心脏、心血管类疾病的重要指征数据，与情绪标签、异常行为指针一起送入生命与健康多维数据智能分析引擎，该引擎是一个具有大数据分析功能的软件单元，经过该引擎的汇聚、计算、对比、分析，评估出目标是否有潜在疾病或生命风险；当结果为是时，则生命健康智能监护系统自动联系并签约家庭医生，或者自动联系监护人。在系统初始化时，录入人脸、名字，医生，联系人（如社区人员、家属）等信息。
生命急救线路中，需要急救与否是一个实时且紧急的判别，此判别由生命与健康多维数据智能分析引擎给出；实际应用中，要求此判别足够准确，而历史数据、情绪标签和异常行为指针可以保证此判别的准确性，例如，目标人员已经存在长时间的心率异常，那么如果在某一时间点该人员的心率发生了骤停，同时情绪标签和异常行为指针分别为危急和行为高度异常，那么可以十分确定目标人员处在危急状态并需要急救；目标人员在卫生间超时未出来，属于异常行为，而此时心率也出现异常，那么生命与健康多维数据智能分析引擎的判别结果也为需要急救。
可见，生命健康与监护模块作为整个系统的中心控制模块，还用于根据目标人员的潜在疾病和/或生命风险，提前进行干预，例如：确定目标人员是否需要立即的急救服务和供药服务。
目标跟随模块，用于通过人脸跟踪技术和红外避障技术实现目标人员的跟随，并以下述通信与导航模块输出的室内地图作为输入源。
如图9所示，本实施例的所有历史数据均存储在系统数据库中，其中系统数据库包括三个一级数据库，四个子数据库。三个一级数据库分别为图像数据特征库、存入音频数据特征库和生命体征数据库；四个子数据库分别为表情子数据库、动作行为子数据库、语调子数据库和语义子数据库。
如图10所示，通信与导航模块由北斗/GPS定位单元、4G/5G通信单元 、红外避障单元和室内slam单元组成。
具体地，北斗/GPS定位单元可以提供两种模式的定位，4G/5G通信单元可选其一；红外避障单元服务于目标跟随模块的移动跟随功能；室内slam单元通过摄像头进行即时定位和室内地图重建，其也服务于目标跟随模块的移动跟随功能。
如图11所示，本实施例还提供了一种情感要素与动作行为识别方法，该方法包括如下步骤：
S1101、获取目标人员的脸部表情数据、动作行为数据、语调数据和语音数据。
S1102、对所述语音数据进行解释，得到语义数据。
本实施例中，对所述语音数据进行解释，得到语义数据，具体包括：
根据语义分析系统（NLPIR语义分析系统），对所述语音数据进行解释，得到语义数据。
所述语义分析系统包括新词发现功能、批量分词功能和语言统计功能。
S1103、将所述脸部表情数据、所述动作行为数据、所述语调数据和所述语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果。
如图12所示，本实施例的多尺度特征融合网络模型以ResNet-101为骨干网络；
输入所述多尺度特征融合网络模型的数据依次经过四组多次卷积操作和0.5倍下采样操作，生成四个尺度不同的特征图，其中，所述特征图依次分为第一初始特征图、第二初始特征图、第三初始特征图和第四初始特征图；
所述第四初始特征图通过1 × 1 卷积操作生成第三临时性特征图；
所述第三临时性特征图通过2倍上采样操作并与1 × 1卷积操作后的第三特征图进行特征融合，以生成第二临时性特征图；
所述第二临时性特征图通过2倍上采样操作并与1 × 1卷积操作后的第二特征图进行特征融合，以生成第一临时性特征图；
所述第一临时性特征图、第二临时性特征图和第三临时性特征图分别通过3 × 3卷积操作生成第一最终特征图、第二最终特征图和第三最终特征图。
本实施例中，根据声学特征参数组合，确定所述语调情感要素识别结果。
所述语调情感要素识别结果包括第一高兴、第一愉悦、第一轻松、第一平和、第一紧张、第一激动和第一伤心的其中之一。
根据语义信息元所记录的标签，确定所述语义情感要素识别结果。
所述语义情感要素识别结果包括第二高兴、第二愉悦、第二轻松、第二平和、第二紧张、第二激动和第二伤心的其中之一。
需要说明的是，“第几”只是为了区分，不代表其他含义。
如图13所示，本实施例还提供了一种急救决策方法，该方法包括如下步骤：
S1301、获取目标人员的实时心率数据和实时呼吸频率数据。
S1302、对脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果进行综合研判，形成情绪标签和异常行为指针。
本实施例中，对脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果进行综合研判，形成情绪标签和异常行为指针，具体包括：
S13021、对脸部情感要素识别结果、语调情感要素识别结果和语义情感要素识别结果赋予不同的权重并作为第一维数据。
S13022、将动作行为识别结果作为第二维数据。
S13023、对所述第一维数据和所述第二维数据进行相互补充和支撑，并经过决策机综合分析之后，输出情绪标签和异常行为指针。
所述情绪标签包括第三愉悦、第三平和、第一郁闷、危急的其中之一；
所述异常行为指针包括行为轻度异常、行为中度异常、行为高度异常的其中之一。
S1303、根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否需要急救。
本实施例中，根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否需要急救，具体包括：
S13031、在选定时间段内，累积目标人员的心率和呼吸频率，得到历史心率数据和历史呼吸频率数据。
S13032、对所述历史心率数据和所述历史呼吸频率数据进行变异性分析。
S13033、当所述实时心率数据和/或所述实时呼吸频率数据过低、过高或骤停时，将所述情绪标签和所述异常行为指针作为辅助决策数据，由此判断目标人员是否需要急救。
所述脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果通过上述情感要素与动作行为识别方法获取得到。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图14所示，本实施例提供了一种情感要素与动作行为识别装置，该装置包括第一获取模块1401、解释模块1402和识别模块1403，各个模块的具体功能如下：
第一获取模块1401，用于获取目标人员的脸部表情数据、动作行为数据、语调数据和语音数据；
解释模块1402，用于对所述语音数据进行解释，得到语义数据；
识别模块1403，用于将所述脸部表情数据、所述动作行为数据、所述语调数据和所述语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果。
实施例3：
如图15所示，本实施例提供了一种急救决策装置，该装置包括第二获取模块1501、研判模块1502和决策模块1503，各个模块的具体功能如下：
第二获取模块1501，用于获取目标人员的实时心率数据和实时呼吸频率数据；
研判模块1502，用于对脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果进行综合研判，形成情绪标签和异常行为指针；
决策模块1503，用于根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否需要急救；
所述脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果通过上述情感要素与动作行为识别方法获取得到。
实施例4：
如图16所示，本实施例提供了一种计算机设备，其包括通过系统总线1601连接的处理器1602、存储器、输入装置1603、显示装置1604和网络接口1605。其中，处理器1602用于提供计算和控制能力，存储器包括非易失性存储介质1606和内存储器1607，该非易失性存储介质1606存储有操作系统、计算机程序和数据库，该内存储器1607为非易失性存储介质1606中的操作系统和计算机程序的运行提供环境，计算机程序被处理器1602执行时，实现上述实施例1的情感要素与动作行为识别方法和/或急救决策方法。
本实施例中，情感要素与动作行为识别方法，包括：
获取目标人员的脸部表情数据、动作行为数据、语调数据和语音数据；
对所述语音数据进行解释，得到语义数据；
将所述脸部表情数据、所述动作行为数据、所述语调数据和所述语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果。
本实施例中，急救决策方法，包括：
获取目标人员的实时心率数据和实时呼吸频率数据；
对脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果进行综合研判，形成情绪标签和异常行为指针；
根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否需要急救；
所述脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果通过上述情感要素与动作行为识别方法获取得到。
实施例5：
本实施例提供一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的情感要素与动作行为识别方法和/或急救决策方法。
本实施例中，情感要素与动作行为识别方法，包括：
获取目标人员的脸部表情数据、动作行为数据、语调数据和语音数据；
对所述语音数据进行解释，得到语义数据；
将所述脸部表情数据、所述动作行为数据、所述语调数据和所述语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果。
本实施例中，急救决策方法，包括：
获取目标人员的实时心率数据和实时呼吸频率数据；
对脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果进行综合研判，形成情绪标签和异常行为指针；
根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否需要急救；
所述脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果通过上述情感要素与动作行为识别方法获取得到。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN）连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
综上所述，本发明在独居者生活场景中，通过毫米波雷达实时采集心率、呼吸频率数据，通过摄像头采集面部表情、行为数据，通过麦克风采集语音、语调数据；基于多纬度数据，运用深度学习框架和神经网络算法对面部表情、语音、语调数据进行训练和识别，生成若干情感要素；同样地，对行为数据进行训练和识别；基于识别后的所有数据，根据情感感知及行为综合判断，形成目标人员的情绪标签和异常行为指针 (多维度和多层级的数据)，并运用大数据智能分析引擎，实现对独居者更加准确、可靠、全方位的生命与健康监护，即实现：在紧急情况下，目标人员可以获得急救；潜在疾病和风险可以被识别、干预，甚至是长期干预。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (9)

1.一种情感要素与动作行为识别方法，其特征在于，所述方法包括：
获取目标人员的脸部表情数据、动作行为数据、语调数据和语音数据；
对所述语音数据进行解释，得到语义数据；
将所述脸部表情数据、所述动作行为数据、所述语调数据和所述语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果，其中，所述动作行为识别结果为带有时序和事件的行为轻度异常、行为中度异常和行为危险其中之一；
输入所述多尺度特征融合网络模型的数据依次经过四组多次卷积操作和0.5倍下采样操作，生成四个尺度不同的特征图，其中，所述特征图依次分为第一初始特征图、第二初始特征图、第三初始特征图和第四初始特征图；
所述第四初始特征图通过1 × 1 卷积操作生成第三临时性特征图；
所述第三临时性特征图通过2倍上采样操作并与1 × 1卷积操作后的第三特征图进行特征融合，以生成第二临时性特征图；
所述第二临时性特征图通过2倍上采样操作并与1 × 1卷积操作后的第二特征图进行特征融合，以生成第一临时性特征图；
所述第一临时性特征图、第二临时性特征图和第三临时性特征图分别通过3 × 3 卷积操作生成第一最终特征图、第二最终特征图和第三最终特征图。
2.根据权利要求1所述方法，其特征在于，所述对所述语音数据进行解释，得到语义数据，具体包括：
根据语义分析系统，对所述语音数据进行解释，得到语义数据；
所述语义分析系统包括新词发现功能、批量分词功能和语言统计功能。
3.根据权利要求1所述方法，其特征在于，根据声学特征参数组合，确定所述语调情感要素识别结果；
所述语调情感要素识别结果包括第一高兴、第一愉悦、第一轻松、第一平和、第一紧张、第一激动和第一伤心的其中之一；
根据语义信息元所记录的标签，确定所述语义情感要素识别结果；
所述语义情感要素识别结果包括第二高兴、第二愉悦、第二轻松、第二平和、第二紧张、第二激动和第二伤心的其中之一；
所述语义情感要素识别结果带有时间戳。
4.一种急救决策方法，其特征在于，所述方法包括：
获取目标人员的实时心率数据和实时呼吸频率数据；
对脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果进行综合研判，形成情绪标签和异常行为指针；
根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否需要急救；
所述脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果通过权利要求1-3任一项所述方法获取得到。
5.根据权利要求4所述方法，其特征在于，所述对脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果进行综合研判，形成情绪标签和异常行为指针，具体包括：
对脸部情感要素识别结果、语调情感要素识别结果和语义情感要素识别结果赋予不同的权重并作为第一维数据；
将动作行为识别结果作为第二维数据；
对所述第一维数据和所述第二维数据进行相互补充和支撑，并经过决策机综合分析之后，输出情绪标签和异常行为指针；
所述情绪标签包括第三愉悦、第三平和、第一郁闷、危急的其中之一；
所述异常行为指针包括行为轻度异常、行为中度异常、行为高度异常的其中之一。
6.根据权利要求4所述方法，其特征在于，所述根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否需要急救，具体包括：
在选定时间段内，累积目标人员的心率和呼吸频率，得到历史心率数据和历史呼吸频率数据；
对所述历史心率数据和所述历史呼吸频率数据进行变异性分析；
当所述实时心率数据和/或所述实时呼吸频率数据过低、过高或骤停时，将所述情绪标签和所述异常行为指针作为辅助决策数据，由此判断目标人员是否需要急救。
7.一种生命健康智能监护系统，其特征在于，所述系统包括生命体征探测模块、图像采集模块、音频采集模块、深度学习模块、情感感知和行为识别模块和生命健康与监护模块；
所述生命体征探测模块，用于采集目标人员的实时心率数据和实时呼吸频率数据；
所述图像采集模块，用于采集目标人员的脸部表情数据和动作行为数据；
所述音频采集模块，用于采集目标人员的语调数据和语音数据，并对所述语音数据进行解释，得到语义数据；
所述深度学习模块，用于将所述脸部表情数据、所述动作行为数据、所述语调数据和所述语义数据输入对应训练好的多尺度特征融合网络模型，得到脸部情感要素识别结果、动作行为识别结果、语调情感要素识别结果和语义情感要素识别结果，其中，所述动作行为识别结果为带有时序和事件的行为轻度异常、行为中度异常和行为危险其中之一；
所述情感感知和行为识别模块，用于对四种识别结果进行综合研判，形成情绪标签和异常行为指针；
所述生命健康与监护模块，用于根据生命与健康多维度数据智能分析引擎，对所述实时心率数据、所述实时呼吸频率数据、所述情绪标签和所述异常行为指针进行处理，以判断目标人员是否存在潜在疾病和/或生命风险；
其中：
输入所述多尺度特征融合网络模型的数据依次经过四组多次卷积操作和0.5倍下采样操作，生成四个尺度不同的特征图，其中，所述特征图依次分为第一初始特征图、第二初始特征图、第三初始特征图和第四初始特征图；
所述第四初始特征图通过1 × 1 卷积操作生成第三临时性特征图；
所述第三临时性特征图通过2倍上采样操作并与1 × 1卷积操作后的第三特征图进行特征融合，以生成第二临时性特征图；
所述第二临时性特征图通过2倍上采样操作并与1 × 1卷积操作后的第二特征图进行特征融合，以生成第一临时性特征图；
所述第一临时性特征图、第二临时性特征图和第三临时性特征图分别通过3 × 3 卷积操作生成第一最终特征图、第二最终特征图和第三最终特征图。
8.根据权利要求7所述生命健康智能监护系统，其特征在于，所述系统还包括目标跟随模块和通信与导航模块；所述目标跟随模块与生命体征探测模块、图像采集模块、音频采集模块、通信与导航模块连接；所述生命体征探测模块包括毫米波雷达。
9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-3任一项所述方法和/或权利要求4-6任一项所述方法。
CN202211194709.0A 2022-09-29 2022-09-29 识别方法、急救决策方法、介质及生命健康智能监护系统 Active CN115271002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211194709.0A CN115271002B (zh) 2022-09-29 2022-09-29 识别方法、急救决策方法、介质及生命健康智能监护系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211194709.0A CN115271002B (zh) 2022-09-29 2022-09-29 识别方法、急救决策方法、介质及生命健康智能监护系统

Publications (2)

Publication Number Publication Date
CN115271002A CN115271002A (zh) 2022-11-01
CN115271002B true CN115271002B (zh) 2023-02-17

Family

ID=83757446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211194709.0A Active CN115271002B (zh) 2022-09-29 2022-09-29 识别方法、急救决策方法、介质及生命健康智能监护系统

Country Status (1)

Country Link
CN (1) CN115271002B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229581B (zh) * 2023-03-23 2023-09-19 珠海市安克电子技术有限公司 一种基于大数据的智能互联急救系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN109008952A (zh) * 2018-05-08 2018-12-18 深圳智慧林网络科技有限公司 基于深度学习的监护方法及相关产品
CN113095357A (zh) * 2021-03-04 2021-07-09 山东大学 基于注意力机制与gmn的多模态情感识别方法及系统
CN113469153A (zh) * 2021-09-03 2021-10-01 中国科学院自动化研究所 基于微表情、肢体动作和语音的多模态情感识别方法
CN114495217A (zh) * 2022-01-14 2022-05-13 建信金融科技有限责任公司 基于自然语言和表情分析的场景分析方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN109008952A (zh) * 2018-05-08 2018-12-18 深圳智慧林网络科技有限公司 基于深度学习的监护方法及相关产品
CN113095357A (zh) * 2021-03-04 2021-07-09 山东大学 基于注意力机制与gmn的多模态情感识别方法及系统
CN113469153A (zh) * 2021-09-03 2021-10-01 中国科学院自动化研究所 基于微表情、肢体动作和语音的多模态情感识别方法
CN114495217A (zh) * 2022-01-14 2022-05-13 建信金融科技有限责任公司 基于自然语言和表情分析的场景分析方法、装置及系统

Also Published As

Publication number Publication date
CN115271002A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN106997243B (zh) 基于智能机器人的演讲场景监控方法及装置
WO2017193497A1 (zh) 基于融合模型的智能化健康管理服务器、系统及其控制方法
Rohanian et al. Alzheimer's dementia recognition using acoustic, lexical, disfluency and speech pause features robust to noisy inputs
CN107622797A (zh) 一种基于声音的身体状况确定系统及方法
CN113197579A (zh) 一种基于多模态信息融合的智能心理评估方法及系统
CN107910073A (zh) 一种急诊预检分诊方法及装置
CN115271002B (zh) 识别方法、急救决策方法、介质及生命健康智能监护系统
CN115064246B (zh) 一种基于多模态信息融合的抑郁症评估系统及设备
CN110223134B (zh) 基于语音识别的产品推荐方法及相关设备
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
Hema et al. Emotional speech recognition using cnn and deep learning techniques
CN108806686B (zh) 一种语音搜题应用的启动控制方法及家教设备
Samareh et al. Detect depression from communication: How computer vision, signal processing, and sentiment analysis join forces
Ding et al. Deep connected attention (DCA) ResNet for robust voice pathology detection and classification
Preum et al. CognitiveEMS: A cognitive assistant system for emergency medical services
CN110265008A (zh) 智能回访方法、装置、计算机设备及存储介质
Nimmagadda et al. Emotion recognition models for companion robots
CN113035232B (zh) 一种基于语音识别的心理状态预测系统、方法及装置
CN110473534A (zh) 一种基于深度神经网络的老年人看护对话系统
CN110136743A (zh) 基于声音采集的健康状态监控方法、装置及存储介质
Sandulescu et al. Mobile app for stress monitoring using voice features
CN113255323A (zh) 一种描述数据处理方法、系统、电子设备及介质
CN116884648A (zh) 基于中医问诊的语音交互优化方法、装置、设备及介质
Gupta et al. REDE-Detecting human emotions using CNN and RASA
KR102314332B1 (ko) 머신러닝 자연어 처리를 활용한 의사-환자의 진료상담 지원 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant