CN113140312A - 用户数据处理、会话数据处理方法和装置、电子设备 - Google Patents

用户数据处理、会话数据处理方法和装置、电子设备 Download PDF

Info

Publication number
CN113140312A
CN113140312A CN202010058087.3A CN202010058087A CN113140312A CN 113140312 A CN113140312 A CN 113140312A CN 202010058087 A CN202010058087 A CN 202010058087A CN 113140312 A CN113140312 A CN 113140312A
Authority
CN
China
Prior art keywords
information
emotion
message sender
session
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010058087.3A
Other languages
English (en)
Inventor
何陆巍
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010058087.3A priority Critical patent/CN113140312A/zh
Publication of CN113140312A publication Critical patent/CN113140312A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)

Abstract

本申请涉及一种用户数据处理方法，包括：通过毫米波传感器获取处于交互场景中的用户的生理信息，交互场景包括会话交互场景、运动交互场景以及体感游戏交互场景中的至少一种；将生理信息输入训练好的情绪识别模型中，经过训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到训练好的情绪识别模型中分类器输出的用户的情绪信息；将生理信息与对应的参照范围进行比对，根据比对结果确定用户的身体状态信息；输出用户的情绪信息和身体状态信息中的至少一种。本申请还公开了一种用户数据处理装置、会话数据处理方法、会话数据处理装置、电子设备以及计算机可读存储介质。本申请降低了交互场景下的风险。

Description

用户数据处理、会话数据处理方法和装置、电子设备
技术领域
本申请涉及电子设备技术领域，特别是涉及一种用户数据处理方法和装置、会话数据处理方法和装置、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的进步和社会的发展，交互场景越来越多，比如，人们常通过通讯软件进行视频、语音、文字等形式的会话；再比如，人们常通过终端进行体感健身游戏。
但是，传统的交互方式在会存在一定的风险，比如，随着会话过程的进行，会话者的情绪可能会发生变化，而会话者的情绪在一定程度上影响会话的效果；再比如，随着游戏的进行，用户可能出现身体异常的情况。
发明内容
本申请实施例提供一种用户数据处理方法、装置、会话数据处理方法、装置、电子设备、计算机可读存储介质，可以在交互场景下降低风险。
一种用户数据处理方法，包括：
通过毫米波传感器获取处于交互场景中的用户的生理信息，所述交互场景包括会话交互场景、运动交互场景以及体感游戏交互场景中的至少一种；
将所述生理信息输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述用户的情绪信息，所述训练好的情绪识别模型是根据生理信息样本以及所述生理信息样本对应的情绪信息标签训练得到的；
将所述生理信息与对应的参照范围进行比对，根据比对结果确定所述用户的身体状态信息；
输出所述用户的情绪信息和身体状态信息中的至少一种。
一种会话数据处理方法，包括：
通过毫米波传感器获取会话消息发送者的生理信息；
根据所述会话消息发送者的生理信息，确定所述会话消息发送者的情绪信息；
将所述会话消息发送者的情绪信息发送给会话消息接收者。
一种会话数据处理方法，包括：
接收会话过程中会话消息发送者的情绪信息，其中，所述会话消息发送者的情绪信息是通过毫米波传感器获取所述会话消息发送者的生理信息，并根据所述会话消息发送者的生理信息确定的；
输出所述会话消息发送者的情绪信息。
一种用户数据处理装置，包括：
获取模块，用于通过毫米波传感器获取处于交互场景中的用户的生理信息，所述交互场景包括会话交互场景、运动交互场景以及体感游戏交互场景中的至少一种；
输入模块，用于将所述生理信息输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述用户的情绪信息，所述训练好的情绪识别模型是根据生理信息样本以及所述生理信息样本对应的情绪信息标签训练得到的；
比对模块，用于将所述生理信息与对应的参照范围进行比对，根据比对结果确定所述用户的身体状态信息；
输出模块，用于输出所述用户的情绪信息和身体状态信息中的至少一种
一种会话数据处理装置，包括：
获取模块，用于通过毫米波传感器获取会话消息发送者的生理信息；
确定模块，用于根据所述会话消息发送者的生理信息，确定所述会话消息发送者的情绪信息；
发送模块，用于将所述会话消息发送者的情绪信息发送给会话消息接收者。
一种会话数据处理装置，包括：
接收模块，用于接收会话过程中会话消息发送者的情绪信息，其中，所述会话消息发送者的情绪信息是通过毫米波传感器获取所述会话消息发送者的生理信息，并根据所述会话消息发送者的生理信息确定的；
输出模块，用于输出所述会话消息发送者的情绪信息。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行任一项所述用户数据处理方法或者会话数据处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行任一项所述用户数据处理方法或者会话数据处理方法的步骤。
上述用户数据处理方法、装置、会话数据处理方法、装置、电子设备以及计算机可读存储介质，通过毫米波传感器获取处于交互场景中的用户的生理信息，根据用户的生理信息确定用户的情绪信息和身体状态信息中的至少一种，输出用户的情绪信息和身体状态信息中的至少一种。这样，在交互场景下，对用户的情绪信息和身体状态信息进行监控，从而降低交互过程的风险。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中用户数据处理方法的流程图；
图2为一个实施例中会话数据处理方法的流程图；
图3为一个实施例中获取会话消息发送者的生理信息的细化流程图；
图4为一个实施例中情绪指示表盘示意图；
图5为一个实施例中情绪进度条示意图；
图6为另一个实施例中会话数据处理方法的流程图；
图7为又一个实施例中会话数据处理方法的流程图；
图8为一个实施例中用户数据处理装置的结构框图；
图9为一个实施例中会话数据处理装置的结构框图；
图10为另一个实施例中会话数据处理装置的结构框图；
图11为一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例中的电子设备可为移动终端，比如手机、平板电脑、笔记本电脑、可穿戴设备等。该电子设备设置有毫米波传感器，毫米波传感器是使用毫米波进行检测的传感器，该毫米波传感器检测的信号可用于获取使用该电子设备的用户的生理信息。具体地，终端通过毫米波传感器获取处于交互场景中的用户的生理信息，所述交互场景包括会话交互场景、运动交互场景以及体感游戏交互场景中的至少一种，所述生理信息包括呼吸频率、心率、血糖浓度、表情信息以及姿势信息中的至少一个；终端根据用户的生理信息确定用户的情绪信息和身体状态信息中的至少一种；所述根据所述用户的生理信息确定所述用户的情绪信息，包括：将呼吸频率、心率、表情信息以及姿势信息中的至少一个输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述用户的情绪信息，所述训练好的情绪识别模型是根据生理信息样本以及所述生理信息样本对应的情绪信息标签训练得到的；所述根据所述用户的生理信息确定所述用户的身体状态信息，包括：将呼吸频率、心率以及血糖浓度中的至少一个与对应的参照范围进行比对，根据比对结果确定所述用户的身体状态信息；终端输出用户的情绪信息和身体状态信息中的至少一种。
图1为一个实施例中用户数据处理方法的流程图。图1所示的用户数据处理方法可应用于上述电子设备中，包括：
步骤102，通过毫米波传感器获取处于交互场景中的用户的生理信息，所述交互场景包括会话交互场景、运动交互场景以及体感游戏交互场景中的至少一种。
其中，交互场景可包括会话交互场景、运动交互场景以及体感游戏交互场景中的至少一种。会话交互场景是至少一个用户与其他用户之间进行交互的场景。终端可建立用于进行会话的群组。群组是包括至少一个用户标识的用户集合，且群组中的各用户标识所表示的用户之间可依据该群组进行信息共享和消息交互。群组可以是视频会话的群组，也可以是语音会话的群组，还可以是通过文本消息、语音消息、视频消息、图片消息进行交互的群组。运动交互场景以及体感游戏交互场景可以是人机交互。运动交互场景是用户使用终端或者跟随终端输出的指导信息进行运动。体感游戏交互场景是用户跟随终端输出的游戏画面进行运动，以使用户的动作与游戏画面的动作相匹配。
其中，生理信息是用户在生理方面的信息，生理是指生物机体的机能，即整个生物机体及其各个器官所表现的各种生命现象。在一个实施例中，生理信息可包括呼吸频率、心率、血糖浓度、表情信息、姿势信息中的至少一个。呼吸频率用于表征每分钟呼吸的次数。心率用于表征每分钟心跳的次数。血糖浓度是人体的血中的葡萄糖浓度。表情信息用于表征面部器官所呈现的姿态。姿势信息用于表征人体部位所呈现的姿态。
步骤104，将所述生理信息输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述用户的情绪信息，所述训练好的情绪识别模型是根据生理信息样本以及所述生理信息样本对应的情绪信息标签训练得到的。
其中，情绪信息可包括喜、怒、哀、乐、惊、恐、思等等，其中喜可细化为：喜悦、喜爱、喜好、喜欢等；怒可细化为：愤怒、恼怒、发怒、怨恨、愤恨等；哀可细化为：悲伤、悲痛、悲哀、怜悯、哀怜、哀愁、哀悯、哀怨、哀思、紧张、焦虑、沮丧、烦恼等；乐可细化为：欢乐、开心、高兴、幸福等；惊可细化为：惊咤、惊愕、惊慌、惊悸、惊奇、惊叹、惊喜、惊讶等；恐可细化为：恐慌、恐惧、害怕、担心、担忧、畏惧等；思可细化为：思念、想念、思慕、思考等。进一步地，情绪信息还可包括窃喜、生闷气、假装生气、憋气、皮笑肉不笑、强颜欢笑等等。
在一个实施例中，可预先存储生理信息与情绪信息之间的关联关系，当通过毫米波传感器获取到用户的生理信息时，根据该关联关系和用户的生理信息，确定用户的情绪信息。在另一个实施例中，可将会话信息发送者的生理信息输入训练好的神经网络模型中，经过该神经网络模型的处理，得到该神经网络模型输出的会话信息发送者的情绪信息。可选地，该神经网络模型可根据生理信息样本以及情绪信息标签训练得到。
在一个实施例中，所述根据所述用户的生理信息确定所述用户的情绪信息，包括：将所述呼吸频率、心率、表情信息以及姿势信息中的至少一个输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述用户的情绪信息，所述训练好的情绪识别模型是根据生理信息样本以及所述生理信息样本对应的情绪信息标签训练得到的。
在一个实施例中，情绪识别模型可包括输入层、卷积层、池化层、全连接层和分类器。其中，输入层用于接收输入的生理信息，并将生理信息发送至卷积层；卷积层、池化层、全连接层用于提取出具有区分性的特征，并将提取出的特征发送至分类器；分类器计算生理信息属于每一类别的概率，从而得到该生理信息对应的情绪信息。其中，卷积层用于对输入的生理信息初步提取特征，得到卷积特征向量；池化层对卷积层输出的卷积特征向量进行降维操作，并进一步提取特征，得到池化特征向量；全连接层将卷积层和池化层处理得到的特征向量进行合并或者取样，提取出具有区分性的特征。
该情绪识别模型的训练方式，包括：将生理信息样本输入待训练的情绪识别模型中，经过待训练的情绪识别模型中卷积层、池化层和全连接层的处理，得到该待训练的情绪识别模型中分类器输出的预测情绪信息，按照该生理信息样本对应的情绪信息标签与该预测情绪信息之间的差异，调整该情绪识别模型的参数并继续训练，直至满足训练停止条件时结束训练。其中，生理信息样本包括多组生理信息，每一组生理信息可包括呼吸频率、心率、表情信息以及姿势信息中的至少一个。生理信息样本对应的情绪信息标签用于表征每一组生理信息样本所对应的情绪信息。情绪识别模型可根据生理信息样本以及生理信息样本对应的情绪信息标签训练得到。利用生理信息样本对应的情绪信息标签对生理信息样本进行标记，将标记后的生理信息样本输入情绪识别模型，利用反向传播的方式训练情绪识别模型，以使情绪识别模型的识别结果趋近生理信息样本对应的情绪信息标签，从而使得情绪识别模型学习生理信息与情绪信息之间的映射。具体地，当获取到生理信息属于各个类别的概率时，与生理信息样本对应的情绪信息标签进行对比，得到误差；利用反向传播算法，根据情绪识别模型的权重计算误差的梯度；利用梯度下降算法更新情绪识别模型的参数，使得情绪识别模型输出的误差最小化。其中，情绪识别模型的参数可包括每个联结的权重、每个节点自带的偏离值和特征检测器的矩阵向量的值。
步骤106，将所述生理信息与对应的参照范围进行比对，根据比对结果确定所述用户的身体状态信息。
其中，身体状态信息可包括：生理信息正常、生理信息过高、生理信息过低等多个等级。
在一个实施例中，可预先存储生理信息与身体状态信息之间的关联关系，当通过毫米波传感器获取到用户的生理信息时，根据该关联关系和用户的生理信息，确定用户的身体状态信息。
在一个实施例中，所述根据所述用户的生理信息确定所述用户的身体状态信息，包括：将所述呼吸频率、心率以及血糖浓度中的至少一个与对应的参照范围进行比对，根据比对结果确定所述用户的身体状态信息。其中，参照范围可包括呼吸频率参照范围、心率参照范围以及血糖浓度参照范围，呼吸频率参照范围用于表征呼吸频率的正常范围，心率参照范围用于表征心率的正常范围，血糖浓度参照范围用于表征血糖浓度的正常范围。可根据呼吸频率、心率以及血糖浓度是否落入对应的参照范围，来确定用户的身体状态信息。可选地，身体状态信息可包括呼吸频率过低、呼吸频率过高、心率过低、心率过高、血糖浓度过低、血糖浓度过高等。
步骤108，输出所述用户的情绪信息和身体状态信息中的至少一种。
本实施例中的用户数据处理方法，通过毫米波传感器获取处于交互场景中的用户的生理信息，根据用户的生理信息确定用户的情绪信息和身体状态信息中的至少一种，输出用户的情绪信息和身体状态信息中的至少一种。这样，在交互场景下，对用户的情绪信息和身体状态信息进行监控，从而降低交互过程的风险。
在一个实施例中，所述通过毫米波传感器获取处于交互场景中的用户的生理信息，包括：通过所述毫米波传感器发射毫米波信号，并接收所述毫米波信号经过所述用户的待检测部位反射的回波信号；对所述回波信号进行分析，得到所述用户的生理信息。
其中，待检测部位包括：胸腔、心脏、手腕、面部器官以及人体部位中的至少一个，面部器官包括额头、眉毛、眼睛、鼻子、脸颊以及嘴唇中的至少一个，人体部位包括头、颈、躯干、胳膊、手、腿、脚中的至少一个。
具体地，由于胸部的一次起伏为一次呼吸，即一次吸气和一次呼气，因此可通过毫米波传感器对胸腔的震动状态进行检测，以确定用户的呼吸频率。通过毫米波传感器对心脏的跳动情况进行检测，以确定用户的心率。可根据不同葡萄糖浓度下的毫米波信号衰减效应建模，以确定血糖浓度。由于毫米波传感器具备细粒度感知能力，因此可通过毫米波传感器对面部器官进行检测，以确定用户的表情，比如皱眉、咬下唇等，以及微表情调整，比如眼动、眉动、唇动、额动、脸部细微抽动等。也可通过毫米波传感器对人体部位进行检测，以确定用户的姿势，比如维持一个别扭的坐姿、双手捏着衣角等，以及微姿势调整，比如坐姿调整、身体扭动、手部动作等。
具体地，通过毫米波传感器发射毫米波信号，并接收毫米波信号经过用户的待检测部位反射的回波信号，由于毫米波对变化的识别率极高，因此可将待检测部位的反射面分解成多个表面能量点，待检测部位在动态变化时所反射的回波信号即为多个表面能量点的反射的信号的叠加。为了得到这些表面能量点的特性，将回波信号变换成多个与角度、距离、频差有关的特征值表示，这些特征值包括每一个表面能量点的距离、速度和角度。通过深度学习技术与预先建立的特征值数据集进行比较，可唯一确定用户的生理信息。
具体地，将回波信号变换成特征值的原理包括：多普勒效应。多普勒效应是指物体辐射的波长因为光源和观测者的相对运动而产生变化。在运动的波源前面，波被压缩，波长变得较短，频率变得较高，在运动的波源后面，产生相反的效应，波长变得较长，频率变得较低。波源的速度越高，所产生的效应越大，根据光波红/蓝移的程度，可以计算出波源循着观测方向运动的速度。考虑到待检测部位的动态变化，可根据多普勒效应计算出频差。将回波信号变换成特征值的原理还包括：调频连续波。调频连续波是设备发送的毫米波形式，其可计算出相对目标之间的距离。其基本原理为：发射波为高频连续波，其频率随时间按照三角波规律变化。毫米波传感器接收的回波的频率与发射的频率变化规律相同，都是三角波规律，只是有一个时间差，利用这个时间差可计算出距离。
具体地，回波信号处理可包含以下模块：距离处理模块、Capon波束形成模块、物体检测模块、多普勒估计模块等。
关于距离处理模块：对于每个天线，毫米波传感器将样本从ADC模拟转数字信号编码芯片输出缓冲区移动到数字转模拟信号解码芯片的本地存储器，执行16位定点1D窗口和16位定点1D快速傅里叶变换，将样本从数字转模拟信号解码芯片本地存储器移动到雷达立方体存储器。范围处理与帧的线性调频交叉进行，每一帧的其他所有处理均可在线性调频与帧结束之间的空闲时间进行。
关于Capon波束形成模块：s(t)是混合基带信号后的输入信号。传感器阵列信号通过公式X(t)＝A(θ)s(t)+n(t)进行处理。其中，A(θ)＝(a(θ1),…a(θM))是控制矩阵，a(θ)＝(ej2πy1 sin(θ),…,e j2πyN sin(θ))是控制向量，M是角度接收器的数量，yN是按波长归一化的传感器位置。CaponBF方法的公式是θcapon＝argminθ{trace(A(θ)×Rn-1×A(θ)H}，其中Rn是空间协方差矩阵。静态杂物去除通过移除每个范围接收器的直流元件来实现，这消除了静态对象(比如桌子或椅子)在感兴趣区域的反射。然后，对于每个范围区间，使用帧内的多个chirps来计算空间协方差矩阵Rn。接着，将Rn反转，并将Rn-1的上对角线存储在每个距离箱的存储器中。对于每个距离箱，计算Capon波束形成器输出并将角度谱存储在存储器中以构建范围方位热图。
关于物体检测模块：使用两个通道，恒虚警率的检测算法。第一通道在距离域中进行，第二通道在角度域中进行，第二通道对第一通道的结果加以确认，以确定检测点。
关于多普勒估计模块：对于从检测模型中检测到的每一组距离-方位对，利用Capon波束加权算法过滤距离接收器，在滤波后的距离接收器的快速傅里叶变换上进行峰值搜索，以此来估计多普勒。
本实施例中的用户数据处理方法，通过毫米波传感器发射毫米波信号，并接收毫米波信号经过用户的待检测部位反射的回波信号，对回波信号进行分析，得到用户的生理信息以及身体状态信息，提高了对用户的生理信息检测的准确性，进而提高对情绪信息和身体状态信息识别的准确性。
在一个实施例中，所述输出所述用户的情绪信息的方式，包括：输出所述用户的情绪信息至会话窗口组件或者悬浮窗，所述会话窗口组件或者所述悬浮窗用于展示所述用户的情绪信息，所述会话窗口组件或者所述悬浮窗的展示形式包括表情包、情绪指示盘、情绪进度条中的至少一种。
其中，会话窗口组件是设置在会话窗口内的组件。会话窗口组件可设置于会话窗口的任意位置，比如会话窗口的消息显示界面、会话窗口的信息显示界面(比如群成员所在的显示界面、QQ秀所在的显示界面)等。悬浮窗是独立于会话窗口的新窗口。
会话窗口组件和悬浮窗的展示形式可包括表情包、情绪指示盘、情绪进度条中的至少一种。表情包可以是系统提供的动态图像作为载体，也可以是用户自选的动态图像作为载体。情绪指示盘可包括至少两个用于表示不同情绪的情绪图示以及指示组件，根据会话信息发送者的情绪信息控制指示组件所指向的情绪图示。情绪进度条可包括至少两个用于表示不同情绪的情绪图示以及进程组件，根据会话信息发送者的情绪信息控制进程组件所在的位置。
本实施例中的用户数据处理方法，输出用户的情绪信息至会话窗口组件或者悬浮窗，使得用户可对自己的情绪信息进行监控，以及时调整自己的情绪信息。
图2为一个实施例中会话数据处理方法的流程图。图2所示的会话数据处理方法可应用于上述电子设备中，包括：
步骤202，通过毫米波传感器获取会话消息发送者的生理信息。
其中，会话是至少一个用户与其他用户之间进行交互的过程。终端可建立用于进行会话的群组。群组是包括至少一个用户标识的用户集合，且群组中的各用户标识所表示的用户之间可依据该群组进行信息共享和消息交互。群组可以是视频会话的群组，也可以是语音会话的群组，还可以是通过文本消息、语音消息、视频消息、图片消息进行交互的群组。
其中，会话消息发送者是在会话过程中，发送会话消息的用户。会话消息可为文本消息、语音消息、视频消息、图片消息等。文本消息是消息内容为文本的消息。语音消息是可播放语音数据的消息，语音消息可以包括语音数据本身或者包括用于下载该语音数据的链接地址。视频消息是可播放视频的消息，视频消息可以包括视频本身或者包括用于下载该视频的链接地址。图片消息可以是包括图片、图片的链接地址或者事先约定的图片标识的消息；其中，图片的链接地址可用于下载相应的图片，事先约定的图片标识可用于下载或者从本地选择相应的图片；图片可以是用户上传的图片或者存在于服务器上的图片，图片可以是表情图片。
其中，生理信息是用户在生理方面的信息，生理是指生物机体的机能，即整个生物机体及其各个器官所表现的各种生命现象。在一个实施例中，生理信息可包括呼吸频率、心率、表情信息、姿势信息中的至少一个。
步骤204，根据所述会话消息发送者的生理信息，确定所述会话消息发送者的情绪信息。
在一个实施例中，可预先存储生理信息与情绪信息之间的关联关系，当通过毫米波传感器获取到会话消息发送者的生理信息时，根据该关联关系和会话消息发送者的生理信息，确定会话消息发送者的情绪信息。在另一个实施例中，可将会话信息发送者的生理信息输入训练好的神经网络模型中，经过该神经网络模型的处理，得到该神经网络模型输出的会话信息发送者的情绪信息。可选地，该神经网络模型可根据生理信息样本以及情绪信息标签训练得到。
步骤206，将所述会话消息发送者的情绪信息发送给会话消息接收者。
其中，会话消息接收者是在会话过程中，接收会话消息的用户。
在一个实施例中，实时或者定时将会话消息发送者的情绪信息发送给会话消息接收者，这样，会话消息接收者可实时或者定时监测会话消息发送者的情绪信息。在另一个实施例中，将会话消息发送者的情绪信息与该会话消息发送者的会话消息一起发送给会话消息接收者，这样，会话消息接收者在接收到会话消息时，可监测到会话消息发送者在输入会话消息时的情绪信息。
本实施例中的会话数据处理方法，通过毫米波传感器获取会话消息发送者的生理信息，根据会话消息发送者的生理信息确定会话消息发送者的情绪信息，将会话消息发送者的情绪信息发送给会话消息接收者，其中，当会话消息接收者接收到会话消息发送者的情绪信息时，输出会话消息发送者的情绪信息，这样，在会话过程中，会话消息接收者可对会话消息发送者在会话过程中的情绪进行监控，使得会话消息接收者可根据会话消息发送者的情绪调整待发送的会话消息，从而提高会话效率。
在一个实施例中，如图3所示，所述通过毫米波传感器获取会话消息发送者的生理信息，包括：
步骤302，通过所述毫米波传感器发射毫米波信号，并接收所述毫米波信号经过所述会话消息发送者的待检测部位反射的回波信号；
步骤304，对所述回波信号进行分析，得到所述会话消息发送者的生理信息。
具体地，通过毫米波传感器发射毫米波信号，并接收毫米波信号经过会话消息发送者的待检测部位反射的回波信号，由于毫米波对变化的识别率极高，因此可将待检测部位的反射面分解成多个表面能量点，待检测部位在动态变化时所反射的回波信号即为多个表面能量点的反射的信号的叠加。为了得到这些表面能量点的特性，将回波信号变换成多个与角度、距离、频差有关的特征值表示，这些特征值包括每一个表面能量点的距离、速度和角度。通过深度学习技术与预先建立的特征值数据集进行比较，可唯一确定会话消息发送者的生理信息。
本实施例中的会话数据处理方法，通过毫米波传感器发射毫米波信号，并接收毫米波信号经过会话消息发送者的待检测部位反射的回波信号，对回波信号进行分析，得到会话消息发送者的生理信息，提高了对用户的生理信息检测的准确性。
在一个实施例中，所述根据所述会话消息发送者的生理信息，确定所述会话消息发送者的情绪信息，包括：将所述会话消息发送者的生理信息输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述会话消息发送者的情绪信息。
本实施例中的会话数据处理方法，将会话消息发送者的生理信息输入训练好的情绪识别模型中，得到训练好的情绪识别模型中分类器输出的会话消息发送者的情绪信息，这样，提高了对用户的情绪信息识别的准确性。
在一个实施例中，所述情绪识别模型的训练方式，包括：将所述生理信息样本输入待训练的情绪识别模型中，经过所述待训练的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述待训练的情绪识别模型中分类器输出的预测情绪信息；按照所述生理信息样本对应的情绪信息标签与所述预测情绪信息之间的差异，调整所述情绪识别模型的参数并继续训练，直至满足训练停止条件时结束训练。
本实施例中的会话数据处理方法，将生理信息样本输入待训练的情绪识别模型中，得到待训练的情绪识别模型中分类器输出的预测情绪信息，按照情绪信息标签与预测情绪信息之间的差异，调整情绪识别模型的参数并继续训练，直至满足训练停止条件时结束训练，这样，提高了对用户的情绪信息识别的准确性。
在一个实施例中，所述方法还包括：输出所述会话消息发送者的情绪信息。
具体地，输出会话消息发送者的情绪信息，使得会话消息发送者可对自己的情绪信息进行监控。可选地，实时或者定时输出会话消息发送者的情绪信息，这样，会话消息发送者可实时或者定时监测自己的情绪信息。可选地，将会话消息发送者的情绪信息与会话消息一起输出，这样，会话消息发送者可监测到自己输入会话消息时的情绪信息。
在一个实施例中，该情绪信息的输出方式可为文字方式、语音方式、图像方式、视频方式等。可选地，输出会话消息发送者的情绪信息至会话窗口组件或者悬浮窗。
本实施例中的会话数据处理方法，输出会话消息发送者的情绪信息，使得会话消息发送者可对自己的情绪信息进行监控，以及时调整自己的情绪信息。
在一个实施例中，所述输出所述会话消息发送者的情绪信息，包括：输出所述会话消息发送者的情绪信息至会话窗口组件或者悬浮窗，所述会话窗口组件或者所述悬浮窗用于展示所述会话消息发送者的情绪信息，所述会话窗口组件或者所述悬浮窗的展示形式包括表情包、情绪指示盘、情绪进度条中的至少一种。
会话窗口组件和悬浮窗的展示形式可包括表情包、情绪指示盘、情绪进度条中的至少一种。表情包可以是系统提供的动态图像作为载体，也可以是会话消息发送者自选的动态图像作为载体。情绪指示盘可包括至少两个用于表示不同情绪的情绪图示以及指示组件，根据会话信息发送者的情绪信息控制指示组件所指向的情绪图示。如图4所示，图4为一个实施例中情绪指示盘的示意图。情绪进度条可包括至少两个用于表示不同情绪的情绪图示以及进程组件，根据会话信息发送者的情绪信息控制进程组件所在的位置。如图5所示，图5为一个实施例中情绪进度条的示意图。
本实施例中的会话数据处理方法，输出会话消息发送者的情绪信息至会话窗口组件或者悬浮窗，使得会话消息发送者可对自己的情绪信息进行监控，以及时调整自己的情绪信息。
在一个实施例中，如图6所示，所述方法还包括：
步骤602，根据所述会话消息发送者的生理信息，确定所述会话消息发送者的运动监测信息；
其中，生理信息还包括血糖浓度。运动监测信息可包括呼吸频率、心率以及血糖浓度等。
具体地，从会话消息发送者的生理信息中提取会话消息发送者的运动监测信息。
步骤604，将所述会话消息发送者的运动监测信息发送给会话消息接收者。
其中，当所述会话消息接收者接收到所述会话消息发送者的运动监测信息时，输出所述会话消息发送者的运动监测信息。
在一个实施例中，通过毫米波传感器发射毫米波信号，并接收毫米波信号经过会话消息发送者的待检测部位反射的回波信号，对回波信号进行分析，得到会话消息发送者的血糖浓度。可选地，该待检测部位可为手腕。预先对不同葡萄糖浓度下的毫米波信号衰减效应建模(封闭式数学模型或深度学习黑盒模型)，同时考虑信号与人体组织与皮肤之间复杂的相互作用，以准确检测人体血糖水平。
在一个实施例中，在会话过程中，会话信息发送者可能一边运动(比如跑步、体感健身游戏等)，一边进行会话。但是，当会话信息发送者的生理状态因运动发生异常时，就会导致危险，本实施例采集会话消息发送者的运动监测信息，并将运动监测信息发送至会话消息接收者，以使会话消息接收者留意会话消息发送者的生理状态，如有异常情况可采集措施。
在一个实施例中，可输出所述会话消息发送者的运动监测信息至会话窗口组件或者悬浮窗，所述会话窗口组件或者所述悬浮窗用于展示所述会话消息发送者的运动监测信息，所述会话窗口组件或者所述悬浮窗的展示形式可为图表形式。
本实施例中的会话数据处理方法，根据会话消息发送者的生理信息，确定会话消息发送者的运动监测信息；将会话消息发送者的运动监测信息发送给会话消息接收者，其中，当会话消息接收者接收到会话消息发送者的运动监测信息时，输出会话消息发送者的运动监测信息，这样，使得会话消息接收者留意会话消息发送者的生理状态。
在一个实施例中，所述方法还包括：输出所述会话消息发送者的运动监测信息。
在一个实施例中，实时或者定时输出会话消息发送者的运动监测信息，这样，会话消息发送者可实时或者定时监测自己的生理状态。
在一个实施例中，该运动监测信息的输出方式可为文字方式、语音方式、图像方式、视频方式等。可选地，输出会话消息发送者的运动监测信息至会话窗口组件或者悬浮窗。
本实施例中的会话数据处理方法，使得会话信息发送者实时关注自身的生理状态。
图7为一个实施例中会话数据处理方法的流程图。图7所示的会话数据处理方法可应用于上述电子设备中，包括：
步骤702，接收会话过程中会话消息发送者的情绪信息，其中，所述会话消息发送者的情绪信息是通过毫米波传感器获取所述会话消息发送者的生理信息，并根据所述会话消息发送者的生理信息确定的。
在一个实施例中，实时或者定时将会话消息发送者的情绪信息发送给会话消息接收者，这样，会话消息接收者可实时或者定时监测会话消息发送者的情绪信息。在另一个实施例中，将会话消息发送者的情绪信息与该会话消息发送者的会话消息一起发送给会话消息接收者，这样，会话消息接收者在接收到会话消息时，可监测到会话消息发送者在输入会话消息时的情绪信息。
步骤704，输出所述会话消息发送者的情绪信息。
在一个实施例中，输出会话消息发送者的情绪信息，使得会话消息接收者可对会话消息发送者的情绪信息进行监控。该情绪信息的输出方式可为文字方式、语音方式、图像方式、视频方式等。可选地，输出会话消息发送者的情绪信息至会话窗口组件或者悬浮窗。
本实施例中的会话数据处理方法，接收会话过程中会话消息发送者的情绪信息，其中，会话消息发送者的情绪信息是通过毫米波传感器获取会话消息发送者的生理信息，并根据会话消息发送者的生理信息确定的，输出会话消息发送者的情绪信息，这样，在会话过程中，会话消息接收者可对会话消息发送者在会话过程中的情绪进行监控，使得会话消息接收者可根据会话消息发送者的情绪调整待发送的会话消息，从而提高会话效率。
在一个实施例中，所述输出所述会话消息发送者的情绪信息，包括：输出所述会话消息发送者的情绪信息至会话窗口组件或者悬浮窗，所述会话窗口组件或者所述悬浮窗用于展示所述会话消息发送者的情绪信息，所述会话窗口组件或者所述悬浮窗的展示形式包括表情包、情绪指示盘、情绪进度条中的至少一种。
本实施例中的会话数据处理方法，输出会话消息发送者的情绪信息至会话窗口组件或者悬浮窗，使得会话消息接收者可对会话信息发送者的情绪信息进行监控。
在一个实施例中，所述方法还包括：接收会话过程中会话消息发送者的运动监测信息，其中，所述会话消息发送者的运动监测信息是通过毫米波传感器获取所述会话消息发送者的生理信息，并根据所述会话消息发送者的生理信息确定的；输出所述会话消息发送者的运动监测信息。其中，生理信息还包括血糖浓度。运动监测信息可包括呼吸频率、心率以及血糖浓度等。
本实施例中的会话数据处理方法，接收会话过程中会话消息发送者的运动监测信息，其中，会话消息发送者的运动监测信息是通过毫米波传感器获取会话消息发送者的生理信息，并根据会话消息发送者的生理信息确定的，输出会话消息发送者的运动监测信息，这样，使得会话消息接收者留意会话消息发送者的生理状态。
在一个实施例中，所述方法还包括：获取所述会话消息发送者的会话消息，根据所述会话消息发送者的会话消息识别所述会话消息发送者的情绪信息，所述会话消息包括文本消息、语音消息、视频消息和图片消息中的至少一种；当根据所述会话消息识别得到的所述会话消息发送者的情绪信息与接收到的所述会话消息发送者的情绪信息不一致时，输出提示信息。
在一个实施例中，根据会话消息识别情绪信息的方式可以是：将会话消息输入训练好的神经网络模型中，得到训练好的神经网络模型输出的情绪信息。该神经网络模型可根据会话消息样本以及会话消息样本对应的情绪信息标签进行训练。会话消息样本可为历史会话消息，其涵盖了会话过程中常用的会话消息。
当会话消息为文本消息时，该神经网络模型可直接对文本消息进行分析，得到该文本消息所对应的情绪信息。当会话消息为语音消息时，可获取该语音消息的语音识别文本，该神经网络模型对语音识别文本进行分析，得到该语音识别文本所对应的情绪信息。当会话消息为视频消息时，可获取该视频消息的语音识别文本，或者对该视频进行抽帧处理，该神经网络模型对语音识别文本或者抽帧结果进行分析，得到该视频消息所对应的情绪信息。当会话消息为图片消息时，该神经网络模型可直接对图片消息进行分析，得到该图片消息所对应的情绪信息。
具体地，当根据会话消息识别得到的会话消息发送者的情绪信息与接收到的会话消息发送者的情绪信息不一致时，说明会话消息发送者发送的会话消息所表现的情绪与其真实的情绪不一致，比如，会话消息发送者发送的会话消息为“我没生气”，而接收的会话消息发送者的情绪信息为愤怒。此时可输出提示信息，以使会话消息接收者留意会话消息发送者的真实情绪。
在一个实施例中，提示信息可为文字或者语音的形式。提示信息也可通过会话窗口组件或者悬浮窗输出。
本实施例中的会话数据处理方法，获取会话消息发送者的会话消息，根据会话消息发送者的会话消息识别会话消息发送者的情绪信息，当根据会话消息识别得到的会话消息发送者的情绪信息与接收到的会话消息发送者的情绪信息不一致时，输出提示信息，这样，对会话消息发送者的真实情绪进行提醒，提高了会话效率。
应该理解的是，虽然图2-3、图6-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3、图6-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例的用户数据处理装置800的结构框图。如图8所示，一种用户数据处理装置800，包括：获取模块802、输入模块804、比对模块806和输出模块808。其中：
获取模块802，用于通过毫米波传感器获取处于交互场景中的用户的生理信息，所述交互场景包括会话交互场景、运动交互场景以及体感游戏交互场景中的至少一种；
输入模块804，用于将所述生理信息输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述用户的情绪信息，所述训练好的情绪识别模型是根据生理信息样本以及所述生理信息样本对应的情绪信息标签训练得到的；
比对模块806，用于将所述生理信息与对应的参照范围进行比对，根据比对结果确定所述用户的身体状态信息；
输出模块808，用于输出所述用户的情绪信息和身体状态信息中的至少一种
本实施中的用户数据处理装置800，通过毫米波传感器获取处于交互场景中的用户的生理信息，根据用户的生理信息确定用户的情绪信息和身体状态信息中的至少一种，输出用户的情绪信息和身体状态信息中的至少一种。这样，在交互过程中，对用户的情绪信息和身体状态信息进行监控，从而降低交互过程的风险。
在一个实施例中，所述输出模块808，还用于：输出所述用户的情绪信息至会话窗口组件或者悬浮窗，所述会话窗口组件或者所述悬浮窗用于展示所述会话消息发送者的情绪信息，所述会话窗口组件或者所述悬浮窗的展示形式包括表情包、情绪指示盘、情绪进度条中的至少一种。
关于用户数据处理装置的具体限定可以参见上文中对于用户数据处理方法的限定，在此不再赘述。上述用户数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图9为一个实施例的会话数据处理装置的结构框图。如图9所示，一种会话数据处理装置900，包括：获取模块902、确定模块904和发送模块906。其中：
获取模块902，用于通过毫米波传感器获取会话消息发送者的生理信息；
确定模块904，用于根据所述会话消息发送者的生理信息，确定所述会话消息发送者的情绪信息；
发送模块906，用于将所述会话消息发送者的情绪信息发送给会话消息接收者。
本实施中的会话数据处理装置900，通过毫米波传感器获取会话消息发送者的生理信息，根据会话消息发送者的生理信息确定会话消息发送者的情绪信息，将会话消息发送者的情绪信息发送给会话消息接收者，其中，当会话消息接收者接收到会话消息发送者的情绪信息时，输出会话消息发送者的情绪信息，这样，在会话过程中，会话消息接收者可对会话消息发送者在会话过程中的情绪进行监控，使得会话消息接收者可根据会话消息发送者的情绪调整待发送的会话消息，从而提高会话效率。
在一个实施例中，所述生理信息包括呼吸频率、心率、表情信息以及姿势信息中的至少一个；所述获取模块902，还用于：通过所述毫米波传感器发射毫米波信号，并接收所述毫米波信号经过所述会话消息发送者的待检测部位反射的回波信号，所述待检测部位包括：胸腔、心脏、面部器官以及人体部位中的至少一个，所述面部器官包括额头、眉毛、眼睛、鼻子、脸颊以及嘴唇中的至少一个，所述人体部位包括头、颈、躯干、胳膊、手、腿、脚中的至少一个；对所述回波信号进行分析，得到所述会话消息发送者的生理信息。
在一个实施例中，所述确定模块904，还用于：将所述会话消息发送者的生理信息输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述会话消息发送者的情绪信息，所述训练好的情绪识别模型是根据生理信息样本以及所述生理信息样本对应的情绪信息标签训练得到的。
在一个实施例中，所述会话数据处理装置900还包括：训练模块，所述训练模块，还用于：将所述生理信息样本输入待训练的情绪识别模型中，经过所述待训练的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述待训练的情绪识别模型中分类器输出的预测情绪信息；按照所述生理信息样本对应的情绪信息标签与所述预测情绪信息之间的差异，调整所述情绪识别模型的参数并继续训练，直至满足训练停止条件时结束训练。
在一个实施例中，所述生理信息还包括血糖浓度；所述确定模块904，还用于：根据所述会话消息发送者的生理信息，确定所述会话消息发送者的运动监测信息；所述发送模块906，还用于：将所述会话消息发送者的运动监测信息发送给会话消息接收者。
图10为一个实施例的会话数据处理装置的结构框图。如图10所示，一种会话数据处理装置1000，包括：接收模块1002和输出模块1004。其中：
接收模块1002，用于接收会话过程中会话消息发送者的情绪信息，其中，所述会话消息发送者的情绪信息是通过毫米波传感器获取所述会话消息发送者的生理信息，并根据所述会话消息发送者的生理信息确定的；
输出模块1004，用于输出所述会话消息发送者的情绪信息。
本实施中的会话数据处理装置1000，接收会话过程中会话消息发送者的情绪信息，其中，会话消息发送者的情绪信息是通过毫米波传感器获取会话消息发送者的生理信息，并根据会话消息发送者的生理信息确定的，输出会话消息发送者的情绪信息，这样，在会话过程中，会话消息接收者可对会话消息发送者在会话过程中的情绪进行监控，使得会话消息接收者可根据会话消息发送者的情绪调整待发送的会话消息，从而提高会话效率。
在一个实施例中，所述输出模块1004，还用于：输出所述会话消息发送者的情绪信息至会话窗口组件或者悬浮窗，所述会话窗口组件或者所述悬浮窗用于展示所述会话消息发送者的情绪信息，所述会话窗口组件或者所述悬浮窗的展示形式包括表情包、情绪指示盘、情绪进度条中的至少一种。
在一个实施例中，所述接收模块1002，还用于：接收会话过程中会话消息发送者的运动监测信息，其中，所述会话消息发送者的运动监测信息是通过毫米波传感器获取所述会话消息发送者的生理信息，并根据所述会话消息发送者的生理信息确定的；所述输出模块1004，还用于：输出所述会话消息发送者的运动监测信息。
在一个实施例中，所述会话数据处理装置1000还包括：获取模块，所述获取模块，还用于：获取所述会话消息发送者的会话消息，根据所述会话消息发送者的会话消息识别所述会话消息发送者的情绪信息，所述会话消息包括文本消息、语音消息、视频消息和图片消息中的至少一种；所述输出模块1004，还用于：当根据所述会话消息识别得到的所述会话消息发送者的情绪信息与接收到的所述会话消息发送者的情绪信息不一致时，输出提示信息。
上述会话数据处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将会话数据处理装置按照需要划分为不同的模块，以完成上述会话数据处理装置的全部或部分功能。
关于会话数据处理装置的具体限定可以参见上文中对于会话数据处理方法的限定，在此不再赘述。上述会话数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图11为一个实施例中电子设备的内部结构示意图。如图11所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的用户数据处理方法或者会话数据处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的用户数据处理装置或者会话数据处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行用户数据处理方法或者会话数据处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行用户数据处理方法或者会话数据处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种用户数据处理方法，其特征在于，包括：
通过毫米波传感器获取处于交互场景中的用户的生理信息，所述交互场景包括会话交互场景、运动交互场景以及体感游戏交互场景中的至少一种；
将所述生理信息输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述用户的情绪信息，所述训练好的情绪识别模型是根据生理信息样本以及所述生理信息样本对应的情绪信息标签训练得到的；
将所述生理信息与对应的参照范围进行比对，根据比对结果确定所述用户的身体状态信息；
输出所述用户的情绪信息和身体状态信息中的至少一种。
2.根据权利要求1所述的方法，其特征在于，所述输出所述用户的情绪信息的方式，包括：
输出所述用户的情绪信息至会话窗口组件或者悬浮窗，所述会话窗口组件或者所述悬浮窗用于展示所述会话消息发送者的情绪信息，所述会话窗口组件或者所述悬浮窗的展示形式包括表情包、情绪指示盘、情绪进度条中的至少一种。
3.一种会话数据处理方法，其特征在于，包括：
通过毫米波传感器获取会话消息发送者的生理信息；
根据所述会话消息发送者的生理信息，确定所述会话消息发送者的情绪信息；
将所述会话消息发送者的情绪信息发送给会话消息接收者。
4.根据权利要求3所述的方法，其特征在于，所述生理信息包括呼吸频率、心率、表情信息以及姿势信息中的至少一个；
所述通过毫米波传感器获取会话消息发送者的生理信息，包括：
通过所述毫米波传感器发射毫米波信号，并接收所述毫米波信号经过所述会话消息发送者的待检测部位反射的回波信号，所述待检测部位包括：胸腔、心脏、面部器官以及人体部位中的至少一个，所述面部器官包括额头、眉毛、眼睛、鼻子、脸颊以及嘴唇中的至少一个，所述人体部位包括头、颈、躯干、胳膊、手、腿、脚中的至少一个；
对所述回波信号进行分析，得到所述会话消息发送者的生理信息。
5.根据权利要求3所述的方法，其特征在于，所述根据所述会话消息发送者的生理信息，确定所述会话消息发送者的情绪信息，包括：
将所述会话消息发送者的生理信息输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述会话消息发送者的情绪信息，所述训练好的情绪识别模型是根据生理信息样本以及所述生理信息样本对应的情绪信息标签训练得到的。
6.根据权利要求5所述的方法，其特征在于，所述情绪识别模型的训练方式，包括：
将所述生理信息样本输入待训练的情绪识别模型中，经过所述待训练的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述待训练的情绪识别模型中分类器输出的预测情绪信息；
按照所述生理信息样本对应的情绪信息标签与所述预测情绪信息之间的差异，调整所述情绪识别模型的参数并继续训练，直至满足训练停止条件时结束训练。
7.根据权利要求3所述的方法，其特征在于，所述生理信息包括血糖浓度；
所述方法还包括：
根据所述会话消息发送者的生理信息，确定所述会话消息发送者的运动监测信息；
将所述会话消息发送者的运动监测信息发送给会话消息接收者。
8.一种会话数据处理方法，其特征在于，包括：
接收会话过程中会话消息发送者的情绪信息，其中，所述会话消息发送者的情绪信息是通过毫米波传感器获取所述会话消息发送者的生理信息，并根据所述会话消息发送者的生理信息确定的；
输出所述会话消息发送者的情绪信息。
9.根据权利要求8所述的方法，其特征在于，所述输出所述会话消息发送者的情绪信息，包括：
输出所述会话消息发送者的情绪信息至会话窗口组件或者悬浮窗，所述会话窗口组件或者所述悬浮窗用于展示所述会话消息发送者的情绪信息，所述会话窗口组件或者所述悬浮窗的展示形式包括表情包、情绪指示盘、情绪进度条中的至少一种。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
接收会话过程中会话消息发送者的运动监测信息，其中，所述会话消息发送者的运动监测信息是通过毫米波传感器获取所述会话消息发送者的生理信息，并根据所述会话消息发送者的生理信息确定的；
输出所述会话消息发送者的运动监测信息。
11.根据权利要求8所述的方法，其特征在于，所述方法还包括：
获取所述会话消息发送者的会话消息，根据所述会话消息发送者的会话消息识别所述会话消息发送者的情绪信息，所述会话消息包括文本消息、语音消息、视频消息和图片消息中的至少一种；
当根据所述会话消息识别得到的所述会话消息发送者的情绪信息与接收到的所述会话消息发送者的情绪信息不一致时，输出提示信息。
12.一种用户数据处理装置，其特征在于，包括：
获取模块，用于通过毫米波传感器获取处于交互场景中的用户的生理信息，所述交互场景包括会话交互场景、运动交互场景以及体感游戏交互场景中的至少一种；
输入模块，用于将所述生理信息输入训练好的情绪识别模型中，经过所述训练好的情绪识别模型中卷积层、池化层和全连接层的处理，得到所述训练好的情绪识别模型中分类器输出的所述用户的情绪信息，所述训练好的情绪识别模型是根据生理信息样本以及所述生理信息样本对应的情绪信息标签训练得到的；
比对模块，用于将所述生理信息与对应的参照范围进行比对，根据比对结果确定所述用户的身体状态信息；
输出模块，用于输出所述用户的情绪信息和身体状态信息中的至少一种。
13.一种会话数据处理装置，其特征在于，包括：
获取模块，用于通过毫米波传感器获取会话消息发送者的生理信息；
确定模块，用于根据所述会话消息发送者的生理信息，确定所述会话消息发送者的情绪信息；
发送模块，用于将所述会话消息发送者的情绪信息发送给会话消息接收者。
14.一种会话数据处理装置，其特征在于，包括：
接收模块，用于接收会话过程中会话消息发送者的情绪信息，其中，所述会话消息发送者的情绪信息是通过毫米波传感器获取所述会话消息发送者的生理信息，并根据所述会话消息发送者的生理信息确定的；
输出模块，用于输出所述会话消息发送者的情绪信息。
15.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述的用户数据处理方法或者会话数据处理方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的用户数据处理方法或者会话数据处理方法的步骤。
CN202010058087.3A 2020-01-19 2020-01-19 用户数据处理、会话数据处理方法和装置、电子设备 Withdrawn CN113140312A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010058087.3A CN113140312A (zh) 2020-01-19 2020-01-19 用户数据处理、会话数据处理方法和装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010058087.3A CN113140312A (zh) 2020-01-19 2020-01-19 用户数据处理、会话数据处理方法和装置、电子设备

Publications (1)

Publication Number Publication Date
CN113140312A true CN113140312A (zh) 2021-07-20

Family

ID=76808686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010058087.3A Withdrawn CN113140312A (zh) 2020-01-19 2020-01-19 用户数据处理、会话数据处理方法和装置、电子设备

Country Status (1)

Country Link
CN (1) CN113140312A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642440A (zh) * 2021-08-06 2021-11-12 深圳大学 一种呼吸频率估计方法、装置、设备及存储介质
CN114287938A (zh) * 2021-12-13 2022-04-08 重庆大学 建筑环境中人体参数的安全区间获得方法和设备
CN115826062A (zh) * 2022-11-22 2023-03-21 广东分数维无线科技有限公司 基于毫米波雷达的生物体识别系统及方法
CN116440425A (zh) * 2023-06-19 2023-07-18 深圳市科医仁科技发展有限公司 一种led光动力治疗仪的智能调节方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030139654A1 (en) * 2002-01-23 2003-07-24 Samsung Electronics Co., Ltd. System and method for recognizing user's emotional state using short-time monitoring of physiological signals
CN106580346A (zh) * 2015-10-14 2017-04-26 松下电器（美国）知识产权公司 情绪推定方法和情绪推定装置
CN108833721A (zh) * 2018-05-08 2018-11-16 广东小天才科技有限公司 一种基于通话的情绪分析方法及用户终端、系统
CN109585021A (zh) * 2018-11-28 2019-04-05 华南理工大学 基于全息投影技术的精神状态评估系统及其工作方法
CN110475019A (zh) * 2019-07-30 2019-11-19 Oppo广东移动通信有限公司 可感知对方情绪的通话方法、装置及终端设备
CN110507335A (zh) * 2019-08-23 2019-11-29 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030139654A1 (en) * 2002-01-23 2003-07-24 Samsung Electronics Co., Ltd. System and method for recognizing user's emotional state using short-time monitoring of physiological signals
CN106580346A (zh) * 2015-10-14 2017-04-26 松下电器（美国）知识产权公司 情绪推定方法和情绪推定装置
CN108833721A (zh) * 2018-05-08 2018-11-16 广东小天才科技有限公司 一种基于通话的情绪分析方法及用户终端、系统
CN109585021A (zh) * 2018-11-28 2019-04-05 华南理工大学 基于全息投影技术的精神状态评估系统及其工作方法
CN110475019A (zh) * 2019-07-30 2019-11-19 Oppo广东移动通信有限公司 可感知对方情绪的通话方法、装置及终端设备
CN110507335A (zh) * 2019-08-23 2019-11-29 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642440A (zh) * 2021-08-06 2021-11-12 深圳大学 一种呼吸频率估计方法、装置、设备及存储介质
CN113642440B (zh) * 2021-08-06 2024-05-14 深圳大学 一种呼吸频率估计方法、装置、设备及存储介质
CN114287938A (zh) * 2021-12-13 2022-04-08 重庆大学 建筑环境中人体参数的安全区间获得方法和设备
CN114287938B (zh) * 2021-12-13 2024-02-13 重庆大学 建筑环境中人体参数的安全区间获得方法和设备
CN115826062A (zh) * 2022-11-22 2023-03-21 广东分数维无线科技有限公司 基于毫米波雷达的生物体识别系统及方法
CN116440425A (zh) * 2023-06-19 2023-07-18 深圳市科医仁科技发展有限公司 一种led光动力治疗仪的智能调节方法及系统
CN116440425B (zh) * 2023-06-19 2023-08-18 深圳市科医仁科技发展有限公司 一种led光动力治疗仪的智能调节方法及系统

Similar Documents

Publication Publication Date Title
CN113140312A (zh) 用户数据处理、会话数据处理方法和装置、电子设备
Song et al. PulseGAN: Learning to generate realistic pulse waveforms in remote photoplethysmography
US11989340B2 (en) Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system
US11908245B2 (en) Monitoring and analyzing body language with machine learning, using artificial intelligence systems for improving interaction between humans, and humans and robots
Andreu et al. Wize Mirror-a smart, multisensory cardio-metabolic risk monitoring system
US20190025919A1 (en) System, method and apparatus for detecting facial expression in an augmented reality system
Cohn Advances in behavioral science using automated facial image analysis and synthesis [social sciences]
US20180240261A1 (en) System, method and apparatus for detecting facial expression in a virtual reality system
US20140085101A1 (en) Devices and methods to facilitate affective feedback using wearable computing devices
CN111986775A (zh) 数字人的健身教练指导方法、装置、电子设备及存储介质
KR102377561B1 (ko) 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
CN111839489A (zh) 非接触式生理心理健康检测系统
JP2022523631A (ja) 心拍数測定システム
US20240099639A1 (en) System for measuring heart rate
Niewiadomski et al. Towards multimodal expression of laughter
Panning et al. Multimodal affect recognition in spontaneous HCI environment
Urbain et al. Multimodal analysis of laughter for an interactive system
Rack et al. Comparison of data encodings and machine learning architectures for user identification on arbitrary motion sequences
CN109276233A (zh) 一种面向视频流的分布式人脸及生理特征识别方法
Ding et al. Audio-driven laughter behavior controller
TWI646438B (zh) 情緒偵測系統及方法
CN114145730B (zh) 基于深度学习与射频感知的生命体征监测动作去除方法
Lussu et al. The role of respiration audio in multimodal analysis of movement qualities
Zaki et al. Smart medical chatbot with integrated contactless vital sign monitor
Yang et al. Non-contact breathing rate detection based on time of flight sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210720

WW01 Invention patent application withdrawn after publication