CN113791690A - 一种带有实时情绪识别功能的人机交互公共设备 - Google Patents
一种带有实时情绪识别功能的人机交互公共设备 Download PDFInfo
- Publication number
- CN113791690A CN113791690A CN202111107892.1A CN202111107892A CN113791690A CN 113791690 A CN113791690 A CN 113791690A CN 202111107892 A CN202111107892 A CN 202111107892A CN 113791690 A CN113791690 A CN 113791690A
- Authority
- CN
- China
- Prior art keywords
- operator
- real
- human
- emotion recognition
- recognition function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 53
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 39
- 230000006870 function Effects 0.000 claims abstract description 40
- 230000033764 rhythmic process Effects 0.000 claims abstract description 16
- 230000036760 body temperature Effects 0.000 claims abstract description 11
- 230000009471 action Effects 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 238000010801 machine learning Methods 0.000 claims description 15
- 230000008451 emotion Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 208000019901 Anxiety disease Diseases 0.000 claims description 3
- 230000036506 anxiety Effects 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012731 temporal analysis Methods 0.000 claims description 3
- 238000000700 time series analysis Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims 1
- 238000009529 body temperature measurement Methods 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- Evolutionary Computation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种带有实时情绪识别功能的人机交互公共设备，包括：触摸屏，用于显示图像且具有虚拟功能键；触摸屏压力传感器、多轴向振动传感器、红外测温传感器，分别设置在触摸屏的下方，以感应操作者的压力大小、接触面积、手指、手掌和头面部的体温、操作者的身高、触摸操作时距屏幕的距离；CPU，控制各技术特征协调工作；GPU，为显示信息进行转换驱动，控制显示器的正确显示；系统软件，包括操作系统、算法和应用、操作特征数据库、内容和素材；及内存和存储器，用于存储数据和加载系统软件。人机交互时，系统获取操作者的触及动作频率、节奏、手掌和脸部的体温、操作间的停顿等操作特征，并且根据振动、距离和身高计算出操作力度、行程、幅度。
Description
技术领域
本发明涉及一种人机交互公共设备，特别是涉及一种带有实时情绪识别功能的人机交互公共设备。
背景技术
随着物联网传感器的普及、芯片计算能力的提升，感知物理世界的精度和频度越来越高，采集的数据越来越全面和深入。但是目前的人机交互公共设备，如餐厅的自助点餐屏、商场的导航屏、影院的自助售票屏，都缺少相应的感知能力，不仅缺失传感器等硬件组件，也缺少相应的软件系统模块，使得公共交互设备不能很好的提升公共服务的体验，甚至给操作者带来麻烦。
当前的交互设备大部分缺少多角度的感知能力，主要依赖视频采集、音频采集工具获取表情和语音语调等单一的信息来计算操作者情绪。
由于视频音频采集设备受到环境干扰等因素的制约，无法准确获取脸部视频或语音音频。
摄像头、麦克风等设备所采集的信息可能涉及可识别操作者身份的敏感信息，例如，脸部特征、声纹等。因此，采集时应当告知操作者，而当操作者知晓有此类影音采集设备工作时，会刻意改变表情或音调，更倾向于隐藏掩饰自己的情绪。
视频音频数据属于非结构化数据，数据传输所需的网络带宽较大、分析处理时的耗费的计算资源较高、建模的效率较低。如果还需要进行实时的识别，对于交互设备本地的计算资源和I/O资源要求都极高，硬件成本大大上升。
因此目前主流的交互设备无法准确的获取并识别操作者的情绪，也就不能及时反馈，提供更好的操作体验。
发明内容
本发明旨在于提供一种带有实时情绪识别功能的人机交互公共设备，以解决如下技术问题：
1.给人机交互公共设备增加压力、振动、测距和温度传感器以及音频视频采集模块，从而使人机交互公共设备感知操作者的情感和习惯，并依次实现更加人性化的人机交互；
2.给人机交互公共设备增加通信模块且连接到云计算资源，从而增强人机交互公共设备的云端服务和管理；以及
3.采用的人工智能和机器学习模型，构建完善的策略引擎和情绪特征数据库，实现并逐步强化人机交互设备的卷积神经网络和机器深入学习。
为实现上述目的，本发明提供如下技术方案：一种带有实时情绪识别功能的人机交互公共设备，包括：触摸屏，用于显示图像，并且具有虚拟功能键；触摸屏压力传感器，设置在触摸屏的下方，以感应操作者触摸力的大小、接触区域的面积；多轴向振动传感器，设置在触摸屏的下方，以感应操作者手指接触区域产生的振动；红外测温传感器，设置在触摸屏的下方，以感应操作者的手指、手掌和头面部的体温、操作者的身高、触摸操作时距屏幕的距离；CPU，控制各技术特征协调工作；GPU，为显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示；系统软件，包括操作系统、算法和应用、操作特征数据库、内容和素材；以及内存和存储器，用于存储数据和加载系统软件。当操作者进行人机交互时，系统软件经计算获取操作者的触及动作频率、节奏、手掌和脸部的体温、操作间的停顿等操作特征，并且根据振动、距离和操作者身高数据计算出操作力度、行程、幅度等操作特征。
根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括音频视频采集模块，音频视频采集模块采集面部表情、手势和肢体动作、呼吸气息的节奏和轻重。音频视频采集模块可包括视频摄像头和立体声收音麦克风。系统软件根据呼吸气息节奏等音频数据矫正操作的频率和节奏。系统软件根据手势和肢体动作等数据矫正操作行程和幅度等数据。
根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括网络通信模块，网络通信模块用于对外通信。
根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括蓄电电源，蓄电电源与公共电源连接，并在断电的情况下仍保持为设备供电预定的时间。
根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括与网络通信模块通信的云计算资源，云计算资源提供操作特征数据库、机器学习、数据清洗、数据采集、内容和素材等数据支持。
根据本发明的实施例，系统软件根据触摸区域特征结合系统应用和内容的布局描述操作者此次操作的偏好或意图等特征。
根据本发明的实施例，系统软件根据操作者的频率、节奏、停顿、体温、力度、幅度、偏好或意图等特征，检索本地或云端的操作特征数据库，获取操作者的情绪分类及强度测量值。情绪分类包括快乐、愤怒、沮丧、焦虑、惊恐、疑惑，并且强度测量值以十分制或百分制预设。系统软件根据情绪特征的分类和强度测量值从本地或云端的内容和素材库中按照预先设定的规则或算法选取相应的内容素材反馈给操作者。在联网状态下，操作者的每一次交互操作数据和操作特征都被云端采集后进行清洗，然后通过机器学习和建模后，对云端操作特征数据库进行完善和丰富，内存和存储器中的操作特征数据库定时连接到云端特征数据库而升级和更新。机器学习的模型和算法包括时间序列分析和预测、协同过滤、卷积神经网络。
与现有技术相比，本发明能够达到的有益效果是：
1.采集的操作特征数据主要为力学和热力学指标，不能用于操作者的身份识别，不属于隐私信息，因此可以静默采集，同时也保护了操作者的隐私；
2.采集的数据项中，有多项数据是力学、时间序列和接触式测温的指标，完全不受外接环境的干扰；
3.力学和热力学传感器大多采用被动传感器，数据采集依赖操作者的操作触发，操作者对采集基本无感。因此在采集时会更好的表露真实情绪；
4.采集的数据是结构化的时间序列数据，数据传输、清洗和建模效率都比较高，在网络不佳或离线状态下，交互设备的本地计算资源也能很快完成一定精度的计算工作，从而更好的满足实时响应的需求；以及
5.系统具有实时交互特性，因此在机器学习时能够使用强化学习、对抗网络等算法模型来进行机器学习，有利于提升模型的准确率。
附图说明
图1为根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的模块图。
图2为根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的操作方法的示意图。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“上”、“下”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
以下将结合附图，对本发明实施例作进一步说明。本领域技术人员应理解的是，本发明所描述的实施例仅是示范性实施例。
图1为根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的模块图；且图2为根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的操作方法的示意图。
参见图1和图2，根据本发明的实施例，提供一种带有实时情绪识别功能的人机交互公共设备，包括触摸屏、触摸屏压力传感器、多轴向振动传感器、红外测温传感器、CPU、GPU、系统软件、内存和存储器，分述如下。
触摸屏用于显示图像，并且具有虚拟功能键。
触摸屏压力传感器设置在触摸屏的下方，以感应操作者触摸力的大小、接触区域的面积。
多轴向振动传感器设置在触摸屏的下方，以感应操作者手指接触区域产生的振动。
红外测温传感器设置在触摸屏的下方，以感应操作者的手指、手掌和头面部的体温、操作者的身高、触摸操作时距屏幕的距离。
CPU是根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的处理器，用于控制各技术特征协调工作。
GPU是根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的图形处理器，为显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示。
系统软件包括操作系统、算法和应用、操作特征数据库、内容和素材。
内存和存储器是根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的存储元件，用于存储数据和加载系统软件。
当操作者进行人机交互时，系统软件经计算获取操作者的触及动作频率、节奏、手掌和脸部的体温、操作间的停顿等操作特征，并且根据振动、距离和操作者身高数据计算出操作力度、行程、幅度等操作特征。
根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括音频视频采集模块，音频视频采集模块采集面部表情、手势和肢体动作、呼吸气息的节奏和轻重。音频视频采集模块可包括视频摄像头和立体声收音麦克风。系统软件根据呼吸气息节奏等音频数据矫正操作的频率和节奏。系统软件根据手势和肢体动作等数据矫正操作行程和幅度等数据。
根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括网络通信模块，网络通信模块用于对外通信。
根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括蓄电电源，蓄电电源与公共电源连接，并在断电的情况下仍保持为设备供电预定的时间。
根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括与网络通信模块通信的云计算资源，云计算资源提供操作特征数据库、机器学习、数据清洗、数据采集、内容和素材等数据支持。
云计算资源也称之为云端，在本文中可替换使用。为了描述上的方便，根据本发明实施例的带有实时情绪识别功能的人机交互公共设备除了云端的计算资源外的部分也称之为本地。
根据本发明的实施例，系统软件根据触摸区域特征结合系统应用和内容的布局描述操作者此次操作的偏好或意图等特征。
根据本发明的实施例，系统软件根据操作者的频率、节奏、停顿、体温、力度、幅度、偏好或意图等特征，检索本地或云端的操作特征数据库，获取操作者的情绪分类及强度测量值。情绪分类包括快乐、愤怒、沮丧、焦虑、惊恐、疑惑，并且强度测量值以十分制或百分制预设。系统软件根据情绪特征的分类和强度测量值从本地或云端的内容和素材库中按照预先设定的规则或算法选取相应的内容素材反馈给操作者。在联网状态下，操作者的每一次交互操作数据和操作特征都被云端采集后进行清洗，然后通过机器学习和建模后，对云端操作特征数据库进行完善和丰富，内存和存储器中的操作特征数据库定时连接到云端特征数据库而升级和更新。机器学习的模型和算法包括时间序列分析和预测、协同过滤、卷积神经网络。
根据本发明实施例的带有实时情绪识别功能的人机交互公共设备利用压力、振动、温度、红外、电磁等传感器，机器学习等技术，实现了一种带有情绪识别功能的人机交互公共设备。通过对操作者的情绪状态监测，设备可以做出相应的反馈，改善操作者的使用体验，提升操作者的便利性。
与现有技术相比，本发明能够达到的有益效果是：
1.采集的操作特征数据主要为力学和热力学指标，不能用于操作者的身份识别，不属于隐私信息，因此可以静默采集，同时也保护了操作者的隐私；
2.采集的数据项中，有多项数据是力学、时间序列和接触式测温的指标，完全不受外接环境的干扰；
3.力学和热力学传感器大多采用被动传感器，数据采集依赖操作者的操作触发，操作者对采集基本无感。因此在采集时会更好的表露真实情绪；
4.采集的数据是结构化的时间序列数据，数据传输、清洗和建模效率都比较高，在网络不佳或离线状态下，交互设备的本地计算资源也能很快完成一定精度的计算工作，从而更好的满足实时响应的需求；以及
5.系统具有实时交互特性，因此在机器学习时能够使用强化学习、对抗网络等算法模型来进行机器学习，有利于提升模型的准确率。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (14)
1.一种带有实时情绪识别功能的人机交互公共设备，包括：
触摸屏，用于显示图像，并且虚拟功能键；
触摸屏压力传感器，设置在所述触摸屏的下方，以感应操作者触摸力的大小、接触区域的面积；
多轴向振动传感器，设置在所述触摸屏的下方，以感应操作者手指接触区域产生的振动；
红外测温传感器，设置在所述触摸屏的下方，以感应操作者的手指、手掌和头面部的体温、操作者的身高、触摸操作时距屏幕的距离；
CPU，控制各技术特征协调工作；
GPU，为显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示；
系统软件，包括操作系统、算法和应用、操作特征数据库、内容和素材；以及
内存和存储器，用于存储数据和加载系统软件，
其中，当操作者进行人机交互时，所述系统软件经用于计算获取操作者的触及动作频率、节奏、手掌和脸部的体温、操作间的停顿等操作特征，并且根据振动、距离和操作者身高数据计算出操作力度、行程、幅度等操作特征。
2.如权利要求1所述的带有实时情绪识别功能的人机交互公共设备，还包括音频视频采集模块，所述音频视频采集模块采集面部表情、手势和肢体动作、呼吸气息的节奏和轻重。
3.如权利要求2所述的带有实时情绪识别功能的人机交互公共设备，其中，所述音频视频采集模块包括视频摄像头和立体声收音麦克风。
4.如权利要求2所述的带有实时情绪识别功能的人机交互公共设备，其中，所述系统软件根据所述呼吸气息节奏等音频数据矫正操作的频率和节奏。
5.如权利要求2所述的带有实时情绪识别功能的人机交互公共设备，其中，所述系统软件根据所述手势和肢体动作等数据矫正操作行程和幅度等数据。
6.如权利要求2所述的带有实时情绪识别功能的人机交互公共设备，还包括网络通信模块，所述网络通信模块用于对外通信。
7.如权利要求1所述的带有实时情绪识别功能的人机交互公共设备，还包括蓄电电源，所述蓄电电源与公共电源连接，并在断电的情况下仍保持为设备供电预定的时间。
8.如权利要求6所述的带有实时情绪识别功能的人机交互公共设备，还包括与所述网络通信模块通信的云计算资源，所述云计算资源提供操作特征数据库、机器学习、数据清洗、数据采集、内容和素材等数据支持。
9.如权利要求1所述的带有实时情绪识别功能的人机交互公共设备，其中，所述系统软件根据触摸区域特征结合系统应用和内容的布局描述操作者此次操作的偏好或意图等特征。
10.如权利要求8所述的带有实时情绪识别功能的人机交互公共设备，其中，所述系统软件根据操作者的频率、节奏、停顿、体温、力度、幅度、偏好或意图等特征，检索本地或云端的操作特征数据库，获取操作者的情绪分类及强度测量值。
11.如权利要求10所述的带有实时情绪识别功能的人机交互公共设备，其中，所述情绪分类包括快乐、愤怒、沮丧、焦虑、惊恐、疑惑，并且所述强度测量值以十分制或百分制预设。
12.如权利要求10所述的带有实时情绪识别功能的人机交互公共设备，其中，所述系统软件根据所述情绪特征的分类和强度测量值从本地或云端的内容和素材库中按照预先设定的规则或算法选取相应的内容素材反馈给操作者。
13.如权利要求10所述的带有实时情绪识别功能的人机交互公共设备，其中，在联网状态下，操作者的每一次交互操作数据和操作特征都被云端采集后进行清洗，然后通过机器学习和建模后，对云端操作特征数据库进行完善和丰富，所述内存和存储器中的操作特征数据库定时连接到云端特征数据库而升级和更新。
14.如权利要求13所述的带有实时情绪识别功能的人机交互公共设备，其中，所述机器学习的模型和算法包括时间序列分析和预测、协同过滤、卷积神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111107892.1A CN113791690B (zh) | 2021-09-22 | 2021-09-22 | 一种带有实时情绪识别功能的人机交互公共设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111107892.1A CN113791690B (zh) | 2021-09-22 | 2021-09-22 | 一种带有实时情绪识别功能的人机交互公共设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113791690A true CN113791690A (zh) | 2021-12-14 |
| CN113791690B CN113791690B (zh) | 2024-03-29 |
Family
ID=78879067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111107892.1A Active CN113791690B (zh) | 2021-09-22 | 2021-09-22 | 一种带有实时情绪识别功能的人机交互公共设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113791690B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115376695A (zh) * | 2022-10-25 | 2022-11-22 | 安徽星辰智跃科技有限责任公司 | 基于扩展现实的神经心理评估及干预的方法、系统和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103596144A (zh) * | 2012-08-14 | 2014-02-19 | 宏达国际电子股份有限公司 | 提供情绪状态通知以进行通讯的系统与相关方法 |
| CN107003997A (zh) * | 2014-12-04 | 2017-08-01 | 微软技术许可有限责任公司 | 用于交互式对话系统的情绪类型分类 |
| CN107736893A (zh) * | 2017-09-01 | 2018-02-27 | 合肥迅大信息技术有限公司 | 基于移动设备的心理情绪监测系统 |
| CN110134316A (zh) * | 2019-04-17 | 2019-08-16 | 华为技术有限公司 | 模型训练方法、情绪识别方法及相关装置和设备 |
-
2021
- 2021-09-22 CN CN202111107892.1A patent/CN113791690B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103596144A (zh) * | 2012-08-14 | 2014-02-19 | 宏达国际电子股份有限公司 | 提供情绪状态通知以进行通讯的系统与相关方法 |
| CN107003997A (zh) * | 2014-12-04 | 2017-08-01 | 微软技术许可有限责任公司 | 用于交互式对话系统的情绪类型分类 |
| CN107736893A (zh) * | 2017-09-01 | 2018-02-27 | 合肥迅大信息技术有限公司 | 基于移动设备的心理情绪监测系统 |
| CN110134316A (zh) * | 2019-04-17 | 2019-08-16 | 华为技术有限公司 | 模型训练方法、情绪识别方法及相关装置和设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115376695A (zh) * | 2022-10-25 | 2022-11-22 | 安徽星辰智跃科技有限责任公司 | 基于扩展现实的神经心理评估及干预的方法、系统和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113791690B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111105852B (zh) | 一种电子病历推荐方法、装置、终端及存储介质 | |
| US11625110B2 (en) | Coordinate input processing apparatus, emotion estimation apparatus, emotion estimation system, and building apparatus for building emotion estimation-oriented database | |
| CN110325949A (zh) | 用于预测触摸解释的多任务机器学习 | |
| CN107209807A (zh) | 疼痛管理可穿戴设备 | |
| KR20110132349A (ko) | 객체의 거동을 모니터링하는 장치 및 방법 | |
| US10271741B2 (en) | Biometric scale | |
| US20200327986A1 (en) | Integrated predictive analysis apparatus for interactive telehealth and operating method therefor | |
| CN104977038B (zh) | 使用与关联存储器耦合的运动感测设备识别移动 | |
| JPWO2018168369A1 (ja) | 機械学習装置および機械学習プログラム | |
| CN114595124B (zh) | 时序异常检测模型评估方法、相关装置及存储介质 | |
| CN107803843A (zh) | 一种基于树莓派的人体健康监测机器人 | |
| Dai et al. | Can your smartphone detect your emotion? | |
| CN113791690B (zh) | 一种带有实时情绪识别功能的人机交互公共设备 | |
| Khatun et al. | Human activity recognition using smartphone sensor based on selective classifiers | |
| Li et al. | Touch gesture and emotion recognition using decomposed spatiotemporal convolutions | |
| CN111145891A (zh) | 信息处理方法、装置及电子设备 | |
| US20200225963A1 (en) | Method and apparatus for providing emotion-adaptive user interface | |
| CN108073336A (zh) | 基于触摸的用户情绪检测系统和方法 | |
| CN110910348A (zh) | 一种肺结节的位置分类方法、装置、设备及存储介质 | |
| JP2018190318A (ja) | データ収集装置及び学習装置 | |
| CN111681761B (zh) | 一种面向情境的健康风险识别方法及系统 | |
| CN115081334A (zh) | 用于预测用户的年龄段或性别的方法、系统、装置和介质 | |
| CN109800734A (zh) | 面部表情识别方法及装置 | |
| CN108399085A (zh) | 电子装置、应用管理方法及相关产品 | |
| US20240062677A1 (en) | System and method for providing education using modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |