CN116440383A - 一种便携式心理陪伴机器人系统与情绪支援方法 - Google Patents

一种便携式心理陪伴机器人系统与情绪支援方法 Download PDF

Info

Publication number
CN116440383A
CN116440383A CN202310307318.3A CN202310307318A CN116440383A CN 116440383 A CN116440383 A CN 116440383A CN 202310307318 A CN202310307318 A CN 202310307318A CN 116440383 A CN116440383 A CN 116440383A
Authority
CN
China
Prior art keywords
emotion
user
module
information
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310307318.3A
Other languages
English (en)
Inventor
张勤
黄灿彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202310307318.3A priority Critical patent/CN116440383A/zh
Publication of CN116440383A publication Critical patent/CN116440383A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6896—Toys
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00—Dolls
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00—Dolls
    • A63H3/28—Arrangements of sound-producing means in dolls; Means in dolls for producing sounds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Anesthesiology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Hematology (AREA)
  • Nursing (AREA)
  • Pain & Pain Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

本发明公开了一种便携式心理陪伴机器人系统与情绪支援方法。所述系统包括包括便携式硬件系统和手机APP软件系统，所述便携式硬件系统包括玩偶挂件和手机，完成情感信息的收集和传输工作，手机上的APP软件系统包括前端应用程序和后台服务器，用于完成情感信息的处理和情绪支援工作。所述玩偶挂件上设置有唤醒模块、第一信息采集模块、系统控制模块、情绪安抚支援模块和数据传输模块，所述前端应用程序包括个性化模块、第二信息采集模块、传输模块和安抚模块，所述后台服务器搭载了表情识别模型、语音情绪识别模型、双模态情感识别模型和情绪倾向对话生成模型，在表情、语音或者两者的结合情况下均能有效识别出用户的情绪类型，对用户进行情绪安抚。

Description

一种便携式心理陪伴机器人系统与情绪支援方法
技术领域
本发明属于人工智能、机器人工程以及心理学的交叉领域，具体涉及一种便携式心理陪伴机器人系统与情绪支援方法。
背景技术
社会不断发展，生活节奏的加快，来自生活、工作中各方各面的压力逐渐增多，由于情绪的私密性，缺少倾述对象，长期积蓄，会造成情绪的失控，严重影响了心里健康。有些人只是单单情绪波动起伏较大，有些人是没意识到自己有抑郁症，还有些人则是不愿意承认和暴露自己有抑郁症，这些人往往拥有一个共同点——他们身边缺乏可以谈心的对象，亦或者是自己不愿意与人交谈。因此，很有必要存在情绪支援机器人，倾听他们的述说，宣泄情绪，从心理上陪伴他们。因此，需要有特定的、较为准确高效全面的情绪判别，并有相应的情绪支援方法。
国内外对心理陪伴机器人都有不少的研究：
SERROGA等人开发了一种辅助用户身心健康的陪伴机器人，它身兼两种角色——“进行沟通、提醒和急救助手”(类似秘书)和“身体活动激励器”(类似健身教练)。这样一个适合日常使用照顾老人起居的机器人健康助手，帮助老人在保持健康的身心状态下独立生活。S.Cooper等人展示了一款陪伴机器人ARI，其基于前身REEM，具备聊天、语音识别、情绪识别、跌倒检测功能，特别关注其类人形状、自主行为和先进的人机交互，以实现机器人更好地展示其意图的目的，并促进人类理解并全面提高用户参与度和接受度。
厦门大学的Meimei Zheng等人基于多模态情感融合计算，设计了儿童伴侣机器人BabeBay，可以分析多模态交互数据，并为其行为决策提供精确的情感计算结果。其实时多模态情感计算使BabeBay实现了更好的交互用户体验。在跟不同的儿童不同的情绪状态下，都拥自己的适应性能力。除此之外，其框架可以扩展到更为具体的情感认知模型，可以用于面向不同用户的机器人伴侣。同样是面向儿童的陪伴机器人，Tega是一个专门为实现与儿童的长期互动而设计和开发的机器人平台，在G Gordon等人的工作中结合Affdex收集数据，通过一个自动的面部表情分析系统来测量儿童的价格和参与度。这些信号被组合成奖励信号，反馈到机器人的情感强化学习算法中，对算法做进一步优化。
除此之外，现有存在的不少鱼龙混杂的智能机器人，也有不少具备语音识别和表情识别的功能，但是还携带了其他种类繁多的娱乐功能，功能泛而不精。而国内外已有的成熟的心理机器人，技术上较为出色，但是大多体型较大笨重，不易随身携带，私密性不强，价格较为高昂，且情绪识别来源还不够多样化，互动方式也鲜于结合情绪识别的结果。
发明内容
为了解决现有技术中存在的问题，本发明提供了一种便携式心理陪伴机器人系统与情绪支援方法，可以共享手机的软件和硬件，成本低，不仅适用于个人缓解情绪所需，也可适用于医疗机构心理医生对患者治疗的辅助支撑。所设计的玩偶挂件机器人小巧便捷，可根据具体需求设计更改外部玩偶套装，一眼看去与正常玩偶区别不明显，且操作简便、反应灵活自然。所设计的配套APP具有多种互动方式，个性化地给予用户情绪支撑。
为了实现本发明目的，本发明提供的一种便携式心理陪伴机器人系统，
8、包括便携式硬件系统和手机APP软件系统，所述便携式硬件系统包括玩偶挂件和手机，完成情感信息的收集和传输工作，手机上的APP软件系统包括前端应用程序和后台服务器，用于完成情感信息的处理和情绪支援工作，其中：
所述玩偶挂件上设置有唤醒模块、第一信息采集模块、系统控制模块、情绪安抚支援模块和数据传输模块，所述唤醒模块用于启动机器人的软硬件功能，所述信息采集模块用于采集用户信息，所述系统控制模块用于控制机器人主体内部驱动硬件和发出指令，所述情绪安抚支援模块用于机器人与用户进行交互，所述数据传输模块用于与配套APP的移动终端进行通讯；
所述前端应用程序包括个性化模块、第二信息采集模块、传输模块和安抚模块，个性化模块用于通过用户预输入的表情信息、语音信息和历史对话信息，捕获使用者的性格特征，协助完成情绪识别任务，第二信息采集模块用于通过手机自带的硬件采集用户的图像信息、音频信息和键入文字信息，并将音频信息转为文字信息，传输模块用于将采集的用户信息传输至后台服务器，并接收后台服务器返回的情绪识别结果和对话生成内容，安抚模块用于以文字、语音或动画的形式通过手机实现心理机器人系统的虚拟机器人动画形象与用户的互动；
所述后台服务器搭载了用于识别用户当前情绪类型的表情识别模型、语音情绪识别模型、双模态情感识别模型和用于根据识别出的情绪类型生成具有情绪倾向的对话应答文本内容的情绪倾向对话生成模型。
手机部分包括手机的摄像头、麦克风、扬声器、触摸屏、通讯模块和GPS定位模块，用于收集用户的图像数据、音频数据和输入文字信息，并通过屏幕显示手机APP的界面与用户进行交互。
优选地，所述唤醒模块包括压力传感器和语音识别模块，用户通过按压设置在玩偶挂件上的压力传感器或语音关键词唤醒的方式启动所述心理陪伴机器人；
所述信息采集模块包括摄像头、声音传感器和加速度传感器，所述用户信息包括摄像头采集的用户的图像数据、声音传感器采集的用户的音频数据以及加速度传感器采集的心理机器人的加速度；
所述系统控制模块为嵌入式控制单元，用于控制机器人主体内部驱动硬件和发出指令，实现各硬件模块的功能；
所述情绪安抚支援模块包括扬声器和用于紧急联系心理医生的按钮；
所述数据传输模块包括无线通信模块和GPS定位模块。
优选地，所述的前端应用程序包括虚拟机器人文字和语音互动界面、虚拟机器人虚拟形象动画互动界面和心理咨询师预约对话界面，不同界面以不同的互动方式实现对用户的情绪支援效果。
优选地，所述的后台服务器的双模态情感识别模型通过提取表情信息和语音信息中的情感特征并进行融合，基于ResNet101_vd进行分类得到用户当前的情绪类型；所述的后台服务器的情绪倾向对话生成模型通过识别所得的情绪类型，切换不同的对话模型，不同的对话模型共享历史对话数据，从而生成具有情绪倾向的对话应答文本内容。
本发明提供的一种情绪支援方法，包括以下步骤：
当用户与机器人进行互动时，第一信息采集模块和第二信息采集模块采集用户的信息，并将采集到的数据传输到后台服务器；
后台服务器接收处理用户的数据并生成情绪应对策略，所述情绪应对策略包括：后台服务器通过搭载的模型识别用户的当前情绪类型，并通过情绪倾向对话生成模型生成的应答回复文本；
后台服务器将情绪应对策略传输给情绪安抚支援模块，情绪安抚支援模块根据生成的情绪应对策略，通过表情、语音或动画方式进行情绪支援。
优选地，所述情绪应对策略还包括：后台服务器根据记录的用户的历史情绪信息给用户进行预警，判断用户是否需要对接心理咨询师进行专业咨询。
优选地，记录机器人系统与用户互动时的情绪类型，与预设情绪阈值进行比较，向用户提示是否需要对接专业的人工心理咨询，用户也可以自行选择对接专业的人工心理咨询。
优选地，当所述玩偶挂件通过加速度传感器读取的数据大于预设数据时，即判断为受到投掷动作，然后结合机器人系统与用户互动时的情绪类型，判断是否自动对接专业的人工心理咨询。
相比现有的心理机器人，本发明的有益效果如下：
本申请将陪伴系统集成在玩偶挂件上，通过设置在玩偶挂件上的唤醒模块来启动机器人系统，且通过设置在玩偶挂件上的第一信息采集模块和系统控制模块来对用户信息进行采集和与用户进行交互，还设置前端应用程序和后台服务器，前端应用程序中的个性化模块可以捕获使用者的性格特征，协助完成情绪识别任务，通过后台服务器搭载的表情识别模型、语音情绪识别模型、双模态情感识别模型等从表情、语音或者表情和语音的结合等多种来源来识别出用户的当前情绪类型，并通过多模态情感信息的融合，准确把握情感类型，通过后台服务器搭载的情绪倾向对话生成模型生成相应的应答文本，然后通过安抚模块以文字、语音、动画等形式与用户进行互动，安抚用户的情绪，帮助用户释放压力，为缓解现代人的心理压力提供有效的技术途径。
本发明提出一种基于心理暗示与聊天互动相结合的心理压力释放方法，通过玩偶挂件的积极心理暗示、心理效应，结合APP的聊天互动的安抚效应，令使用者产生愉悦感，缓解负面情绪，释放压力，平复情绪走出困惑。使用者也可以自主选择直接连线专业咨询机构,对接专业的人工心理咨询,缓解极端情绪,避免与心理咨询师面对面交谈，从而在接受咨询服务时减少心理压力，或者机器人根据使用者的情绪判断,自动定位和对接专业的人工心理咨询，避免不良后果。
附图说明
图1是本发明实施例的便携式心理陪伴机器人系统组成图。
图2是本发明实施例的心理陪伴机器人玩偶挂件的整体透视结构示意图。
图3是本发明实施例的心理陪伴机器人玩偶挂件的侧面透视结构及玩偶外观示意图。
图4是本发明实施例的心理陪伴机器人系统的工作流程图。
图5是本发明实施例的APP虚拟机器人文字和语音互动界面图。
图6是本发明实施例的APP虚拟机器人虚拟形象动画互动界面图。
图7是本发明实施例的APP心理咨询师预约对话界面图。
图中所示：1-玩偶外套，2-头壳，3-声音传感器，4-摄像头，5-躯壳，6-主电路板，7-语音识别模块，8-嵌入式控制单元，9-压力传感器，10-模块安装板，11-自锁开关，12-无锁开关，13-躯壳门，14-充电锂电池，15-GPS定位模块，16-加速度传感器，17-扬声器模块，18-PCB安装板，19-无线通信模块，20-后脑盖，21-拉链，22-纽扣，23-魔术贴可拆卸团绒尾巴。
具体实施方式
为了更清晰地说明本发明实施例的技术方案，接下来结合附图，通过实施例来对本发明作进一步详细地描述。
如图1所示，本发明提供的一种便携式心理陪伴机器人系统，包括玩偶挂件、手机及APP、服务器。
如图2和图3所示，一种玩偶挂件心理机器人，包括毛绒玩偶外套以及主体。所述毛绒玩偶外套包括动物玩偶外套1、拉链21、纽扣22及魔术贴可拆卸团绒尾巴23。
所述主体包括头壳2、后脑盖20、躯壳5、躯壳门13、设置在躯壳5上的充电锂电池14以及设置在主体上的唤醒模块、第一信息采集模块、系统控制模块、情绪安抚支援模块和数据传输模块。主体上还设置有按钮为绿色的自锁开关、按钮为红色的无锁开关，分别为电源开关和联系心理咨询师的按钮。
唤醒模块用于启动机器人的软硬件功能，包括压力传感器9和语音识别模块7，用户通过按压机器人尾巴的压力传感器或语音关键词唤醒(唤醒方式就包括按压压力传感器，压力传感器受到压力电平变化，嵌入式控制单元捕捉这个变化从而开始机器人的聊天互动模式，语音关键词唤醒同理)的方式启动机器人；第一信息采集模块用于采集用户信息，包括摄像头4、声音传感器3和加速度传感器16，所述用户信息包括摄像头4采集的用户的图像数据、声音传感器3采集的用户的音频数据以及加速度传感器16采集的心理机器人的加速度；系统控制模块为嵌入式控制单元8，用于控制机器人主体内部驱动硬件和发出指令，实现各硬件模块的功能；情绪安抚支援模块用于机器人与用户进行交互，包括扬声器17和用于紧急联系心理医生的按钮12；数据传输模块用于与配套APP的移动终端进行通讯，包括无线通信模块19和GPS定位模块15。本实施例中的移动终端为手机。主体上固定设置有模块安装板10和PCB安装板18，模块安装板10上安装有嵌入式控制单元8以及压力传感器9，所述PCB安装板18上安装有主电路板6、语音识别模块7、GPS定位模块15、加速度传感器16和无线通信模块19。所述充电锂电池与主电路板电性连接为其供电，主电路板与声音传感器、摄像头、扬声器、自锁开关11和无锁开关12、模块安装板以及PCB安装板上各元器件电性连接。
各元器件集成设置在主体内，主体套在小型玩偶内，整体外表与寻常玩偶无异，不会给用户附加压力，本实施例玩偶外套采用的是小熊形象，能被较多数的人所接受，不会给予用户附加压力，影响用户对自身真实情绪状态心理状态的表达。
所述前端应用程序包括个性化模块、第二信息采集模块、传输模块和安抚模块，个性化模块用于通过用户预输入的表情信息、语音信息和历史对话信息，捕获使用者的性格特征，协助完成情绪识别任务，第二信息采集模块用于通过手机自带的硬件采集用户的图像信息、音频信息和键入文字信息，并将音频信息转为文字信息，传输模块用于将采集的用户信息传输至后台服务器，并接收后台服务器返回的情绪识别结果和对话生成内容，安抚模块用于以文字、语音或动画的形式通过手机实现心理机器人系统的虚拟机器人动画形象与用户的互动。
信息采集模块在用户与玩偶挂件机器人面对面互动时，采集用户的图像数据和音频数据，或者用户在APP界面与虚拟机器人互动时，搭载APP的移动终端在用户允许的前提下采集用户的图像数据和音频数据，并通过数据传输模块传至后台服务器，进行表情和语音信息的情感特征提取、融合和情绪类型判别。
后台服务器包括系统架构，系统架构包括各种界面路由和跟前端应用程序的互动逻辑。具体地，后台服务器搭载了三个情绪识别模型：表情识别模型、语音情绪识别模型和双模态信息融合情感识别模型。在只有单一模态的情感信息时，调用对应的识别模型进行情绪识别；在采集到两个模态的情感信息时，调用双模态信息融合情感识别模型进行情绪识别。其中，表情识别模型是用纯表情的数据集训练得到的，语音情绪识别模型是用纯情感语音的数据集训练得到的，双模态信息融合情感识别模型是用包括纯表情和纯情感语音的数据集训练得到的。
在本发明的其中一些实施例中，情绪类型包括开心、生气、正常、伤心。
所述双模态情感识别模型通过提取表情信息和语音信息中的情感特征并进行融合(在本发明的其中一些实施例中，将两个情感特征以图像的形式经过小波变换使用哈尔小波基进行融合)，基于图像分类网络(在本发明的其中一些实施例中，采用ResNet101_vd，在其他实施例中，也可以采用MobileNetV3_large_x1_0或DarkNet)进行分类得到用户当前的情绪类型；所述情绪倾向对话生成模型通过识别所得的情绪类型，切换不同的对话模型，不同的对话模型共享历史对话数据，从而生成具有情绪倾向的对话应答文本内容。
后台服务器搭载的情绪倾向对话生成模型通过情绪识别得到的情绪类型，调用对应情绪类型下的对话模型，从而生成具有情绪倾向的应答文本。应答文本通过文字转语音模型，按预设音轨生成语音，并通过扬声器进行播放。应答文本通过数据传输模块传输至手机的APP界面进行显示，或通过APP后台的文字转动画模型，按预设虚拟形象在虚拟形象动画互动界面进行显示。
便携式心理陪伴机器人系统的工作流程如图4所示，当用户与机器人进行互动时，信息采集模块采集用户的图像数据、音频数据和机器人主体的加速度数据，并将采集到的各种数据传输到后台服务器；后台服务器对接收到的各种数据进行处理，最终生成情绪应对策略(最主要的方式是根据用户的对话内容和情绪类型，生成应答回复文本。进一步地，记录用户的历史情绪信息，可以给用户进行预警，判断用户是否需要对接心理咨询师进行专业咨询)并传输给情绪安抚支援模块；情绪安抚支援模块根据生成的情绪应对策略，通过表情、语音或动画方式进行情绪支援。
加速度传感器用于采集机器人主体的加速度数据，具体地，若用户因情绪不稳定扔掷机器人，信息采集模块的加速度传感器16检测机器人的加速度数据并将该数据传输给后台服务器，后台服务器将该数据与程序的加速度预设值进行对比，当检测到的瞬时加速度大于预设值(在本发明的其中一些实施例中，初定为2倍重力加速度)时，由嵌入式控制单元8判定用户有扔掷该机器人的行为，发出预警信号并由扬声器17播放情绪安抚音频。进一步地，结合用户的历史情绪状态，从而判断是否自动对接专业的人工心理咨询。
当用户与APP虚拟机器人进行互动时，用户自行选择是否开启音视频设备采集用户的情感信息，默认用户的情感状态为正常。APP虚拟机器人文字和语音互动界面如图5所示。当用户输入文字信息时，文字信息传输到后端服务器并基于对话模型生成应答文本，并传输到APP界面进行显示。当用户输入语音信息时，将语音传输到后台，通过后台的语音转文字接口将语音转为文字信息，并分析语音的情感类型，根据情绪类型和文字信息通过对话模型(这里的对话模型就是图4的应答语料库)生成应答文本，并传输到APP界面进行显示。APP虚拟机器人虚拟形象动画互动界面如图6所示。生成应答文本的处理流程一样，在此不做赘述。然后在后台进行语音合成，实现文字转语音，再基于MakeItTalk框架实现语音转动画接口，生成虚拟形象的动画视频，并传输至前端进行显示，从而实现以多种形式陪伴和开导用户。
当所记录的用户历史情绪类型数据不在已预设普遍正常心理范围内，则直接发出预警信号至手机APP。若判别所得心理状况在预设普遍正常心理范围内，则进行下一步判别，检测是否与此前所保存记录的用户的历史心理状况偏差程度过大(在本发明的其中一些实施例中，统计每天四种情绪类型的次数，计算历史除去当天这一天以外每天每种情绪类型次数的方差，以及加上当天之后每种情绪类型次数的方差，两个方差进行对比，四种情绪的方差的偏差值累加超过10则判断为偏差程度过大)，若是，也会发出预警信号，再由用户选择是否联系心理医生。
在使用本发明实施例所提供的心理陪伴机器人时，解开该玩偶型机器人腹部的纽扣22露出内胚结构，安上电池，按下绿色的自锁开关后机器人即开始工作。若用户自己有向心理医生寻求心理咨询疏导的需求，也可通过按下红色的无锁开关联系已预先登录信息的心理医生。用户亦可通过在APP界面键入或输入语音的方式与机器人交谈。
本发明前述实施例提供的心理陪伴机器人本体集成于小型玩偶挂件中，外表与寻常玩偶无异，不会给用户附加压力，能通过用户的表情和语音来综合判断识别心理状态，在该心理状态下生成对应的应答文本，实现与用户的自然沟通，伴有声音、表情的辅助，疏解负面情绪，使用户产生愉悦感，缓解负面情绪，发泄自己，平复情绪走出困惑,对释放压力，缓解情绪，起到积极的作用。玩偶挂件机器人具有便携性，可以随身携带，也可以作为吉祥饰物或者挂件，悬挂在背包上等，成为使用者最忠实的陪伴，物理上陪伴用户的同时保证用户的个人隐私。其采集数据的途径既可以通过机器人自身的各种传感器信息，也可以通过手机APP调用的手机摄像头、声音传感器及键入信息，全方位融合信息综合判断。情绪支援途径包括：用户直接与机器人本体进行互动，以及用户通过APP与机器人虚拟形象进行文字、语音或动画的互动。除此之外，还能进行异常预警，对预防用户采取过激行为，以及用户采取过激行为之后所做的及时的通知求救，具有极为有效的现实意义。
本发明的上述实施例仅为清楚地说明本发明所作的实施例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等效替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种便携式心理陪伴机器人系统，其特征在于，包括便携式硬件系统和手机APP软件系统，所述便携式硬件系统包括玩偶挂件和手机，完成情感信息的收集和传输工作，手机上的APP软件系统包括前端应用程序和后台服务器，用于完成情感信息的处理和情绪支援工作，其中：
所述玩偶挂件上设置有唤醒模块、第一信息采集模块、系统控制模块、情绪安抚支援模块和数据传输模块，所述唤醒模块用于启动机器人的软硬件功能，所述第一信息采集模块用于采集用户信息，所述系统控制模块用于控制机器人主体内部驱动硬件和发出指令，所述情绪安抚支援模块用于机器人与用户进行交互，所述数据传输模块用于与配套APP的移动终端进行通讯；
所述前端应用程序包括个性化模块、第二信息采集模块、传输模块和安抚模块，个性化模块用于通过用户预输入的表情信息、语音信息和历史对话信息，捕获使用者的性格特征，协助完成情绪识别任务，第二信息采集模块用于通过手机自带的硬件采集用户的图像信息、音频信息和键入文字信息，并将音频信息转为文字信息，传输模块用于将采集的用户信息传输至后台服务器，并接收后台服务器返回的情绪识别结果和对话生成内容，安抚模块用于以文字、语音或动画的形式通过手机实现心理机器人系统的虚拟机器人动画形象与用户的互动；
所述后台服务器搭载了用于识别用户当前情绪类型的表情识别模型、语音情绪识别模型、双模态情感识别模型和用于根据识别出的情绪类型生成具有情绪倾向的对话应答文本内容的情绪倾向对话生成模型。
2.根据权利要求1所述的一种便携式心理陪伴机器人系统，其特征在于，所述唤醒模块包括压力传感器(9)和语音识别模块(7)，用户通过按压设置在玩偶挂件上的压力传感器或语音关键词唤醒的方式启动所述心理陪伴机器人；
所述信息采集模块包括摄像头(4)、声音传感器(3)和加速度传感器(16)，所述用户信息包括摄像头(4)采集的用户的图像数据、声音传感器(3)采集的用户的音频数据以及加速度传感器(16)采集的心理机器人的加速度；
所述系统控制模块为嵌入式控制单元(8)，用于控制机器人主体内部驱动硬件和发出指令，实现各硬件模块的功能；
所述情绪安抚支援模块包括扬声器(17)和用于紧急联系心理医生的按钮(12)；
所述数据传输模块包括无线通信模块(19)和GPS定位模块(15)。
3.根据权利要求1所述的一种便携式心理陪伴机器人系统，其特征在于，手机部分包括手机的摄像头、麦克风、扬声器、触摸屏、通讯模块和GPS定位模块，用于收集用户的图像数据、音频数据和输入文字信息，并通过屏幕显示手机APP的界面与用户进行交互。
4.根据权利要求1所述的一种便携式心理陪伴机器人系统，其特征在于，所述前端应用程序包括虚拟机器人文字和语音互动界面、虚拟机器人虚拟形象动画互动界面和心理咨询师预约对话界面，不同界面以不同的互动方式实现对用户的情绪支援效果。
5.根据权利要求1-4任一所述一种便携式心理陪伴机器人系统，其特征在于，所述双模态情感识别模型通过提取表情信息和语音信息中的情感特征并进行融合，基于图像分类网络进行分类得到用户当前的情绪类型；所述情绪倾向对话生成模型通过识别所得的情绪类型，切换不同的对话模型，不同的对话模型共享历史对话数据，从而生成具有情绪倾向的对话应答文本内容。
6.根据权利要求5所述一种便携式心理陪伴机器人系统，其特征在于，所述图像分类网络采用ResNet101_vd、MobileNetV3_large_x1_0和DarkNet中的任一种。
7.一种情绪支援方法，其特征在于，采用权利要求1-6任一所述的便携式心理陪伴机器人系统，所述方法包括以下步骤：
当用户与机器人进行互动时，第一信息采集模块和第二信息采集模块采集用户的信息，并将采集到的数据传输到后台服务器；
后台服务器接收处理用户的数据并生成情绪应对策略，所述情绪应对策略包括：后台服务器通过搭载的模型识别用户的当前情绪类型，并通过情绪倾向对话生成模型生成的应答回复文本；
后台服务器将情绪应对策略传输给情绪安抚支援模块，情绪安抚支援模块根据生成的情绪应对策略，通过表情、语音或动画方式进行情绪支援。
8.根据权利要求7所述的一种情绪支援方法，其特征在于，所述情绪应对策略还包括：后台服务器根据记录的用户的历史情绪信息给用户进行预警，判断用户是否需要对接心理咨询师进行专业咨询。
9.根据权利要求7所述的一种情绪支援方法，其特征在于，记录机器人系统与用户互动时的情绪类型，与预设情绪阈值进行比较，向用户提示是否需要对接专业的人工心理咨询，用户也可以自行选择对接专业的人工心理咨询。
10.根据权利要求7-9任一所述的一种情绪支援方法，其特征在于，所述双模态情感识别模型提取表情信息和语音信息中的情感特征，将两个情感特征以图像的形式经过小波变换后使用哈尔小波基进行融合，然后基于图像分类网络进行分类得到用户当前的情绪类型。
CN202310307318.3A 2023-03-27 2023-03-27 一种便携式心理陪伴机器人系统与情绪支援方法 Pending CN116440383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310307318.3A CN116440383A (zh) 2023-03-27 2023-03-27 一种便携式心理陪伴机器人系统与情绪支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310307318.3A CN116440383A (zh) 2023-03-27 2023-03-27 一种便携式心理陪伴机器人系统与情绪支援方法

Publications (1)

Publication Number Publication Date
CN116440383A true CN116440383A (zh) 2023-07-18

Family

ID=87124822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310307318.3A Pending CN116440383A (zh) 2023-03-27 2023-03-27 一种便携式心理陪伴机器人系统与情绪支援方法

Country Status (1)

Country Link
CN (1) CN116440383A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932041A (zh) * 2024-03-21 2024-04-26 南京信息工程大学 基于思维链推理的情绪支持对话生成方法、系统及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932041A (zh) * 2024-03-21 2024-04-26 南京信息工程大学 基于思维链推理的情绪支持对话生成方法、系统及装置
CN117932041B (zh) * 2024-03-21 2024-06-11 南京信息工程大学 基于思维链推理的情绪支持对话生成方法、系统及装置

Similar Documents

Publication Publication Date Title
WO2018153359A1 (zh) 预测情感状态的方法和机器人
CN107030691B (zh) 一种看护机器人的数据处理方法及装置
CN105082150B (zh) 一种基于用户情绪及意图识别的机器人人机交互方法
US9031293B2 (en) Multi-modal sensor based emotion recognition and emotional interface
CN203861914U (zh) 一种宠物机器人
CN111531552A (zh) 一种心理陪伴机器人及情绪支援方法
JP5294315B2 (ja) 対話活性化ロボット
Fleury et al. Sound and speech detection and classification in a health smart home
JP2006071936A (ja) 対話エージェント
JP7350356B2 (ja) パーソナルアシスタント制御システム
CN116440383A (zh) 一种便携式心理陪伴机器人系统与情绪支援方法
CN107901046A (zh) 用于医院的导诊辅助机器人
CN110587621B (zh) 机器人、基于机器人的病人看护方法和可读存储介质
CN209132994U (zh) 一种新型智能教育机器人
CN207341864U (zh) 用于创伤、胸痛中的救护车
CN111759059A (zh) 行走式智能拐杖
Mishra et al. Does elderly enjoy playing bingo with a robot? A case study with the humanoid robot nadine
US20240331842A1 (en) Digital Technology Enhancing Health and Well-Being Through Collective Mindfulness Practices Powered by Big Data
Altmann et al. Analysis of nonverbal involvement in dyadic interactions
Sansen et al. vAssist: building the personal assistant for dependent people: Helping dependent people to cope with technology through speech interaction
CN213096504U (zh) 一种健康交互装置
CN213339665U (zh) 腕表式语言辅助交流器
WO2022065386A1 (ja) 思考推論システム、推論モデル生成システム、思考推論装置、推論モデル生成方法、コンピュータプログラム、および推論モデル
CN216854664U (zh) 一种儿童远程体检装置
JP6900089B2 (ja) パーソナルアシスタント制御システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination