CN115097946A - 基于物联网的远程祭拜方法、系统及存储介质 - Google Patents

基于物联网的远程祭拜方法、系统及存储介质 Download PDF

Info

Publication number
CN115097946A
CN115097946A CN202210977864.3A CN202210977864A CN115097946A CN 115097946 A CN115097946 A CN 115097946A CN 202210977864 A CN202210977864 A CN 202210977864A CN 115097946 A CN115097946 A CN 115097946A
Authority
CN
China
Prior art keywords
information
action
target user
worship
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210977864.3A
Other languages
English (en)
Other versions
CN115097946B (zh
Inventor
彭柳源
张世权
宋晓峰
胡心祥
谢晓璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Intelligent Technology Foshan Co ltd
Original Assignee
Hanhua Intelligent Technology Foshan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanhua Intelligent Technology Foshan Co ltd filed Critical Hanhua Intelligent Technology Foshan Co ltd
Priority to CN202210977864.3A priority Critical patent/CN115097946B/zh
Publication of CN115097946A publication Critical patent/CN115097946A/zh
Application granted granted Critical
Publication of CN115097946B publication Critical patent/CN115097946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G33/00—Religious or ritual equipment in dwelling or for general use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Geometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开的一种基于物联网的远程祭拜方法、系统及存储介质，包括：通过电子祭祀设备获取墓碑的二维图像信息，根据所述二维图像信息进行三维重建构建墓碑三维模型；根据季节信息及地域信息选取预设场景，将所述墓碑三维模型结合预设场景生成目标用户与墓碑的交互场景；将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别；通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示。本发明通过虚拟交互进行远程祭拜，实现祭祀者的身临其境，满足心理需求，同时使得祭祀活动环保便捷。

Description

基于物联网的远程祭拜方法、系统及存储介质
技术领域
本发明涉及远程祭拜技术领域，更具体的，涉及一种基于物联网的远程祭拜方法、系统及存储介质。
背景技术
随着社会的进步和科技的发展，绿色，环保，文明，生态等理念不断深入人心。人们的祭祀方式也由此开始发生改变，打破传统的“扫墓”形式，网络祭祀以其便捷经济的特点很快被普罗大众所接受，在而现有的网络祭祀未能和实地墓穴进行交互，缺少祭祀仪式感。
针对现有网络祭祀，结合了现代物联网技术，实现了一种能够远程控制点香点灯、远程留言祭祀的方案。利用物联网技术，用户只需简单用手机登录平台进行注册，就能够通过移动端或者电脑在平台进行网上祭拜实现对亲人的追思，对墓穴前的硬件设备进行实时点烛、点香、留言、祭祀。还可通过3D效果模拟实景祭拜，编辑家谱，亲友们可到纪念馆为逝去的亲人献花、点烛、上香、摆供、祭酒、烧纸、鸣炮、行礼等。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种基于物联网的远程祭拜方法、系统及存储介质。
本发明第一方面提供了一种基于物联网的远程祭拜方法，包括：
通过电子祭祀设备获取墓碑的二维图像信息，根据所述二维图像信息进行三维重建构建墓碑三维模型；
根据季节信息及地域信息选取预设场景，将所述墓碑三维模型结合预设场景生成目标用户与墓碑的交互场景；
将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别；
通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示。
本方案中，根据所述二维图像信息进行三维重建构建墓碑三维模型，具体为：
通过电子祭祀设备上的双目系统获取墓碑二维图像信息，对二维图像信息进行预处理，获取墓碑边缘在图像坐标系的位置信息；
将图像坐标系中的位置信息进行坐标变换为世界坐标系，对双目系统进行标定，根据左目图像及右目图像中的同一边缘目标点的成像点计算视差，获取目标点的深度信息；
获取标定后双目系统采集的左目图像与右目图像的相似点进行匹配，进行图像配准；
根据双目系统的左右视差图，目标点深度信息及双目相机的内外参数获取边缘目标点的空间坐标，通过空间坐标生成墓碑点云，根据墓碑点云进行三维重建。
本方案中，将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别，具体为：
获取逝者生前的声纹信息及视频图像信息，将所述声纹信息及视频图像信息导入交互场景，将逝者生前图像在交互场景中进行投影，并预设语音及动作指令；
获取目标用户在交互场景中的视频流，通过时序提取帧图像数据选取关键帧，根据关键帧提取目标用户的骨架数据，根据骨架数据构成骨架动作序列，进行目标用户动作识别生成动作信息；
将预设动作信息与预设语音及动作指令相匹配，判断目标用户的动作信息与预设动作信息的相似度，根据所述相似度提取预设动作对应的语音及动作指令；
获取目标用户的语音信号，根据所述语音信号判断目标用户的情绪信息，并通过情绪信息生成情绪标签，将所述语音信号进行识别转换为文字字符串的文本信息，根据文本信息生成语料信息并赋予情绪标签生成语义信息；
构建语义识别模型，通过预设语音及动作指令对应的语料信息及预设数量的情绪标签对语义识别模型进行初始化训练，将所述语义信息输入训练好的语义识别模型进行识别分类，获取对应的语音及动作指令。
本方案中，获取目标用户的动作信息及语义信息，具体为：
通过OpenPose算法获取目标用户的骨骼点位置信息，根据所述骨骼点位置信获取目标用户的骨架数据，并根据骨骼点位置信息及骨架数据提取特征向量；
基于深度学习构建动作识别模型及语义识别模型；
通过相关数据集中选取预设动作数据进行训练，将所述特征向量输入训练好的动作识别模型，输出相似度最高的动作信息；
获取与语音及动作指令对应的语料信息作为训练语料，对所述训练语料进行特征提取；
对文本信息进行预处理提取词向量，根据各词向量的出现频率及分布广度获取特征向量权重，将所述特征向量权重与训练语料的特征信息进行匹配，并与预设数量的情绪标签融合；
结合注意力机制配置差异化权重获取语义特征，根据语义特征输出语义所对应的语音及动作指令的概率。
本方案中，所述通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示，具体为：
通过电子祭祀设备实现用户留言、祭品赠送及香烛操作的祭拜交互项目，根据目标用户的动作信息及语义信息的识别结果获取预设动作及预设语料的时间戳；
当识别到目标用户出现预设动作时，检测交互场景中的虚拟香烛是否为点燃状态，若虚拟香烛处于未点燃状态，则自动将虚拟香烛点燃；
从语义信息的识别结果中获取目标用户对逝者的留言及祭品赠送信息，将用户留言、祭品赠送及香烛操作根据时间戳发送到电子祭祀设备上进行显示；
若存在多名用户同时进行祭拜活动，则将香烛持续时间进行累计，显示当前香烛的剩余服务时间。
本方案中，还包括：
根据目标用户的语音信号实时判断祭拜对象的实时情绪变化，生成目标用户的情绪变化曲线；
根据目标用户历史祭拜的祭拜时长及情绪变化情况确定目标用户的情绪变化基线，并获取情绪变化基线中情绪突变点处目标用户的动作信息及语义信息；
将目标用户的情绪变化曲线与所述情绪变化基线进行对比，判断目标用户情绪变化趋势；
根据情绪变化基线中情绪突变点处目标用户的动作信息及语义信息选取目标用户情绪变化曲线的情绪关键点，计算目标用户情绪变化曲线的情绪关键点与所述情绪突变点的差值；
根据所述变化趋势及所述差值判断目标用户是否出现情绪过激情况，若出现，则在交互场景中生成提醒信息并暂停祭拜交互。
本发明第二方面还提供了一种基于物联网的远程祭拜系统，该系统包括：存储器、处理器，所述存储器中包括一种基于物联网的远程祭拜方法程序，所述一种基于物联网的远程祭拜方法程序被所述处理器执行时实现如下步骤：
通过电子祭祀设备获取墓碑的二维图像信息，根据所述二维图像信息进行三维重建构建墓碑三维模型；
根据季节信息及地域信息选取预设场景，将所述墓碑三维模型结合预设场景生成目标用户与墓碑的交互场景；
将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别；
通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于物联网的远程祭拜方法程序，所述一种基于物联网的远程祭拜方法程序被处理器执行时，实现如上述任一项所述的一种基于物联网的远程祭拜方法的步骤。
本发明公开的一种基于物联网的远程祭拜方法、系统及存储介质，包括：通过电子祭祀设备获取墓碑的二维图像信息，根据所述二维图像信息进行三维重建构建墓碑三维模型；根据季节信息及地域信息选取预设场景，将所述墓碑三维模型结合预设场景生成目标用户与墓碑的交互场景；将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别；通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示。本发明通过虚拟交互进行远程祭拜，实现祭祀者的身临其境，满足心理需求，同时使得祭祀活动环保便捷。
附图说明
图1示出了本发明一种基于物联网的远程祭拜方法的流程图；
图2示出了本发明根据声音信息及动作信息进行语义分析及动作识别的方法流程图；
图3示出了本发明祭拜交互项目在电子祭祀设备上进行显示的方法流程图；
图4示出了本发明电子祭祀设备安装的示意图；
图5示出了本发明一种基于物联网的远程祭拜系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于物联网的远程祭拜方法的流程图。
如图1所示，本发明第一方面提供了一种基于物联网的远程祭拜方法，包括：
S102，通过电子祭祀设备获取墓碑的二维图像信息，根据所述二维图像信息进行三维重建构建墓碑三维模型；
S104，根据季节信息及地域信息选取预设场景，将所述墓碑三维模型结合预设场景生成目标用户与墓碑的交互场景；
S106，将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别；
S108，通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示。
电子祭祀设备具备电子烛台、液晶电子屏幕及双目摄像系统，通过云同步最大程度还原现场祭拜的活动效果，实现虚拟电子祭品显示及长明灯、长明蜡烛控制，此外，电子祭祀设备可支持太阳能或电池供电，用户能够在远程端进行实时祭祀；并实现留言、送礼、点烛、点香，同步到现场墓穴的硬件显示屏展示。
根据所述二维图像信息进行三维重建构建墓碑三维模型，具体为：通过电子祭祀设备上的双目系统获取墓碑二维图像信息，对二维图像信息进行预处理，获取墓碑边缘在图像坐标系的位置信息；将图像坐标系中的位置信息进行坐标变换为世界坐标系，对利用OpenCV双目相机标定工具箱对双目系统进行标定，对图像进行极线矫正、立体匹配处理；根据左目图像及右目图像中的同一边缘目标点的成像点计算视差，获取目标点的深度信息；获取标定后双目系统采集的左目图像与右目图像的相似点进行匹配，进行图像配准；根据双目系统的左右视差图，目标点深度信息及双目相机的内外参数获取边缘目标点的空间坐标，通过三角测量原理生成墓碑的点云生成三维点云信息，根据墓碑点云进行三维重建，将墓碑的三维重建模型与目标用户选取季节信息及地域信息形成交互场景，例如目标用户可以根据家乡地域信息及季节气候信息生成预设场景，将墓碑三维重建模型融入目标用户提前设定的场景中。
图2示出了本发明根据声音信息及动作信息进行语义分析及动作识别的方法流程图。
根据本发明实施例，将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别，具体为：
S202，获取逝者生前的声纹信息及视频图像信息，将所述声纹信息及视频图像信息导入交互场景，将逝者生前图像在交互场景中进行投影，并预设语音及动作指令；
S204，获取目标用户在交互场景中的视频流，通过时序提取帧图像数据选取关键帧，根据关键帧提取目标用户的骨架数据，根据骨架数据构成骨架动作序列，进行目标用户动作识别生成动作信息；
S206，将预设动作信息与预设语音及动作指令相匹配，判断目标用户的动作信息与预设动作信息的相似度，根据所述相似度提取预设动作对应的语音及动作指令；
S208，获取目标用户的语音信号，根据所述语音信号判断目标用户的情绪信息，并通过情绪信息生成情绪标签，将所述语音信号进行识别转换为文字字符串的文本信息，根据文本信息生成语料信息并赋予情绪标签生成语义信息；
S210，构建语义识别模型，通过预设语音及动作指令对应的语料信息及预设数量的情绪标签对语义识别模型进行初始化训练，将所述语义信息输入训练好的语义识别模型进行识别分类，获取对应的语音及动作指令。
在目标用户在交互场景中进行祭拜过程中，根据对目标对象的动作语音识别，为逝者投影预设对应的语音及动作指令，实现动作及语音交互，当目标用户出现情绪崩溃情况时，设置安慰性语音进行对话交互，并且，当多名用户同时进行祭拜时，可以按照用户需求设置交互场景，满足多名用户在同交互场景中进行祭拜，并用终端视频方式进行用户间交流；其中，获取目标用户的动作信息及语义信息，具体为：通过OpenPose算法获取目标用户的骨骼点位置信息，所述 OpenPose算法是由置信度算法和局部亲和算法进行构建，其中一个卷积神经网络进行骨骼点的定位，另外一个卷积神经网络负责检测亲和度，提取图像底层特征后生成骨骼点置信度定位目标用户关键骨骼点点位置，使用局部亲和算法生成关键骨骼点连接的亲和度，将两个卷积进行汇总随关键骨骼点进行拼接；根据所述骨骼点位置信获取目标用户的骨架数据，并根据骨骼点位置信息及骨架数据提取特征向量；基于全连接神经网络构建动作识别模型；通过相关数据集中选取预设动作数据进行训练，将所述特征向量输入训练好的动作识别模型，通过Softmax函数输出相似度最高的动作信息；
基于CNN-LSTM构建目标用户情绪识别模型，将语音信号进行滤波去噪及等长划分等预处理，根据预处理后的语音信号按时间顺序排列，提取帧级别的频谱特征生成语谱图作为情绪识别模型的输入，通过CNN提取语谱图中的特征信息，将特征信息输入LSTM网络中，LSTM 网络主要通过遗忘门，记忆门，输出门控制传输状态，将每个特征向量顺序输入LSTM网络，将第一个神经元的输出和最后一个神经元的输出进行合并操作作为输出向量，通过全连接层输出情绪识别结果，并根据目标用户语音信息的振幅对情绪识别结果添加量化值生成情绪标签；
通过微软Speech Platform进行目标用户语音信息的识别转换为文本字符串，获取与语音及动作指令对应的语料信息作为训练语料，对所述训练语料进行特征提取；对文本信息进行预处理提取词向量，根据各词向量的出现频率及分布广度获取特征向量权重，将所述特征向量权重与训练语料的特征信息进行匹配，并与预设数量的情绪标签融合；结合注意力机制配置差异化权重获取语义特征，根据语义特征输出语义所对应的语音及动作指令的概率，选取概率最高的语音及动作指令进行实施。
根据本发明实施例，根据目标用户的祭拜的语言习惯生成对语音及情绪识别进行个性化训练，具体为
获取目标用户在进行祭拜时的语言使用习惯，所述语言使用习惯分为普通话及方言；
若目标用户的语言使用习惯为方言，则根据目标用户选取预设场景的地域信息及口音信息判断目标用户所使用的方言类型，获取对应方言类型的方言数据库，将语音及动作指令对应的语料信息在方言数据库中进行替换；
根据目标用户的语音信息按照方言的分词习惯进行预处理，获取替换后语料信息与按照方言分词习惯处理后存在差异的词汇，按照目标用户的语言使用习惯对语音及动作指令对应的语料信息进行进一步修正；
将修正后语音及动作指令对应的语料信息作为目标对象的个性化数据，将所述个性化数据与目标对象的声纹匹配；
通过个性化数据对语音及情绪的相关识别模型进行优化训练，并根据历史祭拜进行个性化数据的更新。
图3示出了本发明祭拜交互项目在电子祭祀设备上进行显示的方法流程图。
根据本发明实施例，所述通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示，具体为：
S302，通过电子祭祀设备实现用户留言、祭品赠送及香烛操作的祭拜交互项目，根据目标用户的动作信息及语义信息的识别结果获取预设动作及预设语料的时间戳；
S304，当识别到目标用户出现预设动作时，检测交互场景中的虚拟香烛是否为点燃状态，若虚拟香烛处于未点燃状态，则自动将虚拟香烛点燃；
S306，从语义信息的识别结果中获取目标用户对逝者的留言及祭品赠送信息，将用户留言、祭品赠送及香烛操作根据时间戳发送到电子祭祀设备上进行显示；
S308，若存在多名用户同时进行祭拜活动，则将香烛持续时间进行累计，显示当前香烛的剩余服务时间。
需要说明的是，电子祭祀设备通过物联网实现远程配置、管理、满足用户的多种需求，实定制化效果，此外电子祭祀设备还支持APP 服务，其中用户可以通过APP扫描电子祭祀设备的二维码，用户可以分享墓穴给其它用户，变成亲情用户，也可以通过APP服务进行留言、送礼等简单交互，电子祭祀设备的显示界面包括墓主信息:遗照及生平事迹；设备时间；显示当前时间；置顶留言:置顶留言一直存在显示直到有新留言发布，最多32字符；用户留言:普通用户操作，可定时滚动刷新最新50条留言，滚动间隔15秒，最多64字符；长明香烛时间:显示当前长明香烛的剩余服务时间；虚拟祭品区域:显示当前赠送的祭品类型，虚拟真实效果，滚动间隔15秒，可显示赠送者信息，包括但不限于鲜花类、副食类、服装类、交通工具、钱、房子、烟酒茶、通讯工具、家电家具、宠物；设备信息二维码:用于用户登录手机网页端绑定设备信息；设备状态:无线信号、设备电量、当前设备版本编号；
根据目标用户的实时情绪变化生成提醒信息，具体为：根据目标用户的语音信号实时判断祭拜对象的实时情绪变化，生成目标用户的情绪变化曲线；根据目标用户历史祭拜的祭拜时长及情绪变化情况确定目标用户的情绪变化基线，并获取情绪变化基线中情绪突变点处目标用户的动作信息及语义信息；根据目标用户历史祭拜的祭拜时长及情绪变化情况确定目标用户的情绪变化基线，并获取情绪变化基线中情绪突变点处目标用户的动作信息及语义信息；将目标用户的情绪变化曲线与所述情绪变化基线进行对比，判断目标用户情绪变化趋势；根据情绪变化基线中情绪突变点处目标用户的动作信息及语义信息选取目标用户情绪变化曲线的情绪关键点，计算目标用户情绪变化曲线的情绪关键点与所述情绪突变点的差值；根据所述变化趋势及所述差值判断目标用户是否出现情绪过激情况，若出现，则在交互场景中生成提醒信息并暂停祭拜交互。
根据本发明实施例，通过电子祭祀设备的双目系统判断墓碑是否需要维护，具体为：
通过预设周期通过双目系统分别采集墓碑的图像信息，对采集到的图像信息畸变校正及预处理，提取感兴趣区域；
获取感兴趣区域的颜色特征及纹理特征，获取墓碑缺陷的样本数据集，根据样本数据集划分训练集及测试集；
基于Tensorflow框架构建缺陷检测模型，通过训练集及测试集进行分类器的训练，将所述颜色特征及纹理特征输入缺陷检测模型，判断墓碑是否存在缺陷，若存在，则生成提醒信息；
将所述提醒信息按照预设方式发送给管理人员，目标用户通过双目系统检查墓碑维护结果，并按照需求调整检测周期。
图5示出了本发明一种基于物联网的远程祭拜系统的框图。
本发明第二方面还提供了一种基于物联网的远程祭拜系统5，该系统包括：存储器51、处理器52，所述存储器中包括一种基于物联网的远程祭拜方法程序，所述一种基于物联网的远程祭拜方法程序被所述处理器执行时实现如下步骤：
通过电子祭祀设备获取墓碑的二维图像信息，根据所述二维图像信息进行三维重建构建墓碑三维模型；
根据季节信息及地域信息选取预设场景，将所述墓碑三维模型结合预设场景生成目标用户与墓碑的交互场景；
将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别；
通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示。
电子祭祀设备具备电子烛台、液晶电子屏幕及双目摄像系统，通过云同步最大程度还原现场祭拜的活动效果，实现虚拟电子祭品显示及长明灯、长明蜡烛控制，此外，电子祭祀设备可支持太阳能或电池供电，用户能够在远程端进行实时祭祀；并实现留言、送礼、点烛、点香，同步到现场墓穴的硬件显示屏展示。
根据所述二维图像信息进行三维重建构建墓碑三维模型，具体为：通过电子祭祀设备上的双目系统获取墓碑二维图像信息，对二维图像信息进行预处理，获取墓碑边缘在图像坐标系的位置信息；将图像坐标系中的位置信息进行坐标变换为世界坐标系，对利用OpenCV双目相机标定工具箱对双目系统进行标定，对图像进行极线矫正、立体匹配处理；根据左目图像及右目图像中的同一边缘目标点的成像点计算视差，获取目标点的深度信息；获取标定后双目系统采集的左目图像与右目图像的相似点进行匹配，进行图像配准；根据双目系统的左右视差图，目标点深度信息及双目相机的内外参数获取边缘目标点的空间坐标，通过三角测量原理生成墓碑的点云生成三维点云信息，根据墓碑点云进行三维重建，将墓碑的三维重建模型与目标用户选取季节信息及地域信息形成交互场景，例如目标用户可以根据家乡地域信息及季节气候信息生成预设场景，将墓碑三维重建模型融入目标用户提前设定的场景中。
根据本发明实施例，将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别，具体为：
获取逝者生前的声纹信息及视频图像信息，将所述声纹信息及视频图像信息导入交互场景，将逝者生前图像在交互场景中进行投影，并预设语音及动作指令；
获取目标用户在交互场景中的视频流，通过时序提取帧图像数据选取关键帧，根据关键帧提取目标用户的骨架数据，根据骨架数据构成骨架动作序列，进行目标用户动作识别生成动作信息；
将预设动作信息与预设语音及动作指令相匹配，判断目标用户的动作信息与预设动作信息的相似度，根据所述相似度提取预设动作对应的语音及动作指令；
获取目标用户的语音信号，根据所述语音信号判断目标用户的情绪信息，并通过情绪信息生成情绪标签，将所述语音信号进行识别转换为文字字符串的文本信息，根据文本信息生成语料信息并赋予情绪标签生成语义信息；
构建语义识别模型，通过预设语音及动作指令对应的语料信息及预设数量的情绪标签对语义识别模型进行初始化训练，将所述语义信息输入训练好的语义识别模型进行识别分类，获取对应的语音及动作指令。
在目标用户在交互场景中进行祭拜过程中，根据对目标对象的动作语音识别，为逝者投影预设对应的语音及动作指令，实现动作及语音交互，当目标用户出现情绪崩溃情况时，设置安慰性语音进行对话交互；其中，获取目标用户的动作信息及语义信息，具体为：通过 OpenPose算法获取目标用户的骨骼点位置信息，所述OpenPose算法是由置信度算法和局部亲和算法进行构建，其中一个卷积神经网络进行骨骼点的定位，另外一个卷积神经网络负责检测亲和度，提取图像底层特征后生成骨骼点置信度定位目标用户关键骨骼点点位置，使用局部亲和算法生成关键骨骼点连接的亲和度，将两个卷积进行汇总随关键骨骼点进行拼接；根据所述骨骼点位置信获取目标用户的骨架数据，并根据骨骼点位置信息及骨架数据提取特征向量；基于全连接神经网络构建动作识别模型；通过相关数据集中选取预设动作数据进行训练，将所述特征向量输入训练好的动作识别模型，通过Softmax函数输出相似度最高的动作信息；
基于CNN-LSTM构建目标用户情绪识别模型，将语音信号进行滤波去噪及等长划分等预处理，根据预处理后的语音信号按时间顺序排列，提取帧级别的频谱特征生成语谱图作为情绪识别模型的输入，通过CNN提取语谱图中的特征信息，将特征信息输入LSTM网络中，LSTM 网络主要通过遗忘门，记忆门，输出门控制传输状态，将每个特征向量顺序输入LSTM网络，将第一个神经元的输出和最后一个神经元的输出进行合并操作作为输出向量，通过全连接层输出情绪识别结果，并根据目标用户语音信息的振幅对情绪识别结果添加量化值生成情绪标签；
通过微软Speech Platform进行目标用户语音信息的识别转换为文本字符串，获取与语音及动作指令对应的语料信息作为训练语料，对所述训练语料进行特征提取；对文本信息进行预处理提取词向量，根据各词向量的出现频率及分布广度获取特征向量权重，将所述特征向量权重与训练语料的特征信息进行匹配，并与预设数量的情绪标签融合；结合注意力机制配置差异化权重获取语义特征，根据语义特征输出语义所对应的语音及动作指令的概率。
根据本发明实施例，所述通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示，具体为：
通过电子祭祀设备实现用户留言、祭品赠送及香烛操作的祭拜交互项目，根据目标用户的动作信息及语义信息的识别结果获取预设动作及预设语料的时间戳；
当识别到目标用户出现预设动作时，检测交互场景中的虚拟香烛是否为点燃状态，若虚拟香烛处于未点燃状态，则自动将虚拟香烛点燃；
从语义信息的识别结果中获取目标用户对逝者的留言及祭品赠送信息，将用户留言、祭品赠送及香烛操作根据时间戳发送到电子祭祀设备上进行显示；
若存在多名用户同时进行祭拜活动，则将香烛持续时间进行累计，显示当前香烛的剩余服务时间。
需要说明的是，电子祭祀设备通过物联网实现远程配置、管理、满足用户的多种需求，实定制化效果，此外电子祭祀设备还支持APP 服务，其中用户可以通过APP扫描电子祭祀设备的二维码，用户可以分享墓穴给其它用户，变成亲情用户，也可以通过APP服务进行留言、送礼等简单交互，电子祭祀设备的显示界面包括墓主信息:遗照及生平事迹；设备时间；显示当前时间；置顶留言:置顶留言一直存在显示直到有新留言发布，最多32字符；用户留言:普通用户操作，可定时滚动刷新最新50条留言，滚动间隔15秒，最多64字符；长明香烛时间:显示当前长明香烛的剩余服务时间；虚拟祭品区域:显示当前赠送的祭品类型，虚拟真实效果，滚动间隔15秒，可显示赠送者信息，包括但不限于鲜花类、副食类、服装类、交通工具、钱、房子、烟酒茶、通讯工具、家电家具、宠物；设备信息二维码:用于用户登录手机网页端绑定设备信息；设备状态:无线信号、设备电量、当前设备版本编号；
根据目标用户的实时情绪变化生成提醒信息，具体为：根据目标用户的语音信号实时判断祭拜对象的实时情绪变化，生成目标用户的情绪变化曲线；根据目标用户历史祭拜的祭拜时长及情绪变化情况确定目标用户的情绪变化基线，并获取情绪变化基线中情绪突变点处目标用户的动作信息及语义信息；根据目标用户历史祭拜的祭拜时长及情绪变化情况确定目标用户的情绪变化基线，并获取情绪变化基线中情绪突变点处目标用户的动作信息及语义信息；将目标用户的情绪变化曲线与所述情绪变化基线进行对比，判断目标用户情绪变化趋势；根据情绪变化基线中情绪突变点处目标用户的动作信息及语义信息选取目标用户情绪变化曲线的情绪关键点，计算目标用户情绪变化曲线的情绪关键点与所述情绪突变点的差值；根据所述变化趋势及所述差值判断目标用户是否出现情绪过激情况，若出现，则在交互场景中生成提醒信息并暂停祭拜交互。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于物联网的远程祭拜方法程序，所述一种基于物联网的远程祭拜方法程序被处理器执行时，实现如上述任一项所述的一种基于物联网的远程祭拜方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于物联网的远程祭拜方法，其特征在于，包括以下步骤：
通过电子祭祀设备获取墓碑的二维图像信息，根据所述二维图像信息进行三维重建构建墓碑三维模型；
根据季节信息及地域信息选取预设场景，将所述墓碑三维模型结合预设场景生成目标用户与墓碑的交互场景；
将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别；
通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示。
2.根据权利要求1所述的一种基于物联网的远程祭拜方法，其特征在于，根据所述二维图像信息进行三维重建构建墓碑三维模型，具体为：
通过电子祭祀设备上的双目系统获取墓碑二维图像信息，对二维图像信息进行预处理，获取墓碑边缘在图像坐标系的位置信息；
将图像坐标系中的位置信息进行坐标变换为世界坐标系，对双目系统进行标定，根据左目图像及右目图像中的同一边缘目标点的成像点计算视差，获取目标点的深度信息；
获取标定后双目系统采集的左目图像与右目图像的相似点进行匹配，进行图像配准；
根据双目系统的左右视差图，目标点深度信息及双目相机的内外参数获取边缘目标点的空间坐标，通过空间坐标生成墓碑点云，根据墓碑点云进行三维重建。
3.根据权利要求1所述的一种基于物联网的远程祭拜方法，其特征在于，将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别，具体为：
获取逝者生前的声纹信息及视频图像信息，将所述声纹信息及视频图像信息导入交互场景，将逝者生前图像在交互场景中进行投影，并预设语音及动作指令；
获取目标用户在交互场景中的视频流，通过时序提取帧图像数据选取关键帧，根据关键帧提取目标用户的骨架数据，根据骨架数据构成骨架动作序列，进行目标用户动作识别生成动作信息；
将预设动作信息与预设语音及动作指令相匹配，判断目标用户的动作信息与预设动作信息的相似度，根据所述相似度提取预设动作对应的语音及动作指令；
获取目标用户的语音信号，根据所述语音信号判断目标用户的情绪信息，并通过情绪信息生成情绪标签，将所述语音信号进行识别转换为文字字符串的文本信息，根据文本信息生成语料信息并赋予情绪标签生成语义信息；
构建语义识别模型，通过预设语音及动作指令对应的语料信息及预设数量的情绪标签对语义识别模型进行初始化训练，将所述语义信息输入训练好的语义识别模型进行识别分类，获取对应的语音及动作指令。
4.根据权利要求3所述的一种基于物联网的远程祭拜方法，其特征在于，获取目标用户的动作信息及语义信息，具体为：
通过OpenPose算法获取目标用户的骨骼点位置信息，根据所述骨骼点位置信获取目标用户的骨架数据，并根据骨骼点位置信息及骨架数据提取特征向量；
基于深度学习构建动作识别模型及语义识别模型；
通过相关数据集中选取预设动作数据进行训练，将所述特征向量输入训练好的动作识别模型，输出相似度最高的动作信息；
获取与语音及动作指令对应的语料信息作为训练语料，对所述训练语料进行特征提取；
对文本信息进行预处理提取词向量，根据各词向量的出现频率及分布广度获取特征向量权重，将所述特征向量权重与训练语料的特征信息进行匹配，并与预设数量的情绪标签融合；
结合注意力机制配置差异化权重获取语义特征，根据语义特征输出语义所对应的语音及动作指令的概率。
5.根据权利要求1所述的一种基于物联网的远程祭拜方法，其特征在于，所述通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示，具体为：
通过电子祭祀设备实现用户留言、祭品赠送及香烛操作的祭拜交互项目，根据目标用户的动作信息及语义信息的识别结果获取预设动作及预设语料的时间戳；
当识别到目标用户出现预设动作时，检测交互场景中的虚拟香烛是否为点燃状态，若虚拟香烛处于未点燃状态，则自动将虚拟香烛点燃；
从语义信息的识别结果中获取目标用户对逝者的留言及祭品赠送信息，将用户留言、祭品赠送及香烛操作根据时间戳发送到电子祭祀设备上进行显示；
若存在多名用户同时进行祭拜活动，则将香烛持续时间进行累计，显示当前香烛的剩余服务时间。
6.根据权利要求1所述的一种基于物联网的远程祭拜方法，其特征在于，还包括：
根据目标用户的语音信号实时判断祭拜对象的实时情绪变化，生成目标用户的情绪变化曲线；
根据目标用户历史祭拜的祭拜时长及情绪变化情况确定目标用户的情绪变化基线，并获取情绪变化基线中情绪突变点处目标用户的动作信息及语义信息；
将目标用户的情绪变化曲线与所述情绪变化基线进行对比，判断目标用户情绪变化趋势；
根据情绪变化基线中情绪突变点处目标用户的动作信息及语义信息选取目标用户情绪变化曲线的情绪关键点，计算目标用户情绪变化曲线的情绪关键点与所述情绪突变点的差值；
根据所述变化趋势及所述差值判断目标用户是否出现情绪过激情况，若出现，则在交互场景中生成提醒信息并暂停祭拜交互。
7.一种基于物联网的远程祭拜系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于物联网的远程祭拜方法程序，所述一种基于物联网的远程祭拜方法程序被所述处理器执行时实现如下步骤：
通过电子祭祀设备获取墓碑的二维图像信息，根据所述二维图像信息进行三维重建构建墓碑三维模型；
根据季节信息及地域信息选取预设场景，将所述墓碑三维模型结合预设场景生成目标用户与墓碑的交互场景；
将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别；
通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示。
8.根据权利要求7所述的一种基于物联网的远程祭拜系统，其特征在于，将逝者信息导入所述交互场景，获取目标用户的声音信息及动作信息，根据所述声音信息及动作信息进行语义分析及动作识别，具体为：
获取逝者生前的声纹信息及视频图像信息，将所述声纹信息及视频图像信息导入交互场景，将逝者生前图像在交互场景中进行投影，并预设语音及动作指令；
获取目标用户在交互场景中的视频流，通过时序提取帧图像数据选取关键帧，根据关键帧提取目标用户的骨架数据，根据骨架数据构成骨架动作序列，进行目标用户动作识别生成动作信息；
将预设动作信息与预设语音及动作指令相匹配，判断目标用户的动作信息与预设动作信息的相似度，根据所述相似度提取预设动作对应的语音及动作指令；
获取目标用户的语音信号，根据所述语音信号判断目标用户的情绪信息，并通过情绪信息生成情绪标签，将所述语音信号进行识别转换为文字字符串的文本信息，根据文本信息生成语料信息并赋予情绪标签生成语义信息；
构建语义识别模型，通过预设语音及动作指令对应的语料信息及预设数量的情绪标签对语义识别模型进行初始化训练，将所述语义信息输入训练好的语义识别模型进行识别分类，获取对应的语音及动作指令。
9.根据权利要求7所述的一种基于物联网的远程祭拜系统，其特征在于，所述通过语义分析及动作识别结果匹配相应的祭拜交互项目，将所述祭拜交互项目发送到电子祭祀设备上进行显示，具体为：
通过电子祭祀设备实现用户留言、祭品赠送及香烛操作的祭拜交互项目，根据目标用户的动作信息及语义信息的识别结果获取预设动作及预设语料的时间戳；
当识别到目标用户出现预设动作时，检测交互场景中的虚拟香烛是否为点燃状态，若虚拟香烛处于未点燃状态，则自动将虚拟香烛点燃；
从语义信息的识别结果中获取目标用户对逝者的留言及祭品赠送信息，将用户留言、祭品赠送及香烛操作根据时间戳发送到电子祭祀设备上进行显示；
若存在多名用户同时进行祭拜活动，则将香烛持续时间进行累计，显示当前香烛的剩余服务时间。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中包括一种基于物联网的远程祭拜方法程序，所述一种基于物联网的远程祭拜方法程序被处理器执行时，实现如权利要求1至6中任一项所述的一种基于物联网的远程祭拜方法的步骤。
CN202210977864.3A 2022-08-15 2022-08-15 基于物联网的远程祭拜方法、系统及存储介质 Active CN115097946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210977864.3A CN115097946B (zh) 2022-08-15 2022-08-15 基于物联网的远程祭拜方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210977864.3A CN115097946B (zh) 2022-08-15 2022-08-15 基于物联网的远程祭拜方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN115097946A true CN115097946A (zh) 2022-09-23
CN115097946B CN115097946B (zh) 2023-04-18

Family

ID=83300016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210977864.3A Active CN115097946B (zh) 2022-08-15 2022-08-15 基于物联网的远程祭拜方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN115097946B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808923A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 一种图像生成方法、系统、电子设备及可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109243491A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 在频谱上对语音进行情绪识别的方法、系统及存储介质
CN109243490A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 司机情绪识别方法及终端设备
US20190295533A1 (en) * 2018-01-26 2019-09-26 Shanghai Xiaoi Robot Technology Co., Ltd. Intelligent interactive method and apparatus, computer device and computer readable storage medium
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法
CN111885045A (zh) * 2020-07-20 2020-11-03 贵州智软科技有限公司 一种网络祭拜系统、服务器及客户端
WO2021051579A1 (zh) * 2019-09-17 2021-03-25 平安科技（深圳）有限公司 形体姿态识别方法、系统、装置及存储介质
CN113343950A (zh) * 2021-08-04 2021-09-03 之江实验室 一种基于多特征融合的视频行为识别方法
US11194972B1 (en) * 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
CN114203177A (zh) * 2021-12-06 2022-03-18 深圳市证通电子股份有限公司 一种基于深度学习与情绪识别的智能语音问答方法和系统
CN114724251A (zh) * 2022-04-24 2022-07-08 重庆邮电大学 一种在红外视频下基于骨架序列的老人行为识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190295533A1 (en) * 2018-01-26 2019-09-26 Shanghai Xiaoi Robot Technology Co., Ltd. Intelligent interactive method and apparatus, computer device and computer readable storage medium
CN109243491A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 在频谱上对语音进行情绪识别的方法、系统及存储介质
CN109243490A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 司机情绪识别方法及终端设备
WO2021051579A1 (zh) * 2019-09-17 2021-03-25 平安科技（深圳）有限公司 形体姿态识别方法、系统、装置及存储介质
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法
CN111885045A (zh) * 2020-07-20 2020-11-03 贵州智软科技有限公司 一种网络祭拜系统、服务器及客户端
US11194972B1 (en) * 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
CN113343950A (zh) * 2021-08-04 2021-09-03 之江实验室 一种基于多特征融合的视频行为识别方法
CN114203177A (zh) * 2021-12-06 2022-03-18 深圳市证通电子股份有限公司 一种基于深度学习与情绪识别的智能语音问答方法和系统
CN114724251A (zh) * 2022-04-24 2022-07-08 重庆邮电大学 一种在红外视频下基于骨架序列的老人行为识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808923A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 一种图像生成方法、系统、电子设备及可读存储介质
CN117808923B (zh) * 2024-02-29 2024-05-14 浪潮电子信息产业股份有限公司 一种图像生成方法、系统、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN115097946B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110531860B (zh) 一种基于人工智能的动画形象驱动方法和装置
CN112073741B (zh) 直播信息的处理方法、装置、电子设备及存储介质
CN104641413B (zh) 利用头戴式显示器来实现人际交互
CN110110104B (zh) 一种自动生成虚拟三维空间内房屋讲解的方法及装置
CN107977834B (zh) 一种虚拟现实/增强现实空间环境中的数据对象交互方法及装置
CN109067839B (zh) 推送游览指导信息、创建景点信息数据库的方法及装置
CN109960453A (zh) 根据被引导的用户会话移除和替换图像中的对象
CN103546623B (zh) 用于发送语音信息及其文本描述信息的方法、装置与设备
CN114401438B (zh) 虚拟数字人的视频生成方法及装置、存储介质、终端
TW201913300A (zh) 人機互動方法及系統
CN107864410B (zh) 一种多媒体数据处理方法、装置、电子设备以及存储介质
CN110446063A (zh) 视频封面的生成方法、装置及电子设备
CN107293236A (zh) 自适应不同用户的智能显示装置
CN115097946B (zh) 基于物联网的远程祭拜方法、系统及存储介质
CN114495927A (zh) 多模态交互的虚拟数字人的生成方法及装置、存储介质、终端
KR20190061191A (ko) 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법
CN109409199A (zh) 微表情训练方法、装置、存储介质及电子设备
CN110427099A (zh) 信息记录方法、装置、系统、电子设备以及信息获取方法
CN113641836A (zh) 一种展示方法及其相关设备
CN115494941A (zh) 基于神经网络的元宇宙情感陪护虚拟人实现方法及系统
CN117523088A (zh) 一种个性化的三维数字人全息互动形成系统及方法
CN117251552B (zh) 基于大型语言模型的对话处理方法、装置及电子设备
CN113867528A (zh) 显示方法、装置、设备及计算机可读存储介质
CN113851029A (zh) 一种无障碍通信方法和装置
CN116737883A (zh) 人机交互方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant