CN116482987B - 基于用户行为实现智能家具的自动感应方法及装置 - Google Patents

基于用户行为实现智能家具的自动感应方法及装置 Download PDF

Info

Publication number
CN116482987B
CN116482987B CN202310721557.3A CN202310721557A CN116482987B CN 116482987 B CN116482987 B CN 116482987B CN 202310721557 A CN202310721557 A CN 202310721557A CN 116482987 B CN116482987 B CN 116482987B
Authority
CN
China
Prior art keywords
furniture
pet
user
behavior
identity information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310721557.3A
Other languages
English (en)
Other versions
CN116482987A (zh
Inventor
王磊
何勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Health Vocational College
Guizhou University
Original Assignee
Guizhou Health Vocational College
Guizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Health Vocational College, Guizhou University filed Critical Guizhou Health Vocational College
Priority to CN202310721557.3A priority Critical patent/CN116482987B/zh
Publication of CN116482987A publication Critical patent/CN116482987A/zh
Application granted granted Critical
Publication of CN116482987B publication Critical patent/CN116482987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及行为识别领域，揭露一种基于用户行为实现智能家具的自动感应方法及装置，所述方法包括：划分智能家具中的共用家具、用户家具及宠物家具；构建共用家具、用户家具及宠物家具的家具感应范围；检测家具感应范围内是否存在活体；从活体图像中提取肢体特征，检测肢体特征对应的第一行为类别；在第一行为类别为预设类别时，分析第一行为类别对应的行为意图，利用行为意图对智能家具进行第一感应控制，得到第一感应结果；在第一行为类别不为预设类别时，定位活体图像中的肢体模块，识别肢体模块内的第二行为类别，利用第二行为类别对智能家具进行第二感应控制，得到第二感应结果。本发明可以提高基于用户行为的智能家具自动感应准确率。

Description

基于用户行为实现智能家具的自动感应方法及装置
技术领域
本发明涉及行为识别领域，尤其涉及一种基于用户行为实现智能家具的自动感应方法及装置。
背景技术
基于用户行为的智能家具自动感应是指在智能家具处感应用户行为，基于感应到的用户行为对智能家具的功能进行启动、调度等工作的过程。
目前，利用神经网络模型识别用户行为的方法包括利用BP神经网络模型的识别、利用卷积神经网络的用户行为识别等，但这些方法通常是识别用户行为类别之后来对智能家具进行感应控制，若用户的行为为异常行为且异常行为中包含用于控制智能家具的行为时，此时智能家具会被异常行为中的用于控制智能家具的行为进行控制，而实际是用户出现抽搐倒地、梦游情况时，用户并无控制智能家具的意向，此时智能家具会出现误感应的现象。因此，由于对用户的行为辨识能力不足，导致基于用户行为的智能家具自动感应准确率不足。
发明内容
为了解决上述问题，本发明提供了一种基于用户行为实现智能家具的自动感应方法及装置，可以提高基于用户行为的智能家具自动感应准确率。
第一方面，本发明提供了一种基于用户行为实现智能家具的自动感应方法，包括：
采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，具体为：从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数；
采集所述用户与所述宠物的身份信息，得到用户身份信息与宠物身份信息，根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；
检测所述家具感应范围内是否存在活体；
在所述家具感应范围内存在活体时，采集所述家具感应范围内的活体图像，从所述活体图像中提取肢体特征，检测所述肢体特征对应的第一行为类别，所述第一行为类别是指所述肢体特征对应的人或宠物的全身行为类别，其中，所述检测所述肢体特征对应的第一行为类别，包括：利用下述公式计算所述肢体特征对应的第一行为类别概率：
；
其中，表示所述第一行为类别概率，/>表示激活函数，/>表示池化层，表示注意力机制，/>表示归一化层，/>表示所述肢体特征，
识别所述第一行为类别概率对应的第一行为类别；
在所述第一行为类别为预设类别时，所述预设类别是指异常行为类别，分析所述第一行为类别对应的行为意图，利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果；
在所述第一行为类别不为所述预设类别时，定位所述活体图像中的肢体模块，识别所述肢体模块内的第二行为类别，利用所述第二行为类别对所述智能家具进行第二感应控制，得到第二感应结果。
在第一方面的一种可能实现方式中，所述基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，具体为：
从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数；
根据所述用户使用次数与所述宠物使用次数，利用下述公式计算所述智能家具的用户使用频率与宠物使用频率：
；
其中，表示所述用户使用频率，/>表示所述宠物使用频率，/>表示第h个智能家具的用户使用次数，/>表示第h个智能家具的宠物使用次数，i表示用户符号，j表示宠物符号，h表示智能家具的序号，/>表示所述智能家具被用户与宠物所使用的总的使用次数；
根据所述智能家具使用频率，利用下述公式划分所述智能家具中的共用家具、用户家具及宠物家具：
；
其中，表示所述用户家具，/>表示所述宠物家具，/>表示所述共用家具，/>表示所述用户使用频率，/>表示所述宠物使用频率，i表示用户符号，j表示宠物符号，h表示智能家具的序号，/>表示差值阈值，/>表示当所述用户使用频率远远大于所述宠物使用频率，将所对应的家具划分为用户家具，/>表示当所述宠物使用频率远远大于所述用户使用频率时，将所对应的家具划分为宠物家具，表示当所述用户使用频率与所述宠物使用频率之间的差值小于差值阈值时，将所对应的家具划分为共用家具。
在第一方面的一种可能实现方式中，所述根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为：
从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；
根据所述高度信息与所述肢体长度，利用下述公式计算所述用户身份信息与所述宠物身份信息的身体高度：
；
；
其中，表示所述用户身份信息的身体高度，/>表示所述宠物身份信息的身体高度，/>表示所述用户身份信息对应的人的净身高，/>表示所述宠物身份信息对应的宠物的净身高，/>所述用户身份信息对应的人的手臂长度，/>表示所述宠物身份信息对应的宠物的后腿长度；
基于所述用户身份信息与所述宠物身份信息的身体高度及所述宠物身份信息的跳跃高度，确定所述共用家具、所述用户家具及所述宠物家具的家具感应高度；
获取遮挡所述共用家具、所述用户家具及所述宠物家具的遮挡物体，查询所述遮挡物体与所述共用家具、所述用户家具及所述宠物家具之间的距离，将所查询到的距离作为所述共用家具、所述用户家具及所述宠物家具的水平感应范围；
将所述家具感应高度与所述水平感应范围作为所述家具感应范围。
在第一方面的一种可能实现方式中，所述基于所述用户身份信息与所述宠物身份信息的身体高度及所述宠物身份信息的跳跃高度，确定所述共用家具、所述用户家具及所述宠物家具的家具感应高度，包括：
从所述用户身份信息与所述宠物身份信息的身体高度中获取用户身份信息的身体高度与宠物身份信息的身体高度；
将所述用户身份信息的身体高度作为所述用户家具的家具感应高度；
将所述宠物身份信息的身体高度作为所述宠物家具的家具感应高度；
从所述用户家具的家具感应高度与所述宠物家具的家具感应高度选取最大感应高度，将所述最大感应高度作为所述共用家具的家具感应高度。
在第一方面的一种可能实现方式中，所述从所述活体图像中提取肢体特征，包括：
对所述活体图像进行活体目标检测，得到检测目标活体；
从所述检测目标活体中提取初始肢体特征；
利用下述公式构建所述初始肢体特征的特征融合卷积核：
；
其中，表示所述特征融合卷积核，/>表示第l层的第i个通道的二维卷积核，m表示第l层的通道数目；
利用所述特征融合卷积核对所述初始肢体特征中的每个特征进行特征融合处理，得到融合特征；
将所述肢体特征分别转换为空间域特征与时间域特征；
拼接所述融合特征、所述空间域特征与所述时间域特征，得到所述肢体特征。
在第一方面的一种可能实现方式中，所述分析所述第一行为类别对应的行为意图，包括：
获取第一行为类别对应的行为位置与关键点坐标；
对所述行为位置与关键点坐标进行向量转换，得到位置-坐标拼接向量；
对所述位置-坐标拼接向量进行长短期循环记忆处理，得到循环记忆向量；
利用预设的多头注意力机制提取所述循环记忆向量中的多头注意力向量；
基于所述多头注意力向量，确定所述行为意图。
在第一方面的一种可能实现方式中，所述利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果，包括：
获取所述行为意图对应的用户行为，并获取所述智能家具的感应信号-行为数据库；
在所述感应信号-行为数据库中查询所述用户行为对应的行为，得到目标行为；
在所述感应信号-行为数据库中提取与所述目标行为匹配的感应信号；
利用所述感应信号对所述智能家具进行第一感应控制，得到所述第一感应结果。
在第一方面的一种可能实现方式中，所述定位所述活体图像中的肢体模块，包括：
采集所述活体图像中的人体特征；
利用下述公式计算所述人体特征的特征重心坐标：
；
；
其中，表示所述特征重心坐标中的横坐标，/>表示所述特征重心坐标中的纵坐标，/>表示所述人体特征中的第u个特征的横坐标，U表示所述人体特征中的特征数目，/>表示所述人体特征中的第u个特征的横坐标；
以所述特征重心坐标为中心，基于所述活体图像中的人体比例，构建所述人体特征的矩形框；
利用所述矩形框识别所述活体图像中的肢体模块。
在第一方面的一种可能实现方式中，所述识别所述肢体模块内的第二行为类别，包括：
获取所述肢体模块对应的行为识别模型，利用所述行为识别模型中的特征提取层对所述肢体模块进行关键点检测，得到检测关键点；
利用所述行为识别模型中的长短期记忆网络层识别所述检测关键点中的姿态特征；
利用所述行为识别模型中的全连接层计算所述姿态特征对应的第二行为类别概率；
识别所述第二行为类别概率对应的第二行为类别。
第二方面，本发明提供了一种基于用户行为实现智能家具的自动感应装置，所述装置包括：
家具划分模块，用于采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，具体为：从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数；
范围构建模块，用于采集所述用户与所述宠物的身份信息，得到用户身份信息与宠物身份信息，根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；
活体检测模块，用于检测所述家具感应范围内是否存在活体；
类别检测模块，用于在所述家具感应范围内存在活体时，采集所述家具感应范围内的活体图像，从所述活体图像中提取肢体特征，检测所述肢体特征对应的第一行为类别，所述第一行为类别是指所述肢体特征对应的人或宠物的全身行为类别，其中，所述检测所述肢体特征对应的第一行为类别，包括：利用下述公式计算所述肢体特征对应的第一行为类别概率：
；
其中，表示所述第一行为类别概率，/>表示激活函数，/>表示池化层，表示注意力机制，/>表示归一化层，/>表示所述肢体特征，
识别所述第一行为类别概率对应的第一行为类别；
第一感应模块，用于在所述第一行为类别为预设类别时，所述预设类别是指异常行为类别，分析所述第一行为类别对应的行为意图，利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果；
第二感应模块，用于在所述第一行为类别不为所述预设类别时，定位所述活体图像中的肢体模块，识别所述肢体模块内的第二行为类别，利用所述第二行为类别对所述智能家具进行第二感应控制，得到第二感应结果。
与现有技术相比，本方案的技术原理及有益效果在于：
本发明实施例通过采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，以用于采集用户与宠物在屋内的活动场景，便于判别哪些家具被用户或宠物使用频率较高，进一步地，本发明实施例通过基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，以用于基于智能家具所对应的不同用户群体、不同宠物群体，来划分智能家具的种类，从而在后续针对不同种类的智能家具设置不同的感应范围，提升智能家具感应功能与实际屋内场景的适配度，本发明实施例通过检测所述家具感应范围内是否存在活体，以用于将人体或宠物与其他无生命物体进行区分，便于后续进行人体或宠物的行为识别，本发明实施例通过从所述活体图像中提取肢体特征，以用于提取所述活体图像中的骨架部位，由于人或宠物的身体运动变化常通过骨架实现，而不是外在衣物或肉体，因此可以通过提取骨架部位来识别人或宠物的行为变化，进一步地，本发明实施例通过检测所述肢体特征对应的第一行为类别，以用于检测人体或宠物所出现的异常行为，当用户出现抽搐倒地、梦游情况时，用户并无控制智能家具的意向，此时减少智能家具会出现误感应的现象，从而提升对人体或宠物的行为辨识能力，增加基于用户行为的智能家具自动感应准确率，进一步地，本发明实施例通过分析所述第一行为类别对应的行为意图，以用于在第一行为类别为异常行为时，分析人体或宠物是否有控制智能家具的意图，减少智能家具会出现误感应的现象，本发明实施例通过定位所述活体图像中的肢体模块，以用于在对用户的全身行为进行异常检测之后，对用户的局部姿态进行检测，由于用户控制智能家具通常是通过局部姿势实现，因此仅对用户的局部姿态进行识别即可，进一步地，本发明实施例通过识别所述肢体模块内的第二行为类别，以用于识别每个模块所对应的行为类别，便于利用识别到的局部行为类别对智能家具进行感应控制。因此，本发明实施例提出的一种基于用户行为实现智能家具的自动感应方法及装置，可以提高基于用户行为的智能家具自动感应准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于用户行为实现智能家具的自动感应方法的流程示意图；
图2为本发明一实施例中图1提供的一种基于用户行为实现智能家具的自动感应方法的其中一个步骤的流程示意图；
图3为本发明一实施例中图1提供的一种基于用户行为实现智能家具的自动感应方法的另外一个步骤的流程示意图；
图4为本发明一实施例提供的一种基于用户行为实现智能家具的自动感应装置的模块示意图；
图5为本发明一实施例提供的实现基于用户行为实现智能家具的自动感应方法的电子设备的内部结构示意图。
具体实施方式
应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于用户行为实现智能家具的自动感应方法，所述基于用户行为实现智能家具的自动感应方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述基于用户行为实现智能家具的自动感应方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图1所示，是本发明一实施例提供的基于用户行为实现智能家具的自动感应方法的流程示意图。其中，图1中描述的基于用户行为实现智能家具的自动感应方法包括：
S1、采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，具体为：从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数。
本发明实施例通过采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，以用于采集用户与宠物在屋内的活动场景，便于判别哪些家具被用户或宠物使用频率较高。其中，所述智能家具是指通过感应人体的行为来自动进行工作的用于服务用户的家具，包括智能窗帘、智能音响、智能电视等等；所述用户活动信息包括用户在屋内的活动场景、活动次数、活动位置等信息，用户在屋内的活动场景是指用户使用智能家具的场景，包括利用智能家具开启窗帘的场景、利用智能家具开启音响的场景、利用智能家具开启电视的场景及利用智能家具调整沙发的场景等等；所述宠物活动信息是指宠物使用智能家具的活动信息，包括宠物使用自动投喂仪器的信息、宠物拉窗帘的信息、宠物使用可调整沙发的信息、宠物使用智能家具的次数等信息。
进一步地，本发明实施例通过基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，以用于基于智能家具所对应的不同用户群体、不同宠物群体，来划分智能家具的种类，从而在后续针对不同种类的智能家具设置不同的感应范围，提升智能家具感应功能与实际屋内场景的适配度。
本发明的一实施例中，所述基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，包括：从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数；根据所述用户使用次数与所述宠物使用次数，利用下述公式计算所述智能家具的用户使用频率与宠物使用频率：
；
其中，表示所述用户使用频率，/>表示所述宠物使用频率，/>表示第h个智能家具的用户使用次数，/>表示第h个智能家具的宠物使用次数，i表示用户符号，j表示宠物符号，h表示智能家具的序号，/>表示所述智能家具被用户与宠物所使用的总的使用次数；
根据所述智能家具使用频率，利用下述公式划分所述智能家具中的共用家具、用户家具及宠物家具：
；
其中，表示所述用户家具，/>表示所述宠物家具，/>表示所述共用家具，/>表示所述用户使用频率，/>表示所述宠物使用频率，i表示用户符号，j表示宠物符号，h表示智能家具的序号，/>表示差值阈值，/>表示当所述用户使用频率远远大于所述宠物使用频率，将所对应的家具划分为用户家具，/>表示当所述宠物使用频率远远大于所述用户使用频率时，将所对应的家具划分为宠物家具，表示当所述用户使用频率与所述宠物使用频率之间的差值小于差值阈值时，将所对应的家具划分为共用家具。
S2、采集所述用户与所述宠物的身份信息，得到用户身份信息与宠物身份信息，根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度。
本发明实施例中，所述身份信息包括用户身份信息与宠物身份信息，用户身份信息包括用户的身高信息与手臂信息等，宠物身份信息包括宠物的身高信息与后腿信息等。
本发明的一实施例中，所述根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为：从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；根据所述高度信息与所述肢体长度，利用下述公式计算所述用户身份信息与所述宠物身份信息的身体高度：
；
；
其中，表示所述用户身份信息的身体高度，/>表示所述宠物身份信息的身体高度，/>表示所述用户身份信息对应的人的净身高，/>表示所述宠物身份信息对应的宠物的净身高，/>所述用户身份信息对应的人的手臂长度，/>表示所述宠物身份信息对应的宠物的后腿长度；
基于所述用户身份信息与所述宠物身份信息的身体高度及所述宠物身份信息的跳跃高度，确定所述共用家具、所述用户家具及所述宠物家具的家具感应高度；获取遮挡所述共用家具、所述用户家具及所述宠物家具的遮挡物体，查询所述遮挡物体与所述共用家具、所述用户家具及所述宠物家具之间的距离，将所查询到的距离作为所述共用家具、所述用户家具及所述宠物家具的水平感应范围；将所述家具感应高度与所述水平感应范围作为所述家具感应范围。
其中，所述跳跃高度是指宠物的跳跃高度，由于一些智能家具需要宠物跳跃使用，因此可以参考宠物的跳跃高度来设置智能家具的感应高度。
本发明的又一实施例中，参阅图2所示，所述基于所述用户身份信息与所述宠物身份信息的身体高度及所述宠物身份信息的跳跃高度，确定所述共用家具、所述用户家具及所述宠物家具的家具感应高度，包括：
S201、从所述用户身份信息与所述宠物身份信息的身体高度中获取用户身份信息的身体高度与宠物身份信息的身体高度；
S202、将所述用户身份信息的身体高度作为所述用户家具的家具感应高度；
S203、将所述宠物身份信息的身体高度作为所述宠物家具的家具感应高度；
S204、从所述用户家具的家具感应高度与所述宠物家具的家具感应高度选取最大感应高度，将所述最大感应高度作为所述共用家具的家具感应高度。
S3、检测所述家具感应范围内是否存在活体。
本发明实施例通过检测所述家具感应范围内是否存在活体，以用于将人体或宠物与其他无生命物体进行区分，便于后续进行人体或宠物的行为识别。
可选地，所述检测所述家具感应范围内是否存在活体的过程通过红外热成像技术实现。
S4、在所述家具感应范围内存在活体时，采集所述家具感应范围内的活体图像，从所述活体图像中提取肢体特征，检测所述肢体特征对应的第一行为类别，所述第一行为类别是指所述肢体特征对应的人或宠物的全身行为类别。
本发明实施例通过从所述活体图像中提取肢体特征，以用于提取所述活体图像中的骨架部位，由于人或宠物的身体运动变化常通过骨架实现，而不是外在衣物或肉体，因此可以通过提取骨架部位来识别人或宠物的行为变化。
本发明的一实施例中，所述从所述活体图像中提取肢体特征，包括：对所述活体图像进行活体目标检测，得到检测目标活体；从所述检测目标活体中提取初始肢体特征；利用下述公式构建所述初始肢体特征的特征融合卷积核：
；
其中，表示所述特征融合卷积核，/>表示第l层的第i个通道的二维卷积核，m表示第l层的通道数目；
利用所述特征融合卷积核对所述初始肢体特征中的每个特征进行特征融合处理，得到融合特征；将所述肢体特征分别转换为空间域特征与时间域特征；拼接所述融合特征、所述空间域特征与所述时间域特征，得到所述肢体特征。
可选地，所述从所述检测目标活体中提取初始肢体特征，包括：通过Alphapose姿态估计算法实现初始肢体特征的提取，其中的初始肢体特征即为Alphapose姿态估计算法所提取的姿态特征。
进一步地，本发明实施例通过检测所述肢体特征对应的第一行为类别，以用于检测人体或宠物所出现的异常行为，当用户出现抽搐倒地、梦游情况时，用户并无控制智能家具的意向，此时减少智能家具会出现误感应的现象，从而提升对人体或宠物的行为辨识能力，增加基于用户行为的智能家具自动感应准确率。其中，所述第一行为类别是指所述肢体特征对应的人或宠物的全身行为类别，包括平躺、弯腰、仰头、靠墙等类别的行为。
本发明的一实施例中，所述检测所述肢体特征对应的第一行为类别，包括：利用下述公式计算所述肢体特征对应的第一行为类别概率：
；
其中，表示所述第一行为类别概率，/>表示激活函数，/>表示池化层，表示注意力机制，/>表示归一化层，/>表示所述肢体特征；
识别所述第一行为类别概率对应的第一行为类别。
S5、在所述第一行为类别为预设类别时，所述预设类别是指异常行为类别，分析所述第一行为类别对应的行为意图，利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果。
本发明实施例中，所述预设类别是指异常行为类别，包括抽搐倒地、梦游等行为类别。
进一步地，本发明实施例通过分析所述第一行为类别对应的行为意图，以用于在第一行为类别为异常行为时，分析人体或宠物是否有控制智能家具的意图，减少智能家具会出现误感应的现象。其中，所述行为意图的意图类别是指意图用户的控制智能家具的类别，通过行为意图中所包含的行为类别来表征。
本发明的一实施例中，所述分析所述第一行为类别对应的行为意图，包括：获取第一行为类别对应的行为位置与关键点坐标；对所述行为位置与关键点坐标进行向量转换，得到位置-坐标拼接向量；对所述位置-坐标拼接向量进行长短期循环记忆处理，得到循环记忆向量；利用预设的多头注意力机制提取所述循环记忆向量中的多头注意力向量；基于所述多头注意力向量，确定所述行为意图。
示例性地，将多头注意力机制与 LSTM 神经网络相结合，当数据信息从 LSTM 输出后，下一步输入到多头注意力机制中，例如，模型首先输入获取到的活体位置及活体关键点坐标数据，通过Embedding层将数据信息转换为向量 至/>，向量通过LSTM层后，得到至 />，将/>至/>转化为矩阵，作为多头注意力层的/> 输入，经全连接操作后由Soft-max分类器得到意图结果。
本发明的一实施例中，参阅图3所示，所述利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果，包括：
S301、获取所述行为意图对应的用户行为，并获取所述智能家具的感应信号-行为数据库；
S302、在所述感应信号-行为数据库中查询所述用户行为对应的行为，得到目标行为；
S303、在所述感应信号-行为数据库中提取与所述目标行为匹配的感应信号；
S304、利用所述感应信号对所述智能家具进行第一感应控制，得到所述第一感应结果。
S6、在所述第一行为类别不为所述预设类别时，定位所述活体图像中的肢体模块，识别所述肢体模块内的第二行为类别，利用所述第二行为类别对所述智能家具进行第二感应控制，得到第二感应结果。
本发明实施例通过定位所述活体图像中的肢体模块，以用于在对用户的全身行为进行异常检测之后，对用户的局部姿态进行检测，由于用户控制智能家具通常是通过局部姿势实现，因此仅对用户的局部姿态进行识别即可。其中，所述肢体模块包括手臂、双腿、脚、手等部位。
本发明的一实施例中，所述定位所述活体图像中的肢体模块，包括：采集所述活体图像中的人体特征；利用下述公式计算所述人体特征的特征重心坐标：
；
；
其中，表示所述特征重心坐标中的横坐标，/>表示所述特征重心坐标中的纵坐标，/>表示所述人体特征中的第u个特征的横坐标，U表示所述人体特征中的特征数目，/>表示所述人体特征中的第u个特征的横坐标；
以所述特征重心坐标为中心，基于所述活体图像中的人体比例，构建所述人体特征的矩形框；利用所述矩形框识别所述活体图像中的肢体模块。
可选地，所述以所述特征重心坐标为中心，基于所述活体图像中的人体比例，构建所述人体特征的矩形框的过程是指：根据人体的四肢、头部、上半身身体之间的比例来确定当前的矩形框的比例，并根据确定好的比例构建上半身身体的矩形框的过程，其中的矩形框是指除了四肢与头部之外的上半身身体部位的矩形框；所述利用所述矩形框识别所述活体图像中的肢体模块的过程是指：将矩形框的上面的特征部位作为头部部位，将矩形框的左右的特征部位作为双臂的部位，并将双臂的部位的从下往上数最底层的特征作为手部特征部位，将矩形框的下面的左右部位作为双腿部位，并将双腿部位的最底层部位作为脚部。
进一步地，本发明实施例通过识别所述肢体模块内的第二行为类别，以用于识别每个模块所对应的行为类别，便于利用识别到的局部行为类别对智能家具进行感应控制。其中，所述第二行为类别包括手臂的行为、手的行为、头部的行为、腿的行为、脚的行为等。
本发明的一实施例中，所述识别所述肢体模块内的第二行为类别，包括：获取所述肢体模块对应的行为识别模型，利用所述行为识别模型中的特征提取层对所述肢体模块进行关键点检测，得到检测关键点；利用所述行为识别模型中的长短期记忆网络层识别所述检测关键点中的姿态特征；利用所述行为识别模型中的全连接层计算所述姿态特征对应的第二行为类别概率；识别所述第二行为类别概率对应的第二行为类别。
其中，所述行为识别模型是指根据不同部位所匹配得到的模型，例如手部所对应的手势识别模型，手臂部位所对应的手臂姿态识别模型等。
可以看出，本发明实施例通过采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，以用于采集用户与宠物在屋内的活动场景，便于判别哪些家具被用户或宠物使用频率较高，进一步地，本发明实施例通过基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，以用于基于智能家具所对应的不同用户群体、不同宠物群体，来划分智能家具的种类，从而在后续针对不同种类的智能家具设置不同的感应范围，提升智能家具感应功能与实际屋内场景的适配度，本发明实施例通过检测所述家具感应范围内是否存在活体，以用于将人体或宠物与其他无生命物体进行区分，便于后续进行人体或宠物的行为识别，本发明实施例通过从所述活体图像中提取肢体特征，以用于提取所述活体图像中的骨架部位，由于人或宠物的身体运动变化常通过骨架实现，而不是外在衣物或肉体，因此可以通过提取骨架部位来识别人或宠物的行为变化，进一步地，本发明实施例通过检测所述肢体特征对应的第一行为类别，以用于检测人体或宠物所出现的异常行为，当用户出现抽搐倒地、梦游情况时，用户并无控制智能家具的意向，此时减少智能家具会出现误感应的现象，从而提升对人体或宠物的行为辨识能力，增加基于用户行为的智能家具自动感应准确率，进一步地，本发明实施例通过分析所述第一行为类别对应的行为意图，以用于在第一行为类别为异常行为时，分析人体或宠物是否有控制智能家具的意图，减少智能家具会出现误感应的现象，本发明实施例通过定位所述活体图像中的肢体模块，以用于在对用户的全身行为进行异常检测之后，对用户的局部姿态进行检测，由于用户控制智能家具通常是通过局部姿势实现，因此仅对用户的局部姿态进行识别即可，进一步地，本发明实施例通过识别所述肢体模块内的第二行为类别，以用于识别每个模块所对应的行为类别，便于利用识别到的局部行为类别对智能家具进行感应控制。因此，本发明实施例提出的一种基于用户行为实现智能家具的自动感应方法可以提高基于用户行为的智能家具自动感应准确率。
如图4所示，是本发明基于用户行为实现智能家具的自动感应装置功能模块图。
本发明所述基于用户行为实现智能家具的自动感应装置400可以安装于电子设备中。根据实现的功能，所述基于用户行为实现智能家具的自动感应装置可以包括家具划分模块401、范围构建模块402、活体检测模块403、类别检测模块404、第一感应模块405以及第二感应模块406。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本发明实施例中，关于各模块/单元的功能如下：
所述家具划分模块401，用于采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，具体为：从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数；
所述范围构建模块402，用于采集所述用户与所述宠物的身份信息，得到用户身份信息与宠物身份信息，根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；
所述活体检测模块403，用于检测所述家具感应范围内是否存在活体；
所述类别检测模块404，用于在所述家具感应范围内存在活体时，采集所述家具感应范围内的活体图像，从所述活体图像中提取肢体特征，检测所述肢体特征对应的第一行为类别，所述第一行为类别是指所述肢体特征对应的人或宠物的全身行为类别，其中，所述检测所述肢体特征对应的第一行为类别，包括：利用下述公式计算所述肢体特征对应的第一行为类别概率：
；
其中，表示所述第一行为类别概率，/>表示激活函数，/>表示池化层，表示注意力机制，/>表示归一化层，/>表示所述肢体特征，
识别所述第一行为类别概率对应的第一行为类别；
所述第一感应模块405，用于在所述第一行为类别为预设类别时，所述预设类别是指异常行为类别，分析所述第一行为类别对应的行为意图，利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果；
所述第二感应模块406，用于在所述第一行为类别不为所述预设类别时，定位所述活体图像中的肢体模块，识别所述肢体模块内的第二行为类别，利用所述第二行为类别对所述智能家具进行第二感应控制，得到第二感应结果。
详细地，本发明实施例中所述基于用户行为实现智能家具的自动感应装置400中的所述各模块在使用时采用与上述的图1至图3中所述的基于用户行为实现智能家具的自动感应方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明实现基于用户行为实现智能家具的自动感应方法的电子设备的结构示意图。
所述电子设备可以包括处理器50、存储器51、通信总线52以及通信接口53，还可以包括存储在所述存储器51中并可在所述处理器50上运行的计算机程序，如基于用户行为实现智能家具的自动感应程序。
其中，所述处理器50在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器50是所述电子设备的控制核心（ControlUnit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器51内的程序或者模块（例如执行基于用户行为实现智能家具的自动感应程序等），以及调用存储在所述存储器51内的数据，以执行电子设备的各种功能和处理数据。
所述存储器51至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器51在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器51在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器51还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器51不仅可以用于存储安装于电子设备的应用软件及各类数据，例如数据库配置化连接程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线52可以是外设部件互连标准（peripheral componentinterconnect，简称PCI）总线或扩展工业标准结构（extended industry standardarchitecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器51以及至少一个处理器50等之间的连接通信。
所述通信接口53用于上述电子设备5与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，所述用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器50逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利发明范围上并不受此结构的限制。
所述电子设备中的所述存储器51存储的数据库配置化连接程序是多个计算机程序的组合，在所述处理器50中运行时，可以实现：
采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，具体为：从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数；
采集所述用户与所述宠物的身份信息，得到用户身份信息与宠物身份信息，根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；
检测所述家具感应范围内是否存在活体；
在所述家具感应范围内存在活体时，采集所述家具感应范围内的活体图像，从所述活体图像中提取肢体特征，检测所述肢体特征对应的第一行为类别，所述第一行为类别是指所述肢体特征对应的人或宠物的全身行为类别，其中，所述检测所述肢体特征对应的第一行为类别，包括：利用下述公式计算所述肢体特征对应的第一行为类别概率：
；
其中，表示所述第一行为类别概率，/>表示激活函数，/>表示池化层，表示注意力机制，/>表示归一化层，/>表示所述肢体特征，
识别所述第一行为类别概率对应的第一行为类别；
在所述第一行为类别为预设类别时，所述预设类别是指异常行为类别，分析所述第一行为类别对应的行为意图，利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果；
在所述第一行为类别不为所述预设类别时，定位所述活体图像中的肢体模块，识别所述肢体模块内的第二行为类别，利用所述第二行为类别对所述智能家具进行第二感应控制，得到第二感应结果。
具体地，所述处理器50对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明还提供一种存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，具体为：从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数；
采集所述用户与所述宠物的身份信息，得到用户身份信息与宠物身份信息，根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；
检测所述家具感应范围内是否存在活体；
在所述家具感应范围内存在活体时，采集所述家具感应范围内的活体图像，从所述活体图像中提取肢体特征，检测所述肢体特征对应的第一行为类别，所述第一行为类别是指所述肢体特征对应的人或宠物的全身行为类别，其中，所述检测所述肢体特征对应的第一行为类别，包括：利用下述公式计算所述肢体特征对应的第一行为类别概率：
；
其中，表示所述第一行为类别概率，/>表示激活函数，/>表示池化层，表示注意力机制，/>表示归一化层，/>表示所述肢体特征，
识别所述第一行为类别概率对应的第一行为类别；
在所述第一行为类别为预设类别时，所述预设类别是指异常行为类别，分析所述第一行为类别对应的行为意图，利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果；
在所述第一行为类别不为所述预设类别时，定位所述活体图像中的肢体模块，识别所述肢体模块内的第二行为类别，利用所述第二行为类别对所述智能家具进行第二感应控制，得到第二感应结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于用户行为实现智能家具的自动感应方法，其特征在于，所述方法包括：
采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，具体为：从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数；
采集所述用户与所述宠物的身份信息，得到用户身份信息与宠物身份信息，根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为：从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；
检测所述家具感应范围内是否存在活体；
在所述家具感应范围内存在活体时，采集所述家具感应范围内的活体图像，从所述活体图像中提取肢体特征，检测所述肢体特征对应的第一行为类别，所述第一行为类别是指所述肢体特征对应的人或宠物的全身行为类别，其中，所述检测所述肢体特征对应的第一行为类别，包括：利用下述公式计算所述肢体特征对应的第一行为类别概率：
；
其中，表示所述第一行为类别概率，/>表示激活函数，/>表示池化层，表示注意力机制，/>表示归一化层，/>表示所述肢体特征，
识别所述第一行为类别概率对应的第一行为类别；
在所述第一行为类别为预设类别时，所述预设类别是指异常行为类别，分析所述第一行为类别对应的行为意图，利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果；
在所述第一行为类别不为所述预设类别时，定位所述活体图像中的肢体模块，识别所述肢体模块内的第二行为类别，利用所述第二行为类别对所述智能家具进行第二感应控制，得到第二感应结果；
所述根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为：
从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；
根据所述高度信息与所述肢体长度，利用下述公式计算所述用户身份信息与所述宠物身份信息的身体高度：
；
；
其中，表示所述用户身份信息的身体高度，/>表示所述宠物身份信息的身体高度，/>表示所述用户身份信息对应的人的净身高，/>表示所述宠物身份信息对应的宠物的净身高，/>所述用户身份信息对应的人的手臂长度，/>表示所述宠物身份信息对应的宠物的后腿长度；
基于所述用户身份信息与所述宠物身份信息的身体高度及所述宠物身份信息的跳跃高度，确定所述共用家具、所述用户家具及所述宠物家具的家具感应高度；
获取遮挡所述共用家具、所述用户家具及所述宠物家具的遮挡物体，查询所述遮挡物体与所述共用家具、所述用户家具及所述宠物家具之间的距离，将所查询到的距离作为所述共用家具、所述用户家具及所述宠物家具的水平感应范围；
将所述家具感应高度与所述水平感应范围作为所述家具感应范围。
2.根据权利要求1所述的方法，其特征在于，所述基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，具体为：
从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数；
根据所述用户使用次数与所述宠物使用次数，利用下述公式计算所述智能家具的用户使用频率与宠物使用频率：
；
其中，表示所述用户使用频率，/>表示所述宠物使用频率，/>表示第h个智能家具的用户使用次数，/>表示第h个智能家具的宠物使用次数，i表示用户符号，j表示宠物符号，h表示智能家具的序号，/>表示所述智能家具被用户与宠物所使用的总的使用次数；
根据所述智能家具使用频率，利用下述公式划分所述智能家具中的共用家具、用户家具及宠物家具：
；
其中，表示所述用户家具，/>表示所述宠物家具，/>表示所述共用家具，表示所述用户使用频率，/>表示所述宠物使用频率，i表示用户符号，j表示宠物符号，h表示智能家具的序号，/>表示差值阈值，/>表示当所述用户使用频率远远大于所述宠物使用频率，将所对应的家具划分为用户家具，/>表示当所述宠物使用频率远远大于所述用户使用频率时，将所对应的家具划分为宠物家具，表示当所述用户使用频率与所述宠物使用频率之间的差值小于差值阈值时，将所对应的家具划分为共用家具。
3.根据权利要求1所述的方法，其特征在于，所述基于所述用户身份信息与所述宠物身份信息的身体高度及所述宠物身份信息的跳跃高度，确定所述共用家具、所述用户家具及所述宠物家具的家具感应高度，包括：
从所述用户身份信息与所述宠物身份信息的身体高度中获取用户身份信息的身体高度与宠物身份信息的身体高度；
将所述用户身份信息的身体高度作为所述用户家具的家具感应高度；
将所述宠物身份信息的身体高度作为所述宠物家具的家具感应高度；
从所述用户家具的家具感应高度与所述宠物家具的家具感应高度选取最大感应高度，将所述最大感应高度作为所述共用家具的家具感应高度。
4.根据权利要求1所述的方法，其特征在于，所述从所述活体图像中提取肢体特征，包括：
对所述活体图像进行活体目标检测，得到检测目标活体；
从所述检测目标活体中提取初始肢体特征；
利用下述公式构建所述初始肢体特征的特征融合卷积核：
；
其中，表示所述特征融合卷积核，/>表示第l层的第i个通道的二维卷积核，m表示第l层的通道数目；
利用所述特征融合卷积核对所述初始肢体特征中的每个特征进行特征融合处理，得到融合特征；
将所述肢体特征分别转换为空间域特征与时间域特征；
拼接所述融合特征、所述空间域特征与所述时间域特征，得到所述肢体特征。
5.根据权利要求1所述的方法，其特征在于，所述分析所述第一行为类别对应的行为意图，包括：
获取第一行为类别对应的行为位置与关键点坐标；
对所述行为位置与关键点坐标进行向量转换，得到位置-坐标拼接向量；
对所述位置-坐标拼接向量进行长短期循环记忆处理，得到循环记忆向量；
利用预设的多头注意力机制提取所述循环记忆向量中的多头注意力向量；
基于所述多头注意力向量，确定所述行为意图。
6.根据权利要求1所述的方法，其特征在于，所述利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果，包括：
获取所述行为意图对应的用户行为，并获取所述智能家具的感应信号-行为数据库；
在所述感应信号-行为数据库中查询所述用户行为对应的行为，得到目标行为；
在所述感应信号-行为数据库中提取与所述目标行为匹配的感应信号；
利用所述感应信号对所述智能家具进行第一感应控制，得到所述第一感应结果。
7.根据权利要求1所述的方法，其特征在于，所述定位所述活体图像中的肢体模块，包括：
采集所述活体图像中的人体特征；
利用下述公式计算所述人体特征的特征重心坐标：
；
；
其中，表示所述特征重心坐标中的横坐标，/>表示所述特征重心坐标中的纵坐标，表示所述人体特征中的第u个特征的横坐标，U表示所述人体特征中的特征数目，/>表示所述人体特征中的第u个特征的横坐标；
以所述特征重心坐标为中心，基于所述活体图像中的人体比例，构建所述人体特征的矩形框；
利用所述矩形框识别所述活体图像中的肢体模块。
8.根据权利要求1所述的方法，其特征在于，所述识别所述肢体模块内的第二行为类别，包括：
获取所述肢体模块对应的行为识别模型，利用所述行为识别模型中的特征提取层对所述肢体模块进行关键点检测，得到检测关键点；
利用所述行为识别模型中的长短期记忆网络层识别所述检测关键点中的姿态特征；
利用所述行为识别模型中的全连接层计算所述姿态特征对应的第二行为类别概率；
识别所述第二行为类别概率对应的第二行为类别。
9.一种基于用户行为实现智能家具的自动感应装置，其特征在于，所述装置包括：
家具划分模块，用于采集智能家具的所服务的用户与宠物的用户活动信息与宠物活动信息，基于所述用户活动信息与所述宠物活动信息，划分所述智能家具中的共用家具、用户家具及宠物家具，具体为：从所述用户活动信息与所述宠物活动信息中提取所述智能家具的用户使用次数与宠物使用次数；
范围构建模块，用于采集所述用户与所述宠物的身份信息，得到用户身份信息与宠物身份信息，根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；
活体检测模块，用于检测所述家具感应范围内是否存在活体；
类别检测模块，用于在所述家具感应范围内存在活体时，采集所述家具感应范围内的活体图像，从所述活体图像中提取肢体特征，检测所述肢体特征对应的第一行为类别，所述第一行为类别是指所述肢体特征对应的人或宠物的全身行为类别，其中，所述检测所述肢体特征对应的第一行为类别，包括：利用下述公式计算所述肢体特征对应的第一行为类别概率：
；
其中，表示所述第一行为类别概率，/>表示激活函数，/>表示池化层，表示注意力机制，/>表示归一化层，/>表示所述肢体特征，
识别所述第一行为类别概率对应的第一行为类别；
第一感应模块，用于在所述第一行为类别为预设类别时，所述预设类别是指异常行为类别，分析所述第一行为类别对应的行为意图，利用所述行为意图对所述智能家具进行第一感应控制，得到第一感应结果；
第二感应模块，用于在所述第一行为类别不为所述预设类别时，定位所述活体图像中的肢体模块，识别所述肢体模块内的第二行为类别，利用所述第二行为类别对所述智能家具进行第二感应控制，得到第二感应结果；
所述根据所述用户身份信息与所述宠物身份信息，构建所述共用家具、所述用户家具及所述宠物家具的家具感应范围，具体为：
从所述用户身份信息与所述宠物身份信息中采集高度信息与肢体长度；
根据所述高度信息与所述肢体长度，利用下述公式计算所述用户身份信息与所述宠物身份信息的身体高度：
；
；
其中，表示所述用户身份信息的身体高度，/>表示所述宠物身份信息的身体高度，/>表示所述用户身份信息对应的人的净身高，/>表示所述宠物身份信息对应的宠物的净身高，/>所述用户身份信息对应的人的手臂长度，/>表示所述宠物身份信息对应的宠物的后腿长度；
基于所述用户身份信息与所述宠物身份信息的身体高度及所述宠物身份信息的跳跃高度，确定所述共用家具、所述用户家具及所述宠物家具的家具感应高度；
获取遮挡所述共用家具、所述用户家具及所述宠物家具的遮挡物体，查询所述遮挡物体与所述共用家具、所述用户家具及所述宠物家具之间的距离，将所查询到的距离作为所述共用家具、所述用户家具及所述宠物家具的水平感应范围；
将所述家具感应高度与所述水平感应范围作为所述家具感应范围。
CN202310721557.3A 2023-06-19 2023-06-19 基于用户行为实现智能家具的自动感应方法及装置 Active CN116482987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310721557.3A CN116482987B (zh) 2023-06-19 2023-06-19 基于用户行为实现智能家具的自动感应方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310721557.3A CN116482987B (zh) 2023-06-19 2023-06-19 基于用户行为实现智能家具的自动感应方法及装置

Publications (2)

Publication Number Publication Date
CN116482987A CN116482987A (zh) 2023-07-25
CN116482987B true CN116482987B (zh) 2023-08-22

Family

ID=87223515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310721557.3A Active CN116482987B (zh) 2023-06-19 2023-06-19 基于用户行为实现智能家具的自动感应方法及装置

Country Status (1)

Country Link
CN (1) CN116482987B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370649A (zh) * 2017-08-31 2017-11-21 广东美的制冷设备有限公司 家电控制方法、系统、控制终端、及存储介质
CN110045629A (zh) * 2019-05-28 2019-07-23 贵州大学 一种智能安防家居控制系统
WO2020189347A1 (ja) * 2019-03-18 2020-09-24 日本電気株式会社 個体識別情報生成方法、個体識別情報生成装置、プログラム
CN112180746A (zh) * 2020-09-02 2021-01-05 珠海格力电器股份有限公司 基于网关的家居设备控制方法、装置、存储介质及网关
CN113940280A (zh) * 2021-11-23 2022-01-18 湖南工程学院 一种多功能智能宠物窝
CN116088326A (zh) * 2022-12-13 2023-05-09 珠海市一微机器人技术有限公司 用于宠物控制家居设备的宠物机器人控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7283462B2 (ja) * 2020-12-07 2023-05-30 横河電機株式会社 装置、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370649A (zh) * 2017-08-31 2017-11-21 广东美的制冷设备有限公司 家电控制方法、系统、控制终端、及存储介质
WO2020189347A1 (ja) * 2019-03-18 2020-09-24 日本電気株式会社 個体識別情報生成方法、個体識別情報生成装置、プログラム
CN110045629A (zh) * 2019-05-28 2019-07-23 贵州大学 一种智能安防家居控制系统
CN112180746A (zh) * 2020-09-02 2021-01-05 珠海格力电器股份有限公司 基于网关的家居设备控制方法、装置、存储介质及网关
CN113940280A (zh) * 2021-11-23 2022-01-18 湖南工程学院 一种多功能智能宠物窝
CN116088326A (zh) * 2022-12-13 2023-05-09 珠海市一微机器人技术有限公司 用于宠物控制家居设备的宠物机器人控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
智能家居情景模式下辅助决策的研究;王磊;中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑;全文 *

Also Published As

Publication number Publication date
CN116482987A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN104350509B (zh) 快速姿势检测器
US10255492B2 (en) Image processing method providing information for identifying a function of an object, the function being identified based on a pose of a person with respect to the object
WO2019041519A1 (zh) 目标跟踪装置、方法及计算机可读存储介质
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
WO2019033569A1 (zh) 眼球动作分析方法、装置及存储介质
CN107679475B (zh) 门店监控评价方法、装置及存储介质
CN109919077B (zh) 姿态识别方法、装置、介质和计算设备
JP2015095164A (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US10650234B2 (en) Eyeball movement capturing method and device, and storage medium
CN103140862A (zh) 用户界面系统及其操作方法
JP2009265827A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
US11429985B2 (en) Information processing device calculating statistical information
CN111124863B (zh) 智能设备性能测试方法、装置及智能设备
CN110443179B (zh) 离岗检测方法、装置以及存储介质
CN108875538B (zh) 属性检测方法、装置和系统及存储介质
CN114120221A (zh) 基于深度学习的环境核查方法、电子设备及存储介质
CN116482987B (zh) 基于用户行为实现智能家具的自动感应方法及装置
CN110728172B (zh) 基于点云的人脸关键点检测方法、装置、系统及存储介质
JP7188566B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111753796A (zh) 图像中关键点的识别方法、装置、电子设备及存储介质
CN116311650A (zh) 基于智能门禁的视线跟踪与手势识别的人机交互方法
CN108446737B (zh) 用于识别对象的方法和装置
JP6857373B1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112347834A (zh) 基于人员类别属性的远程看护方法、设备及可读存储介质
CN111476195A (zh) 人脸检测方法、装置、机器人及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant