CN113378691A - 基于实时用户行为分析的智能家居管理系统及方法 - Google Patents
基于实时用户行为分析的智能家居管理系统及方法 Download PDFInfo
- Publication number
- CN113378691A CN113378691A CN202110635489.XA CN202110635489A CN113378691A CN 113378691 A CN113378691 A CN 113378691A CN 202110635489 A CN202110635489 A CN 202110635489A CN 113378691 A CN113378691 A CN 113378691A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- human body
- behavior
- foot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000004458 analytical method Methods 0.000 title claims abstract description 63
- 230000007613 environmental effect Effects 0.000 claims abstract description 16
- 230000006399 behavior Effects 0.000 claims description 155
- 238000001514 detection method Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 21
- 238000007726 management method Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 30
- 238000000605 extraction Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 9
- 230000003068 static effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000000746 body region Anatomy 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000001145 finger joint Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000005309 stochastic process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004392 development of vision Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于智能家居技术领域，具体涉及基于实时用户行为分析的智能家居管理系统及方法。所述系统包括：全景图像获取装置、传感器系统、用户当前行为分析装置、用户行为预测装置和控制装置；所述全景图像获取装置，配置用于获取当前场景内的全景图像。本发明通过实时的检测和判断用户的姿态，以及结合环境数据和历史行为数据，来对用户的行为进行预测，以实现更加智能化的智能家居控制，提升了智能家居控制的实时性和智能化程度；同时，本发明在进行姿态识别时，没有针对整幅图像进行识别，而是提取出人体区域后，再筛选出姿态识别的关键部分分别进行图像识别，最终的结果再进行匹配查询，以此完成姿态识别，提升了姿态识别的效率，并提升了识别的准确率。
Description
技术领域
本发明属于智能家居技术领域，具体涉及基于实时用户行为分析的智能家居管理系统及方法。
背景技术
智能家居是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。
目前，人们对智能家居提出了更高的要求，通常是以住宅为平台，兼备建筑、网络通信、信息家电、设备自动化，集系统、结构、服务、管理为一体，具有高效、舒适、安全、便利、环保等优点；并且，可以通过网络叠加、屏幕叠加、信息叠加等各个方面的叠加，实现易于对外交流、易于内部可控的便捷舒适的居住环境，以控制终端设备实现智能家居应用。另外，智能家居需要叠加更多的新型终端和业务。
随着视觉技术的发展，各类家电产品都开始集成摄像头视觉模块，并对用户在家庭单位内的行为进行理解，以便更好地服务用户。当前图像处理中应用最多的是CNN卷积神经网络，效果权重，然而用户行为是时间轴上的连续动作，单帧图像无法反应时间尺度上的动作特征，因此CNN卷积神经网络并不能完美的应用于行为识别的场景中。
现今的大多数行为识别方法都有一个确定性的前提假设，例如小范围和观测点变化，而实际环境很难满足这些假设。此外这些方法使用传统模式进行识别，即从原始数据中提取特征，而特征提取难度也随着场景差异而不同。同时卷积神经网络在处理图像的过程中，随着网络深度的增加，提取的特征也越来越复杂，很容易对图像中的噪声数据进行拟合，从而造成实际的使用效果变差。
专利号为CN201610997196.5A的专利公开了一种基于大数据的智能家居用户行为分析系统及方法，公开了一种基于大数据的智能家居用户行为分析系统及方法，包括用户行为数据采集模块、用户行为数据存储模块、用户行为数据预处理模块、用户行为数据分析模块、用户行为智能预测模块和用户行为智能推荐模块。针对当前社会生活节奏快，人们生活习惯不科学、无规划等问题，获取智能家居用户行为信息，构建基于大数据的智能家居用户行为分析系统，实现基于大数据的生活习惯科学规划，针对个体用户的日常生活习惯，量身打造科学合理的行为规划，并通过预测用户行为，实现智能家居设备的智能启动、关闭以及状态调节，帮助用户节省大量的时间和精力。
其虽然通过采集用户的行为数据，进行用户行为分析，再以此来进行智能家居的运行控制，提升了智能家居的智能化程度，但其用户行为分析时是基于用户的历史行为数据来进行，无法针对当前用户的行为提供实时性更强的智能控制，且由于智能家居设备的当前运行状态和环境状态均不是静态的，导致智能家居的控制准确率下降。
发明内容
有鉴于此，本发明的主要目的在于提供基于实时用户行为分析的智能家居管理系统及方法，本发明通过实时的检测和判断用户的姿态，以及结合环境数据和历史行为数据，来对用户的行为进行预测，以实现更加智能化的智能家居控制，提升了智能家居控制的实时性和智能化程度；同时，本发明在进行姿态识别时，没有针对整幅图像进行识别，而是提取出人体区域后，再筛选出姿态识别的关键部分分别进行图像识别，最终的结果再进行匹配查询，以此完成姿态识别，提升了姿态识别的效率，并提升了识别的准确率。
为达到上述目的，本发明的技术方案是这样实现的：
基于实时用户行为分析的智能家居管理系统，所述系统包括：全景图像获取装置、传感器系统、用户当前行为分析装置、用户行为预测装置和控制装置；所述全景图像获取装置，配置用于获取当前场景内的全景图像；所述传感器系统，配置用于获取当前场景内的环境数据，所述环境数据至少包括：温度数据和湿度数据；所述用户当前行为分析装置，配置用于基于获取全景图像，分析判断当前用户的行为，得出当前行为分析结果；所述用户行为预测装置，配置用于基于得出的当前行为分析结果和历史行为数据，预测用户的行为，得出用户预测行为结果；所述控制装置，配置用于基于当前行为分析结果、环境数据和用户预测行为结果，控制智能家居设备的运行；所述用户当前行为分析装置包括：人体目标检测单元、人体关键部检测单元和识别单元；所述人体目标检测单元，配置用于从全景图像中筛选出人体部分；所述人体关键部检测单元，配置用于从筛选出的人体部分中，提取手、脚和头的部分；所述识别单元，配置用于基于提取出的手、脚和头的部分，分别使用预设的识别算法进行姿态识别，分别得出三个姿态识别结果，并基于得出的三个姿态识别结果，判断人体姿态，得出当前行为分析结果。
进一步的，所述人体目标检测单元从全景图像中筛选出人体部分的方法包括：预分割全景图像以形成若干分割图像，将各分割图像内所有像素的颜色用所对应的各分割图像内所有像素的颜色向量的平均值来表示，以获得初始叠加图；然后以分割图像为节点，根据叠加准则依次执行邻接叠加与全局叠加，并依次在邻接叠加与全局叠加过程中将各分割图像内所有像素的颜色用所对应的各分割图像内所有像素的颜色向量的平均值来表示，将相似的分割图像依次叠加形成新的分割图像，以依次构建出邻接叠加图及全局叠加图；结合分割图像间的颜色对比度、空间距离权重及背景概率权重分别在初始叠加图、邻接叠加图及全局叠加图上计算分割图像的权重值，以获得三幅初始权重图；对三幅初始权重图执行累加求和运算，以获得全景图像中的人体部分。
进一步的，所述邻接叠加的过程使用如下公式进行表示：
其中，L表示初始叠加图，M为分割图像的数量，sk为分割图像，α1为分割图像内所有像素的颜色向量的平均值，α2为调整系数，取值范围为：0.25～1；Y为邻接叠加图。
进一步的，所述全局叠加的过程使用如下公式进行表示：
其中，L表示初始叠加图，M为分割图像的数量，sk为分割图像，α1为分割图像内所有像素的颜色向量的平均值，α2为调整系数，取值范围为：0.25～1；P为全局叠加图。
进一步的，所述获得三幅初始权重图的方法使用如下公式表示：N1＝X/D+lg(1+pL)，N2＝X/D+lg(1+pY)，N3＝X/D+lg(1+pP)；其中，X为分割图像间的颜色对比度，D为分割图像间的空间距离权重，p为分割图像间的背景概率权重，N1为在初始叠加图上计算分割图像的权重值获得的第一幅初始权重图；N2为在邻接叠加图上计算分割图像的权重值获得的第二幅初始权重图；N3为在全局叠加图上计算分割图像的权重值获得的第三幅初始权重图。
进一步的，所述人体关键部检测从筛选出的人体部分中，提取手、脚和头的部分的方法包括：将筛选出的人体部分输入预先训练完成的头检测模型，得到多个头框图像；针对所述每个头框图像，确定与预设值的比值最大的头框图像，作为头检测结果并输出，以提取出头的部分；将筛选出的人体部分输入预先训练完成的手检测模型，得到多个手框图像；针对所述每个手框图像，确定与预设值的比值最大的手框图像，作为手检测结果并输出，以提取出手的部分；将筛选出的人体部分输入预先训练完成的脚检测模型，得到镀铬脚框图像；针对所述每个脚框图像，确定与预设值的比值最大的脚框图像，作为脚检测结果并输出，以提取出脚的部分。
进一步的，所述头检测模型使用如下公式表示：
n为检测模型的精确值，等于输出的头框图像的数量；ai为输出的头框图像；
n为检测模型的精确值，等于输出的手框图像的数量；bi为输出的手框图像；
n为检测模型的精确值，等于输出的脚框图像的数量；ci为输出的脚框图像；分别将ai、bi和ci分别与预设值进行比值运算，比值运算得到的结果的最大值所对应的ai、bi和ci则分别为提取出的头的部分、手的部分和脚的部分。
进一步的，所述识别单元基于提取出的手、脚和头的部分，分别使用预设的识别算法进行姿态识别，分别得出三个姿态识别结果的方法包括：在提取出的头的部分中，筛选出用户的眼睛部分，判断用户的视线方向，得出视线判断结果；在提取出的手的部分中，进行图像识别，判断用户手的姿势，得出手势判断结果；在提取出的脚的部分中，进行图像识别，判断用户脚的姿势，得出脚势判断结果；所述基于得出的三个姿态识别结果，判断人体姿态，得出当前行为分析结果的方法包括：根据脚势判断结果、手势判断结果和视线判断结果，在预设的姿态数据库中进行检索，至少检索到两项相匹配的结果时所对应的姿态数据，作为姿态识别结果，然后基于姿态识别结果，判断人体姿态，得出当前行为分析结果。
进一步的，所述用户行为预测装置，基于得出的当前行为分析结果和历史行为数据，预测用户的行为，得出用户预测行为结果的方法包括：根据历史行为数据建立行为数据链；所述行为数据链定义为：将关联的历史行为数据进行绑定后得到的数据链；所述关联的历史行为数据定义为：在某连续的时间段内，至少两个历史行为数据发生的时间间隔低于设定的阈值；基于当前行为分析结果在数据链中进行匹配查询，若查询到相匹配的历史行为数据，则根据构建的数据链，找到该历史行为数据关联的所有的历史行为，将关联的所有的历史行为作为用户预测行为结果。
基于实时用户行为分析的智能家居管理方法。
本发明的基于实时用户行为分析的智能家居管理系统及方法，具有如下有益效果：本发明通过实时的检测和判断用户的姿态，以及结合环境数据和历史行为数据，来对用户的行为进行预测，以实现更加智能化的智能家居控制，提升了智能家居控制的实时性和智能化程度；同时，本发明在进行姿态识别时，没有针对整幅图像进行识别，而是提取出人体区域后，再筛选出姿态识别的关键部分分别进行图像识别，最终的结果再进行匹配查询，以此完成姿态识别，提升了姿态识别的效率，并提升了识别的准确率。主要通过以下过程实现：1.用户当前行为分析：本发明在进行智能家居控制时，相较于现有技术，使用实时判断用户的行为，而不是利用经验性的历史数据进行判断，提升了智能家居控制的实时性和准确率；因为根据经验性的历史数据进行判断，较为机械化，无法准确识别当前用户的需求，而使得智能家居的控制的准确率降低；而实时性的预测用户的意图和行为，再进行智能家居控制，则更能契合用户的需求，提升准确率。2.姿态分析算法的构建：本发明在进行当前用户行为分析时，没有使用现有技术的直接分析整张图来判断用户的姿态，而是将整张图中的关键部分进行提取，这样做有两个好处，一是可以使得姿态识别的效率提升，因为针对单个部分进行识别，识别图像的复杂度将降低，而且所需要识别图像的部分将减少，去除无用部分，只对关键部分进行识别，不但不影响准确率，还可以节省系统资源；二是通过这种识别，来进行匹配查询，只要满足识别结果中超过设定的阈值的部分，则可以进行匹配，得出姿态识别结果，而如果针对整幅图进行识别，则需要满足所有整幅图识别结果进行匹配才能找到相应结果，因为图像识别过程中无论怎样都会出现误差，这样就会导致无法找到匹配的结果，而导致程序运行的中断；3.人体区域检测算法的构建：本发明在查找全景图像中人体区域时，没有使用现有的人体区域检测算法，而是通过构建邻接叠加图和全局叠加图来进行人体区域检测，同时结合分割图像间的颜色对比度、空间距离权重及背景概率权重来确定三幅初始权重图，再对三幅初始权重图进行累加来获得人体部分，相较于现有技术，这样做可以使得获得的人体部分更加准确，因为邻接叠加、全局叠加和初始叠加通过三种不同的维度来实现，得到的结果更能反映图像的特征，以此累加后得到的人体区域部分，可以大幅去掉背景图像的干扰和图像本身噪声的干扰，提升准确率。
附图说明
图1为本发明实施例提供的基于实时用户行为分析的智能家居管理系统的系统结构示意图；
图2为本发明实施例提供的基于实时用户行为分析的智能家居管理系统及方法的判断用户手的姿势的原理示意图；
图3为本发明实施例提供的基于实时用户行为分析的智能家居管理系统及方法的判断用户的视线方向的原理示意图；
图4为本发明实施例提供的基于实时用户行为分析的智能家居管理系统及方法的数据链的结构示意图；
图5为本发明实施例提供的基于实时用户行为分析的智能家居管理系统及方法的智能家居控制准确率随着实验次数变化的曲线示意图与现有技术的对比实验效果示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1
如图1所示
基于实时用户行为分析的智能家居管理系统，所述系统包括：全景图像获取装置、传感器系统、用户当前行为分析装置、用户行为预测装置和控制装置；所述全景图像获取装置，配置用于获取当前场景内的全景图像；所述传感器系统，配置用于获取当前场景内的环境数据，所述环境数据至少包括：温度数据和湿度数据；所述用户当前行为分析装置，配置用于基于获取全景图像，分析判断当前用户的行为，得出当前行为分析结果；所述用户行为预测装置，配置用于基于得出的当前行为分析结果和历史行为数据，预测用户的行为，得出用户预测行为结果；所述控制装置，配置用于基于当前行为分析结果、环境数据和用户预测行为结果，控制智能家居设备的运行；所述用户当前行为分析装置包括：人体目标检测单元、人体关键部检测单元和识别单元；所述人体目标检测单元，配置用于从全景图像中筛选出人体部分；所述人体关键部检测单元，配置用于从筛选出的人体部分中，提取手、脚和头的部分；所述识别单元，配置用于基于提取出的手、脚和头的部分，分别使用预设的识别算法进行姿态识别，分别得出三个姿态识别结果，并基于得出的三个姿态识别结果，判断人体姿态，得出当前行为分析结果。
采用上述技术方案：本发明通过实时的检测和判断用户的姿态，以及结合环境数据和历史行为数据，来对用户的行为进行预测，以实现更加智能化的智能家居控制，提升了智能家居控制的实时性和智能化程度；同时，本发明在进行姿态识别时，没有针对整幅图像进行识别，而是提取出人体区域后，再筛选出姿态识别的关键部分分别进行图像识别，最终的结果再进行匹配查询，以此完成姿态识别，提升了姿态识别的效率，并提升了识别的准确率。
实施例2
在上一实施例的基础上，所述人体目标检测单元从全景图像中筛选出人体部分的方法包括：预分割全景图像以形成若干分割图像，将各分割图像内所有像素的颜色用所对应的各分割图像内所有像素的颜色向量的平均值来表示，以获得初始叠加图；然后以分割图像为节点，根据叠加准则依次执行邻接叠加与全局叠加，并依次在邻接叠加与全局叠加过程中将各分割图像内所有像素的颜色用所对应的各分割图像内所有像素的颜色向量的平均值来表示，将相似的分割图像依次叠加形成新的分割图像，以依次构建出邻接叠加图及全局叠加图；结合分割图像间的颜色对比度、空间距离权重及背景概率权重分别在初始叠加图、邻接叠加图及全局叠加图上计算分割图像的权重值，以获得三幅初始权重图；对三幅初始权重图执行累加求和运算，以获得全景图像中的人体部分。
具体的，本发明在进行智能家居控制时，相较于现有技术，使用实时判断用户的行为，而不是利用经验性的历史数据进行判断，提升了智能家居控制的实时性和准确率；因为根据经验性的历史数据进行判断，较为机械化，无法准确识别当前用户的需求，而使得智能家居的控制的准确率降低；而实时性的预测用户的意图和行为，再进行智能家居控制，则更能契合用户的需求，提升准确率。
实施例3
在上一实施例的基础上，所述邻接叠加的过程使用如下公式进行表示：
其中，L表示初始叠加图，m为分割图像的数量，sk为分割图像，α1为分割图像内所有像素的颜色向量的平均值，α2为调整系数，取值范围为：0.25～1；Y为邻接叠加图。
实施例4
在上一实施例的基础上，所述全局叠加的过程使用如下公式进行表示：
其中，L表示初始叠加图，M为分割图像的数量，sk为分割图像，α1为分割图像内所有像素的颜色向量的平均值，α2为调整系数，取值范围为：0.25～1；P为全局叠加图。
实施例5
在上一实施例的基础上，所述获得三幅初始权重图的方法使用如下公式表示：N1＝X/D+lg(1+pL)，N2＝X/D+lg(1+pY)，N3＝X/D+lg(1+pP)；其中，X为分割图像间的颜色对比度，D为分割图像间的空间距离权重，p为分割图像间的背景概率权重，N1为在初始叠加图上计算分割图像的权重值获得的第一幅初始权重图；N2为在邻接叠加图上计算分割图像的权重值获得的第二幅初始权重图；N3为在全局叠加图上计算分割图像的权重值获得的第三幅初始权重图。
具体的，本发明在进行当前用户行为分析时，没有使用现有技术的直接分析整张图来判断用户的姿态，而是将整张图中的关键部分进行提取，这样做有两个好处，一是可以使得姿态识别的效率提升，因为针对单个部分进行识别，识别图像的复杂度将降低，而且所需要识别图像的部分将减少，去除无用部分，只对关键部分进行识别，不但不影响准确率，还可以节省系统资源；二是通过这种识别，来进行匹配查询，只要满足识别结果中超过设定的阈值的部分，则可以进行匹配，得出姿态识别结果，而如果针对整幅图进行识别，则需要满足所有整幅图识别结果进行匹配才能找到相应结果，因为图像识别过程中无论怎样都会出现误差，这样就会导致无法找到匹配的结果，而导致程序运行的中断。
实施例6
在上一实施例的基础上，所述人体关键部检测从筛选出的人体部分中，提取手、脚和头的部分的方法包括：将筛选出的人体部分输入预先训练完成的头检测模型，得到多个头框图像；针对所述每个头框图像，确定与预设值的比值最大的头框图像，作为头检测结果并输出，以提取出头的部分；将筛选出的人体部分输入预先训练完成的手检测模型，得到多个手框图像；针对所述每个手框图像，确定与预设值的比值最大的手框图像，作为手检测结果并输出，以提取出手的部分；将筛选出的人体部分输入预先训练完成的脚检测模型，得到镀铬脚框图像；针对所述每个脚框图像，确定与预设值的比值最大的脚框图像，作为脚检测结果并输出，以提取出脚的部分。
具体的，人脸图像检测与定位就是在输入图像中找到人脸确切的位置，它是人脸表情识别的第一步。人脸检测的基本思想是用知识或统计的方法对人脸建模，比较待检测区域与人脸模型的匹配程度，从而得到可能存在人脸的区域。其方法大致可分为以下两类：(1)基于统计的人脸检测是将人脸图像视为一个高维向量，将人脸检测问题转化为高维空间中分布信号的检测问题。(2)基于知识的人脸检测是利用人的知识建立若干规则，从而将人脸检测问题转化为假设、验证问题。
表情特征的提取根据图像性质的不同可分为：静态图像特征提取和序列图像特征提取。静态图像中提取的是表情的形变特征，即表情的暂态特征。而对于序列图像不仅要提取每一帧的表情形变特征还要提取连续序列的运动特征。形变特征提取必须依赖中性表情或模型，把产生的表情与中性表情做比较从而提取特征，而运动特征的提取则直接依赖于表情产生的面部变化。特征选择的依据是：①尽可能多的携带人脸面部表情的特征，即信息量丰富；②尽可能容易提取；③信息相对稳定，受光照变化等外界的影响小。
表情识别方法分类大致分为4种情况：
(1)基于模板的匹配方法。
(2)基于神经网络的方法。
(3)基于概率模型的方法。
(4)基于支持向量机的方法。
实施例7
在上一实施例的基础上，所述头检测模型使用如下公式表示：
n为检测模型的精确值，等于输出的头框图像的数量；ai为输出的头框图像；
n为检测模型的精确值，等于输出的手框图像的数量；bi为输出的手框图像；
n为检测模型的精确值，等于输出的脚框图像的数量；ci为输出的脚框图像；分别将ai、bi和ci分别与预设值进行比值运算，比值运算得到的结果的最大值所对应的ai、bi和ci则分别为提取出的头的部分、手的部分和脚的部分。
实施例8
如图2和图3所示，在上一实施例的基础上，所述识别单元基于提取出的手、脚和头的部分，分别使用预设的识别算法进行姿态识别，分别得出三个姿态识别结果的方法包括：在提取出的头的部分中，筛选出用户的眼睛部分，判断用户的视线方向，得出视线判断结果；在提取出的手的部分中，进行图像识别，判断用户手的姿势，得出手势判断结果；在提取出的脚的部分中，进行图像识别，判断用户脚的姿势，得出脚势判断结果；所述基于得出的三个姿态识别结果，判断人体姿态，得出当前行为分析结果的方法包括：根据脚势判断结果、手势判断结果和视线判断结果，在预设的姿态数据库中进行检索，至少检索到两项相匹配的结果时所对应的姿态数据，作为姿态识别结果，然后基于姿态识别结果，判断人体姿态，得出当前行为分析结果。
具体的，用户的视线方向，可以作为用户意图判断的重要参数。现有技术中进行视线方向判断通过获取人体的眼球的朝向与参考平面之间的夹角；根据位置信息和夹角，确定人体的视线方向。
具体的，手势无论是静态或动态，其识别顺序首先需进行图像的获取手的检测和分割手势的分析，然后进行静态或动态的手势识别。手势分割
手势分割是手势识别过程中关键的一步，手势分割的效果直接影响到下一步手势分析及最终的手势识别。目前最常用的手势分割法主要包括基于单目视觉的手势分割和基于立体视觉的手势分割。
单目视觉是利用一个图像采集设备获得手势，得到手势的平面模型。建立手势形状数据库的方法是将能够考虑的所有手势建立起来，利于手势的模版匹配，但其计算量随之增加，不利于系统的快速识别。
立体视觉是利用多个图像采集设备得到手势的不同图像，转换成立体模型。立体匹配的方法与单目视觉中的模板匹配方法类似，也要建立大量的手势库；而三维重构则需建立手势的三维模型，计算量将增加，但分割效果较好。
手势分析是完成手势识别系统的关键技术之一。通过手势分析，可获得手势的形状特征或运动轨迹。手势的形状和运动轨迹是动态手势识别中的重要特征，与手势所表达意义有直接的关系。手势分析的主要方法有以下几类:边缘轮廓提取法、质心手指等多特征结合法以及指关节式跟踪法等。
边缘轮廓提取法是手势分析常用的方法之一，手型因其特有的外形而与其他物体区分；何阳青采用结合几何矩和边缘检测的手势识别算法，通过设定两个特征的权重来计算图像间的距离，实现对字母手势的识别。多特征结合法则是根据手的物理特性分析手势的姿势或轨迹；Meenakshi Panwar将手势形状和手指指尖特征相结合来实现手势的识别。指关节式跟踪法主要是构建手的二维或三维模型，再根据人手关节点的位置变化来进行跟踪，其主要应用于动态轨迹跟踪。
手势识别是将模型参数空间里的轨迹(或点)分类到该空间里某个子集的过程，其包括静态手势识别和动态手势识别，动态手势识别最终可转化为静态手势识别。从手势识别的技术实现来看，常见手势识别方法主要有:模板匹配法神经网络法和隐马尔可夫模型法。
模板匹配法是将手势的动作看成是一个由静态手势图像所组成的序列，然后将待识别的手势模板序列与已知的手势模板序列进行比较，从而识别出手势。
隐马尔可夫模型法(Hidden Markov Model，HMM):是一种统计模型，用隐马尔可夫建模的系统具有双重随机过程，其包括状态转移和观察值输出的随机过程。其中状态转移的随机过程是隐性的，其通过观察序列的随机过程所表现。
实施例9
如图4所示，在上一实施例的基础上，所述用户行为预测装置，基于得出的当前行为分析结果和历史行为数据，预测用户的行为，得出用户预测行为结果的方法包括：根据历史行为数据建立行为数据链；所述行为数据链定义为：将关联的历史行为数据进行绑定后得到的数据链；所述关联的历史行为数据定义为：在某连续的时间段内，至少两个历史行为数据发生的时间间隔低于设定的阈值；基于当前行为分析结果在数据链中进行匹配查询，若查询到相匹配的历史行为数据，则根据构建的数据链，找到该历史行为数据关联的所有的历史行为，将关联的所有的历史行为作为用户预测行为结果。
具体的，本发明在查找全景图像中人体区域时，没有使用现有的人体区域检测算法，而是通过构建邻接叠加图和全局叠加图来进行人体区域检测，同时结合分割图像间的颜色对比度、空间距离权重及背景概率权重来确定三幅初始权重图，再对三幅初始权重图进行累加来获得人体部分，相较于现有技术，这样做可以使得获得的人体部分更加准确，因为邻接叠加、全局叠加和初始叠加通过三种不同的维度来实现，得到的结果更能反映图像的特征，以此累加后得到的人体区域部分，可以大幅去掉背景图像的干扰和图像本身噪声的干扰，提升准确率。
具体的，图4中的每个圆圈均代表一个历史行为数据，相连的圆圈则代表关联的历史行为数据，不相连的圆圈则代表没有关联的历史行为数据。黑色的圆圈代表进行该历史行为数据后，用户离开了目标场景。
实施例10
基于实时用户行为分析的智能家居管理方法。
具体的，本发明的控制装置在获取了当前行为分析结果、环境数据和用户预测行为结果后，根据预先设定的权重比，来计算最终的控制结果；再将控制结果发送至智能家居设备，以控制智能家居设备的运行。
若设定的当前行为分析结果的权重比为H，环境数据的权重比为J，用户预测行为结果的权重比为G，则最终的控制结果使用如下公式进行表示：最终的控制结果＝当前行为分析结果*H+环境数据*J+用户预测行为结果*G。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。
Claims (10)
1.基于实时用户行为分析的智能家居管理系统，其特征在于，所述系统包括：全景图像获取装置、传感器系统、用户当前行为分析装置、用户行为预测装置和控制装置；所述全景图像获取装置，配置用于获取当前场景内的全景图像；所述传感器系统，配置用于获取当前场景内的环境数据，所述环境数据至少包括：温度数据和湿度数据；所述用户当前行为分析装置，配置用于基于获取全景图像，分析判断当前用户的行为，得出当前行为分析结果；所述用户行为预测装置，配置用于基于得出的当前行为分析结果和历史行为数据，预测用户的行为，得出用户预测行为结果；所述控制装置，配置用于基于当前行为分析结果、环境数据和用户预测行为结果，控制智能家居设备的运行；所述用户当前行为分析装置包括：人体目标检测单元、人体关键部检测单元和识别单元；所述人体目标检测单元，配置用于从全景图像中筛选出人体部分；所述人体关键部检测单元，配置用于从筛选出的人体部分中，提取手、脚和头的部分；所述识别单元，配置用于基于提取出的手、脚和头的部分，分别使用预设的识别算法进行姿态识别，分别得出三个姿态识别结果，并基于得出的三个姿态识别结果，判断人体姿态，得出当前行为分析结果。
2.如权利要求1所述的系统，其特征在于，所述人体目标检测单元从全景图像中筛选出人体部分的方法包括：预分割全景图像以形成若干分割图像，将各分割图像内所有像素的颜色用所对应的各分割图像内所有像素的颜色向量的平均值来表示，以获得初始叠加图；然后以分割图像为节点，根据叠加准则依次执行邻接叠加与全局叠加，并依次在邻接叠加与全局叠加过程中将各分割图像内所有像素的颜色用所对应的各分割图像内所有像素的颜色向量的平均值来表示，将相似的分割图像依次叠加形成新的分割图像，以依次构建出邻接叠加图及全局叠加图；结合分割图像间的颜色对比度、空间距离权重及背景概率权重分别在初始叠加图、邻接叠加图及全局叠加图上计算分割图像的权重值，以获得三幅初始权重图；对三幅初始权重图执行累加求和运算，以获得全景图像中的人体部分。
3.如权利要求2所述的系统，其特征在于，所述邻接叠加的过程使用如下公式进行表示：
其中，L表示初始叠加图，M为分割图像的数量，sk为分割图像，α1为分割图像内所有像素的颜色向量的平均值，α2为调整系数，取值范围为：0.25～1；Y为邻接叠加图。
4.如权利要求3所述的系统，其特征在于，所述全局叠加的过程使用如下公式进行表示：
其中，L表示初始叠加图，M为分割图像的数量，sk为分割图像，α1为分割图像内所有像素的颜色向量的平均值，α2为调整系数，取值范围为：0.25～1；P为全局叠加图。
5.如权利要求5所述的系统，其特征在于，所述获得三幅初始权重图的方法使用如下公式表示：N1＝X/D+lg(1+pL)，N2＝X/D+lg(1+pY)，N3＝X/D+lg(1+pP)；其中，X为分割图像间的颜色对比度，D为分割图像间的空间距离权重，p为分割图像间的背景概率权重，N1为在初始叠加图上计算分割图像的权重值获得的第一幅初始权重图；N2为在邻接叠加图上计算分割图像的权重值获得的第二幅初始权重图；N3为在全局叠加图上计算分割图像的权重值获得的第三幅初始权重图。
6.如权利要求5所述的系统，其特征在于，所述人体关键部检测从筛选出的人体部分中，提取手、脚和头的部分的方法包括：将筛选出的人体部分输入预先训练完成的头检测模型，得到多个头框图像；针对所述每个头框图像，确定与预设值的比值最大的头框图像，作为头检测结果并输出，以提取出头的部分；将筛选出的人体部分输入预先训练完成的手检测模型，得到多个手框图像；针对所述每个手框图像，确定与预设值的比值最大的手框图像，作为手检测结果并输出，以提取出手的部分；将筛选出的人体部分输入预先训练完成的脚检测模型，得到镀铬脚框图像；针对所述每个脚框图像，确定与预设值的比值最大的脚框图像，作为脚检测结果并输出，以提取出脚的部分。
7.如权利要求6所述的系统，其特征在于，所述头检测模型使用如下公式表示：
n为检测模型的精确值，等于输出的头框图像的数量；ai为输出的头框图像；
n为检测模型的精确值，等于输出的手框图像的数量；bi为输出的手框图像；
n为检测模型的精确值，等于输出的脚框图像的数量；ci为输出的脚框图像；分别将ai、bi和ci分别与预设值进行比值运算，比值运算得到的结果的最大值所对应的ai、bi和ci则分别为提取出的头的部分、手的部分和脚的部分。
8.如权利要求7所述的系统，其特征在于，所述识别单元基于提取出的手、脚和头的部分，分别使用预设的识别算法进行姿态识别，分别得出三个姿态识别结果的方法包括：在提取出的头的部分中，筛选出用户的眼睛部分，判断用户的视线方向，得出视线判断结果；在提取出的手的部分中，进行图像识别，判断用户手的姿势，得出手势判断结果；在提取出的脚的部分中，进行图像识别，判断用户脚的姿势，得出脚势判断结果；所述基于得出的三个姿态识别结果，判断人体姿态，得出当前行为分析结果的方法包括：根据脚势判断结果、手势判断结果和视线判断结果，在预设的姿态数据库中进行检索，至少检索到两项相匹配的结果时所对应的姿态数据，作为姿态识别结果，然后基于姿态识别结果，判断人体姿态，得出当前行为分析结果。
9.如权利要求8所述的系统，其特征在于，所述用户行为预测装置，基于得出的当前行为分析结果和历史行为数据，预测用户的行为，得出用户预测行为结果的方法包括：根据历史行为数据建立行为数据链；所述行为数据链定义为：将关联的历史行为数据进行绑定后得到的数据链；所述关联的历史行为数据定义为：在某连续的时间段内，至少两个历史行为数据发生的时间间隔低于设定的阈值；基于当前行为分析结果在数据链中进行匹配查询，若查询到相匹配的历史行为数据，则根据构建的数据链，找到该历史行为数据关联的所有的历史行为，将关联的所有的历史行为作为用户预测行为结果。
10.基于实现权利要求1至9之一所述系统的基于实时用户行为分析的智能家居管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110635489.XA CN113378691B (zh) | 2021-06-08 | 2021-06-08 | 基于实时用户行为分析的智能家居管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110635489.XA CN113378691B (zh) | 2021-06-08 | 2021-06-08 | 基于实时用户行为分析的智能家居管理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113378691A true CN113378691A (zh) | 2021-09-10 |
| CN113378691B CN113378691B (zh) | 2024-05-17 |
Family
ID=77576367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110635489.XA Active CN113378691B (zh) | 2021-06-08 | 2021-06-08 | 基于实时用户行为分析的智能家居管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113378691B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740809A (zh) * | 2023-06-05 | 2023-09-12 | 嘉兴米兰映像家具有限公司 | 一种基于用户姿态的智能沙发控制方法 |
| CN117290689A (zh) * | 2023-09-21 | 2023-12-26 | 湖北太昇科技有限公司 | 一种基于智慧家居的用户绑定方法及系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001002800A2 (en) * | 1999-07-02 | 2001-01-11 | Ruprecht-Karls-Universität Heidelberg | Method and multi-purpose imaging system for chromosomal analysis based on color and region information |
| US20110291926A1 (en) * | 2002-02-15 | 2011-12-01 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
| CN104392223A (zh) * | 2014-12-05 | 2015-03-04 | 青岛科技大学 | 二维视频图像中的人体姿态识别方法 |
| US20160343150A1 (en) * | 2015-05-20 | 2016-11-24 | Saudi Arabian Oil Company | Image-based analysis of a geological thin section |
| CN107277479A (zh) * | 2017-07-10 | 2017-10-20 | 广东欧珀移动通信有限公司 | 白平衡处理方法和装置 |
| CN108256421A (zh) * | 2017-12-05 | 2018-07-06 | 盈盛资讯科技有限公司 | 一种动态手势序列实时识别方法、系统及装置 |
| US10022614B1 (en) * | 2016-05-02 | 2018-07-17 | Bao Tran | Smart device |
| CN108388144A (zh) * | 2018-04-28 | 2018-08-10 | 河南杰川计算机科技有限公司 | 一种沉浸式全景虚拟现实系统 |
| CN108647608A (zh) * | 2018-04-28 | 2018-10-12 | 东莞市华睿电子科技有限公司 | 一种基于人像识别的智能家居防盗系统的实现方法 |
| CN110163059A (zh) * | 2018-10-30 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 多人姿态识别方法、装置及电子设备 |
| CN110188701A (zh) * | 2019-05-31 | 2019-08-30 | 上海媒智科技有限公司 | 基于人体关键节点预测的服饰识别方法、系统及终端 |
| CN110275443A (zh) * | 2019-05-09 | 2019-09-24 | 深圳慧安康科技有限公司 | 主动的智能控制方法、系统及智能装置 |
| CN210274639U (zh) * | 2019-06-13 | 2020-04-07 | 安徽理工大学 | 一种基于人体姿态识别的智能全屋照明系统 |
| US20200285953A1 (en) * | 2019-03-08 | 2020-09-10 | Ai Concepts, Llc | Intelligent recognition and alert methods and systems |
-
2021
- 2021-06-08 CN CN202110635489.XA patent/CN113378691B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001002800A2 (en) * | 1999-07-02 | 2001-01-11 | Ruprecht-Karls-Universität Heidelberg | Method and multi-purpose imaging system for chromosomal analysis based on color and region information |
| US20110291926A1 (en) * | 2002-02-15 | 2011-12-01 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
| CN104392223A (zh) * | 2014-12-05 | 2015-03-04 | 青岛科技大学 | 二维视频图像中的人体姿态识别方法 |
| US20160343150A1 (en) * | 2015-05-20 | 2016-11-24 | Saudi Arabian Oil Company | Image-based analysis of a geological thin section |
| US10022614B1 (en) * | 2016-05-02 | 2018-07-17 | Bao Tran | Smart device |
| CN107277479A (zh) * | 2017-07-10 | 2017-10-20 | 广东欧珀移动通信有限公司 | 白平衡处理方法和装置 |
| CN108256421A (zh) * | 2017-12-05 | 2018-07-06 | 盈盛资讯科技有限公司 | 一种动态手势序列实时识别方法、系统及装置 |
| CN108388144A (zh) * | 2018-04-28 | 2018-08-10 | 河南杰川计算机科技有限公司 | 一种沉浸式全景虚拟现实系统 |
| CN108647608A (zh) * | 2018-04-28 | 2018-10-12 | 东莞市华睿电子科技有限公司 | 一种基于人像识别的智能家居防盗系统的实现方法 |
| CN110163059A (zh) * | 2018-10-30 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 多人姿态识别方法、装置及电子设备 |
| US20200285953A1 (en) * | 2019-03-08 | 2020-09-10 | Ai Concepts, Llc | Intelligent recognition and alert methods and systems |
| CN110275443A (zh) * | 2019-05-09 | 2019-09-24 | 深圳慧安康科技有限公司 | 主动的智能控制方法、系统及智能装置 |
| CN110188701A (zh) * | 2019-05-31 | 2019-08-30 | 上海媒智科技有限公司 | 基于人体关键节点预测的服饰识别方法、系统及终端 |
| CN210274639U (zh) * | 2019-06-13 | 2020-04-07 | 安徽理工大学 | 一种基于人体姿态识别的智能全屋照明系统 |
Non-Patent Citations (2)
| Title |
|---|
| ZHENYA LIU: "Hardware Design of Smart Home System Based on zigBee Wireless Sensor Network", 《AASRI PROCEDIA》, pages 75 - 81 * |
| 李珂: "基于移动互联的睡眠监控系统设计", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 3, pages 030 - 60 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740809A (zh) * | 2023-06-05 | 2023-09-12 | 嘉兴米兰映像家具有限公司 | 一种基于用户姿态的智能沙发控制方法 |
| CN116740809B (zh) * | 2023-06-05 | 2024-03-29 | 嘉兴米兰映像家具有限公司 | 一种基于用户姿态的智能沙发控制方法 |
| CN117290689A (zh) * | 2023-09-21 | 2023-12-26 | 湖北太昇科技有限公司 | 一种基于智慧家居的用户绑定方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113378691B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102682302B (zh) | 一种基于关键帧的多特征融合的人体姿态识别方法 | |
| Lester et al. | A hybrid discriminative/generative approach for modeling human activities | |
| Ibraheem et al. | Survey on various gesture recognition technologies and techniques | |
| CN103268495B (zh) | 计算机系统中基于先验知识聚类的人体行为建模识别方法 | |
| Zeng et al. | Silhouette-based gait recognition via deterministic learning | |
| CN110751022A (zh) | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 | |
| Arif et al. | Automated body parts estimation and detection using salient maps and Gaussian matrix model | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN115294658B (zh) | 一种面向多应用场景的个性化手势识别系统及其手势识别方法 | |
| CN110458235B (zh) | 一种视频中运动姿势相似度比对方法 | |
| CN105975932A (zh) | 基于时间序列shapelet的步态识别分类方法 | |
| CN113378691B (zh) | 基于实时用户行为分析的智能家居管理系统及方法 | |
| Fang et al. | Dynamic gesture recognition using inertial sensors-based data gloves | |
| CN111444488A (zh) | 一种基于动态手势的身份认证方法 | |
| CN104598871A (zh) | 一种基于相关回归的面部年龄计算方法 | |
| Kovač et al. | Frame–based classification for cross-speed gait recognition | |
| Reddy et al. | Human activity recognition from kinect captured data using stick model | |
| CN103105924A (zh) | 人机交互方法和装置 | |
| Khowaja et al. | Facial expression recognition using two-tier classification and its application to smart home automation system | |
| Yan et al. | Human-object interaction recognition using multitask neural network | |
| Liang et al. | Egocentric hand pose estimation and distance recovery in a single RGB image | |
| Niranjani et al. | System application control based on Hand gesture using Deep learning | |
| CN116363757A (zh) | 一种基于自注意图卷积的骨骼和传感器双模态人体行为识别方法 | |
| García et al. | Dynamic facial landmarking selection for emotion recognition using Gaussian processes | |
| Ahmed et al. | Adaptive pooling of the most relevant spatio-temporal features for action recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240419 Address after: No. 0388, Zhongchuang Space, E-commerce Industrial Park, Changfeng Avenue, High tech Zone, Hengyang City, Hunan Province, 421300 Applicant after: Hengyang Lanzhong Technology Co.,Ltd. Country or region after: China Address before: 441300 No. 138, Shunjing Avenue, Houtian palace, Dongcheng, Zengdu District, Suizhou City, Hubei Province Applicant before: Hubei jiantu Network Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |