CN114170561B - 一种应用于智能建筑的机器视觉行为意图预测方法 - Google Patents
一种应用于智能建筑的机器视觉行为意图预测方法 Download PDFInfo
- Publication number
- CN114170561B CN114170561B CN202210131244.8A CN202210131244A CN114170561B CN 114170561 B CN114170561 B CN 114170561B CN 202210131244 A CN202210131244 A CN 202210131244A CN 114170561 B CN114170561 B CN 114170561B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- motion
- time
- detection
- pedestrians
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000009471 action Effects 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 24
- 230000007613 environmental effect Effects 0.000 claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 16
- 230000006399 behavior Effects 0.000 claims description 41
- 230000003993 interaction Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000008034 disappearance Effects 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000005021 gait Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 description 9
- 238000012795 verification Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005191 phase separation Methods 0.000 description 1
Images
Abstract
本发明公开一种应用于智能建筑的机器视觉行为意图预测方法，包括以下步骤：行人检测、行人跟踪、动作描述时空算子的建立、动作检测和时间边界界定、环境状态变化检测、关键动作聚类以及行为预测；本发明通过对历史视频数据进行学习，不依赖人为设定规则，使用局限性较小，通过对环境状态变化前的动作集合进行聚类，得到关键动作向量，对视频中人的行为和环境状态变化进行分析并建立联系，预测关键动作发生时所需执行的环境状态变化，当视频中发生关键动作时，输出相应的预测信号以便自动执行，具有较高的准确性，且达到了实时性的要求，可以提高智能建筑智能化程度，一定程度上减少人的手动操作，给人的日常活动带来便利。
Description
技术领域
本发明涉及行为预测技术领域，尤其涉及一种应用于智能建筑的机器视觉行为意图预测方法。
背景技术
现在，人们对于生活质量有着越来越高的要求，并且由于科学技术在近年来得到了突飞猛进式的发展，使得越来越多的智能建筑开始出现，来满足用户的各种需求，以提高用户的生活品质，当用户具备相应的行为动作后，相对应的该智能建筑就能够提供相应的功能来满足用户的需求，以实现智能化的生活环境，而这种智能化的实现一般依靠行为预测技术，行为预测是针对视频中人的行为进行分析，通过一段时间的视频序列学习，建立行为与环境状态变化之间的联系，当关键动作发生时预测并自动执行相应的环境状态变化，行为预测的目的是使建筑更加智能化，一定程度上减少人的手动操作，给人的日常活动带来便利。
然而现有的一些行为预测方法还不够成熟，大都需要依靠人为设定规则，使用局限性较大，且由于现实中存在许多干扰因素，从而导致现有行为预测方法往往无法直接得出用户关键动作和环境状态变化之间的关联联系，不能实时准确的识别并预测用户的行为动作，进而无法真正实现智能化，不能给用户带来良好的智能化体验感，因此，本发明提出一种应用于智能建筑的机器视觉行为意图预测方法以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明的目的在于提出一种应用于智能建筑的机器视觉行为意图预测方法，解决现有行为预测方法不能实时准确的识别并预测用户行为动作的问题。
为了实现本发明的目的，本发明通过以下技术方案实现：一种应用于智能建筑的机器视觉行为意图预测方法，包括以下步骤：
S1、先构建行人检测模型，利用计算机视觉技术判断视频图像序列中是否存在行人并给予精确定位，并对行人图片进行采集，再利用残差网络对行人图片进行特征提取，采用多尺度检测模块检测不同尺度的行人，接着由残差网络的算法全连接层基于先验框回归输出行人检测的边界框、置信度和类别概率，得到行人检测结果；
S2、先对S1中视频流的行人检测结果进行数据关联，再将视频相邻帧同一个目标关联匹配，接着采用独立的跟踪器追踪每一个行人并赋予ID，获得行人的运动轨迹信息；
S3、依据行人的运动轨迹信息，通过包含视觉、运动、概念和语音的多模态信息构建时空算子，利用构建的时空算子描述场景中行人的相关动作，分别为行人与实体间的交互关系以及行人在特定区域的运动方向，再以标准化的向量形式表示；
S4、根据场景中行人相关动作的描述，在场景中行人的动作不存在时间重叠的情况下，采用两个动作存储器分别记录行人与实体交互以及行人在特定区域的运动方向，实现动作检测和时间边界界定；
S5、通过图像亮度检测环境光线强度，通过光线强度的瞬时大幅变化间接判断开关行为，基于开关灯时刻的亮度值动态更新环境的明暗边界并将参数二值化，当光线较暗为0，当光线较亮为1，实现环境状态变化检测；
S6、通过统计不同视频片段环境状态变化前的动作集合，聚类出不同片段间存在的共同事件，即为关键动作，具体为：采用基于密度的聚类算法，将簇定义为密度相连的点的最大集合，在具有噪声的空间数据库中发现任意形状的簇，基于密度对动作向量进行聚类，一个对象在其半径Eps内含有超过MmPts数目的点，则该对象为核心点，将动作向量划分为以关键动作向量为核心点的簇和噪声点；
S7、针对每个环境状态变化聚类出关键动作并存储预测模型，在算法预测阶段加载预测模型，当关键动作发生时输出相应环境状态变化的预测信号，对无关动作不进行预测。
进一步改进在于：所述S1中，所述行人检测模型基于COCO数据集训练，并通过脚本提取多类目标数据集中的行人数据集，得到预训练模型，在预训练模型的基础上迁移学习得到针对行人的检测模型。
进一步改进在于：所述S2中，视频相邻帧时间间隔无法满足关联条件时，依据相邻帧行人间的距离或边界框的交并比实现关联，当行人间存在遮挡或交互行为时，采用距离和行人表观特征融合度量进行关联。
进一步改进在于：所述S2中，获得行人的运动轨迹信息的具体流程如下：
A1、当t1时刻行人首次出现时，经多帧确认后创建独立标识的跟踪器进行跟踪，当行人离开视野时删除跟踪器；
A2、接着采用卡尔曼滤波器基于线性等速模型预测行人从首次出现到离开视野之间的帧间位移，并估计其下一帧t2时刻的位置，再计算t2时刻检测结果和t1时刻预测边界框之间的马氏距离，计算分配cost矩阵并使用匈牙利算法求解：
其中，d j 表示第j个检测框的位置，y i 表示第i个追踪器对目标的预测位置，S i 是轨迹由卡尔曼滤波器预测得到的在当前观测空间的协方差矩阵，马氏距离通过计算检测位置和平均追踪位置之间的标准差将状态测量的不确定性进行考虑，若关联的马氏距离小于指定阈值t （1），则设置运动状态关联成功，得到行人检测结果；
A3、随后采用深度学习特征提取网络提取行人检测结果的表观特征，之后计算相邻帧特征间的余弦距离，并基于最小余弦距离实现关联匹配；
A4、当相邻帧行人运动信息和表观特征同时关联，在跟踪器中实时更新行人的位置信息，并得到跟踪器连续时刻的坐标点；
A5、最后将跟踪器连续时刻的坐标点集合作为行人的运动轨迹信息。
进一步改进在于：所述S3中，人与实体间的交互关系主要通过人和实体边界框的拓扑关系来表示，相交或包含关系表示两者间存在交互行为，通过IoU表示：
人在特定区域的运动方向通过行人持续特定时间的运动轨迹来反映，当行人轨迹跨越该区域时，记录其运动方向。
进一步改进在于：所述S4中，当行人初次接触实体时，记录当前动作，以时间边界为接触的起止时刻，当行人进入特定区域时，为避免步态曲线变化的影响，对特定时间段内的轨迹进行持续分析，当行人跨越该区域时判定其运动方向。
进一步改进在于：所述S4中，针对多人动作检测，对特定区域相邻帧跟踪器进行交叉验证，分析跟踪器的出现和消失，在动态维度下将动作提取器与行人ID关联，并在特定时间段内对每个目标持续跟踪以确定运动方向。
进一步改进在于：所述S6中，基于密度的聚类算法具体流程为：
B1、若一个点x的ε邻域包含多余m个对象，则创建一个x作为核心对象的新簇，其中ε邻域为给定对象在半径ε内的区域，密度为ε邻域中x的密度，是一个整数值，依赖于半径ε；
B2、寻找并合并核心对象直接密度可达的对象，其中直接密度可达为给定一个对象集合X，如果y在x的ε邻域内，且x为一个核心对象，则对象y从对象x出发为直接密度可达的；
B3、若没有新点用于更新簇时，算法结束。
进一步改进在于：所述S7中，在一个动作发生的连续时间段内仅执行一次预测，以明确各动作的时间边界。
本发明的有益效果为：本发明通过对历史视频数据进行学习，不依赖人为设定规则，使用局限性较小，通过对环境状态变化前的动作集合进行聚类，得到关键动作向量，对视频中人的行为和环境状态变化进行分析并建立联系，预测关键动作发生时所需执行的环境状态变化，当视频中发生关键动作时，输出相应的预测信号以便自动执行，具有较高的准确性，且达到了实时性的要求，可以提高智能建筑智能化程度，一定程度上减少人的手动操作，给人的日常活动带来便利。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一的方法流程示意图；
图2是本发明实施例一的行为预测框架示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参见图1、图2，本实施例提供了一种应用于智能建筑的机器视觉行为意图预测方法，包括以下步骤：
S1、先构建行人检测模型，利用计算机视觉技术判断视频图像序列中是否存在行人并给予精确定位，并对行人图片进行采集，再利用残差网络对行人图片进行特征提取，采用多尺度检测模块检测不同尺度的行人，接着由残差网络的算法全连接层基于先验框回归输出行人检测的边界框、置信度和类别概率，得到行人检测结果；
行人检测模型基于COCO数据集训练，并通过脚本提取多类目标数据集中的行人数据集，得到预训练模型，在预训练模型的基础上迁移学习得到针对行人的检测模型,模型在验证集的平均准确率达到83.6%（IOU=0.5)，检测速度FPS达到40，在不同光线强度下都能实现较好的检测效果；
S2、先对S1中视频流的行人检测结果进行数据关联，再将视频相邻帧同一个目标关联匹配，接着采用独立的跟踪器追踪每一个行人并赋予ID，获得行人的运动轨迹信息，视频相邻帧时间间隔无法满足关联条件时，依据相邻帧行人间的距离或边界框的交并比实现关联，当行人间存在遮挡或交互行为时，采用距离和行人表观特征融合度量进行关联；
获得行人的运动轨迹信息的具体流程如下：
A1、当t1时刻行人首次出现时，经多帧确认后创建独立标识的跟踪器进行跟踪，当行人离开视野时删除跟踪器；
A2、接着采用卡尔曼滤波器基于线性等速模型预测行人从首次出现到离开视野之间的帧间位移，并估计其下一帧t2时刻的位置，再计算t2时刻检测结果和t1时刻预测边界框之间的马氏距离，计算分配cost矩阵并使用匈牙利算法求解：
其中，d j 表示第j个检测框的位置，y i 表示第i个追踪器对目标的预测位置，S i 是轨迹由卡尔曼滤波器预测得到的在当前观测空间的协方差矩阵，马氏距离通过计算检测位置和平均追踪位置之间的标准差将状态测量的不确定性进行考虑，若关联的马氏距离小于指定阈值t （1），则设置运动状态关联成功，得到行人检测结果；
A3、随后采用深度学习特征提取网络提取行人检测结果的表观特征，之后计算相邻帧特征间的余弦距离，并基于最小余弦距离实现关联匹配；
使用CNN网络计算每一个检测边界框（bounding box）的表面特征描述子r j ，|r j |=1，对每一个目标构建一个gallary文件夹，存储其成功关联的最近L k =100帧的特征向量，计算第i个追踪器的特征集与当前第j个检测结果的特征向量间的最小余弦距离，公式如下：
A4、当相邻帧行人运动信息和表观特征同时关联，在跟踪器中实时更新行人的位置信息，并得到跟踪器连续时刻的坐标点，未匹配的检测目标可能是新出现的行人，跟踪器未匹配则意味着当前行人可能消失，最终使用两种度量方式的线性加权作为最终的度量，只有c i，j 位于两种度量阈值的交集内，才认为实现了正确的关联，即
A5、最后将跟踪器连续时刻的坐标点集合作为行人的运动轨迹信息。
S3、依据行人的运动轨迹信息，通过包含视觉、运动、概念和语音的多模态信息构建时空算子，利用构建的时空算子描述场景中行人的相关动作，分别为行人与实体间的交互关系以及行人在特定区域的运动方向，再以标准化的向量形式表示，人与实体间的交互关系主要通过人和实体边界框的拓扑关系来表示，相交或包含关系表示两者间存在交互行为，通过IoU表示：
人在特定区域的运动方向通过行人持续特定时间的运动轨迹来反映，当行人轨迹跨越该区域时，记录其运动方向；
时空算子包括空间、时间和概念，分别为：
空间：距离、相离、相切、相交、包含、前、后、左、右；
时间：轨迹（速度、方向、越线/区域、接近/远离，出现/消失）；
概念：环境信息（光线、有/无人、形变)；
S4、根据场景中行人相关动作的描述，在场景中行人的动作不存在时间重叠的情况下，采用两个动作存储器分别记录行人与实体交互以及行人在特定区域的运动方向，实现动作检测和时间边界界定，当行人初次接触实体时，记录当前动作，以时间边界为接触的起止时刻，当行人进入特定区域时，为避免步态曲线变化的影响，对特定时间段内的轨迹进行持续分析，当行人跨越该区域时判定其运动方向；
针对多人动作检测，对特定区域相邻帧跟踪器进行交叉验证，分析跟踪器的出现和消失，在动态维度下将动作提取器与行人ID关联，并在特定时间段内对每个目标持续跟踪以确定运动方向；
S5、通过图像亮度检测环境光线强度，图像亮度值范围为0-255，亮度为所有像素点R、G、B三原色的加权平均：
Y（亮度）=0.299*R+0.587*G+0.114*B
通过光线强度的瞬时大幅变化间接判断开关行为，基于开关灯时刻的亮度值动态更新环境的明暗边界并将参数二值化，当光线较暗为0，当光线较亮为1，实现环境状态变化检测；
S6、通过统计不同视频片段环境状态变化前的动作集合，聚类出不同片段间存在的共同事件，即为关键动作，具体为：采用基于密度的聚类算法，将簇定义为密度相连的点的最大集合，在具有噪声的空间数据库中发现任意形状的簇，基于密度对动作向量进行聚类，一个对象在其半径Eps内含有超过MmPts数目的点，则该对象为核心点，将动作向量划分为以关键动作向量为核心点的簇和噪声点；
基于密度的聚类算法具体流程为：
B1、若一个点x的ε邻域包含多余m个对象，则创建一个x作为核心对象的新簇，其中ε邻域为给定对象在半径ε内的区域：
密度为ε邻域中x的密度，是一个整数值，依赖于半径ε：
B2、寻找并合并核心对象直接密度可达的对象，其中直接密度可达为给定一个对象集合X，如果y在x的ε邻域内，且x为一个核心对象，则对象y从对象x出发为直接密度可达的：
B3、若没有新点用于更新簇时，算法结束；
S7、针对每个环境状态变化聚类出关键动作并存储预测模型，在算法预测阶段加载预测模型，当关键动作发生时输出相应环境状态变化的预测信号，对无关动作不进行预测，在一个动作发生的连续时间段内仅执行一次预测，以明确各动作的时间边界。
设ai和si为相对应的关键动作和环境状态变化，ar1和ar2为无关动作，算法核心是聚类si对应的关键动作ai，并在后续视频中进行行为预测，预测框架如图2所示。
实施例二
对本发明的方法进行试验验证，采集会议室进出及开关灯等行为的视频数据，其中进门a1为关键动作，触碰桌椅a2、a3为无关动作，开灯后光线由暗变亮为对应的环境状态变化s1；
通过一段视频（包含6次a1和s1，若干次a2和a3）的学习，对每次环境状态变化s1前的动作集合进行聚类，聚类出关键动作为a1，利用预测方法对另一段视频进行预测，共计6人次进入会议室，在关键动作a1发生且光线较暗时均执行预测，表明本发明的方法可以达到行为预测准确度的要求。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种应用于智能建筑的机器视觉行为意图预测方法，其特征在于，包括以下步骤：
S1、先构建行人检测模型，利用计算机视觉技术判断视频图像序列中是否存在行人并给予定位，并对行人图片进行采集，再利用残差网络对行人图片进行特征提取，采用多尺度检测模块检测不同尺度的行人，接着由残差网络的算法全连接层基于先验框回归输出行人检测的边界框、置信度和类别概率，得到行人检测结果；
S2、先对S1中视频流的行人检测结果进行数据关联，再将视频相邻帧同一个目标关联匹配，接着采用独立的跟踪器追踪每一个行人并赋予ID，获得行人的运动轨迹信息；
S3、依据行人的运动轨迹信息，通过包含视觉、运动、概念和语音的多模态信息构建时空算子，利用构建的时空算子描述场景中行人的相关动作，相关动作分别为行人与实体间的交互关系以及行人在特定区域的运动方向，再以标准化的向量形式表示；其中，所述概念为环境信息；
S4、根据场景中行人相关动作的描述，在场景中行人的动作不存在时间重叠的情况下，采用两个动作存储器分别记录行人与实体交互以及行人在特定区域的运动方向，实现动作检测和时间边界界定；
S5、通过图像亮度检测环境光线强度，通过光线强度的瞬时大幅变化间接判断开关行为，基于开关灯时刻的亮度值动态更新环境的明暗边界并将参数二值化，当光线较暗为0，当光线较亮为1，实现环境状态变化检测；
S6、通过统计不同视频片段环境状态变化前的动作集合，聚类出不同片段间存在的共同事件，即为关键动作，具体为：采用基于密度的聚类算法，将簇定义为密度相连的点的最大集合，在具有噪声的空间数据库中发现任意形状的簇，基于密度对动作向量进行聚类，一个对象在其半径Eps内含有超过MmPts数目的点，则该对象为核心点，将动作向量划分为以关键动作向量为核心点的簇和噪声点；
S7、针对每个环境状态变化聚类出关键动作并存储预测模型，在算法预测阶段加载预测模型，当关键动作发生时输出相应环境状态变化的预测信号，对无关动作不进行预测。
2.根据权利要求1所述的一种应用于智能建筑的机器视觉行为意图预测方法，其特征在于：所述S1中，所述行人检测模型基于COCO数据集训练，并通过脚本提取多类目标数据集中的行人数据集，得到预训练模型，在预训练模型的基础上迁移学习得到针对行人的检测模型。
3.根据权利要求1所述的一种应用于智能建筑的机器视觉行为意图预测方法，其特征在于：所述S2中，视频相邻帧时间间隔无法满足关联条件时，依据相邻帧行人间的距离或边界框的交并比实现关联，当行人间存在遮挡或交互行为时，采用距离和行人表观特征融合度量进行关联。
4.根据权利要求1所述的一种应用于智能建筑的机器视觉行为意图预测方法，其特征在于：所述S2中，获得行人的运动轨迹信息的具体流程如下：
A1、当t1时刻行人首次出现时，经多帧确认后创建独立标识的跟踪器进行跟踪，当行人离开视野时删除跟踪器；
A2、接着采用卡尔曼滤波器基于线性等速模型预测行人从首次出现到离开视野之间的帧间位移，并估计其下一帧t2时刻的位置，再计算t2时刻检测结果和t1时刻预测边界框之间的马氏距离，计算分配cost矩阵并使用匈牙利算法求解：
A3、随后采用深度学习特征提取网络提取行人检测结果的表观特征，之后计算相邻帧特征间的余弦距离，并基于最小余弦距离实现关联匹配；
A4、当相邻帧行人运动信息和表观特征同时关联，在跟踪器中实时更新行人的位置信息，并得到跟踪器连续时刻的坐标点；
A5、最后将跟踪器连续时刻的坐标点集合作为行人的运动轨迹信息。
5.根据权利要求1所述的一种应用于智能建筑的机器视觉行为意图预测方法，其特征在于：所述S3中，人与实体间的交互关系主要通过人和实体边界框的拓扑关系来表示，相交或包含关系表示两者间存在交互行为，通过IoU表示：
人在特定区域的运动方向通过行人持续特定时间的运动轨迹来反映，当行人轨迹跨越该区域时，记录其运动方向。
6.根据权利要求1所述的一种应用于智能建筑的机器视觉行为意图预测方法，其特征在于：所述S4中，当行人初次接触实体时，记录当前动作，以时间边界为接触的起止时刻，当行人进入特定区域时，为避免步态曲线变化的影响，对特定时间段内的轨迹进行持续分析，当行人跨越该区域时判定其运动方向。
7.根据权利要求1所述的一种应用于智能建筑的机器视觉行为意图预测方法，其特征在于：所述S4中，针对多人动作检测，对特定区域相邻帧跟踪器进行交叉验证，分析跟踪器的出现和消失，在动态维度下将动作提取器与行人ID关联，并在特定时间段内对每个目标持续跟踪以确定运动方向。
8.根据权利要求1所述的一种应用于智能建筑的机器视觉行为意图预测方法，其特征在于：所述S6中，基于密度的聚类算法具体流程为：
B1、若一个点x的ε邻域包含多于m个对象，则创建一个x作为核心对象的新簇，其中ε邻域为给定对象在半径ε内的区域，密度为ε邻域中x的密度，是一个整数值，依赖于半径ε；
B2、寻找并合并核心对象直接密度可达的对象，其中直接密度可达为给定一个对象集合X，如果y在x的ε邻域内，且x为一个核心对象，则对象y从对象x出发为直接密度可达的；
B3、若没有新点用于更新簇时，算法结束。
9.根据权利要求1所述的一种应用于智能建筑的机器视觉行为意图预测方法，其特征在于：所述S7中，在一个动作发生的连续时间段内仅执行一次预测，以明确各动作的时间边界。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210131244.8A CN114170561B (zh) | 2022-02-14 | 2022-02-14 | 一种应用于智能建筑的机器视觉行为意图预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210131244.8A CN114170561B (zh) | 2022-02-14 | 2022-02-14 | 一种应用于智能建筑的机器视觉行为意图预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170561A CN114170561A (zh) | 2022-03-11 |
| CN114170561B true CN114170561B (zh) | 2022-05-06 |
Family
ID=80489818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210131244.8A Active CN114170561B (zh) | 2022-02-14 | 2022-02-14 | 一种应用于智能建筑的机器视觉行为意图预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170561B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101943916A (zh) * | 2010-09-07 | 2011-01-12 | 陕西科技大学 | 一种基于卡尔曼滤波器预测的机器人避障方法 |
| CN102300679A (zh) * | 2009-09-28 | 2011-12-28 | 松下电器产业株式会社 | 机器人手臂的控制装置及控制方法、机器人、机器人手臂的控制程序及机器人手臂控制用集成电路 |
| CN105357842A (zh) * | 2015-12-11 | 2016-02-24 | 北京毫米科技有限公司 | 主控智能灯 |
| CN108113651A (zh) * | 2017-12-15 | 2018-06-05 | 汪洁 | 一种汉语失语症心理语言评价方法及评价系统 |
| CN109190525A (zh) * | 2018-08-17 | 2019-01-11 | 上海极歌企业管理咨询中心（有限合伙） | 基于人工智能的广告用户识别方法及装置 |
| CN109685482A (zh) * | 2019-01-14 | 2019-04-26 | 山东建筑大学 | 人、机、物信息融合的智能建筑管理方法、系统与应用 |
| CN109948472A (zh) * | 2019-03-04 | 2019-06-28 | 南京邮电大学 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
| CN110377936A (zh) * | 2019-06-06 | 2019-10-25 | 西安交通大学 | 一种智能建筑人员个性化热舒适度动态感知的系统及方法 |
| CN111401161A (zh) * | 2020-03-04 | 2020-07-10 | 青岛海信网络科技股份有限公司 | 基于智能视频分析算法实现行为识别的智慧建筑管控系统 |
| CN111488795A (zh) * | 2020-03-09 | 2020-08-04 | 天津大学 | 应用于无人驾驶车辆的实时行人跟踪方法 |
| CN112740221A (zh) * | 2018-09-12 | 2021-04-30 | 金宝通有限公司 | 生物测定数据捕获和分析 |
| CN112784421A (zh) * | 2021-01-27 | 2021-05-11 | 盈嘉互联（北京）科技有限公司 | 一种建筑bim模型走廊、房间空间提取及统计方法 |
| CN113325762A (zh) * | 2021-05-25 | 2021-08-31 | 西安交通大学 | 一种智能建筑个性化用能控制方法、系统、装置和设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019199593A1 (en) * | 2018-04-09 | 2019-10-17 | Carrier Corporation | Portable user profile for smart buildings |
| CN111862145B (zh) * | 2019-04-24 | 2022-05-17 | 四川大学 | 一种基于多尺度行人检测的目标跟踪方法 |
| CN111460926B (zh) * | 2020-03-16 | 2022-10-14 | 华中科技大学 | 一种融合多目标跟踪线索的视频行人检测方法 |
-
2022
- 2022-02-14 CN CN202210131244.8A patent/CN114170561B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102300679A (zh) * | 2009-09-28 | 2011-12-28 | 松下电器产业株式会社 | 机器人手臂的控制装置及控制方法、机器人、机器人手臂的控制程序及机器人手臂控制用集成电路 |
| CN101943916A (zh) * | 2010-09-07 | 2011-01-12 | 陕西科技大学 | 一种基于卡尔曼滤波器预测的机器人避障方法 |
| CN105357842A (zh) * | 2015-12-11 | 2016-02-24 | 北京毫米科技有限公司 | 主控智能灯 |
| CN108113651A (zh) * | 2017-12-15 | 2018-06-05 | 汪洁 | 一种汉语失语症心理语言评价方法及评价系统 |
| CN109190525A (zh) * | 2018-08-17 | 2019-01-11 | 上海极歌企业管理咨询中心（有限合伙） | 基于人工智能的广告用户识别方法及装置 |
| CN112740221A (zh) * | 2018-09-12 | 2021-04-30 | 金宝通有限公司 | 生物测定数据捕获和分析 |
| CN109685482A (zh) * | 2019-01-14 | 2019-04-26 | 山东建筑大学 | 人、机、物信息融合的智能建筑管理方法、系统与应用 |
| CN109948472A (zh) * | 2019-03-04 | 2019-06-28 | 南京邮电大学 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
| CN110377936A (zh) * | 2019-06-06 | 2019-10-25 | 西安交通大学 | 一种智能建筑人员个性化热舒适度动态感知的系统及方法 |
| CN111401161A (zh) * | 2020-03-04 | 2020-07-10 | 青岛海信网络科技股份有限公司 | 基于智能视频分析算法实现行为识别的智慧建筑管控系统 |
| CN111488795A (zh) * | 2020-03-09 | 2020-08-04 | 天津大学 | 应用于无人驾驶车辆的实时行人跟踪方法 |
| CN112784421A (zh) * | 2021-01-27 | 2021-05-11 | 盈嘉互联（北京）科技有限公司 | 一种建筑bim模型走廊、房间空间提取及统计方法 |
| CN113325762A (zh) * | 2021-05-25 | 2021-08-31 | 西安交通大学 | 一种智能建筑个性化用能控制方法、系统、装置和设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于人体姿态估计与聚类特定运动帧获取方法;蔡敏敏等;《图学学报》;20210929;第43卷(第01期);第44-52页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170561A (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106897670B (zh) | 一种基于计算机视觉的快递暴力分拣识别方法 | |
| WO2021017606A1 (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| Hongeng et al. | Video-based event recognition: activity representation and probabilistic recognition methods | |
| CN102831439B (zh) | 手势跟踪方法及系统 | |
| CN103971386B (zh) | 一种动态背景场景下的前景检测方法 | |
| CN109919977B (zh) | 一种基于时间特征的视频运动人物跟踪与身份识别方法 | |
| CN111932583A (zh) | 一种基于复杂背景下的时空信息一体化智能跟踪方法 | |
| CN112489081B (zh) | 一种视觉目标跟踪方法及装置 | |
| KR102462934B1 (ko) | 디지털 트윈 기술을 위한 영상 분석 시스템 | |
| CN110298297A (zh) | 火焰识别方法和装置 | |
| Luo et al. | Real-time people counting for indoor scenes | |
| KR20140067604A (ko) | 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| Tomar et al. | Crowd analysis in video surveillance: A review | |
| CN114842553A (zh) | 基于残差收缩结构和非局部注意力的行为检测方法 | |
| Nodehi et al. | Multi-metric re-identification for online multi-person tracking | |
| CN115049954A (zh) | 目标识别方法、装置、电子设备和介质 | |
| CN109740527B (zh) | 一种视频帧中图像处理方法 | |
| CN114170561B (zh) | 一种应用于智能建筑的机器视觉行为意图预测方法 | |
| Badal et al. | Online multi-object tracking: multiple instance based target appearance model | |
| CN101950362B (zh) | 一种视频信号的关注度分析系统 | |
| Jeyabharathi | New feature descriptor: Extended Symmetrical-Diagonal Hexadecimal Pattern for efficient background subtraction and object tracking | |
| Sellami et al. | Video semantic segmentation using deep multi-view representation learning | |
| CN113361475A (zh) | 一种基于多阶段特征融合信息复用的多光谱行人检测方法 | |
| Raman et al. | Spatiotemporal optical blob reconstruction for object detection in grayscale videos | |
| CN111191524A (zh) | 运动人群计数方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240311 Address after: 1308, 13th Floor, Shougang Sports Building, No. 6 Jinyuanzhuang Road, Shijingshan District, Beijing, 100043 Patentee after: BIM WINNER (BEIJING) TECHNOLOGY CO.,LTD. Guo jiahuodiqu after: China Address before: 100000 1308, 13th floor, Shougang sports building, No. 6, jinyuanzhuang Road, Shijingshan District, Beijing Patentee before: BIM WINNER (BEIJING) TECHNOLOGY CO.,LTD. Guo jiahuodiqu before: China Patentee before: BIM WINNER (SHANGHAI) TECHNOLOGY Co.,Ltd. Guo jiahuodiqu before: Zhong Guo Patentee before: SHENZHEN BIM WINNER TECHNOLOGY Co.,Ltd. Patentee before: Yingjia Internet (Beijing) Smart Technology Co.,Ltd. Patentee before: JIAXING WUZHEN YINGJIA QIANZHEN TECHNOLOGY Co.,Ltd. Patentee before: SHENZHEN QIANHAI YINGJIA DATA SERVICE Co.,Ltd. Patentee before: Foshan Yingjia Smart Space Technology Co.,Ltd. |