CN109740513B - 一种动作行为分析方法和装置 - Google Patents

一种动作行为分析方法和装置 Download PDF

Info

Publication number
CN109740513B
CN109740513B CN201811637784.3A CN201811637784A CN109740513B CN 109740513 B CN109740513 B CN 109740513B CN 201811637784 A CN201811637784 A CN 201811637784A CN 109740513 B CN109740513 B CN 109740513B
Authority
CN
China
Prior art keywords
image frame
key point
determining
color image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811637784.3A
Other languages
English (en)
Other versions
CN109740513A (zh
Inventor
余海桃
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN201811637784.3A priority Critical patent/CN109740513B/zh
Publication of CN109740513A publication Critical patent/CN109740513A/zh
Application granted granted Critical
Publication of CN109740513B publication Critical patent/CN109740513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开一种动作行为分析方法和装置。本发明的方法包括：通过相机获取彩色图像帧、深度图像帧，并确定彩色图像帧与深度图像帧之间像素点的对应关系；在彩色图像帧上根据预先建立的深度模型进行关键点定位，获得目标部位的关键点；根据彩色图像帧与深度图像帧之间像素点的对应关系获取关键点的深度值，并根据相机的参数和所述关键点的深度值获取关键点的空间位置信息；根据关键点的空间位置信息对目标部位进行跟踪，获取目标部位的运动状态信息，以根据目标部位的运动状态信息进行动作行为分析。本发明能够避免目标由于空间重叠而产生难以识别与误识别的问题，提高对人体动作行为分析的精度，降低误报的发生率。

Description

一种动作行为分析方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种动作行为分析方法和装置。
背景技术
随着物理网技术与智能科技的不断发展，动作识别及其应用变得越来越重要，动作行为分析在安防领域的作用尤为重要，能起到及时预警的效果。传统的动作行为分析方法多根据姿态模板匹配或数学建模的方法进行分析，存在较为严重的误报和漏报问题。
发明内容
本发明提供了一种动作行为分析方法和装置，以提高动作行为分析的精度，降低误报的发生率。
本发明一方面提供了一种动作行为分析方法，包括：通过相机获取彩色图像帧、深度图像帧，并确定彩色图像帧与深度图像帧之间像素点的对应关系；在彩色图像帧上根据预先建立的深度模型进行关键点定位，获得目标部位的关键点；根据彩色图像帧与深度图像帧之间像素点的对应关系获取关键点的深度值，并根据相机的参数和所述关键点的深度值获取关键点的空间位置信息；根据关键点的空间位置信息对所述目标部位进行跟踪，获取目标部位的运动状态信息，以根据目标部位的运动状态信息进行动作行为分析。
本发明一方面提供了一种动作行为分析装置，包括：数据采集单元，用于通过相机获取彩色图像帧、深度图像帧，并确定彩色图像帧与深度图像帧之间像素点的对应关系；关键点定位单元，用于在彩色图像帧上根据预先建立的深度模型进行关键点定位，获得目标部位的关键点；关键点位置计算单元，用于根据彩色图像帧与深度图像帧之间像素点的对应关系获取所述关键点的深度值，并根据相机的参数和关键点的深度值获取所述关键点的空间位置信息；动作行为分析单元，用于根据关键点的空间位置信息对目标部位进行跟踪，获取目标部位的运动状态信息，以根据目标部位的运动状态信息进行动作行为分析。
由于人体动作行为的发生多依赖于关键部分的组合运动，本发明利用深度模型精确定位关键点，提高对人体动作行为分析的精度，并结合深度图像为关键点提供深度参考，对跟踪目标进行区分，避免目标由于空间重叠而产生难以识别与误识别的问题，进一步提高行为分析精度，降低误报的发生率。
附图说明
图1为本发明实施例示出的动作行为分析方法的流程图；
图2为本发明实施例示出的搜索模板与搜索区域之间的区域关系示意图；
图3为本发明实施例示出的动作行为分析装置的结构框图；
图4为本发明实施例示出的动作行为分析装置的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的机器可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，机器可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，机器可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。机器可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明实施例提供一种动作行为分析方法。
图1为本发明实施例示出的动作行为分析方法的流程图，如图1所示，本实施例的方法包括：
S110，通过相机获取彩色图像帧、深度图像帧，并确定彩色图像帧与深度图像帧之间像素点的对应关系。
S120，在彩色图像帧上根据预先建立的深度模型进行关键点定位，获得目标部位的关键点。
本实施例中，目标部位可以理解为人体手臂、腿部、躯体等部位。
S130，根据彩色图像帧与深度图像帧之间像素点的对应关系获取关键点的深度值，并根据相机的参数和关键点的深度值获取关键点的空间位置信息。
S140，根据关键点的空间位置信息对目标部位进行跟踪，获取目标部位的运动状态信息，以根据所述目标部位的运动状态信息进行动作行为分析。
由于人体动作行为的发生多依赖于关键部分的组合运动，本实施例利用深度模型精确定位关键点，提高对人体动作行为分析的精度，并结合深度图像为关键点提供深度参考，对跟踪目标进行区分，避免目标由于空间重叠而产生难以识别与误识别的问题，进一步提高行为分析精度，降低误报的发生率。
图2为本发明实施例示出的搜索模板与搜索区域之间的区域关系示意图，下面结合图2对上述步骤S110-S140进行详细说明，本实施例步骤 S110-S150的执行主体可以为终端设备。
首先，执行步骤S110，即通过相机获取彩色图像帧、深度图像帧，并确定所述彩色图像帧与深度图像帧之间像素点的对应关系。
本实施例中的执行主体可以安装有用于采集图像帧的相机，在需要进行动作行为分析时，可以开启相机对用户进行拍摄，获得本实施例所需的彩色图像帧和深度图像帧。其中，彩色图像帧包括但不限于RGB图像帧。
一个实施例中，可以通过下述方法对彩色图像帧进行去噪处理：首先通过相机获取当前彩色图像帧，并对当前彩色图像帧进行双边滤波处理，得到滤波后的彩色图像帧；接着将滤波后的彩色图像帧与经过双边滤波处理的上一彩色图像帧做差，获得差值图；然后对差值图的非前景区域进行去噪处理，将获得的去噪后的图像作为当前彩色图像帧的去噪图像。
根在本实施例的一个示例中，通过相机获得彩色图像帧，分别即为图像 F(i-1)为F(i)；其中F(i)当前彩色图像帧，F(i-1)为上一彩色图像帧。对当前彩色图像帧F(i)进行双边滤波处理，得到滤波后的图像，记为F′(i)。以经过双边滤波处理的上一彩色图像帧F′(i-1)为参考，通过公式B(i)＝F′(i)-F′(i-1) 计算得到差值图B(i)；其中，差值图B(i)采用8领域方法进行计算，以3*3 窗口为模板，分别计算差值
Figure BDA0001930457010000041
其中，b(k)＝f′i(k)-f′i-1(k)为滤波后图像F′(i)的像素值。设定分割阈值Th，Th可以采用大津算法计算得到；基于分割阈值Th对差值图B(i)进行阈值分割，得到前景区域fg(i)和非前景区域 bg(i)；对非前景区域bg(i)进行帧内8领域加权求和、帧间对应窗口求均值运算实现非前景区域的去噪处理，以得到去噪后的彩色图像帧R(i)。
在利用一部相机获得上述两种图像数据时，可以根据相机内部参数计算彩色图像帧各像素点对应到深度图像帧的像素坐标，从而获得彩色图像帧、与深度图像帧之间像素点的对应关系。
当利用两部相机获得上述两种图像数据时，可以根据相机内部参数和相机之间的相对位置参数计算彩色图像帧各像素点对应到深度图像帧的像素坐标，从而获得彩色图像帧与深度图像帧之间像素点的对应关系。
在确定彩色图像帧与深度图像帧之间像素点的对应关系之后，继续执行步骤S120，即在彩色图像帧上根据预先建立的深度模型进行关键点定位，获得目标部位的关键点。
本实施例为了降低算法复杂度、提高效率，通过对openpose原始网络进行修改构建本实施例的深度模型。例如将openpose原始网络前10层特征提取替换为mobilenetv2，去掉openpose原始网络中DepthWiseConv层后的归一化和激活层，以及利用3层3x3网络替换大7x7的卷积操作。
在建立好深度模型之后，根据使用场景需求和环境需求进行数据采集，标注人体手臂、腿和躯体等部位的关键点信息，形成深度学习训练样本；需要说明的是，数据采集中需要保证人体的完整性，实际应用中可以选择性的增加部分所需要的关键点信息。在获取训练样本之后利用本实施例构建的深度模型进行关键点提取训练。
本实施例获得目标部位的关键点可以包括人体手臂、腿和躯体等部位共 16个关键点(分别是左右手臂各3个关键点，左右腿各3个关键点，双眼2 个，鼻子1个和颈部1个)，优选地目标部位的关键点包括：对应于颈部的关键点、对应于鼻子的关键点、对应于左眼睛的关键点、对应于左肩部的关键点、对应于左肘部的关键点、对应于左腕部的关键点、对应于左跨部的关键点、对应于左膝部的关键点、对应于左踝部的关键点、对应于右眼睛的关键点、对应于右肩部的关键点、对应于右肘部的关键点、对应于右腕部的关键点、对应于右跨部的关键点、对应于右膝部的关键点、对应于右踝部的关键点。
本实施例在获得目标部位的关键点之后还建立各个目标部位的关键点之间的近邻关系；在本实施例的目标部位的关键点包括上述16个关键点时，构建：颈部-鼻子-左眼睛；颈部-鼻子-右眼睛；颈部-左肩部-左肘部-左腕部；颈部-右肩部-右肘部-右腕部；颈部-左胯部-左膝部-左踝部；颈部-右胯部-右膝部-右踝部六组近邻关系，从左到右依次为父-子关系。
由于关键点的空间位置信息的稳定性会影响对目标部位进行跟踪的准确性，因此，本实施例对关键点的空间位置进行平滑处理，保证得到稳定的关键点的空间位置，避免外界干扰对关键点的抖动影响。
一个实施例中，在获目标部位的关键点时，还通过下述方法对关键点进行平滑处理：首先在当前彩色图像帧上根据预先建立的深度模型进行关键点定位，获得定位到的待平滑关键点；根据预先建立的各个目标部位的关键点之间的近邻关系，获得每个待平滑关键点的近邻关键点；接着在当前彩色图像帧上获取位于第一直线上且与所述待平滑关键点相距第一距离的一半的位置，将该位置确定为基准点；其中，第一直线为待平滑关键点及其近邻关键点之间的连线，第一距离为待平滑关键点与其近邻关键点之间距离的一半；在当前彩色图像帧上获取以所述基准点为圆心，以所述第一距离为半径的圆形区域为搜索区域；然后获取当前彩色图像帧对应的搜索模板图像，所述当前彩色图像帧对应的搜索模板图像为上一彩色图像帧的最佳匹配区域所对应的图像，所述搜索模板为以所述第一距离的一半为边长的方形模板；利用当前彩色图像帧对应的搜索模板图像对当前彩色图像帧的搜索区域进行匹配，获取与搜索模板图像匹配的最佳匹配区域的中心点；最后对最佳匹配区域的中心点进行卡尔曼跟踪，获取所述中心点的位置变化情况，在中心点的位置变化小于预设阈值时，将由上一彩色图像帧确定的目标部位的关键点确定为当前彩色图像帧的该目标部位的关键点；在中心点的位置变化不小于预设阈值时，将中心点确定为当前彩色图像帧的该目标部位的关键点。
本实施例中，通过下述方法获取最佳匹配区域的中心点：以搜索模板的尺寸为滑动窗口尺寸，在当前彩色图像帧的搜索区域上进行由左至右、由上至下的滑动，获得每次滑动窗口的确定的窗口图片；根据每个窗口图片与搜获模板图像之间的相似度，获取由对应每个窗口位置的多个相似度构成的相似度图像；对相似度图像进行高斯平滑，获得高斯平滑的最大值点为最佳匹配区域的中心点。
为详细说明对关键点的平滑处理，本实施例以左手腕关键点为例进行说明。
如图2所示，根据颈部-左肩部-左肘部-左腕部这一近邻关系，获取左手腕关键点Pw、左手腕关键点Pw的近邻关键点(即左肘部关键点Pb)、左手腕关键点Pw与左肘部关键点Pb之间的连线形成的第一直线L和左手腕关键点 Pw与左肘部关键点Pb之间距离的一半
Figure BDA0001930457010000061
(即第一距离D)。
对初始彩色图像帧(记为R(0))而言，将在初始彩色图像帧R(0)上由左手腕关键点Pw0为圆心，第一距离D0为半径形成的圆形区域为初始彩色图像帧R(0)的搜索区域Q0；将在初始彩色图像帧R(0)的第一直线L10上与左手腕关键点Pw0相距D0/2的位置确定为初始搜索模板图像M0；即假设图2为初始彩色图像帧，图2中四方形区域所在图像即为初始搜索模板图像M0，圆形区域为初始彩色图像帧R(0)上左手腕关键点Pw的搜索区域Q0；其中，本实施例的搜索模板的大小为(D0/2)*(D0/2)。
对于第i帧彩色图像R(i)而言，将在第i帧彩色图像R(i)上由左手腕关键点Pwi为圆心，第一距离Di为半径形成的圆形区域为第i帧彩色图像R(i)的搜索区域Qi；将第i-1帧彩色图像R(i-1)的最佳匹配区域所对应的图像确定为第 i帧彩色图像R(i)对应的搜索模板图像Mi-1；以Mi-1为模板，以Qi为目标进行最佳匹配，将最佳匹配区域作为第i+1帧彩色图像R(i+1)的搜索模板图像 Mi。
一个实施例中，以搜索模板的尺寸为滑动窗口尺寸，在彩色图像帧的搜索区域上进行从左到右，从上到下的滑动，记每次滑动窗口图片为H(i)；计算搜索模板图像和滑动窗口图像的图像均值，分别记为
Figure BDA0001930457010000071
和
Figure BDA0001930457010000072
计算搜索模板图像和滑动窗口图像的相似度，将每个窗口的相似度记录成一幅图像记为I，
Figure BDA0001930457010000073
其中，
Figure BDA0001930457010000074
w和h分别是搜索模板的宽和高；对图像I进行高斯平滑，如果图像I的尺寸为w′*h′，记平滑后的结果为Ig，
Figure BDA0001930457010000075
x0与y0分别为彩色图像帧基准点的横纵坐标位置，σ＝0.3·w′·h′；将Ig的最大值点确定为最佳匹配区域的中心点；对确定的最佳匹配区域的中心点进行卡尔曼跟踪，根据中心点的位置变化情况确定当前彩色图像帧的左手腕关键点。
对于其他目标部位的关键点的平滑处理可以参考本实施例对左手腕关键点的平滑处理过程。
在获得目标部位的关键点之后，继续执行步骤S130，即根据彩色图像帧与深度图像帧之间像素点的对应关系获取关键点的深度值，并根据相机的参数和关键点的深度值获取关键点的空间位置信息。
本实施例根据相机的相机参数和关键点的深度值，获得关键点在相机坐标系中的坐标位置；例如，根据公式
Figure BDA0001930457010000081
计算各个关键点在相机坐标系中的坐标位置，其中，Ix与Iy分别为彩色图像的横纵坐标，dp为深度值， cx与cy分别为相机内参中的中心点坐标，fx与fy分别为相机焦距，(x，y，z)分别为关键点在相机坐标系中的坐标。
在关键点的空间位置信息之后，继续执行步骤S140，即根据关键点的空间位置信息对目标部位进行跟踪，获取目标部位的运动状态信息，以根据目标部位的运动状态信息进行动作行为分析。
在一个实施例中，通过下述方法对目标部位进行跟踪：首先根据目标部位中对应于躯体部位的关键点的空间位置信息，确定每个人体目标区域；接着根据预设目标宽度阈值筛选每个人体目标区域的有效性；然后当人体目标区域的宽度不小于预设目标宽度阈值时，确定所述人体目标区域为有效人体目标区域；当人体目标区域的宽度小于预设目标宽度阈值时，确定人体目标区域为无效人体目标区域；最后根据卡尔曼跟踪方法对每个有效人体目标区域进行跟踪，获取每个有效人体目标区域的运动状态信息，运动状态信息包括由连续预设数量帧的彩色图像与深度图像确定的目标部位的关键点的空间位置信息。
实际应用中，可以根据关键点的空间位置信息获取人体目标区域，对人体目标区域进行跟踪；由于人体手臂和腿部的运动幅度较大，一般情况下不能代表区域的主干位置，因此本实施例在获取人体目标区域时，优选地基于人体躯体部位的关键点生成人体目标区域。
为判断人体目标区域的有效性，设置一目标宽度阈值(例如为40)将人体目标区域宽度小于40的人体目标区域确定为无效人体目标区域，不对其进行跟踪，仅对人体目标区域宽度不小于40的有效人体目标区域进行跟踪。
本实施例中人体动作行为包括但不限于正立、背立、行走、挥手、卧倒、奔跑等行为；根据各动作行为的关系及关联程度可以将上述动作行为分成三组，如：第一组：挥手；第二组：正立、背立、卧倒；第三组：行走、奔跑。其中，挥手行为与其他行为可以并发，即可以与其他行为的同时出现，所以挥手行为需要单独识别；而第二组为静止行为，第三组为动态行为，第二组、第三组为互斥行为，即不能并发，需要逐次识别。
由于本实施例在对目标部位进行跟踪时，获取的运动状态信息包括由连续预设数量帧的彩色图像与深度图像确定的目标部位的关键点的空间位置信息；因此，本实施例在基于目标部位的运动状态信息进行动作行为分析时，建立行为分析队列，行为分析队列缓存连续多帧数据，行为分析队列的长度可以根据实际经验值设定大小，为保证每个动作行为的完整性，每种动作行为均存在一定的持续时间，假设建立的行为分析队列的长度为200，按帧率 25fps计算，则是在8s内完成一个动作行为；在识别完成一个动作行为后，清空缓存的数据并存入接下来获取的多帧数据。
在一个实施例中，通过下述方法识别挥手行为：
首先，获取目标部位的运动状态信息中对应左肘部的所述预设数量的左肘部关键点和对应右肘部的所述预设数量的右肘部关键点；根据第一圆形的半径和第二圆形的半径确定是否满足挥手行为的条件，第一圆形为覆盖预设数量的左肘部关键点的最小圆形区域，第二圆形为覆盖所述预设数量的右肘部关键点的最小圆形区域；在第一圆形的半径小于挥手阈值时，确定满足挥左手行为的条件，在第二圆形的半径小于挥手阈值时，确定满足挥右手行为的条件，在第一圆形与第二圆形的半径均小于挥手阈值时，确定满足挥双手行为的条件；在确定满足挥手行为的条件时，获取目标部位的运动状态信息中对应左腕部的所述预设数量的左腕部关键点和对应右腕部的所述预设数量的右腕部关键点；接着获取由每个左腕部关键点与所述第一圆形的圆心之间的连线形成的左腕部关键点矢量构成的第一集合和由每个右腕部关键点与第二圆形的圆心之间的连线形成的右腕部关键点矢量构成的第二集合；确定第一集合中左腕部关键点矢量之间的最大夹角为第一目标角度，以及确定第二集合中右腕部关键点矢量之间的最大夹角为第二目标角度；在第一目标角度位于挥手阈值范围内时，确定发生挥左手行为；在所述第二目标角度位于挥手阈值范围内时，确定发生挥右手行为；在第一目标角度与第二目标角度均位于挥手阈值范围内时，确定发生挥双手行为。
本实施例的挥手行为包括挥左手行为、挥右手行为和挥双手行为，下面以识别挥左手行为为例进行说明，识别挥右手行为和挥双手行为与识别挥左手行为类似，本实施例三种挥手行为可以同时进行识别。
假设建立的行为分析队列的长度为200，缓存有200组关键点数据；从这200组关键点中获取每个左肘部关键点(共计200个左肘部关键点)，对这 200个左肘部关键点进行处理，得到覆盖这200个左肘部关键点的最小圆形区域(记为第一圆形)，例如根据公式
Figure BDA0001930457010000101
其中，x(i)与y(i)分别表示第i帧图像左肘部关键点的横纵坐标。
将第一圆形的半径r与挥手阈值Tr进行比较，在r＜Tr时，判断满足挥手条件；在r≥Tr时，判断不满足挥手条件，可以进行挥右手行为的识别，若基于上述方法判断第二圆形的半径亦不小于挥手阈值Tr，则判断此次动作行为未发生挥手行为。
由于挥手的动作是肘部在小范围运动，手腕部在大范围运动，因此本实施例将肘部的运动范围作为挥手行为的先决条件，在满足挥手的先决条件时，在对手腕部的运动范围进行判断，基于判断结果识别挥手行为。
在满足挥手条件时，从这200组关键点中获取每个左腕部关键点(共计 200个左部部关键点)，对每个左腕部关键点以第一圆形的圆形为原点构建左腕部的关键点向量，形成第一集合；根据公式
Figure BDA0001930457010000102
计算各个向量之间的夹角αk，l，其中，
Figure BDA0001930457010000103
与
Figure BDA0001930457010000104
分别为第k帧图像左腕部关键点的向量与第l帧图像左腕部关键点的向量。
获取最大值MAX(αk，l)，设定挥手阈值范围为(MinThα，MaxThα)，当 MinThα≤MAX(αn)≤MaxThα时，确定发生挥左手行为，否则，确定未发生挥左手行为。
在一个实施例中，通过下述方法识别第二组与第三组动作行为：
首先，获取目标部位的运动状态信息中对应于人体目标区域中心位置的所述预设数量的人体中心点；将第三圆形的半径确定为目标的移动距离，基于所述移动距离确定是否满足静止条件，第三圆形为覆盖预设数量的人体中心点的最小圆形区域；在移动距离小于第一距离阈值时，确定满足静止条件；在满足静止条件时，当目标部位的运动状态信息中头部关键点与双腿关键点之间的位置关系为垂直关系时，确定发生站立行为；当目标部位的运动状态信息中头部关键点与双腿关键点之间的位置关系为水平关系时，确定发生站立行为卧倒行为。
接着，在发生站立行为时，若目标部位的运动状态信息中左肩关键点位于右肩部关键点的第一方向，确定发生正立行为；若目标部位的运动状态信息中左肩关键点位于右肩部关键点的第二方向，确定发生背立行为；其中第二方向为与第一方向相背离的方向。
最后，在移动距离不小于第一距离阈值时，确定满足移动条件；在满足移动条件时，将预设数量帧中连续第一数量帧的人体中心点确定为一组，将覆盖每组第一数量人体中心点的最小圆形区域的半径确定为每组对应的移动距离；若每组对应的移动距离大于第二距离阈值，确定发生跑步行为，若每组对应的移动距离小于第二距离阈值，确定发生走路行为；其中，第一数量帧小于预设数量帧，第二距离阈值大于第一距离阈值。
由于第二组为静止行为，第三组为动态行为，第二组、第三组为互斥行为，不能并发，因此本实施例基于第一距离阈值识别人体是处于静止状态还是处于移动状态，进而进行正立、背立、卧倒以及行走、奔跑等行为的识别。
假设建立的行为分析队列的长度为200，缓存有200组关键点数据；从这200组关键点中获取每组关键点位于最左处、最右处、最上处和最下处的四个关键点(共计200组这样四个关键点)，确定每四个关键确定的矩形区域的中心点Ske(共计获得200个这样的中心点)。
对这200个中心点Ske进行处理，得到覆盖这200个中心点Ske的最小圆形区域(记为第三圆形)，例如根据公式
Figure BDA0001930457010000121
其中，xSke(i)与 ySke(i)分别表示第i帧图像中心点Ske的横纵坐标。
将第三圆形的半径Robj与第一距离阈值ThR进行比较，在Robj＜ThR时，判断满足静止条件，表明此时人体目标处于静止状态或接近静止状态；在静止状态情况下，根据头部关键点相对于双腿关键点的位置关系，即可识别卧倒行为和站立行为；根据双肩的左右关系，可以区分正立行为和背立行为。
在Robj≥ThR时，判断满足移动条件，此时将这200帧中连续第一数量F (例如F＝10)帧的人体中心点确定为一组，根据公式
Figure BDA0001930457010000122
计算每组的移动速度，其中，Disi为这10帧的人体中心点中任意两个人体中心点之间的距离。
将移动速度v与第二距离阈值ThDis进行比较，当v＞ThDis时，确定发生跑步行为，当v≤ThDis时，确定发生走路行为。
在实际应用中，可以根据各行为的具体需要建立状态池，并根据人体跟踪结果，不断添加状态池信息，对状态池的状态进行分析，获取满足特定行为要求的动态行为，以得到行为分析结论。通过建立状态池可以根据实际需求增加各种动作行为，提高动作行为分析的扩展性。
本实施例可以根据关键点信息，识别多种人体动作行为，可以增加安防监控的人员行为理解，对机器人的研究具有深远意义，在教育和娱乐方面应用前景广阔；相比于传统的分类识别而言，具有动态理解的意义，鲁棒性高、精度高、可扩展性高等优势。
本发明实施例还提供一种动作行为分析装置。
图3为本发明实施例示出的动作行为分析装置的结构框图，如图3所示，本实施例的装置包括：
数据采集单元31，用于通过相机获取彩色图像帧、深度图像帧，并确定所述彩色图像帧与深度图像帧之间像素点的对应关系；
关键点定位单元32，用于在彩色图像帧上根据预先建立的深度模型进行关键点定位，获得目标部位的关键点；
关键点位置计算单元33，用于根据彩色图像帧与深度图像帧之间像素点的对应关系获取所述关键点的深度值，并根据相机的参数和关键点的深度值获取关键点的空间位置信息；
动作行为分析单元34，用于根据关键点的空间位置信息对目标部位进行跟踪，获取目标部位的运动状态信息，以根据目标部位的运动状态信息进行动作行为分析。
在一个实施例中，数据采集单元31还包括数据处理模块，数据处理模块用于通过相机获取当前彩色图像帧，并对当前彩色图像帧进行双边滤波处理，得到滤波后的彩色图像帧；将所述滤波后的彩色图像帧与经过双边滤波处理的上一彩色图像帧做差，获得差值图；对所述差值图的非前景区域进行去噪处理，将获得的去噪后的图像作为当前彩色图像帧的去噪图像。
在一个实施例中，关键点定位单元32包括平滑处理模块，平滑处理模块用于在当前彩色图像帧上根据预先建立的深度模型进行关键点定位，获得定位到的待平滑关键点；根据预先建立的各个目标部位的关键点之间的近邻关系，获得每个待平滑关键点的近邻关键点；在当前彩色图像帧上获取位于第一直线上且与所述待平滑关键点相距第一距离的一半的位置，将所述位置确定为基准点；其中，所述第一直线为所述待平滑关键点及其近邻关键点之间的连线，所述第一距离为待平滑关键点与其近邻关键点之间距离的一半；在当前彩色图像帧上获取以所述基准点为圆心，以所述第一距离为半径的圆形区域为搜索区域；获取当前彩色图像帧对应的搜索模板图像，所述当前彩色图像帧对应的搜索模板图像为上一彩色图像帧的最佳匹配区域所对应的图像，所述搜索模板为以所述第一距离的一半为边长的方形模板；利用当前彩色图像帧对应的搜索模板图像对当前彩色图像帧的搜索区域进行匹配，获取与所述搜索模板图像匹配的最佳匹配区域的中心点；对所述最佳匹配区域的中心点进行卡尔曼跟踪，获取所述中心点的位置变化情况，在所述中心点的位置变化小于预设阈值时，将由上一彩色图像帧确定的目标部位的关键点确定为当前彩色图像帧的该目标部位的关键点；在所述中心点的位置变化不小于预设阈值时，将所述中心点确定为当前彩色图像帧的该目标部位的关键点。
平滑处理模块还用于以所述搜索模板的尺寸为滑动窗口尺寸，在当前彩色图像帧的搜索区域上进行由左至右、由上至下的滑动，获得每次滑动窗口的确定的窗口图片；根据每个窗口图片与所述搜获模板图像之间的相似度，获取由对应每个窗口位置的多个相似度构成的相似度图像；对所述相似度图像进行高斯平滑，获得高斯平滑的最大值点为最佳匹配区域的中心点。
在一个实施例中，动作行为分析单元34包括目标跟踪模块、第一行为分析模块和第二行为分析模块；
目标跟踪模块用于根据目标部位中对应于躯体部位的关键点的空间位置信息，确定每个人体目标区域；根据预设目标宽度阈值筛选每个人体目标区域的有效性；当人体目标区域的宽度不小于所述预设目标宽度阈值时，确定所述人体目标区域为有效人体目标区域；当人体目标区域的宽度小于所述预设目标宽度阈值时，确定所述人体目标区域为无效人体目标区域；根据卡尔曼跟踪方法对每个有效人体目标区域进行跟踪，获取每个有效人体目标区域的运动状态信息，所述运动状态信息包括由连续预设数量帧的彩色图像与深度图像确定的目标部位的关键点的空间位置信息。
第一行为分析模块用于获取所述目标部位的运动状态信息中对应左肘部的所述预设数量的左肘部关键点和对应右肘部的所述预设数量的右肘部关键点；根据第一圆形的半径和第二圆形的半径确定是否满足挥手行为的条件，所述第一圆形为覆盖所述预设数量的左肘部关键点的最小圆形区域，所述第二圆形为覆盖所述预设数量的右肘部关键点的最小圆形区域；在所述第一圆形的半径小于挥手阈值时，确定满足挥左手行为的条件，在所述第二圆形的半径小于挥手阈值时，确定满足挥右手行为的条件，在所述第一圆形与第二圆形的半径均小于挥手阈值时，确定满足挥双手行为的条件；在确定满足挥手行为的条件时，获取所述目标部位的运动状态信息中对应左腕部的所述预设数量的左腕部关键点和对应右腕部的所述预设数量的右腕部关键点；获取由每个左腕部关键点与所述第一圆形的圆心之间的连线形成的左腕部关键点矢量构成的第一集合和由每个右腕部关键点与所述第二圆形的圆心之间的连线形成的右腕部关键点矢量构成的第二集合；确定所述第一集合中左腕部关键点矢量之间的最大夹角为第一目标角度，以及确定所述第二集合中右腕部关键点矢量之间的最大夹角为第二目标角度；在所述第一目标角度位于挥手阈值范围内时，确定发生挥左手行为；在所述第二目标角度位于挥手阈值范围内时，确定发生挥右手行为；在所述第一目标角度与第二目标角度均位于挥手阈值范围内时，确定发生挥双手行为。
第二行为分析模块用于获取所述目标部位的运动状态信息中对应于人体目标区域中心位置的所述预设数量的人体中心点；将第三圆形的半径确定为目标的移动距离，基于所述移动距离确定是否满足静止条件，所述第三圆形为覆盖所述预设数量的人体中心点的最小圆形区域；在所述移动距离小于第一距离阈值时，确定满足静止条件；在满足静止条件时，当所述目标部位的运动状态信息中头部关键点与双腿关键点之间的位置关系为垂直关系时，确定发生站立行为；当所述目标部位的运动状态信息中头部关键点与双腿关键点之间的位置关系为水平关系时，确定发生站立行为卧倒行为；以及用于在发生站立行为时，若所述目标部位的运动状态信息中左肩关键点位于右肩部关键点的第一方向，确定发生正立行为；若所述目标部位的运动状态信息中左肩关键点位于右肩部关键点的第二方向，确定发生背立行为；其中第二方向为与第一方向相背离的方向。
第二行为分析模块还用于在所述移动距离不小于第一距离阈值时，确定满足移动条件；在满足移动条件时，将所述预设数量帧中连续第一数量帧的人体中心点确定为一组，将覆盖每组第一数量人体中心点的最小圆形区域的半径确定为每组对应的移动距离；若每组对应的移动距离大于第二距离阈值，确定发生跑步行为，若每组对应的移动距离小于第二距离阈值，确定发生走路行为；其中，所述第一数量帧小于预设数量帧，所述第二距离阈值大于第一距离阈值。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明提供的动作行为分析装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，参照图4所示，本发明提供的动作行为分析装置可包括处理器401、存储有机器可执行指令的机器可读存储介质 402。处理器401与机器可读存储介质402可经由系统总线403通信。并且，通过读取并执行机器可读存储介质402中与动作行为分析逻辑对应的机器可执行指令，处理器401可执行上文描述的动作行为分析方法。
本发明中提到的机器可读存储介质402可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。
根据本发明公开的示例，本发明还提供了一种包括机器可执行指令的机器可读存储介质，例如图4中的机器可读存储介质402，机器可执行指令可由动作行为分析装置中的处理器401执行以实现上文描述的动作行为分析方法。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种动作行为分析方法，其特征在于，包括：
通过相机获取彩色图像帧、深度图像帧，并确定所述彩色图像帧与深度图像帧之间像素点的对应关系；
在所述彩色图像帧上根据预先建立的深度模型进行关键点定位，获得目标部位的关键点；
根据彩色图像帧与深度图像帧之间像素点的对应关系获取所述关键点的深度值，并根据所述相机的参数和所述关键点的深度值获取所述关键点的空间位置信息；
根据所述关键点的空间位置信息对所述目标部位进行跟踪，获取所述目标部位的运动状态信息，以根据所述目标部位的运动状态信息进行动作行为分析，所述运动状态信息包括由连续预设数量帧的彩色图像与深度图像确定的目标部位的关键点的空间位置信息；
其中，所述根据所述目标部位的运动状态信息进行动作行为分析，包括：
获取所述目标部位的运动状态信息中对应左肘部的所述预设数量的左肘部关键点和对应右肘部的所述预设数量的右肘部关键点；根据第一圆形的半径和第二圆形的半径确定是否满足挥手行为的条件，所述第一圆形为覆盖所述预设数量的左肘部关键点的最小圆形区域，所述第二圆形为覆盖所述预设数量的右肘部关键点的最小圆形区域；在所述第一圆形的半径小于挥手阈值时，确定满足挥左手行为的条件，在所述第二圆形的半径小于挥手阈值时，确定满足挥右手行为的条件，在所述第一圆形与第二圆形的半径均小于挥手阈值时，确定满足挥双手行为的条件；在确定满足挥手行为的条件时，获取所述目标部位的运动状态信息中对应左腕部的所述预设数量的左腕部关键点和对应右腕部的所述预设数量的右腕部关键点；获取由每个左腕部关键点与所述第一圆形的圆心之间的连线形成的左腕部关键点矢量构成的第一集合和由每个右腕部关键点与所述第二圆形的圆心之间的连线形成的右腕部关键点矢量构成的第二集合；确定所述第一集合中左腕部关键点矢量之间的最大夹角为第一目标角度，以及确定所述第二集合中右腕部关键点矢量之间的最大夹角为第二目标角度；在所述第一目标角度位于挥手阈值范围内时，确定发生挥左手行为；在所述第二目标角度位于挥手阈值范围内时，确定发生挥右手行为；在所述第一目标角度与第二目标角度均位于挥手阈值范围内时，确定发生挥双手行为。
2.根据权利要求1所述的方法，其特征在于，所述通过相机获取彩色图像帧，包括：
通过相机获取当前彩色图像帧，并对当前彩色图像帧进行双边滤波处理，得到滤波后的彩色图像帧；
将所述滤波后的彩色图像帧与经过双边滤波处理的上一彩色图像帧做差，获得差值图；
对所述差值图的非前景区域进行去噪处理，将获得的去噪后的图像作为当前彩色图像帧的去噪图像。
3.根据权利要求1所述的方法，其特征在于，所述在所述彩色图像帧上根据预先建立的深度模型进行关键点定位，获得目标部位的关键点，包括：
在当前彩色图像帧上根据预先建立的深度模型进行关键点定位，获得定位到的待平滑关键点；
根据预先建立的各个目标部位的关键点之间的近邻关系，获得每个待平滑关键点的近邻关键点；
在当前彩色图像帧上获取位于第一直线上且与所述待平滑关键点相距第一距离的一半的位置，将所述位置确定为基准点；其中，所述第一直线为所述待平滑关键点及其近邻关键点之间的连线，所述第一距离为待平滑关键点与其近邻关键点之间距离的一半；
在当前彩色图像帧上获取以所述待平滑关键点为圆心，以所述第一距离为半径的圆形区域为搜索区域；
获取当前彩色图像帧对应的搜索模板图像，所述当前彩色图像帧对应的搜索模板图像为上一彩色图像帧的最佳匹配区域所对应的图像，在初始彩色图像帧的基准点位置确定初始搜索模版图像，所述搜索模板为以所述第一距离的一半为边长的方形模板；
利用当前彩色图像帧对应的搜索模板图像对当前彩色图像帧的搜索区域进行匹配，获取与所述搜索模板图像匹配的最佳匹配区域的中心点；
对所述最佳匹配区域的中心点进行卡尔曼跟踪，获取所述中心点的位置变化情况，在所述中心点的位置变化小于预设阈值时，将由上一彩色图像帧确定的目标部位的关键点确定为当前彩色图像帧的该目标部位的关键点；在所述中心点的位置变化不小于预设阈值时，将所述中心点确定为当前彩色图像帧的该目标部位的关键点。
4.根据权利要求3所述的方法，其特征在于，所述利用当前彩色图像帧对应的搜索模板对当前彩色图像帧的搜索区域进行匹配，获取最佳匹配区域的中心点，包括：
以所述搜索模板的尺寸为滑动窗口尺寸，在当前彩色图像帧的搜索区域上进行由左至右、由上至下的滑动，获得每次滑动窗口的确定的窗口图片；
根据每个窗口图片与所述搜索模板图像之间的相似度，获取由对应每个窗口位置的多个相似度构成的相似度图像；
对所述相似度图像进行高斯平滑，获得高斯平滑的最大值点为最佳匹配区域的中心点。
5.根据权利要求1所述的方法，其特征在于，所述根据所述关键点的空间位置信息对所述目标部位进行跟踪，获取所述目标部位的运动状态信息，包括：
根据目标部位中对应于躯体部位的关键点的空间位置信息，确定每个人体目标区域；
根据预设目标宽度阈值筛选每个人体目标区域的有效性；
当人体目标区域的宽度不小于所述预设目标宽度阈值时，确定所述人体目标区域为有效人体目标区域；当人体目标区域的宽度小于所述预设目标宽度阈值时，确定所述人体目标区域为无效人体目标区域；
根据卡尔曼跟踪方法对每个有效人体目标区域进行跟踪，获取每个有效人体目标区域的运动状态信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标部位的运动状态信息进行动作行为分析，还包括：
获取所述目标部位的运动状态信息中对应于人体目标区域中心位置的所述预设数量的人体中心点；
将第三圆形的半径确定为目标的移动距离，基于所述移动距离确定是否满足静止条件，所述第三圆形为覆盖所述预设数量的人体中心点的最小圆形区域；
在所述移动距离小于第一距离阈值时，确定满足静止条件；
在满足静止条件时，当所述目标部位的运动状态信息中头部关键点与双腿关键点之间的位置关系为垂直关系时，确定发生站立行为；当所述目标部位的运动状态信息中头部关键点与双腿关键点之间的位置关系为水平关系时，确定发生卧倒行为。
7.根据权利要求6所述的方法，其特征在于，在发生站立行为时，所述方法还包括：
若所述目标部位的运动状态信息中左肩关键点位于右肩部关键点的第一方向，确定发生正立行为；
若所述目标部位的运动状态信息中左肩关键点位于右肩部关键点的第二方向，确定发生背立行为；其中第二方向为与第一方向相背离的方向。
8.根据权利要求6所述的方法，其特征在于，所述根据所述目标部位的运动状态信息进行动作行为分析，还包括：
在所述移动距离不小于第一距离阈值时，确定满足移动条件；在满足移动条件时，将所述预设数量帧中连续第一数量帧的人体中心点确定为一组，将覆盖每组第一数量人体中心点的最小圆形区域的半径确定为每组对应的移动距离；若每组对应的移动距离大于第二距离阈值，确定发生跑步行为，若每组对应的移动距离小于第二距离阈值，确定发生走路行为；
其中，所述第一数量帧小于预设数量帧，所述第二距离阈值大于第一距离阈值。
9.一种动作行为分析装置，其特征在于，包括：
数据采集单元，用于通过相机获取彩色图像帧、深度图像帧，并确定所述彩色图像帧与深度图像帧之间像素点的对应关系；
关键点定位单元，用于在所述彩色图像帧上根据预先建立的深度模型进行关键点定位，获得目标部位的关键点；
关键点位置计算单元，用于根据彩色图像帧与深度图像帧之间像素点的对应关系获取所述关键点的深度值，并根据所述相机的参数和所述关键点的深度值获取所述关键点的空间位置信息；
动作行为分析单元，用于根据所述关键点的空间位置信息对所述目标部位进行跟踪，获取所述目标部位的运动状态信息，以根据所述目标部位的运动状态信息进行动作行为分析，所述运动状态信息包括由连续预设数量帧的彩色图像与深度图像确定的目标部位的关键点的空间位置信息；
其中，动作行为分析单元包括第一行为分析模块，第一行为分析模块用于获取所述目标部位的运动状态信息中对应左肘部的所述预设数量的左肘部关键点和对应右肘部的所述预设数量的右肘部关键点；根据第一圆形的半径和第二圆形的半径确定是否满足挥手行为的条件，所述第一圆形为覆盖所述预设数量的左肘部关键点的最小圆形区域，所述第二圆形为覆盖所述预设数量的右肘部关键点的最小圆形区域；在所述第一圆形的半径小于挥手阈值时，确定满足挥左手行为的条件，在所述第二圆形的半径小于挥手阈值时，确定满足挥右手行为的条件，在所述第一圆形与第二圆形的半径均小于挥手阈值时，确定满足挥双手行为的条件；在确定满足挥手行为的条件时，获取所述目标部位的运动状态信息中对应左腕部的所述预设数量的左腕部关键点和对应右腕部的所述预设数量的右腕部关键点；获取由每个左腕部关键点与所述第一圆形的圆心之间的连线形成的左腕部关键点矢量构成的第一集合和由每个右腕部关键点与所述第二圆形的圆心之间的连线形成的右腕部关键点矢量构成的第二集合；确定所述第一集合中左腕部关键点矢量之间的最大夹角为第一目标角度，以及确定所述第二集合中右腕部关键点矢量之间的最大夹角为第二目标角度；在所述第一目标角度位于挥手阈值范围内时，确定发生挥左手行为；在所述第二目标角度位于挥手阈值范围内时，确定发生挥右手行为；在所述第一目标角度与第二目标角度均位于挥手阈值范围内时，确定发生挥双手行为。
CN201811637784.3A 2018-12-29 2018-12-29 一种动作行为分析方法和装置 Active CN109740513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811637784.3A CN109740513B (zh) 2018-12-29 2018-12-29 一种动作行为分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811637784.3A CN109740513B (zh) 2018-12-29 2018-12-29 一种动作行为分析方法和装置

Publications (2)

Publication Number Publication Date
CN109740513A CN109740513A (zh) 2019-05-10
CN109740513B true CN109740513B (zh) 2020-11-27

Family

ID=66362261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811637784.3A Active CN109740513B (zh) 2018-12-29 2018-12-29 一种动作行为分析方法和装置

Country Status (1)

Country Link
CN (1) CN109740513B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225400B (zh) * 2019-07-08 2022-03-04 北京字节跳动网络技术有限公司 一种动作捕捉方法、装置、移动终端及存储介质
CN110502986A (zh) * 2019-07-12 2019-11-26 平安科技（深圳）有限公司 识别图像中人物位置方法、装置、计算机设备和存储介质
CN110559639B (zh) * 2019-08-02 2021-08-03 焦作大学 体操运动的机器人教学方法及机器人
CN110503012A (zh) * 2019-08-07 2019-11-26 深圳大学 鸟类喂食的方法、装置及系统
CN110781754A (zh) * 2019-09-27 2020-02-11 精英数智科技股份有限公司 一种人工巡检智能监测的方法、装置、系统及存储介质
CN111191511B (zh) * 2019-12-03 2023-08-18 北京联合大学 一种监狱动态实时行为识别方法及系统
CN111242090B (zh) * 2020-01-22 2023-06-23 腾讯科技（深圳）有限公司 基于人工智能的人脸识别方法、装置、设备及介质
CN111401242B (zh) * 2020-03-16 2023-07-25 Oppo广东移动通信有限公司 证件照检测方法、装置、电子设备以及存储介质
CN111428703B (zh) * 2020-06-15 2020-09-08 西南交通大学 一种电力运检人员坑洞倚靠行为检测方法
CN112613361B (zh) * 2020-12-09 2023-07-11 安徽中电光达通信技术有限公司 一种安防监控用的智能化行为分析系统
US11837006B2 (en) * 2021-06-30 2023-12-05 Ubtech North America Research And Development Center Corp Human posture determination method and mobile machine using the same
CN113762093A (zh) * 2021-08-18 2021-12-07 北京格灵深瞳信息技术股份有限公司 跑道冲刺计时方法、装置、电子设备和存储介质
CN114466218B (zh) * 2022-02-18 2024-04-23 广州方硅信息技术有限公司 直播视频人物跟踪方法、装置、设备及存储介质
CN114943873B (zh) * 2022-05-26 2023-10-17 深圳市科荣软件股份有限公司 一种工地人员异常行为分类方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915545A (zh) * 2012-09-20 2013-02-06 华东师范大学 一种基于OpenCV的视频目标跟踪算法
CN103559491A (zh) * 2013-10-11 2014-02-05 北京邮电大学 人体动作捕获及姿态分析系统
KR101755023B1 (ko) * 2015-12-31 2017-07-06 주식회사 에스원 3차원 동작 인식 장치 및 방법
CN107358149A (zh) * 2017-05-27 2017-11-17 深圳市深网视界科技有限公司 一种人体姿态检测方法和装置
CN109003301A (zh) * 2018-07-06 2018-12-14 东南大学 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108828A (ko) * 2013-02-28 2014-09-15 한국전자통신연구원 카메라 트래킹 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915545A (zh) * 2012-09-20 2013-02-06 华东师范大学 一种基于OpenCV的视频目标跟踪算法
CN103559491A (zh) * 2013-10-11 2014-02-05 北京邮电大学 人体动作捕获及姿态分析系统
KR101755023B1 (ko) * 2015-12-31 2017-07-06 주식회사 에스원 3차원 동작 인식 장치 및 방법
CN107358149A (zh) * 2017-05-27 2017-11-17 深圳市深网视界科技有限公司 一种人体姿态检测方法和装置
CN109003301A (zh) * 2018-07-06 2018-12-14 东南大学 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统

Also Published As

Publication number Publication date
CN109740513A (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
CN109740513B (zh) 一种动作行为分析方法和装置
CN109710071B (zh) 一种屏幕控制方法和装置
Zhou et al. Object tracking using SIFT features and mean shift
US10242266B2 (en) Method and system for detecting actions in videos
Gauglitz et al. Evaluation of interest point detectors and feature descriptors for visual tracking
Cannons A review of visual tracking
JP6162805B2 (ja) 拡張の継続性の維持
KR100714724B1 (ko) 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템
US9996752B2 (en) Method, system and apparatus for processing an image
US9299161B2 (en) Method and device for head tracking and computer-readable recording medium
Wang et al. Robust and efficient fragments-based tracking using mean shift
Zhao et al. Stochastic human segmentation from a static camera
Havasi et al. Detection of gait characteristics for scene registration in video surveillance system
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
Joshi et al. A low cost and computationally efficient approach for occlusion handling in video surveillance systems
TW201246089A (en) Method for setting dynamic environmental image borders and method for instantly determining the content of staff member activities
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和系统
Zhang et al. A coarse to fine indoor visual localization method using environmental semantic information
Yang et al. Coupled grouping and matching for sign and gesture recognition
Baheti et al. An approach to automatic object tracking system by combination of SIFT and RANSAC with mean shift and KLT
Kwolek et al. Swarm intelligence based searching schemes for articulated 3D body motion tracking
Farazi et al. Real-time visual tracking and identification for a team of homogeneous humanoid robots
Zhu Video object tracking using SIFT and mean shift
Zhou et al. Visual tracking using improved multiple instance learning with co-training framework for moving robot
Tavakoli et al. Mean-shift video tracking using color-LSN histogram

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant