CN109165609B - 一种基于关键点分析的头肩模式判定系统 - Google Patents

Abstract

本发明涉及一种基于关键点分析的头肩模式判定系统，头肩模式判定系统包含算法调用模块、轮廓信息生成模块、头肩模式判定模块；本发明针对现有技术的不足，以及现实应用场景的特点，提出了一种关键点分析的头肩模式判定系统，并且后续还可以结合上半身模式，全身模式以及双腿模式等多种模式判定方式，通过多种方式进行人形判定，适应商场安防中多视角，低视频质量的特点。

Description

一种基于关键点分析的头肩模式判定系统

技术领域

本发明涉及机器学习领域，涉及一种基于关键点分析的头肩模式判定系统。

背景技术

目前，DPM方法以及深度学习算法是最主要的人形判定方法，这两种人形检测算法耗时高，并且需要利用大量图片训练分类器，判定效果依赖于训练图片的数量和多样性，且对红外模式下低质量图片的适应能力差。在商场互联网安防的应用中，摄像头的安装位置以及角度不定，视频中人的视角多变，姿态多样，利用HOG特征+SVM分类器的方法以及深度学习算法耗时高，高漏检率等问题。

发明内容

有鉴于此，本发明提供一种解决或部分解决上述问题的基于关键点分析的头肩模式判定系统。

为达到上述技术方案的效果，本发明的技术方案为：一种基于关键点分析的头肩模式判定系统，包含：

头肩模式判定系统包含算法调用模块、轮廓信息生成模块、头肩模式判定模块，包含以下内容：

1)将数据输入到系统中，输入的数据为检测到运动目标的运动点集合；并且进行头肩模式判断，具体过程如下：

2)算法调用模块将运动目标的运动点集合作为输入到LSD(Line SegmentDetector)算法，调用LSD算法，输出8*8网格内的局部线段，局部线段勾勒了人形轮廓的特征；

3)轮廓信息生成模块将所有局部线段全部投影到垂直方向，将8*8网格每一行上的最右侧的局部线段提取，构成人形的右侧轮廓信息，将8*8网格每一行上的最左侧的局部线段提取，构成人形的左侧轮廓信息，将8*8网格每一行上的梯度最大值的局部线段提取，构成人形的最强轮廓信息；

4)头肩模式判定模块对人形的右侧轮廓信息、人形的左侧轮廓信息、人形的最强轮廓信息进行头肩模式判定，将人形的右侧轮廓信息、人形的左侧轮廓信息、人形的最强轮廓信息作为人形轮廓信息；头肩模式判定的具体步骤如下：

4.a)将人形轮廓信息中的局部线段一一提取，将其表示为L0，再次确认L0是否表示了人形轮廓，如果表示的为人形轮廓，提取L0的相邻线段对，相邻线段对表示为(L1,L2)，L1为位于L0的上一行的离其距离最近的局部线段，L2为位于L0的下一行的离其距离最近的局部线段；

4.b)判断L0是否为关键点Key1所在位置、关键点Key2所在位置、关键点Key3所在位置；当判断L0为关键点Key1所在位置、关键点Key2所在位置、关键点Key3所在位置之一，停止判断，进行下一个局部线段的提取，跳到4.a)步；

判断判断L0是否为关键点Key1所在位置的过程为，获取L0的主方向Angle以及线段水平位置信息PosX，设定判定条件1为：

(Angle(L1)＞Angle(L0)＞Angle(L2))∧(PosX(L1)＜PosX(L0))∧(PosX(L2)＜PosX(L0))

设定判定条件2为

(Angle(L1)＜Angle(L0)＜Angle(L2))∧(PosX(L1)＞PoxX(L0))∧(PoxX(L2)＞PosX(L0))

如果判定条件1与判定条件2都成立，则判定L0所在位置为关键点Key1；

判断判断L0是否为关键点Key2所在位置的过程为，获取L0的主方向Angle以及线段水平位置信息PosX，设定判定条件3为：

(Angle(L2)-Angle(L1)＞60°)∧(PosX(L0)＜＝PosX(L1))∧(PosX(L2)-PosX(L1)＞4)

设定判定条件4为

(Angle(L1)-Angle(L2)＞60)∧(PosX(L0)＞＝PosX(L1))∧(PosX(L1)-PosX(L2)＞4)

如果判定条件3与判定条件4都成立，则判定L0所在位置为关键点Key2；

判断判断L0是否为关键点Key3所在位置的过程为，获取L0的主方向Angle以及线段水平位置信息PosX，设定判定条件5为：

(Angle(L1)-Angle(L0)＞60°)∧(Angle(L1)-Angle(L2)＞60°)∧

(PosX(L0)-PosX(L1)＞4)∧(PosX(L2)-PosX(L1)＞4)

设定判定条件6为：

(Angle(L0)-Angle(L1)＞60°)∧(Angle(L2)-Angle(L1)＞60°)∧

(PosX(L1)-PosX(L0)＞4)∧(PosX(L1)-PosX(L2)＞4)

如果判定条件5与判定条件6都成立，则判定L0所在位置为关键点Key3；

4.d)由关键点Key1所在位置、关键点Key2所在位置、关键点Key3所在位置判断是否存在人形轮廓是否存在头肩模式；首先搜索关键点Key2所在位置，如果其存在，再从关键点Key2所在位置之上的行数搜索关键点Key1所在位置，如果关键点Key1所在位置存在，那么判定人形轮廓存在头肩模式；如果关键点Key1所在位置不存在，在关键点Key2所在位置之下的行数搜索关键点Key3所在位置，如果关键点Key3所在位置存在，那么判定人形轮廓存在头肩模式；如果关键点Key3所在位置不存在，那么判定人形轮廓不存在头肩模式；

4.e)如果人形轮廓存在头肩模式，将上述过程中涉及的数据输出，并且输出存在头肩模式，如果人形轮廓不存在头肩模式，输出不存在头肩模式。

本发明的有益成果为：本发明针对现有技术的不足，以及现实应用场景的特点，提出了一种关键点分析的头肩模式判定系统，并且后续还可以结合上半身模式，全身模式以及双腿模式等多种模式判定方式，通过多种方式进行人形判定，适应商场安防中多视角，低视频质量的特点。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，能实现同样功能的产品属于等同替换和改进，均包含在本发明的保护范围之内。具体方法如下：

实施例：LSD是一种局部提取直线的算法，速度比Hough要快。

但是有局部算法的缺点：

1.对于直线相交情况，因为设置了每个点是否USED，因此每个点只能属于一条直线，若有相交必有至少一条直线被割裂为两条。又因为其基于梯度，直线交点梯度值往往又较小(不被检测为边缘点)，因此很有可能相交的两条直线在交点处被割裂为四条线段。

2.由于局部检测算法自增长的特点，对于长线段被遮挡、局部模糊等原因经常割裂为多条直线。这些缺点在Hough变换中不存在。

算法步骤概括：

1.以s＝0.8的尺度对输入图像进行高斯下采样。

2.计算每一个点的梯度值以及梯度方向(level-line orientation)。

3.根据梯度值对所有点进行伪排序(pseudo-ordered)，建立状态列表，所有点设置为UNUSED。

4.将梯度值小于ρ的点状态表中相应位置设置为USED。

5.取出列表中梯度最大(伪排列的首位)的点作为种子点(seed)，状态列表中设为USED。

a.以seed为起点，搜索周围UNUSED并且方向在阈值[-t,t]范围内的点，状态改为USED。

b.生成包含所有满足点的矩形R。

c.判断同性点(aligned pt)密度是否满足阈值D，若不满足，截断(cut)R变为多个矩形框，直至满足。

d.计算NFA。

e.改变R使NFA的值更小直至NFA<＝ε，R加入输出列表。

本发明的具体路程如下：

S1.数据输入，输入数据为运动目标检测到的运动目标的运动点集合

S2.生成人脸轮廓的描述特征，基于LSD算法,生成8*8网格内的局部线段对人形轮廓进行特征描述

S3.人形特征投影出来，对人形的所有局部线段进行垂直方向投影，检索每一行垂直方向上的最右侧线段，最左侧线段以及梯度最大值的线段分别构成人形的右侧轮廓信息Rcontour,左侧轮廓信息Lcontour以及最强轮廓信息Mcontour

S4.对人形右侧轮廓信息Rcontour的局部线段信息进行头肩模式判定，执行步骤S7

S5.对人形左侧轮廓信息Lcontour的局部线段信息进行头肩模式判定，执行步骤S7

S6.对人形最强轮廓信息Mcontour的局部线段信息进行头肩模式判定，执行步骤S7

S7.逐行遍历人形轮廓信息中的局部线段L0,如果L0有效则记其前一行相邻线段为L1，后一行相邻线段为L2，执行步骤S8，否则执行步骤S10

S8.检测L0是否为关键点Key1所在位置，获取线段的主方向Angle以及线段水平位置信息PosX，如果Angle(L1)>Angle(L0)>Angle(L2)且PosX(L1)<PoxX(L0)且PoxX(L2)<PosX(L0)条件成立或者Angle(L1)<Angle(L0)<Angle(L2)且PosX(L1)>PoxX(L0)且PoxX(L2)>PosX(L0)条件成立，则判定L0所在位置为关键点Key1.如果L0所在位置是关键点Key1则执行步骤S7，否则执行S9

S9.检测L0是否为关键点Key2所在位置，获取线段的主方向Angle以及线段水平位置信息PosX，如果Angle(L2)-Angle(L1)>60度且PosX(L0)<＝PosX(L1)且PosX(L2)-PosX(L1)>4个像素条件成立，或者Angle(L1)-Angle(L2)>60度且PosX(L0)>＝PosX(L1)且PosX(L1)-PosX(L2)>4个像素条件成立，则判定L0所在位置为关键点Key2.如果L0所在位置是关键点Key2则执行步骤S7，否则执行S10

S10.检测L0是否为关键点Key3所在位置，获取线段的主方向Angle以及线段水平位置信息PosX，如果Angle(L1)-Angle(L0)>60度且Angle(L1)-Angle(L2)>60度且PosX(L0)-PosX(L1)>4个像素且PosX(L2)-PosX(L1)>4个像素的条件成立，或者Angle(L0)-Angle(L1)>60度且Angle(L2)-Angle(L1)>60度且PosX(L1)-PosX(L0)>4个像素且PosX(L1)-PosX(L2)>4个像素的条件成立，则判定L0所在位置为关键点Key2.如果L0所在位置是关键点Key3则执行步骤S7，否则执行步骤S10

S11.由三种关键点信息判定轮廓是否是头肩模式，搜索得到Key2关键点的位置，如果Key2不存在则判定运动目标不是存在头肩模式，执行步骤S12，如果Key2位置存在，则由Key2位置向上搜索关键点Key1所在位置，如果Key1存在则头肩模式存在，执行步骤S13，否则由Key位置向下搜索关键点Key3所在位置，如果Key3存在则头肩模式存在，执行步骤S13,否则判定运动目标不存在头肩模式，执行步骤S12

S12.运动目标头肩模式不存在，继续进行其他部位人形判定；

S13.数据输出，运动目标头肩模式存在，判定为人形。

本发明的有益成果为：本发明针对现有技术的不足，以及现实应用场景的特点，提出了一种关键点分析的头肩模式判定系统，并且后续还可以结合上半身模式，全身模式以及双腿模式等多种模式判定方式，通过多种方式进行人形判定，适应商场安防中多视角，低视频质量的特点。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (1)

1.一种基于关键点分析的头肩模式判定系统，其特征在于，所述头肩模式判定系统包含算法调用模块、轮廓信息生成模块、头肩模式判定模块，包含以下内容：

1)将数据输入到所述系统中，输入的数据为检测到运动目标的运动点集合；并且进行头肩模式判断，具体过程如下：

2)所述算法调用模块将所述运动目标的运动点集合作为输入到LSD(Line SegmentDetector)算法，调用LSD算法，输出8*8网格内的局部线段，所述局部线段勾勒了人形轮廓的特征；

3)所述轮廓信息生成模块将所有所述局部线段全部投影到垂直方向，将8*8网格每一行上的最右侧的局部线段提取，构成人形的右侧轮廓信息，将8*8网格每一行上的最左侧的局部线段提取，构成人形的左侧轮廓信息，将8*8网格每一行上的梯度最大值的局部线段提取，构成人形的最强轮廓信息；

4)所述头肩模式判定模块对所述人形的右侧轮廓信息、所述人形的左侧轮廓信息、所述人形的最强轮廓信息进行头肩模式判定，将所述人形的右侧轮廓信息、所述人形的左侧轮廓信息、所述人形的最强轮廓信息作为人形轮廓信息；所述头肩模式判定的具体步骤如下：

4.a)将所述人形轮廓信息中的局部线段一一提取，将其表示为L0，再次确认L0是否表示了人形轮廓，如果表示的为人形轮廓，提取所述L0的相邻线段对，所述相邻线段对表示为(L1,L2)，L1为位于所述L0的上一行的离其距离最近的局部线段，L2为位于所述L0的下一行的离其距离最近的局部线段；

4.b)判断所述L0是否为关键点Key1所在位置、关键点Key2所在位置、关键点Key3所在位置；当判断所述L0为关键点Key1所在位置、关键点Key2所在位置、关键点Key3所在位置之一，停止判断，进行下一个局部线段的提取，跳到4.a)步；

判断判断所述L0是否为关键点Key1所在位置的过程为，获取所述L0的主方向Angle以及线段水平位置信息PosX，设定判定条件1为：

(Angle(L1)＞Angle(L0)＞Angle(L2))∧(PosX(L1)＜PosX(L0))∧(PosX(L2)＜PosX(L0))

设定判定条件2为

(Angle(L1)＜Angle(L0)＜Angle(L2))∧(PosX(L1)＞PoxX(L0))∧(PoxX(L2)＞PosX(L0))

如果所述判定条件1与所述判定条件2都成立，则判定所述L0所在位置为关键点Key1；

判断判断所述L0是否为关键点Key2所在位置的过程为，获取所述L0的主方向Angle以及线段水平位置信息PosX，设定判定条件3为：

(Angle(L2)-Angle(L1)＞60°)∧(PosX(L0)＜＝PosX(L1))∧(PosX(L2)-PosX(L1)＞4)

设定判定条件4为

(Angle(L1)-Angle(L2)＞60)∧(PosX(L0)＞＝PosX(L1))∧(PosX(L1)-PosX(L2)＞4)

如果所述判定条件3与所述判定条件4都成立，则判定所述L0所在位置为关键点Key2；

判断判断所述L0是否为关键点Key3所在位置的过程为，获取所述L0的主方向Angle以及线段水平位置信息PosX，设定判定条件5为：

(Angle(L1)-Angle(L0)＞60°)∧(Angle(L1)-Angle(L2)＞60°)∧

设定判定条件6为：

(Angle(L0)-Angle(L1)＞60°)∧(Angle(L2)-Angle(L1)＞60°)∧

如果所述判定条件5与所述判定条件6都成立，则判定所述L0所在位置为关键点Key3；

4.d)由关键点Keyl所在位置、关键点Key2所在位置、关键点Key3所在位置判断是否存在人形轮廓是否存在头肩模式；首先搜索关键点Key2所在位置，如果其存在，再从所述关键点Key2所在位置之上的行数搜索关键点Key1所在位置，如果关键点Key1所在位置存在，那么判定人形轮廓存在头肩模式；如果关键点Keyl所在位置不存在，在所述关键点Key2所在位置之下的行数搜索关键点Key3所在位置，如果关键点Key3所在位置存在，那么判定人形轮廓存在头肩模式；如果关键点Key3所在位置不存在，那么判定人形轮廓不存在头肩模式；

4.e)如果人形轮廓存在头肩模式，将上述过程中涉及的数据输出，并且输出存在头肩模式，如果人形轮廓不存在头肩模式，输出不存在头肩模式。