CN112784771A - 人形检测方法、系统和监控设备 - Google Patents

人形检测方法、系统和监控设备 Download PDF

Info

Publication number
CN112784771A
CN112784771A CN202110111111.XA CN202110111111A CN112784771A CN 112784771 A CN112784771 A CN 112784771A CN 202110111111 A CN202110111111 A CN 202110111111A CN 112784771 A CN112784771 A CN 112784771A
Authority
CN
China
Prior art keywords
contour data
initial target
matching
human
target contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110111111.XA
Other languages
English (en)
Other versions
CN112784771B (zh
Inventor
王为
陆金刚
方伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xinsheng Electronic Technology Co Ltd
Original Assignee
Zhejiang Xinsheng Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xinsheng Electronic Technology Co Ltd filed Critical Zhejiang Xinsheng Electronic Technology Co Ltd
Priority to CN202110111111.XA priority Critical patent/CN112784771B/zh
Publication of CN112784771A publication Critical patent/CN112784771A/zh
Application granted granted Critical
Publication of CN112784771B publication Critical patent/CN112784771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种人形检测方法、系统和监控设备,所述人形检测方法包括：采用训练好深度学习网络对待处理图像中的人形目标进行定位，以获取初始目标集，所述初始目标集包括若干初始目标轮廓数据；提取每个所述初始目标轮廓数据中的角点作为对应的所述初始目标轮廓数据的特征点序列；分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取每个所述初始目标轮廓数据的轮廓匹配度；从所述初始目标集中过滤轮廓匹配度小于预设匹配值的初始目标轮廓数据，剩余的所述初始目标轮廓数据为人形目标轮廓数据。本发明适用于多场景应用到人形目标检测，能够对遮挡及截断场景下人形目标的进行准确检测。

Description

人形检测方法、系统和监控设备
技术领域
本发明涉及智能识别中行人检测技术领域，特别涉及一种人形检测方法、系统和监控设备。
背景技术
运动目标检测技术是现代视频监控系统的核心技术之一，对智能视频监控研究具有重要的理论意义和应用价值，而人形目标检测技术是其中的主要应用之一。人形检测目前主要有传统的方法以及基于深度学习的方法。传统的方法如HOG(Histogram ofOriented Gradient,方向梯度直方图)特征提取等，在人形目标检测方面具有一定的效果，但是对出现遮挡的情况难以处理。而基于深度学习的方法，由于网络结构的复杂性，通常计算量较大，无法应用于监控设备中，而且也容易出现漏检误检的情况。
另外，在实际场景中由于智能摄像机所安装位置的差异，以及安装的场景不同，人形场景的应用存在多元化，不同位置以及场景会出现各种遮挡以及截断，因此对于各种遮挡、截断场景的人形检测，目前并没用一个较好的办法来解决。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人形检测方法、系统和监控设备，用于解决现有的基于深度学习的人形检测方法对遮挡或截断情况下检测率低、误检较多以及无法较好的区分人形/非人形的技术问题。
为实现上述目的及其他相关目的，本发明提供一种人形检测方法，所述人形检测方法包括：
采用深度学习网络对待处理图像中的人形目标进行定位，以获取初始目标集，所述初始目标集包括若干初始目标轮廓数据；
提取每个所述初始目标轮廓数据中的角点作为对应的所述初始目标轮廓数据的特征点序列；
分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取每个所述初始目标轮廓数据的轮廓匹配度；
从所述初始目标集中过滤轮廓匹配度小于预设匹配值的初始目标轮廓数据，剩余的所述初始目标轮廓数据为人形目标轮廓数据。
在一可选实施例中，分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取每个所述初始目标轮廓数据的轮廓匹配度的步骤包括：
分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取不同匹配阈值时每个所述初始目标轮廓数据与所述标准人形轮廓数据的最长公共子序列和最长公共子序列长度；
定义匹配函数，所述匹配函数分别与所述初始目标轮廓数据与所述标准人形轮廓数据的最长公共子序列的欧氏距离和最长公共子序列的长度的倒数呈正相关；
优化求解所述匹配函数，以获取每个所述初始目标轮廓数据的匹配函数的最小值作为该初始目标轮廓数据的轮廓匹配度。
在一可选实施例中，在定义匹配函数的步骤中，所述匹配函数为：
Figure BDA0002918914290000021
其中，A(f)表示为所述初始目标轮廓数据的特征点序列；B(g)表示为所述标准人形轮廓数据的特征点序列；SubA(f)＝(A1，A2，...，Ai，...，Al)与SubB(g)＝(B1，B2，...，Bj，...，Bl)分别表示为A(f)与B(g)的最长公共子序列；Ai，k，Bj，k分别表示为SubA(f)与SubB(g)的匹配点；l表示A(f)与B(g)的最长公共子序列长度。
在一可选实施例中，在分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取不同匹配阈值时每个所述初始目标轮廓数据与所述标准人形轮廓数据的最长公共子序列和最长公共子序列长度的步骤中，所述匹配阈值介于0.25-0.5之间。
在一可选实施例中，采用深度学习网络对待处理图像中的人形目标进行定位，以获取初始目标集的步骤包括，采用yolo改进网络对所述待处理图像中的人形目标进行定位，以获取初始目标集。
在一可选实施例中，所述yolo改进网络包括依次设置的主干网络模块、增强模块及网络输出模块，所述主干网络模块包括依次设置的若干特征提取块，定义所述主干网络模块对完整人形检测效果满足要求时所需的特征提取块数量为第一数量；
在所述采用yolo改进网络对所述待处理图像中的人形目标进行定位时，所述特征提取块的输出特征图数介于32-64之间，所述主干网络模块的特征提取块的数量与所述第一数量的差值为2、3、4或5。
在一可选实施例中，所述特征提取块包括依次设置的第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元及池化单元，并且所述第一卷积单元的输出还与所述第四卷积单元的输入连接。
在一可选实施例中，所述人形检测方法还包括对所述深度学习网络进行训练的步骤，其中，在对所述深度学习网络进行训练时需收集各场景下的遮挡截断人形样本、无遮挡人形样本数量及负样本，并且各场景下的遮挡截断人形样本的数量与无遮挡人形样本的数量相同。
为实现上述目的及其他相关目的，本发明还提供一种人形检测系统，所述人形检测包括：
定位模块，用于采用深度学习网络对待处理图像中的人形目标进行定位，以获取初始目标集，所述初始目标集包括若干初始目标轮廓数据；
提取模块，用于提取每个所述初始目标轮廓数据中的角点作为对应的所述初始目标轮廓数据的特征点序列；
匹配度获取模块，用于分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取每个所述初始目标轮廓数据的轮廓匹配度；
过滤模块，用于从所述初始目标集中过滤轮廓匹配度小于预设匹配值的初始目标轮廓数据，剩余的所述初始目标轮廓数据为人形目标轮廓数据。
为实现上述目的及其他相关目的，本发明还提供一种监控设备，所述监控设备包括：
图像采集装置；
控制单元，设置于所述监控设备的机身上，所述控制单元包括相互耦合的处理器和存储器，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述任意一项所述的人形检测方法。
本发明的人形检测方法、系统和监控设备基于人形轮廓的形状匹配算法进行误检目标的过滤，有效过滤非人形目标。
本发明的人形检测方法、系统和监控设备通过对深度学习网络结构的调整，使得对模型训练更易收敛，增加了对遮挡及截断场景的人形目标的检测效果，并且对遮挡及截断人形目标具有较好的鲁棒性，减少了模型计算量，使得该模型在前端设备也能保证快速实时运行效果。
本发明的人形检测方法、系统和监控设备可适应多场景应用的人形检测方法。
附图说明
图1显示为本发明的人形检测方法的流程图。
图2显示为本发明的人形检测方法的步骤S30的子流程图。
图3显示为本发明的特征提取块的结构示意图。
图4显示为本发明的人形检测系统的结构框图。
图5显示为本发明的控制单元的结构框图。
图6显示为本发明的监控设备的结构框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1-6。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在目前的人形检测方法中，大部分检测方法对完整的人形检测效果较好，但是对存在遮挡或截断场景的人形检测效果较差，常常出现漏检误检的情况，然而在实际场景中，由于智能摄像机安装角度，位置等等的不同，摄像头场景中往往会出现各种人形被遮挡及截断的现象，或者由于天气原因的变化，人形遮挡及截断场景也常常易见(如下雨天行人打伞等)，在此情况下，有效的增加遮挡、截断人形的检测率以及减少误检率能大大提高智能摄像机监控效果，使得用户能有更好的使用体验。基于此，本专利提出一种快速适应多场景应用的人形检测方法，该方法采用神经网络结合人形轮廓匹配进行人形检测，采用神经网络检测方法可以准确定位目标区域，其次，通过目标区域的人形轮廓匹配，有效区分人形与非人形目标，大大减少误检情况。其中，图1示出了本发明的人形检测方法的流程示意图。下面将详细阐述本发明的人形检测方法。
请参阅图1，执行步骤S10：采用深度学习网络对待处理图像中的人形目标进行定位，以获取初始目标集，所述初始目标集包括若干初始目标轮廓数据。例如可以采用SSD、yolo、resnet等网络进行图像中的人形目标定位。为了能将该人形检测方法应用于智能终端，本发明采用yolo改进网络(以下简称yolov)对所述待处理图像中的人形目标进行定位，以获取初始目标集，针对人形检测的特点，通过更深层特征获取，有效提高各种场景下由于遮挡及截断下人形目标的检测率。
在本发明中，原始的yolo的网络结构主要包括依次设置的主干网络模块(backbone)、增强模块(neck)及网络输出模块(head)等部分，主干网络模块部分是图像特征的提取部分，增强模块主要用于特征增强，网络输出模块部分用于输出网络回归框位置。所述主干网络模块包括依次设置的若干的特征提取块50，所述特征提取块50如图1所示，包括依次设置的第一卷积单元51、第二卷积单元52、第三卷积单元53、第四卷积单元54及池化单元55，并且所述第一卷积单元51的输出还与所述第四卷积单元53的输入连接；前一个特征提取块50的池化单元55与后一个特征提取块50的第一卷积单元51连接。而本发明的yolov的改进主要体现在对训练过程和对网络结构的改进。
训练过程的改进：在对所述yolov进行训练时需收集各场景下的遮挡截断人形样本、无遮挡人形样本数量及负样本作为训练样本，其中，各场景下的遮挡截断人形样本的数量与无遮挡人形样本的数量相同，从而增加对遮挡以及截断场景下人形的检测率。
网络结构的改进：针对原始yolo网络结构中的主干网络模块进行改进，而原始yolo网络结构中的增强模块及网络输出模块部分主要为特征增强和网络输出部分，通过调整影响不大，因此保持不变即可。
首先，减少主干网络模块中每层特征提取块50的输出特征图数，例如可以将每层特征提取块50的输出特征图数由128-256之间的任意一个数值降低为32-64之间的任一数值，因为本发明应用于人形检测，主要为人形/非人形目标之间的区分(2类目标)，减少每层特征提取块50的输出特征图数可以降低因检测类别少导致的模型泛化，同时，特征图数量的减少可以减少卷积单元的计算量，保证算法在硬件加速模块的实时性。
其次，经训练发现由第一数量(例如为3个)特征提取块50组成的主干网络模块对完整的人形检测效果较好，然而对遮断及截断场景的检测率低。原始网络结构对遮断及截断场景的检测率低主要是因为提取的特征较浅，对简单的特征较易区分，然而对遮挡以及截断这种复杂场景无法有效进行区分，因此，本发明通过增加主干网络模块中特征提取块50的数量，通过对特征更深层次的获取，使得网络更加有效的区分更多复杂场景下的人形目标。具体地，在本发明中，增加主干网络模块中特征提取块50的数量，使所述主干网络模块的特征提取块50的数量与所述第一数量的差值介于2-5之间(包含端点)的整数，从而了增加主干网络模块的特征块提取深度(深度等于特征提取块50的个数)。在一优选示例中，所述主干网络模块的特征提取块50的数量与所述第一数量的差值为2，当所述第一数量为3时，本发明改进后的主干网络模块的特征提取块50数量为5。
需要说明的是，在本发明中，增加特征提取块50数量的所导致的检测时间的增加可通过减少每层特征提取块50的输出特征图数所节省的时间来弥补，从而可以保证人形检测的时效性，本发明通过对原始网络结构调整，使得对模型训练更易收敛，增加了对人形目标的检测效果，并且减少了模型计算量，使得该模型在前端设备也能保证快速实时运行效果。
由于在步骤S10中对于检测网络的效果增强以及场景的复杂多变性，检测率提高的同时可能会引入一定的误检情况，因此，需要对步骤S10中检测到的目标进行过滤，可通过形状匹配算法进行误检目标的过滤，形状匹配方法例如可以是基于区域的方法、基于变换域的方法以及基于轮廓特征描述的方法等。
对于人形轮廓来说，特征点能够更好的表达该轮廓的特征，因此本发明提出一种基于特征点描述人形轮廓的方法，包括：提取每个所述初始目标轮廓数据中的角点作为对应的所述初始目标轮廓数据的特征点序列(步骤S20)；分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取每个所述初始目标轮廓数据的轮廓匹配度(步骤S30)；从所述初始目标集中过滤轮廓匹配度小于预设匹配值的初始目标轮廓数据，剩余的所述初始目标轮廓数据为人形目标轮廓数据(步骤S40)。
在步骤S20中，本发明提取的轮廓特征点为角点，角点对图像旋转以及尺度变换有较好的鲁棒性，本发明通过多尺度LoG算法进行实现轮廓曲线的角点提取。具体提取过程如下：
设C为平面轮廓曲线
C(t)＝(x(t),y(t))
其中，t为弧长参数，x(t)和y(t)分别表示曲线的坐标函数。LoG算子如下：
Figure BDA0002918914290000061
其中，σ表示尺度因子。对轮廓曲线与LoG算子进行卷积运算就得到单个尺度的LoG变换，如下：
SL(t,σ)＝(x(t)*LoG(t,σ),y(t)*LoG(t,σ))
将不同尺度下的变换结果进行乘积运算，得到多尺度乘积的LoG角点检测响应函数：
Figure BDA0002918914290000062
k表示尺度个数，σi表示i个尺度值。这样即可将大于预先设定阈值的响应函数的局部极大值作为特征点。通过特征点的提取，在目标轮廓上获得表示轮廓形状特征的特征点序列，序列将特征点按顺时针存储，描述为Pn＝{Z1,Z2,...Zn}，其中n表示特征点的个数，Z表示特征点坐标。
在步骤S30中，通过步骤S20特征点序列获取过程，可以获取到每个所述初始目标轮廓数据的特征点序列，通过与标准人形轮廓数据的特征点序列也是通过步骤S20特征点序列获取过程获取)进行特征点匹配，从而衡量检测目标是否为人形轮廓，特征点序列匹配方法例如可以是动态规划的方法(DTW)或最长公共子序列方法。
本发明中以最长公共子序列方法为例进行说明，最长公共子序列是在一个序列中(一般为2个序列)查找所需最长子序列的问题，这里以完整人形轮廓(也即标准人形轮廓数据)提取的特征点序列(为模板序列，将检测到的初始目标轮廓数据的特征点序列作为用于查找的序列，由于检测到目标人形轮廓可能存在遮挡或截断的情况，而最长公共子序列匹配只需查找最长公共子序列即可，因此可以有效处理遮挡或截断的情况。对于两个字符串序列X＝(x1，x2，...xn)和Y＝(y1，y2，...yn)，其最长公共子序列的长度为L，则其计算公式如下：
Figure BDA0002918914290000071
L长度计算按自底向上递推进行，这里x，y元素若为数值时，需设定阈值以衡量元素是否匹配，对于阈值的选择对结果影响较大，较大的阈值会导致误匹配的情况较多，而较小的阈值会导致漏匹配的情况出现，因此阈值的选择对匹配的效果有较大影响。
定义初始目标轮廓数据对应的形状轮廓曲线为f，定义标准人形轮廓数据对应的形状轮廓曲线为g，定义A(f)＝(A1，A2，...，Am)表示为所述初始目标轮廓数据的特征点序列，定义B(g)＝(B1，B2，...，Bn)表示为所述标准人形轮廓数据的特征点序列，查找最长公共子序列时，设匹配阈值为ε，则满足|Ai-Bj|＜ε时，子序列长度加1。对于匹配阈值ε的选择，不同的场景下可能遮挡程度不一样，往往无法较好的进行选择，因此本发明采用校正的方式进行匹配。具体方式如下：
分别将每个所述初始目标轮廓数据的特征点序列A(f)与标准人形轮廓数据的特征点序列B(g)进行最长公共子序列匹配，以获取不同匹配阈值ε时每个所述初始目标轮廓数据与所述标准人形轮廓数据的最长公共子序列SubA(f)＝(A1，A2，...，Ai，...，Al)与SubB(g)＝(B1，B2，...，Bj，...，Bl)和最长公共子序列长度l(对应图2中的步骤S31)。
对于设定的较大阈值，匹配完成后会存在一定误匹配的情况，所以对于SubA(f)及SubB(g)，继续通过计算欧式距离进行校准，定义其匹配函数为(对应图2中的步骤S32)：
Figure BDA0002918914290000081
其中，Ai，k，Bj，k分别表示为SubA(f)与SubB(g)的匹配点，所述匹配函数分别与所述初始目标轮廓数据与所述标准人形轮廓数据的最长公共子序列的欧氏距离和最长公共子序列的长度的倒数呈正相关。
优化求解所述匹配函数，以获取每个所述初始目标轮廓数据的匹配函数的最小值作为该初始目标轮廓数据的轮廓匹配度(对应图2中的步骤S33)，具体的优化求解过程如下：
opt(SubA(f)，SubB(g))＝min{E(SubA(f)，SubB(g)}
从而可以有效的校准由于匹配阈值ε设定带来的误匹配情况。
求取某个初始目标轮廓数据的轮廓匹配度后，判断该某个初始目标轮廓数据的轮廓匹配度是否小于预设匹配值，当小于预设匹配值时，说明该某个初始目标轮廓数据为非人形目标，应该从所述初始目标集中过滤掉，而当该某个初始目标轮廓数据的轮廓匹配度是大于等于该预设匹配值时，则说明该某个初始目标轮廓数据为人形目标。对于每个初始目标轮廓数据执行求取轮廓匹配度的步骤和判定步骤后，剩余的所述初始目标轮廓数据为人形目标轮廓数据。
如图4所示，本发明的实施例还介绍一种用于实现上述人形检测方法的人形检测系统。所述人形检测系统包括定位模块11，提取模块12、匹配度获取模块13以及过滤模块14。所述定位模块11用于采用深度学习网络对待处理图像中的人形目标进行定位，以获取初始目标集，所述初始目标集包括若干初始目标轮廓数据；所述提取模块12用于提取每个所述初始目标轮廓数据中的角点作为对应的所述初始目标轮廓数据的特征点序列；所述匹配度获取模块用于分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取每个所述初始目标轮廓数据的轮廓匹配度；所述过滤模块用于从所述初始目标集中过滤轮廓匹配度小于预设匹配值的初始目标轮廓数据，剩余的所述初始目标轮廓数据为人形目标轮廓数据。
需要说明的是，本发明的人形检测系统是与上述人形检测方法相对应的系统，人形检测系统中的功能模块或者功能子模块分别对应人形检测方法中的相应步骤。本发明的人形检测系统可与人形检测方法相互相配合实施。本发明的人形检测方法中提到的相关技术细节在人形检测系统中依然有效，为了减少重复，这里不再赘述。相应地，本发明的人形检测系统中提到的相关技术细节也可应用在上述人形检测方法中。
需要说明的是，上述的各功能模块或，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分单元通过处理元件调用软件的形式实现，部分单元通过硬件的形式实现。此外这些单元全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器41元件中的硬件的集成逻辑电路或者软件形式的指令完成。
需要说明的是，如图5所示，本发明的人形检测方法还可以通过一设置于监控设备上的控制单元40实现，所述控制单元40包括相互连接的存储器43和处理器41，所述存储器43存储有程序指令，该程序指令被所述处理器41执行时实现上述的人形检测方法。需要说明的是，当需要和外部进行通信时，所述控制单元40还包括通信器42，所述通信器42与所述处理器41连接。
上述的处理器41可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件；上述的存储器43可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(Non-volatile Memory)，例如至少一个磁盘存储器。
需要说明的是，上述存储器43中的控制程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
本发明还可以提供一种存储介质，其存储有程序，该程序被处理器41执行时实现上述的人形检测方法；所述存储介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如：半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。
如图6所示，本发明的实施例还公开一种监控设备，所述监控设备包括本体，设置于本体上的图像采集装置和控制单元，所述图像采集装置与所述控制单元连接，所述图像采集装置用于采集各种场景的图像，所述控制单元接收所述图像采集装置采集的图像并利用上述的人形检测方法对图像中的人形进行检测。所述图像采集装置例如可以是摄像机。
综上所述，本发明提出了一种适应于多场景应用的人形检测方法，该方法首先采用深度学习网络对人形目标进行初始定位，通过对数据样本的处理以及网络结构的调整有效的增加了对遮挡截断场景下人形目标的检测率，对引入的误检，通过人形轮廓匹配的方法，有效对非人形目标进行过滤，确保了遮挡或截断情况下人形目标的正确检测，因此，对由于摄像机安装的位置角度不同导致的人形目标出现的遮挡截断等情况，本发明均可适用，同时，本发明在前端设备上也可以保持运行实时性。
在本发明的描述中，提供了许多特定细节，诸如部件和/或方法的实例，以提供对本发明实施例的完全理解。然而，本领域技术人员将认识到可以在没有一项或多项具体细节的情况下或通过其他设备、系统、组件、方法、部件、材料、零件等等来实践本发明的实施例。在其他情况下，未具体示出或详细描述公知的结构、材料或操作，以避免使本发明实施例的方面变模糊。
还应当理解还可以以更分离或更整合的方式实施附图所示元件中的一个或多个，或者甚至因为在某些情况下不能操作而被移除或因为可以根据特定应用是有用的而被提供。
另外，除非另外明确指明，附图中的任何标志箭头应当仅被视为示例性的，而并非限制。此外，除非另外指明，本发明所用的术语“或”一般意在表示“和/或”。在术语因提供分离或组合能力是不清楚的而被预见的情况下，部件或步骤的组合也将视为已被指明。
本发明所示实施例的上述描述(包括在说明书摘要中所述的内容)并非意在详尽列举或将本发明限制到本发明所公开的精确形式。尽管在本发明仅为说明的目的而描述了本发明的具体实施例和本发明的实例，但是正如本领域技术人员将认识和理解的，各种等效修改是可以在本发明的精神和范围内的。如所指出的，可以按照本发明所述实施例的上述描述来对本发明进行这些修改，并且这些修改将在本发明的精神和范围内。
本发明已经在总体上将系统和方法描述为有助于理解本发明的细节。此外，已经给出了各种具体细节以提供本发明实施例的总体理解。然而，相关领域的技术人员将会认识到，本发明的实施例可以在没有一个或多个具体细节的情况下进行实践，或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下，并未特别示出或详细描述公知结构、材料和/或操作以避免对本发明实施例的各方面造成混淆。
因而，尽管本发明在本发明已参照其具体实施例进行描述，但是修改自由、各种改变和替换意在上述公开内，并且应当理解，在某些情况下，在未背离所提出发明的范围和精神的前提下，在没有对应使用其他特征的情况下将采用本发明的一些特征。因此，可以进行许多修改，以使特定环境或材料适应本发明的实质范围和精神。本发明并非意在限制到在下面权利要求书中使用的特定术语和/或作为设想用以执行本发明的最佳方式公开的具体实施例，但是本发明将包括落入所附权利要求书范围内的任何和所有实施例及等同物。因而，本发明的范围将只由所附的权利要求书进行确定。

Claims (10)

1.一种人形检测方法，其特征在于，所述人形检测方法包括：
采用训练好深度学习网络对待处理图像中的人形目标进行定位，以获取初始目标集，所述初始目标集包括若干初始目标轮廓数据；
提取每个所述初始目标轮廓数据中的角点作为对应的所述初始目标轮廓数据的特征点序列；
分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取每个所述初始目标轮廓数据的轮廓匹配度；
从所述初始目标集中过滤轮廓匹配度小于预设匹配值的初始目标轮廓数据，剩余的所述初始目标轮廓数据为人形目标轮廓数据。
2.根据权利要求1所述的人形检测方法，其特征在于，分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取每个所述初始目标轮廓数据的轮廓匹配度的步骤包括：
分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取不同匹配阈值时每个所述初始目标轮廓数据与所述标准人形轮廓数据的最长公共子序列和最长公共子序列长度；
定义匹配函数，所述匹配函数分别与所述初始目标轮廓数据与所述标准人形轮廓数据的最长公共子序列的欧氏距离和最长公共子序列的长度的倒数呈正相关；
优化求解所述匹配函数，以获取每个所述初始目标轮廓数据的匹配函数的最小值作为该初始目标轮廓数据的轮廓匹配度。
3.根据权利要求2所述的人形检测方法，其特征在于，在定义匹配函数的步骤中，所述匹配函数为：
Figure FDA0002918914280000011
其中，A(f)表示为所述初始目标轮廓数据的特征点序列；B(g)表示为所述标准人形轮廓数据的特征点序列；SubA(f)＝(A1，A2，...，Ai，...，Al)与SubB(g)＝(B1，B2，...，Bj，...，Bl)分别表示为A(f)与B(g)的最长公共子序列；Ai，k，Bj，k分别表示为SubA(f)与SubB(g)的匹配点；l表示A(f)与B(g)的最长公共子序列长度。
4.根据权利要求2所述的人形检测方法，其特征在于，在分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取不同匹配阈值时每个所述初始目标轮廓数据与所述标准人形轮廓数据的最长公共子序列和最长公共子序列长度的步骤中，所述匹配阈值介于0.25-0.5之间。
5.根据权利要求1所述的人形检测方法，其特征在于，采用深度学习网络对待处理图像中的人形目标进行定位，以获取初始目标集的步骤包括，采用yolo改进网络对所述待处理图像中的人形目标进行定位，以获取初始目标集。
6.根据权利要求5所述的人形检测方法，其特征在于，所述yolo改进网络包括依次设置的主干网络模块、增强模块及网络输出模块，所述主干网络模块包括依次设置的若干特征提取块，定义所述主干网络模块对完整人形检测效果满足要求时所需的特征提取块数量为第一数量；
在所述采用yolo改进网络对所述待处理图像中的人形目标进行定位时，所述特征提取块的输出特征图数介于32-64之间，所述主干网络模块的特征提取块的数量与所述第一数量的差值为2、3、4或5。
7.根据权利要求5所述的人形检测方法，其特征在于，所述特征提取块包括依次设置的第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元及池化单元，并且所述第一卷积单元的输出还与所述第四卷积单元的输入连接。
8.根据权利要求1-7中任意一项所述的人形检测方法，其特征在于，所述人形检测方法还包括对所述深度学习网络进行训练的步骤，其中，在对所述深度学习网络进行训练时需收集各场景下的遮挡截断人形样本、无遮挡人形样本数量及负样本，并且各场景下的遮挡截断人形样本的数量与无遮挡人形样本的数量相同。
9.一种人形检测系统，其特征在于，所述人形检测系统包括：
定位模块，用于采用深度学习网络对待处理图像中的人形目标进行定位，以获取初始目标集，所述初始目标集包括若干初始目标轮廓数据；
提取模块，用于提取每个所述初始目标轮廓数据中的角点作为对应的所述初始目标轮廓数据的特征点序列；
匹配度获取模块，用于分别将每个所述初始目标轮廓数据的特征点序列与标准人形轮廓数据的特征点序列进行最长公共子序列匹配，以获取每个所述初始目标轮廓数据的轮廓匹配度；
过滤模块，用于从所述初始目标集中过滤轮廓匹配度小于预设匹配值的初始目标轮廓数据，剩余的所述初始目标轮廓数据为人形目标轮廓数据。
10.一种监控设备，其特征在于，所述监控设备包括：
图像采集装置；
控制单元，设置于所述监控设备的机身上，所述控制单元包括相互耦合的处理器和存储器，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1-8中任意一项所述的人形检测方法。
CN202110111111.XA 2021-01-27 2021-01-27 人形检测方法、系统和监控设备 Active CN112784771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110111111.XA CN112784771B (zh) 2021-01-27 2021-01-27 人形检测方法、系统和监控设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110111111.XA CN112784771B (zh) 2021-01-27 2021-01-27 人形检测方法、系统和监控设备

Publications (2)

Publication Number Publication Date
CN112784771A true CN112784771A (zh) 2021-05-11
CN112784771B CN112784771B (zh) 2022-09-30

Family

ID=75758307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110111111.XA Active CN112784771B (zh) 2021-01-27 2021-01-27 人形检测方法、系统和监控设备

Country Status (1)

Country Link
CN (1) CN112784771B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6828963B1 (en) * 2000-09-06 2004-12-07 Proficiency Ltd. Pattern matching for data exchange between computer aided design systems
JP2005149144A (ja) * 2003-11-14 2005-06-09 Konica Minolta Holdings Inc 物体検出装置、物体検出方法、および記録媒体
CN103366374A (zh) * 2013-07-12 2013-10-23 重庆大学 基于图像匹配的消防通道障碍物检测方法
CN104268526A (zh) * 2014-09-25 2015-01-07 北京航空航天大学 一种汉字图片匹配与变形方法
CN104463866A (zh) * 2014-12-04 2015-03-25 无锡日联科技有限公司 一种基于轮廓随机采样的局部形状匹配方法
CN105160297A (zh) * 2015-07-27 2015-12-16 华南理工大学 基于肤色特征的蒙面人事件自动检测方法
CN106503615A (zh) * 2016-09-20 2017-03-15 北京工业大学 基于多传感器的室内人体检测跟踪和身份识别系统
CN108710868A (zh) * 2018-06-05 2018-10-26 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
CN110472651A (zh) * 2019-06-17 2019-11-19 青岛星科瑞升信息科技有限公司 一种基于边缘点局部特征值的目标匹配与定位方法
CN110570442A (zh) * 2019-09-19 2019-12-13 厦门市美亚柏科信息股份有限公司 一种复杂背景下轮廓检测方法、终端设备及存储介质
CN110956095A (zh) * 2019-11-12 2020-04-03 湖南大学 一种基于角点肤色检测的多尺度人脸检测方法
CN111507134A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 人形姿态检测方法、装置、计算机设备及存储介质
CN112270330A (zh) * 2020-11-05 2021-01-26 国网甘肃省电力公司电力科学研究院 一种基于Mask R-CNN神经网络被关注目标的智能检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6828963B1 (en) * 2000-09-06 2004-12-07 Proficiency Ltd. Pattern matching for data exchange between computer aided design systems
JP2005149144A (ja) * 2003-11-14 2005-06-09 Konica Minolta Holdings Inc 物体検出装置、物体検出方法、および記録媒体
CN103366374A (zh) * 2013-07-12 2013-10-23 重庆大学 基于图像匹配的消防通道障碍物检测方法
CN104268526A (zh) * 2014-09-25 2015-01-07 北京航空航天大学 一种汉字图片匹配与变形方法
CN104463866A (zh) * 2014-12-04 2015-03-25 无锡日联科技有限公司 一种基于轮廓随机采样的局部形状匹配方法
CN105160297A (zh) * 2015-07-27 2015-12-16 华南理工大学 基于肤色特征的蒙面人事件自动检测方法
CN106503615A (zh) * 2016-09-20 2017-03-15 北京工业大学 基于多传感器的室内人体检测跟踪和身份识别系统
CN108710868A (zh) * 2018-06-05 2018-10-26 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
CN111507134A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 人形姿态检测方法、装置、计算机设备及存储介质
CN110472651A (zh) * 2019-06-17 2019-11-19 青岛星科瑞升信息科技有限公司 一种基于边缘点局部特征值的目标匹配与定位方法
CN110570442A (zh) * 2019-09-19 2019-12-13 厦门市美亚柏科信息股份有限公司 一种复杂背景下轮廓检测方法、终端设备及存储介质
CN110956095A (zh) * 2019-11-12 2020-04-03 湖南大学 一种基于角点肤色检测的多尺度人脸检测方法
CN112270330A (zh) * 2020-11-05 2021-01-26 国网甘肃省电力公司电力科学研究院 一种基于Mask R-CNN神经网络被关注目标的智能检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G. SAVITHA 等: "An Approach for Object Detection in Android Device", 《2014 FIFTH INTERNATIONAL CONFERENCE ON SIGNAL AND IMAGE PROCESSING》 *
涂坤: "目标跟踪与轨迹异常检测方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Also Published As

Publication number Publication date
CN112784771B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
WO2020156361A1 (zh) 一种训练样本获得方法、装置、电子设备和存储介质
US10534957B2 (en) Eyeball movement analysis method and device, and storage medium
CN112926410B (zh) 目标跟踪方法、装置、存储介质及智能视频系统
JP5366756B2 (ja) 情報処理装置及び情報処理方法
Ishikura et al. Saliency detection based on multiscale extrema of local perceptual color differences
CN109165589A (zh) 基于深度学习的车辆重识别方法和装置
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN108564092A (zh) 基于sift特征提取算法的向日葵病害识别方法
CN111639653B (zh) 一种误检图像确定方法、装置、设备和介质
CN105844610B (zh) 基于机器视觉的植物叶片锈斑自动检测系统及方法
CN106778742B (zh) 一种基于Gabor滤波器背景纹理抑制的车标检测方法
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN108154099B (zh) 一种人物识别方法、装置及电子设备
CN112037287B (zh) 相机标定方法、电子设备及存储介质
CN111062400A (zh) 目标匹配方法及装置
CN114220087A (zh) 一种车牌检测方法、车牌检测器及相关设备
CN111915645B (zh) 影像匹配方法、装置、计算机设备及计算机可读存储介质
CN112784771B (zh) 人形检测方法、系统和监控设备
CN111753775B (zh) 鱼的生长评估方法、装置、设备及存储介质
Narang et al. Robust face recognition method based on SIFT features using Levenberg-Marquardt Backpropagation neural networks
CN111652034A (zh) 一种基于sift算法的船只检索方法及装置
JP4800547B2 (ja) 画像を処理する方法と装置
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
Wu et al. An accurate feature point matching algorithm for automatic remote sensing image registration
CN110222688B (zh) 一种基于多层次相关滤波的仪表定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant