CN109271877A - 一种人形识别方法及装置 - Google Patents

一种人形识别方法及装置 Download PDF

Info

Publication number
CN109271877A
CN109271877A CN201810972475.5A CN201810972475A CN109271877A CN 109271877 A CN109271877 A CN 109271877A CN 201810972475 A CN201810972475 A CN 201810972475A CN 109271877 A CN109271877 A CN 109271877A
Authority
CN
China
Prior art keywords
target area
motion target
area
humanoid
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810972475.5A
Other languages
English (en)
Inventor
王军
赵雪鹏
李苏祺
余旭
李党
朱明�
李娇
耿磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhi Xinyuandong Science And Technology Ltd
Original Assignee
Beijing Zhi Xinyuandong Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhi Xinyuandong Science And Technology Ltd filed Critical Beijing Zhi Xinyuandong Science And Technology Ltd
Priority to CN201810972475.5A priority Critical patent/CN109271877A/zh
Publication of CN109271877A publication Critical patent/CN109271877A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Abstract

本发明提供了一种人形识别方法，该方法包括：输入视频图像，对视频图像进行运动目标检测，获取运动目标区域；对运动目标区域进行团块处理、面积过滤和宽高比过滤，获取人形候选区域；对样本图像进行随机采样，对卷积神经网络进行初次训练，根据初次训练的分类器模型，获取难例负样本，根据正样本和难例负样本对初次训练的分类器模型进行二次训练，获取人形分类器模型；采用人形分类器模型对人形候选区域进行分类，输出分类结果。与现有技术相比，本发明能快速准确地进行人形识别。

Description

一种人形识别方法及装置
技术领域
本发明涉及图像处理、视频监控以及安防，特别涉及人形识别方法及装置。
背景技术
人形识别技术是指利用人体成像的一定特征，通过对图形图像的处理,最终在成像空间中发现识别和定位人形目标的技术。人形识别技术是智能安防系统的一项重要技术，可以被广泛的应用到智能监控、智能交通、目标循迹、目标跟踪等领域。
现有的人形识别方法主要包括：基于背景建模的人形识别方法和基于统计学习的人形识别方法。基于背景建模的人形识别方法是首先利用背景建模的方法，提取视频画面中前景运动区域，然后在目标区域中进行特征提取及分类器学习，从而判断视频画面中是否有行人，但是该方法很难避免由于光照等外界环境变化导致的视频内容变化对人形识别的影响。基于统计学习的人形识别方法依据大量的样本构建行人识别分类器，通过对样本的特征提取和分类器训练来实现人形识别。
然而，目前的人形识别方法识别准确率不高，会出现很多误报和漏报，严重降低用户体验和产品警示功能的可信度。
综上所述，目前迫切需要提出一种识别率较高且鲁棒性较好的人形识别方法。
发明内容
有鉴于此，本发明的主要目的在于实现人形识别，且识别率和鲁棒性较好。
为达到上述目的，按照本发明的第一个方面，提供了一种人形识别方法，该方法包括：
第一步骤，输入视频图像，对视频图像进行运动目标检测，获取运动目标区域；
第二步骤，对运动目标区域进行团块处理、面积过滤和宽高比过滤，获取人形候选区域；
第三步骤，对样本图像进行随机采样，对卷积神经网络进行初次训练，根据初次训练的分类器模型，获取难例负样本，根据正样本和难例负样本对初次训练的分类器模型进行二次训练，获取人形分类器模型；
第四步骤，采用人形分类器模型对人形候选区域进行分类，输出分类结果。
进一步地，所述第二步骤包括：
团块处理步骤，对运动目标区域进行小团块合并、孤立小团块滤除、过大团块分割处理；
面积过滤步骤，计算运动目标区域的面积，如果运动目标区域的面积小于第一阈值，则滤除对应的运动目标区域；
宽高比过滤步骤，计算运动目标区域的宽度与高度的比值，如果运动目标区域的宽度与高度的比值小于第二阈值，则滤除对应的运动目标区域；
人形候选区域输出步骤，将剩余的运动目标区域作为人形候选区域输出。
进一步地，所述团块处理步骤包括：
小团块合并步骤，在当前帧图像内，根据任意两个运动目标区域的宽度、高度和间距，判断这两个运动目标区域是否进行合并处理；
孤立小团块滤除步骤，在当前帧图像内，根据运动目标区域的面积、以及与其他运动目标区域的间距，将属于孤立小团块的运动目标区域滤除；
过大团块分割步骤，在当前帧图像内，根据运动目标区域的面积与视频图像面积的比值，将属于过大团块的运动目标区域进行分割处理。
进一步地，所述第三步骤包括：
随机采样步骤，输入已标记目标的图像，将每个标记目标作为正样本，统计正样本的数量NUM1，从标记目标以外的背景区域中随机抽取NUM2个负样本；
难例负样本选取步骤，根据正样本和负样本，对卷积神经网络进行初次训练，获取初次训练的分类器模型，并对所有负样本按照概率值从高到底进行排序，选取前NUM3个作为难例负样本；
二次训练步骤，根据正样本和难例负样本，对初次训练的分类器模型进行二次训练，获取人形分类器模型。
进一步地，选用center-loss损失函数与softmax-loss损失函数的联合作为损失函数，根据损失函数对所述卷积神经网络进行分类训练。
按照本发明的另一个方面，提供了一种人形识别装置，该装置包括：
运动目标区域获取模块，用于输入视频图像，对视频图像进行运动目标检测，获取运动目标区域；
团块处理和过滤模块，用于对运动目标区域进行团块处理、面积过滤和宽高比过滤，获取人形候选区域；
样本挖掘和人形分类器模型获取模块，用于对样本图像进行随机采样，对卷积神经网络进行初次训练，根据初次训练的分类器模型，获取难例负样本，根据正样本和难例负样本对初次训练的分类器模型进行二次训练，获取人形分类器模型；
人形分类和结果输出模块，用于采用人形分类器模型对人形候选区域进行分类，输出分类结果。
进一步地，所述团块处理和过滤模块包括：
团块处理模块，用于对运动目标区域进行小团块合并、孤立小团块滤除、过大团块分割处理；
面积过滤模块，用于计算运动目标区域的面积，如果运动目标区域的面积小于第一阈值，则滤除对应的运动目标区域；
宽高比过滤模块，用于计算运动目标区域的宽度与高度的比值，如果运动目标区域的宽度与高度的比值小于第二阈值，则滤除对应的运动目标区域；
人形候选区域输出模块，用于将剩余的运动目标区域作为人形候选区域输出。
进一步地，所述团块处理模块包括：
小团块合并模块，用于在当前帧图像内，根据任意两个运动目标区域的宽度、高度和间距，判断这两个运动目标区域是否进行合并处理；
孤立小团块滤除模块，用于在当前帧图像内，根据运动目标区域的面积、以及与其他运动目标区域的间距，将属于孤立小团块的运动目标区域滤除；
过大团块分割模块，用于在当前帧图像内，根据运动目标区域的面积与视频图像面积的比值，将属于过大团块的运动目标区域进行分割处理。
进一步地，所述样本挖掘和人形分类器模型获取模块包括：
随机采样模块，用于输入已标记目标的图像，将每个标记目标作为正样本，统计正样本的数量NUM1，从标记目标以外的背景区域中随机抽取NUM2个负样本；
难例负样本选取模块，用于根据正样本和负样本，对卷积神经网络进行初次训练，获取初次训练的分类器模型，并对所有负样本按照概率值从高到底进行排序，选取前NUM3个作为难例负样本；
二次训练模块，用于根据正样本和难例负样本，对初次训练的分类器模型进行二次训练，获取人形分类器模型。
与现有的人形识别技术相比，本发明的一种人形识别方法及装置一方面采用运动目标检测和团块处理和区域筛选，以获取人形候选区域，提高了检测速度；另一方面采用卷积神经网络对样本进行二次训练，根据训练好的人形分类模型对人形候选区域进行分类，提高了人形识别的准确率。
附图说明
图1示出了按照本发明的人形识别方法的流程图。
图2示出了按照本发明的人形识别装置的框架图。
具体实施方式
为使本领域的技术人员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的人形识别方法的流程图。如图1所示，按照本发明的人形识别方法包括：
第一步骤S1，输入视频图像，对视频图像进行运动目标检测，获取运动目标区域；
第二步骤S2，对运动目标区域进行团块处理、面积过滤和宽高比过滤，获取人形候选区域；
第三步骤S3，对样本图像进行随机采样，对卷积神经网络进行初次训练，根据初次训练的分类器模型，获取难例负样本，根据正样本和难例负样本对初次训练的分类器模型进行二次训练，获取人形分类器模型；
第四步骤S4，采用人形分类器模型对人形候选区域进行分类，输出分类结果。
所述第一步骤S1中运动目标检测可以采用现有的运动目标检测或者移动目标检测方法实现，包括但不限于以下一种或者多种方法的组合：基于背景建模的运动目标检测、基于帧差法的运动目标检测、基于光流法的运动目标检测等。示例性地，输入视频图像，采用基于混合高斯背景建模的运动目标检测方法，从视频图像中获取运动目标区域。
进一步地，所述第二步骤S2包括：
团块处理步骤S21，对运动目标区域进行小团块合并、孤立小团块滤除、过大团块分割处理；
面积过滤步骤S22，计算运动目标区域的面积，如果运动目标区域的面积小于第一阈值，则滤除对应的运动目标区域；
宽高比过滤步骤S23，计算运动目标区域的宽度与高度的比值，如果运动目标区域的宽度与高度的比值小于第二阈值，则滤除对应的运动目标区域；
人形候选区域输出步骤S24，将剩余的运动目标区域作为人形候选区域输出。
进一步地，所述团块处理步骤S21包括：
小团块合并步骤S211，在当前帧图像内，根据任意两个运动目标区域的宽度、高度和间距，判断这两个运动目标区域是否进行合并处理；
孤立小团块滤除步骤S212，在当前帧图像内，根据运动目标区域的面积、以及与其他运动目标区域的间距，将属于孤立小团块的运动目标区域滤除；
过大团块分割步骤S213，在当前帧图像内，根据运动目标区域的面积与视频图像面积的比值，将属于过大团块的运动目标区域进行分割处理。
进一步地，所述小团块合并步骤S211包括：对于当前帧图像内的任意两个运动目标区域Bi和Bj，计算运动目标区域Bi的宽度WBi和高度HBi，计算运动目标区域Bj的宽度WBj和高度HBj，分别计算运动目标区域Bi和Bj在x和y方向上的间距Xdij、Ydij，如果同时满足和则将运动目标区域Bi和Bj合并成一个运动目标区域，其中i，j∈{1，2，…，BNum1}，i≠j，BNum1为当前帧图像内的运动目标区域的个数，W和H为当前帧图像的宽度和高度。
进一步地，所述孤立小团块滤除步骤S212包括：对于当前帧图像，分别计算每个运动目标区域的面积，获取运动目标区域的面积最大值SBmax，对于任意一个运动目标区域Bp，如果满足则认为运动目标区域Bp为孤立小团块，将运动目标区域Bp滤除，其中p∈{1，2，…，BNum2}，BNum2为当前帧图像内的运动目标区域的个数，SBp为运动目标区域Bp的面积。
进一步地，所述过大团块分割步骤S213包括：对于当前帧图像内的任意一个运动目标区域Bq，计算运动目标区域Bq的面积SBq与当前帧图像的面积S的比值如果则认为运动目标区域Bq为过大团块，并采用前景密度分布分割法，将运动目标区域Bq分割成一个或者多个运动目标区域，其中q∈{1，2，…，BNum3}，BNum3为当前帧图像内的运动目标区域的个数。
进一步地，所述过大团块分割步骤S213中前景密度分布分割法包括：对于认为是过大团块的运动目标区域Bq，构建一个宽度为高度为的滑动窗口，采用滑动窗口在运动目标区域Bq内依次滑动一遍，统计每个滑动窗口区域内的前景点的数量值，获取滑动窗口区域内前景点数量值的最大值WFNummax，将前景点数量值为WFNummax的滑动窗口区域作为分割的运动目标区域Bq1；将运动目标区域Bq内除运动目标区域Bq1以外的部分作为分割子区域，分别计算每个分割子区域的面积，如果某个分割子区域的面积与运动目标区域Bq1面积的比值小于则滤除此分割子区域，如果某个分割子区域的面积与运动目标区域Bq1面积的比值位于之间，则将此分割子区域与运动目标区域Bq1合并，如果某个分割子区域的面积与运动目标区域Bq1面积的比值大于则将此分割子区域作为分割的运动目标区域。
进一步地，所述T1的取值范围为2～8，所述T2的取值范围为3～8，所述T3的取值范围为2～8，所述T4的取值范围为2～8，所述T5的取值范围为8～12，所述T6的取值范围为2～6。进一步地，所述T1的取值范围为2～4，所述T2的取值范围为4～6，所述T3的取值范围为2～4，所述T4的取值范围为2～4，T5的取值范围为9～11，所述T6的取值范围为3～5。
进一步地，所述第一阈值的取值范围为500～1000。示例性地，计算运动目标区域的面积，如果运动目标区域的面积小于900，则滤除对应的运动目标区域。
进一步地，所述第二阈值的取值范围为0.2～0.3。示例性地，计算运动目标区域的宽度与高度的比值，如果运动目标区域的宽度与高度的比值小于0.25，则滤除对应的运动目标区域。
进一步地，所述第三步骤S3包括：
随机采样步骤S31，输入已标记目标的图像，将每个标记目标作为正样本，统计正样本的数量NUM1，从标记目标以外的背景区域中随机抽取NUM2个负样本；
难例负样本选取步骤S32，根据正样本和负样本，对卷积神经网络进行初次训练，获取初次训练的分类器模型，并对所有负样本按照概率值从高到底进行排序，选取前NUM3个作为难例负样本；
二次训练步骤S33，根据正样本和难例负样本，对初次训练的分类器模型进行二次训练，获取人形分类器模型。
所述NUM2和NUM3可以根据实际需要进行人工设置。进一步地，所述NUM2的取值范围为100～100万，所述NUM3的取值范围为50～10万。
所述NUM2和NUM3也可以根据实际需要进行自动设置。进一步地，所述NUM2自动设置为NUM1的T7倍，所述NUM3自动设置为NUM1的T8倍。进一步地，所述T7的取值范围为3～20，所述T8的取值范围为1～10。
进一步地，所述卷积神经网络采用center-loss与softmax-loss的联合损失函数，对样本进行分类训练。
所述center-loss与softmax-loss的联合损失函数为：L＝Ls+λLc，其中为softmax-loss损失函数，为center-loss损失函数。示例性地，所述softmax-loss损失函数和center-loss损失函数可以参照“ADiscriminative Feature Learning Approach for Deep Face Recognition.Y Wen，KZhang，Z Li，Y Qiao.Springer International Publishing,2016,47(9):499-515”论文。
进一步地，所述center-loss损失函数改为：当i为1时，样本属于正样本，δ(i＝1)为1；当i为0时，样本属于负样本，δ(i＝1)为0。
所述卷积神经网络可以采用现有的卷积神经网络实现。
示例性地，所述卷积神经网络包括：6个卷积层、5个ReLU激活函数层、1个全连接层。输入为64×64的图像，输出为人形识别结果。卷积过程中采用步长为2、核为3*3的卷积核进行特征提取和池化。
进一步地，所述第四步骤S4中分类结果包括：人形识别的结果和人形框的位置。
进一步地，所述第四步骤S4中分类结果还包括：人形识别的概率值。
图2给出了按照本发明的人形识别装置的框架图。如图2所示，按照本发明的人形识别装置包括：
运动目标区域获取模块1，用于输入视频图像，对视频图像进行运动目标检测，获取运动目标区域；
团块处理和过滤模块2，用于对运动目标区域进行团块处理、面积过滤和宽高比过滤，获取人形候选区域；
样本挖掘和人形分类器模型获取模块3，用于对样本图像进行随机采样，对卷积神经网络进行初次训练，根据初次训练的分类器模型，获取难例负样本，根据正样本和难例负样本对初次训练的分类器模型进行二次训练，获取人形分类器模型；
人形分类和结果输出模块4，用于采用人形分类器模型对人形候选区域进行分类，输出分类结果。
进一步地，所述团块处理和过滤模块2包括：
团块处理模块21，用于对运动目标区域进行小团块合并、孤立小团块滤除、过大团块分割处理；
面积过滤模块22，用于计算运动目标区域的面积，如果运动目标区域的面积小于第一阈值，则滤除对应的运动目标区域；
宽高比过滤模块23，用于计算运动目标区域的宽度与高度的比值，如果运动目标区域的宽度与高度的比值小于第二阈值，则滤除对应的运动目标区域；
人形候选区域输出模块24，用于将剩余的运动目标区域作为人形候选区域输出。
进一步地，所述团块处理模块21包括：
小团块合并模块211，用于在当前帧图像内，根据任意两个运动目标区域的宽度、高度和间距，判断这两个运动目标区域是否进行合并处理；
孤立小团块滤除模块212，用于在当前帧图像内，根据运动目标区域的面积、以及与其他运动目标区域的间距，将属于孤立小团块的运动目标区域滤除；
过大团块分割模块213，用于在当前帧图像内，根据运动目标区域的面积与视频图像面积的比值，将属于过大团块的运动目标区域进行分割处理。
进一步地，所述小团块合并模块211包括：用于对于当前帧图像内的任意两个运动目标区域Bi和Bj，计算运动目标区域Bi的宽度WBi和高度HBi，计算运动目标区域Bj的宽度WBj和高度HBj，分别计算运动目标区域Bi和Bj在x和y方向上的间距Xdij、Xdij，如果同时满足和则将运动目标区域Bi和Bj合并成一个运动目标区域，其中i，j∈{1，2，…，BNum1}，i≠j，BNum1为当前帧图像内的运动目标区域的个数，W和H为当前帧图像的宽度和高度。
进一步地，所述孤立小团块滤除模块212包括：用于对于当前帧图像，分别计算每个运动目标区域的面积，获取运动目标区域的面积最大值SBmax，对于任意一个运动目标区域Bp，如果满足则认为运动目标区域Bp为孤立小团块，将运动目标区域Bp滤除，其中p∈{1，2，…，BNum2}，BNum2为当前帧图像内的运动目标区域的个数，SBp为运动目标区域Bp的面积。
进一步地，所述过大团块分割模块213包括：用于对于当前帧图像内的任意一个运动目标区域Bq，计算运动目标区域Bq的面积SBq与当前帧图像的面积S的比值如果则认为运动目标区域Bq为过大团块，并采用前景密度分布分割法，将运动目标区域Bq分割成一个或者多个运动目标区域，其中q∈{1，2，…，BNum3}，BNum3为当前帧图像内的运动目标区域的个数。
进一步地，所述样本挖掘和人形分类器模型获取模块3包括：
随机采样模块31，用于输入已标记目标的图像，将每个标记目标作为正样本，统计正样本的数量NUM1，从标记目标以外的背景区域中随机抽取NUM2个负样本；
难例负样本选取模块32，用于根据正样本和负样本，对卷积神经网络进行初次训练，获取初次训练的分类器模型，并对所有负样本按照概率值从高到底进行排序，选取前NUM3个作为难例负样本；
二次训练模块33，用于根据正样本和难例负样本，对初次训练的分类器模型进行二次训练，获取人形分类器模型。
与现有的人形识别技术相比，本发明的一种人形识别方法及装置一方面采用运动目标检测和团块处理和区域筛选，以获取人形候选区域，提高了检测速度；另一方面采用卷积神经网络对样本进行二次训练，根据训练好的人形分类模型对人形候选区域进行分类，提高了人形识别的准确率。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (15)

1.一种人形识别方法，其特征在于，该方法包括：
第一步骤，输入视频图像，对视频图像进行运动目标检测，获取运动目标区域；
第二步骤，对运动目标区域进行团块处理、面积过滤和宽高比过滤，获取人形候选区域；
第三步骤，对样本图像进行随机采样，对卷积神经网络进行初次训练，根据初次训练的分类器模型，获取难例负样本，根据正样本和难例负样本对初次训练的分类器模型进行二次训练，获取人形分类器模型；
第四步骤，采用人形分类器模型对人形候选区域进行分类，输出分类结果。
2.如权利要求1所述的方法，其特征在于，所述第二步骤包括：
团块处理步骤，对运动目标区域进行小团块合并、孤立小团块滤除、过大团块分割处理；
面积过滤步骤，计算运动目标区域的面积，如果运动目标区域的面积小于第一阈值，则滤除对应的运动目标区域；
宽高比过滤步骤，计算运动目标区域的宽度与高度的比值，如果运动目标区域的宽度与高度的比值小于第二阈值，则滤除对应的运动目标区域；
人形候选区域输出步骤，将剩余的运动目标区域作为人形候选区域输出。
3.如权利要求2所述的方法，其特征在于，所述团块处理步骤包括：
小团块合并步骤，在当前帧图像内，根据任意两个运动目标区域的宽度、高度和间距，判断这两个运动目标区域是否进行合并处理；
孤立小团块滤除步骤，在当前帧图像内，根据运动目标区域的面积、以及与其他运动目标区域的间距，将属于孤立小团块的运动目标区域滤除；
过大团块分割步骤，在当前帧图像内，根据运动目标区域的面积与视频图像面积的比值，将属于过大团块的运动目标区域进行分割处理。
4.如权利要求3所述的方法，其特征在于，所述小团块合并步骤包括：对于当前帧图像内的任意两个运动目标区域Bi和Bj，计算运动目标区域Bi的宽度WBi和高度HBi，计算运动目标区域Bj的宽度WBj和高度HBj，分别计算运动目标区域Bi和Bj在x和y方向上的间距Xdij、Ydij，如果同时满足和则将运动目标区域Bi和Bj合并成一个运动目标区域，其中i，j∈{1，2，…，BNum1}，i≠j，BNum1为当前帧图像内的运动目标区域的个数，W和H为当前帧图像的宽度和高度。
5.如权利要求3所述的方法，其特征在于，所述孤立小团块滤除步骤包括：对于当前帧图像，分别计算每个运动目标区域的面积，获取运动目标区域的面积最大值SBmax，对于任意一个运动目标区域Bp，如果满足则认为运动目标区域Bp为孤立小团块，将运动目标区域Bp滤除，其中p∈{1，2，…，BNum2}，BNum2为当前帧图像内的运动目标区域的个数，SBp为运动目标区域Bp的面积。
6.如权利要求3所述的方法，其特征在于，所述过大团块分割步骤包括：对于当前帧图像内的任意一个运动目标区域Bq，计算运动目标区域Bq的面积SBq与当前帧图像的面积S的比值如果则认为运动目标区域Bq为过大团块，并采用前景密度分布分割法，将运动目标区域Bq分割成一个或者多个运动目标区域，其中q∈{1，2，…，BNum3}，BNum3为当前帧图像内的运动目标区域的个数；
其中，所述前景密度分布分割法包括：对于认为是过大团块的运动目标区域Bq，构建一个宽度为高度为的滑动窗口，采用滑动窗口在运动目标区域Bq内依次滑动一遍，统计每个滑动窗口区域内的前景点的数量值，获取滑动窗口区域内前景点数量值的最大值WFNummax，将前景点数量值为WFNummax的滑动窗口区域作为分割的运动目标区域Bq1；将运动目标区域Bq内除运动目标区域Bq1以外的部分作为分割子区域，分别计算每个分割子区域的面积，如果某个分割子区域的面积与运动目标区域Bq1面积的比值小于则滤除此分割子区域，如果某个分割子区域的面积与运动目标区域Bq1面积的比值位于之间，则将此分割子区域与运动目标区域Bq1合并，如果某个分割子区域的面积与运动目标区域Bq1面积的比值大于则将此分割子区域作为分割的运动目标区域。
7.如权利要求1所述的方法，其特征在于，所述第三步骤包括：
随机采样步骤，输入已标记目标的图像，将每个标记目标作为正样本，统计正样本的数量NUM1，从标记目标以外的背景区域中随机抽取NUM2个负样本；
难例负样本选取步骤，根据正样本和负样本，对卷积神经网络进行初次训练，获取初次训练的分类器模型，并对所有负样本按照概率值从高到底进行排序，选取前NUM3个作为难例负样本；
二次训练步骤，根据正样本和难例负样本，对初次训练的分类器模型进行二次训练，获取人形分类器模型；
其中，所述NUM2和NUM3人工设置数值或者自动设置数值。
8.如权利要求7所述的方法，其特征在于，所述卷积神经网络采用center-loss与softmax-loss的联合损失函数，对样本进行分类训练；
其中，所述center-loss与softmax-loss的联合损失函数为：L＝Ls+λLc，其中为softmax-loss损失函数，为center-loss损失函数。
9.如权利要求8所述的方法，其特征在于，所述center-loss损失函数改为：当i为1时，样本属于正样本，δ(i＝1)为1；当i为0时，样本属于负样本，δ(i＝1)为0。
10.如权利要求7所述的方法，进一步地，所述NUM2自动设置为NUM1的T7倍，所述NUM3自动设置为NUM1的T8倍。
11.如权利要求1～10所述的方法，进一步，所述T1的取值范围为2～8，所述T2的取值范围为3～8，所述T3的取值范围为2～8，所述T4的取值范围为2～8，所述T5的取值范围为8～12，所述T6的取值范围为2～6；
所述第一阈值的取值范围为500～1000，所述第二阈值的取值范围为0.2～0.3；
所述T7的取值范围为3～20，所述T8的取值范围为1～10。
12.一种人形识别装置，其特征在于，该装置包括：
运动目标区域获取模块，用于输入视频图像，对视频图像进行运动目标检测，获取运动目标区域；
团块处理和过滤模块，用于对运动目标区域进行团块处理、面积过滤和宽高比过滤，获取人形候选区域；
样本挖掘和人形分类器模型获取模块，用于对样本图像进行随机采样，对卷积神经网络进行初次训练，根据初次训练的分类器模型，获取难例负样本，根据正样本和难例负样本对初次训练的分类器模型进行二次训练，获取人形分类器模型；人形分类和结果输出模块，用于采用人形分类器模型对人形候选区域进行分类，输出分类结果。
13.如权利要求12所述的装置，其特征在于，所述团块处理和过滤模块包括：团块处理模块，用于对运动目标区域进行小团块合并、孤立小团块滤除、过大团块分割处理；
面积过滤模块，用于计算运动目标区域的面积，如果运动目标区域的面积小于第一阈值，则滤除对应的运动目标区域；
宽高比过滤模块，用于计算运动目标区域的宽度与高度的比值，如果运动目标区域的宽度与高度的比值小于第二阈值，则滤除对应的运动目标区域；
人形候选区域输出模块，用于将剩余的运动目标区域作为人形候选区域输出。
14.如权利要求13所述的装置，其特征在于，所述团块处理模块包括：
小团块合并模块，用于在当前帧图像内，根据任意两个运动目标区域的宽度、高度和间距，判断这两个运动目标区域是否进行合并处理；
孤立小团块滤除模块，用于在当前帧图像内，根据运动目标区域的面积、以及与其他运动目标区域的间距，将属于孤立小团块的运动目标区域滤除；
过大团块分割模块，用于在当前帧图像内，根据运动目标区域的面积与视频图像面积的比值，将属于过大团块的运动目标区域进行分割处理。
15.如权利要求12所述的装置，其特征在于，所述样本挖掘和人形分类器模型获取模块包括：
随机采样模块，用于输入已标记目标的图像，将每个标记目标作为正样本，统计正样本的数量NUM1，从标记目标以外的背景区域中随机抽取NUM2个负样本；难例负样本选取模块，用于根据正样本和负样本，对卷积神经网络进行初次训练，获取初次训练的分类器模型，并对所有负样本按照概率值从高到底进行排序，选取前NUM3个作为难例负样本；
二次训练模块，用于根据正样本和难例负样本，对初次训练的分类器模型进行二次训练，获取人形分类器模型。
CN201810972475.5A 2018-08-24 2018-08-24 一种人形识别方法及装置 Pending CN109271877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810972475.5A CN109271877A (zh) 2018-08-24 2018-08-24 一种人形识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810972475.5A CN109271877A (zh) 2018-08-24 2018-08-24 一种人形识别方法及装置

Publications (1)

Publication Number Publication Date
CN109271877A true CN109271877A (zh) 2019-01-25

Family

ID=65154311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810972475.5A Pending CN109271877A (zh) 2018-08-24 2018-08-24 一种人形识别方法及装置

Country Status (1)

Country Link
CN (1) CN109271877A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160484A (zh) * 2019-12-31 2020-05-15 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN112529026A (zh) * 2019-09-17 2021-03-19 华为技术有限公司 提供ai模型的方法、ai平台、计算设备及存储介质
CN113610835A (zh) * 2021-08-23 2021-11-05 深圳市万佳安物联科技股份有限公司 看护摄像机的人形检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944442A (zh) * 2017-11-09 2018-04-20 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108171196A (zh) * 2018-01-09 2018-06-15 北京智芯原动科技有限公司 一种人脸检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944442A (zh) * 2017-11-09 2018-04-20 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108171196A (zh) * 2018-01-09 2018-06-15 北京智芯原动科技有限公司 一种人脸检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BIGCOWPEKING: "目标检测之Loss：Center Loss梯度更新", 《CSDN》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529026A (zh) * 2019-09-17 2021-03-19 华为技术有限公司 提供ai模型的方法、ai平台、计算设备及存储介质
CN112529026B (zh) * 2019-09-17 2023-12-19 华为云计算技术有限公司 提供ai模型的方法、ai平台、计算设备及存储介质
CN111160484A (zh) * 2019-12-31 2020-05-15 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN111160484B (zh) * 2019-12-31 2023-08-29 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN113610835A (zh) * 2021-08-23 2021-11-05 深圳市万佳安物联科技股份有限公司 看护摄像机的人形检测方法
CN113610835B (zh) * 2021-08-23 2022-07-08 深圳市万佳安物联科技股份有限公司 看护摄像机的人形检测方法

Similar Documents

Publication Publication Date Title
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN104244113B (zh) 一种基于深度学习技术的视频摘要生成方法
CN110059581A (zh) 基于场景深度信息的人群计数方法
CN114049477B (zh) 一种过鱼鱼道系统、鱼类数量和种类的动态识别跟踪方法
CN105678811A (zh) 一种基于运动检测的人体异常行为检测方法
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN104320617B (zh) 一种基于深度学习的全天候视频监控方法
US20130070969A1 (en) Method and system for people flow statistics
CN105469105A (zh) 一种基于视频监控的香烟烟雾检测方法
CN104992223A (zh) 基于深度学习的密集人数估计方法
CN109271877A (zh) 一种人形识别方法及装置
CN108171196A (zh) 一种人脸检测方法及装置
CN103344583B (zh) 一种基于机器视觉的镨-钕(Pr/Nd)组分含量检测系统及方法
CN105513066B (zh) 一种基于种子点选取与超像素融合的通用物体检测方法
Mohan et al. Video image processing for moving object detection and segmentation using background subtraction
Gyawali et al. Comparative analysis of multiple deep CNN models for waste classification
CN107590427B (zh) 基于时空兴趣点降噪的监控视频异常事件检测方法
CN103246896A (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN102214309A (zh) 一种基于头肩模型的特定人体识别方法
CN103714181A (zh) 一种层级化的特定人物检索方法
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN109815945A (zh) 一种基于图像识别的呼吸道检查结果判读系统和方法
Geetha et al. Detection and estimation of the extent of flood from crowd sourced images
CN103226860A (zh) 一种通道客流密度估计方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125

RJ01 Rejection of invention patent application after publication