CN105975907B - 基于分布式平台的svm模型行人检测方法 - Google Patents

基于分布式平台的svm模型行人检测方法 Download PDF

Info

Publication number
CN105975907B
CN105975907B CN201610269005.3A CN201610269005A CN105975907B CN 105975907 B CN105975907 B CN 105975907B CN 201610269005 A CN201610269005 A CN 201610269005A CN 105975907 B CN105975907 B CN 105975907B
Authority
CN
China
Prior art keywords
pedestrian
detection
rdd
picture
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610269005.3A
Other languages
English (en)
Other versions
CN105975907A (zh
Inventor
武克杰
吴建伟
鲁星星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jinjia Packaging Technology Co., Ltd
Original Assignee
Jiangsu Huatong Sheng Yun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Huatong Sheng Yun Technology Co Ltd filed Critical Jiangsu Huatong Sheng Yun Technology Co Ltd
Priority to CN201610269005.3A priority Critical patent/CN105975907B/zh
Publication of CN105975907A publication Critical patent/CN105975907A/zh
Application granted granted Critical
Publication of CN105975907B publication Critical patent/CN105975907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于分布式平台的SVM模型行人检测方法，包括：采用分布式spark平台的开源通信模块接收并存储监控设备中的图片流；使用行人检测框将图片流生成多个弹性分布式数据集RDD，对每个RDD进行独立计算；将RDD中的数据集通过非线性SVM检测算法，来确定对应检测框是否为行人，如果为行人，将检测框的位置保存到新的RDD中；将所有检测为行人的RDD合并成一个新的RDD，将所有检测框中为同一个行人的检测框合并；在图片上绘制合并后的检测框的位置，并保存至分布式spark平台。将检测图片分成多个弹性分布式数据集，有效的提高行人检测的效率。同时通过对支持向量机中权值进行改进，提高对行人检测的准确度。

Description

基于分布式平台的SVM模型行人检测方法
技术领域
本发明涉及一种应用分布式平台的目标提取，快速准确检测到视频帧中行人位置的方法，具体地涉及一种基于分布式平台的SVM模型行人检测方法。
背景技术
传统的行人检测方法采用视频背景建模方法、运动差帧检测法、光流目标检测法等，这些方法先是提取目标，然后通过分类的方法提取行人。这些方法适合于背景比较简单的场景，但是在背景比较复杂的情况下，提取的目标会出现粘连现象，在分类时将其误认为是其它目标，还有背景受到光照的影响，会将背景误检测为目标。
同时，传统检测方法当行人在视频中运动速度过小、静止的情况下、运动目标受到光照的影响时，也不能有效提取出行人目标。
近期出现了许多基于模型的行人检测算法，其中检测算法分为计算性能比较好但检测精确不是较高、检测精度比较高但计算性能比较慢的两种模型。如快速线性SVM模型、adaboost检测HOG特征模型、卷积神经网络就是快速模型，非线性SVM模型、DPM模型、深度神经网络模型就是准确度比较好的模型。
中国专利文献CN 104899559公开了一种基于视频监控的快速行人检测方法，检测方法包括图像采样、参数设定和图像预处理、运动检测、利用CENTRIST描述符和线性SVM分类器进行行人检测等步骤。在原有SVM分类算法基础上提出了一种改进算法——快速分类的支持向量机算法(FCSVM)。在不明显降低SVM算法分类效果的基础上减少训练出来的支持向量的个数，减少了检测时决策函数的时间开销。该检测方法仅仅是减少支持向量机的个数，无法从根本上提高行人检测的运行速度。
发明内容
针对上述技术问题，本发明目的是：提供一种基于分布式平台的SVM模型行人检测方法，利用Spark平台中多个弹性分布式数据集能同时计算的优势，将检测图片分成多个弹性分布式数据集，然后同时进行图片块处理，能有效的提高行人检测的效率。同时通过对支持向量机中权值进行改进，增强了训练模型的泛化能力，进一步提高对行人检测的准确度。
本发明的技术方案是：
一种基于分布式平台的SVM模型行人检测方法，其特征在于，包括以下步骤：
S01：采用分布式spark平台的开源通信模块akka接收并存储监控设备中的图片流；
S02：使用行人检测框将图片流生成多个弹性分布式数据集RDD，对每个RDD进行独立计算；
S03：将RDD中的数据集通过非线性SVM检测算法，来确定对应检测框是否为行人，如果为行人，将检测框的位置保存到新的RDD中；
S04：将所有检测为行人的RDD合并成一个新的RDD，将所有检测框中为同一个行人的检测框合并；
S05：在图片上绘制合并后的检测框的位置，并保存至分布式spark平台。
优选的，所述步骤S02具体包括：
S11：将图片高度分成hd＝height/xdiv*2-2块，图片宽度分成wd＝width/ydiv*2-2块，其中，ydiv为行人检测框的行人高度，xdiv为行人检测框的行人宽度，height为图片高度，width为图片宽度；
S12：行人检测框扫描时按照水平方向扫描，当前水平方向结束时，按照垂直方向步长移动到下一个水平方向，进行下一个水平方向扫描，直至扫描完整个图片，并将对应检测框和检测框数据生成RDD，水平方向扫描的步长为行人宽度，垂直方向的步长为行人高度；
S13：缩小图片，重复步骤S11到S12，直至图片宽度和高度分别小于行人高度和宽度。
优选的，所述步骤S03具体包括：
S21：将检测框生成的图片块RDD通过SOBEL边缘检测算子再次分成3*8块的细胞块RDD；
S22：对每个细胞块RDD进行CT直方图统计，再联合生成3*8*256维移动图片块的CT特征直方图RDD；
S23：加载精确非线性SVM检测模型，通过该检测模型对联合生成的3*8*256维移动图片块的CT特征直方图RDD进行预测，如果预测结果大于0则为行人，反之则为背景。
优选的，所述步骤S22包括：以3*3模版检测框扫描细胞块RDD，若边缘值小于中心值则将边缘对应值置为0，如果大于中心值则将边缘值置为1，最后从中心开始按逆时针连接数据，转换成十进制后赋值给中心点像素值，然后将整个细胞块RDD生成对应CT特征图片块，再对图片块进行直方图统计，最终生成256维的CT特征直方图图片块。
优选的，所述步骤S23包括以下步骤：
S31：选取改进的支持向量机模型作为训练模型，其训练模型目标函数为其对应的约束条件为y＝w'φ(xi)+b+εi，通过目标函数和约束条件推导出判别函数其中权值αi＝Csiεi，C为惩罚因子，是一个可调参数，i是1到n个训练样本数目，w为权向量，si是正样本和负样本的欧式距离，并作为目标函数中惩罚因子的加权系数，b为阈值，εi为误差，φ(xi)为核函数；
S32：将惩罚因子C设成1到100之间，对预先准备好的行人的正负样本进行特征提取，对应的核函数φ(xi)为min(x(i),xs(i))，其中x(i),xs(i)是任意两个正负样本提取到的特征向量；正样本的标签是值为1，负样本标签值为-1，离线训练得到判别函数的αi和b，其中判别函数就是对应的非线性SVM检测模型；
S33：通过判断检测模型的结果yi，如果大于0，则认为该检测框里是行人，反之，则认为该检测框是背景。
优选的，所述合并检测框包括以下步骤：
S41：把检测框之间横向距离小于0.55-0.65宽度和纵向距离小于0.55-0.65高度的检测框合并；
S42：将检测框宽度超过图像宽度和高度一半的去掉，同时把检测框高度和宽度小于9-11个像素检测框去掉。
与现有技术相比，本发明的优点是：
本发明改进了训练模型和检测算法，其中主要是在训练模型目标函数中添加了惩罚因子的加权系数，增强了训练模型的泛化能力，同时采用了核函数min(x(i),xs(i))，使得检测模型更适合复杂情况和光照不稳定情况，能稳定地检测到行人。同时通过分布式spark平台将一幅图片分成多个RDD，解决了传统检测算法计算时间长和计算负载比较大的问题，能快速检测到图片中的行人，能很好地处理静态和动态图片的检测。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明基于分布式平台的SVM模型行人检测方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例：
(1)如图1中所示，把监控设备产生的需要行人检测的数据传送到分布式Spark平台上。
(2)搭建spark平台集群，使用一台服务器作为Master，4台服务器作为Slaver。其中Master主要记录了数据流之间的依赖关系并负责任务调度以及生成新的RDD。Slaver主要是实现算法的计算和数据的存储功能
(3)将接收到的图片转换成spark Streaming，然后按照行人检测框将图片流分成多个RDD来分片处理。
(4)选取改进的支持向量机模型作为训练模型，其训练模型目标函数为其对应的约束条件为y＝w'φ(xi)+b+εi，通过目标函数和约束条件推导出判别函数其中权值αi＝Csiεi，C为惩罚因子，是一个可调参数，i是1到n个训练样本数目，w为权向量，si是正样本和负样本的欧式距离，并作为目标函数中惩罚因子的加权系数，b为阈值，εi为误差，φ(xi)为核函数；
将惩罚因子C设成1到100之间，对预先准备好的行人的正负样本进行特征提取，对应的核函数φ(xi)为min(x(i),xs(i))，其中x(i),xs(i)是任意两个正负样本提取到的特征向量；正样本的标签是值为1，负样本标签值为-1，离线训练得到判别函数的αi和b，其中判别函数就是对应的非线性SVM检测模型；
通过判断检测模型的结果yi，如果大于0，则认为该检测框里是行人，反之，则认为该检测框是背景。
(5)对检测的到为行人的检测框通过spark中的join将检测框的数据放到一个新的RDD中，然后再对检测框进行合并，其中合并比较近的检测框，删除比较大和比较小的检测框。
(6)在图片上绘制合并后的检测框的位置，将检测框的位置数据赋值为255，使得保存后的图片上绘制出对应的检测框。
本发明解决模型检测性能和准确率不能兼容的问题，通过分布式中的spark平台可以快速、准确、稳定的检测到目标，同时spark平台可以并行处理多个监控设备传来的视频监控图像。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种基于分布式平台的SVM模型行人检测方法，其特征在于，包括以下步骤：
S01：采用分布式spark平台的开源通信模块akka接收并存储监控设备中的图片流；
S02：使用行人检测框将图片流生成多个弹性分布式数据集RDD，对每个RDD进行独立计算；
S03：将RDD中的数据集通过非线性SVM检测算法，来确定对应检测框是否为行人，如果为行人，将检测框的位置保存到新的RDD中；
所述步骤S03具体包括：
S21：将检测框生成的图片块RDD通过SOBEL边缘检测算子再次分成3*8块的细胞块RDD；
S22：对每个细胞块RDD进行CT直方图统计，再联合生成3*8*256维移动图片块的CT直方图RDD；
S23：加载精确非线性SVM检测模型，通过该检测模型对联合生成的3*8*256维移动图片块的CT直方图RDD进行预测，如果预测结果大于0则为行人，反之则为背景；
所述步骤S23包括以下步骤：
S31：选取改进的支持向量机模型作为训练模型，其训练模型目标函数为其对应的约束条件为y＝w'φ(xi)+b+εi，通过目标函数和约束条件推导出判别函数其中权值αi＝Csiεi，C为惩罚因子，是一个可调参数，i是1到n个训练样本数目，w为权向量，si是正样本和负样本的欧式距离，并作为目标函数中惩罚因子的加权系数，b为阈值，εi为误差，φ(xi)为核函数；
S32：将惩罚因子C设成1到100之间，对预先准备好的行人的正负样本进行特征提取，对应的核函数φ(xi)为min(x(i),xs(i))，其中x(i),xs(i)是任意两个正负样本提取到的特征向量；正样本的标签是值为1，负样本标签值为-1，离线训练得到判别函数的αi和b，其中判别函数就是对应的非线性SVM检测模型；
S33：通过判断检测模型的结果yi，如果大于0，则认为该检测框里是行人，反之，则认为该检测框是背景；
S04：将所有检测为行人的RDD合并成一个新的RDD，将所有检测框中为同一个行人的检测框合并；
S05：在图片上绘制合并后的检测框的位置，并保存至分布式spark平台。
2.根据权利要求1所述的基于分布式平台的SVM模型行人检测方法，其特征在于，所述步骤S02具体包括：
S11：将图片高度分成hd＝height/xdiv*2-2块，图片宽度分成wd＝width/ydiv*2-2块，其中，ydiv为行人检测框的行人高度，xdiv为行人检测框的行人宽度，height为图片高度，width为图片宽度；
S12：行人检测框扫描时按照水平方向扫描，当前水平方向结束时，按照垂直方向步长移动到下一个水平方向，进行下一个水平方向扫描，直至扫描完整个图片，并将对应检测框和检测框数据生成RDD，水平方向扫描的步长为行人宽度，垂直方向的步长为行人高度；
S13：缩小图片，重复步骤S11到S12，直至图片宽度和高度分别小于行人高度和宽度。
3.根据权利要求1所述的基于分布式平台的SVM模型行人检测方法，其特征在于，所述步骤S22包括：以3*3模版检测框扫描细胞块RDD，若边缘值小于中心值则将边缘对应值置为0，如果大于中心值则将边缘值置为1，最后从中心开始按逆时针连接数据，转换成十进制后赋值给中心点像素值，然后将整个细胞块RDD生成对应CT图片块，再对图片块进行直方图统计，最终生成256维的CT直方图图片块。
4.根据权利要求1所述的基于分布式平台的SVM模型行人检测方法，其特征在于，所述合并检测框包括以下步骤：
S41：把检测框之间横向距离小于0.65宽度和纵向距离小于0.65高度的检测框合并；
S42：将检测框宽度超过图像宽度和高度一半的去掉，同时把检测框高度和宽度小于11个像素检测框去掉。
CN201610269005.3A 2016-04-27 2016-04-27 基于分布式平台的svm模型行人检测方法 Active CN105975907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610269005.3A CN105975907B (zh) 2016-04-27 2016-04-27 基于分布式平台的svm模型行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610269005.3A CN105975907B (zh) 2016-04-27 2016-04-27 基于分布式平台的svm模型行人检测方法

Publications (2)

Publication Number Publication Date
CN105975907A CN105975907A (zh) 2016-09-28
CN105975907B true CN105975907B (zh) 2019-05-21

Family

ID=56993324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610269005.3A Active CN105975907B (zh) 2016-04-27 2016-04-27 基于分布式平台的svm模型行人检测方法

Country Status (1)

Country Link
CN (1) CN105975907B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897664A (zh) * 2017-01-08 2017-06-27 广东工业大学 一种基于分布式大数据平台的行人检测方法
CN107547541B (zh) * 2017-08-31 2020-07-31 武汉斗鱼网络科技有限公司 spark-mllib调用方法、存储介质、电子设备及系统
CN108121998B (zh) * 2017-12-05 2020-09-25 北京寄云鼎城科技有限公司 一种基于Spark框架的支持向量机训练方法
CN109272033B (zh) * 2018-09-06 2022-03-08 中国石油大学(华东) 一种基于步长控制的在线软间隔核学习算法
CN110247818A (zh) * 2019-05-21 2019-09-17 中国平安财产保险股份有限公司 一种数据监控方法、装置、存储介质和服务器
CN111967356A (zh) * 2020-08-04 2020-11-20 杰创智能科技股份有限公司 图像中行人检测方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609686A (zh) * 2012-01-19 2012-07-25 宁波大学 一种行人检测方法
CN103310194A (zh) * 2013-06-07 2013-09-18 太原理工大学 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN104063682A (zh) * 2014-06-03 2014-09-24 上海交通大学 一种基于边缘分级和centrist特征的行人检测方法
CN103177262B (zh) * 2013-02-19 2016-01-20 山东大学 基于hog和svm的行人检测系统的fpga架构及其实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008365B2 (en) * 2013-04-18 2015-04-14 Huawei Technologies Co., Ltd. Systems and methods for pedestrian detection in images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609686A (zh) * 2012-01-19 2012-07-25 宁波大学 一种行人检测方法
CN103177262B (zh) * 2013-02-19 2016-01-20 山东大学 基于hog和svm的行人检测系统的fpga架构及其实现方法
CN103310194A (zh) * 2013-06-07 2013-09-18 太原理工大学 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN104063682A (zh) * 2014-06-03 2014-09-24 上海交通大学 一种基于边缘分级和centrist特征的行人检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Spark Streaming的视频/图像流处理与新的性能评估方法;黄文辉 等;《计算机工程与科学》;20151130;第37卷(第11期);第1-2节

Also Published As

Publication number Publication date
CN105975907A (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
CN105975907B (zh) 基于分布式平台的svm模型行人检测方法
CN103049787B (zh) 一种基于头肩特征的人数统计方法和系统
US9224211B2 (en) Method and system for motion detection in an image
KR20140045854A (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
ES2569386T3 (es) Método y sistema para procesar una imagen de vídeo
US20120155707A1 (en) Image processing apparatus and method of processing image
CN105069816B (zh) 一种进出口人流量统计的方法及系统
CN106851302B (zh) 一种基于帧内编码压缩域的监控视频运动目标检测方法
CN108596157B (zh) 一种基于运动检测的人群惊扰场景检测方法及系统
CN109918971A (zh) 监控视频中人数检测方法及装置
Wang et al. Real-time smoke detection using texture and color features
CN110910443A (zh) 基于单监控相机的接触网几何参数实时测量方法及装置
CN111383244A (zh) 一种目标检测跟踪方法
CN103413149A (zh) 复杂背景中实现静态目标检测和识别的方法
CN105261040B (zh) 一种多目标跟踪方法及装置
Zhang et al. Real-time moving object classification with automatic scene division
CN102610104A (zh) 一种车载的前方车辆检测方法
CN105930789B (zh) 基于对数欧式空间词袋模型的人体行为识别
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
CN103955673A (zh) 一种基于头肩模型的人体识别方法
JP2013210991A (ja) 横断歩道検出装置および横断歩道検出方法
CN104156689B (zh) 一种对目标对象的特征信息进行定位的方法和设备
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN109215054A (zh) 人脸跟踪方法及系统
Piérard et al. A probabilistic pixel-based approach to detect humans in video streams

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201211

Address after: 277000 No.1 Weisan Road, West District, economic development zone, Xuecheng District, Zaozhuang City, Shandong Province

Patentee after: Shandong Jinjia Packaging Technology Co., Ltd

Address before: 215000 2-b803 Creative Industry Park, no.328 Xinghu street, Suzhou Industrial Park, Jiangsu Province

Patentee before: JIANGSU HUATONG DATA CLOUD TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right