CN108090397A - 基于红外图像的行人检测系统 - Google Patents

基于红外图像的行人检测系统 Download PDF

Info

Publication number
CN108090397A
CN108090397A CN201611029651.9A CN201611029651A CN108090397A CN 108090397 A CN108090397 A CN 108090397A CN 201611029651 A CN201611029651 A CN 201611029651A CN 108090397 A CN108090397 A CN 108090397A
Authority
CN
China
Prior art keywords
image
lbp
infrared
pedestrian
mcs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611029651.9A
Other languages
English (en)
Inventor
毛振刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN GREAT WALL KEAN ELECTRONICS TECHNOLOGY CO LTD
Original Assignee
TIANJIN GREAT WALL KEAN ELECTRONICS TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN GREAT WALL KEAN ELECTRONICS TECHNOLOGY CO LTD filed Critical TIANJIN GREAT WALL KEAN ELECTRONICS TECHNOLOGY CO LTD
Priority to CN201611029651.9A priority Critical patent/CN108090397A/zh
Publication of CN108090397A publication Critical patent/CN108090397A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于红外图像的行人检测系统，其特征在于：包括300D热红外摄像机，用于采集包含单个和多个行人不同穿着，不同姿势下的图片；用于增强原图像的对比度，突出目标，减少图像中噪声和杂波的图像预处理单元；用于计算各个目标区域的高宽比和形状分散度，对各个目标区域进行检测识别的区域分割单元；所述的系统还包括噪声滤除单元、目标识别单元；目标识别单元包括MCS‑LBP模式、特征融合、2D人体模型法、分类器。本发明采用300D热红外摄像机与MCS‑LBP模式相结合的红外视频行人检测法，能够在夜间和恶劣天气条件下进行行人检测识别，且没有颜色或强烈的纹理结构，可实现远距离、全天候观察。

Description

基于红外图像的行人检测系统
技术领域
本发明专利属于行人检测领域，尤其是一种基于红外图像的行人检测系统。
背景技术
行人检测时行人所处的背景环境比较复杂，并且噪声干扰也较大，其本身的姿态和动作变化多端以及行人的衣着的多样性，都使得行人的形状和亮度变化比较大，不利于特征的提取；行人随身物品如背包、雨伞等，使得行人的轮廓发生较大变化，提高了检测识别的难度，行人检测也是获取城市道路行人信息的主要途径，也是对人的行为进行分析和理解的基础，是车辆辅助驾驶技术的主要组成部分。因此目前国内外的研究者主要使用的行人检测技术分为基于视觉传感器的行人检测技术，然而，由于基于传统的视觉传感器采集的图像易受光照的影响，对图像中的目标识别存在很大难度，且在夜晚、雨天或有雾的天气情况下根本无法使用，因此行人检测是一个非常复杂的问题。
发明内容
本发明的目的在于克服现有技术的不足，采用300D热红外摄像机与MCS-LBP模式相结合的红外视频行人检测法，能够在夜间和恶劣天气条件下进行行人检测识别，且没有颜色或强烈的纹理结构，可实现远距离、全天候观察。
本发明解决其技术问题是采取以下技术方案实现的：
包括300D热红外摄像机，用于采集包含单个和多个行人不同穿着，不同姿势下的图片；用于增强原图像的对比度，突出目标，减少图像中噪声和杂波的图像预处理单元；用于计算各个目标区域的高宽比和形状分散度，对各个目标区域进行检测识别的区域分割单元；所述的系统还包括噪声滤除单元、目标识别单元，其中噪声滤除单元采用开运算以及小面积区域去除的方法，滤除图像中的孤立点噪声和干扰；目标识别单元包括MCS-LBP模式、特征融合、2D人体模型法、分类器；目标识别单元采用MCS-LBP模式的提取方法，提取红外纹理特征；采用2D人体模型法建立一个2D的人体概率模型；分类器判别目标是否为行人。
而且，所述的300D热红外摄像机可用在白天或黑夜，没有颜色或强烈的纹理特征，不需要红外光源照明，不存在阴影问题，可实现对感兴趣目标的远距离、全天候观察。
而且，所述的区域分割单元采用自适应阈值选取的方法对图像中的高亮区域进行阈值分割，增强图像的细节信息，使图像中的行人轮廓比较清晰，且不会增加图像噪声。
而且，所述的MCS-LBP模式的红外图像特征提取流程为：首先提取原始图像的MCS-LBP编码特征图像，对原始红外图像进行CS-LBP特征提取，得到一级编码特征图像，同样，再对一级编码特征图像进行CS-LBP特征提取，得到原始图像的二级编码特征图像；然后分别将每级编码特征图像划分为16*16的小区域，并将各个小区域统计直方图连接成一维的直方图特征向量；最后将不同级别的CS-LBP直方图特征向量连接起来，构成了原始图像的MCS-LBP纹理特征向量。
而且，所述的分类器采用BP神经网络实现目标区域的识别，可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题，允许图像有较大的缺损、畸变。
本发明优点和积极效果是：
1、本发明提出了一种基于300D热红外摄像机与MCS-LBP模式相结合的红外视频行人检测法。首先对红外图像进行去噪等预处理及感兴趣区域分割，分割时采用了行人不同于周围环境的特征，滤除了一部分非行人，运用BP神经网络实现对目标区域的分类；然后提取感兴趣区域的MCS-LBP特征，得到更加丰富的红外图像纹理特征；最后使用2D人体模型法建立一个2D的人体概率模型，得到行人检测结果；该系统误报率低，有一定的稳定性和较好的识别率。
附图说明
图1是基于红外图像的行人检测系统结构图。
具体实施方式
结合附图对本发明具体实施例做进一步详述：
如图1所示，本发明所述的一种基于红外图像的行人检测系统，包括300D热红外摄像机，用于采集包含单个和多个行人不同穿着，不同姿势下的图片；用于增强原图像的对比度，突出目标，减少图像中噪声和杂波的图像预处理单元；用于计算各个目标区域的高宽比和形状分散度，对各个目标区域进行检测识别的区域分割单元；所述的系统还包括噪声滤除单元、目标识别单元，其中噪声滤除单元采用开运算以及小面积区域去除的方法，滤除图像中的孤立点噪声和干扰；目标识别单元包括MCS-LBP模式、特征融合、2D人体模型法、分类器；目标识别单元采用MCS-LBP模式的提取方法，提取红外纹理特征；采用2D人体模型法建立一个2D的人体概率模型；分类器判别目标是否为行人。
300D热红外摄像机在采集图像时安装在8层高的楼层，采用主动式红外摄像技术，采集单个和多个行人不同穿着，不同姿势的图片，配合红外灯作为照明源进行夜视成像，可实现夜视功能；将300D热红外摄像机采集到的红外图像经图像预处理单元提高图像质量和信噪比，增强图像的对比度，减少图像的噪声和杂波；为了识别场景中是否有行人，采用阈值分割选取首先对行人的形状信息、运动信息、行人的温度比周围环境高等特征，从图像中分割出感兴趣的候选区域；然后依据行人特定的特征如：形状特征以及行人运动步态特征等对候选区域进行识别，判断分割出来的感兴趣区域是否为行人；分割后的红外图像中仍存在大量的点状噪声，运用形态学中的开运算结合小面积区域去除的方法，滤除分割后图像中的点状噪声和小面积区域干扰，依据行人具有较强的垂直边缘对称性对感兴趣区域进行初步验正，并滤除一部分非行人区域；红外图像经MCS-LBP模块进行红外图像特征提取：首先提取原始图像的MCS-LBP编码特征图像，对原始红外图像进行CS-LBP特征提取，得到一级编码特征图像，同样，再对一级编码特征图像进行CS-LBP特征提取，得到原始图像的二级编码特征图像；然后分别将每级编码特征图像划分为16*16的小区域，并将各个小区域统计直方图连接成一维的直方图特征向量；最后将不同级别的CS-LBP直方图特征向量连接起来，构成了原始图像的MCS-LBP纹理特征向量；提取的红外图像样本采用2D人体模型法建立一个2D的人体概率模型，该模型包括人体的整体和各个部件的形状以及各个部件的大小和空间位置信息；采用BP神经网络作为分类器将目标分为行人和非行人，可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题，允许图像有较大的缺损、畸变，且运行速度快，自适应性能好，具有较高的分辨率。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (5)

1.一种基于红外图像的行人检测系统，其特征在于：包括300D热红外摄像机，用于采集包含单个和多个行人不同穿着，不同姿势下的图片；用于增强原图像的对比度，突出目标，减少图像中噪声和杂波的图像预处理单元；用于计算各个目标区域的高宽比和形状分散度，对各个目标区域进行检测识别的区域分割单元；所述的系统还包括噪声滤除单元、目标识别单元，其图像噪声滤除单元采用开运算以及小面积区域去除的方法，滤除图像中的孤立点噪声和干扰；目标识别单元包括MCS-LBP模式、特征融合、2D人体模型法、分类器；目标识别单元采用MCS-LBP模式的提取方法，提取红外纹理特征；采用2D人体模型法建立一个2D的人体概率模型；分类器判别目标是否为行人。
2.根据权利要求1所述的基于红外图像的行人检测系统，其特征在于：所述的300D热红外摄像机可用在白天或黑夜，没有颜色或强烈的纹理特征，不需要红外光源照明，不存在阴影问题，可实现对感兴趣目标的远距离、全天候观察。
3.根据权利要求1所述的基于红外图像的行人检测系统，其特征在于：所述的区域分割单元采用自适应阈值选取的方法对图像中的高亮区域进行阈值分割，增强图像的细节信息，使图像中的行人轮廓比较清晰，且不会增加图像噪声。
4.根据权利要求1所述的基于红外图像的行人检测系统，其特征在于：所述的MCS-LBP模式的红外图像特征提取流程为：首先提取原始图像的MCS-LBP编码特征图像，对原始红外图像进行CS-LBP特征提取，得到一级编码特征图像，同样，再对一级编码特征图像进行CS-LBP特征提取，得到原始图像的二级编码特征图像；然后分别将每级编码特征图像划分为16*16的小区域，并将各个小区域统计直方图连接成一维的直方图特征向量；最后将不同级别的CS-LBP直方图特征向量连接起来，构成了原始图像的MCS-LBP纹理特征向量。
5.根据权利要求1所述的基于红外图像的行人检测系统，其特征在于：所述的分类器采用BP神经网络实现目标区域的识别，可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题，允许图像有较大的缺损、畸变。
CN201611029651.9A 2016-11-22 2016-11-22 基于红外图像的行人检测系统 Pending CN108090397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611029651.9A CN108090397A (zh) 2016-11-22 2016-11-22 基于红外图像的行人检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611029651.9A CN108090397A (zh) 2016-11-22 2016-11-22 基于红外图像的行人检测系统

Publications (1)

Publication Number Publication Date
CN108090397A true CN108090397A (zh) 2018-05-29

Family

ID=62168504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611029651.9A Pending CN108090397A (zh) 2016-11-22 2016-11-22 基于红外图像的行人检测系统

Country Status (1)

Country Link
CN (1) CN108090397A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109084349A (zh) * 2018-09-29 2018-12-25 佛山市云米电器科技有限公司 帧差图像的噪点去除方法及其油烟处理系统和油烟机
CN109271939A (zh) * 2018-09-21 2019-01-25 长江师范学院 基于单调波方向能量直方图的热红外人体目标识别方法
CN109472230A (zh) * 2018-10-30 2019-03-15 华南理工大学 基于行人检测和互联网的运动员自动摄像推荐系统及方法
CN111105372A (zh) * 2019-12-10 2020-05-05 北京都是科技有限公司 热红外图像处理器、系统、方法及装置
CN113313078A (zh) * 2021-07-02 2021-08-27 昆明理工大学 一种基于模型优化的轻量化夜间红外图像行人检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177445A (zh) * 2013-03-13 2013-06-26 浙江大学 基于分段阈值图像分割及光斑识别的室外番茄识别方法
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统
CN105913040A (zh) * 2016-04-27 2016-08-31 重庆邮电大学 暗视觉条件下的双摄像头实时行人检测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177445A (zh) * 2013-03-13 2013-06-26 浙江大学 基于分段阈值图像分割及光斑识别的室外番茄识别方法
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统
CN105913040A (zh) * 2016-04-27 2016-08-31 重庆邮电大学 暗视觉条件下的双摄像头实时行人检测系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘丽等: "基于MCS-LBP的红外图像行人检测方法", 《北京联合大学学报(自然科学版)》 *
明英等: "基于Cauchy分布的红外视频运动目标检测", 《红外与毫米波学报》 *
梁英宏: "红外视频图像中的人体目标检测方法", 《红外与激光工程》 *
贾慧星等: "车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述", 《自动化学报》 *
郭永彩等: "红外图像中的行人检测", 《重庆大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271939A (zh) * 2018-09-21 2019-01-25 长江师范学院 基于单调波方向能量直方图的热红外人体目标识别方法
CN109271939B (zh) * 2018-09-21 2021-07-02 长江师范学院 基于单调波方向能量直方图的热红外人体目标识别方法
CN109084349A (zh) * 2018-09-29 2018-12-25 佛山市云米电器科技有限公司 帧差图像的噪点去除方法及其油烟处理系统和油烟机
CN109472230A (zh) * 2018-10-30 2019-03-15 华南理工大学 基于行人检测和互联网的运动员自动摄像推荐系统及方法
CN109472230B (zh) * 2018-10-30 2022-04-22 华南理工大学 基于行人检测和互联网的运动员自动摄像推荐系统及方法
CN111105372A (zh) * 2019-12-10 2020-05-05 北京都是科技有限公司 热红外图像处理器、系统、方法及装置
CN113313078A (zh) * 2021-07-02 2021-08-27 昆明理工大学 一种基于模型优化的轻量化夜间红外图像行人检测方法及系统
CN113313078B (zh) * 2021-07-02 2022-07-08 昆明理工大学 一种基于模型优化的轻量化夜间红外图像行人检测方法及系统

Similar Documents

Publication Publication Date Title
CN109636795B (zh) 实时无跟踪的监控视频遗留物检测方法
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN108090397A (zh) 基于红外图像的行人检测系统
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
Tripathi et al. Removal of rain from videos: a review
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
Robert Video-based traffic monitoring at day and night vehicle features detection tracking
CN101493980B (zh) 一种基于多特征融合的快速视频火焰探测方法
CN107301378B (zh) 图像中多分类器集成的行人检测方法和系统
WO2019196131A1 (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
WO2018023916A1 (zh) 一种彩色图像去阴影方法和应用
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN110175576A (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
Zin et al. Fusion of infrared and visible images for robust person detection
CN102201146A (zh) 基于主动红外视频的零照度环境火灾烟雾识别方法
CN105069816B (zh) 一种进出口人流量统计的方法及系统
CN102194108A (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
CN103996046A (zh) 基于多视觉特征融合的人员识别方法
CN112200841B (zh) 一种基于行人体态的跨域多摄像头跟踪方法和装置
CN109255326A (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
Liang et al. Methods of moving target detection and behavior recognition in intelligent vision monitoring.
CN107103301B (zh) 视频目标时空最大稳定性判别性颜色区域匹配方法和系统
Rashid et al. Detection and classification of vehicles from a video using time-spatial image
Serrano-Cuerda et al. Robust human detection and tracking in intelligent environments by information fusion of color and infrared video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180529

WD01 Invention patent application deemed withdrawn after publication