CN109800683A - 一种基于fpga的红外行人检测方法及装置 - Google Patents
一种基于fpga的红外行人检测方法及装置 Download PDFInfo
- Publication number
- CN109800683A CN109800683A CN201811647833.1A CN201811647833A CN109800683A CN 109800683 A CN109800683 A CN 109800683A CN 201811647833 A CN201811647833 A CN 201811647833A CN 109800683 A CN109800683 A CN 109800683A
- Authority
- CN
- China
- Prior art keywords
- connected domain
- constraint
- pedestrian
- gradient
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 238000003708 edge detection Methods 0.000 claims abstract description 22
- 238000002372 labelling Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 25
- 239000006185 dispersion Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000009977 dual effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000237858 Gastropoda Species 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于FPGA的红外行人检测方法及装置，包括：采集图像及模块；采用Canny算子对采集图像进行边缘检测及模块；采用八连通准则判断边缘检测图像的连通关系，并进行连通域标记及模块；提取各连通域的特征值组成图像的特征矩阵及模块；通过行人特征约束的方式判断每一个连通域在图像中是否对应行人及模块；将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置，由此在输出视频流中标记出行人及模块。
Description
技术领域
本发明涉及一种红外图像检测技术，特别是一种基于FPGA的红外行人检测方法及装置。
背景技术
行人检测技术能够快速识别图像中的行人，及时进行安全预警和避障，在辅助驾驶、国防安保、视频监控领域均有着广泛的应用前景。在夜间、阴天或大雾等恶劣天气情况下，可见光成像能见度较低，给行人检测造成一定困难，易发生事故。红外成像是热成像，具有良好的穿透能力和较强的抗干扰能力，因此基于红外图像的行人检测技术可以实现恶劣天气情况下的行人检测与识别，较可见光而言具有很大的优势。
孙锐等在文献(基于显著性检测与HOG-NMF特征的快速行人检测方法[J].电子与信息学报，2013，35(8).)中提出的行人检测算法，较传统的行人检测算法，减少了检测时间。但是该方法只在软件仿真层面上实现，在硬件平台上的实现效果有待考证。
李琦等在文献(A robust system for real-time pedestrian detection andtracking[J].Journal ofCentral South University,2014)21:1643-1653.)中提出的行人检测方法具有较好的鲁棒性与实时性，但是对于具有较少可区分特征点的红外图像，该方法并不适用。
CN201410657480.9采用一种基于模板匹配的行人检测方法，该方法对目标边缘的边缘图进行检测，通过行人轮廓模板匹配得到检测结果。但是，其轮廓模板仅针对几种固定姿态的行人，所以该方法的检测率难以保障。
CN201510548633.0采用一种视频行人检测方法，该方法基于运动信息和轨迹关联，能够在一段视频序列中找出行人的位置及其轨迹。但是，该方法依赖运动信息，对于暂时站立不动或行动迟缓的人检测效果不佳，容易造成危险。
红外主处理芯片多为FPGA芯片，因此选取FPGA芯片作为行人检测装置电路的主要芯片可以使行人检测算法很好的集成在其中。传统的基于HOG的行人检测算法复杂度高，在FPGA上实现时检测的准确度和功耗不能同时兼顾。
发明内容
本发明的目的在于提供一种基于FPGA的红外行人检测方法及装置。
实现本发明目的的技术方案为：
一种基于FPGA的红外行人检测方法，包括以下步骤：
步骤1，采集图像；
步骤2，采用Canny算子对采集图像进行边缘检测；
步骤3，采用八连通准则判断边缘检测图像的连通关系，并进行连通域标记；
步骤4，提取各连通域的特征值组成图像的特征矩阵；
步骤5，通过行人特征约束的方式判断每一个连通域在图像中是否对应行人；
步骤6，将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置，由此在输出视频流中标记出行人。
一种基于FPGA的红外行人检测装置，包括
采集图像的图像采集模块，
采用Canny算子对采集图像进行边缘检测的边缘检测模块，
采用八连通准则判断边缘检测图像的连通关系并进行连通域标记的连通域标记模块；
提取各连通域的特征值组成图像的特征矩阵的特征提取模块，
通过行人特征约束的方式判断每一个连通域在图像中是否对应行人的行人特征约束模块，
将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置的行人标记模块。
本发明与现有技术相比，具有以下优点：(1)行人检测算法相对简单，易于FPGA实现，在降低算法复杂度的同时，又能保障本发明的行人检测装置的检测率，提高检测装置的实时性；(2)通过特征提取模块提取连通域的边界值作为特征值进行运算，充分利用行人的形状特征，存储空间占用小，有利于降低系统功耗；(3)行人特征约束模块中的边缘分散约束模块和头部特征约束模块，充分利用了行人外部轮廓特征，对于细节刻画不明显的红外图像具有较好的检测效果；(4)行人特征约束模块中的梯度约束模块，根据行人的目标性在降采样的条件下依然可以保持的原理，对梯度幅值图像降采样后进行判断，有效地剔除了背景干扰，降低了误检率。
下面结合说明书附图对本发明作进一步描述。
附图说明
图1是本发明基于FPGA的红外行人检测装置电路示意图。
图2是本发明基于FPGA的红外行人检测方法示意图。
图3是本发明连通域标记模块中初步标记窗口的示意图。
图4是本发明连通域标记模块中初步标记算法的流程图。
图5是本发明连通域标记模块中等价关系的示意图。
图6是本发明特征提取模块中的特征提取方法的示意图。
图7是本发明边缘检测模块中高斯滤波FPGA实现的示意图。
图8是本发明特征提取模块中特征值存储方式的示意图。
图9是本发明基于FPGA的红外行人检测装置检测效果图一。
图10是本发明基于FPGA的红外行人检测装置检测效果图二。
图11是本发明基于FPGA的红外行人检测装置检测效果图三。
图12是本发明基于FPGA的红外行人检测装置检测效果图四。
具体实施方式
结合图2，一种基于FPGA的红外行人检测方法，包括以下步骤：
步骤1，采集图像；
步骤2，采用Canny算子对采集图像进行边缘检测；
步骤3，采用八连通准则判断边缘检测图像的连通关系，并进行连通域标记；
步骤4，提取各连通域的特征值组成图像的特征矩阵；
步骤5，通过行人特征约束的方式判断每一个连通域在图像中是否对应行人；
步骤6，将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置，由此在输出视频流中标记出行人。
步骤2的具体过程在于：
步骤2.1，高斯滤波，具体为：
定义二维高斯平滑函数为：
其中，σ为高斯滤波器的空间尺度系数，控制图像平滑的程度；
计算G(x,y)在x和y方向上的一阶偏导Gx和Gy，且分别与图像f(i,j)做卷积，得到平滑滤波后的输出：
P(i,j)＝Gx*f(i,j) (2)
Q(i,j)＝Gy*f(i,j) (3)
步骤2.2，梯度运算，具体为：
获取滤波后每个像素点梯度幅值S(i,j)和梯度方向θ(i,j)
步骤2.3，非极大值抑制，具体为：
对每一个像素点，以该点为中心，在八邻域范围内，将该点的梯度幅值在其梯度方向θ(i,j)上与该点相邻的两个像素点的梯度幅值相比较，若该点梯度值最大则保留，否则将该点梯度值设为零；
步骤2.4，滞后双阈值处理，具体为：
设梯度值不为零的像素点为可能的边缘点，对梯度值不为零的像素点获取其中的最大梯度值Smax，设置高、低阈值分别为：
Tmax＝Smax/α (6)
Tmin＝Smax/β (7)
其中，α、β为正整数，且α＜β；
对所有可能的边缘点，若其梯度值S(i,j)≥Tmax，则判定为边缘点；而对于处于边缘端点处的点，采用递归边界跟踪法，将其八邻域内梯度值S(i,j)≥Tmin的点也判定为边缘点。
步骤3中，根据八连通准则判断边缘检测图像的连通关系，并进行连通域标记。连通域所区域为在这个区域内任意两个像素之间都能找到一条或多条由这个区域内的像素点组成的路径把这两个像素点连接起来。八连通准则是指根据目标像素的上下左右像素以及四个对角像素(即八邻域)来确定连通关系。
根据八连通准则判断边缘检测图像连通关系的具体方式如下：
设目标像素点X为中间像素，如图3所示，它的初步标记值要根据目标像素是前景像素还是背景像素以及像素A、B、C、D的初步标记值来进行判断。对于边缘检测图像而言，边缘点是前景像素，非边缘点是背景像素。目标像素的初步标记流程如图4所示。
在初步标记的过程中，当把新的初步标记值分配给某个像素时，要把这个初步标记值记录到等价表中，即初始化等价表；当出现等价关系的时候，要初步整理等价表。在初步标记完成之后，必须对已有的等价表进行再次整理，将其中的初步标记值替换为按自然数顺序排列的最终标记值。最终标记值的最大值即为图像中的连通域个数，这里设为n(n为自然数)。
步骤4中，按照如图6所示的方式建立坐标系，定义任一连通域的特征值为：上边界的x坐标值fu＝x0、下边界的x坐标值fd＝x1、左边界的y坐标值fl＝y0、右边界的y坐标值fr＝y1，那么连通域Li的特征值为fu(i)＝x0、fd(i)＝x1、fl(i)＝y0、fr(i)＝y1。
提取图像中n个连通域对应的特征值，记为该图像对应的特征矩阵FR：
步骤5中，对于上述图像中的n个连通域，需要通过行人特征约束的方式对每一个连通域进一步判断，是否符合行人特征。具体约束方式如下：
步骤5.1，形状约束：
根据每一个连通域的特征值计算该连通域外接矩形框的高度h＝fu-fd+1，宽度w＝fr-fl+1，该矩形框的高度与宽度之比为C＝h/w；统计发现，在考虑行人直立、蹲坐等情况下，行人的高度与宽度之比的范围大约在1～7之间；若1≤C≤7，则该连通域在图像中可能对应行人，进入下一判断；否则，剔除该连通域。
若1≤C≤7，若area≥Th_a，则该连通域在图像中可能对应行人，进入下一约束判断；否则，剔除该连通域；其中，各连通域的外接矩形面积area＝h×w，Th_a为面积阈值，可根据实际情况调整，本实施例取Th_a＝64。
步骤5.2，红外成像是热成像，对行人的细节刻画并不明显，行人在其中呈现为一片亮区，所以边缘检测得到的主要是行人的外部轮廓。根据行人外部轮廓特征进行边缘分散约束；边缘分散约束具体为：
对符合形状约束的连通域，计算连通域内边缘的周长P，若周长满足式(9)，则该连通域满足边缘分散约束，进入下一判断；否则，剔除该连通域。
其中，area为该连通域的面积，Th_d为分散阈值，本实施例取Th_d＝8。
步骤5.3，行人的头部在红外图像中属于高亮区，是最容易被边缘检测算子检测到的，由此本发明简单勾勒了行人头部的边缘特征，符合这一特征约束的则判定为行人。头部特征约束，对通过边缘分散约束的任一连通域Li进行如下判断：
A)若连通域外接矩形框高度与宽度之比C≤2，认定该连通域包含人的上半身；判断矩形框内边缘与直线x＝fu(i)+h/8的交点个数m，若m≥2则该连通域满足头部特征约束；
B)若连通域外接矩形框高度与宽度之比C＞2，认定该连通域包含人的全身；判断矩形框内边缘与直线x＝fu(i)+h/2的交点个数m'，若m'≥2则该连通域满足头部特征约束；
剔除不满足头部特征约束的连通域，进入下一约束判断。
步骤5.4，本发明的方法通过计算目标外接矩形框的平均灰度与其一定扩展范围的平均灰度之差来判断目标显著性。显著性约束具体为：
对符合头部特征约束的连通域，将其外接矩形框向外扩大一定距离，设外接矩形框对应的灰度均值为ave_gray，扩大部分的灰度均值为e_ave_gray，如果ave_gray、e_ave_gray它们满足式(10)，则该连通域满足显著性约束，进入下一判断；否则，剔除该连通域。
|ave_gray-e_ave_gray|≥G_ratio×max(ave_gray,e_ave_gray)(10)
其中，G_ratio是显著性约束系数；
步骤5.5，对图像降采样会导致它的分辨率变低，无法分别目标的具体种类，但是仍然可以分辨它是否为一个独立的目标。因此，行人的目标性在降采样的条件下依然可以保持。依据上述原理对通过显著性约束的连通域进行判断。梯度约束具体为：
通过训练获得8×8大小的行人梯度系数矩阵Knor；
根据边缘检测中计算出的各个像素点的梯度幅值，将各个连通域外接矩形框对应的梯度幅值图像采样成8×8的矩阵Agrad；
定义任一连通域的目标级数Ol为Knor与Agrad的内积，即
Ol＝<Knor,Agrad> (11)
若目标级数Ol满足式(12)，则该连通域满足梯度约束，则判定该连通域在图像中对应行人；否则剔除该连通域
Ol≥Thgrad (12)
其中，Thgrad是训练获得的行人目标级数阈值。
一种基于FPGA的红外行人检测装置，包括图像采集模块、边缘检测模块、连通域标记模块、特征提取模块、行人特征约束模块、行人标记模块。图像采集模块采集图像，边缘检测模块采用Canny算子对采集图像进行边缘检测，连通域标记模块采用八连通准则判断边缘检测图像的连通关系并进行连通域标记；特征提取模块提取各连通域的特征值组成图像的特征矩阵，行人特征约束模块通过行人特征约束的方式判断每一个连通域在图像中是否对应行人，行人标记模块将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置。
(1)边缘检测模块包括高斯滤波子模块、梯度运算子模块、非极大值抑制子模块和滞后双阈值处理子模块；其中
高斯滤子波模块对采集的图像进行高斯滤波；
梯度运算子模块获取滤波后每个像素点梯度幅值和梯度方向；
非极大值抑制子模块对每一个像素点和以该点为中心的八邻域范围内的相邻的两个像素点在该点梯度方向上梯度幅值大小进行判断，若该点梯度值最大则保留，否则将该点梯度值设为零；
滞后双阈值处理子模块对梯度值为非零的可能的边缘点，若其梯度值大于高阈值，则判定为边缘点；滞后双阈值处理子模块对于处于边缘端点处的点，采用递归边界跟踪法，将其八邻域内梯度值大于低阈值的点也判定为边缘点；
其中，高、低阈值分别为：
Tmax＝Smax/α (6)
Tmin＝Smax/β (7)
其中，Smax为梯度值不为零的像素点中的最大梯度值，α、β为正整数且α＜β。
(2)特征提取模块包括提取连通域特征值子模块和图像特征矩阵子模块；其中
提取连通域特征值子模块获取任一连通域的特征值：上边界的x坐标值fu、下边界的x坐标值fd、左边界的y坐标值fl、右边界的y坐标值fr(坐标系的建立方式如图6所示)；
图像特征矩阵子模块用于提取图像中n个连通域对应的特征值，记为该图像对应的特征矩阵FR：
(3)行人特征约束模块包括形状约束子模块、边缘分散约束子模块、头部特征约束子模块、显著性约束子模块、梯度约束子模块；其中
(A)形状约束子模块根据每一个连通域的特征值计算该连通域外接矩形框的高度h＝fu-fd+1，宽度w＝fr-fl+1，该矩形框的高度与宽度之比为C＝h/w；若1≤C≤7，则该连通域在图像中可能对应行人；否则，剔除该连通域；若1≤C≤7，若area≥Th_a，则该连通域在图像中可能对应行人，进入下一约束判断；否则，剔除该连通域；其中，各连通域的外接矩形面积area＝h×w，Th_a为面积阈值。
(B)边缘分散约束子模块对符合形状约束的连通域，计算连通域内边缘的周长P，若周长满足式(9)，则该连通域满足边缘分散约束；否则，剔除该连通域；
其中，area为该连通域的面积，Th_d为分散阈值。
(C)头部特征约束子模块对通过边缘分散约束的任一连通域Li进行如下判断：
a)若连通域外接矩形框高度与宽度之比C≤2，认定该连通域包含人的上半身；判断矩形框内边缘与直线x＝fu(i)+h/8的交点个数m，若m≥2则该连通域满足头部特征约束；
b)若连通域外接矩形框高度与宽度之比C＞2，认定该连通域包含人的全身；判断矩形框内边缘与直线x＝fu(i)+h/2的交点个数m'，若m'≥2则该连通域满足头部特征约束；
剔除不满足头部特征约束的连通域。
(D)显著性约束子模块对符合头部特征约束的连通域，将其外接矩形框向外扩大一定距离，设外接矩形框对应的灰度均值为ave_gray，扩大部分的灰度均值为e_ave_gray，如果ave_gray、e_ave_gray它们满足式(10)，则该连通域满足显著性约束；否则，剔除该连通域；
|ave_gray-e_ave_gray|≥G_ratio×max(ave_gray,e_ave_gray)(10)
其中，G_ratio是显著性约束系数。
(E)根据Ming-Ming Cheng在文献(BING:BinarizedNormed Gradients forObjectness Estimation at 300fps.InCVPR,2014.)中提出的方法先计算行人梯度行人梯度系数矩阵Knor，将它存储在梯度约束子模块梯度系数矩阵对应的RAM中；
根据边缘检测中计算出的各个像素点的梯度幅值，如图6所示，对于连通域Li，将以直线x＝x0，x＝x1，y＝y0，y＝y1为边界的矩形框称为该连通域的外接矩形框，各个连通域未加宽的外接矩形框对应的梯度幅值图像采样成8×8的矩阵Agrad；
定义任一连通域的目标级数Ol为Knor与Agrad的内积，即
Ol＝<Knor,Agrad> (11)
若目标级数Ol满足式(12)，则该连通域满足梯度约束，则判定该连通域在图像中对应行人；否则剔除该连通域
Ol≥Thgrad (12)
其中，Thgrad是训练获得的行人目标级数阈值。
结合图1，本实施例采用XILINX公司Spartan-6系列的FPGA开发板为硬件实现平台。系统的行人检测算法用verilog语言描述，程序编写和仿真在ISE13.4上面实现。系统通过红外相机采集视频，再通过PAL接口将视频信号传输至开发板上。
(1)图像采集模块
图像采集模块用于接收PAL接口进来的模拟信号，并完成模拟信号到数字信号的转换过程。转换得到的数字视频信号是PAL制时序的，提取它的同步信号、消隐信号和有效数据信号。将当前帧图像存储在FPGA的外部缓存DDR中进行后续处理。
(2)边缘检测模块
高斯滤波选取3×3的滤波模板，如图7所示，将前两行的数据分别输入到FPGA的内部缓存FIFO_1(一个先入先出的缓存器)的两个端口port_a和port_b中，在第三行数据到来之时，从FIFO_1中读出前两行的数据，形成3×3图像数据窗口，与高斯滤波模板卷积得到该窗口滤波后的图像数据。以此类推，获得整幅图像高斯滤波后的数据。
将高斯滤波后的图像数据输入到梯度运算模块，计算出包含方向和幅值的梯度数据，并将梯度幅值存储在FPGA的内部缓存RAM_grad中。梯度数据通过非极大值抑制模块和滞后双阈值处理模块后，获得边缘检测后的二值图像数据。
(3)连通域标记模块
根据初步标记的算法流程，将前一行的标记数据到行缓存FIFO_2中，在下一行数据到来时，读出前一行数据，形成如图3所示2×3大小的比较窗口，得到目标像素的初步标记值。初步标记过程中需要将标记值存储到FPGA的内部缓存RAM_label中，出现等价关系时，将具有等价关系的标记缓存到FIFO_3中，进行初步整理后更新RAM_label中的标记值。初步标记完成后，再次整理等价表，将最终标记值更新到RAM_label中，并将连通域标记图像存储到FPGA的内部缓存RAM_dom中。
(4)特征提取模块
连通域标记完成后，读取RAM_label中的最终标记结果，提取各连通域的特征矩阵FR，并按照图8的方式将其存储在FPGA的内部缓存RAM_feature中，其中第一列存储各个连通域的标记值，最后一列用来存储行人约束模块中的标志位。
(5)行人特征约束模块
(A)形状约束模块
读取RAM_feature中各连通域的特征值，根据特征值计算其高度与宽度之比和面积，判断它们是否符合行人的形状特征。若满足，在该连通域对应的标志位处写1，否则标志位处为0不变。
(B)边缘分散约束模块
读取RAM_feature中通过形状特征约束后的连通域标志位和特征值，对标志位为1的连通域进行边缘分散约束。简化任一连通域Li内边缘的周长P为该连通域内标记值为i的像素点个数，根据特征值计算连通域面积area，若满足边缘分散约束的条件则该连通域对应的标志位处为1不变，否则标志位处写0。
(C)头部特征约束模块
读取RAM_feature中通过边缘分散约束后的连通域标志位和特征值，对标志位为1的连通域进行头部特征约束。读取RAM_dom中的连通域标记图像，根据连通域内边缘与规定直线的交点个数来判断是否满足该约束。若满足则该连通域对应的标志位处为1不变，否则标志位处写0。
(D)显著性约束模块
读取RAM_feature中通过头部特征约束后的连通域标志位，对标志位为1的连通域进行显著性约束。读取RAM_pic中先前存储的图像数据来计算连通域内以及其扩展区域的灰度均值。判断灰度均值之差是否满足显著性约束，若满足则该连通域对应的标志位处为1不变，否则标志位处写0。
(E)梯度约束模块
读取RAM_feature中通过显著性约束的连通域标志位，对标志位为1的连通域进行梯度约束。读取RAM_grad中各连通域的梯度幅值，将各连通域对应的梯度幅值采样后与系数相乘求和，判断是否满足梯度约束条件，若满足则该连通域对应的标志位处为1不变，否则标志位处写0。
(6)行人标记模块
行人特征约束完成后，标志位为1的连通域即判定在图像中对应行人。读取RAM_feature中的标志位，获取标志位为1的连通域对应的特征值。根据各个连通域特征值，提取该连通域的上下左右边界值，在FPGA的内部RAM_frame中，在各连通域对应的边界位置处存储1，其余位置存储0。最终输出视频流时，读取RAM_frame中的值，在值为1的对应位置将图像灰度值变为255，其余位置保持原来的灰度值，以标记框的形式在输出视频流中标记出行人。如图9至图12，通过本方法和装置，可以准确的分辨出红外图像中的行人。
Claims (10)
1.一种基于FPGA的红外行人检测方法，其特征在于，包括以下步骤：
步骤1，采集图像；
步骤2，采用Canny算子对采集图像进行边缘检测；
步骤3，采用八连通准则判断边缘检测图像的连通关系，并进行连通域标记；
步骤4，提取各连通域的特征值组成图像的特征矩阵；
步骤5，通过行人特征约束的方式判断每一个连通域在图像中是否对应行人；
步骤6，将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置，由此在输出视频流中标记出行人。
2.根据权利要求1所述的方法，其特征在于，步骤2的具体过程在于：
步骤2.1，对采集的图像进行高斯滤波；
步骤2.2，获取滤波后每个像素点梯度幅值和梯度方向；
步骤2.3，对每一个像素点，以该点为中心，在八邻域范围内，将该点的梯度幅值在其梯度方向上与该点相邻的两个像素点的梯度幅值相比较，若该点梯度值最大则保留，否则将该点梯度值设为零；
步骤2.4，设梯度值不为零的像素点为可能的边缘点，对梯度值不为零的像素点获取其中的最大梯度值Smax，设置高、低阈值分别为：
Tmax＝Smax/α (6)
Tmin＝Smax/β (7)
其中，α、β为正整数，且α＜β；
步骤2.5，对所有可能的边缘点，若其梯度值S(i,j)≥Tmax，则判定为边缘点；而对于处于边缘端点处的点，采用递归边界跟踪法，将其八邻域内梯度值S(i,j)≥Tmin的点也判定为边缘点。
3.根据权利要求1所述的方法，其特征在于，步骤4中定义任一连通域的特征值为：
上边界的x坐标值fu、下边界的x坐标值fd、左边界的y坐标值fl、右边界的y坐标值fr，则连通域Li的特征值为fu(i)、fd(i)、fl(i)、fr(i)；
提取图像中n个连通域对应的特征值，记为该图像对应的特征矩阵FR：
4.根据权利要求3所述的方法，其特征在于，步骤5的具体过程在于：
步骤5.1，形状约束：
根据每一个连通域的特征值计算该连通域外接矩形框的高度h＝fu-fd+1，宽度w＝fr-fl+1，该矩形框的高度与宽度之比为C＝h/w；若1≤C≤7，则该连通域在图像中可能对应行人；否则，剔除该连通域。
步骤5.2，边缘分散约束：
对符合形状约束的连通域，计算连通域内边缘的周长P，若周长满足式(9)，则该连通域满足边缘分散约束；否则，剔除该连通域。
其中，area为该连通域的面积，Th_d为分散阈值；
步骤5.3，头部特征约束，对通过边缘分散约束的任一连通域Li进行如下判断：
A)若连通域外接矩形框高度与宽度之比C≤2，认定该连通域包含人的上半身；判断矩形框内边缘与直线x＝fu(i)+h/8的交点个数m，若m≥2则该连通域满足头部特征约束；
B)若连通域外接矩形框高度与宽度之比C＞2，认定该连通域包含人的全身；判断矩形框内边缘与直线x＝fu(i)+h/2的交点个数m'，若m'≥2则该连通域满足头部特征约束；
剔除不满足头部特征约束的连通域；
步骤5.4，显著性约束：
对符合头部特征约束的连通域，将其外接矩形框向外扩大一定距离，设外接矩形框对应的灰度均值为ave_gray，扩大部分的灰度均值为e_ave_gray，如果ave_gray、e_ave_gray它们满足式(10)，则该连通域满足显著性约束；否则，剔除该连通域。
|ave_gray-e_ave_gray|≥G_ratio×max(ave_gray,e_ave_gray) (10)
其中，G_ratio是显著性约束系数；
步骤5.5，梯度约束：
通过训练获得8×8大小的行人梯度系数矩阵Knor；
根据边缘检测中计算出的各个像素点的梯度幅值，将各个连通域外接矩形框对应的梯度幅值图像采样成8×8的矩阵Agrad；
定义任一连通域的目标级数Ol为Knor与Agrad的内积，即
Ol＝<Knor,Agrad> (11)
若目标级数Ol满足式(12)，则该连通域满足梯度约束，则判定该连通域在图像中对应行人；否则剔除该连通域
Ol≥Thgrad (12)
其中，Thgrad是训练获得的行人目标级数阈值。
5.根据权利要求4所述的方法，其特征在于，步骤5.1中，若1≤C≤7，若area≥Th_a，则该连通域在图像中可能对应行人，进入下一约束判断；否则，剔除该连通域；
其中，各连通域的外接矩形面积area＝h×w，Th_a为面积阈值。
6.一种基于FPGA的红外行人检测装置，其特征在于，包括
采集图像的图像采集模块，
采用Canny算子对采集图像进行边缘检测的边缘检测模块，
采用八连通准则判断边缘检测图像的连通关系并进行连通域标记的连通域标记模块；
提取各连通域的特征值组成图像的特征矩阵的特征提取模块，
通过行人特征约束的方式判断每一个连通域在图像中是否对应行人的行人特征约束模块，
将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置的行人标记模块。
7.根据权利要求6所述的装置，其特征在于，边缘检测模块包括高斯滤波子模块、梯度运算子模块、非极大值抑制子模块和滞后双阈值处理子模块；其中
高斯滤子波模块对采集的图像进行高斯滤波；
梯度运算子模块获取滤波后每个像素点梯度幅值和梯度方向；
非极大值抑制子模块对每一个像素点和以该点为中心的八邻域范围内的相邻的两个像素点在该点梯度方向上梯度幅值大小进行判断，若该点梯度值最大则保留，否则将该点梯度值设为零；
滞后双阈值处理子模块对梯度值为非零的可能的边缘点，若其梯度值大于高阈值，则判定为边缘点；滞后双阈值处理子模块对于处于边缘端点处的点，采用递归边界跟踪法，将其八邻域内梯度值大于低阈值的点也判定为边缘点；
其中，高、低阈值分别为：
Tmax＝Smax/α (6)
Tmin＝Smax/β (7)
其中，Smax为梯度值不为零的像素点中的最大梯度值，α、β为正整数且α＜β。
8.根据权利要求6所述的装置，其特征在于，特征提取模块包括提取连通域特征值子模块和图像特征矩阵子模块；提取连通域特征值子模块获取任一连通域的特征值：上边界的x坐标值fu、下边界的x坐标值fd、左边界的y坐标值fl、右边界的y坐标值fr，则连通域Li的特征值为fu(i)、fd(i)、fl(i)、fr(i)。
图像特征矩阵子模块用于提取图像中n个连通域对应的特征值，记为该图像对应的特征矩阵FR：
。
9.根据权利要求6所述的装置，其特征在于，行人特征约束模块包括形状约束子模块、边缘分散约束子模块、头部特征约束子模块、显著性约束子模块、梯度约束子模块；其中
(1)形状约束子模块根据每一个连通域的特征值计算该连通域外接矩形框的高度h＝fu-fd+1，宽度w＝fr-fl+1，该矩形框的高度与宽度之比为C＝h/w；若1≤C≤7，则该连通域在图像中可能对应行人；否则，剔除该连通域；
(2)边缘分散约束子模块对符合形状约束的连通域，计算连通域内边缘的周长P，若周长满足式(9)，则该连通域满足边缘分散约束；否则，剔除该连通域；
其中，area为该连通域的面积，Th_d为分散阈值；
(3)头部特征约束子模块对通过边缘分散约束的任一连通域Li进行如下判断：
A)若连通域外接矩形框高度与宽度之比C≤2，认定该连通域包含人的上半身；判断矩形框内边缘与直线x＝fu(i)+h/8的交点个数m，若m≥2则该连通域满足头部特征约束；
B)若连通域外接矩形框高度与宽度之比C＞2，认定该连通域包含人的全身；判断矩形框内边缘与直线x＝fu(i)+h/2的交点个数m'，若m'≥2则该连通域满足头部特征约束；
剔除不满足头部特征约束的连通域；
(4)显著性约束子模块对符合头部特征约束的连通域，将其外接矩形框向外扩大一定距离，设外接矩形框对应的灰度均值为ave_gray，扩大部分的灰度均值为e_ave_gray，如果ave_gray、e_ave_gray它们满足式(10)，则该连通域满足显著性约束；否则，剔除该连通域；
|ave_gray-e_ave_gray|≥G_ratio×max(ave_gray,e_ave_gray) (10)
其中，G_ratio是显著性约束系数；
(5)梯度约束子模块通过训练获得8×8大小的行人梯度系数矩阵Knor；
根据边缘检测中计算出的各个像素点的梯度幅值，将各个连通域外接矩形框对应的梯度幅值图像采样成8×8的矩阵Agrad；
定义任一连通域的目标级数Ol为Knor与Agrad的内积，即
Ol＝<Knor,Agrad> (11)
若目标级数Ol满足式(12)，则该连通域满足梯度约束，则判定该连通域在图像中对应行人；否则剔除该连通域
Ol≥Thgrad (12)
其中，Thgrad是训练获得的行人目标级数阈值。
10.根据权利要求9所述的装置，其特征在于，在形状约束子模块中，若1≤C≤7，若area≥Th_a，则该连通域在图像中可能对应行人，进入下一约束判断；否则，剔除该连通域；其中，各连通域的外接矩形面积area＝h×w，Th_a为面积阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811647833.1A CN109800683A (zh) | 2018-12-30 | 2018-12-30 | 一种基于fpga的红外行人检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811647833.1A CN109800683A (zh) | 2018-12-30 | 2018-12-30 | 一种基于fpga的红外行人检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109800683A true CN109800683A (zh) | 2019-05-24 |
Family
ID=66556943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811647833.1A Pending CN109800683A (zh) | 2018-12-30 | 2018-12-30 | 一种基于fpga的红外行人检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109800683A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101139A (zh) * | 2020-08-27 | 2020-12-18 | 普联国际有限公司 | 人形检测方法、装置、设备及存储介质 |
| CN116523900A (zh) * | 2023-06-19 | 2023-08-01 | 东莞市新通电子设备有限公司 | 一种五金件加工质量检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004029659A2 (en) * | 2002-06-14 | 2004-04-08 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
| CN102542289A (zh) * | 2011-12-16 | 2012-07-04 | 重庆邮电大学 | 一种基于多高斯计数模型的人流量统计方法 |
| US20120229643A1 (en) * | 2009-12-02 | 2012-09-13 | Tata Consultancy Services Limited | Cost-effective system and method for detecting, classifying and tracking the pedestrian using near infrared camera |
| CN102700569A (zh) * | 2012-06-01 | 2012-10-03 | 安徽理工大学 | 基于图像处理的矿用电机车行人监测方法及报警系统 |
| JP2014146164A (ja) * | 2013-01-29 | 2014-08-14 | Toyota Motor Corp | 物体検出装置 |
| CN107194946A (zh) * | 2017-05-11 | 2017-09-22 | 昆明物理研究所 | 一种基于fpga的红外显著物体检测方法 |
-
2018
- 2018-12-30 CN CN201811647833.1A patent/CN109800683A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004029659A2 (en) * | 2002-06-14 | 2004-04-08 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
| US20120229643A1 (en) * | 2009-12-02 | 2012-09-13 | Tata Consultancy Services Limited | Cost-effective system and method for detecting, classifying and tracking the pedestrian using near infrared camera |
| CN102542289A (zh) * | 2011-12-16 | 2012-07-04 | 重庆邮电大学 | 一种基于多高斯计数模型的人流量统计方法 |
| CN102700569A (zh) * | 2012-06-01 | 2012-10-03 | 安徽理工大学 | 基于图像处理的矿用电机车行人监测方法及报警系统 |
| JP2014146164A (ja) * | 2013-01-29 | 2014-08-14 | Toyota Motor Corp | 物体検出装置 |
| CN107194946A (zh) * | 2017-05-11 | 2017-09-22 | 昆明物理研究所 | 一种基于fpga的红外显著物体检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| HURNEY P等: "《Review of pedestrian detection techniques in automotive far‐infrared video》", 《IET INTELLIGENT TRANSPORT SYSTEMS》 * |
| 刘超等: "《基于Canny算法的自适应边缘检测方法》", 《计算机工程与设计》 * |
| 毛志智等: "《基于视觉特征的人形定位算法的提出及实现》", 《计算机与数字工程》 * |
| 葛致磊等: "《导弹导引系统原理》", 31 March 2016, 北京：国防工业出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101139A (zh) * | 2020-08-27 | 2020-12-18 | 普联国际有限公司 | 人形检测方法、装置、设备及存储介质 |
| CN112101139B (zh) * | 2020-08-27 | 2024-05-03 | 普联国际有限公司 | 人形检测方法、装置、设备及存储介质 |
| CN116523900A (zh) * | 2023-06-19 | 2023-08-01 | 东莞市新通电子设备有限公司 | 一种五金件加工质量检测方法 |
| CN116523900B (zh) * | 2023-06-19 | 2023-09-08 | 东莞市新通电子设备有限公司 | 一种五金件加工质量检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105809138B (zh) | 一种基于分块识别的道路警告标志检测与识别方法 | |
| CN102163284B (zh) | 面向中文环境的复杂场景文本定位方法 | |
| CN103942803B (zh) | 基于sar图像的水域自动检测方法 | |
| CN106056053B (zh) | 基于骨骼特征点提取的人体姿势识别方法 | |
| CN107767400B (zh) | 基于层次化显著性分析的遥感图像序列动目标检测方法 | |
| CN103617426B (zh) | 一种自然环境干扰和有遮挡时的行人目标检测方法 | |
| CN104240240B (zh) | 一种基于fpga的红外小目标检测方法及系统 | |
| CN109242888A (zh) | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| CN106128121B (zh) | 基于局部特征分析的车辆排队长度快速检测算法 | |
| CN107392885A (zh) | 一种基于视觉对比机制的红外弱小目标检测方法 | |
| CN103679677B (zh) | 一种基于模型互更新的双模图像决策级融合跟踪方法 | |
| CN109376740A (zh) | 一种基于视频的水尺读数检测方法 | |
| CN109559324A (zh) | 一种线阵图像中的目标轮廓检测方法 | |
| CN106815583A (zh) | 一种基于mser和swt相结合的夜间车辆车牌定位方法 | |
| CN104766344B (zh) | 基于运动边缘提取器的车辆检测方法 | |
| CN105405138B (zh) | 基于显著性检测的水面目标跟踪方法 | |
| CN106709426A (zh) | 基于红外遥感图像的舰船目标检测方法 | |
| CN107194946B (zh) | 一种基于fpga的红外显著物体检测方法 | |
| CN105741276A (zh) | 一种船舶水线提取方法 | |
| CN109359577A (zh) | 一种基于机器学习的复杂背景下人数检测系统 | |
| CN110378341A (zh) | 一种双目视觉行人距离检测方法 | |
| CN103218604A (zh) | 交通场景中基于路面提取的行人检测方法 | |
| CN108538052A (zh) | 基于车头灯轨迹跟踪和动态配对的夜间交通流量检测方法 | |
| CN103914829B (zh) | 一种含噪图像边缘检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240112 |