CN105913040B - 暗视觉条件下的双摄像头实时行人检测系统 - Google Patents

暗视觉条件下的双摄像头实时行人检测系统 Download PDF

Info

Publication number
CN105913040B
CN105913040B CN201610267971.1A CN201610267971A CN105913040B CN 105913040 B CN105913040 B CN 105913040B CN 201610267971 A CN201610267971 A CN 201610267971A CN 105913040 B CN105913040 B CN 105913040B
Authority
CN
China
Prior art keywords
image
human body
target
point
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610267971.1A
Other languages
English (en)
Other versions
CN105913040A (zh
Inventor
赵志强
凌鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201610267971.1A priority Critical patent/CN105913040B/zh
Publication of CN105913040A publication Critical patent/CN105913040A/zh
Application granted granted Critical
Publication of CN105913040B publication Critical patent/CN105913040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，特别涉及暗视觉条件下的双摄像头实时行人检测系统，包括中央处理单元以及：红外摄像头，用于采集红外视频图像；可见光摄像头，用于采集可见光视频图像；红外图像检测单元，用于检测红外图像中的候选目标是否有人体目标，确定红外图像中没有人体目标的候选目标位置；可见光图像检测单元，用于对与用于对与红外图像同一时刻的可见光图像进行检测，检测可见光图像中与红外图像中没有人体目标的候选目标位置相同的位置是否有人体目标；本发明检测区域选取模块中标记出红外检测后不认为是人体目标的候选目标，再根据不认为是人体目标的候选目标的位置对应可见光图像相应位置，然后用可见光方法检测。

Description

暗视觉条件下的双摄像头实时行人检测系统
技术领域
本发明涉及图像处理技术领域，特别涉及暗视觉条件下的双摄像头实时行人检测系统。
背景技术
人是环境中最为活跃的元素，也是最需要关注的目标。传统的视频人体目标检索需要专业人员仔细查看每一帧可能的图像，准确性无法保障，而且需要花费大量的时间。行人检测技术作为计算机视觉和模式识别技术的一个重要领域，是替代人工检索的最佳方式。行人检测的应用领域广泛，如公共场所领域中汽车及火车站、机场等场景的监控；车辆驾驶辅助系统中的行人预警功能等。
现有的行人检测方向主要分为两种：其一，将保存下来的视频图像进行行人检测，这种方法易于实现，但是时间的滞后性往往会造成重大的损失；其二，对实时采集的图像进行实时行人检测，这种方法保证了信息的及时性，相比前一种有着巨大的优势，但是现有的实时行人检测方法识别率极低。比如，当前行人检测技术主要运用可见光图像，但是可见光图像中人体目标易被遮挡覆盖而无法被检测出来，且在光照不足的暗视觉条件下几乎无法工作。
暗视觉是指在黑夜或弱光环境中，无法像在充足光照条件下一样分辨物体，看到的景物全是灰黑色，只有明暗感。运用暗视觉影像挖掘技术可以解决夜间和其它低光照度时目标图像信息的获取、转换、增强、显示等问题，使视觉在时域、空间和频域得到有效的扩展；使得在光线不足或不便观察的条件下，依然能够获取事物的图像信息。可大大延伸人类和机器视觉对图像的分辨能力，能够获得相对理想的视觉效果图像。因此，运用红外图像中的行人检测系统逐渐被人关注，但是由于红外图像缺少细节信息，难以检测出重叠的人体目标。
现有技术一般采用单一红外摄像头或可见光摄像头进行行人检测，但漏检率高、实时性差，有必要结合红外图像检测和可见光图像检测的优势，设计一种实时行人检测系统及方法。
发明内容
为解决以上问题，本发明提供一种暗视觉条件下的双摄像头实时行人检测系统。
本发明暗视觉条件下的双摄像头实时行人检测系统，包括中央处理单元以及与中央处理单元相连接的以下单元：
红外摄像头，用于采集红外视频图像；
可见光摄像头，用于采集可见光视频图像；
红外图像检测单元，用于检测红外图像中的候选目标是否有人体目标，确定红外图像中没有人体目标的候选目标位置；
图像对应单元，用于对应同一时刻的红外视频帧图像与可见光视频帧图像；
可见光图像检测单元，用于对与红外图像同一时刻的可见光图像进行检测，检测可见光图像中与红外图像中没有人体目标的候选目标位置相同的位置是否有人体目标。
优选地，所述红外图像检测单元包括依次连接的红外图像分割模块、连通区域标记模块、候选目标选取模块以及红外图像人体目标特征提取及分类识别算法模块；
所述红外图像分割模块对红外图像进行二值化分割处理得到二值化图像；
所述连通区域标记模块采用两遍扫描法对二值化处理后的图像进行处理，得到连通区域；
所述候选目标选取模块对连通区域进行筛选，排除干扰连通区域后得到候选目标；
所述红外图像人体目标特征提取及分类识别算法模块，采用基于Zernike不变矩的红外图像人体目标特征提取算法及最小距离分类器，判断候选目标中是否有人体目标。
优选地，所述红外图像分割模块对红外图像进行二值化分割处理得到二值化图像，包括：采用基于直方图的自适应K均值聚类红外图像分割算法，利用直方图波峰确定K均值聚类的K值，并且将这K个波峰对应的灰度值作为聚类算法的K个初始聚类中心值，再通过聚类中心聚类前后的移动方向来选择合适的波谷作为分割点，以此分割点分割得到二值化图像；其中K为聚类个数，其值为红外图像的灰度统计直方图进行滑动均值滤波滤除伪峰和毛刺后波形中波峰个数。
优选地，所述选择合适的波谷作为分割点包括：
当K＝1时，若存在umax＜vj＜gmax，则vj作为分割点；
当K＝2时，若存在ui＜vj＜ui+1，且Δui×Δui+1＜0且ui+1-ui＞ui+1'-ui'，则vj作为分割点；若存在umax＜vj＜gmax，且umax＜umax'，则vj作为分割点；
如果选取的作为分割点的波谷不止一个，则选择灰度值最大的波谷作为最终的分割点；
其中，ui表示第i个波峰，ui+1表示第i+1个波峰，vj表示第j个波谷，umax为灰度值最大的波峰，umax'为聚类完成时灰度值最大的聚类中心，gmax为直方图的最大灰阶，ui'表示聚类完成后的中心值，Δui表示聚类完成后的第i个波峰ui'与第i个波峰ui的变化量，Δui+1表示聚类完成后的第i+1个波峰ui+1'与第i+1个波峰ui+1的变化量。
优选地，所述连通区域标记模块采用两遍扫描法对二值化处理后的图像进行处理，得到连通区域，具体包括：
第一遍扫描：逐行逐列扫描像素值为1的点，若某点的4领域没有任何标记，则将该点做新的最小标记；若该点的4领域有标记，则将4领域标记中的最小数字标记赋给该点，并记录4领域标记为相等关系；所述某点的4领域是该点相邻的上、下、左、右四个点；
第二遍扫描：逐行逐列扫描像素值为1的点，将所有点的标记修改为与其相等的最小标记，图像中具有相同标记的点组成连通区域。
优选地，所述候选目标选取模块对连通区域进行筛选，排除干扰连通区域后得到候选目标，包括连通区域像素个数大于100且连通区域占最小邻接矩形的填充比大于0.4且最小邻接矩形的宽高比在0.2至1.2之间。
优选地，所述红外图像人体目标特征提取及分类识别算法模块，采用基于Zernike不变矩的红外图像人体目标特征提取算法及最小距离分类器，判断候选目标中是否有人体目标，包括：
将候选目标图像放在其最小邻接圆内，进行归一化处理，即设单位1为100像素，将圆的半径放缩至单位1
计算候选目标的0到8阶Zernike矩Zpq；
计算候选目标到事先建立好的均值人体姿态样本的欧氏距离dk；
n为Zernike矩特征描述符的总个数，xi为候选目标的Zernike矩特征描述符，即对应Z00、Z11、…、Z88；uki表示第k种姿态的第i个Zernike矩特征描述符，k表示体姿态分类种数，取值1－5；
计算dk‐Tk，若所有dk‐Tk都大于0，则该候选目标不能确定为人体目标；若存在dk‐Tk小于0，则该候选目标确定为人体目标；Tk表示预设阈值。
优选地，所述可见光图像检测单元包括依次相连接的检测区域选取模块、可见光图像人体目标检测算法模块；
所述检测区域选取模块将红外图像中候选目标最小邻接矩形的长宽放大，后的可见光图像区域作为检测区域；
所述可见光图像人体目标检测算法模块采用方向梯度图与支持向量机结合的人体检测算法，判定是否为人体目标。
优选地，将将红外图像中候选目标最小邻接矩形的长宽放大FN，FN是放大比例，取值范围5％‐25％。
优选地，所述可见光图像人体目标检测算法模块采用方向梯度图与支持向量机结合的人体检测算法，判定是否为人体目标，包括：若平均人体方向梯度图的宽高比大于检测区域梯度方向图的宽高比，将平均人体方向梯度图保持宽高比不变，放缩至与检测区域梯度方向图等宽；若平均人体方向梯度图的宽高比小于检测区域梯度方向图的宽高比，将平均人体方向梯度图保持宽高比不变，放缩至与检测区域梯度方向图等高；然后使用支持向量机计算事先训练好的各种平均人体方向梯度图与检测区域梯度方向图的重叠部分的相似度；若存在大于95％的相似度，则为该检测区存在人体目标；否则，不存在人体目标。
本发明采用红外摄像头与可见光摄像头协同处理，降低了单一使用红外摄像头或可见光摄像头进行实时行人检测时的漏检率和误检率，提高了实时行人检测的效率，满足了实时、准确的检测需求。
附图说明
图1为本发明暗视觉条件下的红外可见光双摄像头协同实时行人检测系统优选实施例结构框图；
图2为本发明暗视觉条件下的红外可见光双摄像头协同实时行人检测系统另一优选实施例结构框图；
图3为本发明红外图像分割模块滤波效果示意图，其中图3(a)为红外图像的灰度统计直方图，图3(b)为对直方图进行滑动均值滤波滤除伪峰和毛刺后的波形图；
图4为本发明红外图像分割模块对直方图进行滑动均值滤波滤除伪峰和毛刺后的波形图并标记波峰和波谷的示意图；
图5为本发明红外图像分割模块当只有一个波峰时分割点选择示意图；
图6为本发明红外图像分割模块当有两个波峰时聚类中心相向移动分割点选择示意图；
图7为本发明红外图像分割模块当有两个波峰时聚类中心背向移动分割点选择示意图；
图8为本发明红外图像分割模块当有两个波峰时聚类中心同向移动分割点选择示意图；
图9为本发明红外图像分割模块二值化处理前后图像对比，图9(a)为二值化处理前图像，图9(b)为二值化处理后图像；
图10为本发明连通区域标记模块两遍扫描法示意图；
图11为本发明连通区域标记模块两遍扫描法前后图像对比示意图，图11(a)为两遍扫描法前图像，图11(b)为两遍扫描法后图像；
图12为本发明候选目标选取模块结果示意图；
图13为本发明红外图像人体目标特征提取及分类识别算法模块归一化处理示意图；
图14为本发明各个模块处理后效果示意图，14(a)表示红外图像，14(c)表示二值化处理后的图像，14(d)表示红外图像检测后确定为人体目标的候选目标和不能确定为人体目标的候选目标，14(b)表示对应有不能确定为人体目标的候选目标的可见光图像，14(e)表示确定有人体目标的候选目标的可见光图像；
图15为本发明可见光图像检测示意图，图15(a)为一个可见光图像的检测区域，图15(b)为图15(a)的梯度方向图，图15(c)为平均人体方向梯度图；
图16为可见光图像检测单元中对检测区域的方向梯度图进行第一次扫描时的两种情况；图16(a)表示在平均人体方向梯度图的宽高比大于检测区域梯度方向图的宽高比时，将平均人体方向梯度图保持宽高比不变，放缩至与检测区域梯度方向图等宽；图16(b)表示在平均人体方向梯度图的宽高比小于检测区域梯度方向图的宽高比时，将平均人体方向梯度图保持宽高比不变，放缩至与检测区域梯度方向图等高；
图17为可见光图像检测单元中对检测区域的方向梯度图进行第二次扫描时的两种情况；图17(a)表示在平均人体方向梯度图的宽高比大于检测区域梯度方向图的宽高比时，将平均人体方向梯度图右移检测区域宽度的0.1倍；图17(b)表示在平均人体方向梯度图的宽高比小于检测区域梯度方向图的宽高比时，将平均人体方向梯度图下移检测区域长度的0.1倍；
图18为可见光图像检测单元中在第一行或第一列扫描完成之后，将平均人体方向梯度图长和宽都缩小50％，再逐行逐列检测是否存在人体目标，图18(a)表示从检测区域的左上角开始，图18(b)表示将平均人体方向梯度图右移0.1倍宽或长，图18(c)表示第一行扫描完成后将平均人体方向梯度图下移0.1倍长或宽；
图19为本发明可见光图像检测单元检测结果示意图。
具体实施方式
通过下面对实施例的描述，将更加有助于公众理解本发明，但不能也不应当将申请人所给出的具体的实施例视为对本发明技术方案的限制，任何对部件或技术特征的定义进行改变和/或对整体结构作形式的而非实质的变换都应视为本发明的技术方案所限定的保护范围。
图1为暗视觉条件下的红外可见光双摄像头协同实时行人检测系统的结构框图，该系统包括中央处理单元，以及与中央处理单元相连接的以下单元：
红外摄像头，用于采集红外视频图像；
可见光摄像头，用于采集可见光视频图像；
红外摄像头和可见光摄像头分别采集图像，后续分别进行处理，具体地，红外摄像头采集的图像送入红外图像检测单元进行处理，可见光摄像头采集的图像送入可见光图像检测单元进行处理。
可以将采集的图像直接进行后续处理，但由于图像会受设备环境等因素影响对未经处理的图像进行后续处理可能会使检测的准确性下降。优选地，如图2所示，所述系统还包括图像预处理单元，用于对采集的图像进行预处理，即红外摄像头采集的图像送入图像预处理单元进行预处理后再送入红外图像检测单元进行处理，可见光摄像头采集的图像送入图像预处理单元进行预处理后再送入可见光图像检测单元进行处理。图像预处理单元包括对图像进行光照补偿以及均衡化；本单元为可选部件，通过对图像进行光照补偿以及均衡化，可以增加图像识别的准确率。
红外图像检测单元，用于检测红外图像中的候选目标是否有人体目标，确定红外图像中没有人体目标的候选目标；
图像对应单元，用于对应同一时刻的红外视频帧图像与可见光视频帧图像；
可见光图像检测单元，用于对与红外图像同一时刻的可见光图像进行检测，检测可见光图像中与红外图像中没有人体目标的候选目标位置相同的位置是否有人体目标；
该实施例充分利用红外和可见光两个摄像头检测同一时刻的同一个候选目标，能有效辨别重叠或被遮挡的人体，极大降低了漏检率和误检率。
所述红外图像检测单元包括依次连接的红外图像分割模块、连通区域标记模块、候选目标选取模块以及红外图像人体目标特征提取及分类识别算法模块。
所述红外图像分割模块对红外图像进行二值化分割处理，可以采用现有技术实现，例如，《红外技术》2014年第8期提出的一种红外图像的二值化分割算法研究，公开了基于局部灰度梯度值和全局化阈值面相结合的二值化分割算法。
优选地，本发明所述红外图像分割模块采用基于直方图的自适应K均值聚类红外图像分割算法，利用直方图波峰确定K均值聚类的K值，并且将这K个波峰对应的灰度值作为聚类算法的K个初始聚类中心值，再通过聚类中心聚类前后的移动方向来选择合适的波谷作为分割点，以此分割点分割得到二值化图像。
为便于理解，对红外图像分割模块作进一步举例说明，红外图像分割模块的处理包括：
第一步：计算红外图像的灰度统计直方图，如图3(a)；
第二步：对直方图进行滑动均值滤波滤除伪峰和毛刺，得到图3(b)波形，标记波峰(如u1)和波谷(如v1和v2)，如图4所示；本实例采用的滑动窗口长度为5，滑动步长为1；
第三步：分两种情况：
1)当直方图只有一个波峰，即K＝1时，选择靠近最大灰阶的波谷作为分割点。
例如表1和图5所示，直方图中存在一个波峰u1和两个波谷v1和v2，靠近最大灰阶的波谷v2可以作为分割点(本专利中ui表示第i个波峰，vj表示第j个波谷)。
表1图5中波峰和波谷的灰度值
2)当直方图不止一个波峰，即K≥2时，进行自适应K均值聚类；
聚类算法的流程如下：
Step1：将直方图的波峰的个数作为聚类个数K，并将这K个波峰对应的灰度值作为聚类算法的K个初始中心值；
Step2：计算图像中每个像素到K个中心值的欧式距离，将其归入距离最近的中心值所属的聚类中；
Step3：计算每个聚类的新中心值以及新旧中心值的变化量；
Step4：若新旧中心值的变化量小于设定的中心变化阈值，则聚类完成；否则重复Step2－Step4；
优选地，本实施例中心变化阈值为1；
设聚类完成后的中心值ui'与初始中心值(即波峰)ui的变化量为Δui，聚类完成之后进行直方图波谷阈值选取。
当直方图不止一个波峰时，波谷可以分为三类：处于两个波峰之间的波谷、处于波峰和最大灰阶之间的波谷、处于波峰和最小灰阶之间的波谷。
1)对于处于两个波峰之间的波谷，其两侧聚类中心的相对位置变化关系可以用来判断此类波谷能否作为分割点。
a.若两侧聚类中心相向移动，相互接近，则该波谷是两个不同类目标的边界，可以作为分割点。例如表2和图6所示，u2与u3之间的v2可以作为分割点。
表2图6中聚类中心聚类前后的变化值及波谷的灰度
b.若两侧聚类中心背向移动，相互远离，则该波谷不是两个不同类目标的边界，不能作为分割点。例如表3和图7所示，u1与u2之间的v2不能作为分割点。
表3图7中聚类中心聚类前后的变化值及波谷的灰度值
c.若两侧聚类中心同向移动，则该波谷也不能作为分割点。
例如表4和图8所示，u1与u2之间的v1不能作为分割点。
表4图8中聚类中心聚类前后的变化值及波谷的灰度值
i 1 2
u<sub>i</sub> 4 96
u<sub>i</sub>′ 26 104
Δu<sub>i</sub> +22 +8
j 1 2
v<sub>j</sub> 31 165
2)对于处于波峰和最大灰阶之间的波谷，若聚类中心向正方向，即靠近最大灰阶的方向移动，则该波谷可以作为分割点。
例如表3和图7所示，u2与最大灰阶之间的v3可以作为分割点。
3)处于波峰和最小灰阶之间的波谷不作为分割点。
例如表3和图7所示，最小灰阶与u1之间的v1不能作为分割点。
综合上述条件可概括为：
其中，ui表示第i个波峰，ui+1表示第i+1个波峰，vj表示第j个波谷，umax为灰度值最大的波峰，umax'为聚类完成时灰度值最大的聚类中心，gmax为直方图的最大灰阶，ui'表示聚类完成后的中心值，Δui表示聚类完成后的第i个波峰ui'与第i个波峰ui的变化量，Δui+1表示聚类完成后的第i+1个波峰ui+1'与第i+1个波峰ui+1的变化量。
按照上述条件选取的可以作为分割点的波谷可能不止一个，此时选择高亮度比例最小的波谷(即灰度值最大的波谷vmax)作为最终的分割点，并以此点的灰度值为分割阈值对红外图像做二值化处理得出分割结果。
例如图9所示，左边红外图像图9(a)经过上述二值化处理后得到右边图像图9(b)。
优选地，所述连通区域标记模块采用两遍扫描法对二值化处理后的图像进行处理，得到连通区域。
第一遍扫描：(第一次扫描前图像中的点没有任何标记)逐行逐列扫描像素值为1的点，若某点的4领域(该点相邻的上、下、左、右四个点)没有任何标记(标记为从1开始的正整数)，则将该点做新的最小标记(即在已有的最大标记上加1)；若该点的4领域有标记，则将4领域标记中的最小标记赋给该点，并记录4领域标记为相等关系。上述标记方式即该点的4领域有没有标记：没有标记就给最小标记，有标记就把4领域标记中的最小标记赋给该点
第二遍扫描：逐行逐列扫描像素值为1的点，将所有点的标记修改为与其相等的最小标记。此时图像中具有相同标记的点组成连通区域。
举例如下：
如图10所示，对于一个前景(如图10(a)中的白色区域)，第一次扫描的结果如图10(b)，其中数字标记1,3,5相等，1为最小标记，数字标记2,4,6相等，2为最小标记；第二次扫描的结果如图10(c)，此时图像中具有相同标记的点就组成了一个连通区域。
同理，采用两遍扫描法算法扫描图11(a)，即可形成图11(b)所示的9个连通区域。
优选地，所述候选目标选取模块对连通区域进行筛选，排除干扰连通区域后得到候选目标；
本实施例候选目标选取模块对连通区域进行筛选包括：连通区域像素个数大于100且连通区域占最小邻接矩形的填充比大于0.4且最小邻接矩形的宽高比在0.2至1.2之间；
为便于理解，举例如下：
按照以上条件对图11(b)的9个连通区域进行筛选，筛除了5个不符合条件的连通区域，余下4个符合条件的连通区域作为候选目标，如图12所示。
优选地，所述红外图像人体目标特征提取及分类识别算法模块，采用基于Zernike不变矩的红外图像人体目标特征提取算法及最小距离分类器，判断候选目标中是否有人体目标。
对候选目标进行归一化(单位化)处理，计算得到Zernike矩后，再对取该矩的模作为图像检索的特征向量，最后按欧式距离将其分到最近的类中，判断候选目标中是否有人体目标。
优选地，如果有一个候选连通区域不确定有无人体目标，则进行可见光图像检测，有人体候选目标的不再送检，标示出来。
二维灰度图像可以被看成一个函数f(x,y)，函数值表示像素点(x,y)的灰度值；二值化图像的前景(白色区域)为1，背景(黑色区域)为0，所以在定义域内f(x,y)的函数值为1，其他情况函数值为0。
Zernike矩是一种矩函数，具有以下特点：
①Zernike矩互相独立，可以构造任意高阶矩，具有较强的特征表达能力；
②Zernike矩具有旋转和镜像不变性，能够很好地识别旋转和镜像目标；
③Zernike矩提取的特征相关性和冗余性较小；
④Zernike矩抗噪能力强，鲁棒性较好。
在极坐标系(r,θ)中，p阶的Zernike矩定义如下：
其中，Vpq(r,θ)是p阶q重的Zernike多项式，*表示复共轭，p是一个非负的整数；q是满足以下条件的整数：p‐|q|是偶数且|q|≤p。
对于数字图像，计算公式变为离散形式：
其中，r、θ是极坐标参数，θ＝arctan(y/x)，N表示沿图像x、y坐标轴的像素数，对于二值化图像，在定义域内f(x,y)的函数值为1，其他情况函数值为0。
为便于理解，举例如下：
第一步：将候选目标图像放在其最小邻接圆内，如图13所示，进行归一化(单位化)处理：设单位1为100像素，将圆的半径放缩至单位1；
第二步：计算候选目标的0到8阶Zernike矩Zpq，将作为Zernike矩特征描述符，如表5(表中Zpq表示p阶q重Zernike矩，表示Zpq的特征描述符)。
表5 Zernike矩特征描述符
第三步：计算候选目标到事先建立好的均值人体姿态样本的欧氏距离dk；
其中，n为Zernike矩特征描述符的总个数，本实施例使用了0到8阶的Zernike矩，共25个，xi为候选目标的Zernike矩特征描述符，即对应Z00、Z11、…、Z88；uki表示第k种姿态的第i个Zernike矩特征描述符，k表示体姿态分类种数，取值1－5，本实施例本将人体姿态分为5种，分别为正面站立、侧面站立、行走、弯腰、半蹲，并为这5种姿态建立了均值人体姿态样本。
第四步：将dk与预设阈值Tk比较，即计算dk‐Tk，若所有dk‐Tk都大于0，则该候选目标不能确定为人体目标；若存在dk‐Tk小于0，则该候选目标确定为人体目标；本实施例优选T1＝0.0020，T2＝0.0316，T3＝0.0346，T4＝0.0077，T5＝0.0071。
本发明先在红外摄像头拍摄的图像中使用上述红外图像人体目标检测方法检测人体目标，把容易检测的人体目标确定下来，然后把红外方法检测后不认为是人体目标的候选目标(通常都是复杂状态的人体目标和真正的非人体目标)在红外图像中标示出其位置，并将标示的位置对应到可见光图像相应位置作进一步判断。由于红外图像缺少细节，所以红外光的人体目标检测比较粗略，但是快；可见光图像细节丰富，人体目标检测比较精确，但是慢，而且人体容易被遮挡。
本发明检测区域选取模块中标记出红外检测后不认为是人体目标的候选目标，再根据不认为是人体目标的候选目标的位置对应可见光图像相应位置，然后用可见光方法检测。两种检测方式配合使用，取长补短，能得到很好的检测效果和性能。
可见光图像检测用的是方向梯度直方图人体检测算法，原本此方法要对整幅图像进行搜索检测，要花费很长时间，不具有实时性，本发明只需要在标记的区域里搜索检测，花费的时间大大减少。
帧数对应单元，用于对应同一时刻的红外视频帧图像与可见光视频帧图像；
对应就是选择同一时间两个摄像头拍摄的图像，摄像头记录视频只能精确到秒，每一秒会有很多帧，都选择第n帧图像帧就能保证两种图像对应。如果取的图像不是同一时间的，其中的人体目标可能会改变位置，可见光检测方法在标记区域内就无法检测出人体目标。
可见光图像检测单元，用于检测红外图像检测单元检测后不认为是人体目标的候选目标；包括依次相连接的检测区域选取模块、可见光图像人体目标检测算法模块。
优选地，所述检测区域选取模块将红外图像中候选目标最小邻接矩形的长宽放大FN，后的可见光图像区域作为检测区域。
举例如下：
将红外图像14(a)用上述方法分割后可得到二值化图像14(c)，经过连通区域标记和候选目标选取后得到图14(d)中被矩形标记的候选目标，例如图14(d)中，红外图像人体目标特征提取及分类识别后将确定为人体的候选目标用白色实线矩形标记，不能确定为人体的候选目标用白色虚线矩形标记。将图14(d)中的白色矩形标记对应到可见光图像14(b)中，并将矩形长宽放大，得到黑色虚线矩形标记，黑色虚线矩形即为可见光图像的检测区域如图14(e)。优选地，将矩形长宽放大FN，FN是放大比例，取值范围5％‐25％，优选20％。
优选地，所述可见光图像人体目标检测算法模块采用方向梯度图(HOG)与支持向量机(SVM)结合的人体检测算法，先计算出可见光图像中检测区域的方向梯度图，然后使用事先训练好的平均人体方向梯度图，以不同比例、不同间隔扫描检测区域的方向梯度图，每次扫描都使用事先训练好的平均人体方向梯度图的支持向量机，对扫描区域进行分类，判定是否为人体目标。
举例如下：
图15(a)为一个可见光图像的检测区域，图15(b)为图15(a)的梯度方向图，图15(c)为平均人体方向梯度图。
第一次扫描：
如图16所示，若平均人体方向梯度图的宽高比大于检测区域梯度方向图的宽高比，将平均人体方向梯度图保持宽高比不变，放缩至与检测区域梯度方向图等宽，如图16(a)；若平均人体方向梯度图的宽高比小于检测区域梯度方向图的宽高比，将平均人体方向梯度图保持宽高比不变，放缩至与检测区域梯度方向图等高，如图16(b)。然后使用支持向量机计算事先训练好的各种平均人体方向梯度图与检测区域梯度方向图的重叠部分的相似度。若存在大于95％的相似度，则为该检测区存在人体目标；否则，不存在人体目标。
第二次扫描：将平均人体方向梯度图移动0.1倍宽或长，再检测是否存在人体目标。如图17，在平均人体方向梯度图的宽高比大于检测区域梯度方向图的宽高比时，将平均人体方向梯度图右移检测区域宽度的0.1倍，如图17(a)；在平均人体方向梯度图的宽高比小于检测区域梯度方向图的宽高比时，将平均人体方向梯度图下移检测区域长度的0.1倍，如图17(b)。
第一行或第一列扫描完成之后，将平均人体方向梯度图长和宽都缩小50％，再逐行逐列检测是否存在人体目标。首先从检测区域的左上角开始，如图18(a)；然后将平均人体方向梯度图右移0.1倍宽或长，如图18(b)；第一行扫描完成后将平均人体方向梯度图下移0.1倍长或宽，如图18(c)；按此方式扫描，直到扫描至检测区域的右下角。
将存在人体的检测区域用黑色实线矩形标记出来，如图19所示。
HOG+SVM的人体检测方法准确度较高，但耗时大，因而对整幅图像进行检测无法满足实时性要求，本专利先用红外检测方法确定图像中的检测区域，再对检测区域使用该方法，可以大幅缩短检测时间，满够到达实时性要求。
本发明采用红外摄像头与可见光摄像头协同处理，降低了单一使用红外摄像头或可见光摄像头进行实时行人检测时的漏检率和误检率，提高了实时行人检测的效率，满足了实时、准确的检测需求。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。例如，中央处理单元可以是专用芯片、单片机等硬件实体，也可以是具有处理功能的软件或指令。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‐OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.暗视觉条件下的双摄像头实时行人检测系统，其特征在于：包括中央处理单元以及与中央处理单元相连接的以下单元：
红外摄像头，用于采集红外视频图像；
可见光摄像头，用于采集可见光视频图像；
红外图像检测单元，用于检测红外图像中的候选目标是否有人体目标，确定红外图像中没有人体目标的候选目标位置；
图像对应单元，用于对应同一时刻的红外视频帧图像与可见光视频帧图像；
可见光图像检测单元，用于对与红外图像同一时刻的可见光图像进行检测，检测可见光图像中与红外图像中没有人体目标的候选目标位置相同的位置是否有人体目标；
所述红外图像检测单元包括依次连接的红外图像分割模块、连通区域标记模块、候选目标选取模块以及红外图像人体目标特征提取及分类识别算法模块；所述红外图像分割模块对红外图像进行二值化分割处理得到二值化图像；
所述连通区域标记模块采用两遍扫描法对二值化处理后的图像进行处理，得到连通区域；
所述候选目标选取模块对连通区域进行筛选，排除干扰连通区域后得到候选目标；
所述红外图像人体目标特征提取及分类识别算法模块，采用基于Zernike不变矩的红外图像人体目标特征提取算法及最小距离分类器，判断候选目标中是否有人体目标，包括：
将候选目标图像放在其最小邻接圆内，进行归一化处理，即设单位1为100像素，将圆的半径放缩至单位1；
计算候选目标的0到8阶Zernike矩Zpq；
计算候选目标到事先建立好的均值人体姿态样本的欧氏距离dk；
n为Zernike矩特征描述符的总个数，xi为候选目标的Zernike矩特征描述符，即对应Z00、Z11、…、Z88；uki表示第k种姿态的第i个Zernike矩特征描述符，k表示体姿态分类种数，取值1－5；
计算dk-Tk，若所有dk-Tk都大于0，则该候选目标不能确定为人体目标；若存在dk-Tk小于0，则该候选目标确定为人体目标；Tk表示预设阈值。
2.根据权利要求1所述暗视觉条件下的双摄像头实时行人检测系统，其特征在于：所述红外图像分割模块对红外图像进行二值化分割处理得到二值化图像，包括：采用基于直方图的自适应K均值聚类红外图像分割算法，利用直方图波峰确定K均值聚类的K值，并且将这K个波峰对应的灰度值作为聚类算法的K个初始聚类中心值，再通过聚类中心聚类前后的移动方向来选择合适的波谷作为分割点，以此分割点分割得到二值化图像；其中K为聚类个数，其值为红外图像的灰度统计直方图进行滑动均值滤波滤除伪峰和毛刺后波形中波峰个数。
3.根据权利要求2所述暗视觉条件下的双摄像头实时行人检测系统，其特征在于：所述选择合适的波谷作为分割点包括：
当K＝1时，若存在umax<vj<gmax，则vj作为分割点；
当K＝2时，若存在ui<vj<ui+1，且Δui×Δui+1<0且ui+1-ui>ui+1'-ui'，则vj作为分割点；若存在umax<vj<gmax，且umax<umax'，则vj作为分割点；
如果选取的作为分割点的波谷不止一个，则选择灰度值最大的波谷作为最终的分割点；
其中，ui表示第i个波峰，ui+1表示第i+1个波峰，vj表示第j个波谷，umax为灰度值最大的波峰，umax'为聚类完成时灰度值最大的聚类中心，gmax为直方图的最大灰阶，ui'表示聚类完成后的中心值，Δui表示聚类完成后的中心值ui'与第i个波峰ui的变化量，Δui+1表示聚类完成后的第i+1个波峰ui+1'与第i+1个波峰ui+1的变化量。
4.根据权利要求1所述暗视觉条件下的双摄像头实时行人检测系统，其特征在于：所述连通区域标记模块采用两遍扫描法对二值化处理后的图像进行处理，得到连通区域，具体包括：
第一遍扫描：逐行逐列扫描像素值为1的点，若某点的4领域没有任何标记，则将该点做新的最小标记；若该点的4领域有标记，则将4领域标记中的最小数字标记赋给该点，并记录4领域标记为相等关系；所述4领域是该点相邻的上、下、左、右四个点；
第二遍扫描：逐行逐列扫描像素值为1的点，将所有点的标记修改为与其相等的最小标记，图像中具有相同标记的点组成连通区域。
5.根据权利要求1所述暗视觉条件下的双摄像头实时行人检测系统，其特征在于：所述候选目标选取模块对连通区域进行筛选，排除干扰连通区域后得到候选目标，包括连通区域像素个数大于100且连通区域占最小邻接矩形的填充比大于0.4且最小邻接矩形的宽高比在0.2至1.2之间。
6.根据权利要求1所述暗视觉条件下的双摄像头实时行人检测系统，其特征在于：所述可见光图像检测单元包括依次相连接的检测区域选取模块、可见光图像人体目标检测算法模块；
所述检测区域选取模块将红外图像中候选目标最小邻接矩形的长宽放大后的可见光图像区域作为检测区域；
所述可见光图像人体目标检测算法模块采用方向梯度图与支持向量机结合的人体检测算法，判定是否为人体目标。
7.根据权利要求6所述暗视觉条件下的双摄像头实时行人检测系统，其特征在于：将将红外图像中候选目标最小邻接矩形的长宽放大FN，FN是放大比例，取值范围5％-25％。
8.根据权利要求6所述暗视觉条件下的双摄像头实时行人检测系统，其特征在于：所述可见光图像人体目标检测算法模块采用方向梯度图与支持向量机结合的人体检测算法，判定是否为人体目标，包括：若平均人体方向梯度图的宽高比大于检测区域梯度方向图的宽高比，将平均人体方向梯度图保持宽高比不变，放缩至与检测区域梯度方向图等宽；若平均人体方向梯度图的宽高比小于检测区域梯度方向图的宽高比，将平均人体方向梯度图保持宽高比不变，放缩至与检测区域梯度方向图等高；然后使用支持向量机计算事先训练好的各种平均人体方向梯度图与检测区域梯度方向图的重叠部分的相似度；若存在大于95％的相似度，则为该检测区存在人体目标；否则，不存在人体目标。
CN201610267971.1A 2016-04-27 2016-04-27 暗视觉条件下的双摄像头实时行人检测系统 Active CN105913040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610267971.1A CN105913040B (zh) 2016-04-27 2016-04-27 暗视觉条件下的双摄像头实时行人检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610267971.1A CN105913040B (zh) 2016-04-27 2016-04-27 暗视觉条件下的双摄像头实时行人检测系统

Publications (2)

Publication Number Publication Date
CN105913040A CN105913040A (zh) 2016-08-31
CN105913040B true CN105913040B (zh) 2019-04-23

Family

ID=56753036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610267971.1A Active CN105913040B (zh) 2016-04-27 2016-04-27 暗视觉条件下的双摄像头实时行人检测系统

Country Status (1)

Country Link
CN (1) CN105913040B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090397A (zh) * 2016-11-22 2018-05-29 天津长城科安电子科技有限公司 基于红外图像的行人检测系统
CN106600628B (zh) * 2016-12-13 2020-12-22 广州紫川电子科技有限公司 一种基于红外热像仪的目标物识别的方法与装置
CN107133592B (zh) * 2017-05-05 2021-04-02 国网江苏省电力公司无锡供电公司 电力变电站采用红外热成像及可见光成像技术融合的人体目标特征检测算法
CN115937776A (zh) * 2017-09-15 2023-04-07 杭州海康威视数字技术股份有限公司 监控方法、装置、系统、电子设备及计算机可读存储介质
CN109416749B (zh) * 2017-11-30 2022-04-15 深圳配天智能技术研究院有限公司 一种图像的灰阶分类方法、装置以及可读存储介质
CN108495061A (zh) * 2018-03-15 2018-09-04 深圳市瀚晖威视科技有限公司 视频报警系统及利用该视频报警系统进行报警的方法
CN108388891A (zh) * 2018-03-29 2018-08-10 讯翱（上海）科技有限公司 一种基于pon技术的ai视频wifi红外客流分析装置
CN108549874B (zh) * 2018-04-19 2021-11-23 广州广电运通金融电子股份有限公司 一种目标检测方法、设备及计算机可读存储介质
CN108806318A (zh) * 2018-06-19 2018-11-13 芜湖岭上信息科技有限公司 一种基于图像的停车位管理系统和方法
CN109271921B (zh) * 2018-09-12 2021-01-05 合刃科技（武汉）有限公司 一种多光谱成像的智能识别方法及系统
CN109934296B (zh) * 2019-03-18 2023-04-07 江苏科技大学 一种基于红外和可见光图像多环境下水面人员识别方法
CN111428546B (zh) * 2019-04-11 2023-10-13 杭州海康威视数字技术股份有限公司 图像中人体标记方法、装置、电子设备及存储介质
CN110675527B (zh) * 2019-09-28 2021-01-29 侯小芳 碰瓷行为现场预防装置
CN112836696A (zh) * 2019-11-22 2021-05-25 搜狗（杭州）智能科技有限公司 一种文字数据的检测方法、装置及电子设备
CN111666920B (zh) * 2020-06-24 2023-09-01 浙江大华技术股份有限公司 目标物品佩戴检测方法、装置、存储介质及电子装置
CN112102353A (zh) * 2020-08-27 2020-12-18 普联国际有限公司 运动目标的分类方法、装置、设备及存储介质
CN112465735A (zh) * 2020-11-18 2021-03-09 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 行人检测方法、装置及计算机可读存储介质
CN112651347B (zh) * 2020-12-29 2022-07-05 嘉兴恒创电力集团有限公司博创物资分公司 一种基于双光谱成像的吸烟行为样本生成的方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383004A (zh) * 2007-09-06 2009-03-11 上海遥薇实业有限公司 一种红外和可见光图像相结合的乘客目标检测方法
CN102161202A (zh) * 2010-12-31 2011-08-24 中国科学院深圳先进技术研究院 全景监控机器人系统、监控机器人

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520970B2 (en) * 2010-04-23 2013-08-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383004A (zh) * 2007-09-06 2009-03-11 上海遥薇实业有限公司 一种红外和可见光图像相结合的乘客目标检测方法
CN102161202A (zh) * 2010-12-31 2011-08-24 中国科学院深圳先进技术研究院 全景监控机器人系统、监控机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的IC缺陷检测的研究;刘文涛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151215;第2015卷(第12期);正文第37-38页
灾难现场的人体检测技术研究;康战波;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120515;第2012年卷(第05期);正文第4，58-60页

Also Published As

Publication number Publication date
CN105913040A (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
CN105913040B (zh) 暗视觉条件下的双摄像头实时行人检测系统
Gao et al. Automatic change detection in synthetic aperture radar images based on PCANet
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
US10198657B2 (en) All-weather thermal-image pedestrian detection method
CN110414559B (zh) 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
Zhou et al. Robust vehicle detection in aerial images using bag-of-words and orientation aware scanning
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
Bedagkar-Gala et al. Multiple person re-identification using part based spatio-temporal color appearance model
CN102902959A (zh) 基于二代身份证存储证件照的人脸识别方法及系统
CN103761531A (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN104504395A (zh) 基于神经网络实现人车分类的方法和系统
Salvagnini et al. Person re-identification with a ptz camera: an introductory study
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
Wu et al. Research on computer vision-based object detection and classification
CN113313149A (zh) 一种基于注意力机制和度量学习的菜品识别方法
CN104008404A (zh) 一种基于显著直方图特征的行人检测方法及系统
TWI628623B (zh) 全天候熱影像式行人偵測方法
Zeng et al. Ear recognition based on 3D keypoint matching
Poostchi et al. Feature selection for appearance-based vehicle tracking in geospatial video
Thomanek et al. Comparing visual data fusion techniques using fir and visible light sensors to improve pedestrian detection
Ramos et al. Embedded system for real-time person detecting in infrared images/videos using super-resolution and Haar-like feature techniques
Chang et al. Single-shot person re-identification based on improved random-walk pedestrian segmentation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant