CN104376302A - 一种基于车载利用相邻帧间图像结合单帧图像检测优化方法 - Google Patents

一种基于车载利用相邻帧间图像结合单帧图像检测优化方法 Download PDF

Info

Publication number
CN104376302A
CN104376302A CN201410655255.1A CN201410655255A CN104376302A CN 104376302 A CN104376302 A CN 104376302A CN 201410655255 A CN201410655255 A CN 201410655255A CN 104376302 A CN104376302 A CN 104376302A
Authority
CN
China
Prior art keywords
image
frame
steps
traversal
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410655255.1A
Other languages
English (en)
Other versions
CN104376302B (zh
Inventor
左石凯
王明江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201410655255.1A priority Critical patent/CN104376302B/zh
Publication of CN104376302A publication Critical patent/CN104376302A/zh
Application granted granted Critical
Publication of CN104376302B publication Critical patent/CN104376302B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了利用相邻帧间图像结合单帧图像的行人检测优化方法，实验结果表明，该方法不但对单帧图像的检测速度进行了大幅度的提高，而且对相邻帧间的图像进行了优化，该方法在降低计算量的前提下，性能非常接近基于统计学习方法对单帧图像的检测，但时间相对缩小了近3倍。

Description

一种基于车载利用相邻帧间图像结合单帧图像检测优化方法
技术领域
本发明属于视频图像处理及模式识别技术领域，尤其涉及一种基于车载多帧图像的行人检测的优化方法。
背景技术
随着国民经济的快速发展和机动车辆的迅猛增加，我国城市交通问题日益严峻。在混合交通系统环境中，行人和车辆是交通的主要组成部分。作为影响社会安定的一个重要因素，行车安全越来越受到社会的关注和重视。如果我们把行人检测和跟踪应用到智能汽车的辅助驾驶系统中，对车辆前方的行人进行检测，及时告知驾驶员车辆前方存在行人，并进行安全预警，对减少或避免车辆与行人发生碰撞事故有着重大的意义。
从行人检测研究方法的切入点来看主要分为两类：其一是基于背景建模的方法：分割出前景，提取其中的运动目标，然后进一步提取特征，分类判别，在存在下雨、下雪、刮风、树叶晃动、灯光忽明忽暗等场合，该方法的鲁棒性不高，抗干扰能力较差且背景建模方法的模型过于复杂，对参数较为敏感；其二是基于统计学习的方法：根据大量训练样本构建行人检测分类器，提取的特征一般有目标的灰度、边缘、纹理、形状、梯度直方图等信息。
而当前主流的研究方向是从统计学习角度出发，从大量的训练样本中抽取特征，建立人体模型，把行人检测化为一个模式分类的问题。其优点是可以从样本集中学习人体的不同变化，具有较好的鲁棒性，而且合理的选择训练样本和特征，结合结构合理的分类算法，可以较好的克服许多不利条件，如行人多样性、场景多样性、光照环境多样性等的影响。但其不足在于算法的复杂程度较高，对单帧图像的检测识别行人时耗时较多，以至于不适合对多帧实时检测。
发明内容
为了克服现有技术中的缺陷，本发明为基于车载多帧图像的行人检测提供了一种优化方法。
本发明提供了利用相邻帧间图像结合单帧图像的检测优化方案，为了实现该方案，运用了以下技术：
对于单帧图像，把图像从上到下依次分为上、中上、中下、下四个区域，并用不同比例的扫描窗口依次对每一区域进行匹配：1)如果扫描窗口的下边缘坐标小于等于上区域的下边界时用最小窗口遍历匹配；2)如果扫描窗口下边缘坐标大于上区域的下边界小于等于中上区域的下边界时用较小窗口遍历匹配；3)如果扫描窗口下边缘坐标大于中上区域的下边界小于等于中下区域的下边界时用较大窗口遍历匹配；4)如果扫描窗口下边缘坐标大于中下区域下边界时用较大窗口遍历匹配。
对于多帧图像，前一帧图像通过上述单帧图像方法进行检测，提取检测出的矩形框的坐标并保存；然后通过改变矩形框的横纵坐标值使矩形框放大一定的比例作为当前帧的感兴趣区域,当前帧图像只需对感兴趣区域通过上述单帧图像的方法进行扫描窗口遍历匹配，并且根据扫描窗口的下边界区域可以判断窗口是否会增大。由于实时图像不断有新的行人的出现，可根据实际情况对整幅图像遍历匹配的频率进行修改。
本发明的有益效果是：不但对单帧图像的检测速度进行了大幅度的提高，而且对相邻帧间的图像进行了优化。由于在实际情况中车辆和行人的距离是越来越近的，所以行人的矩形框应该是越来越大的，这恰好符合了本发明方法。实验结果表明，本发明的方法在降低计算量的前提下，性能非常接近基于统计学习方法对单帧图像的检测，但时间相对缩小了近3倍。
附图说明
图1是本发明的基于车载利用相邻帧间图像结合单帧图像的检测优化方法的流程图；
图2是本发明的方法中单帧行人检测的示意图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。
附图1是本发明的基于车载利用相邻帧间图像结合单帧图像的检测优化方法的流程图，采集车辆前方的图像并利用单帧进行行人检测方法对图像进行扫描窗口匹配检测，提取检测结果并保存，然后通过改变矩形框横纵坐标值使其放大一定的比例作为感兴趣区域(ROI)，把感兴趣区域作为下一帧的检测区域进行检测并且根据检测区域内扫描窗口的下边界区域可以判断窗口是否会增大。在进行相邻帧间检测的过程中可根据行人更新的频率判断是否需要全扫描图像，如果需要则采集车辆前方图像，如果不需要则继续提取检测结果作为下一帧的感兴趣区域。由于实时图像不断有新的行人的出现，可根据实际情况改变是否需要全扫描图像的频率，一般情况下5帧/次。
附图2是本发明的方法中对于单帧进行行人检测的示意图，大矩形框为图像区域，内部的大小不一的矩形框表示扫描窗口。若扫描窗口的下边缘坐标小于等于上区域的下边界时用最小窗口遍历匹配；若扫描窗口下边缘坐标大于上区域的下边界小于等于中上区域的下边界时用较小窗口遍历匹配；若扫描窗口下边缘坐标大于中上区域的下边界小于等于中下区域的下边界时用较大窗口遍历匹配；若扫描窗口下边缘坐标大于中下区域下边界时用较大窗口遍历匹配。
本发明的一个具体实施例如下：采集车辆前方的图像并对图像进行扫描窗口匹配检测，提取检测结果并保存，后通过改变矩形框横纵坐标值使其放大为矩形框的1.5倍作为感兴趣区域，把感兴趣区域作为下一帧的检测区域进行检测并且根据检测区域内扫描窗口的下边界区域可以判断窗口是否会增大。在进行相邻帧间检测的过程中可根据行人更新的频率判断是否需要全扫描图像，如果需要则采集车辆前方图像，如果不需要则继续提取前一帧检测结果的矩形框，通过改变矩形框横纵坐标值使其放大为矩形框的1.5倍作为下一帧的感兴趣区域。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于车载利用相邻帧间图像结合单帧图像的检测优化方法，其特征在于：所述方法包括以下步骤：
步骤A1：前一帧图像通过单帧图像方法进行行人检测，提取检测出的矩形框的坐标并保存；
步骤A2：根据前一帧图像检测的结果对下一帧图像的行人进行跟踪和识别，具体为：通过改变前一帧矩形框的横纵坐标值使矩形框放大一定的比例作为当前帧的感兴趣区域,当前帧图像只需对感兴趣区域通过步骤A1中的单帧图像的方法进行扫描窗口遍历匹配，并且根据扫描窗口的下边界区域判断窗口是否会增大。
2.根据权利要求1所述的方法，其特征在于，所述步骤A1具体为:单帧图像采用划分区域遍历式方法，把图像从上到下依次分为上、中上、中下、下四个区域，并用不同比例的扫描窗口依次对每一区域进行匹配，包括以下步骤：
步骤B1：扫描窗口的下边缘坐标小于等于上区域的下边界时用最小窗口遍历匹配；
步骤B2：扫描窗口下边缘坐标大于上区域的下边界小于等于中上区域的下边界时用较小窗口遍历匹配；
步骤B3：扫描窗口下边缘坐标大于中上区域的下边界小于等于中下区域的下边界时用较大窗口遍历匹配；
步骤B4：扫描窗口下边缘坐标大于中下区域下边界时用较大窗口遍历匹配。
3.根据权利要求1所述的方法，其特征在于：在所述步骤A1之前还包括步骤A0:采集车辆前方图像。
4.根据权利要求1所述的方法，其特征在于：在所述步骤A2之后还包括步骤A3:进行相邻帧间检测的过程中根据行人更新的频率判断是否需要全扫描图像，如果需要则重新采集车辆前方图像，如果不需要则继续提取步骤A1的检测结果作为下一帧的感兴趣区域。
5.根据权利要求4所述的方法，其特征在于，由于实时图像不断有新的行人的出现，所述方法根据实际情况对整幅图像遍历匹配的频率进行修改。
CN201410655255.1A 2014-11-17 2014-11-17 一种基于车载利用相邻帧间图像结合单帧图像检测优化方法 Expired - Fee Related CN104376302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410655255.1A CN104376302B (zh) 2014-11-17 2014-11-17 一种基于车载利用相邻帧间图像结合单帧图像检测优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410655255.1A CN104376302B (zh) 2014-11-17 2014-11-17 一种基于车载利用相邻帧间图像结合单帧图像检测优化方法

Publications (2)

Publication Number Publication Date
CN104376302A true CN104376302A (zh) 2015-02-25
CN104376302B CN104376302B (zh) 2017-12-15

Family

ID=52555200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410655255.1A Expired - Fee Related CN104376302B (zh) 2014-11-17 2014-11-17 一种基于车载利用相邻帧间图像结合单帧图像检测优化方法

Country Status (1)

Country Link
CN (1) CN104376302B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105395210A (zh) * 2015-12-22 2016-03-16 管迪 一种ct扫描成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179927A (ja) * 2001-12-10 2003-06-27 Matsushita Electric Ind Co Ltd シーンチェンジ検出方法
CN102609682A (zh) * 2012-01-13 2012-07-25 北京邮电大学 一种针对感兴趣区域的反馈式行人检测方法
CN102881024A (zh) * 2012-08-24 2013-01-16 南京航空航天大学 一种基于tld的视频目标跟踪方法
CN103679754A (zh) * 2013-12-20 2014-03-26 河北汉光重工有限责任公司 一种实时目标搜索与跟踪技术
CN104063692A (zh) * 2014-06-30 2014-09-24 武汉烽火众智数字技术有限责任公司 一种行人定位检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179927A (ja) * 2001-12-10 2003-06-27 Matsushita Electric Ind Co Ltd シーンチェンジ検出方法
CN102609682A (zh) * 2012-01-13 2012-07-25 北京邮电大学 一种针对感兴趣区域的反馈式行人检测方法
CN102881024A (zh) * 2012-08-24 2013-01-16 南京航空航天大学 一种基于tld的视频目标跟踪方法
CN103679754A (zh) * 2013-12-20 2014-03-26 河北汉光重工有限责任公司 一种实时目标搜索与跟踪技术
CN104063692A (zh) * 2014-06-30 2014-09-24 武汉烽火众智数字技术有限责任公司 一种行人定位检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙尚龙等: "遮挡情况下基于卡尔曼滤波的运动目标跟踪", 《电子测量技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105395210A (zh) * 2015-12-22 2016-03-16 管迪 一种ct扫描成像方法

Also Published As

Publication number Publication date
CN104376302B (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN103268489B (zh) 基于滑窗搜索的机动车号牌识别方法
CN104021574B (zh) 路面病害自动识别方法
CN102902974B (zh) 一种基于图像的铁路接触网杆柱标识信息的识别方法
CN102999749B (zh) 基于人脸检测的安全带违章事件智能检测方法
CN102663760B (zh) 一种对图像中的车辆挡风镜区域进行定位分割的方法
CN102073852B (zh) 基于最优阈值和随机标号法的多车辆分割方法
CN104881661B (zh) 基于结构相似度的车辆检测方法
CN105335743A (zh) 一种车牌识别方法
CN103903018A (zh) 一种复杂场景中对车牌进行定位的方法和系统
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
CN103902981A (zh) 一种基于字符融合特征的车牌字符识别方法及系统
CN104298976A (zh) 基于卷积神经网络的车牌检测方法
CN102880863B (zh) 一种基于可变形部件模型的车牌及驾驶员人脸定位方法
CN105427626A (zh) 一种基于视频分析的车流量统计方法
CN105913041A (zh) 一种基于预先标定的信号灯识别方法
CN103902985B (zh) 一种基于roi的强鲁棒性实时车道侦测算法
CN102968646A (zh) 一种基于机器学习的车牌检测方法
CN104598885A (zh) 街景图像中的文字标牌检测与定位方法
CN103198315A (zh) 基于字符轮廓和模板匹配的车牌字符分割算法
CN106940784A (zh) 一种基于视频的公交车检测与识别方法及系统
CN107256633B (zh) 一种基于单目摄像头三维估计的车型分类方法
CN105447503A (zh) 基于稀疏表示lbp和hog融合的行人检测方法
CN103679205A (zh) 基于阴影假设和分层hog对称特征验证的前车检测方法
CN104933424A (zh) 车辆及行人监测方法及装置
CN103049756A (zh) 基于cema算法和纹理块匹配修复技术的自动提取与去除彩色图像内文字的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171215

Termination date: 20201117

CF01 Termination of patent right due to non-payment of annual fee