CN105261017B - 基于路面约束的图像分割法提取行人感兴趣区域的方法 - Google Patents

基于路面约束的图像分割法提取行人感兴趣区域的方法 Download PDF

Info

Publication number
CN105261017B
CN105261017B CN201510657978.XA CN201510657978A CN105261017B CN 105261017 B CN105261017 B CN 105261017B CN 201510657978 A CN201510657978 A CN 201510657978A CN 105261017 B CN105261017 B CN 105261017B
Authority
CN
China
Prior art keywords
image
region
connected region
value
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510657978.XA
Other languages
English (en)
Other versions
CN105261017A (zh
Inventor
王冬梅
刘帅师
冯偲
邱东
于微波
刘德雨
戴威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Technology
Original Assignee
Changchun University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Technology filed Critical Changchun University of Technology
Priority to CN201510657978.XA priority Critical patent/CN105261017B/zh
Publication of CN105261017A publication Critical patent/CN105261017A/zh
Application granted granted Critical
Publication of CN105261017B publication Critical patent/CN105261017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于路面约束的图像分割法提取行人感兴趣区域的方法，属于车载行人检测感兴趣区域提取领域。包括读入待检测图像、判断图像I是否为灰度图像，对图像进行中值滤波处理后得图像，利用直方图均衡化技术对图像进行灰度增强，利用模糊C均值聚类算法训练出一般行车图像的最优的灰度图像分割阈值得出二值图像，对图像进行边缘检测，对图像进行霍夫变换得出直线方程切割路面，对图像进行连通区域标记，提取可能存在行人的感兴趣区域，对提取的ROIs感兴趣区域使用HOG+SVM进行精确行人检测，在原始图像I上，绘制128*64像素大小矩形框。本发明有效的减少了遍历窗口的数量，从而提高了检测速度和检测精度。

Description

基于路面约束的图像分割法提取行人感兴趣区域的方法
技术领域
本发明属于车载行人检测感兴趣区域提取领域。
背景技术
行人检测可定义为:判断输入图片(或视频帧)是否包含行人,如果有,给出位置信息.。行人检测系统(PDS:Pedestrian Detection System)旨在行进的汽车上建立一个自主、智能的行人检测、智能辅助驾驶系统,具有提高驾驶安全性、保障行人生命财产安全的重要意义和实用价值。在行人检测系统中，通常包括感兴趣区域提取、特征提取、目标识别，三个阶段。
在行人检测系统中，根据所用信息的不同可以将感兴趣区域(ROIs：Regions ofInterest)分割算法大体分为基于运动，基于立体视觉，基于图像特征、基于雷达、以及基于规则、基于显著区域提取等。滑动窗口在ROIs提取中得到了广泛的应用，滑动窗口法扫描窗口以固定的长度步进，当进行密集扫描时会产生大量没有目标的负窗口，从而降低了检测速度，若步长过大又会造成量漏检的发生；基于图像特征的方法在静态图片提取ROIs主要优点是简单直接，但是需要针对特定的应用场景进行具体的分析。在基于图像特征的方法提取行人检测感兴趣区域中，通过对原始图像阈值分割和形态学处理提取感兴趣区域的方法有效的减少了待检测窗口的数量，但是该方法也存在鲁棒性较低，复杂背景下检测效果不佳、感兴趣窗口中包含了大量数目天空等负检测窗口的问题。在《基于多特征的行人层级识别研究》中利用了显著区域提取的方式缩小搜索范围，设计了多层分类器，第一层采用HSCENTRIST特征进行初步识别，排除了大量非行人区域，这一层分类器提取了部分感兴趣区域，然后进行再次精细的分类，文中行人检测的速度获得了很大的提升，但是算法较为复杂，需要多次的提取特征来进行分类导致算法的执行时间过长，检测时间提高。
发明内容
本发明提供一种基于路面约束的图像分割法提取行人感兴趣区域的方法，以解决滑动窗口遍历算法检测效率低、耗时长、检测窗口过多问题、及解决传统图像特征的方法包含了大量树木、天空等负检测窗口问题、及解决多层分类器算法较为复杂，算法执行时间长问题。该算法先对图像进行灰度分割，得出行人可能位置；使用霍夫变换，阈值分割等技术提取路面区域；根据路面区域来约束行人可能位置，排除了天空等负检测窗口，最终通过矩形框在行人图片上标注行人位置即为ROIs区域。
本发明采取的技术方案是，包括以下步骤：
(1)读入待检测图像I；
(2)判断图像I是否为灰度图像，若是实施步骤(3)若不是则转化为灰度图像Igray；
(3)对图像Igray进行中值滤波处理后得图像Imed；
采用3*3的中值滤波模板，中值滤波模型为：
g(mx,my)＝med{f(mx-3,my-3)} 式(1)
其中g(mx,my)表示处理后的图像f(mx-3,my-3)表示原始图像以(mx,my)为中心的3*3领域内的像素值，med操作为取像素中值操作；
(4)利用直方图均衡化技术对图像Imed进行灰度增强，增强后图像Ihisteq；
(5)判断是否有最优灰度分割阈值θ，如果有执行步骤(7)，没有执行步骤(6)；
(6)利用模糊C均值聚类(Fuzzy C-means,FCM)算法训练出一般行车图像的最优的灰度图像分割阈值θ；
当算法收敛时，得到各类的聚类中心和各个样本对于各类的隶属度，最终聚类分割，根据分割的图片效果，找出最能突出行人位置的分割阈值θ，并保存分割阈值θ；
(7)利用阈值θ对步骤(4)生成的图像Ihisteq利用式5进行阈值分割得出二值图像Ibw；
其中B(bw,by)为图像坐标(bw,by)上的灰度值，θ为步骤(5)得出的灰度图像分割阈值，B'(bw,by)为坐标(bw,by)上新的灰度值；
(8)采用二值图像Ibw连通区域进行标记，标记后图像为Ilable；
给二值图像Ibw每个连通区域分配一个唯一代表该区域的编号(1,2,3…ni)在输出图像Ilable中该连通区域内的所有像素的像素值就赋值为该区域的编号，输出标记图像Ilable；
(9)对实施步骤(2)后的Igray图像进行区域生长得出二值图像IBgrow；区域生长是根据事先定义的准则将像素或者子区域聚合成更大区域的过程；
(10)对图像IBgrow进行边缘检测，得出图像Iedge，使用canny算子；
(11)对图像Iedge进行霍夫变换得出直线方程；
(12)根据步骤11得出的直线方程对图像IBgrow切割路面；
设置直线方程的线宽Ld,对直线方程上所有点设为像素为0即黑色，得出切割后的图像Ihough；
(13)对图像Ihough进行连通区域标记，并找出最大的连通区域；
(14)对图像Iroad进行膨胀，得到完整的路面区域Ifroad；
(15)提取可能存在行人的感兴趣区域；
(16)获得图像Ilable中Opi区域的质心；扫描Opi区域找出像素值为该区编号的图像(x,y)坐标，计算其平均值，得出所有Opi区域的质心位置坐标Mai(xi,yi)；
(17)在图像I上，以Mai(xi,yi)为中心点坐标，将128*64像素大小的区域保存，该区域即为行人检测的感兴趣区域ROIs；
(18)对提取的ROIs感兴趣区域使用HOG+SVM进行精确行人检测；
(19)在原始图像I上，以Mai(xi,yi)为中心点坐标，绘制128*64像素大小矩形框，该128*64像素大小的矩形框是行人位置。
本发明的优点是：使用基于路面约束的图像分割法提取行人感兴趣区域,本方法剔除了数目、天空等部分背景区域,，减少了检测窗口数量,减少了对非行人区域的分类识别，从而降低了整个系统的检测时间提高了检测效率。在实验中还将基于路面约束的图像分割方法和传统的滑动窗口法进行了对比，对像素大小为305*289(如图1)的图片来说，采用滑动窗口法的检测行人时间为17.52s,而在使用基于路面约束的图像分割提取感兴趣区域的方法只用了7.89s，检测时间相比滑动窗口法缩短了一倍以上；本发明的方法采用基本的图像处理技术，算法执行效率高，执行时间短。由于进行了路面提取、灰度增强等处理，所有本算法在复杂光照条件下鲁棒性较高。
附图说明
图1是本发明实施例中使用的待检测的行车图像；
图2是实施步骤2的灰度变换后的灰度图像；
图3是实施步骤3后进过中值滤波的图像；
图4是实施步骤4进行灰度增强的图像；
图5是实施步骤7后在分割阈值θ下得到的二值图像；
图6是实施步骤10后得出的边缘检测图像；
图7是实施步骤12后得到的路面切割的图像；
图8是实施步骤13后得到的路面区域图像；
图9是实施步骤14进行灰度膨胀后得出的路面区域；
图10是没有路面约束下进行的图像分割即执行步骤1-8、16、19后得出的图像；
图11是在基于路面约束的图像分割后即执行步骤1-17、19之后得出的图像；
图12是在执行上述全部19个步骤后即加入HOG+SVM精确检测后的结果图像。
具体实施方式
1.读入待检测图像I
2.判断图像I是否为灰度图像，若是实施步骤3若不是则转化为灰度图像Igray,如图2，为转换后的灰度图像。
3，对图像Igray进行中值滤波处理后得图像Imed；
本实施方式采用3*3的中值滤波模板，中值滤波模型
为g(mx,my)＝med{f(mx-3,my-3)} (1)
其中g(mx,my)表示处理后的图像f(mx-3,my-3)表示原始图像以(mx,my)为中心的3*3领域内的像素值，Med操作为取像素中值操作，例如图3所示，为中值滤波后的效果；
4.利用直方图均衡化技术对图像Imed进行灰度增强，增强后图像Ihisteq；
采用直方图均衡化提高图像对比度从而实现灰度增强，经过均衡化处理后的图像中，像素占用尽可能多的灰度级并且分布均匀，所以，这样的图像将具有较高的对比度和较大的动态范围，通过灰度映射函数式(2)使输入图像Imed转换为在每一个灰度级上都有近似相同的像素点数的输出图像Ihisteq，如图4所示，灰度增强后突出了行人区域；
其中Sk为新的灰度值，GNnu为当前灰度级的像素个数，GN为图像中像素总和，L为图像中的灰度级总数；
5.判断是否有最优灰度分割阈值θ，如果有执行步骤7，没有执行步骤6；
6.利用模糊C均值聚类(Fuzzy C-means,FCM)算法训练出一般行车图像的最佳的灰度图像分割阈值θ；
模糊C均值聚类FCM算法可以按照以下步骤完成：
(1)读入训练需要的所有行车图片形成聚类样本X＝{x1,x2,…,xn}是n个行车图像组成的集合，设定聚类数目c，由于行车图片主要由行人，天空，树木，道路四块组成，故设FCM的聚类数目c＝4；
(2)初始化各个聚类中心mj
(3)用当前聚类中心根据式(4)计算隶属函数；
(4)用当前隶属函数按式(3)更新各类聚类中心；
(5)设置停止运算条件当t≥tmax，停止运算；否则t＝t+1，返回步骤(3)，其中，t为迭代次数t，tmax为允许最大迭代数目为：
mj(i＝1,2,…,c)是每一个聚类的中心，μj(xi)是第i个样本关于第j类的隶属度,b是模糊加权幂指数；
当算法收敛时，得到各类的聚类中心和各个样本对于各类的隶属度，完成模糊聚类划分，最后将模糊聚类结果进行去模糊化，将模糊聚类转变为确定性分类，实现最终的聚类分割，根据分割的图片效果如图6所示，实在四个不同阈值下分割的二值图像，找出最能突出行人位置的分割阈值θ，并保存分割阈值θ；
7.利用阈值θ对步骤4生成的图像Ihisteq利用式5进行阈值分割得出二值图像Ibw，
其中B(bw,by)为图像坐标(bw,by)上的灰度值，θ为步骤5得出的灰度图像分割阈值，B'(bw,by)为坐标(bw,by)上新的灰度值，得出的二值图像例如图5；
8，采用二值图像Ibw连通区域进行标记，标记后图像为Ilable；
给二值图像Ibw每个连通区域分配一个唯一代表该区域的编号(1,2,3…ni)在输出图像Ilable中该连通区域内的所有像素的像素值就赋值为该区域的编号，输出标记图像Ilable；
9.对实施步骤2后的Igray图像进行区域生长得出二值图像IBgrow；
区域生长是根据事先定义的准则将像素或者子区域聚合成更大区域的过程；本发明区域生长有三个步骤:
(1)选择合适的生长点；
在现实的行车状态下，车前方3m-5m处为路面区域，基于该先验知识，可以选取车正前方3m-5m的区域为区域生长所需的初始生长点Q；
(2)确定相似性准则既生长准则；
图Igray图像为待生长的图像，以Q点的灰度值为初始生长点的灰度值，若待测点灰度值与生长点灰度值差小于阈值ω＝0.1，那么待测点的和生长点Q合并；
(3)确定生长停止条件；
当图像Igray不存在满足生长点准则像素点，生长停止，得出路面的生长区域region；
(4)对图像Igray中region区域所有坐标像素值赋值为1(白色)，非region区域像素赋值为0(黑色)，得出区域生长后的二值图像IBgrow；
10.对图像IBgrow进行边缘检测，得出图像Iedge，本发明使用canny算子；
由于canny算子在抗噪声干扰和精确定位之间寻求折衷的方案，边缘检测的效果要优于其他算法，本发明采用canny来进行边缘检测，例如图6所示，为使用该算法的边缘检测效果，具体步骤如下：
(1)用高斯滤波器平滑图像IBgrow
利用一个省略系数的高斯函数；
G(x,y)＝f(x,y)*H(x,y) (7)
其中f(x,y)是图像数据,G(x,y)为平滑后的图像，σ是标准差；
(2)用一阶偏导的有限差分来计算梯度的幅值和方向；
得到幅值
方向：
其中，H1,H2为一阶差分卷积模板，分别为x方向的梯度幅值和y方向的梯度幅值。为梯度幅值，为梯度方向
(3)对梯度幅值进行非极大值抑制
仅仅得到全局的梯度不足以确定边缘，为确定边缘，必须保留局部梯度最大的点，而抑制非极大值，即将非局部极大值点置零以得到细化边缘；
(4)用双阈值算法检测和连接边缘；
使用两个阈值T1和T2(T1<T2),从而可以得到两个阈值边缘图像N1[i,j]和N2[i,j]，双阈值法要在N2[i,j]中把边缘连成轮廓，在N1[i,j]中收集边缘，直到将N2[i,j]连接起来为止，得到canny算子进行边缘检测后的图像Iedge；
11.对图像Iedge进行霍夫变换得出直线方程
霍夫变换计算时，建立一个二维累加数组A(a,b)，第一维的范围是图像Iedge坐标空间中直线斜率的可能范围，第二维的范围是图像坐标空间中直线截距的可能范围。开始时A(a,b)初始化为0，然后对图像Iedge坐标空间的每一个前景点(xi,yi)，将参数空间每一个a的离散值带入b＝-xia+yi，计算出对应的b值，每计算出一对(a,b)，都将对应的数组元素A(a,b)加1，即A(a,b)＝A(a,b)+1，所有的计算结束后，在参数空间表决结果中找到A(a,b)的最大峰值，所对应的a0、b0就是原图像中共线点数目最多(共A(a0,b0)个共线点)的直线方程参数；接下来可以继续寻找次峰值和第3第4峰值等，它们对应于原图中共线点数目少一些的直线；
12.根据步骤11得出的直线方程对步骤9得出的图像IBgrow切割路面；
设置直线方程的线宽Ld,对直线方程上所有点设为像素为0即黑色，得出切割后的图像Ihough，例如图7，为切割路面后的效果；
13.对图像Ihough进行连通区域标记，并找出最大的连通区域；
给图像Ihough每个连通区域分配一个唯一代表该区域的编号(1,2,3…nr)在图像Ihough中该连通区域内的所有像素的像素值就赋值为该区域的编号；扫描一遍图像Ihough所有的标注信息，对像素值为该区编号的像素进行计数，计数最大值即为最大的连通区域标记的编号，对Ihough非编号n的区域的像素值置0，得出路面的二值图像Iroad，例如图8,为采取步骤13后提取的路面区域；
14.对图像Iroad进行膨胀，得到完整的路面区域Ifroad；
为了填补细小的空洞对图像进行膨胀处理，定义为：
让模板SR在整个z平面上移动并与图像A去交集，填补细小的空洞，得出对图像Iroad膨胀的Ifroad，例如图9为在Iroad基础上进行膨胀的结果；
15.提取可能存在行人的感兴趣区域，
首先需要计算图中连通区域的面积，设实施步骤7后Ilable共有n个连通区域用Oni(1,2,3…,ni)表示第ni连通区域,扫描所有一遍图像Ilable的标注信息，对像素值为该区编号的像素进行计数，计数最值即为连通区域Oni的面积Sqni,面积阈值为υ,如果Sqni<υ则将Oni区域剔除，将剩连通区域Oni分别和路面区域Ifroad求交集，并判断是否这两个区域存在交集，如果不存在剔除该区域，扫描完所有连通区域后，保存Ilable图像的剩余连通区域Opi；
16.获得图像Ilable中Opi区域的质心，扫描Opi区域找出像素值为该区编号的图像(x,y)坐标，计算其平均值，得出所有Opi区域的质心位置坐标Mai(xi,yi)；
17.在原始图像I上，以Mai(xi,yi)为中心点坐标，将128*64像素大小的区域保存，该区域即为行人检测的感兴趣区域ROIs；
18.对提取的ROIs感兴趣区域使用HOG+SVM进行精确行人检测；
将获取的感兴趣区域提取HOG(Histogram of Oriented Gradients,梯度向量直方图)特征，并送入SVM(Support Vector Machine支持向量机)分类器其中进行进一步的识别，检测由步骤16提取的ROIs是否为行人区域，若判断是行人区域则执行步骤18，直到将所有的ROIs区域检测完毕，算法结束。
19.在原始图像I上，以Mai(xi,yi)为中心点坐标，绘制128*64像素大小矩形框，该128*64像素大小的矩形框即为得出的行人位置。

Claims (5)

1.一种基于路面约束的图像分割法提取行人感兴趣区域的方法，其特征在于包括下列步骤：
(1)读入待检测图像I；
(2)判断图像I是否为灰度图像，若是实施步骤(3),若不是则转化为灰度图像；
(3)对灰度图像进行中值滤波处理后得到图像Imed；
采用3*3的中值滤波模板，中值滤波模型为：
g(mx,my)＝med{f(mx-3,my-3)} (1)
其中g(mx,my)表示处理后的图像，f(mx-3,my-3)表示原始图像以(mx,my)为中心的3*3邻域内的像素值，med操作为取像素中值操作；
(4)利用直方图均衡化技术对图像Imed进行灰度增强，增强后图像为Ihisteq；
(5)判断是否有最优灰度分割阈值θ，如果有执行步骤(7)，没有执行步骤(6)；
(6)利用模糊C均值聚类FCM算法训练出行车图像的最优灰度分割阈值θ；
当算法收敛时，得到各类的聚类中心和各个样本对于各类的隶属度，最终聚类分割，根据分割的图像效果，找出最能突出行人位置的最优灰度分割阈值θ，并保存最优灰度分割阈值θ；
所述模糊C均值聚类FCM算法按照以下步骤完成：
1)读入训练需要的所有行车图像形成聚类样本，X＝{x1,x2,…,xn}是n个行车图像组成的集合，设定聚类数目为c，由于行车图像由行人，天空，树木，道路四块组成，故设FCM的聚类数目c＝4；
2)初始化各个聚类中心mj；
3)用当前聚类中心根据式(4)计算隶属函数；
4)用当前隶属函数按式(3)更新各类聚类中心；
5)设置停止运算条件，当t≥tmax，停止运算；否则t＝t+1，返回步骤3)，其中，t为迭代次数，tmax为允许最大迭代数目：
mj是每一个聚类的中心，j＝1,2,…,c，μj(xi)是第i个样本关于第j类的隶属度,b是模糊加权幂指数；
(7)利用最优灰度分割阈值θ对步骤(4)生成的图像Ihisteq利用式(5)进行阈值分割得出二值图像Ibw；
其中B(bw,by)为图像坐标(bw,by)上的灰度值，B'(bw,by)为坐标(bw,by)上新的灰度值；
(8)对二值图像Ibw进行连通区域标记，标记后图像为Ilable；
给二值图像Ibw每个连通区域分配一个唯一代表该连通区域的编号1,2,3,…,ni，在输出图像Ilable中该连通区域内的所有像素的像素值就赋值为该连通区域的编号，输出标记图像Ilable；
(9)对实施步骤(2)后的灰度图像进行区域生长得出二值图像IBgrow；区域生长是根据事先定义的准则将像素或者子区域聚合成更大区域的过程；
(10)使用canny算子对图像IBgrow进行边缘检测，得出图像Iedge；
(11)对图像Iedge进行霍夫变换得出直线方程；
(12)根据步骤(11)得出的直线方程对图像IBgrow切割路面；
设置直线方程的线宽Ld,将直线方程上所有点的像素设为0，得出切割后的图像Ihough；
(13)对图像Ihough进行连通区域标记，并找出最大的连通区域Iroad；
(14)对图像Iroad进行膨胀处理，得到完整的路面区域Ifroad；
(15)提取可能存在行人的感兴趣区域，方法如下：
首先需要计算图像中连通区域的面积，在实施步骤(8)后，Ilable共有ni个连通区域,用Opi表示第pi个连通区域，pi＝1,2,3,…,ni，计算图像Ilable中连通区域Opi的面积，具体做法是对连通区域Opi的像素数量进行计数，计数最大值即为连通区域Opi的面积Sqpi,面积阈值为υ,如果Sqpi<υ，则将连通区域Opi像素值置0，如果Sqpi>υ,则将连通区域Opi和路面区域Ifroad求交集，并判断这两个区域是否存在交集，如果不存在，则将连通区域Opi像素值置0，处理完所有连通区域后，保存Ilable中非0像素值的连通区域Opi作为新的Ilable；
(16)在步骤(15)后，计算图像Ilable中连通区域Opi的质心；扫描连通区域Opi找出像素值为该连通区域编号的像素坐标，计算其平均值，得出所有连通区域Opi的质心位置坐标Mapi(cxpi,cypi)；
(17)在图像I上，以所有连通区域Opi质心位置坐标Mapi(cxpi,cypi)为中心点坐标，将128*64像素大小的区域保存，保存的区域即为行人检测的感兴趣区域ROIs；
(18)对感兴趣区域ROIs使用HOG+SVM进行精确行人检测，如果感兴趣区域ROIs在精确的检测后被确定为非行人区域，则予以排除；
(19)在图像I上，以剩下的Mapi(cxpi,cypi)为中心点坐标，绘制128*64像素大小矩形框，该128*64像素大小的矩形框是行人位置。
2.根据权利要求1所述的一种基于路面约束的图像分割法提取行人感兴趣区域的方法，其特征在于所述步骤(9)中所述区域生长包括如下步骤:
1)选择合适的生长点；
在现实的行车状态下，车前方3m-5m处为路面区域，基于先验知识，在车正前方3m-5m的区域内选取区域生长所需的初始生长点Q；
2)确定相似性准则；
灰度图像为待生长的图像，以Q点的灰度值为初始生长点的灰度值，若待测点灰度值与生长点灰度值差小于阈值ω＝0.1，那么待测点和生长点Q合并为一个区域；
3)确定生长停止条件；
当灰度图像不存在满足生长点准则像素点，生长停止，得出路面的生长区域region；
4)将灰度图像中生长区域中所有像素赋值为1，非生长区域中所有像素赋值为0，得出区域生长后的二值图像IBgrow。
3.根据权利要求1所述的一种基于路面约束的图像分割法提取行人感兴趣区域的方法，其特征在于所述步骤(10)中采用canny算子来进行边缘检测的步骤如下：
1)用高斯滤波器平滑图像IBgrow；
G(x,y)＝f(x,y)*H(x,y) (7)
其中H(x,y)是省略系数的高斯函数，f(x,y)是图像数据,G(x,y)为平滑后的图像，σ是标准差；
2)用一阶偏导的有限差分来计算梯度的幅值和方向；
得到幅值
方向：
其中，H1,H2为一阶差分卷积模板，分别为x方向的梯度幅值和y方向的梯度幅值，为梯度幅值，为梯度方向；
3)对梯度幅值进行非极大值抑制；
仅仅得到全局的梯度不足以确定边缘，为了确定边缘，必须保留局部梯度最大的点，进行非极大值抑制，即将非局部极大值点置零以得到细化边缘；
4)用双阈值算法检测和连接边缘；
使用两个阈值T1和T2，T1<T2,从而可以得到两个阈值边缘图像N1和N2，双阈值法要在N2中把边缘连成轮廓，在N1中收集边缘，直到将N2连接起来为止，得到使用canny算子进行边缘检测后的图像Iedge。
4.根据权利要求1所述的一种基于路面约束的图像分割法提取行人感兴趣区域的方法，其特征在于所述步骤(11)中霍夫变换计算方法是：
建立一个二维累加数组A(a,b)，第一维的范围是图像Iedge坐标空间中直线斜率的范围，第二维的范围是图像Iedge坐标空间中直线截距的范围，开始时将A(a,b)初始化为0，然后对图像Iedge坐标空间的每一个前景点(ex,ey)，将参数空间每一个a的离散值带入b＝-ex*a+ey，计算出对应的b值，每计算出一对(a,b)，都将对应的数组元素A(a,b)加1，即A(a,b)＝A(a,b)+1，所有的计算结束后，在参数空间表决结果中找到A(a,b)的最大峰值，所对应的a、b就是原图像中共线点数目最多的直线方程参数；接下来可以继续寻找次峰值和第3、第4峰值，它们对应于原图像中共线点数目少一些的直线。
5.根据权利要求1所述的一种基于路面约束的图像分割法提取行人感兴趣区域的方法，其特征在于所述步骤(13)对图像Ihough进行连通区域标记，并找出最大的连通区域的方法是：
给图像Ihough每个连通区域分配一个唯一代表该连通区域的编号1,2,3,…,nr，在图像Ihough中该连通区域内的所有像素的像素值就赋值为该连通区域的编号；扫描一遍图像Ihough中所有的标注信息，对像素值为该连通区域编号的像素进行计数，计数最大值对应的连通区域即为最大的连通区域，标记为Qmax，对Ihough中Qmax之外的连通区域的像素值置0，得出路面的二值图像Iroad，Iroad为提取的路面区域。
CN201510657978.XA 2015-10-14 2015-10-14 基于路面约束的图像分割法提取行人感兴趣区域的方法 Active CN105261017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510657978.XA CN105261017B (zh) 2015-10-14 2015-10-14 基于路面约束的图像分割法提取行人感兴趣区域的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510657978.XA CN105261017B (zh) 2015-10-14 2015-10-14 基于路面约束的图像分割法提取行人感兴趣区域的方法

Publications (2)

Publication Number Publication Date
CN105261017A CN105261017A (zh) 2016-01-20
CN105261017B true CN105261017B (zh) 2018-12-11

Family

ID=55100689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510657978.XA Active CN105261017B (zh) 2015-10-14 2015-10-14 基于路面约束的图像分割法提取行人感兴趣区域的方法

Country Status (1)

Country Link
CN (1) CN105261017B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894474A (zh) * 2016-04-20 2016-08-24 华北电力大学（保定） 一种非线性图像增强方法及边缘检测方法
CN106355162A (zh) * 2016-09-23 2017-01-25 江西洪都航空工业集团有限责任公司 一种基于视频监控的入侵检测方法
CN106651872B (zh) * 2016-11-23 2020-09-15 北京理工大学 基于Prewitt算子的路面裂缝识别方法及系统
CN108961316B (zh) * 2017-05-23 2022-05-31 华为技术有限公司 图像处理方法、装置及服务器
CN109284658B (zh) * 2017-07-23 2021-10-26 北京遥感设备研究所 一种支持向量机和Hough变换相结合的直道铁轨检测方法
JP6977425B2 (ja) * 2017-09-14 2021-12-08 セイコーエプソン株式会社 画像処理装置、二値画像生産方法および画像処理プログラム
CN108447068B (zh) * 2017-12-22 2020-09-01 杭州美间科技有限公司 三元图自动生成方法及利用该三元图的前景提取方法
EP3540691B1 (en) * 2018-03-14 2021-05-26 Volvo Car Corporation Method of segmentation and annotation of images
CN108509262B (zh) * 2018-03-19 2022-03-29 华南理工大学 面向车载行人检测系统的dm6437软件结构设计方法
CN109087276B (zh) * 2018-05-17 2022-02-01 苏州斯玛维科技有限公司 基于smt料盘的x射线图像的元器件自动计数和定位方法
CN108985298B (zh) * 2018-06-19 2022-02-18 浙江大学 一种基于语义一致性的人体衣物分割方法
CN109285159A (zh) * 2018-08-02 2019-01-29 哈尔滨工程大学 一种基于新型纳什均衡的医学图像分割方法
CN109409190A (zh) * 2018-08-21 2019-03-01 南京理工大学 基于梯度直方图和Canny边缘检测器的行人检测方法
CN109472793A (zh) * 2018-10-15 2019-03-15 中山大学 基于fpga的4k高清图像实时路面分割方法
CN109671092A (zh) * 2018-11-10 2019-04-23 江苏网进科技股份有限公司 一种改进的Canny图像分割方法和系统
CN109740458B (zh) * 2018-12-21 2021-07-16 安徽智恒信科技股份有限公司 一种基于视频处理的体貌特征测量方法及系统
CN110687130A (zh) * 2019-09-27 2020-01-14 天津大学 微细孔内壁缺陷自动检测方法
CN110596664B (zh) * 2019-10-28 2022-07-12 北京润科通用技术有限公司 一种车载雷达偏角估计方法及装置
CN111028258B (zh) * 2019-11-14 2023-05-16 中国科学院力学研究所 一种大尺度灰度图像自适应阈值提取方法
CN111061890B (zh) * 2019-12-09 2023-04-07 腾讯云计算（北京）有限责任公司 一种标注信息验证的方法、类别确定的方法及装置
CN111191534B (zh) * 2019-12-18 2023-05-23 长安大学 一种模糊航空图像中的道路提取方法
CN111062984B (zh) * 2019-12-20 2024-03-15 广州市鑫广飞信息科技有限公司 视频图像区域面积的测量方法、装置、设备及存储介质
CN111062341B (zh) * 2019-12-20 2024-03-19 广州市鑫广飞信息科技有限公司 视频图像区域的分类方法、装置、设备及存储介质
CN111429372A (zh) * 2020-03-24 2020-07-17 杭州趣维科技有限公司 一种增强低对比度图像边缘检测效果的方法
CN111862128B (zh) * 2020-06-12 2024-04-16 广州市申迪计算机系统有限公司 一种图像分割方法及装置
CN112215219B (zh) * 2020-09-14 2023-11-24 阿波罗智联(北京)科技有限公司 用于路侧拍摄设备的感兴趣区域获取方法、装置及介质
CN112365448B (zh) * 2020-10-20 2022-08-30 天津大学 一种经编织造过程中的织物疵点检测方法
CN112419356A (zh) * 2020-12-08 2021-02-26 江苏科技大学 一种大棚中小树种植生长检测和记录方法及其装置
CN113160255A (zh) * 2021-02-24 2021-07-23 国网福建省电力有限公司检修分公司 一种运行线路走廊环境因子变化监控方法
CN113079632A (zh) * 2021-04-01 2021-07-06 浙江大学 一种高分辨率触觉传感器及其制作和检测方法
CN113298837B (zh) * 2021-07-27 2021-11-26 南昌工程学院 一种图像边缘提取方法、装置、存储介质及设备
CN115345893B (zh) * 2022-09-15 2023-02-21 吉林大学中日联谊医院 基于图像处理的卵巢组织癌变区域分割方法
CN115661098B (zh) * 2022-10-31 2024-02-06 河海大学 一种海底管线二维冲刷剖面图像识别与数据提取方法
CN116996673B (zh) * 2023-09-28 2023-11-24 深圳市铁军智能科技有限公司 基于通行出入管理及设备运行状态的智能云端管理系统
CN117315289B (zh) * 2023-11-28 2024-02-09 苏州翰微材料科技有限公司 基于图像处理的航空发动机叶片轮廓边缘检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964033B2 (en) * 2009-12-02 2015-02-24 Tata Consultancy Services Limited Cost-effective system and method for detecting, classifying and tracking the pedestrian using near infrared camera
CN102043950B (zh) * 2010-12-30 2012-11-28 南京信息工程大学 基于canny算子和边缘点统计的车辆轮廓识别方法
CN102768726B (zh) * 2011-05-06 2015-03-11 香港生产力促进局 一种预防行人碰撞的行人检测方法
CN104021368A (zh) * 2013-02-28 2014-09-03 株式会社理光 估计路面高度形状的方法和系统
CN103577828B (zh) * 2013-11-22 2018-02-13 极限元（北京）智能科技股份有限公司 一种基于边缘特征的道路检测方法
KR101498114B1 (ko) * 2013-11-28 2015-03-05 현대모비스 주식회사 보행자를 검출하는 영상 처리 장치 및 그 방법
CN103902976B (zh) * 2014-03-31 2017-12-29 浙江大学 一种基于红外图像的行人检测方法
CN104766321B (zh) * 2015-04-03 2017-07-25 北京航空航天大学 一种利用环形最短路径的红外行人图像精确分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
《Pedestrian Detection using Infrared images and Histograms of Oriented Gradients》;F. Suard等;《Intelligent Vehicles Symposium》;20060615;206-212 *
《Survey of Pedestrian Detection for Advanced Driver Assistance Systems》;David Geronimo等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20090529;第32卷(第7期);第1239-1258页 *
《Vision based pedestrian detection using Histogram of Oriented Gradients, Adaboost & Linear Support Vector Machines》;SDF Hilado等;《TENCON 2012 - 2012 IEEE Region 10 Conference》;20121122;1-5 *
《基于机器视觉的车辆辅助驾驶系统关键问题研究》;郭靖;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140315;第2014年卷(第03期);I138-584 *
《复杂交通场景中基于路面提取的行人检测研究》;衡浩;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20130715;第2013年卷(第07期);C034-700 *
《车载红外行人检测系统研究》;杨如林;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140815;第2014年卷(第08期);I138-1435 *

Also Published As

Publication number Publication date
CN105261017A (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
CN105261017B (zh) 基于路面约束的图像分割法提取行人感兴趣区域的方法
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及系统
Li et al. An edge embedded marker-based watershed algorithm for high spatial resolution remote sensing image segmentation
CN104951784B (zh) 一种车辆无牌及车牌遮挡实时检测方法
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in-car camera
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN104751142A (zh) 一种基于笔划特征的自然场景文本检测算法
Paunwala et al. A novel multiple license plate extraction technique for complex background in Indian traffic conditions
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN102147867B (zh) 一种基于主体的国画图像和书法图像的识别方法
CN106203237A (zh) 集装箱拖车编号的识别方法和装置
Momin et al. Vehicle detection and attribute based search of vehicles in video surveillance system
Sharma et al. A hybrid technique for license plate recognition based on feature selection of wavelet transform and artificial neural network
Radha et al. A novel approach to extract text from license plate of vehicles
Wang et al. An overview of 3d object detection
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN109886168B (zh) 一种基于层阶的地面交通标志识别方法
CN109977899B (zh) 一种物品识别的训练、推理以及增加新种类的方法和系统
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
Ingole et al. Characters feature based Indian vehicle license plate detection and recognition
Yang et al. An efficient method for vehicle model identification via logo recognition
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN113221739B (zh) 基于单目视觉的车距测量方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法
Rahaman et al. Lane detection for autonomous vehicle management: PHT approach

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant