CN111127459A - 路面车辙检测的图像实时处理系统 - Google Patents

路面车辙检测的图像实时处理系统 Download PDF

Info

Publication number
CN111127459A
CN111127459A CN201911399458.8A CN201911399458A CN111127459A CN 111127459 A CN111127459 A CN 111127459A CN 201911399458 A CN201911399458 A CN 201911399458A CN 111127459 A CN111127459 A CN 111127459A
Authority
CN
China
Prior art keywords
image
road
road surface
negative
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911399458.8A
Other languages
English (en)
Other versions
CN111127459B (zh
Inventor
马力
陈昆
艾青松
杨启凡
张小梅
赵雪飞
刘泽民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201911399458.8A priority Critical patent/CN111127459B/zh
Publication of CN111127459A publication Critical patent/CN111127459A/zh
Application granted granted Critical
Publication of CN111127459B publication Critical patent/CN111127459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及公路路面车辙检测领域，尤其涉及路面车辙检测的图像实时处理系统，包括：图像采集模块、激光发射器、检测车和DSP多核模块；所述激光发射器，用于为路面车辙提供横向的激光线；所述图像采集模块，用于实时采集道路路面车辙的原始图像；所述原始图像中包含有横向的激光线；所述DSP多核模块，用于修复原始图像，得到还原图像；以及，基于还原图像计算路面路面的车辙数据；所述检测车，用于承载图像采集模块、激光发射器和DSP多核模块沿路面纵向行驶。本发明不但能够自动、实时地检测路面车辙信息，还能够提升检测的精度。

Description

路面车辙检测的图像实时处理系统
技术领域
本发明涉及公路路面车辙检测领域，尤其涉及路面车辙检测的图像实时处理系统。
背景技术
截止2017年中旬，我国的高速公路纵里程数已经超过了13万公里，我国常见的公路通常是由沥青铺设，具有平整度高、行车舒适、铺设简单等优点，但同样会因为大型车辆的反复行驶碾压出现车辙的现象。因我国目前高速公路的高里程数，相关部门需定时定路段的进行道路检测工作，但当前采用的路面车辙检测手段主要以人工检测为主，该方法存在费人费力费时，效率低下，检测精度也较低等问题，而近年出现的车辙自动检测系统因其方便省时，能及时获取道路受损信息为相关部门决策者提供可靠信息，在最近几年得到大量相关学者和研究机构的重视。
目前，在现有技术的车辙检测系统中，有的采用高速摄像机进行检测，成本较大且只针对较好路况区域进行检测，并不具备通用性；有的存在夜间工作的缺陷；有的只能识别和计算路表损坏，并不能对车辙进行检测；有的需要人工介入来处理路面破损信息。
综上所述，现有的车辙检测系统并不能满足图像处理实时性要求，且系统检测准确度不够精确，往往针对较好路况区域进行检测，大部分系统存在仅应用于白天工作的缺陷，部分系统还需要人工介入，通用性较差，需要不断完善和改进。因此，提出一种新的能完全满足当前车辙检测需求能自动、实时、精确、快速的道路路面车辙检测系统是十分必要的。
发明内容
本发明提供的路面车辙检测的图像实时处理系统，其不但能够自动、实时地检测路面车辙信息，还能够提升检测的精度。
本发明提供的路面车辙检测的图像实时处理系统，包括：图像采集模块、激光发射器、检测车和DSP多核模块；
所述激光发射器，用于为路面车辙提供横向的激光线；
所述图像采集模块，用于实时采集道路路面车辙的原始图像；所述原始图像中包含有横向的激光线；
所述DSP多核模块，用于修复原始图像，得到还原图像；
以及，基于还原图像计算路面路面的车辙数据；
所述检测车，用于承载图像采集模块、激光发射器和DSP多核模块沿路面纵向行驶。
进一步地，所述激光发射器的发射面和图像采集模块的采集面为同一平面。
更进一步地，所述DSP多核模块，具体用于：
对原始图像进行预处理，得到处理后图像；
将处理后图像进行非负强度特征计算，得到非负强度特征图；
基于支持向量回归SVR模型，对非负强度特征图进行缺省丢失区域还原，得到还原图像。
再进一步地，所述DSP多核模块包括一个主核和多个从核；
主核将原始图像进行区域划分，并将得到的多个区域图像分配至对应的从核；
针对每个从核：
在接收到对应区域图像后，当前从核将对应区域图像进行预处理，得到对应处理后区域图像；
当前从核将处理后区域图像进行负强度特征计算，得到对应区域非负强度特征图；
当前从而基于支持向量回归SVR模型，对区域非负强度特征图进行缺省丢失区域还原，得到对应区域还原图像；
主核将各从核的区域还原图像进行拼接，得到还原图像。
还进一步地，所述DSP多核模块，还具体用于：
根据还原图像中的激光线数据，计算得到对应车辙高度。
在上述技术方案中，所述对原始图像进行预处理，具体包括：
将原始图像像素值进行归一化处理；
将归一化后的图像进行模糊平滑滤波，得到处理后图像。
在上述技术方案中，所述将处理后图像进行非负强度特征计算，具体包括：
针对处理后图像的各像素：
以当前像素为中心，选取对应滑动窗口；
计算当前像素与滑动窗口内其他各像素的灰度差值；
根据各灰度差值计算出当前滑动窗口内的非负个数和各非负强度值；
判断当前滑动窗口内的非负个数占当前滑动窗口内像总像素的比例是否低于预设阈值：若是，则当前窗口非负强度值赋值为零；
若否，则当前窗口非负强度值为当前滑动窗口内各非负强度值的平均值；
直至处理后图像中每个滑动窗口的非负强度值都赋值完毕。
在上述技术方案中，所述基于支持向量回归SVR模型，对非负强度特征图进行缺省丢失区域还原，具体包括：
采集非负强度特征图中为缺省的车辙线数据作为SVR模型的训练集；
计算SVR问题的目标函数和损失函数；
引入松弛因子，重写目标函数；
引入拉格朗日乘子，推出拉格朗日函数；
计算SVR对偶函数；
得到SVR回归模型并求解，计算非负特征车辙图中车辙线缺省区域预测值。
优选地，所述当前像素与滑动窗口内其他各像素的灰度差值计算公式为：
▽(i,j；m,n)＝P(i,j)-C(i+m,j+n) (1)
所述出当前滑动窗口内的非负个数计算公式为：
Figure BDA0002347142450000031
所述当前滑动窗口内的各非负强度值的计算公式为：
Figure BDA0002347142450000032
其中，P(i,j)为当前像素的像素值，C(i+m,j+n)为当前滑动窗口内除当前像素之外的某像素的像素值。
优选地，所述计算得到对应车辙高度的计算公式为：
Figure BDA0002347142450000033
其中，α为激光发射器的激光线与路面夹角，β为图像采集模块的采集方向与路面的夹角，f为图像采集模块中摄像头的像距，e为摄像头成像过程中激光线变形量，H2为摄像头距离路面高度值。
在本发明中，检测车携带激光发射器、图像采集模块和DSP多核模块，沿着道路方向行驶，使DSP多核模块能够实时处理图像采集模块采集的原始图像，从而可以计算车辙数据。DSP多核模块首先对原始图像进行还原，才开始计算车辙数据，由此，能够提高车辙数据的精确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的系统结构示意图；
图2为路面车辙的断面示意图；
图3为本发明实施例激光发射器发射面和图像采集模块采集面的示意图；
图4为平坦路面和具有车辙的路面的激光线的对比示意图；
图5为本发明实施例中原始图像与处理后图像对比示意图；
图6为本发明实施例中处理后图像与非负强度特征图对比示意图；
图7为本发明实施例中非负强度特征图与还原图像对比示意图；
图8为本发明实施例中计算车辙数据的示意图；
图9为本发明实施例中DSP多核模块的工作流程示意图；
图10为本发明实施例中主核对原始图像的切割示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本发明提供的路面车辙检测的图像实时处理系统，包括：图像采集模块 1、激光发射器2、检测车3和DSP多核模块4；
所述激光发射器2，用于为路面车辙提供横向的激光线；
所述图像采集模块1，用于实时采集道路路面车辙的原始图像；所述原始图像中包含有横向的激光线；
所述DSP多核模块4，用于修复原始图像，得到还原图像；
以及，基于还原图像计算路面路面的车辙数据；
所述检测车3，用于承载图像采集模块1、激光发射器2和DSP多核模块4沿路面纵向行驶。
在本实施例中，检测车3携带激光发射器2、图像采集模块1和DSP多核模块4，沿着道路方向行驶，使DSP多核模块4能够实时处理图像采集模块1采集的原始图像，从而可以计算车辙数据。DSP多核模块4首先对原始图像进行还原，才开始计算车辙数据，由此，能够提高车辙数据的精确性。
在本实施例中，图像采集模块1包括图像传感器CCD。
道路中常见的车辙模型如图2所示。本实施例中使用的激光发射器2，以固定角度向路面投射具有高阈值特征的激光，使得路面车辙图像中激光线阈值明显大于周边背景。如果投射路面平坦，图像中的车辙激光线几乎为一条直线，但当投射路面出现车辙现象时，反馈光条呈曲线状，曲线变形量与道路车辙形态呈一定的比例关系，通过图像处理提取目标光条，获得车辙深度曲线，路面线激光车辙仪以路面测点的高程测量为基础，对于道路横断面上的每一个测点，均能得到一个相对的高程值，由线激光各点高程值完成车辙形态计算，可得到不同模型时的车辙深度值。
本实施例利用CCD成像及模式识别方法，通过数学关系转化，将待测路面车辙信息转变为图像曲线信息。激光发射器2以线阵列的方式安置在检测车3上，当检测车工作时，以一定的速度正常行驶于需检测道路，过程中持续获取路面图像信息。图4(a)是常见平坦路面的路面激光线图像，从图像上可明显看出激光曲线在图像上亮于路面背景，呈直线状特征，图4(b)为具有车辙的路面激光线图像，激光曲线随着路面车辙形态特征而出现相应的弯曲，从结构模型上可以得知，曲线弯曲程度与凹凸路面车辙形态呈一定的数学关系，由曲线弯曲程度可以得出路面车辙信息。
如图3所示，所述激光发射器2的发射面和图像采集模块1的采集面为同一平面。
目前市场上较为常见的图像传感器是CCD和CMOS这两种传感器，其中CCD图像传感器存在读取噪声低，响应灵敏度高，动态范围较大等优势广泛应用于高速移动物体的精确摄像检测，更适用于在高速行驶的道路路面车辙检测车上获取路面图像信息，完成路面状况的记录和检测。
根据车载式路面车辙成像系统的环境应用特征，采用共面结构激光照明方式，利用激光辅助照明系统避免道路路面成像阴影并解决了夜间难以工作的难题。
所述DSP多核模块4，具体用于：
对原始图像进行预处理，得到处理后图像；
将处理后图像进行非负强度特征计算，得到非负强度特征图；
基于支持向量回归SVR模型，对非负强度特征图进行缺省丢失区域还原，得到还原图像。
所述对原始图像进行预处理，具体包括：
将原始图像像素值进行归一化处理；
将归一化后的图像进行模糊平滑滤波，得到处理后图像。
如图5所示，道路路面往往存在成像环境、采集噪声等各方面外界因素的干扰，如不同路段的环境光照条件的均匀性和稳定性等，同时不同道路存在各式各样的路面标线、阴影等常见干扰源，直接获取的车辙图像并不能直接用于车辙激光线的提取，因此需要进行图像的预处理，其目的主要是为了将目标与背景进行区分，突出车辙图像中车辙激光线的特征的同时抑制复杂干扰的不必要环境信息(如道路标识，斑马线等)，增强检测目标与干扰背景的区别度。
在本实施例中，针对车辙图像中存在的多种噪声造成采集到的原始图像信噪比低的情况，需要采用不同的方法来抑制图像中的噪声并且突显出目标激光线的特征，便于后续获取满意的图像处理结果。综合考虑激光线连续性线状的目标特征，以及所述系统在行驶过程中纵向采集的不均与信息，使用横向窗口模糊平滑的预处理方法。
在车辙图像中，车辙激光线光点在纵向上呈高斯分布，光点灰度值大于周边像素点，抛出噪点干扰，车辙激光线图像纵向呈单波曲线，每一列仅有一个像素点能做为光心，每列光心相连构成了一条完整连续的曲线，这就是我们需要提取的路面车辙激光光条的中心激光线。
高斯滤波是一种线性平滑滤波，广泛地应用于图像处理的平滑模糊处理过程，为了消除车辙图像中呈高斯分布的光点，采用高斯滤波消除图像噪声。使用高斯滤波的具体操作时：首先使用矩形窗口扫描每一个像素点，取矩形窗口像素点灰度值经高斯计算结果输出，在矩形窗口模板系数中，随着距离模板中心的增大而系数减小，本文采用3×9的矩形窗口。
图像滤波模块主要包括以下两个步骤：
1、首先将原始图像像素值进行归一化处理；
2、针对所述系统沿着公路纵向行驶的特征，矩形窗口选择高度小于宽度的横向矩形窗口，逐像素完成整副图像模糊平滑滤波过程，增大目标激光线与背景像素灰度值区分度。
一维的高斯函数如式：
Figure 1
其中x为坐标点的灰度值，σ为标准差，σ和高斯核的平滑程度关系是呈正比例的，通过对高斯函数的离散化，得到高斯核矩阵，遍历车辙原始图像进行模糊平滑滤波，完成原始图像预处理。图5(a)为高斯滤波前的原始图像，图5(b)为高斯滤波后的处理后图像。
所述将处理后图像进行非负强度特征计算，具体包括：
针对处理后图像的各像素：
以当前像素为中心，选取对应滑动窗口；
计算当前像素与滑动窗口内其他各像素的灰度差值；
根据各灰度差值计算出当前滑动窗口内的非负个数和各非负强度值；
所述当前像素与滑动窗口内其他各像素的灰度差值计算公式为：
▽(i,j；m,n)＝P(i,j)-C(i+m,j+n) (1)
所述出当前滑动窗口内的非负个数计算公式为：
Figure BDA0002347142450000072
所述当前滑动窗口内的各非负强度值的计算公式为：
Figure BDA0002347142450000073
其中，P(i,j)为当前像素的像素值，C(i+m,j+n)为当前滑动窗口内除当前像素之外的某像素的像素值。在本实施例中，计算矩形窗口取为11×5，m取值范围为-5～5，n取值范围为-2～2。
判断当前滑动窗口内的非负个数占当前滑动窗口内像总像素的比例是否低于预设阈值：若是，则当前窗口非负强度值赋值为零；
若否，则当前窗口非负强度值为当前滑动窗口内各非负强度值的平均值；
直至处理后图像中每个滑动窗口的非负强度值都赋值完毕。
如图6所示，图6(a)为处理后图像，图6(b)为非负强度特征图。经过非负强度特征计算后，图像中只存在车辙激光线数据，其余针对计算无用的图像数据全被处理掉。
所述基于支持向量回归SVR模型，对非负强度特征图进行缺省丢失区域还原，具体包括：
采集非负强度特征图中为缺省的车辙线数据作为SVR模型的训练集；
计算SVR问题的目标函数和损失函数；
引入松弛因子，重写目标函数；
引入拉格朗日乘子，推出拉格朗日函数；
计算SVR对偶函数；
得到SVR回归模型并求解，计算非负特征车辙图中车辙线缺省区域预测值。
如图6(b)所示，经过非负强度计算模块后的非负强度特征图虽然能大致的提取出车辙目标激光线，但仍然存在缺省的现象，其原因由复杂路面环境干扰(斑马线，路面阴影)等多方面造成，得到的特征图并不能直观、全面地呈现车辙线的凹凸曲线，及连续的凹凸曲线中出现了断裂部分。
因此，在本实施例中，利用支持向量机(support vector machine,SVM)来对缺失的激光线数据进行预测。对于非线性回归模型采集样本集S＝{(x1，y1)，.......，(xn，yn)|xi∈Rn，yj∈R}，我们的目标是让训练集中的点尽量拟合成一个非线性模型，形如在线性模型中最简单的函数yi＝w·φ(xi)+b，使得数据离回归函数的偏差|yi-w·φ(xi)-b|≤ε，其中ε是产生的偏差，为零则称为完全没有损失，否则就产生损失，总结SVR的损失函数度量为err。计算公式为：
Figure BDA0002347142450000081
定义目标函数公式如式：
Figure BDA0002347142450000082
回归模型需要对每个样本(xi，yi)加入松弛变量ξi≥0，这里使用绝对值，表明是两个不等式，两把都需要松弛变量，我们将其定义为
Figure BDA0002347142450000083
则SVR回归模型的损失函数度量在加入松弛变量后变为式(8)：
Figure BDA0002347142450000091
用拉格朗日函数将目标优化函数变为无约束形式如式(9)：
Figure BDA0002347142450000092
其中，
Figure BDA0002347142450000093
均为拉格朗日系数。
接着令偏导数为零，对以上遍历求偏导可推出式(10)：
Figure BDA0002347142450000094
其中，C＝αi+ui，
Figure BDA0002347142450000095
将上边式子代入，计算过程如式(11)所示，求出SVR的对偶问题：
Figure BDA0002347142450000096
Figure BDA0002347142450000097
其中，
Figure BDA0002347142450000098
式(11)过程包括KKT条件即条件如式(12)：
Figure BDA0002347142450000099
最后，可得SVR的解，结果如式(13)和(14)
Figure BDA00023471424500000910
Figure BDA00023471424500000911
由上式推导过程可知，使用SVR非线性回归对车辙线丢失的问题进行处理，需要采集样本集S＝{(x1，y1)，.......，(xn，yn)|xi∈Rn，yj∈R}，结合非负强度特征图的特征可以得知这时其实已经获取到了车辙曲线的大部分，但由于复杂背景环境的干扰导致缺省部分的车辙线，且并不能直观的从原图中获得，因此这里采用基于SVR的非线性回归模型，采集非负强度特征车辙图像的车辙光点作为我们的采集样本，通过上式SVR回归模型公式计算，得到目标丢失区域的预测值，还原车辙线缺失区域。图7(a)为还原前的非负强度特征图，图7(b)为还原后的还原图像。
所述DSP多核模块4，还具体用于：
根据还原图像中的激光线数据，计算得到对应车辙高度。
如图8所示，Cam表示CCD图像传感器，Las为激光发射器2，F为CCD摄像头焦点，α为激光发射器2的激光线与路面夹角，β为图像采集模块1的采集方向与路面的夹角，f为图像采集模块1中摄像头的像距，e为摄像头成像过程中激光线变形量，H1表示激光发射器2距路面高度值，H2为摄像头距离路面高度值，h为车辙高度。
从图8可以得到：
Figure BDA0002347142450000101
Figure BDA0002347142450000102
将式(16)带入式(15)，整理后可得：
Figure BDA0002347142450000103
据相似三角形关系可得：
Figure BDA0002347142450000104
将式(17)代入式(18)，联合求解，可以求出：
Figure BDA0002347142450000105
从图8中还可以得到：
Figure BDA0002347142450000106
h＝AC·sinα (21)
将式(19)代入式(20)，再代入式(21)，得出：
Figure BDA0002347142450000111
上式中，对于所述系统，安装后的f，α，β，H1，H2等参数均为固定常数，由此可知，从图像中得到测量值e时，可计算得h值。
综上，本实施例具有实时、快速、高精度、全天候工作、应用范围全覆盖、低功耗等特点，可直接应用于道路路面的车辙检测项目中。
实施例二
如图9所示，所述DSP多核模块4包括一个主核和多个从核；
主核将原始图像进行区域划分，并将得到的多个区域图像分配至对应的从核；
如图10所示，在本实施例中，有7个从核Core1～7，主核为Core0。Core0将原始图像切分为7份，分别传递至Core1～7。由此，Core1～7可以同时对各区域图像进行处理。
针对每个从核：
在接收到对应区域图像后，当前从核将对应区域图像进行预处理，得到对应处理后区域图像；
当前从核将处理后区域图像进行负强度特征计算，得到对应区域非负强度特征图；
当前从而基于支持向量回归SVR模型，对区域非负强度特征图进行缺省丢失区域还原，得到对应区域还原图像；
主核将各从核的区域还原图像进行拼接，得到还原图像。
在本实施例中，Core1～7的处理方式包括：预处理、负强度特征计算和缺省丢失区域还原，所用的方法和算法都与实施例一一样，在此就不再赘述。Core1～7并行的处理方式，大大提高了处理效率。
在本实施例中，DSP多核模块为TMS320C6678DSP处理器，每秒能完成40GB MAC 的定点运算和20GB FLOP的浮点运算。单精度浮点运算理论上可以达到160GB FLOP的计算量，常应用于高性能，高计算的信号处理领域，如大型医疗图像处理，自动化机械计算等对定点计算能力和实时性能有较高要求的高性能计算应用。
DSP也是一种CPU，与我们常见的CPU内部架构类似，但是DSP与GPU或者FPGA 等处理器的内部结构差异很大，主要优势体现在相同的成本和功耗时拥有更出色的性能，例如运算常见的FFT算法，在运行速率为1GHz时，使用TMS320C6678 8核DSP处理器并行计算执行一个样例为1024K的FFT算法样本只需要6.4毫秒。此外， TMSC320C6678的配套外设包括PCle，SerialRapidIO，Gigabit Ethernet以及TI的HyperLink界面，这个界面可以连接到TI的其他DSP和ARM设备，TMS320C6678处理器配套外设能提供50Gbps的连接速度。TMS320C6678有8个C66x核，典型速度是 1GHz，包括32KB Level 1Data的SRAM，32KB Level1Program SRAM,512KB LL2SRAM, 所有DSP核共享4MB SL2SRAM，SRAM运行速度为内核的一半，可用于数据存储也可以放置代码段。
TMS320C6678DSP处理器采用VLIW结构，存在以下不同级别的并行。指令级别、数据级别、线程级别三种方式并行。其中指令级别并行中内核存在2个寄存器内，总共有八个不同单元，每边存在4个单元处理运算；TMS320C6678DSP处理器包含单指令多数据指令，能完成128位的向量处理，同时128的SP浮点运算能力支撑数据级别并行性能；在线程并行级别方面，不同核间线程互不干扰，整体能实现不同线程调度、同步并行功能。本文将基于以上TMS320C6678的多核并行机制，利用图像的区域分割实现硬件加速计算，满足本发明所述系统的实时性要求。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种路面车辙检测的图像实时处理系统，其特征在于，包括：图像采集模块(1)、激光发射器(2)、检测车(3)和DSP多核模块(4)；
所述激光发射器(2)，用于为路面车辙提供横向的激光线；
所述图像采集模块(1)，用于实时采集道路路面车辙的原始图像；所述原始图像中包含有横向的激光线；
所述DSP多核模块(4)，用于修复原始图像，得到还原图像；
以及，基于还原图像计算路面路面的车辙数据；
所述检测车(3)，用于承载图像采集模块(1)、激光发射器(2)和DSP多核模块(4)沿路面纵向行驶。
2.根据权利要求1所述的路面车辙检测的图像实时处理系统，其特征在于，所述激光发射器(2)的发射面和图像采集模块(1)的采集面为同一平面。
3.根据权利要求1所述的路面车辙检测的图像实时处理系统，其特征在于，所述DSP多核模块(4)，具体用于：
对原始图像进行预处理，得到处理后图像；
将处理后图像进行非负强度特征计算，得到非负强度特征图；
基于支持向量回归SVR模型，对非负强度特征图进行缺省丢失区域还原，得到还原图像。
4.根据权利要求1所述的路面车辙检测的图像实时处理系统，其特征在于，所述DSP多核模块(4)包括一个主核和多个从核；
主核将原始图像进行区域划分，并将得到的多个区域图像分配至对应的从核；
针对每个从核：
在接收到对应区域图像后，当前从核将对应区域图像进行预处理，得到对应处理后区域图像；
当前从核将处理后区域图像进行负强度特征计算，得到对应区域非负强度特征图；
当前从而基于支持向量回归SVR模型，对区域非负强度特征图进行缺省丢失区域还原，得到对应区域还原图像；
主核将各从核的区域还原图像进行拼接，得到还原图像。
5.根据权利要求1所述的路面车辙检测的图像实时处理系统，其特征在于，所述DSP多核模块(4)，还具体用于：
根据还原图像中的激光线数据，计算得到对应车辙高度。
6.根据权利要求3所述的路面车辙检测的图像实时处理系统，其特征在于，所述对原始图像进行预处理，具体包括：
将原始图像像素值进行归一化处理；
将归一化后的图像进行模糊平滑滤波，得到处理后图像。
7.根据权利要求3所述的路面车辙检测的图像实时处理系统，其特征在于，所述将处理后图像进行非负强度特征计算，具体包括：
针对处理后图像的各像素：
以当前像素为中心，选取对应滑动窗口；
计算当前像素与滑动窗口内其他各像素的灰度差值；
根据各灰度差值计算出当前滑动窗口内的非负个数和各非负强度值；
判断当前滑动窗口内的非负个数占当前滑动窗口内像总像素的比例是否低于预设阈值：若是，则当前窗口非负强度值赋值为零；
若否，则当前窗口非负强度值为当前滑动窗口内各非负强度值的平均值；
直至处理后图像中每个滑动窗口的非负强度值都赋值完毕。
8.根据权利要求3所述的路面车辙检测的图像实时处理系统，其特征在于，所述基于支持向量回归SVR模型，对非负强度特征图进行缺省丢失区域还原，具体包括：
采集非负强度特征图中为缺省的车辙线数据作为SVR模型的训练集；
计算SVR问题的目标函数和损失函数；
引入松弛因子，重写目标函数；
引入拉格朗日乘子，推出拉格朗日函数；
计算SVR对偶函数；
得到SVR回归模型并求解，计算非负特征车辙图中车辙线缺省区域预测值。
9.根据权利要求7所述的路面车辙检测的图像实时处理系统，其特征在于，所述当前像素与滑动窗口内其他各像素的灰度差值计算公式为：
Figure FDA0002347142440000021
所述出当前滑动窗口内的非负个数计算公式为：
Figure FDA0002347142440000022
所述当前滑动窗口内的各非负强度值的计算公式为：
Figure FDA0002347142440000031
其中，P(i,j)为当前像素的像素值，C(i+m,j+n)为当前滑动窗口内除当前像素之外的某像素的像素值。
10.根据权利要求5所述的路面车辙检测的图像实时处理系统，其特征在于，所述计算得到对应车辙高度的计算公式为：
Figure FDA0002347142440000032
其中，α为激光发射器(2)的激光线与路面夹角，β为图像采集模块(1)的采集方向与路面的夹角，f为图像采集模块(1)中摄像头的像距，e为摄像头成像过程中激光线变形量，H2为摄像头距离路面高度值。
CN201911399458.8A 2019-12-30 2019-12-30 路面车辙检测的图像实时处理系统 Active CN111127459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911399458.8A CN111127459B (zh) 2019-12-30 2019-12-30 路面车辙检测的图像实时处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911399458.8A CN111127459B (zh) 2019-12-30 2019-12-30 路面车辙检测的图像实时处理系统

Publications (2)

Publication Number Publication Date
CN111127459A true CN111127459A (zh) 2020-05-08
CN111127459B CN111127459B (zh) 2023-05-26

Family

ID=70505686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911399458.8A Active CN111127459B (zh) 2019-12-30 2019-12-30 路面车辙检测的图像实时处理系统

Country Status (1)

Country Link
CN (1) CN111127459B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612731A (zh) * 2022-05-10 2022-06-10 安徽省路通公路工程检测有限公司 一种用于道路平整度检测的智能识别方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276967A (ja) * 2008-05-14 2009-11-26 Yamatake Corp 外れ値検出方法、外れ値検出装置およびプログラム
CN102082433A (zh) * 2010-11-29 2011-06-01 沈阳工业大学 一种风电并网系统电压稳定预测装置及方法
CN102497952A (zh) * 2009-07-20 2012-06-13 普雷茨特两合公司 激光处理头以及用于补偿激光处理头的聚焦位置的改变的方法
CN202809463U (zh) * 2012-07-27 2013-03-20 武汉理工大学 激光切片光测量车辙装置
CN103886594A (zh) * 2014-03-19 2014-06-25 武汉工程大学 路面线激光车辙检测与识别方法及处理系统
CN104878679A (zh) * 2015-05-25 2015-09-02 上海翌森信息科技有限公司 一种车载车辙实时检测系统及检测方法
US20150254531A1 (en) * 2014-03-07 2015-09-10 Tata Consultancy Services Limited Multi range object detection device and method
US20160292518A1 (en) * 2015-03-30 2016-10-06 D-Vision C.V.S Ltd Method and apparatus for monitoring changes in road surface condition
US20170024616A1 (en) * 2013-11-28 2017-01-26 SAGEM Défense Sécurité Analysis of a multispectral image
CN107941170A (zh) * 2017-12-15 2018-04-20 武汉夕睿光电技术有限公司 道路检测装置及系统
US20180224863A1 (en) * 2016-01-18 2018-08-09 Tencent Technology (Shenzhen) Company Limited Data processing method, apparatus and terminal
CN108998608A (zh) * 2018-07-24 2018-12-14 中南大学 一种基于红外机器视觉的高炉出铁口铁水温度测量方法及系统
CN109146859A (zh) * 2018-08-03 2019-01-04 深圳万智联合科技有限公司 一种基于机器视觉的路面裂缝检测系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276967A (ja) * 2008-05-14 2009-11-26 Yamatake Corp 外れ値検出方法、外れ値検出装置およびプログラム
CN102497952A (zh) * 2009-07-20 2012-06-13 普雷茨特两合公司 激光处理头以及用于补偿激光处理头的聚焦位置的改变的方法
CN102082433A (zh) * 2010-11-29 2011-06-01 沈阳工业大学 一种风电并网系统电压稳定预测装置及方法
CN202809463U (zh) * 2012-07-27 2013-03-20 武汉理工大学 激光切片光测量车辙装置
US20170024616A1 (en) * 2013-11-28 2017-01-26 SAGEM Défense Sécurité Analysis of a multispectral image
US20150254531A1 (en) * 2014-03-07 2015-09-10 Tata Consultancy Services Limited Multi range object detection device and method
CN103886594A (zh) * 2014-03-19 2014-06-25 武汉工程大学 路面线激光车辙检测与识别方法及处理系统
US20160292518A1 (en) * 2015-03-30 2016-10-06 D-Vision C.V.S Ltd Method and apparatus for monitoring changes in road surface condition
CN104878679A (zh) * 2015-05-25 2015-09-02 上海翌森信息科技有限公司 一种车载车辙实时检测系统及检测方法
US20180224863A1 (en) * 2016-01-18 2018-08-09 Tencent Technology (Shenzhen) Company Limited Data processing method, apparatus and terminal
CN107941170A (zh) * 2017-12-15 2018-04-20 武汉夕睿光电技术有限公司 道路检测装置及系统
CN108998608A (zh) * 2018-07-24 2018-12-14 中南大学 一种基于红外机器视觉的高炉出铁口铁水温度测量方法及系统
CN109146859A (zh) * 2018-08-03 2019-01-04 深圳万智联合科技有限公司 一种基于机器视觉的路面裂缝检测系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WAHYONO, HOANG V D , KURNIANGGORO L: "Scalable histogram of oriented gradients for multi-size car detection", FRANCE-JAPAN CONGRESS *
周游佳;呙润华: "基于三维技术的道路综合检测车", 公路工程 *
李莉;孙立军;谭生光;宁国宝;: "用于路面车辙检测的线结构光图像处理流程", 同济大学学报(自然科学版) *
马力: "面向临床麻醉状态监测与评估的多源生理信号处理", 中国优秀博士学位论文全文数据库信息科技辑 *
马建;赵祥模;贺拴海;宋宏勋;赵煜;宋焕生;程磊;王建锋;袁卓亚;黄福伟;张健;杨澜;: "路面检测技术综述", 交通运输工程学报 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612731A (zh) * 2022-05-10 2022-06-10 安徽省路通公路工程检测有限公司 一种用于道路平整度检测的智能识别方法及系统
CN114612731B (zh) * 2022-05-10 2022-08-09 安徽省路通公路工程检测有限公司 一种用于道路平整度检测的智能识别方法及系统

Also Published As

Publication number Publication date
CN111127459B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN109804119B (zh) 基于红外热像图分析的沥青路面裂缝发育程度检测方法
Min et al. Real time detection system for rail surface defects based on machine vision
Radopoulou et al. Patch detection for pavement assessment
CN102982304B (zh) 利用偏光图像检测车辆位置的方法和系统
CN102354457B (zh) 基于广义霍夫变换的交通信号灯位置检测方法
CN109059775B (zh) 具有图像边缘提取步骤的钢轨磨耗检测方法
CN101126638A (zh) 检测公路路面平整度的摄像测量方法
CN103914701B (zh) 一种基于图像的夜间车辆检测方法
CN110473187B (zh) 一种面向对象的线扫描三维路面裂缝提取方法
CN106529593B (zh) 路面病害检测方法和系统
CN105974120B (zh) 一种c反应蛋白色度自动检测装置与方法
Chen et al. A potential crack region method to detect crack using image processing of multiple thresholding
CN105426868A (zh) 一种基于自适应感兴趣区域的车道检测方法
CN111735524A (zh) 基于图像识别的轮胎荷载获取方法、车辆称重方法及系统
CN102393902A (zh) 基于h_s二维直方图和区域颜色匹配的车辆颜色检测方法
CN106097317A (zh) 一种基于离散余弦相位信息的多光斑检测和定位方法
CN111968079B (zh) 基于断面局部极值及分段稀疏的三维路面裂缝提取方法
Cai et al. Measurement of vehicle queue length based on video processing in intelligent traffic signal control system
CN111127459A (zh) 路面车辙检测的图像实时处理系统
CN115546743B (zh) 基于附着系数的车路协同控制方法、装置、设备及介质
Alayat et al. Pavement Surface Distress Detection Using Digital Image Processing Techniques
Al-Suleiman et al. Assessment of the effect of alligator cracking on pavement condition using WSN-image processing
CN115164762A (zh) 一种基于结构光的路面车辙精细测量方法
CN113077465A (zh) 一种路面裂缝检测提取装置及其检测方法
Li et al. An on-line measurement method of the medium thickness steel plate based on structured light vision sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant