CN103116757A - 一种三维信息复原提取的道路遗洒物识别方法 - Google Patents

一种三维信息复原提取的道路遗洒物识别方法 Download PDF

Info

Publication number
CN103116757A
CN103116757A CN2013100363477A CN201310036347A CN103116757A CN 103116757 A CN103116757 A CN 103116757A CN 2013100363477 A CN2013100363477 A CN 2013100363477A CN 201310036347 A CN201310036347 A CN 201310036347A CN 103116757 A CN103116757 A CN 103116757A
Authority
CN
China
Prior art keywords
target
utilize
point
image
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100363477A
Other languages
English (en)
Other versions
CN103116757B (zh
Inventor
蓝金辉
郭敏
孙新荣
吐尔尼亚孜·艾比布
刘敏
管军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201310036347.7A priority Critical patent/CN103116757B/zh
Publication of CN103116757A publication Critical patent/CN103116757A/zh
Application granted granted Critical
Publication of CN103116757B publication Critical patent/CN103116757B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种三维信息复原提取的道路遗洒物识别方法，该方法具体包括步骤：用CCD摄像机获取城市道路视频图像序列；利用双效层交互分割算法分割出静态前景目标区域；利用八连通区域提取静态前景轮廓；利用目标区域几何形状特征构建非线性二维模式分类器，排除静态前景干扰，检测疑似遗洒目标；利用透视投影矩阵复原目标三维信息；利用去异优化鲁棒算法估算最优地平面方程，求取目标相对地面极高值，识别危险性遗洒目标。本发明具有高效、灵活、性价比高的特点，为开发高效的智能障碍物识别系统提供了一种新的思路。

Description

一种三维信息复原提取的道路遗洒物识别方法
 
技术领域
本文涉及智能交通视频图像监控，计算机视觉技术和三维重构技术领域，尤其涉及一种三维信息复原提取的道路遗洒物识别方法。
背景技术
近年来，随着高速公路通行量的不断增加，车辆遗洒事件时有发生，因过往车辆上的遗洒物、坠落物引发的交通事故也不断增多，不仅会使得车辆绕行，降低道路运营效率，更重要的是会对其他车辆造成安全隐患，因为一旦事故发生，往往容易演变为重大交通事故，给通行车辆和司乘人员造成生命财产损失，而且给高速公路运营管理单位带来了经济损失和诉讼纠纷，增加了高速公路的管理难度。
目前，国外已有的研究成果多是应用在滞留物和偷窃物等方面的检测，而针对道路遗洒事件的检测并不常见，现有算法应用于道路遗洒物检测时，其可行性、精确度都有待考证，而国内在该领域的研究仍存在许多空白。随着城市道路、高速公路和隧道上安装的视频传感器的普及和视频监控技术的不断发展，传统的人工视频监控已经不能满足实时发现交通异常状态的需求，因此充分利用现有的监控设备，研究基于视频图像序列的遗洒物事件检测技术，不仅能够获取更多的交通状态信息，改善当前视频监控的落后状况，更能提高设备价值，提前预防交通隐患，保障交通道路安全高效的运行。
发明内容
本发明的目的是提供一种三维信息复原提取的道路遗洒物识别方法，用于道路中可能造成交通事故的遗洒物的实时判别，为交通诱导与控制监控系统提供主要依据。
为了实现上述目的，本发明提出一种三维信息复原的道路遗洒物识别方法，具体包括以下步骤：
S1，通过固定CCD摄像机获取道路视频图像序列，对视频做中值滤波，图像平滑和梯度锐化等图像预处理操作，去除设备自身带来的噪声影响；
S2，建立更新速率较快的短效背景模型和更新速率缓慢的自适应混合高斯长效背景模型，通过背景差分法和自适应动态阈值法检测出当前帧图像中各像素在场景和运动目标间的归属情况，利用双效层交互分割算法分割出静态前景目标区域，利用形态学的开运算清除噪声干扰，利用八连通区域提取静态前景轮廓；
S3，利用S2骤分割出的结果中提取目标区域的纵横比、区域面积、区域周长、破碎性和分散度的几何形状特征，构建非线性二维模式分类器，排除车类静态前景的干扰，检测出遗似遗洒目标；
S4，利用张正友平面模板标定方法标定得到摄像机的内参矩阵，通过SIFT特征点提取、特征点匹配和构建圆形特征描述符估算摄像机外参矩阵，利用透视投影矩阵复原目标三维信息；
S5，利用去异优化鲁棒算法迭代提取最优地平面样本点，通过最小二乘拟合估算最优地平面方程，求取S4步骤中的三维目标点相对地面的极高值，识别是否为危险性遗洒。
进一步，所述步骤S2中包括以下步骤：
S21）提出对称弥补差分背景提取及选择性更新算法建立更新速率较快的短效背景模型，使得静止的静态前景快速融入背景；
S22）利用自适应混合高斯背景模型建立长效背景模型，通过阶段性更新方法和学习更新率的变化防止静态前景快速的融入到背景中；
S23）利用自适应动态阈值法获取背景和前景图像；
S24）提出双效层间交互分割算法得到静态前景目标区域；
S25）利用形态学的开运算清除噪声区域干扰；
S26）利用八连通区域标识方法提取静态前景区域的轮廓信息。
进一步，所述步骤S3具体包括以下步骤：
S31，根据S2提获取的静态前景目标区域，提取目标区域纵横比、区域面积、区域周长、破碎性和分散度的几何特征，共同组成五维特征向量：
                                                                  
Figure 2013100363477100002DEST_PATH_IMAGE001
                   （16）
S32，构建非线性二维模式分类器SVM，通过样本学习和训练，对测试样本进行分类，分离静态前景干扰目标，标记疑似遗洒目标。
进一步，所述步骤S4中包括以下步骤：
S41）利用张正友平面模板标定方法，标定摄像机内参矩阵；
S42）通过尺度不变特征变换提取目标特征点；
S43）构建具有旋转不变性的72维圆形SIFT特征描述符；
S44）利用搜索最邻近匹配策略，完成空间序列图像SIFT特征点的匹配。
S45）利用步骤S44）中获取的特征匹配点对和鲁棒性估计算法估算基本矩阵和本质矩阵；通过最小二乘逼近修正本质矩阵，获取摄像机运动参数，利用最小二乘拟合法复原特征点三维信息。
进一步，所述步骤S5利用去异优化鲁棒算法估算最优地平面方程，求取目标相对地面极高值，识别危险性遗洒目标；该算法包括以下步骤： 
S51）空间序列图像满足道路约束假设：①：道路区域基本位于图像的中央区域；②：摄像机固定不动，图像中的道路区域位于同一平面内，且可以用平面方程
Figure 893399DEST_PATH_IMAGE002
；
S52）使用服从正态分布的随机数来选择样本，使得大多数样本处于图像的中央区域的道路上，提取的道路平面方程更为可靠；
S53）利用去异优化鲁棒算法选择最优地面三维样本点，估算最优地平面方程的具体步骤包括：
（1）从已经获得的三维点坐标中选取其对应的服从正态分布的N个图像二维坐标点，选取满足条件的三维点为初始样本集。
（2）从样本中任意抽取三个点，坐标分别为
Figure 2013100363477100002DEST_PATH_IMAGE003
，，
Figure 2013100363477100002DEST_PATH_IMAGE005
，根据三维坐标计算平面方程，那么由以上三点确定的平面方程可表示为下式（26）
                   
Figure 678001DEST_PATH_IMAGE006
                        （26）
化简可得
Figure 2013100363477100002DEST_PATH_IMAGE007
                              （27）
（3）根据空间中任意点到平面的距离公式得到初始样本集中所有样本点到平面的距离，设置距离阈值
Figure 127218DEST_PATH_IMAGE008
作为界限划分样本的内点和外点，并将内点保存起来。
（4）设置阈值
Figure 2013100363477100002DEST_PATH_IMAGE009
，统计出的内点个数若大于
Figure 542019DEST_PATH_IMAGE009
，则将此次得到的所有内点作为最佳样本进行路面方程的最优估计。若小于阈值则重新转到步骤（2）再次选点计算方程，当迭代次数达到设定的阈值
Figure 484567DEST_PATH_IMAGE010
时，停止迭代。
（5）如果在迭代次数阈值
Figure 984818DEST_PATH_IMAGE010
范围内，每次获得的内点个数都小于内点个数阈值
Figure 405435DEST_PATH_IMAGE009
，则在达到迭代次数之后转而寻找获取的内点个数最多的那一次，并将该次产生的好点作为最佳样本，利用得到最优样本进行最小二乘法拟合求取平面方程系数；
S54）估算步骤S4中所有三维特征点相对最优道路平面方程的实际高度值，并获取最高值；
S55）若实际最高值高于预设报警值10cm，发出报警，并记录提取的实际最高值。
本发明的有益效果是：本发明的一种三维信息复原提取的道路遗洒物识别方法，实现城市道路中突发的可能造成交通事故的遗洒目标自动识别，充分利用计算机视觉，图像处理和模式识别新技术，实现道路视频监控智能化，为迅速发现威胁城市道路安全的遗洒物提供极大的帮助，进一步提升了城市智能监控系统的能力和整体指挥能力。
附图说明
图1是本发明一种三维信息复原提取的道路遗洒物识别方法流程图。
图2所示为双效层间交互分割算法具体流程图。
图3所示为分离静态前景干扰，检测疑似遗洒目标的流程图。
图4所示为目标三维信息复原方法流程图。
图5所示为利用去异优化鲁棒算法提取最优地平面，识别危险性遗洒目标的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的三维信息复原提取的道路遗洒物识别方法进行进一步详细说明。应当理解，此处所描述的具体实施仅仅用以解释本发明，并不用于限定本发明。
本发明的三维信息复原提取的道路遗洒物识别方法，通过对发生交通异常的城市道路视频监控图像的分析，实现三维信息复原的道路遗洒物自动识别，使得减少道路遗洒对交通状态的影响和可能带来的交通事故损失，为交通诱导和交通控制提供依据。
下面详细描述本发明的三维信息复原提取的道路遗洒物识别方法，如图1所示，获取城市道路视频图像序列；双效层间交互分割算法；分离静态前景干扰目标，检测疑似遗洒目标；目标三维信息复原；利用去异优化鲁棒算法估算最优地平面方程，求取目标相对地面极高值，识别危险性遗洒目标。其处理步骤具体如下：
S1，通过固定CCD摄像机获取道路视频图像序列，对视频做中值滤波，图像平滑和梯度锐化的图像预处理操作，去除设备自身带来的噪声影响。
S2，建立更新速率较快的短效背景模型和更新速率缓慢的自适应混合高斯长效背景模型，通过背景差分法和自适应动态阈值法检测出当前帧图像中各像素在场景和运动目标间的归属情况，利用双效层交互分割算法分割出静态前景目标区域，利用形态学的开运算清除噪声干扰，利用八连通区域提取静态前景轮廓。
S3，从S12分割出的结果中提取目标区域的纵横比、区域面积、区域周长、破碎性和分散度的几何形状特征，构建非线性二维模式分类器，排除车类静态前景的干扰，检测出遗似遗洒目标。
S4，利用张正友平面模板标定方法标定得到摄像机的内参矩阵，通过SIFT特征点提取、特征点匹配和构建圆形特征描述符估算摄像机外参矩阵，利用透视投影矩阵复原目标三维信息。
S5，利用去异优化鲁棒算法迭代提取最优地平面样本点，通过最小二乘拟合估算最优地平面方程，求取S14步骤中的三维目标点相对地面的极高值，识别是否为危险性遗洒。
如图2所示，双效层间交互分割算法具体过程包括如下步骤：
S21，对称弥补差分背景提取及选择性更新算法具体为：基本思想是通过前景图像和当前帧图像不断迭代更新，从而提取出初始背景，并利用背景差分结果选择性更新目标区域。对称弥补差分背景提取方法具体步骤如下：
将第一帧图像
Figure 2013100363477100002DEST_PATH_IMAGE011
作为初始背景
Figure 940322DEST_PATH_IMAGE012
，设置迭代次数
Figure 2013100363477100002DEST_PATH_IMAGE013
，为迭代系数。
为了弥补相邻帧间差分法造成的“双影”和“空洞”现象，本方法先将背景剪除和对称差分相融合，获取当前帧的二值化运动目标区域
Figure 2013100363477100002DEST_PATH_IMAGE015
。
Figure 542784DEST_PATH_IMAGE016
                     （1）
Figure 2013100363477100002DEST_PATH_IMAGE017
                    （2）
Figure 829409DEST_PATH_IMAGE018
                                  （3）
通过以上对称差分法获取运动目标区域的轮廓区域
Figure 2013100363477100002DEST_PATH_IMAGE019
后，本方法采用背景减除法对该轮廓区域进行填充，表示如下：
Figure 890906DEST_PATH_IMAGE020
           （4）
其中，、
Figure 237573DEST_PATH_IMAGE022
、
Figure 650100DEST_PATH_IMAGE009
分别为自适应动态阈值方法得到的门限阈值，用来对图像进行二值化处理。
利用对称差分法实现当前帧运动区域的提取，通过获得运动区域
Figure 2013100363477100002DEST_PATH_IMAGE023
，可得到当前的瞬时背景如下：
Figure 740416DEST_PATH_IMAGE024
                 （5）
获取运动区域
Figure 482850DEST_PATH_IMAGE023
之后，即可根据背景提取策略获取当前的背景图像。最终获取的当前帧背景图像表示为瞬时背景与当前背景
Figure 672523DEST_PATH_IMAGE026
的加权和：
                   （6）
当迭代一定步数之后，获取的背景中不再有运动目标区域，初始背景图像的提取结束。
背景更新时，常用传统的选择更新法即只更新除运动目标区域以外的背景像素点，而运动区域对应的背景像素点保持不变。该方法当原来属于背景或已融入背景的目标开始运动时容易出现背景更新的“死锁”问题，因此本文通过背景差分提取出运动目标区域后，对该区域判断是否为虚假运动区域，进而有效地更新背景图像，具体步骤如下：
选取跳跃度和稳定度两个参数进行判定，跳跃度T是像素点当前差分图像灰度值与前五帧差分图像灰度值的最大绝对值，表示差分灰度值跳跃的程度：
Figure 2013100363477100002DEST_PATH_IMAGE029
                                                                       （7）
稳定度
Figure 634663DEST_PATH_IMAGE030
，通过衡量像素点从设定的帧到当前帧的灰度变化，表示为：
 
Figure 2013100363477100002DEST_PATH_IMAGE031
                           （8）
选取k=10,当和
Figure 564759DEST_PATH_IMAGE030
小于一定的阈值时，该点为静止点，即虚假目标点。因此，对选择更新法作改进，采用如下背景更新方式：
Figure 2013100363477100002DEST_PATH_IMAGE033
             （9）
对于运动区域，其对应区域上的像素点不更新；对于背景及噪声区域，利用一阶卡尔曼滤波以更新率
Figure 987650DEST_PATH_IMAGE034
进行更新；对于虚假运动区域，则使用更快的更新率
Figure 2013100363477100002DEST_PATH_IMAGE035
进行更新，从而能够将虚假目标较快地从背景中清除。
建立对称弥补差分背景后通过控制权值
Figure 938551DEST_PATH_IMAGE014
来改变背景更新速率，为了满足本方法要求，应尽可能保证模型效果好且快速适应变化的场景，当遗洒物静止后，在短时间内被融入背景，选取。
S22，长效背景模型则采用自适应混合高斯模型。对每一个像素点定义K个状态来描述其像素值，K一般取3-5之间。K越大，处理背景干扰能力越强，相应的所需出来时间也越长。
混合高斯模型具有实时更新的特点，能够适应光线的变化，因此能够抑制光线噪声并检测到运动背景，但也会将静止不变的像素更新到背景中，从而无法检测到静态前景。因此，本方法采用非实时更新机制，通过阶段性的更新方法和学习更新率的变化，防止静态前景被快速的融入到背景当中。
S23，背景差分法过程为：求出当前图像
Figure 2013100363477100002DEST_PATH_IMAGE037
与背景图像
Figure 261265DEST_PATH_IMAGE038
的差值图像
Figure 2013100363477100002DEST_PATH_IMAGE039
。
Figure 58319DEST_PATH_IMAGE040
                       （10）
根据上述公式对差值图像
Figure 729472DEST_PATH_IMAGE039
进行二值化。
Figure 2013100363477100002DEST_PATH_IMAGE041
                   （11）
其中T为阈值，阈值的选取直接影响到二值图像的质量。
本方法综合考虑类间方差和类的内聚性，采用“最大方差比”自适应动态阈值选取算法，动态调整分割阈值。
S24, 双效层间交互分割算法得到静态前景目标区域具体步骤为：
利用建立的长效、短效背景模型和自适应动态阈值法进行二值化差分，得到双效前景，如下所示：
Figure 965281DEST_PATH_IMAGE042
                   （12）
Figure 2013100363477100002DEST_PATH_IMAGE043
                    （13）
将双效背景做差分二值化得到目标区域A：
                （14）
   而双效前景进行异或操作得到目标区域A。
                     （15）
对A和B做与操作，分割出二值化的静态前景目标区域。
S25, 视频图像中往往包含其他由于树枝摇动，相机抖动造成的噪声区域，采用数学形态学的开运算去除小面积的干扰噪声区域。
S26, 图像二值化后，场景中的疑似遗洒目标作为静态前景点被提取出来，进一步的，本系统采用八连通区域标识方法提取静态前景区域的轮廓信息。具体包括：
利用数学形态学的腐蚀算子消除孤立点；
利用数学形态学的膨胀算子填补对象局部区域的空洞；
利用八连通标记方法对各连通区域进行标记。
经过上述处理，即可较完整的分割静态前景运动目标，为下一步的疑似遗洒检测奠定基础。
如图3所示，分离静态前景干扰目标，检测疑似遗洒目标具体过程包括：
S31，根据S2提获取的静态前景目标区域，提取目标区域纵横比、区域面积、区域周长、破碎性和分散度的几何特征：
纵横比：
Figure 498911DEST_PATH_IMAGE046
区域面积：
Figure DEST_PATH_IMAGE047
区域周长：
Figure 657360DEST_PATH_IMAGE048
破碎性：
Figure DEST_PATH_IMAGE049
分散度：
由以上几何特征共同组成五维特征向量：
                                      （16）
S32，构建非线性二维模式分类器SVM，通过样本学习和训练，对测试样本进行分类，分离静态前景干扰目标，标记疑似遗洒目标。
如图4所示，目标三维信息复原方法的具体过程包括：
S41，通过在不同角度拍摄多幅固定的棋盘格标定板图像，利用张正友平面模板标定原理，实现摄像机内参矩阵K的标定。
Figure 296469DEST_PATH_IMAGE052
                   （17）
S42，通过尺度不变特征变换提取目标特征点的具体过程如下：
对输入图像
Figure DEST_PATH_IMAGE053
进行高斯卷积操作，得到尺度空间函数：
Figure 497643DEST_PATH_IMAGE054
                         （18）
   通过对图像做第二次高斯函数之差的卷积操作，能够检测出不同尺度空间中稳定的特征点，获取的高斯差分函数DOG如式（18），其中K为尺度比例因子。
  
Figure DEST_PATH_IMAGE055
            （19）
每隔
Figure 81071DEST_PATH_IMAGE056
个像素距离对图像采样（相当于图像长度和宽度放大一倍），再通过成倍递增的不同尺度因子
Figure 2013100363477100002DEST_PATH_IMAGE057
（）的高斯滤波函数
Figure 2013100363477100002DEST_PATH_IMAGE059
对采样图像进行滤波，获得第一组
Figure 942159DEST_PATH_IMAGE060
层高斯图像
Figure 2013100363477100002DEST_PATH_IMAGE061
。再以成倍的采样距离对图像进行第二次采样，用成倍递增的不同尺度因子
Figure 314235DEST_PATH_IMAGE057
（）的高斯滤波函数
Figure 61535DEST_PATH_IMAGE059
对采样图像进行滤波，获得第二组
Figure 901315DEST_PATH_IMAGE060
层高斯图像
Figure 381975DEST_PATH_IMAGE061
。以此类推最终得到多组高斯图像
Figure 736733DEST_PATH_IMAGE061
构成的高斯尺度金字塔。
本发明中设置高斯金字塔创建中的参数为：金字塔阶数ostaves=4，每阶中的层数intervals=5，
Figure 2013100363477100002DEST_PATH_IMAGE063
，
Figure 593830DEST_PATH_IMAGE064
。通过将高斯金字塔中相邻的尺度空间的图像函数作差，能得到DOG金字塔函数。
确定候选特征点，DOG尺度空间金字塔的中间图层中的每个样本像素点需要和它相邻的8个像素点进行比较，同时还要和金字塔分层图像中上下相邻图像层中对应的个像素点进行比较，共需要与26个像素进行比较，若该像素是26个像素中的极大或极小值，则该点即为一个局部极值点。
通过拟和三维二次函数以精确定位极值点，同时为了增强匹配稳定性及抗噪声能力，去除了低对比度点和不稳定的边缘点。
为了使生成的特征向量具有旋转不变性，每个特征点的方向是由特征点邻域像素梯度方向的分布特性来确定。
Figure 2013100363477100002DEST_PATH_IMAGE067
       （20）
式(19)为
Figure 64312DEST_PATH_IMAGE068
处梯度的模值和方向公式。其中模值对应的是每个关键点各自尺度空间内的模值，由梯度方向直方图确定主梯度方向。
S43，构建具有旋转不变性的72维圆形SIFT特征描述符具体步骤包括：
为确保特征描述符的旋转不变性，本方法以特征点为圆心，分别以半径为半径划分若干同心圆环形区域，半径
Figure 673410DEST_PATH_IMAGE069
取值分别为1,2,3，…9。
以每个环形区域作为一个子环。取第一个环内的8个像素灰度值统计出8个方向的梯度累加值，并排序作为特征向量的第1到8个元素值；取第二个圆环内的12个像素灰度值统计出8个方向的梯度累加值，排序作为特征向量的第9到16个元素值，以此类推知道第9个圆环内的梯度累加值排序作为特征向量的第65到72个元素值。同时，在计算梯度累加值时也要采用高斯函数来加权计算、最后得到一个
Figure 68619DEST_PATH_IMAGE070
的特征向量即为特征点的特征描述符。最后，通过对向量做标准归一化处理以降低光照变化的影响。
S44，采用最邻近算法，即按照如下欧氏距离计算公式计算样本特征点的最近邻距离与次近邻距离，当最近的欧式距离除以次邻近的欧式距离的比值少于某个阈值则认为该点对为匹配点对：
  
Figure DEST_PATH_IMAGE071
              （21）
S45，根据获取的特诊匹配点对估算基础矩阵和本质矩阵，此时的本质矩阵不再是一个本质矩阵，因为对本质矩阵分解得到的对角矩阵不再满足它的两个非零奇异值相等。因此实际计算时，通过本质矩阵对E进行最小二乘逼近来进行修正。首先分解本质矩阵E： 
Figure 679729DEST_PATH_IMAGE072
                         （22）
得到的对角矩阵为，且满足
Figure 767771DEST_PATH_IMAGE074
，则令
Figure DEST_PATH_IMAGE075
，得到新的对角矩阵为
Figure 97121DEST_PATH_IMAGE076
，则E的本质矩阵的最小二乘逼近为：
                       （23）
接下来再次对本质矩阵
Figure 358338DEST_PATH_IMAGE078
进行奇异值分解，可以得到两个3阶的酉矩阵U，V和一个3阶的对角阵S。
Figure DEST_PATH_IMAGE079
                              （24）
此时可得到旋转矩阵R和平移向量t：
                        （25）
其中，
Figure DEST_PATH_IMAGE081
—U的最后一列，
Figure 587292DEST_PATH_IMAGE082
。
从图像匹配点对中取出若干点对求取三维坐标，选择在两个相机中深度均为正值的一组R和t。
根据透视投影矩阵
Figure DEST_PATH_IMAGE083
和
Figure 403938DEST_PATH_IMAGE084
，利用最小二乘拟合方法计算匹配特征点对应的空间三维点坐标。
如图5所示，利用去异优化鲁棒算法估算最优地平面方程，求取目标相对地面极高值，识别危险性遗洒目标，具体步骤包括：
S51，道路约束假设①：道路区域基本位于图像的中央区域；②：摄像机固定不动，图像中的道路区域位于同一平面内，且可以用平面方程来表示。
S52，使用服从正态分布的随机数来选择样本，使得大多数样本处于图像的中央区域的道路上。
S53，利用去异优化鲁棒算法选择最优地面三维样本点，估算最优地平面方程的具体步骤包括：
（1）从已经获得的三维点坐标中选取其对应的服从正态分布的N个图像二维坐标点，选取满足条件的三维点为初始样本集。
（2）从样本中任意抽取三个点，坐标分别为
Figure 203267DEST_PATH_IMAGE086
，
Figure DEST_PATH_IMAGE087
，
Figure 726652DEST_PATH_IMAGE088
，根据三维坐标计算平面方程，那么由以上三点确定的平面方程可表示为下式（26）
                   
Figure DEST_PATH_IMAGE089
                        （26）
化简可得
Figure 218813DEST_PATH_IMAGE090
                              （27）
（3）根据空间中任意点到平面的距离公式得到初始样本集中所有样本点到平面的距离，设置距离阈值
Figure 194860DEST_PATH_IMAGE008
作为界限划分样本的内点和外点，并将内点保存起来。
（4）设置阈值
Figure 299344DEST_PATH_IMAGE009
，统计出的内点个数若大于
Figure 942815DEST_PATH_IMAGE009
，则将本次得到的所有内点作为最佳样本进行路面方程的最优估计。若小于阈值则重新转到步骤（2）再次选点计算方程，当迭代次数达到设定的阈值
Figure 277981DEST_PATH_IMAGE010
时，停止迭代。
（5）如果在迭代次数阈值
Figure 69220DEST_PATH_IMAGE010
范围内，每次获得的内点个数都小于内点个数阈值，则在达到迭代次数之后转而寻找获取的内点个数最多的那一次，并将该次产生的好点作为最佳样本。利用得到最优样本进行最小二乘法拟合求取平面方程系数。
S54，计算之前得到的所有三维点坐标到最优地平面方程的距离值，并求取极高值。
S55，若实际最高值高于预设报警值10cm，发出报警，并记录提取的实际最高值。
以上对本发明的具体实施例进行了描述和说明，这些实施例仅是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行解释。

Claims (5)

1.一种三维信息复原提取的道路遗洒物识别方法，其特征在于，具体包括以下几个步骤：
S1，通过固定CCD摄像机获取道路视频图像序列，对视频做中值滤波，图像平滑和梯度锐化的图像预处理操作，去除设备自身带来的噪声影响；
S2，建立更新速率较快的短效背景模型和更新速率缓慢的自适应混合高斯长效背景模型，通过背景差分法和自适应动态阈值法检测出当前帧图像中各像素在场景和运动目标间的归属情况，利用双效层交互分割算法分割出静态前景目标区域，利用形态学的开运算清除噪声干扰，利用八连通区域提取静态前景轮廓；
S3，利用S2步骤分割出的结果中提取目标区域的纵横比、区域面积、区域周长、破碎性和分散度的几何形状特征，构建非线性二维模式分类器，排除车类静态前景的干扰，检测出遗似遗洒目标；
S4，提出一种目标三维信息复原方法：利用张正友平面模板标定方法标定得到摄像机的内参矩阵，通过SIFT特征点提取、特征点匹配和构建圆形特征描述符估算摄像机外参矩阵，利用透视投影矩阵复原目标三维信息；
S5，利用去异优化鲁棒算法迭代提取最优地平面样本点，通过最小二乘拟合估算最优地平面方程，求取S4步骤中的三维目标点相对地面的极高值，识别是否为危险性遗洒。
2.根据权利要求1所述方法，其特征在于，所述步骤S2中包括以下步骤：
S21）提出对称弥补差分背景提取及选择性更新算法建立更新速率较快的短效背景模型，使得静止的静态前景快速融入背景；
S22）利用自适应混合高斯背景模型建立长效背景模型，通过阶段性更新方法和学习更新率的变化防止静态前景快速的融入到背景中；
S23）利用自适应动态阈值法获取背景和前景图像；
S24）提出双效层间交互分割算法得到静态前景目标区域；
S25）利用形态学的开运算清除噪声区域干扰；
S26）利用八连通区域标识方法提取静态前景区域的轮廓信息。
3.根据权利要求1所述的方法，其特征在于，所述步骤S3具体包括以下步骤：
S31，根据S2提获取的静态前景目标区域，提取目标区域纵横比、区域面积、区域周长、破碎性和分散度的几何特征，共同组成五维特征向量：
                                                                  
Figure 960522DEST_PATH_IMAGE001
                   （16）
S32，构建非线性二维模式分类器SVM，通过样本学习和训练，对测试样本进行分类，分离静态前景干扰目标，标记疑似遗洒目标。
4.根据权利要求1所述的方法，其特征在于，所述步骤S4中包括以下步骤：
S41）利用张正友平面模板标定方法，标定摄像机内参矩阵；
S42）通过尺度不变特征变换提取目标特征点；
S43）构建具有旋转不变性的72维圆形SIFT特征描述符；
S44）利用搜索最邻近匹配策略，完成空间序列图像SIFT特征点的匹配；
S45）利用步骤S44）中获取的特征匹配点对和鲁棒性估计算法估算基本矩阵和本质矩阵；通过最小二乘逼近修正本质矩阵，获取摄像机运动参数，利用最小二乘拟合法复原特征点三维信息。
5.根据权利要求1所述的方法，其特征在于，所述步骤S5利用去异优化鲁棒算法估算最优地平面方程，求取目标相对地面极高值，识别危险性遗洒目标；该算法包括以下步骤： 
S51）空间序列图像满足道路约束假设：①：道路区域基本位于图像的中央区域；②：摄像机固定不动，图像中的道路区域位于同一平面内，且可以用平面方程
Figure 877662DEST_PATH_IMAGE002
；
S52）使用服从正态分布的随机数来选择样本，使得大多数样本处于图像的中央区域的道路上，这样选取的最优样本点更多，提取的道路平面方程更为可靠；
S53）利用去异优化鲁棒算法选择最优地面三维样本点，估算最优地平面方程；
S54）估算步骤S4中所有三维特征点相对最优道路平面方程的实际高度值，并获取最高值；
S55）若实际最高值高于预设报警值10cm，发出报警，并记录提取的实际最高值。
CN201310036347.7A 2013-01-30 2013-01-30 一种三维信息复原提取的道路遗洒物识别方法 Expired - Fee Related CN103116757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310036347.7A CN103116757B (zh) 2013-01-30 2013-01-30 一种三维信息复原提取的道路遗洒物识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310036347.7A CN103116757B (zh) 2013-01-30 2013-01-30 一种三维信息复原提取的道路遗洒物识别方法

Publications (2)

Publication Number Publication Date
CN103116757A true CN103116757A (zh) 2013-05-22
CN103116757B CN103116757B (zh) 2016-12-28

Family

ID=48415129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310036347.7A Expired - Fee Related CN103116757B (zh) 2013-01-30 2013-01-30 一种三维信息复原提取的道路遗洒物识别方法

Country Status (1)

Country Link
CN (1) CN103116757B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914688A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种城市道路障碍物识别系统
CN105389920A (zh) * 2015-11-30 2016-03-09 北京正安维视科技股份有限公司 基于二维激光雷达和视频分析的周界报警方法
CN105488459A (zh) * 2015-11-23 2016-04-13 上海汽车集团股份有限公司 车载3d道路实时重构方法及装置
CN105894530A (zh) * 2014-12-11 2016-08-24 深圳市阿图姆科技有限公司 一种针对视频中运动目标检测与跟踪的解决方案
CN110487242A (zh) * 2019-09-30 2019-11-22 西南石油大学 一种隧道地表面沉降的监测系统
CN110644334A (zh) * 2019-09-30 2020-01-03 湖北文理学院 路面三维纹理形貌的检测方法、检测系统及存储介质
CN111507977A (zh) * 2020-04-28 2020-08-07 同济大学 一种图像中钡剂信息提取方法
CN111553928A (zh) * 2020-04-10 2020-08-18 中国资源卫星应用中心 一种辅以Openstreetmap信息的城市道路高分遥感自适应提取方法
CN111656396A (zh) * 2018-02-02 2020-09-11 三菱电机株式会社 落下物检测装置、车载系统、车辆及落下物检测程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
CN102043950A (zh) * 2010-12-30 2011-05-04 南京信息工程大学 基于canny算子和边缘点统计的车辆轮廓识别方法
CN102567705A (zh) * 2010-12-23 2012-07-11 北京邮电大学 一种检测和跟踪夜间行驶车辆的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
CN102567705A (zh) * 2010-12-23 2012-07-11 北京邮电大学 一种检测和跟踪夜间行驶车辆的方法
CN102043950A (zh) * 2010-12-30 2011-05-04 南京信息工程大学 基于canny算子和边缘点统计的车辆轮廓识别方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914688B (zh) * 2014-03-27 2018-02-02 北京科技大学 一种城市道路障碍物识别系统
CN103914688A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种城市道路障碍物识别系统
CN105894530A (zh) * 2014-12-11 2016-08-24 深圳市阿图姆科技有限公司 一种针对视频中运动目标检测与跟踪的解决方案
CN105488459A (zh) * 2015-11-23 2016-04-13 上海汽车集团股份有限公司 车载3d道路实时重构方法及装置
CN105389920A (zh) * 2015-11-30 2016-03-09 北京正安维视科技股份有限公司 基于二维激光雷达和视频分析的周界报警方法
CN105389920B (zh) * 2015-11-30 2017-11-17 北京正安维视科技股份有限公司 基于二维激光雷达和视频分析的周界报警方法
CN111656396A (zh) * 2018-02-02 2020-09-11 三菱电机株式会社 落下物检测装置、车载系统、车辆及落下物检测程序
CN111656396B (zh) * 2018-02-02 2024-01-09 三菱电机株式会社 落下物检测装置、车载系统、车辆及计算机可读取的记录介质
CN110487242A (zh) * 2019-09-30 2019-11-22 西南石油大学 一种隧道地表面沉降的监测系统
CN110644334B (zh) * 2019-09-30 2021-10-22 湖北文理学院 路面三维纹理形貌的检测方法、检测系统及存储介质
CN110644334A (zh) * 2019-09-30 2020-01-03 湖北文理学院 路面三维纹理形貌的检测方法、检测系统及存储介质
CN111553928A (zh) * 2020-04-10 2020-08-18 中国资源卫星应用中心 一种辅以Openstreetmap信息的城市道路高分遥感自适应提取方法
CN111553928B (zh) * 2020-04-10 2023-10-31 中国资源卫星应用中心 一种辅以Openstreetmap信息的城市道路高分遥感自适应提取方法
CN111507977A (zh) * 2020-04-28 2020-08-07 同济大学 一种图像中钡剂信息提取方法
CN111507977B (zh) * 2020-04-28 2024-04-02 同济大学 一种图像中钡剂信息提取方法

Also Published As

Publication number Publication date
CN103116757B (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
CN103116757A (zh) 一种三维信息复原提取的道路遗洒物识别方法
Liu et al. Learning a rotation invariant detector with rotatable bounding box
CN102708356B (zh) 一种基于复杂背景下的车牌自动定位和识别方法
Wu et al. Lane-mark extraction for automobiles under complex conditions
US9489586B2 (en) Traffic sign recognizing apparatus and operating method thereof
US8890951B2 (en) Clear path detection with patch smoothing approach
CN101950350B (zh) 使用分级方法的畅通路径检测
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in-car camera
CN111209770B (zh) 一种车道线识别方法及装置
US20130100286A1 (en) System and method for predicting vehicle location
CN106845364B (zh) 一种快速自动目标检测方法
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
Fernández et al. Road curb and lanes detection for autonomous driving on urban scenarios
CN108052904B (zh) 车道线的获取方法及装置
CN105716567A (zh) 通过单眼图像获取设备侦测物体与机动车辆距离的方法
CN104134209A (zh) 一种视觉导航中的特征提取与匹配方法及系统
EP3690744A1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
KR20200027889A (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN104239867A (zh) 车牌定位方法及系统
CN107808524B (zh) 一种基于无人机的道路交叉口车辆检测方法
CN110163109B (zh) 一种车道线标注方法及装置
Zhang et al. End to end video segmentation for driving: Lane detection for autonomous car
Lim et al. Lane detection and Kalman-based linear-parabolic lane tracking
Liu et al. ROI perspective transform based road marking detection and recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161228

Termination date: 20210130