CN104902261B - 用于低清晰度视频流中的路面识别的装置和方法 - Google Patents

用于低清晰度视频流中的路面识别的装置和方法 Download PDF

Info

Publication number
CN104902261B
CN104902261B CN201410080739.8A CN201410080739A CN104902261B CN 104902261 B CN104902261 B CN 104902261B CN 201410080739 A CN201410080739 A CN 201410080739A CN 104902261 B CN104902261 B CN 104902261B
Authority
CN
China
Prior art keywords
road surface
line segment
disparity map
disparity
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410080739.8A
Other languages
English (en)
Other versions
CN104902261A (zh
Inventor
戴依若
王文佳
川股幸博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to CN201410080739.8A priority Critical patent/CN104902261B/zh
Publication of CN104902261A publication Critical patent/CN104902261A/zh
Application granted granted Critical
Publication of CN104902261B publication Critical patent/CN104902261B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

根据本发明，提出了一种用于低清晰度视频流中的路面识别的装置，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。

Description

用于低清晰度视频流中的路面识别的装置和方法
技术领域
本发明涉及一种用于低清晰度视频流中的路面识别的装置和方法，可以用于低清晰度视频流特别是野外环境下的路面识别，并且改进了V/U视差图线段拟合的精确度。
背景技术
无人汽车通常具有认知行驶环境和自动驾驶功能。其中可行路面区域检测是认知行驶环境功能中的一个重要组成部分。路面信息采集仪器中摄像设备采集的数据信息远比测距传感器采集的数据信息更为准确可靠，其图像信息覆盖范围更大。
基于摄像头信息的路面检测通常利用简单二维图像数据(包括颜色、轮廓等信息)进行路面检测，此类方法对于有明显路标等特征的结构化路面的检测比较有效，此时该问题被直接转化为车道线和道路边界的识别。而对于非结构化的路面，例如野外环境，很难单纯从颜色或者轮廓分割出路面。
在立体视觉系统中除了可以运用到上述的方法进行路面检测，特别是对于野外路面的检测，更多的是利用三维数据(视差图、点云图等)，目前的方法大体可分为主平面分析法、区域生长法以及直方图分析法。主平面分析法只适用于行驶环境为单一平坦路面的情况。区域生长法需要整体三维重建，不适合实时检测。直方图分析法即V视差(Vertical-disparity)法，常被用为检测路面并可检测出路面上的障碍物。
在2002年由Raphael Labayrade发表的题为《RealTime0bstacle Detection inStereovision on non-flat Road Geometry through V-disparity Representation》论文中提出了V视差算法；根据该理论，随后2005年Zhencheng Hu等人发表的《A Complete U-V-Disparity Study for StereoVision Based3D Driving Environment Analysis》提到了U视差算法。这两种算法结合可以用于检测周边环境识别上存在的障碍物以及路面情况。算法的应用实现需要生成一副V视差图和一副U视差图。V视差图生成准则如下：世界坐标系中的点P(x，y，z)T在双目摄像头系统中的左图像坐标系中的投影坐标为(ul，cl)，在右图像坐标系中的投影坐标为(ur，vr)。计算左图所有像素相对右图关联点的水平视差ΔP＝u1-ur，并以每个像素点的视差作为该点对应的新灰度值，可得到视差图像(u1，V1，ΔP)。然后累加视差图像每一行上具有相同水平视差的像素个数countp，并以(ΔP，cl)为新的像素坐标，以countp为对应于该像素的灰度值，这样就形成了一幅宽度是最大视差值、高度和原图像一致的新图像叫V视差图。而U视差生成准则为：累加视差图像每一列上具有相同水平视差的像素个数countp，并以(ul，ΔP)
为新的像素坐标，以countp为对应于该像素的灰度值，这样就形成了一幅高度是最大视差值、宽度和原图像一致的新图像。该算法的原理是把四周环境分割成水平平面、垂直平面和其他平面。垂直地面障碍物，例如行人、车辆、树木等，可以近似表示为垂直平面；倾斜平面，如斜坡、凹地等，可以近似为倾斜平面；车体所在大地平面被近似为水平平面。如果世界坐标系中大地平面是平坦的，则在V视差图中表现为单独的一条线段，如果是分段平坦，则表现为折线。在得到路面映射线段(或折线)后，就知道了视差图中每一行属于路面的视差值。而在U视差图中障碍物在图中表现为线段，当障碍物倾斜角足够小时，线段的长短代表障碍物的横向尺寸，线段越靠下方表明障碍物距离越近，线段的纵坐标位置表明障碍物在视场范围中的左右位置。
但是传统V/U视差算法在实际应用时存在一定的局限性。首先当车行驶于较差路况特别是野外环境时，车体颠簸造成摄像头本身有不容忽视的转动角度，这就造成了合成的视差图存在大量错误点，并且V/U视差图比平稳路况时的备选映射线段要粗。如果此时选择的车载摄像头性能较差采集的视频流像素较低，这更会导致无法获得较精细的V/U视差图，导致无法准确检测路面范围。而且驾驶辅助系统需要实时处理，一般因为系统性能无法在实时的前提下得到稠密视差图。另一方面在传统V/U视差算法中采用哈夫(Hough)变换等直线拟合方法来拟合路面映射线段和障碍物映射线段，但是这些方法本身就对噪音非常敏感，不能很好的处理备选映射线段较粗的U/V视差图。第三，在V视差图中一些形状较小或纹理较少的障碍物很有可能被误认为路面映射线段或者噪音。
发明内容
为了克服现有技术的问题，提出了本发明。本发明的目的是提出一种用于低清晰度视频流中的路面识别的装置和方法，可以用于低清晰度视频流特别是野外环境下的路而识别，并且改进了V/U视差图线段拟合的精确度。
根据本发明，提出了一种用于低清晰度视频流中的路面识别的装置，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。
优选地，所述自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空间拟合得到拟合线段参数，然后根据拟合线段参数对含有相同参数的线段进行特征聚类，并输出聚类后的线段群数据，从而消除低清晰度视频流产生的中间数据子V视差图或U视差图噪音。
优选地，利用所得到的路面加障碍物区域的范围和障碍物区域的范围，得到纯路面区域的范围。
优选地，根据所得到的纯路面区域的范围，结合采集的所述双目摄像头系统的摄像头相关参数、以及车体数据采集装置采集的车体数据，对当前路面是否为坑型路面或者坡型路面、以及当前路面是否为可行路面进行判断。
优选地，所述车体数据包括车辆宽度、车辆的底盘高度、以及车辆的最大可爬行坡度。
优选地，利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度在最远端路面位置处的图像中相对应的尺寸的窗长的移动窗口，将所述视差图重新分割为一系列子V视差图，对各个子V视差图采用自适应哈夫变换进行自适应线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点参数信息、以及所述摄像头信息采集装置所采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的路面是否为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果为坡型路面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面的可视坑深与所述车体数据采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度与所述车体数据采集装置所采集的车辆的最大可爬行坡度或进行比较，来确定该坑型路面或坡型路面是否为车辆无法安全通过的危险路面。
根据本发明，提出了一种用于低清晰度视频流中的路面识别的方法，包括：利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及将所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。
本发明可以应用于野外环境实时处理低像素视频流的周边环境识别驾驶辅助设备和用于周边环境识别驾驶辅助的方法，能够利用安装在车辆上的两个摄像头拍摄的影像，进行前方周边环境识别的判断检测，自动判断是否存在安全隐患。
根据本发明，提出了一种针对野外环境低像素视频流信息的驾驶辅助设备，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及采用自适应线段拟合方法的路面区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为一系列各子V视差图和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行线段拟合，在各子V视差图拟合出路面+障碍物映射线段，在U视差图拟合出障碍物映射线段。然后利用各子V视差图中的所述路面+障碍物区域和U视差图中所述障碍物区域得到路面范围以及路面参数，并根据车体自身情况进行可行路面判定。其中自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空间拟合得到拟合线段参数，然后根据线段参数特征聚类含有相同参数的线段，并输出聚类后的线段群数据，以此解决野外环境下低像素视频流产生的中间数据V/U视差图噪音点较多的问题。
本发明针对现有技术的问题提供了一种自适应方法，应用于错误较多的U/V视差图以此提取路面映射线段和障碍物映射线段。其优点在于：1)可以用于低清晰度视频流特别是野外环境下的路面识别；以及2)改进了V/U视差图线段拟合的精确度。
附图说明
通过参考以下组合附图对所采用的优选实施方式的详细描述，本发明的上述目的、优点和特征将变得更显而易见，其中：
图1是示出了根据本发明的实施例的针对低清晰度视频信息环境识别驾驶辅助设备的结构的方框图。
图2是示出了根据本发明的实施例的由周边环境识别判断装置执行的路面+障碍物区域检测过程的流程图。
图3是示出了根据本发明的实施例的由周边环境识别判断装置执行的障碍物区域检测过程的流程图。
图4是示出了根据本发明的实施例的由周边环境识别判断装置执行的路面参数计算过程的流程图。
图5是示出了根据本发明的实施例的针对低清晰度视频信息环境识别判断装置中线段拟合的自适应哈夫变换的流程图。
图6是示出了根据本发明的实施例的抬头显示器所显示的界面示例的示意图。
图7是用于说明根据本发明的实施例的子V视差图中的路面映射线段的可视坡度计算的示意图。
图8是用于说明对子V视差图的每行设定的阈值的选取标准的图。
具体实施方式
下面将结合附图对本发明进行详细说明。
图1是示出了根据本发明的实施例的针对低清晰度视频信息环境识别驾驶辅助设备的结构的方框图。
如图1所示，根据本发明的周边环境识别驾驶辅助设备可以包括：路面信息采集装置110、摄像头信息采集装置120、路面+障碍物区域检测装置130、车体数据采集装置140、障碍物区域检测装置150、路面参数计算装置160、以及路面状况显示装置170。根据本发明，可以将该周边环境识别驾驶辅助设备安装在车辆等上，以对车辆等在针对低清晰度视频流中的周边环境识别上的驾驶进行辅助。
路面信息采集装置110具有安装在车体的适当位置的双目摄像头系统，即两部相同的摄像头系统，采集并存储来自车体前方的视频信息。摄像头系统通常由光学系统与摄像头组成，光学系统可以具有变倍功能、自动调焦功能等。摄像头可以采用彩色CCD(电荷耦合元件)摄像机。
摄像头信息采集装置120采集并存储双目摄像头系统的摄像头相关的内部参数以及外部参数。这里，摄像头相关的内部参数包括左右摄像头的焦距、尺度因子、径向、左摄像头内参数矩阵、左摄像头畸变参数向量、右摄像头内参数矩阵、以及右摄像头畸变参数向量。摄像头相关的外部参数包括左右摄像头正交相对旋转参数矩阵、左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头射影变换矩阵。
车体数据采集装置140通过车载传感器(未图示)采集并存储车辆当前的底盘高度、车辆的最大爬行坡度、以及当前车辆宽度。
路面状况显示装置170的一个实施例如图6所示。在该实施例中，路面状况显示装置170为抬头显示器。抬头显示器上左侧显示的图标表示当前路面为存在危险隐患的路面。另外，在该抬头显示器中，可以由区域1部分表示前方路面中的可行区域，并且可以由区域2部分表示前方路面中的危险区域。当然，本发明并不限于该实施例的显示形式，还可以通过语音提示设备、方向盘震动设备对前方路况进行危险预警。
下面，将参考图2，来说明根据本发明的实施例的由周边环境识别检测装置130执行的路面+障碍物检测过程。
在步骤S210，输入由路面信息采集装置110采集的前方路面视频信息，并将其分帧转化为立体图像对。
在步骤S220，对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
在步骤S230，利用移动窗口对视差图进行划分生成子视差图，其中移动窗口的窗长为Umax/N，位移为Δn。此时Umax为视差图的横向宽度，N为大于1的自然数，Δn为属于[0Umax/2N]的任意数。该窗长的宽度选择能够确保经过V视差处理可以实时检测到障碍物和路面细节。由此，可以利用移动窗口将上述视差图分割成一系列子视差图。
在步骤S240，根据V视差图生成准则将各子视差图转化为各子V视差图。
接下来，在步骤S250，对各子V视差图通过自适应哈夫变换进行线段拟合，拟合出路面+障碍物映射线段。
在步骤S260，根据路面+障碍物映射线段得到路面+障碍物区域的范围。
根据本发明，在路面+障碍物检测装置130通过上述过程得到路面+障碍物区域的范围的同时，进行障碍物区域检测装置150执行障碍物区域计算过程。
下面，将参考图3，对障碍物区域检测装置150执行的障碍物区域计算过程进行说明。
在步骤S310，输入由路面信息采集装置110采集的前方路面视频信息，并将其分帧转化为立体图像对。
在步骤S320，对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
在步骤S330，根据U视差图生成准则将视差图转化为U视差图。
接下来，在步骤S340，对U视差图通过自适应哈夫变换进行线段拟合，拟合出障碍物映射线段。
在步骤S350，根据障碍物映射线段得到障碍物区域的范围。
结合图4，根据本发明，在路面+障碍物区域检测装置130和障碍物区域检测装置150通过上述过程判断出纯路面的区域范围的情况下，可以由来路面参数计算装置160执行路面参数计算过程。
在步骤S410，在路面+障碍物区域检测装置130和障碍物区域检测装置150判断出当前路面的范围的前提下，得到最远端路面的端点位置信息，即此时该端点在视差图中坐标信息，再利用摄像头信息采集装置120所采集的摄像头相关的内部参数(例如，左右摄像头的焦距、径向、左摄像头内参数矩阵、右摄像头内参数矩阵)和摄像头相关的外部参数(例如，左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头射影变换矩阵)，计算出最远端路面在车体世界坐标系中的实际空间坐标，并且得到此处离车体的水平距离d。然后，利用车体数据采集装置140所采集的车辆宽度(车宽)W，根据数学式1，来求得该车宽下在最远端路面位置处的图像中车宽对应的尺寸wo。
(数学式1)
其中，f为摄像头焦距。
在步骤S420，利用移动窗口对只剩路面区域的视差图再次进行划分生成一系列子视差图，此时的移动窗口的窗长小于或等于尺寸wo。
在步骤S430，根据V视差图生成准则将各子视差图转化为相对应的各子V视差图。
在步骤S440，对各个子V视差图根据自适应哈夫变换进行线段拟合，拟合出路面映射线段和障碍物映射线段，确定并记录各个子视差图中的路面映射线段的端点参数信息，该端点参数信息包括：路面映射线段的各端点的坐标信息和对应的视差值。
在步骤S450，利用摄像头信息采集装置120所采集的摄像头相关的内部参数(例如，左右摄像头的焦距、径向、左摄像头内参数矩阵、右摄像头内参数矩阵)和外部参数(例如，左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头射影变换矩阵)，并结合路面映射线段的端点参数信息，计算路面映射线段端点在世界坐标系中对应的实际景深和实际高度。
例如，对于某路面映射线段的某一端点A，它在世界坐标系中所对应的实际景深可以表示为dep(A)，实际高度为hig(A)。
在步骤S460，如果路面映射线段的相邻两个端点A、B的实际高度差h＝hig(B)-hig(A)大于0，则可以判断该路面映射线段所对应的路面为坡型路面。如果路面映射线段的相邻两个端点A、B的实际高度差h＝hig(B)-hig(A)小于0，则可以判断该路面映射线段所对应的路面为坑型路面，并记录此时的高度差，作为可视坑深。
在步骤S470，如果此时判断为该路面为坡型路面，则利用路面映射线段的两个端点的实际景深和实际高度，根据数学式2，来求得该处路面相对于前一个路面的可视坡度。
例如，在图7中，AB段路面对于车体所在路面的可视坡度为：
(数学式2)。
根据每个路面对于前一个路面的可视坡度θi，根据数学式3，可以得到该处路面相对于车体所在路面的可视坡度当i＝l时，表示离车体所在路面最近的平面，依次类推。
(数学式3)，
其中，hi表示第i个路面相对于前一个路面的高度差，具体可参见以上关于符号h的定义。
需要注意的是，即使对于同一处路面，因为车体的运动位置不同，相对于车体所在路面的可视坡度是不停变化的。在图7中，相对于当前车体位置，CD段路面的可视坡度为正值。但是，如果车体行驶到AB段路面或BC段路面，CD段的可视坡度变为负值。
然后，在步骤S480，将计算出的坑型路面的可视坑深/坡型路面的可视坡度与车体数据采集装置140采集的车体数据(即，车辆的底盘高度或车辆的最大可爬行坡度)进行比较。如果可视坑深大于车辆的底盘高度或者可视坡度大于车辆的最大爬行坡度(步骤S480的是)，判断该坑型/坡型路面为危险路面，并由路面状况显示装置170对在实际路面图像中坑型路面或者坡型路面的位置、以及该坑型路面或坡型路面为危险路面进行显示(步骤S490)。否则(步骤S480的否)，判断该坑深/坡型路面为可行路面，并对坑型路面或者坡型路面的位置、以及该坑型路面或坡型路面为可行路面进行显示(步骤S4100)。
在路面+障碍物区域检测装置130、障碍物区域检测装置150和路面参数计算装置160中均使用到了自适应哈夫变换，该变换适用于野外环境低清晰度视频流中针对V/U视差图中的线段拟合。下面，将参考图5，来说明根据本发明的实施例的针对低清晰度视频流路面识别中V视差图线段拟合过程。
在步骤510，输入由步骤240输出的各子V视差图信息。
在步骤520，对各子V视差图进行两步预处理，过程目的是为了消除原始图像中的噪音点。第一步，对子V视差图的每行设定一个阈值，阈值选取标准见图8，其中Ndp表示第n行当视差值取Dl到最大视差值时像素点总个数，Dl表示色阶数(比方说0到255)，Np为该行总像素点个数，Pp为期望比例，Tn为阈值。通过该过程以此保证只有高密度的像素点才能留下。第二步，在剩下的像素点中随机选取两个点进行直线拟合，设定一个像素点个数阈值To，拟合后的直线必须满足至少包含To个像素，如果未符合要求，取消该次拟合结果，继续随即挑选两个点。最终删除不能和其他店拟合的孤立像素点，剩下来的像素点就是局内点。
在步骤530，将平面坐标空间转化为哈夫空间，将图像空间内具有一定关系的像素点进行聚类，寻找能把这些像素用直线形式联系起来的参数空间累积对应点，运用投票机制，对经过预处理后的像素点进行线段拟合，得到可能构成直线的像素点集合，并输出每个像素点集合的线段参数(ai，bi)。
在步骤540，对含有同一斜度ai的像素点集合进行线段群参数(width p1p2)计算，具体计算按照如下所示，其中(v1dmin)，(p2dmax)，(vmind1(，(vmaxd2)均属于像素点集合中的像素点。
(数学式4)
如上所述，根据本发明，在路面信息采集装置110中，可以由车载双目摄像头采集前方信息，从而感知路面信息、路面上的动态或静态的障碍物以及结构化道路上的危险路标。在车体数据采集装置140中，利用车体感应器采集当前车体数据，包括车辆的当前底盘高度，最大爬行坡度等。在摄像头信息采集装置120中，采集当前摄像头的内部参数和外部参数。
根据本发明，在路面+障碍物检测区域装置130中，通过移动窗口细化V视差图得到子V视差图，对各个子V视差图采用自适应哈夫变换进行线段拟合，拟合出路面+障碍物映射线段，得到路面+障碍物区域。在障碍物检测区域装置150中，将双目视频对转化为U视差图，对U视差图采用自适应哈夫变换进行线段拟合，拟合出障碍物映射线段，得到障碍物区域。在路面参数计算装置160中，则利用车宽信息再次细划分V视差图，再次采用自适应哈夫变换进行路面映射线段拟合，记录此时子V视差图中的路面映射线段的端点位置，并计算每个端点在世界坐标系中所对应的实际高度和实际景深，分析前方路面是否存在有坑或坡，即前方路面是否为坑型路面或者坡型路面，并计算前方路面中坑型路面的形状位置和可视坑深、坡型路面的形状位置和可视坡度，通过当前车体数据(例如车辆的底盘高度或最大可爬行坡度)来判断该车辆是否能够安全通过该段路面。其中在装置130、150、160均采用自适应哈夫变换进行线段拟合，该拟合方式通过预处理方式去除噪声，采用哈夫空间拟合得到线段参数，然后根据相同线段参数特征聚类，输出聚类后的线段群数据，以此解决野外环境下低像素视频流产生的中间数据V/U视差图噪音点较多的问题。
在路面状况显示装置160中，可以根据周边环境识别判断装置130的判断结果，对当前路面是否为周边环境识别进行显示。另外，在路面状况显示装置160中，可以根据所述坡/坑参数计算装置的确定结果，对坑型路面或者坡型路面的位置、以及该坑型路面或坡型路面是否为危险路面进行显示。
本发明特别适合于为车辆识别野外道路中低清晰度视频流中可行路面和周边环境识别，并对周边环境识别进行提示。根据本发明，如果当前车体行驶状况不适合前方某些坡/坑型路面时，自动预警并显示危险区域(危险路面)。
尽管以上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种修改、替换和改变。因此，本发明不应由上述实施来限定，而应由所附权利要求及其等价物来限定。

Claims (7)

1.一种用于低清晰度视频流中的路面识别的装置，包括：
具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及
路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图并根据V视差图生成准则将各个子视差图转化为各个子V视差图，并且根据U视差图生成准则将所述视差图转化为U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。
2.根据权利要求1所述的装置，其中，
所述自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空间拟合得到拟合线段参数，然后根据拟合线段参数对含有相同参数的线段进行特征聚类，并输出聚类后的线段群数据，从而消除低清晰度视频流产生的中间数据子V视差图或U视差图噪音。
3.根据权利要求1所述的装置，其中，
利用所得到的路面加障碍物区域的范围和障碍物区域的范围，得到纯路面区域的范围。
4.根据权利要求3所述的装置，其中，
根据所得到的纯路面区域的范围，结合采集的所述双目摄像头系统的摄像头相关参数、以及车体数据采集装置采集的车体数据，对当前路面是否为坑型路面或者坡型路面、以及当前路面是否为可行路面进行判断。
5.根据权利要求4所述的装置，其中，
所述车体数据包括车辆宽度、车辆的底盘高度、以及车辆的最大可爬行坡度。
6.根据权利要求5所述的装置，其中，
利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度在最远端路面位置处的图像中相对应的尺寸的窗长的移动窗口，将只剩路面区域的所述视差图重新分割为一系列子V视差图，对各个子V视差图采用自适应哈夫变换进行自适应线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点参数信息、以及所述摄像头信息采集装置所采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的路面是否为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果为坡型路面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面的可视坑深与所述车体数据采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度与所述车体数据采集装置所采集的车辆的最大可爬行坡度进行比较，来确定该坑型路面或坡型路面是否为车辆无法安全通过的危险路面。
7.一种用于低清晰度视频流中的路面识别的方法，包括：
利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及
将所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图并根据V视差图生成准则将各个子视差图转化为各个子V视差图，并且根据U视差图生成准则将所述视差图转化为U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。
CN201410080739.8A 2014-03-06 2014-03-06 用于低清晰度视频流中的路面识别的装置和方法 Expired - Fee Related CN104902261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410080739.8A CN104902261B (zh) 2014-03-06 2014-03-06 用于低清晰度视频流中的路面识别的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410080739.8A CN104902261B (zh) 2014-03-06 2014-03-06 用于低清晰度视频流中的路面识别的装置和方法

Publications (2)

Publication Number Publication Date
CN104902261A CN104902261A (zh) 2015-09-09
CN104902261B true CN104902261B (zh) 2017-08-08

Family

ID=54034621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410080739.8A Expired - Fee Related CN104902261B (zh) 2014-03-06 2014-03-06 用于低清晰度视频流中的路面识别的装置和方法

Country Status (1)

Country Link
CN (1) CN104902261B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3540642A1 (en) * 2018-03-16 2019-09-18 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, movable object, image processing method, and computer-readable recording medium

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108700414A (zh) * 2016-02-25 2018-10-23 京瓷株式会社 立体摄像装置、车辆以及视差计算方法
WO2018058355A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 汽车可行驶区域实时检测方法和系统
CN107392103B (zh) * 2017-06-21 2020-06-26 海信集团有限公司 路面车道线的检测方法及装置、电子设备
CN108197590B (zh) * 2018-01-22 2020-11-03 海信集团有限公司 一种路面检测方法、装置、终端及存储介质
CN108399360B (zh) * 2018-01-22 2021-12-24 海信集团有限公司 一种连续型障碍物检测方法、装置及终端
CN110633600B (zh) * 2018-06-21 2023-04-25 海信集团有限公司 一种障碍物检测方法及装置
CN110807347B (zh) * 2018-08-06 2023-07-25 海信集团有限公司 障碍物检测方法、装置及终端
CN109543647B (zh) * 2018-11-30 2021-07-27 国信优易数据股份有限公司 一种道路异常识别方法、装置、设备及介质
CN112507899B (zh) * 2020-12-15 2024-05-28 上海有个机器人有限公司 一种三维激光雷达图像识别方法以及设备
CN112896135B (zh) * 2021-01-29 2022-08-19 广州橙行智动汽车科技有限公司 车辆的控制方法、装置、车辆以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103123722B (zh) * 2011-11-18 2016-04-27 株式会社理光 道路对象检测方法和系统
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
CN103390269B (zh) * 2012-05-11 2016-12-28 株式会社理光 连续型道路分割物检测方法和装置
CN103489175B (zh) * 2012-06-13 2016-02-10 株式会社理光 路面检测方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3540642A1 (en) * 2018-03-16 2019-09-18 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, movable object, image processing method, and computer-readable recording medium

Also Published As

Publication number Publication date
CN104902261A (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
CN104902261B (zh) 用于低清晰度视频流中的路面识别的装置和方法
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
WO2021004548A1 (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN107665603B (zh) 一种判定车位占用的实时检测方法
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
Yuan et al. Robust lane detection for complicated road environment based on normal map
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警系统及方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN103837139A (zh) 不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法
JP6442834B2 (ja) 路面高度形状推定方法とシステム
CN104509100B (zh) 三维物体检测装置以及三维物体检测方法
CN108444390A (zh) 一种无人驾驶汽车障碍物识别方法及装置
CN101408978B (zh) 一种基于单目视觉的障碍物检测方法及装置
EP2813973B1 (en) Method and system for processing video image
CN105205785A (zh) 一种可定位的大型车辆运行管理系统及其运行方法
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
CN104463935A (zh) 一种用于交通事故还原的车道重建方法和系统
Yiruo et al. Complex ground plane detection based on v-disparity map in off-road environment
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN104574993A (zh) 一种道路监控的方法及装置
CN103164958A (zh) 车辆监控方法及系统
Poostchi et al. Semantic depth map fusion for moving vehicle detection in aerial video
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
CN111222441A (zh) 基于车路协同的点云目标检测和盲区目标检测方法及系统
CN103679121A (zh) 采用视差图像检测路边的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170808

Termination date: 20180306

CF01 Termination of patent right due to non-payment of annual fee