CN107667378B - 用于识别和评估路面反射的方法和装置 - Google Patents
用于识别和评估路面反射的方法和装置 Download PDFInfo
- Publication number
- CN107667378B CN107667378B CN201680026128.2A CN201680026128A CN107667378B CN 107667378 B CN107667378 B CN 107667378B CN 201680026128 A CN201680026128 A CN 201680026128A CN 107667378 B CN107667378 B CN 107667378B
- Authority
- CN
- China
- Prior art keywords
- road surface
- image
- vehicle
- road
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 230000008859 change Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
Abstract
本发明涉及一种用于识别和评估路面(7)上的反射的方法。提供摄像机(2),借助所述摄像机生成至少一个路面点(3)的至少两个数字图像,其中,从摄像机(2)的不同拍摄视角(A,B)生成图像。在使用数字图像处理算法的情况下,通过评估在所述至少两个数字图像中所述至少一个路面点(3)的外观图像的区别,来探测路面(7)的漫反射和镜面反射。特别优选借助一种近似法评估路面反射。根据所探测的反射,求得路面状态信息、尤其是说明路面(7)是干燥、潮湿、雪覆盖还是结冰的路面状态信息。此外,本发明涉及一种用于执行上述方法的装置(1)以及具有这种装置(1)的车辆。
Description
技术领域
本发明涉及一种用于识别和评估路面上的反射的方法。此外,本发明涉及一种用于执行上述方法的装置以及具有这种装置的车辆。
背景技术
光学图像检测领域的技术进步允许使用基于摄像机的驾驶员辅助系统,所述驾驶员辅助系统安装在挡风玻璃后,与驾驶员视知觉相应地检测车辆前场。在此,这类系统的功能范围涵盖了从远光灯自动控制到识别和显示限速直至在车道保持错误或面临碰撞时发出预警。
从纯粹的前场检测直至完整的360度全景,如今摄像机的应用五花八门,功能各异,在现代化车辆中用于驾驶员辅助系统。数字图像处理作为独立功能或与雷达或激光雷达传感器相融合的任务,在此首先应对目标进行识别、分类并在图像片段中进行跟踪。典型的目标通常是如轿车、货车、摩托车等各种不同的车辆或行人。此外,摄像机还承担对路牌、车道标志线、护栏、自由空间或其他通用目标的检测。
自动学习和识别目标类型及其层级属于数字图像处理最重要的任务,是当前的现有技术。基于当前已非常先进的方法,其几乎可与人一样好地完成这些任务,因此,目前研究重点已从目标的大致定位转移到精准定位。
WO 2004/081897 A2介绍了一种车辆的路面特性识别装置。路面特性识别装置具有一个可接收无线接收器输入信号的全球定位系统(GPS)单元。另外,路面特性识别装置还显示车辆驾驶员依据所接收到的输入信号可感受到的结果。
另外,EP 2 551 794 A2还展示了一种用于识别车辆外部环境的车载系统。这种车载系统可分析路面的反射。
此外,从US 2002/191837 A1中已知一种用于车辆的障碍识别装置。这种障碍识别装置在实施图像变换后计算两个图像之间的相似性。
此外,JP 2003 057168 A还公布了一种用于机动车辆的路面识别装置,这种路面识别装置根据位于路面上方电荷耦合器件(CCD)摄像头获取的图像数据空间频率分布识别路面状态。
在现代化的驾驶员辅助领域内,使用各种不同的传感器,包括视频摄像机,用于尽可能精确且稳健地检测车辆环境。这些环境信息与通过例如惯性传感装置得到的车辆行驶动力学信息一起获得关于车辆当前行驶状态以及总体行驶状况的良好印象。由此可导出行驶状况的临界性并引入相应的驾驶员通知/预警,直至通过制动器和转向系统进行的行驶动态干预。
但因为对于驾驶员辅助系统无法使用或无法指出供使用的摩擦系数或路面状态,因此,预警和干预时刻的设计原则上是以轮胎和路面之间带有较高力锁合潜力的干燥表面为基础的。由此导致的问题是,在避免事故或减弱事故的系统中驾驶员预警或系统方的干预这样迟地进行,使得只能在确实干燥的路面上才刚好能避免事故或将事故后果降低到可接受程度。但如果在潮湿、下雪或者甚至结冰时路面有点滑,则不再能避免事故,事故后果的降低也无法达到令人满意的效果。
发明内容
因此,本发明的目的在于提供一种上述类型的方法和装置,通过所述方法和装置可确定路面状态或者甚至路面的供使用的摩擦系数,从而可相应地更有针对性地进行驾驶员预警以及系统干预,并可提高避免事故的驾驶员辅助系统的有效性。
这一目的是借助如下技术方案来解决的:。
一种用于识别和评估路面上的至少一个点的反射的方法,包括下列方法步骤:
-提供摄像机;
-借助所述摄像机生成所述至少一个路面点的至少两个数字图像,其中,从所述摄像机的不同拍摄视角生成所述图像;
-在使用数字图像处理算法情况下,通过评估在所述至少两个数字图像中所述至少一个路面点的外观图像的区别,来区别所述路面的漫反射和镜面反射,并且
-根据所探测的反射求得路面状态信息;
其中,对所述至少两个所生成的图像求平均,来生成一个平均图像,并且在所述平均图像中的每个像点和所属列平均值之间形成绝对差或平方差。
一种用于识别和评估路面上的至少一个点的反射的装置,包括摄像机,该摄像机被设置用于从不同的拍摄视角生成所述至少一个路面点的至少两个数字图像,
其中,所述装置被设置用于,
在使用数字图像处理算法的情况下,评估所述至少一个路面点的外观图像中的区别,从而探测出所述路面的漫反射和镜面反射,并且
根据所探测的反射求得路面状态信息,
其中,所述装置被布置用于,对所述至少两个所生成的图像求平均,来生成一个平均图像,并且在所述平均图像中的每个像点和所属列平均值之间形成绝对差或平方差。
优选的实施形式如下:
可选地,借助所述摄像机生成所述至少一个路面点的至少两个数字图像,其中,借助立体摄像机从不同拍摄视角生成所述图像。
可选地,基于数字图像处理通过由观察者的相对运动引起路面固定的外观图像与独立于路面的外观图像的区分,来区别漫反射和镜面反射,由此,可靠分开路面上的阴影和镜面反射的基础设施。
可选地,将所述路面状态信息发至车辆的驾驶员辅助系统,并且
根据所述路面状态信息借助所述驾驶员辅助系统匹配预警和干预时刻。
可选地,在自动化车辆的功能中,考虑所述路面状态信息,并且
根据所述路面状态信息匹配行驶策略以及自动仪与驾驶员之间的交接时刻的确定。
可选地,借助所述摄像机从不同视角生成多个路面点的至少两个数字图像,这些路面点形成一梯形区域,并且
借助估算的单应性将所述梯形区域变换为矩形俯视图。
可选地,在车辆中提供所述摄像机;
从第一拍摄视角在车辆的第一位置生成第一图像;
使车辆运动到与所述第一位置不同的第二位置;
从至少第二拍摄视角在车辆的至少第二位置生成至少第二图像;
将所述至少两个不同的拍摄视角的所述至少两个图像变换为相应的俯视图;
借助数字图像处理在考虑车辆的行驶动力学参数的情况下配准所述至少两个所生成的俯视图;
在所述至少两个所配准的俯视图中比较所述至少一个路面点的外观图像。
可选地,提取所述至少一个路面点或所述区域的特征,所述特征包含在所述至少两个所配准的俯视图中所述外观图像的变化。
可选地,由提取的特征形成一个特征矢量,并且
借助分类器将所述特征矢量分配给一类别。
可选地,通过对所述至少两个所生成的俯视图求平均来生成一个平均图像,并且
在所述平均图像中的每个像点和所属列平均值之间形成绝对差或平方差。
可选地,在考虑所述列平均值的情况下,提取所述平均图像的特征,其中,优选使用“视觉词袋”法,在所述“视觉词袋”法中基于直方图检测确定的原型数值或数值元组的出现。
可选地,在评估所述外观图像的变化时,考虑摄像机参数。
本发明方法用于识别和评估路面上的至少一个点的反射。根据一方法步骤,提供摄像机,借助该摄像机生成所述至少一个路面点的至少两个数字图像,其中,从摄像机的不同拍摄视角生成图像。在使用数字图像处理算法的情况下,通过评估在所述至少两个数字图像中所述至少一个路面点的外观图像的区别,来区别路面的漫反射和镜面反射。根据所探测的反射,求得路面状态信息,尤其是描述路面摩擦系数或说明路面是干燥、潮湿还是结冰的路面状态信息。
本发明利用:反射通常可分为三个类型,在视线角度或视角改变时,每个类型反射都产生不同视觉效果。在此在漫反射、光亮反射和镜面反射之间作出区别,其中,本发明特别感兴趣的是干燥路面指标的漫反射和潮湿和/或结冰路面指标的镜面反射之间的区别。据此方式,根据本发明的方法可区别干燥路面与潮湿/结冰路面。
根据本发明的方法和根据本发明的装置使用了数字图像处理算法,目的是稳健地探测路面反射,以便识别尤其是潮湿和冰。在此,借助本发明的方法,通过识别和评估代表路面的已经唯一的路面点的反射,可推断出当前路面状态,具体方法是在摄像机从两个不同视角所生成的路面点图像中,通过使用数字图像处理算法,搜索允许推断出当前路面状态的确定的特征。
本方法优选在具有充分照明的场景中执行,该场景允许生成或拍摄可评价的图像。该方法的前提条件是在至少两个图像的图像序列中改变视角。在漫反射(干燥路面的指标)情况下,到路面上固定点的视线角度的改变不具有视觉效果,因为光在所有方向上反射是均匀的。在改变视角时,对观察者来说,外观图像没有变化。与此相反,在镜面反射(潮湿和/或结冰路面的指标)中,反射在返回时没有散射,因此在改变视线角度时,导致路面上固定点的外观图像发生很大变化。改变视角导致路面上确定点的反射在改变之后不再投射到观察者。为了充分利用该效果,原则上需要通过至少两个图像组成的序列跟踪图像中的分散点、所有点或区域,并评估其外观变化。
根据本发明的方法优选用于车辆中。在此,尤其可在车辆内部提供摄像机,优选将摄像机置于挡风玻璃后,由此能与车辆驾驶员视知觉相应地检测车辆前场。在此,尤其可通过车辆的行驶运动从两个不同视角生成图像。
优选提供数字摄像机,所述至少两个外观图像可借助于所述数字摄像机进行直接数字拍摄并能借助数字图像处理算法进行分析处理。尤其是可使用单目摄像机或立体摄像机生成外观图像,因为根据不同特征,图像中的景深信息还可用于算法。优选在这种意义下提出,借助摄像机生成所述至少一个路面点的至少两个数字图像,其中,借助立体摄像机从不同的拍摄视角生成图像。
本发明方法的一个特殊优点在于,能可靠区别镜面反射与阴影(漫反射),因为它们在图像中展示出不同的运动特性。
也可有利地提出,基于数字图像处理通过由观察者的相对运动引起路面固定的外观图像与独立于路面的外观图像的区分,来区别漫反射和镜面反射,并由此允许可靠分开路面上的阴影和镜面反射的基础设施。
根据本发明的方法的一种有利实施形式包括附加方法步骤:将路面状态信息发至车辆的驾驶员辅助系统,根据路面状态信息借助驾驶员辅助系统匹配预警和干预时刻。所述路面状态信息因此用作车辆的避免事故的驾驶员辅助系统的输入,以便可特别高效地匹配驾驶员辅助系统的预警和干预时刻。由此可明显提高通过这种所谓的高级驾驶员辅助系统(ADAS)实现的事故避免措施的有效性。
另外也有利地提出,路面状态信息作为自动化情况下行驶周围环境的重要信息,并优选输送给用于自动驾驶的相应系统控制装置。在此意义上,根据另一种有利实施形式提出,在自动化车辆的功能中考虑路面状态信息并根据路面状态信息匹配行驶策略以及自动仪与驾驶员之间的交接时刻的确定。
另一有利实施形式包括附加方法步骤:借助摄像机从不同视角生成多个路面点的两个数字图像,这些路面点优选形成一梯形区域,并借助估算的单应性将优选梯形的区域变换为矩形俯视图。根据该实施形式,为探测路面反射,在摄像机图像中使用一个包括多个路面点的区域,该区域代表路面。根据对运行时间和精度的要求,该区域也可是一被分段的片段。但该区域的形状特别优选为梯形,其中,借助估算的单应性将梯形区域变换为矩形俯视图(鸟瞰图)。借助这类变换,可提取特别适用于根据路面反射存在情况包含该区域中的不同外观的特征。
根据一种特别优选的实施形式,在车辆中提供摄像机。在车辆的第一个位置从第一拍摄视角生成第一图像。使车辆运动、例如移动到第二位置,其中,第二位置与第一位置不同,也就是说,第一位置和第二位置不一致。在车辆的至少第二位置从至少第二拍摄视角生成至少第二图像。随后,将所述至少两个不同的拍摄视角的所述至少两个图像变换为相应的俯视图。借助数字图像处理在考虑车辆的行驶动力学参数的情况下配准所述至少两个所生成的俯视图并在所述至少两个所配准的俯视图中比较所述至少一个路面点的外观图像。根据该实施例,通过简单的平移和旋转可实现配准,因为所述场景已被变换为俯视图。优选可通过考虑例如车速、转向角等各个行驶动力学参数或诸如地平面模型(Groundplane-Modell)和行驶动力学模型等整体模型来进行补偿或对补偿进行支持。特别是在路面均质或镜面反射严重的情况下表现出使用这些附加信息的优点,在所述路面中基于纯粹的图像处理而可能会出现车辆运动的错误解译。
此外,有利地提取所述至少一个路面点或所述区域的特征,所述特征包含在所述至少两个所配准的俯视图中外观图像的变化。这有利地在将各个点或区域分配给一个序列后来设置。提取可用不同方式来进行,例如通过其方差或呈矢量形式的数值变化曲线。
各个特征形成一特征矢量,该特征矢量随后由分类系统(分类器)分配给至少一个类别。优选设置类别“潮湿/结冰”和“干燥/其他”。在此,分类器是基于代表待识别类别的离散数字的特征描述符的映射。
作为分类器,优选使用随机决策森林(英语:Random Decision Forest)。决策树是按等级布置的分类器,其反复分解分类问题。从根开始,基于已做出的决策创建通往叶节点的路径,在该路径中做出最终分类决策。基于学习的复杂性,优选对于内部节点使用非常简单的分类器,也就是所谓的决策树桩,所述决策树桩将正交于坐标轴的输入空间分离。
决策森林是决策树的集合体,其在对树进行训练时包括在优选两个位置随机化的元素。首先,每个树通过随机选择的训练数据进行训练,其次,对于每个二元决策仅使用许可维度的随机选择。在叶节点中,保存类别直方图,所述类别直方图允许通过在训练中到达叶节点的特征矢量进行最大似然估计。类别直方图保存确定路面状态的特征矢量在遍历决策树时到达相应叶节点的频率。作为结果,可优选为每个类别均分配一个由类别直方图计算得出的概率。
为了对于特征矢量做出关于存在镜面反射的决策,优选将类别直方图中最大概率的类别作为当前状态使用,或使用其他方法,将决策树中的信息转化为反射存在决策。
在每个输入图像的这一决策之后优选进行优化。该优化可考虑时间方面的关联或车辆提供的其他信息。优选这样考虑时间方面的关联:使用之前时间段中频率最高的类别或通过所谓的滞后阈值法确定频率最高的类别。在滞后阈值法中,根据阈值调节从一路面状态到另一路面状态的切换。只有当新状态的概率足够高且旧状态的概率相应小时,才进行切换。
如果对于单个点或区域进行了上述提取,则还可对于图像之一的整个图像片段、尤其是已变换的图像片段提取特征。为此可考虑各种不同的计算,例如通过可能的降维措施进行单个点特征的级联(例如“主成分分析”)、借助统计矩进行说明或采用“视觉词袋”法。在所述“视觉词袋”法中,基于直方图检测确定的原型数值或数值元组的出现(例如:SIFT(尺度不变特征变换)、HOG(方向梯度直方图)、LBP(局部二值模式)等)。
特别优选根据上面所述效果借助近似法评估路面反射,通过所述近似法特别可提高采用图像配准的方法的稳健性。同时可减少运行时间,这对汽车领域来说极为重要。在此意义上,根据本发明提供的方法包括,对所述至少两个所生成的图像、尤其优选所生成的俯视图求平均,以便获得平均图像,并在平均图像中的每个像点和所属列平均值之间形成绝对差或平方差。该实施形式的一种基本假设是,某个区域运动通过整个图像范围。在此,不考察确定的区域本身,而是考察其所经过的路径。因此,特别优选生成两个以上的图像。另外还假设,存在视角的沿直线且稳定的变化,优选车辆均匀地沿直线运动。这一假设可优选通过作为关联知识的车辆运动参数来加以证实。在此前提条件下,为了获得平均图像,对序列中的单个图像、优选经变换的单个图像求平均。为了将存储空间减至最小或让较新的事件具有更高加权,还可计算平滑的平均值。随后,在平均图像中的每个像点和所属列平均值之间形成绝对差或平方差。
可在考虑列平均值的情况下,提取平均图像的特征,其中,优选使用“视觉词袋”法,在所述“视觉词袋”法中基于直方图检测确定的原型数值或数值元组的出现。可使用所产生的图像例如通过统计矩或在一种特别优选的形式中通过“视觉词袋”法中的局部特征(优选“局部二值模式”)评估是否存在镜面反射。这种近似法的基础是假设:路面上所经过的区域在漫反射情况下与直线运动时的列平均值非常类似,然而在镜面反射情况下,所经过的区域的外观图像的变化与列平均值有着很大区别。
正如前面所述,该方法主要的依据是假设车辆实施直线运动。弯道行驶时,可通过旋转和/或剪切来相应地匹配所考察的图像范围,以确保效果在弯道行驶时仍可逐列发挥作用。在某种程度上可以说,在该法中不是直接跟踪单个区域,以便对其外观图像的变化进行评估,而是分析其经过的路径(图像列)。这种方法的一个优点在于其相对于不配准的车辆运动(俯仰/侧倾)具有稳健性,它可提供特别可靠的无错评估。另一优点是与较前的方法相比,所需的计算时间明显缩短。在此,计算被限定为平均值的形成和一些减法。另外,在评估外观图像的变化时,还优选考虑摄像机参数。由此可提高所述方法的稳健性。优选考虑稳定变化的曝光时间,所述曝光时间导致序列中的区域的外观图像中的变化(例如亮度变化)并可对反射的探测产生负面影响。
根据本发明的用于识别和评估路面上的至少一个点的反射的装置包括摄像机,该摄像机被设置用于从不同的拍摄视角生成所述至少一个路面点的至少两个数字图像。在此,该装置被设置用于,在使用数字图像处理算法的情况下,评估所述至少一个路面点的外观图像中的区别,从而探测出路面的漫反射和镜面反射,并根据所探测的反射求得路面状态信息。
关于根据本发明的装置的优点和有利的实施形式,为了避免重复,参考结合根据本发明的方法描述的上述实施形式,其中,根据本发明的装置可具有为此所需的元件或可通过扩展方式被设置用于此。
最后,根据本发明的车辆包括前面所提到的根据本发明所述的装置。
附图说明
下面根据附图详细解释本发明的实施例。其中:
图1a和b是在执行根据本发明的方法的实施例时,一根据本发明的装置的实施例的示意图。
具体实施方式
图1a和1b所示根据本发明的装置1包括数字摄像机2,所述数字摄像机被设置用于从不同的拍摄视角拍摄一个路面点3的至少两个数字图像,其中,不同的拍摄视角分别通过相应摄像机2的两个不同位置A和B形成。
摄像机2设置在未显示的一车辆中,确切地说设置在车辆的挡风玻璃后,由此可与车辆驾驶员视知觉相应地检测车辆前场。通过车辆的行驶运动,所述车辆从第一位置运动到第二位置。在摄像机2覆盖图1a和1b中分别在右边所示拍摄视角A的第一位置中,分别拍摄路面点3的第一图像。车辆移动到第二位置,在该第二位置,摄像机2的拍摄视角被这样补偿,使得在图1a和1b中分别在左边所示拍摄视角B被覆盖,从该拍摄视角B分别拍摄路面点(3)的第二图像。
从图1a中可见,当拍摄视角从A向B变化时,路面点3的图像不变化,因为射入光线4在所有方向上都被干燥的路面表面5均匀地反射,这相当于漫反射,所述漫反射是干燥路面表面的指标。装置1相互比较第一和第二图像。在使用数字图像处理算法情况下,所述装置1识别出第一和第二图像相互之间无偏差或仅在肯定有漫反射的范围内存在偏差。基于所识别或所探测到的漫反射,装置1求得包括路面表面5为干燥的路面状态信息。该数值被传输给未显示的一个驾驶员辅助系统。
相反,从图1b中可见,当拍摄视角从A向B变化时,路面点3的图像发生变化,因为射入光线6仅在一确定方向上被结冰或潮湿的路面表面7反射。这相当于镜面反射,所述镜面反射是潮湿或结冰路面表面的指标。装置1相互比较第一和第二图像。在使用数字图像处理算法情况下,所述装置识别出第一和第二图像相互之间偏差这样大:肯定存在镜面反射。基于所识别或所探测到的镜面反射,所述装置求得包括路面表面为潮湿或结冰的路面状态信息。该数值被传输给未显示的一个驾驶员辅助系统,驾驶员辅助系统将预警和干预时刻匹配于潮湿或结冰路面表面。
Claims (12)
1.一种用于识别和评估路面(5,7)上的至少一个路面点(3)的反射的方法,包括下列方法步骤:
-在车辆中提供摄像机(2);
-借助所述摄像机(2)生成所述至少一个路面点(3)的至少两个数字图像,其中,从所述摄像机(2)的不同拍摄视角(A,B)生成所述图像;
-从第一拍摄视角(A)在车辆的第一位置生成第一图像;
-使车辆运动到与所述第一位置不同的第二位置;
-从至少第二拍摄视角(B)在车辆的至少第二位置生成至少第二图像;
-将所述至少两个不同的拍摄视角(A和B)的所述至少两个图像变换为相应的俯视图;
-借助数字图像处理在考虑车辆的行驶动力学参数的情况下配准所述至少两个所生成的俯视图;
-在所述至少两个所配准的俯视图中比较所述至少一个路面点(3)的外观图像;
-在使用数字图像处理算法情况下,通过评估在所述至少两个数字图像中所述至少一个路面点(3)的外观图像的区别,来区别所述路面(5,7)的漫反射和镜面反射,并且
-根据所探测的反射求得路面状态信息,
-其中,通过评估在所述至少两个数字图像中所述至少一个路面点(3)的外观图像的区别来区别所述路面(5,7)的漫反射和镜面反射包括:对至少两个所生成的俯视图求平均,来生成一个平均图像,并且在所述平均图像中的每个像点和所属列平均值之间形成绝对差或平方差。
2.根据权利要求1所述的方法,其特征在于,
-基于数字图像处理通过由摄像机(2)的相对运动引起路面固定的外观图像与独立于路面的外观图像的区分,来区别漫反射和镜面反射,由此,
-可靠分开路面上的阴影和镜面反射的基础设施。
3.根据权利要求1所述的方法,其特征在于,
-将所述路面状态信息发至车辆的驾驶员辅助系统,并且
-根据所述路面状态信息借助所述驾驶员辅助系统匹配预警和干预时刻。
4.根据权利要求1所述的方法,其特征在于,
-在自动化车辆的功能中,考虑所述路面状态信息,并且
-根据所述路面状态信息匹配行驶策略以及自动仪与驾驶员之间的交接时刻的确定。
5.根据权利要求1所述的方法,其特征在于,
-借助所述摄像机(2)从不同视角(A,B)生成多个路面点(3)的至少两个数字图像,这些路面点形成一梯形区域,并且
-借助估算的单应性将所述梯形区域变换为矩形俯视图。
6.根据权利要求1所述的方法,其特征在于,
-在生成第一图像和至少第二图像之间,车辆实施直线运动。
7.根据权利要求1所述的方法,其特征在于,提取所述至少一个路面点(3)的特征,所述特征包含在所述至少两个所配准的俯视图中所述外观图像的变化。
8.根据权利要求7所述的方法,其特征在于,
-由提取的特征形成一个特征矢量,并且
-借助分类器将所述特征矢量分配给一类别。
9.根据权利要求1所述的方法,其特征在于,在考虑所述列平均值的情况下,提取所述平均图像的特征,其中,使用“视觉词袋”法,在所述“视觉词袋”法中基于直方图检测确定的原型数值或数值元组的出现。
10.根据权利要求1所述的方法,其特征在于,在评估所述外观图像的变化时,考虑摄像机参数。
11.一种用于识别和评估路面(5,7)上的至少一个路面点(3)的反射的装置(1),包括车辆中的摄像机(2),该摄像机被设置用于从不同的拍摄视角(A,B)生成所述至少一个路面点(3)的至少两个数字图像,
其中,所述装置(1)被设置用于,
-在使用数字图像处理算法的情况下,评估所述至少一个路面点(3)的外观图像中的区别,从而探测出所述路面的漫反射和镜面反射,并且
-根据所探测的反射求得路面状态信息,
其特征在于,
-从第一拍摄视角(A)在车辆的第一位置生成第一图像;
-使车辆运动到与所述第一位置不同的第二位置;
-从至少第二拍摄视角(B)在车辆的至少第二位置生成至少第二图像;
-将所述至少两个不同的拍摄视角(A和B)的所述至少两个图像变换为相应的俯视图;
-借助数字图像处理在考虑车辆的行驶动力学参数的情况下配准所述至少两个所生成的俯视图;
-在所述至少两个所配准的俯视图中比较所述至少一个路面点(3)的外观图像;
-其中,通过评估在所述至少两个数字图像中所述至少一个路面点(3)的外观图像的区别来区别所述路面(5,7)的漫反射和镜面反射包括:对至少两个所生成的俯视图求平均,来生成一个平均图像,并且在所述平均图像中的每个像点和所属列平均值之间形成绝对差或平方差。
12.一种车辆,包括根据权利要求11所述的装置(1)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015208429.9 | 2015-05-06 | ||
DE102015208429.9A DE102015208429A1 (de) | 2015-05-06 | 2015-05-06 | Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen |
PCT/DE2016/200207 WO2016177371A1 (de) | 2015-05-06 | 2016-05-04 | Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107667378A CN107667378A (zh) | 2018-02-06 |
CN107667378B true CN107667378B (zh) | 2021-04-27 |
Family
ID=56097956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680026128.2A Active CN107667378B (zh) | 2015-05-06 | 2016-05-04 | 用于识别和评估路面反射的方法和装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10442438B2 (zh) |
EP (1) | EP3292510B1 (zh) |
JP (1) | JP6453490B2 (zh) |
KR (1) | KR101891460B1 (zh) |
CN (1) | CN107667378B (zh) |
DE (2) | DE102015208429A1 (zh) |
WO (1) | WO2016177371A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11023788B2 (en) * | 2016-01-05 | 2021-06-01 | Mobileye Vision Technologies Ltd. | Systems and methods for estimating future paths |
CN106686165B (zh) * | 2016-12-30 | 2018-08-17 | 维沃移动通信有限公司 | 一种路况检测的方法及移动终端 |
GB201711409D0 (en) * | 2016-12-30 | 2017-08-30 | Maxu Tech Inc | Early entry |
DE102018203807A1 (de) | 2018-03-13 | 2019-09-19 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen |
DE102018218733A1 (de) * | 2018-10-31 | 2020-04-30 | Robert Bosch Gmbh | Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Strassennässeinformation eines ersten Ultraschallsensors |
FI128495B (en) * | 2019-05-21 | 2020-06-15 | Vaisala Oyj | Method for calibrating optical surface monitoring system, arrangement, device and computer readable memory |
FR3103303B1 (fr) * | 2019-11-14 | 2022-07-22 | Continental Automotive | Détermination d’un coefficient de friction pour un véhicule sur une route |
EP3866055A1 (en) * | 2020-02-12 | 2021-08-18 | Aptiv Technologies Limited | System and method for displaying spatial information in the field of view of a driver of a vehicle |
US20220198200A1 (en) * | 2020-12-22 | 2022-06-23 | Continental Automotive Systems, Inc. | Road lane condition detection with lane assist for a vehicle using infrared detecting device |
CN112597666B (zh) * | 2021-01-08 | 2022-05-24 | 北京深睿博联科技有限责任公司 | 一种基于表面材质建模的路面状态分析方法及装置 |
DE102021101788A1 (de) * | 2021-01-27 | 2022-07-28 | Zf Cv Systems Global Gmbh | Verfahren zum ortsaufgelösten Ermitteln einer Oberflächeneigenschaft eines Untergrundes, Verarbeitungseinheit und Fahrzeug |
JP6955295B1 (ja) * | 2021-02-16 | 2021-10-27 | 株式会社アーバンエックステクノロジーズ | 識別装置、識別プログラム、および識別方法 |
CN115201218A (zh) * | 2022-07-13 | 2022-10-18 | 鲁朗软件(北京)有限公司 | 一种车载路面病害智能检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102017601A (zh) * | 2008-06-26 | 2011-04-13 | 松下电器产业株式会社 | 图像处理装置、图像分割程序及图像合成方法 |
CN102902952A (zh) * | 2011-07-28 | 2013-01-30 | 株式会社日立制作所 | 车载用环境识别装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6015015B2 (ja) | 1979-06-29 | 1985-04-17 | 株式会社 レオ技研 | 路面水分検知装置 |
DE3023444C2 (de) * | 1979-06-29 | 1985-07-11 | Omron Tateisi Electronics Co., Kyoto | Einrichtung zur Ermittlung des witterungsbedingten Straßenzustandes |
DE3738221A1 (de) * | 1987-11-11 | 1989-06-08 | Bayerische Motoren Werke Ag | Verfahren und einrichtung zum erkennen des zustandes einer strasse |
DE4235104A1 (de) * | 1992-10-17 | 1994-04-21 | Sel Alcatel Ag | Straßenzustandsdetektor |
AU3201101A (en) * | 2000-02-07 | 2001-08-14 | Intelligent Security Limited | Smoke and flame detection |
JP3626905B2 (ja) * | 2000-11-24 | 2005-03-09 | 富士重工業株式会社 | 車外監視装置 |
JP3759429B2 (ja) * | 2001-05-23 | 2006-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
JP3783588B2 (ja) * | 2001-08-20 | 2006-06-07 | オムロン株式会社 | 路面判別装置 |
PL1606784T3 (pl) | 2003-03-14 | 2008-03-31 | Liwas Aps | Urządzenie do wykrywania stanu nawierzchni drogi |
WO2011158306A1 (ja) * | 2010-06-18 | 2011-12-22 | 本田技研工業株式会社 | 路面反射率分類のためのシステム |
JP5761601B2 (ja) * | 2010-07-01 | 2015-08-12 | 株式会社リコー | 物体識別装置 |
TWI467498B (zh) * | 2011-12-19 | 2015-01-01 | Ind Tech Res Inst | 影像識別方法及系統 |
EP2947866B1 (en) * | 2013-01-21 | 2019-06-19 | Kowa Company Ltd. | Image processing device, image processing method, image processing program, and recording medium storing said program |
US10188036B2 (en) * | 2015-10-23 | 2019-01-29 | Carnegie Mellon University | System for evaluating agricultural material |
-
2015
- 2015-05-06 DE DE102015208429.9A patent/DE102015208429A1/de not_active Withdrawn
-
2016
- 2016-05-04 DE DE112016002050.3T patent/DE112016002050A5/de active Pending
- 2016-05-04 WO PCT/DE2016/200207 patent/WO2016177371A1/de active Application Filing
- 2016-05-04 US US15/572,010 patent/US10442438B2/en active Active
- 2016-05-04 JP JP2017557347A patent/JP6453490B2/ja active Active
- 2016-05-04 CN CN201680026128.2A patent/CN107667378B/zh active Active
- 2016-05-04 KR KR1020177031347A patent/KR101891460B1/ko active IP Right Grant
- 2016-05-04 EP EP16726768.1A patent/EP3292510B1/de active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102017601A (zh) * | 2008-06-26 | 2011-04-13 | 松下电器产业株式会社 | 图像处理装置、图像分割程序及图像合成方法 |
CN102902952A (zh) * | 2011-07-28 | 2013-01-30 | 株式会社日立制作所 | 车载用环境识别装置 |
Also Published As
Publication number | Publication date |
---|---|
KR101891460B1 (ko) | 2018-08-24 |
DE102015208429A1 (de) | 2016-11-10 |
DE112016002050A5 (de) | 2018-01-11 |
EP3292510B1 (de) | 2021-07-07 |
JP6453490B2 (ja) | 2019-01-16 |
JP2018516799A (ja) | 2018-06-28 |
US10442438B2 (en) | 2019-10-15 |
EP3292510A1 (de) | 2018-03-14 |
CN107667378A (zh) | 2018-02-06 |
WO2016177371A1 (de) | 2016-11-10 |
US20180141561A1 (en) | 2018-05-24 |
KR20170127036A (ko) | 2017-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107667378B (zh) | 用于识别和评估路面反射的方法和装置 | |
Rezaei et al. | Robust vehicle detection and distance estimation under challenging lighting conditions | |
US10949684B2 (en) | Vehicle image verification | |
EP3416134B1 (en) | Surrounding environment recognition device for moving body | |
US20180150704A1 (en) | Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera | |
JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
US8355539B2 (en) | Radar guided vision system for vehicle validation and vehicle motion characterization | |
CN102792314B (zh) | 交叉通行碰撞警报系统 | |
US11308717B2 (en) | Object detection device and object detection method | |
WO2017175025A2 (en) | Detecting visual information corresponding to an animal | |
JP2018516799A5 (zh) | ||
Zhang et al. | Night time vehicle detection and tracking by fusing vehicle parts from multiple cameras | |
JP2006160116A (ja) | 車両運動推定装置及び移動体検出装置 | |
Yang et al. | On-road collision warning based on multiple FOE segmentation using a dashboard camera | |
JP3562278B2 (ja) | 環境認識装置 | |
KR20180047149A (ko) | 충돌 위험 경고 장치 및 방법 | |
Yun et al. | Video-based detection and analysis of driver distraction and inattention | |
WO2017077261A1 (en) | A monocular camera cognitive imaging system for a vehicle | |
JP2023116424A (ja) | 歩行者の位置を決定する方法及び装置 | |
EP3392730B1 (en) | Device for enabling a vehicle to automatically resume moving | |
Prahara et al. | Vehicle pose estimation for vehicle detection and tracking based on road direction | |
Jaiswal et al. | Comparative analysis of CCTV video image processing techniques and application: a survey | |
JP2017211765A (ja) | 物体認識装置 | |
Sivaraman | Learning, modeling, and understanding vehicle surround using multi-modal sensing | |
Shin et al. | Vehicle classification by road lane detection and model fitting using a surveillance camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230106 Address after: Germany Ingolstadt Patentee after: Continental Zhixing Germany Co.,Ltd. Address before: Frankfurt, Germany Patentee before: CONTINENTAL TEVES AG & Co. OHG |