CN104408443A - 多传感器辅助的基于激光雷达的路面类型识别方法及装置 - Google Patents

多传感器辅助的基于激光雷达的路面类型识别方法及装置 Download PDF

Info

Publication number
CN104408443A
CN104408443A CN201410777173.4A CN201410777173A CN104408443A CN 104408443 A CN104408443 A CN 104408443A CN 201410777173 A CN201410777173 A CN 201410777173A CN 104408443 A CN104408443 A CN 104408443A
Authority
CN
China
Prior art keywords
road surface
recognition result
surface types
types recognition
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410777173.4A
Other languages
English (en)
Other versions
CN104408443B (zh
Inventor
王世峰
宋瑨
马浩
赵斌斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHANGCHUN CHANGGUANG PRECISION INSTRUMENT GROUP Co.,Ltd.
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201410777173.4A priority Critical patent/CN104408443B/zh
Publication of CN104408443A publication Critical patent/CN104408443A/zh
Application granted granted Critical
Publication of CN104408443B publication Critical patent/CN104408443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种多传感器辅助的基于激光雷达的路面类型识别方法及装置,其中,所述方法包括:获取固定在车辆上的多个传感器的路面类型识别结果;根据投票法将每个传感器的路面类型识别结果进行合并处理,得到每个传感器的合并后的路面类型识别结果;根据马尔科夫随机场模型将多个传感器的合并后的路面类型识别结果进行优化处理,生成最终路面类型识别结果。多个传感器包括前置激光雷达、图像传感器、加速度传感器以及后置激光雷达,其中,前置激光雷达为主传感器,其他传感器作为从传感器。本发明多传感器辅助的基于激光雷达的路面类型识别方法及装置与现有技术相比,能够对车辆前方路面进行路面识别,同时提高了路面识别的准确率。

Description

多传感器辅助的基于激光雷达的路面类型识别方法及装置
技术领域
本发明涉及车辆行驶过程中的路面类型识别技术,尤其涉及一种多传感器辅助的基于激光雷达的路面类型识别方法及装置。
背景技术
随着人们对汽车驾驶过程中安全性、舒适性要求的不断提高,路面类型识别技术凸显出尤为重要的作用和意义。现有技术中多采用激光雷达技术以提高路面识别的范围和准确率,通过安装在车辆前方、车顶或车底某一部位的激光雷达对车辆行驶的路面进行扫描,再经过数据处理并提取路面空间频率特征,能够完成路面类型的识别过程。
在实现上述发明的过程中,发明人发现现有技术中至少存在如下问题:通常这种安装激光雷达的方式要求激光光束和路面要形成一个夹角。如果激光雷达的激光光束不能垂直照射至地面,而形成该夹角的话,将使路面轮廓测量精度有所下降,从而影响路面类型识别的准确度。
发明内容
本发明的实施例提供一种多传感器辅助的基于激光雷达的路面类型识别方法及装置,能够对车辆前方路面进行路面识别,同时提高了路面识别的准确率。
为达到上述目的,本发明提供了一种多传感器辅助的基于激光雷达的路面类型识别方法,包括:获取路面类型识别结果步骤:获取固定在车辆上的多个传感器的路面类型识别结果;路面类型识别结果合并步骤:根据投票法将所述每个传感器的路面类型识别结果进行合并处理,得到每个传感器的合并后的路面类型识别结果;最终路面类型识别结果生成步骤:根据马尔科夫随机场模型将所述多个传感器的合并后的路面类型识别结果进行优化处理,生成最终路面类型识别结果。所述多个传感器包括前置激光雷达、图像传感器、加速度传感器以及后置激光雷达,其中,所述前置激光雷达为主传感器,其他传感器作为从传感器,所述最终路面类型识别结果生成步骤具体包括:
创建的能量方程如下:
E ( x , y , u , w , v ) = ρ Σ i | x i 2 - x i - 1 2 | + Σ i r i | x i 2 - y i 2 | + Σ i k 1 i - 1 | x i 2 - u i - 1 2 | + Σ i k 2 i - 1 | x i 2 - w i - 1 2 | + Σ i k 3 i - 1 | x i 2 - v i - 1 2 |
其中,i为被识别路段的序号,i为整数且i≥2,xi为第i个路段待优化的前置激光雷达的路面类型识别结果,xi-1为第i-1个路段的最终路面类型识别结果,yi为第i个路段前置激光雷达的合并后的路面类型识别结果,ui-1为第i-1个路段图像传感器的合并后的路面类型识别结果,wi-1为第i-1个路段加速度传感器的合并后的路面类型识别结果,vi-1为第i-1个路段后置激光雷达的合并后的路面类型识别结果,ρ为xi与xi-1之间的链接势能,ri为xi与yi之间的链接势能,k1i-1为xi与ui-1之间的链接势能,k2i-1为xi与wi-1之间的链接势能,k3i-1为xi与vi-1之间的链接势能;
将所述第i个路段待优化的前置激光雷达的路面类型识别结果xi所对应的数值分别带入所述能量方程进行计算,将能够使能量方程E(x,y,u,w,v)的值最小的xi对应的路面类型作为所述最终路面类型识别结果。
本发明还提供了一种多传感器辅助的基于激光雷达的路面类型识别装置,包括:获取路面类型识别结果模块,用于获取固定在车辆上的多个传感器的路面类型识别结果;路面类型识别结果合并模块,用于根据投票法将所述每个传感器的路面类型识别结果进行合并处理,得到每个传感器的合并后的路面类型识别结果;最终路面类型识别结果生成模块,用于根据马尔科夫随机场模型将所述多个传感器的合并后的路面类型识别结果进行优化处理,生成最终路面类型识别结果。所述多个传感器包括前置激光雷达、图像传感器、加速度传感器以及后置激光雷达,其中,所述前置激光雷达为主传感器,其他传感器作为从传感器,所述最终路面类型识别结果生成模块包括:
能量方程创建单元,用于创建所述马尔科夫随机场模型的能量方程为:
E ( x , y , u , w , v ) = ρ Σ i | x i 2 - x i - 1 2 | + Σ i r i | x i 2 - y i 2 | + Σ i k 1 i - 1 | x i 2 - u i - 1 2 | + Σ i k 2 i - 1 | x i 2 - w i - 1 2 | + Σ i k 3 i - 1 | x i 2 - v i - 1 2 |
其中,i为被识别路段的序号,i为整数且i≥2,xi为第i个路段待优化的前置激光雷达的路面类型识别结果,xi-1为第i-1个路段的最终路面类型识别结果,yi为第i个路段前置激光雷达的合并后的路面类型识别结果,ui-1为第i-1个路段图像传感器的合并后的路面类型识别结果,wi-1为第i-1个路段加速度传感器的合并后的路面类型识别结果,vi-1为第i-1个路段后置激光雷达的合并后的路面类型识别结果,ρ为xi与xi-1之间的链接势能,ri为xi与yi之间的链接势能,k1i-1为xi与ui-1之间的链接势能,k2i-1为xi与wi-1之间的链接势能,k3i-1为xi与vi-1之间的链接势能;
最终路面类型识别结果生成单元,用于将所述第i个路段待优化的前置激光雷达的路面类型识别结果xi所对应的数值分别带入所述能量方程进行计算,将能够使能量方程E(x,y,u,w,v)的值最小的xi对应的路面类型作为所述最终路面类型识别结果。
本发明实施例提供的多传感器辅助的基于激光雷达的路面类型识别方法及装置,通过获取多个传感器的路面类型识别结果,并对每个传感器的路面类型识别结果进行合并处理,将前置激光雷达作为主传感器,其他传感器作为从传感器,再利用马尔科夫随机场(Markov Radom Field,MRF)模型能量方程对多个传感器的合并后的路面类型识别结果进行优化处理,就能够对车辆前方路面进行路面识别,同时提高了路面识别的准确率。
附图说明
图1为本发明实施例一的多传感器辅助的基于激光雷达的路面类型识别方法的流程示意图;
图2为本发明车辆行驶前方路面类型识别的MRF模型原理示意图;
图3为本发明实施例二的多传感器辅助的基于激光雷达的路面类型识别装置的结构示意图。
具体实施方式
下面结合附图对本发明实施例多传感器辅助的基于激光雷达的路面类型识别方法及装置进行详细描述。
本发明的多传感器辅助的基于激光雷达的路面类型识别方法的技术原理是通过获取多个传感器的路面类型识别结果,并对每个传感器的路面类型识别结果进行合并处理,利用MRF模型能量方程对多个传感器的合并后的路面类型识别结果进行优化处理,进而得到最终的路面类型识别结果。下面详细介绍MRF模型的基本原理,具体如下:
从多个传感器中选取一个传感器作为主传感器,其他传感器作为从传感器,对多个传感器的合并后的路面类型识别结果进行优化处理的过程如下:
创建所述马尔科夫随机场模型的能量方程为:
E ( x , y , u , w , v ) = ρ Σ i | x i 2 - x i - 1 2 | + Σ i r i | x i 2 - y i 2 | + Σ i k 1 i - 1 | x i 2 - ( U i - 1 1 ) 2 | + Σ i k 2 i - 1 | x i 2 - ( U i - 1 2 ) 2 | + Σ i k 3 i - 1 | x i 2 - ( U i - 1 3 ) 2 | + . . . + Σ i kn i - 1 | x i 2 - ( U i - 1 n ) 2
其中,i为被识别路段的序号,i为整数且i≥2,xi为第i个路段待优化的主传感器的路面类型识别结果,xi-1为第i-1个路段的最终路面类型识别结果,yi为第i个路段主传感器的合并后的路面类型识别结果,为第i-1个路段第一从传感器的合并后的路面类型识别结果,为第i-1个路段第二从传感器的合并后的路面类型识别结果,为第i-1个路段第三从传感器的合并后的路面类型识别结果,为第i-1个路段第n从传感器的合并后的路面类型识别结果,n为从传感器的序号,ρ为xi与xi-1之间的链接势能,ri为xi与yi之间的链接势能,k1i-1为xi之间的链接势能,k2i-1为xi之间的链接势能,k3i-1为xi之间的链接势能,kni-1为xi之间的链接势能;
将第i个路段待优化的主传感器的路面类型识别结果xi所对应的数值分别带入能量方程进行计算,将能够使能量方程E(x,y,u,w,v)的值最小的xi对应的路面类型作为最终路面类型识别结果。
实施例一
如图1所示,其为实施例一的多传感器辅助的基于激光雷达的路面类型识别方法的流程示意图,其包括:
获取路面类型识别结果步骤101:获取固定在车辆上的多个传感器的路面类型识别结果。
路面类型识别结果合并步骤102:根据投票法将每个传感器的路面类型识别结果进行合并处理,得到每个传感器的合并后的路面类型识别结果。具体地,在预定时间段内,对每个传感器的路面类型识别结果进行合并处理,生成合并后的路面类型识别结果,如果在该预定时间段内,某个传感器只输出一个路面类型识别结果,则直接将该路面类型识别结果作为合并后的路面类型识别结果,而对于在预定时间段内输出多个路面类型识别结果的传感器,就需要将输出的多个路面识别结果进行合并处理,从而得到一个输出结果,为后续步骤提供数据基础。
例如,激光雷达每秒钟扫描几十次(即几十条扫描线),而每条扫描线都对应一个识别结果,也就是说每秒钟会输出几十个识别结果,同样,图像传感器每秒钟成像几十次,也会输出几十个识别结果,而在相同时间内加速度传感器只输出一个识别结果,因此需要将激光雷达和图像传感器的多个识别结果进行合并处理,以便和加速度传感器输出的识别结果的个数相匹配,用以后续处理。
最终路面类型识别结果生成步骤103:根据马尔科夫随机场模型将多个传感器的合并后的路面类型识别结果进行优化处理,生成最终路面类型识别结果。
基于本发明优选地实施例多个传感器包括前置激光雷达、图像传感器、加速度传感器以及后置激光雷达,其中,前置激光雷达为主传感器,其他传感器作为从传感器,利用MRF模型能量方程对上述多个传感器的合并后的路面类型识别结果进行优化处理的过程将在后面内容中详细描述。
本发明的多传感器辅助的基于激光雷达的路面类型识别方法,通过获取多个传感器的路面类型识别结果,并对每个传感器的路面类型识别结果进行合并处理,将前置激光雷达作为主传感器,其他传感器作为从传感器,再利用MRF模型能量方程对多个传感器的合并后的路面类型识别结果进行优化处理,就能够得到车辆前方路面的识别结果,并且与现有技术相比,本发明的路面识别方法的路面识别的准确率更高。
进一步地,路面类型识别结果合并步骤102可以具体包括:为每种路面类型分别赋予数值,每一种路面类型对应一个数值;查找每种路面类型对应的数值,将划分为路面类型的路面类型识别结果处理为由数值组成的路面类型识别结果;统计由数值组成的路面类型识别结果中每个数值的个数,得到个数最多的数值;基于数值生成每个传感器的合并后的路面类型识别结果。
具体地,假设有四种路面类型,可以为这四种路面类型分别赋予数值“1”、“2”、“3”、“4”,此时由具体的路面类型表示的路面类型识别结果就被处理成了由数值表示的路面类型识别结果,进而统计每个数值的个数,找出数目最多的那个数值,那么这个数值就可以作为传感器的合并后的路面类型识别结果。通过上述方法,更为直观地将在预定时间段内输出多个路面类型识别结果的传感器的输出结果进行了合并处理。
下面结合具体的应用场景,来进一步说明一下本发明实施例的路面识别的具体过程。
在车辆上安装四个传感器,即前置激光雷达、图像传感器、加速度传感器和后置激光雷达,其中前置激光雷达安装于车辆前方,对车辆前方的路面进行扫描,后置激光雷达安装于车辆后方,对车辆后方的路面进行扫描,加速度传感器可安装于车辆任何位置,图像传感器安装于车辆后方,拍摄车辆后方路面图像,上述安装方式不限于此,例如图像传感器还可安装于车辆前方等位置,只要能够对路面成像即可,当然不同的安装位置可能成像效果有所不同。该具体应用的目标是对前置激光雷达的路面类型识别结果进行优化,已达到识别车辆前方路面类型的目的,具体的识别过程如下:
首先,获取这四个传感器的路面类型识别结果;其次,对待识别的四种路面类型分别设定不同的数值,将柏油路面赋值为“1”、水泥路面赋值为“2”、草地路面赋值为“3”、石子路面赋值为“4”,将由路面类型表示的路面类型识别结果处理成由数值表示的路面类型识别结果,根据投票法就是对每个传感器分别统计在预定时间内输出的所有路面类型识别结果中“1”、“2”、“3”、“4”的这四个数值各自的数目分别是多少,找到数目最多的那个数值,把该数值作为这段路面的合并后的识别结果。对于在该时间段内输出多个路面类型识别结果的传感器,就需要进行上述的合并处理过程,而对于只输出一个路面类型识别结果的传感器,则直接将该路面类型识别结果作为合并后的路面类型识别结果,从而分别得到前置激光雷达、图像传感器、加速度传感器和后置激光雷达的合并后的路面类型识别结果。
然后创建MRF模型能量方程,图2为本发明车辆行驶前方路面类型识别的MRF模型原理示意图,参照图2,每个MRF模型是由5个节点组成,分别是前置激光雷达y,图像传感器u,加速度传感器w,后置激光雷达v各自合并后的路面类型识别结果,最中间的节点x是待优化的前置激光雷达的路面类型识别结果。创建的能量方程如下:
E ( x , y , u , w , v ) = ρ Σ i | x i 2 - x i - 1 2 | + Σ i r i | x i 2 - y i 2 | + Σ i k 1 i - 1 | x i 2 - u i - 1 2 | + Σ i k 2 i - 1 | x i 2 - w i - 1 2 | + Σ i k 3 i - 1 | x i 2 - v i - 1 2 |
其中,i为被识别路段的序号,i为整数且i≥2,xi为第i个路段待优化的前置激光雷达的路面类型识别结果,xi-1为第i-1个路段的最终路面类型识别结果,yi为第i个路段前置激光雷达的合并后的路面类型识别结果,ui-1为第i-1个路段图像传感器的合并后的路面类型识别结果,wi-1为第i-1个路段加速度传感器的合并后的路面类型识别结果,vi-1为第i-1个路段后置激光雷达的合并后的路面类型识别结果,ρ为xi与xi-1之间的链接势能,ri为xi与yi之间的链接势能,k1i-1为xi与ui-1之间的链接势能,k2i-1为xi与wi-1之间的链接势能,k3i-1为xi与vi-1之间的链接势能。
将xi=1,xi=2,xi=3,xi=4分别带入能量方程E(x,y,u,w,v),能够使能量方程E(x,y,u,w,v)的值最小的那个xi对应的路面类型就是最终路面类型识别结果。通过获取前置激光雷达、图像传感器、加速度传感器和后置激光雷达四个传感器的路面类型识别结果,并对每个传感器的路面类型识别结果进行合并处理,利用MRF模型能量方程对四个传感器的合并后的路面类型识别结果进行优化处理得到最终的识别结果,从而能够准确地识别车辆前方路面类型,提高了车辆行驶的安全性。
在实际应用中,还可以有多种具体实现方式,并不仅限于上述描述的过程,例如还可以有更多的传感器安装于车辆上,或是对后置激光雷达的路面类型识别结果进行优化,已达到识别车辆后方路面类型的目的。
进一步地,路面类型识别结果可以包括柏油路面、水泥路面、草地路面、石子路面中的一种或多种路面类型的组合。
实施例二
如图3所示,其为本发明实施例二的多传感器辅助的基于激光雷达的路面类型识别装置的结构示意图,其包括:获取路面类型识别结果模块201,用于获取固定在车辆上的多个传感器的路面类型识别结果;路面类型识别结果合并模块202,用于根据投票法将每个传感器的路面类型识别结果进行合并处理,得到每个传感器的合并后的路面类型识别结果;最终路面类型识别结果生成模块203,用于根据马尔科夫随机场模型将多个传感器的合并后的路面类型识别结果进行优化处理,生成最终路面类型识别结果。
基于本发明优选地实施例多个传感器包括前置激光雷达、图像传感器、加速度传感器以及后置激光雷达,其中,前置激光雷达为主传感器,其他传感器作为从传感器,最终路面类型识别结果生成模块203包括:
能量方程创建单元,用于创建所述马尔科夫随机场模型的能量方程为:
E ( x , y , u , w , v ) = ρ Σ i | x i 2 - x i - 1 2 | + Σ i r i | x i 2 - y i 2 | + Σ i k 1 i - 1 | x i 2 - u i - 1 2 | + Σ i k 2 i - 1 | x i 2 - w i - 1 2 | + Σ i k 3 i - 1 | x i 2 - v i - 1 2 |
其中,i为被识别路段的序号,i为整数且i≥2,xi为第i个路段待优化的前置激光雷达的路面类型识别结果,xi-1为第i-1个路段的最终路面类型识别结果,yi为第i个路段前置激光雷达的合并后的路面类型识别结果,ui-1为第i-1个路段图像传感器的合并后的路面类型识别结果,wi-1为第i-1个路段加速度传感器的合并后的路面类型识别结果,vi-1为第i-1个路段后置激光雷达的合并后的路面类型识别结果,ρ为xi与xi-1之间的链接势能,ri为xi与yi之间的链接势能,k1i-1为xi与ui-1之间的链接势能,k2i-1为xi与wi-1之间的链接势能,k3i-1为xi与vi-1之间的链接势能;
最终路面类型识别结果生成单元,用于将所述第i个路段待优化的前置激光雷达的路面类型识别结果xi所对应的数值分别带入所述能量方程进行计算,将能够使能量方程E(x,y,u,w,v)的值最小的xi对应的路面类型作为所述最终路面类型识别结果
本发明的多传感器辅助的基于激光雷达的路面类型识别装置,通过获取多个传感器的路面类型识别结果,并对每个传感器的路面类型识别结果进行合并处理,将前置激光雷达作为主传感器,其他传感器作为从传感器,再利用MRF模型能量方程对多个传感器的合并后的路面类型识别结果进行优化处理,能够得到车辆前方路面的识别结果,并且与现有技术相比,本发明的路面识别装置的路面识别的准确率更高。
进一步地,由于传感器的类型不同,在预定时间段内,有的传感器只输出一个路面类型识别结果,而有的传感器已输出多个路面类型识别结果,为了将输出多个路面类型识别结果的传感器的输出结果调整为一个,路面类型识别结果合并模块202可以包括:
路面类型赋值单元,用于为每种路面类型分别赋予数值,每一种路面类型对应一个数值;
路面类型识别结果处理单元,用于查找每种路面类型对应的数值,将划分为路面类型的路面类型识别结果处理为由数值组成的路面类型识别结果;
路面类型识别结果统计单元,用于统计由数值组成的路面类型识别结果中每个数值的个数,得到个数最多的数值;
合并的路面类型识别结果生成单元,用于基于数值生成每个传感器的合并后的路面类型识别结果。
进一步地,路面类型识别结果可以包括柏油路面、水泥路面、草地路面、石子路面中的一种或多种路面类型的组合。
在本发明所提供的几个实施例中,应该理解到,所公开的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种多传感器辅助的基于激光雷达的路面类型识别方法,其特征在于,所述方法包括:
获取路面类型识别结果步骤:获取固定在车辆上的多个传感器的路面类型识别结果;
路面类型识别结果合并步骤:根据投票法将所述每个传感器的路面类型识别结果进行合并处理,得到每个传感器的合并后的路面类型识别结果;
最终路面类型识别结果生成步骤:根据马尔科夫随机场模型将所述多个传感器的合并后的路面类型识别结果进行优化处理,生成最终路面类型识别结果;
所述多个传感器包括前置激光雷达、图像传感器、加速度传感器以及后置激光雷达,其中,所述前置激光雷达为主传感器,其他传感器作为从传感器,所述最终路面类型识别结果生成步骤具体包括:
创建的能量方程如下:
E ( x , y , u , w , v ) = ρ Σ i | x i 2 - x i - 1 2 | + Σ i r i | x i 2 - y i 2 | + Σ i k 1 i - 1 | x i 2 - u i - 1 2 | + Σ i k 2 i - 1 | x i 2 - w i - 1 2 | + Σ i k 3 i - 1 | x i 2 - v i - 1 2 |
其中,i为被识别路段的序号,i为整数且i≥2,xi为第i个路段待优化的前置激光雷达的路面类型识别结果,xi-1为第i-1个路段的最终路面类型识别结果,yi为第i个路段前置激光雷达的合并后的路面类型识别结果,ui-1为第i-1个路段图像传感器的合并后的路面类型识别结果,wi-1为第i-1个路段加速度传感器的合并后的路面类型识别结果,vi-1为第i-1个路段后置激光雷达的合并后的路面类型识别结果,ρ为xi与xi-1之间的链接势能,ri为xi与yi之间的链接势能,k1i-1为xi与ui-1之间的链接势能,k2i-1为xi与wi-1之间的链接势能,k3i-1为xi与vi-1之间的链接势能;
将所述第i个路段待优化的前置激光雷达的路面类型识别结果xi所对应的数值分别带入所述能量方程进行计算,将能够使能量方程E(x,y,u,w,v)的值最小的xi对应的路面类型作为所述最终路面类型识别结果。
2.根据权利要求1所述的方法,其特征在于,所述路面类型识别结果合并步骤具体包括:
为每种路面类型分别赋予数值,每一种路面类型对应一个数值;
查找每种路面类型对应的数值,将划分为路面类型的路面类型识别结果处理为由数值组成的路面类型识别结果;
统计所述由数值组成的路面类型识别结果中每个数值的个数,得到个数最多的数值;
基于所述数值生成每个传感器的合并后的路面类型识别结果。
3.根据权利要求1所述的方法,其特征在于,所述路面类型识别结果包括柏油路面、水泥路面、草地路面、石子路面中的一种或多种路面类型的组合。
4.一种多传感器辅助的基于激光雷达的路面类型识别装置,其特征在于,所述装置包括:
获取路面类型识别结果模块,用于获取固定在车辆上的多个传感器的路面类型识别结果;
路面类型识别结果合并模块,用于根据投票法将所述每个传感器的路面类型识别结果进行合并处理,得到每个传感器的合并后的路面类型识别结果;
最终路面类型识别结果生成模块,用于根据马尔科夫随机场模型将所述多个传感器的合并后的路面类型识别结果进行优化处理,生成最终路面类型识别结果;
所述多个传感器包括前置激光雷达、图像传感器、加速度传感器以及后置激光雷达,其中,所述前置激光雷达为主传感器,其他传感器作为从传感器,所述最终路面类型识别结果生成模块包括:
能量方程创建单元,用于创建所述马尔科夫随机场模型的能量方程为:
E ( x , y , u , w , v ) = ρ Σ i | x i 2 - x i - 1 2 | + Σ i r i | x i 2 - y i 2 | + Σ i k 1 i - 1 | x i 2 - u i - 1 2 | + Σ i k 2 i - 1 | x i 2 - w i - 1 2 | + Σ i k 3 i - 1 | x i 2 - v i - 1 2 |
其中,i为被识别路段的序号,i为整数且i≥2,xi为第i个路段待优化的前置激光雷达的路面类型识别结果,xi-1为第i-1个路段的最终路面类型识别结果,yi为第i个路段前置激光雷达的合并后的路面类型识别结果,ui-1为第i-1个路段图像传感器的合并后的路面类型识别结果,wi-1为第i-1个路段加速度传感器的合并后的路面类型识别结果,vi-1为第i-1个路段后置激光雷达的合并后的路面类型识别结果,ρ为xi与xi-1之间的链接势能,ri为xi与yi之间的链接势能,k1i-1为xi与ui-1之间的链接势能,k2i-1为xi与wi-1之间的链接势能,k3i-1为xi与vi-1之间的链接势能;
最终路面类型识别结果生成单元,用于将所述第i个路段待优化的前置激光雷达的路面类型识别结果xi所对应的数值分别带入所述能量方程进行计算,将能够使能量方程E(x,y,u,w,v)的值最小的xi对应的路面类型作为所述最终路面类型识别结果。
5.根据权利要求4所述的装置,其特征在于,所述路面类型识别结果合并模块包括:
路面类型赋值单元,用于为每种路面类型分别赋予数值,每一种路面类型对应一个数值;
路面类型识别结果处理单元,用于查找每种路面类型对应的数值,将划分为路面类型的路面类型识别结果处理为由数值组成的路面类型识别结果;
路面类型识别结果统计单元,用于统计所述由数值组成的路面类型识别结果中每个数值的个数,得到个数最多的数值;
合并的路面类型识别结果生成单元,用于基于所述数值生成每个传感器的合并后的路面类型识别结果。
6.根据权利要求4所述的装置,其特征在于,所述路面类型识别结果包括柏油路面、水泥路面、草地路面、石子路面中的一种或多种路面类型的组合。
CN201410777173.4A 2014-12-15 2014-12-15 多传感器辅助的基于激光雷达的路面类型识别方法及装置 Active CN104408443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410777173.4A CN104408443B (zh) 2014-12-15 2014-12-15 多传感器辅助的基于激光雷达的路面类型识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410777173.4A CN104408443B (zh) 2014-12-15 2014-12-15 多传感器辅助的基于激光雷达的路面类型识别方法及装置

Publications (2)

Publication Number Publication Date
CN104408443A true CN104408443A (zh) 2015-03-11
CN104408443B CN104408443B (zh) 2017-07-18

Family

ID=52646074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410777173.4A Active CN104408443B (zh) 2014-12-15 2014-12-15 多传感器辅助的基于激光雷达的路面类型识别方法及装置

Country Status (1)

Country Link
CN (1) CN104408443B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105445815A (zh) * 2015-11-18 2016-03-30 江西洪都航空工业集团有限责任公司 利用gps测量水平气象能见度目标物的方法
CN105866762A (zh) * 2016-02-26 2016-08-17 福州华鹰重工机械有限公司 激光雷达自动校准方法及装置
CN106054208A (zh) * 2016-08-16 2016-10-26 长春理工大学 多线激光雷达车辆目标识别方法和汽车的防撞装置
CN106295505A (zh) * 2016-07-25 2017-01-04 江苏中路新材料科技发展有限公司 路面使用过程中的状态测定系统
CN106371104A (zh) * 2016-08-16 2017-02-01 长春理工大学 多线点云数据机器学习的车辆目标识别方法及防撞装置
CN109808766A (zh) * 2017-11-20 2019-05-28 操纵技术Ip控股公司 基于视觉的主动转向系统
US11455511B2 (en) 2016-12-29 2022-09-27 Huawei Technologies Co., Ltd. Ground environment detection method and apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101275900A (zh) * 2008-05-08 2008-10-01 江汉大学 基于车轮振动的路面类型识别方法
CN102254161A (zh) * 2011-07-15 2011-11-23 王世峰 基于路面轮廓及路面图像特征的路面类型识别方法及装置
CN102289674A (zh) * 2011-07-15 2011-12-21 王世峰 基于垂直加速度及路面图像的路面类型识别方法及装置
US20130054106A1 (en) * 2011-08-22 2013-02-28 Honda Research Institute Europe Gmbh Method and system for predicting movement behavior of a target traffic object
US20140067187A1 (en) * 2012-09-05 2014-03-06 Google Inc. Construction Zone Detection Using a Plurality of Information Sources

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101275900A (zh) * 2008-05-08 2008-10-01 江汉大学 基于车轮振动的路面类型识别方法
CN102254161A (zh) * 2011-07-15 2011-11-23 王世峰 基于路面轮廓及路面图像特征的路面类型识别方法及装置
CN102289674A (zh) * 2011-07-15 2011-12-21 王世峰 基于垂直加速度及路面图像的路面类型识别方法及装置
US20130054106A1 (en) * 2011-08-22 2013-02-28 Honda Research Institute Europe Gmbh Method and system for predicting movement behavior of a target traffic object
US20140067187A1 (en) * 2012-09-05 2014-03-06 Google Inc. Construction Zone Detection Using a Plurality of Information Sources

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李虹: ""基于机器视觉路面状态识别关键技术研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105445815A (zh) * 2015-11-18 2016-03-30 江西洪都航空工业集团有限责任公司 利用gps测量水平气象能见度目标物的方法
CN105866762A (zh) * 2016-02-26 2016-08-17 福州华鹰重工机械有限公司 激光雷达自动校准方法及装置
CN106295505A (zh) * 2016-07-25 2017-01-04 江苏中路新材料科技发展有限公司 路面使用过程中的状态测定系统
CN106054208A (zh) * 2016-08-16 2016-10-26 长春理工大学 多线激光雷达车辆目标识别方法和汽车的防撞装置
CN106371104A (zh) * 2016-08-16 2017-02-01 长春理工大学 多线点云数据机器学习的车辆目标识别方法及防撞装置
US11455511B2 (en) 2016-12-29 2022-09-27 Huawei Technologies Co., Ltd. Ground environment detection method and apparatus
CN109808766A (zh) * 2017-11-20 2019-05-28 操纵技术Ip控股公司 基于视觉的主动转向系统

Also Published As

Publication number Publication date
CN104408443B (zh) 2017-07-18

Similar Documents

Publication Publication Date Title
CN104408443A (zh) 多传感器辅助的基于激光雷达的路面类型识别方法及装置
Jenkins et al. Accident scenario generation with recurrent neural networks
Nie et al. A multimodality fusion deep neural network and safety test strategy for intelligent vehicles
CN113158763B (zh) 4d毫米波和激光点云多视角特征融合的三维目标检测方法
CN104392245A (zh) 多传感器融合的路面类型识别方法及装置
CN105242270B (zh) 车辆雷达控制
Ashraf et al. Shallow networks for high-accuracy road object-detection
Hu et al. Investigating the impact of multi-lidar placement on object detection for autonomous driving
CN104933064B (zh) 预测目标对象的运动参数的方法和装置
Fan et al. Real‐Time Object Detection for LiDAR Based on LS‐R‐YOLOv4 Neural Network
CN105785370A (zh) 物体检测装置和物体检测方法
CN112706785B (zh) 一种自动驾驶车辆行驶环境认知目标选择方法、装置及存储介质
CN106157283A (zh) 道路分割物的检测方法和装置
CN113935143A (zh) 通过自主车辆的增加的严重性等级估计碰撞概率
Abu-Gellban et al. Livedi: An anti-theft model based on driving behavior
Yuan et al. End‐to‐end learning for high‐precision lane keeping via multi‐state model
Yang et al. Research on short‐term traffic flow prediction method based on similarity search of time series
Tatebe et al. Pedestrian detection from sparse point-cloud using 3DCNN
CN104463217A (zh) 基于激光雷达的路面类型识别方法及装置
Mishra et al. ADAS technology: a review on challenges, legal risk mitigation and solutions
Vemulapalli et al. Pitch based vehicle localization using time series subsequence matching with multi-scale extrema features
US20230096021A1 (en) Image processing via isotonic convolutional neural networks
Nieto et al. Optimising computer vision based ADAS: vehicle detection case study
Khazaee et al. An accurate real-time license plate detection method based on deep learning approaches
Mobahi et al. An improved deep learning solution for object detection in self-driving cars

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210401

Address after: Room C313, 1759 Mingxi Road, Beihu science and Technology Development Zone, Changchun City, Jilin Province, 130000

Patentee after: CHANGCHUN CHANGGUANG PRECISION INSTRUMENT GROUP Co.,Ltd.

Address before: 130022 No. 7089 Satellite Road, Jilin, Changchun

Patentee before: CHANGCHUN University OF SCIENCE AND TECHNOLOGY