CN109229109A - 判断车辆行驶方向的方法、装置、设备和计算机存储介质 - Google Patents

判断车辆行驶方向的方法、装置、设备和计算机存储介质 Download PDF

Info

Publication number
CN109229109A
CN109229109A CN201710539027.1A CN201710539027A CN109229109A CN 109229109 A CN109229109 A CN 109229109A CN 201710539027 A CN201710539027 A CN 201710539027A CN 109229109 A CN109229109 A CN 109229109A
Authority
CN
China
Prior art keywords
vehicle
angle
candidate
point cloud
towards
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710539027.1A
Other languages
English (en)
Other versions
CN109229109B (zh
Inventor
程懿远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710539027.1A priority Critical patent/CN109229109B/zh
Priority to US16/022,018 priority patent/US10513260B2/en
Publication of CN109229109A publication Critical patent/CN109229109A/zh
Application granted granted Critical
Publication of CN109229109B publication Critical patent/CN109229109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0953Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种判断车辆行驶方向的方法、装置、设备和计算机存储介质,其中判断车辆行驶方向的方法包括:获取车辆的点云子集以及该车辆的候选朝向角度;分别确定在各候选朝向角度方向上,所述点云子集中俯视图数据的最小外接矩形;利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数;根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向。本发明通过计算能量函数,通过能量函数所对应的候选朝向角度确定车辆的行驶方向,实现在各种驾驶场景准确判断无人车车身周围车辆的行驶方向,从而提高无人车自动驾驶的安全性。

Description

判断车辆行驶方向的方法、装置、设备和计算机存储介质
【技术领域】
本发明涉及无人车驾驶技术领域,尤其涉及一种判断车辆行驶方向的方法、装置、设备和计算机存储介质。
【背景技术】
在无人车的自动驾驶过程中,无人车车身的周边环境,尤其是无人车周边其他车辆的行驶状态,会对无人车的轨迹跟踪、碰撞预测、车辆变道等自动驾驶策略产生重要影响。因此,在无人车自动驾驶技术中,获取无人车周边其他车辆的行驶方向是至关重要的。
现有技术中,主要有两种判断车辆行驶方向的方法:(1)深度学习的方法:基于所采集大数据的深度学习,进行车辆行驶方向的判断;(2)轨迹跟踪的方法:基于车辆的行驶轨迹,进行车辆行驶方向的判断。而在采用深度学习的方法时,由于所采集数据的不完整,在遇到突发情况时,可能无法准确地判断车辆的行驶方向;采用轨迹跟踪的方法时,只有在车辆运动的情况下才能够进行判断,车辆若处于静止状态,则无法进行车辆行驶方向的判断。因此,亟需提供一种能够适于各种驾驶场景且能够准确获得车辆行驶方向的判断车辆行驶方向的方法。
【发明内容】
有鉴于此,本发明提供了一种判断车辆行驶方向的方法、装置、设备和计算机存储介质,用于实现在各种驾驶场景准确判断无人车车身周围其他车辆的行驶方向,从而提高无人车自动驾驶的安全性。
本发明为解决技术问题而采用的技术方案是提供一种判断车辆行驶方向的方法,所述方法包括:获取车辆的点云子集以及该车辆的候选朝向角度;分别确定在各候选朝向角度方向上,所述点云子集中俯视图数据的最小外接矩形;利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数;根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向。
根据本发明一优选实施例,所述车辆的点云子集是采用如下方式获取的:获取由无人车的各采集设备所采集的点云数据;将所述点云数据进行融合后,对得到的点云融合数据进行聚类,得到以物体为单位的点云子集;对所述点云子集进行识别和分类,得到车辆的点云子集。
根据本发明一优选实施例,所述车辆的候选朝向角度是采用如下方式获取的:以预设角度单位对全向角度进行划分,将得到的各角度分别作为候选朝向角度;或者获取包含所述车辆行驶信息的图像数据,根据前m帧图像数据中车辆的行驶速度方向确定候选朝向角度,所述m为预设正整数;或者根据车辆点云子集所对应凸多边形的边缘的方向确定候选朝向角度。
根据本发明一优选实施例,所述各最小外接矩形中各点云相对于最小外接矩形的分布特性包括最小外接矩形的面积、宽长比例、对称性、各点云到最小外接矩形各边缘的最短距离的平均值以及各点云到最小外接矩形中轴线的距离的平均值中的至少一种。
根据本发明一优选实施例,所述利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数包括:对各最小外接矩形中各点云相对于最小外接矩形的各类分布特性进行加权处理,得到与各最小外界矩形所对应候选朝向角度的能量函数。
根据本发明一优选实施例,所述车辆包括:汽车;所述在根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向包括:根据所述点云子集中侧视图数据得到汽车车辆前后两端的斜率,根据所述斜率确定该汽车车辆的车头;根据所述车头以及所述各候选朝向角度对应的能量函数,确定该汽车车辆的行驶方向。
根据本发明一优选实施例,所述车辆包括非汽车;根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向包括:获取包含非汽车车辆行驶信息的图像数据;根据前n帧图像数据中该非汽车车辆的行驶速度方向,确定该非汽车车辆的车头;根据所述车头以及所述各候选朝向角度对应的能量函数,确定该汽车车辆的行驶方向。
根据本发明一优选实施例,所述各最小外接矩形的对称性通过如下方式获取:获取各最小外接矩形中各点云以横向中轴线为对称轴的对称性与以纵向中轴线为对称轴的对称性;选取横向中轴线与纵向中轴线所对应的对称性中较大的对称性,作为各最小外接矩形的对称性。
根据本发明一优选实施例,所述根据所述能量函数从所述候选朝向角度中确定所述车辆的行驶方向后,还进一步包括:根据车辆所确定的朝向角度对应的最小外接矩形,计算该最小外接矩形中各点云到各边缘的最短距离的平均值或各点云到中轴线的距离的平均值;根据所述平均值,得到车辆所确定行驶方向的置信度,其中所述平均值越小,置信度越大。
本发明为解决技术问题而采用的技术方案是提供一种判断车辆行驶方向的装置,所述装置包括:获取单元,用于获取车辆的点云子集以及该车辆的候选朝向角度;第一确定单元,用于分别确定在各候选朝向角度方向上,所述点云子集中俯视图数据的最小外接矩形;第二确定单元,用于利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数;第三确定单元,用于根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向。
根据本发明一优选实施例,所述获取单元在用于获取车辆的点云子集时,具体执行:获取由无人车的各采集设备所采集的点云数据;将所述点云数据进行融合后,对得到的点云融合数据进行聚类,得到以物体为单位的点云子集;对所述点云子集进行识别和分类,得到车辆的点云子集。
根据本发明一优选实施例,所述获取单元在用于获取车辆的候选朝向角度时,具体执行:以预设角度单位对全向角度进行划分,将得到的各角度分别作为候选朝向角度;或者获取包含所述车辆行驶信息的图像数据,根据前m帧图像数据中车辆的行驶速度方向确定候选朝向角度,所述m为预设正整数;或者根据车辆点云子集所对应凸多边形的边缘的方向确定候选朝向角度。
根据本发明一优选实施例,所述第二确定单元在用于利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数时,具体执行:对最小外接矩形中各点云相对于最小外接矩形的各类分布特性进行加权处理,得到与该最小外界矩形所对应候选朝向角度的能量函数。
根据本发明一优选实施例,所述车辆包括:汽车;第三确定单元在用于根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向之前,还执行:根据所述点云子集中侧视图数据得到汽车车辆前后两端的斜率,根据所述斜率确定该汽车车辆的车头;根据所述车头以及所述各候选朝向角度对应的能量函数,确定该汽车车辆的行驶方向。
根据本发明一优选实施例,所述车辆包括:非汽车车辆;第三确定单元在用于根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向之前,还执行:获取包含非汽车车辆行驶信息的图像数据;根据前n帧图像数据中该非汽车车辆的行驶速度方向,确定该非汽车车辆的车头;根据所述车头以及所述各候选朝向角度对应的能量函数,确定该汽车车辆的行驶方向。
根据本发明一优选实施例,所述第三确定单元在用于根据所述能量函数从所述候选朝向角度中确定所述车辆的行驶方向后,还进一步执行:根据车辆所确定的朝向角度对应的最小外接矩形,计算该最小外接矩形中各点云到各边缘的最短距离的平均值或各点云到中轴线的距离的平均值;根据所述平均值,得到车辆所确定行驶方向的置信度,其中所述平均值越小,置信度越大。
由以上技术方案可以看出,本发明通过计算能量函数,根据能量函数所对应的候选朝向角度确定车辆的行驶方向,实现在各种驾驶场景准确判断无人车车身周围其他车辆的行驶方向,从而提高无人车自动驾驶的安全性。
【附图说明】
图1为本发明一实施例提供的判断车辆行驶方向的方法流程图。
图2为本发明一实施例提供的汽车车辆点云子集的侧视图数据。
图3为本发明一实施例提供的判断车辆行驶方向的装置结构图。
图4为本发明一实施例提供的计算机系统/服务器的框图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
无人车在自动驾驶过程中,为了能够做出准确的驾驶策略,需要对周边环境中各类型车辆的行驶方向进行判断,从而保证无人车自动驾驶的安全性。而由于周边环境中汽车车辆(例如普通轿车)与非汽车车辆(例如摩托车、自行车)具有不同的结构特征,因此本发明针对汽车车辆以及非汽车车辆,提供一种判断车辆行驶方向的方法、装置、设备和计算机存储介质,实现在各种驾驶场景中准确地获得无人车车身周边车辆的行驶方向,从而提高无人车自动驾驶的安全性。
图1为本发明一实施例提供的判断车辆行驶方向的方法流程图,如图1中所示,所述方法包括:
在101中,获取车辆的点云子集以及该车辆的候选朝向角度。
在本步骤中,所获取的车辆的点云子集为无人车车身周边车辆的点云子集,包括汽车车辆的点云子集与非汽车车辆的点云子集;所获取的该车辆的候选朝向角度为该车辆所有可能的行驶方向对应的朝向角度。
具体地,可以采用如下方式获取车辆的点云子集:
首先对无人车上的各采集设备进行位姿标定,无人车上的采集设备包括激光雷达设备以及相机设备。在对上述采集设备进行位姿标定时,可以分别使雷达设备坐标系、相机设备坐标与世界坐标系一致,从而使得各采集设备输出的点云数据能够一一对应。在完成对各采集设备的位姿标定后,由各采集设备采集无人车车身周边的点云数据,然后将各采集设备采集所得到的点云数据进行融合,从而使得无人车车身周边的点云信息更加完整。在获得点云融合数据后,可以通过点云聚类算法将点云融合数据进行聚类,得到以物体为单位的点云子集,即每个点云子集代表一个物体。再对对应各物体的点云子集进行识别和分类,从而确定各点云子集所对应的物体具体是何种类型,例如是汽车车辆,或者是非汽车车辆,或者是绿化带等。
在获得对应不同类型物体的点云子集后,还可以对各点云子集进行降噪处理,其中降噪处理包括限高处理、边缘平滑处理、点云分布一致性处理等。通过对各点云子集所进行的降噪处理,能够有效降低由于噪声、分割失误或局部收敛等原因所造成的计算偏差,进一步提高车辆行驶方向计算的准确性。
具体地,所获取的车辆的候选朝向角度可以在以预设角度单位对全向角度进行划分后,将得到的各角度分别作为候选朝向角度,即将0°至360°中以预设角度单位所划分的每个角度都作为车辆的候选朝向角度,例如预设角度单位为1°时,则将0°、1°、2°……360°中的每一个角度都作为车辆的候选朝向角度。也可以为获取包含车辆行驶信息的图像数据后,根据前m帧图像数据中车辆的行驶速度方向确定车辆的候选朝向角度,其中m为预设的正整数。例如根据前m帧图像数据确定该车辆的行驶方向为90°,则该车辆的候选朝向角度可以为包含所确定出行驶方向的预设角度区间,例如80°-100°,则对应该车辆的候选朝向角度为80°至100°区间内的各个角度。还可以为根据点云子集所对应凸包各个边缘的方向,或者说点云子集所对应凸多边形各个边缘的方向,确定车辆的候选朝向角度。在本发明中,车辆候选朝向角度之间的预设角度单位可以为1°,也可以为0.1°,本发明对此不进行限定。
在102中,分别确定在各候选朝向角度方向上,所述点云子集中俯视图数据的最小外接矩形。
在本步骤中,根据所获取的车辆的各候选朝向角度以及点云子集,确定在各候选朝向角度方向上该车辆点云子集中俯视图数据的最小外接矩形,即获取该车辆的点云子集中俯视图数据在各候选朝向角度所对应的最小外接矩形,各候选朝向角度分别对应一个最小外接矩形。其中,各最小外接矩形为各方向上包围该车辆点云子集中俯视图数据的最小矩形,可以使用已有代码直接获取最小外接矩形,在此不进行赘述。
在103中,利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数。
在本步骤中,对各最小外接矩形中各点云相对于最小外接矩形的各类分布特性进行加权处理,从而得到与各最小外接矩形所对应候选朝向角度的能量函数。其中,各最小外接矩形中各点云相对于各最小外接矩形的分布特性包括:最小外接矩形的面积、宽长比例、对称性、各点云到最小外接矩形各边缘的最短距离的平均值以及各点云到最小外接矩形中轴线的距离的平均值中的至少一种。其中,各最小外接矩形中各点云相对于最小外接矩形的分布特性,反映车辆点云数据与最小外接矩形的吻合程度。
具体地,若最小外接矩形的面积越小,则表面车辆点云数据与最小外接矩形的吻合程度越高;宽长比例越小,也表面车辆点云数据与最小外接矩形的吻合程度越高,同理可得,各点云到最小外接矩形各边缘的最短距离的平均值以及各点云到最小外接矩形中轴线的距离的平均值越小,则表面车辆点云数据与最小外接矩形的吻合程度越高。其中,最小外接矩形的面积、宽长比例、各点云到最小外接矩形各边缘的最短距离的平均值以及各点云到最小外接矩形中轴线的距离的平均值可以通过代码直接获取,例如通过matlab里的regionprops函数获取,在此不进行赘述。
而对应各候选朝向角度最小外接矩形的对称性可以采用如下方式获取:根据对应各候选朝向角度的最小外接矩形,获取各最小外接矩形中各点云分别以横向中轴线与纵向中轴线为对称轴的对称性,然后选取横向中轴线与纵向中轴线所对应的对称性中较大的对称性,作为各最小外接矩形的对称性。
其中,最小外接矩形中各点云以横向中轴线为对称轴,得到该最小外接矩形的对称性可以采用如下方式得到:
if(p(x,y)&&p(x±δ,(width-y)±δ))symmetry++
最小外接矩形中各点云以纵向中轴线为对称轴,得到该最小外接矩形的对称性可以采用如下方式得到:
if(p(x,y)&&p((length-x)±δ,y±δ))symmetry++
在上述公式中:p代表该最小外接矩形中的一个点云;x、y分别表示该点云距离最小外接矩形最近边缘的横向距离以及纵向距离;δ代表查找范围,可以根据具体情况进行调整;默认车辆点云子集中俯视图数据的长为底边,
length代表最小外接矩形的长,width代表最小外接矩形的宽;symmetry为对称性,初始值为0。
举例来说,以获取最小外接矩形中各点云以横向中轴线为对称轴的对称性为例进行说明,即最小外接矩形中上下部分各点云的对称性。在公式中,对称性symmetry的初始值为0,当最小外接矩形中点云以横向中轴线为对称轴,能够找到与点云p(x,y)对称的点云p(x±δ,(width-y)±δ)时,则对称性symmetry就加1。其中δ代表查找范围,即与点云p(x,y)对称的点云不一定是根据横向中轴线完全对称,若在δ范围内,点云p(x,y)存在点云p(x±δ,(width-y)±δ)与其对称,仍可以认为p(x,y)存在对称点,对称性symmetry的值加1。
在分别获取最小外接矩形中各点云以横向中轴线与纵向中轴线为对称轴的对称性后,将所获得的两个对称性中较大的对称性作为该最小外接矩形的对称性。
通过上述步骤,得到车辆所对应的各最小外接矩形的面积、宽长比、各点云到最小外接矩形各边缘的最短距离的平均值、各点云到最小外接矩形中轴线的距离的平均值以及对称性后,计算对应车辆各候选朝向角度的能量函数。其中,该能量函数反映各最小外接矩形与车辆点云数据的吻合度,即各候选朝向角度与实际行驶方向的吻合度,吻合度越大,则该候选朝向角度的能量函数越小。因此在本发明中,优先选取能量函数最小的值所对应的候选朝向角度作为车辆的行驶方向。
具体地,可以使用如下公式计算汽车车辆各候选朝向角度的能量函数:
Edir=(ω1×area+ω2×width/length+ω3×ave(dis tan ce(point,edg))+ω4×symmetry)
在公式中:Edir代表某候选朝向角度的能量函数;ω1、ω2、ω3、ω4代表权重值,可以根据具体情况进行调整;area代表该候选朝向角度所对应的最小外接矩形的面积;width/length代表该候选朝向角度所对应的最小外接矩形的宽长比例;ave(dis tan ce(po int,edg))代表该候选朝向角度所对应的最小外接矩形中各点云到各边缘距离的平均值;symmetry代表该候选朝向角度所对应的最小外接矩形的对称性。
具体地,可以使用如下公式计算非汽车车辆各候选朝向角度的能量函数:
Edir=(ω1×area+ω2×width/length+ω3×ave(dis tan ce(point,central_axis))+ω4×symmetry)
在公式中:Edir代表某候选朝向角度的能量函数;ω1、ω2、ω3、ω4代表权重值,可以根据具体情况进行调整;area代表该候选朝向角度所对应的最小外接矩形的面积;width/length代表该候选朝向角度所对应的最小外接矩形的宽长比例;ave(dis tan ce(po int,central_axis))代表该候选朝向角度所对应的最小外接矩形中各点云到中轴线的距离的平均值;symmetry代表该候选朝向角度所对应的最小外接矩形的对称性。
在使用不同公式计算得到汽车车辆与非汽车车辆各候选朝向角度的能量函数后,便能够根据各候选朝向角度的能量函数确定汽车车辆与非汽车车辆的行驶方向。
在104中,根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向。
由于能量函数反映车辆的最小外接矩形所对应的各候选朝向角度与实际行驶方向的吻合度,因此根据计算得到的能量函数确定车辆的行驶方向。
在根据能量函数,从所述候选朝向角度中确定车辆的行驶方向时还包括:判断车辆的车头与车尾。这是因为在计算能量函数时,可能会出现能量函数大小相同的情况。例如候选朝向角度为全向角度时,若计算得到的0°的能量函数与180°的能量函数的大小相同,则无法判断该车辆的准确行驶方向。因此仅通过使用车辆各候选朝向角度的能量函数,无法实现准确判断车辆的行驶方向,因此需要进一步判断车辆的车头车尾,从而更加准确地确定车辆的行驶方向。而由于汽车车辆与非汽车车辆具有不同的外观结构,因此使用不同的方式进行汽车车辆与非汽车车辆的车头车尾的判断。
具体地,可以采用如下方式判断汽车车辆的车头:根据汽车车辆点云子集中的侧视图数据,得到汽车车辆前后两端的斜率,根据所得到的斜率确定该汽车车辆的车头。其中斜率较大的一端为车头,另一端则为车尾。如图2中所示,图2为一汽车车辆的点云侧视图数据,从图2中能够清楚地看出,左侧各点云的斜率要比右侧各点云的斜率大,因此将图2中汽车车辆的左侧确定为该汽车车辆的车头。
具体地,可以采用如下方式判断非汽车车辆的车头:获取包含非汽车车辆行驶信息的图像数据;根据前n帧图像数据中该非汽车车辆的行驶速度方向,确定该非汽车车辆的车头。这是因为非汽车车辆(例如摩托车、自行车)具有前后对称性,无法通过前后两端的斜率来确定非汽车车辆的车头。因此根据非汽车车辆的行驶速度方向来确定非汽车车辆的车头。
在获取车辆的车头后,便能够根据各候选朝向角度对应的能量函数,确定车辆的行驶方向。
举例来说,若候选朝向角度0°与候选朝向角度180°计算得到的能量函数值最小且相等时,若该车辆的车头与无人车的行驶方向一致,则确定该车辆的行驶方向为0°;若该车辆的车头与无人车的行驶方向相反,则确定该车辆的行驶方向为180°。
当然,可以理解的是,对于车辆比较确定的候选朝向角度,或者说对应各候选朝向角度的能量函数值是唯一的,则能够根据候选朝向角度的能量函数直接确定车辆的行驶方向。
在获得车辆的行驶方向后,还可以计算所得到的车辆行驶方向的置信度,具体地,根据车辆所确定的朝向角度对应的最小外接矩形,计算该最小外接矩形中各点云到该最小外接矩形各边缘的最短距离的平均值或各点云到该最小外接矩形中轴线的距离的平均值;根据计算得到的平均值,得到所确定的该车辆行驶方向的置信度,其中平均值越小则置信度越大。
具体地,可以使用如下公式获取汽车车辆行驶方向的置信度:
confidence=1/ave(min(dis tan ce(po int,edg)))
在公式中:confidence代表该汽车车辆行驶方向的置信度;ave(min(dis tan ce(po int,edg)))代表最小外接矩形中每个点云到各边缘的最短距离的平均值。
具体地,可以使用如下公式获取非汽车车辆行驶方向的置信度:
confidence=1/ave(dis tan ce(po int,central_axis))
在公式中:confidence代表该非汽车车辆行驶方向的置信度;ave(dis tan ce(point,central_axis))代表最小外接矩形中每个点云到中轴线距离的平均值。
将计算所得到的置信度作为车辆行驶方向的评判标准,若所得到的置信度越大,则表明所得到的车辆行驶方向越准确;若置信度越小,则表明所得到的车辆行驶方向不准确。
图3为本发明一实施例提供的判断车辆行驶方向的装置结构图,如图3中所示,所述装置包括:获取单元31、第一确定单元32、第二确定单元33以及第三确定单元34。
获取单元31,用于获取车辆的点云子集以及该车辆的候选朝向角度。
获取单元31所获取的车辆的点云子集为无人车周边车辆的点云子集,包括汽车车辆的点云子集与非汽车车辆的点云子集;获取单元31所获取的该车辆的候选朝向角度为该车辆所有可能的行驶方向对应的朝向角度。
具体地,获取单元31可以采用如下方式获取车辆的点云子集:
首先对无人车上的各采集设备进行位姿标定,无人车上的采集设备包括激光雷达设备以及相机设备。在对上述采集设备进行位姿标定时,可以分别使雷达设备坐标系、相机设备坐标与世界坐标系一致,从而使得各采集设备输出的点云数据能够一一对应。在完成对各采集设备的位姿标定后,由各采集设备采集无人车车身周边的点云数据,然后将各采集设备采集所得到的点云数据进行融合,从而使得无人车车身周边的点云信息更加完整。在获得点云融合数据后,可以通过点云聚类算法将点云融合数据进行聚类,得到以物体为单位的点云子集,即每个点云子集代表一个物体。再对对应各物体的点云子集进行识别和分类,从而确定各点云子集所对应的物体具体是何种类型,例如是汽车车辆,或者是非汽车车辆,或者是绿化带等。
在获得对应不同类型物体的点云子集后,获取单元31还可以对各点云子集进行降噪处理,其中降噪处理包括限高处理、边缘平滑处理、点云分布一致性处理等。通过对各点云子集所进行的降噪处理,能够有效降低由于噪声、分割失误或局部收敛等原因所造成的计算偏差,进一步提高车辆行驶方向计算的准确性。
具体地,获取单元31所获取的车辆的候选朝向角度可以为在以预设角度单位对全向角度进行划分后,将得到的各角度分别作为候选朝向角度,即将0°至360°中以预设角度单位所划分的每个角度都作为车辆的候选朝向角度,例如预设角度单位为1°时,则获取单元31将0°、1°、2°……360°中的每一个角度都作为车辆的候选朝向角度。也可以为获取单元31获取包含车辆行驶信息的图像数据后,根据前m帧图像数据中车辆的行驶速度方向确定车辆的候选朝向角度,其中m为预设的正整数。例如根据前m帧图像数据确定该车辆的行驶方向为90°,则该车辆的候选朝向角度可以为包含所确定出行驶方向的预设角度区间,例如80°-100°,则对应该车辆的候选朝向角度为80°至100°区间内的各个角度。还可以为获取单元31根据点云子集所对应凸包各个边缘的方向,或者说点云子集所对应凸多边形各个边缘的方向,确定车辆的候选朝向角度。在本发明中,车辆候选朝向角度之间的预设角度单位可以为1°,也可以为0.1°,本发明对此不进行限定。
第一确定单元32,用于分别确定在各候选朝向角度方向上,所述点云子集中俯视图数据的最小外接矩形。
第一确定单元32根据所获取的车辆的各候选朝向角度以及点云子集,确定在各候选朝向角度方向上该车辆点云子集中俯视图数据的最小外接矩形,即第一确定单元32获取该车辆的点云子集中俯视图数据在各候选朝向角度对应的最小外接矩形,不同的候选朝向角度对应不同的最小外接矩形。其中,最小外接矩形为各方向上包围该车辆点云子集中俯视图数据的最小矩形,可以使用已有代码直接获取,在此不进行赘述。
第二确定单元33,用于利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数。
第二确定单元33对各最小外接矩形中各点云相对于最小外接矩形的各类分布特性进行加权处理,从而得到与各最小外接矩形所对应候选朝向角度的能量函数。其中,各最小外接矩形中各点云的分布特性包括:最小外接矩形的面积、宽长比例、对称性、各点云到最小外接矩形各边缘的最短距离的平均值以及各点云到最小外接矩形中轴线的距离的平均值中的至少一种。其中,各最小外接矩形中各点云相对于最小外接矩形的分布特性,反映车辆点云数据与最小外接矩形的吻合程度。
具体地,若最小外接矩形的面积越小,则表面车辆点云数据与最小外接矩形的吻合程度越高;宽长比例越小,也表面车辆点云数据与最小外接矩形的吻合程度越高,同理可得,各点云到最小外接矩形各边缘的最短距离的平均值以及各点云到最小外接矩形中轴线的距离的平均值越小,则表面车辆点云数据与最小外接矩形的吻合程度越高。其中,最小外接矩形的面积、宽长比例、各点云到最小外接矩形各边缘的最短距离的平均值以及各点云到最小外接矩形中轴线的距离的平均值可以通过代码直接获取,例如通过matlab里的regionprops函数获取,在此不进行赘述。
而对应各候选朝向角度的最小外接矩形的对称性,第二确定单元33可以采用如下方式获取:根据对应各候选朝向角度的最小外接矩形,获取各最小外接矩形中各点云分别以横向中轴线与纵向中轴线为对称轴的对称性,然后选取横向中轴线与纵向中轴线所对应的对称性中较大的对称性,作为各最小外接矩形的对称性。
其中,最小外接矩形中各点云以横向中轴线为对称轴,得到该最小外接矩形的对称性可以采用如下方式得到:
if(p(x,y)&&p(x±δ,(width-y)±δ))symmetry++
最小外接矩形中各点云以纵向中轴线为对称轴,得到该最小外接矩形的对称性可以采用如下方式得到:
if(p(x,y)&&p((length-x)±δ,y±δ))symmetry++
在上述公式中:p代表该最小外接矩形中的一个点云;x、y分别表示该点云距离最小外接矩形最近边缘的横向距离以及纵向距离;δ代表查找范围,可以根据具体情况进行调整;默认车辆点云子集中俯视图数据的长为底边,length代表最小外接矩形的长,width代表最小外接矩形的宽;symmetry为对称性,初始值为0。
举例来说,以第二确定单元33获取最小外接矩形中各点云以横向中轴线为对称轴的对称性为例进行说明,即最小外接矩形中上下部分各点云的对称性。在公式中,对称性symmetry的初始值为0,当最小外接矩形中点云以横向中轴线为对称轴,能够找到与点云p(x,y)对称的点云p(x±δ,(width-y)±δ)时,则对称性symmetry就加1。其中δ代表查找范围,即与点云p(x,y)对称的点云不一定是根据横向中轴线完全对称,若在δ范围内,点云p(x,y)存在点云p(x±δ,(width-y)±δ)与其对称,仍可以认为p(x,y)存在对称点,对称性symmetry的值加1。
在分别获取最小外接矩形中各点云以横向中轴线与纵向中轴线为对称轴的对称性后,第二确定单元33将所获得的两个对称性中较大的对称性作为该最小外接矩形的对称性。
通过上述步骤,第二确定单元33得到车辆所对应各最小外接矩形的面积、宽长比、各点云到最小外接矩形各边缘的最短距离的平均值、各点云到最小外接矩形中轴线的距离的平均值以及对称性后,计算对应该车辆各候选朝向角度的能量函数。其中,该能量函数反映最小外接矩形与车辆点云数据的吻合度,即各候选朝向角度与实际行驶方向的吻合度,吻合度越大,则该候选朝向角度的能量函数越小。因此在本发明中,优先选取能量函数最小的值所对应的候选朝向角度作为车辆的行驶方向。
具体地,可以使用如下公式计算汽车车辆各候选朝向角度的能量函数:
Edir=(ω1×area+ω2×width/length+ω3×ave(dis tan ce(po int,edg))+ω4×symmetry)
在公式中:Edir代表某候选朝向角度的能量函数;ω1、ω2、ω3、ω4代表权重值,可以根据具体情况进行调整;area代表该候选朝向角度所对应的最小外接矩形的面积;width/length代表该候选朝向角度所对应的最小外接矩形的宽长比例;ave(dis tan ce(po int,edg))代表该候选朝向角度所对应的最小外接矩形中各点云到各边缘距离的平均值;symmetry代表该候选朝向角度所对应的最小外接矩形的对称性。
具体地,可以使用如下公式计算非汽车车辆各候选朝向角度的能量函数:
Edir=(ω1×area+ω2×width/length+ω3×ave(dis tan ce(po int,central_axis))+ω4×symmetry)
在公式中:Edir代表某候选朝向角度的能量函数;ω1、ω2、ω3、ω4代表权重值,可以根据具体情况进行调整;area代表该候选朝向角度所对应的最小外接矩形的面积;width/length代表该候选朝向角度所对应的最小外接矩形的宽长比例;ave(dis tan ce(po int,central_axis))代表该候选朝向角度所对应的最小外接矩形中各点云到中轴线的距离的平均值;symmetry代表该候选朝向角度所对应的最小外接矩形的对称性。
第二确定单元33在使用不同公式计算得到汽车车辆与非汽车车辆各候选朝向角度的能量函数后,便能够根据各候选朝向角度的能量函数确定汽车车辆与非汽车车辆的行驶方向。
第三确定单元34,用于根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向。
由于能量函数反映车辆的最小外接矩形所对应的各候选朝向角度与实际行驶方向的吻合度,因此第三确定单元34能够根据计算得到的能量函数,选取能量函数最优值所对应的候选朝向角度作为车辆的朝向角度。
在第三确定单元34根据能量函数,从所述候选朝向角度中确定车辆的行驶方向时还包括:判断车辆的车头与车尾。这是因为在计算能量函数时,可能会出现能量函数大小相同的情况。例如候选朝向角度为全向角度时,若计算得到的0°的能量函数与180°的能量函数的大小相同,则无法判断该车辆的准确行驶方向。因此仅通过使用车辆各候选朝向角度的能量函数,无法实现准确判断车辆的行驶方向,因此第三确定单元34需要进一步判断车辆的车头车尾,从而更加准确地确定车辆的行驶方向。而由于汽车车辆与非汽车车辆具有不同的外观结构,因此使用不同的方式进行汽车车辆与非汽车车辆的车头车尾的判断。
具体地,第三确定单元34可以采用如下方式判断汽车车辆的车头:根据汽车车辆点云子集中的侧视图数据,得到汽车车辆前后两端的斜率,根据所得到的斜率确定该汽车车辆的车头。其中斜率较大的一端为车头,另一端则为车尾。
具体地,第三确定单元34可以采用如下方式判断非汽车车辆的车头:获取包含非汽车车辆行驶信息的图像数据;根据前n帧图像数据中该非汽车车辆的行驶速度方向,确定该非汽车车辆的车头。这是因为非汽车车辆(例如摩托车、自行车)具有前后对称性,无法通过前后两端的斜率来确定非汽车车辆的车头。因此根据非汽车车辆的行驶速度方向来确定非汽车车辆的车头。
在获取车辆的车头后,第三确定单元34便能够根据各候选朝向角度对应的能量函数以及车辆车头,确定车辆的行驶方向。
举例来说,若候选朝向角度0°与候选朝向角度180°计算得到的能量函数值最小且相等时,若该车辆的车头与无人车的行驶方向一致,则确定该车辆的行驶方向为0°;若该车辆的车头与无人车的行驶方向相反,则确定该车辆的行驶方向为180°。
当然,可以理解的是,对于车辆比较确定的候选朝向角度,或者说对应各候选朝向角度的能量函数值是唯一的,则能够根据候选朝向角度的能量函数直接确定车辆的行驶方向。
在获得车辆的行驶方向后,第三确定单元34还可以计算所得到的车辆行驶方向的置信度,具体地,第三确定单元34根据车辆所确定的朝向角度对应的最小外接矩形,计算该最小外接矩形中各点云到该最小外接矩形各边缘的最短距离的平均值或各点云到该最小外接矩形中轴线的距离的平均值;根据计算得到的平均值,得到所确定的该车辆行驶方向的置信度,其中平均值越小,则置信度越大。
具体地,第三确定单元34可以使用如下公式获取汽车车辆行驶方向的置信度:
confidence=1/ave(min(dis tan ce(po int,edg)))
在公式中:confidence代表该汽车车辆行驶方向的置信度;ave(min(dis tan ce(po int,edg)))代表最小外接矩形中每个点云到各边缘的最短距离的平均值。
具体地,第三确定单元34可以使用如下公式获取非汽车车辆行驶方向的置信度:
confidence=1/ave(dis tan ce(po int,central_axis))
在公式中:confidence代表该非汽车车辆行驶方向的置信度;ave(dis tan ce(point,central_axis))代表最小外接矩形中每个点云到中轴线距离的平均值。
将第三确定单元34计算所得到的置信度作为车辆行驶方向的评判标准,若所得到的置信度越大,则表明所得到的车辆行驶方向越准确;若置信度越小,则表明所得到的车辆行驶方向不准确。
图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器012的框图。图4显示的计算机系统/服务器012仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机系统/服务器012以通用计算设备的形式表现。计算机系统/服务器012的组件可以包括但不限于:一个或者多个处理器或者处理单元016,系统存储器028,连接不同系统组件(包括系统存储器028和处理单元016)的总线018。
总线018表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器012典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器012访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器028可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)030和/或高速缓存存储器032。计算机系统/服务器012可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统034可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线018相连。存储器028可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块042的程序/实用工具040,可以存储在例如存储器028中,这样的程序模块042包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块042通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器012也可以与一个或多个外部设备014(例如键盘、指向设备、显示器024等)通信,在本发明中,计算机系统/服务器012与外部雷达设备进行通信,还可与一个或者多个使得用户能与该计算机系统/服务器012交互的设备通信,和/或与使得该计算机系统/服务器012能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口022进行。并且,计算机系统/服务器012还可以通过网络适配器020与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器020通过总线018与计算机系统/服务器012的其它模块通信。应当明白,尽管图中未示出,可以结合计算机系统/服务器012使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元016通过运行存储在系统存储器028中的程序,从而执行各种功能应用以及数据处理,例如实现一种识别站点同源关系的方法,可以包括:
获取车辆的点云子集以及该车辆的候选朝向角度;
分别确定在各候选朝向角度方向上,所述点云子集中俯视图数据的最小外接矩形;
利用各最小外接矩形的结构信息,分别确定对应各候选朝向角度的能量函数,所述能量函数反映……;
根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向。
上述的计算机程序可以设置于计算机存储介质中,即该计算机存储介质被编码有计算机程序,该程序在被一个或多个计算机执行时,使得一个或多个计算机执行本发明上述实施例中所示的方法流程和/或装置操作。例如,被上述一个或多个处理器执行的方法流程,可以包括:
获取车辆的点云子集以及该车辆的候选朝向角度;
分别确定在各候选朝向角度方向上,所述点云子集中俯视图数据的最小外接矩形;
利用各最小外接矩形的结构信息,分别确定对应各候选朝向角度的能量函数,所述能量函数反映……;
根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向。
随着时间、技术的发展,介质含义越来越广泛,计算机程序的传播途径不再受限于有形介质,还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (18)

1.一种判断车辆行驶方向的方法,其特征在于,所述方法包括:
获取车辆的点云子集以及该车辆的候选朝向角度;
分别确定在各候选朝向角度方向上,所述点云子集中俯视图数据的最小外接矩形;
利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数;
根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向。
2.根据权利要求1所述的方法,其特征在于,所述车辆的点云子集是采用如下方式获取的:
获取由无人车的各采集设备所采集的点云数据;
将所述点云数据进行融合后,对得到的点云融合数据进行聚类,得到以物体为单位的点云子集;
对所述点云子集进行识别和分类,得到车辆的点云子集。
3.根据权利要求1所述的方法,其特征在于,所述车辆的候选朝向角度是采用如下方式获取的:
以预设角度单位对全向角度进行划分,将得到的各角度分别作为候选朝向角度;或者
获取包含所述车辆行驶信息的图像数据,根据前m帧图像数据中车辆的行驶速度方向确定候选朝向角度,所述m为预设正整数;或者
根据车辆点云子集所对应凸多边形的边缘的方向确定候选朝向角度。
4.根据权利要求1所述的方法,其特征在于,所述各最小外接矩形中各点云相对于最小外接矩形的分布特性包括最小外接矩形的面积、宽长比例、对称性、各点云到最小外接矩形各边缘的最短距离的平均值以及各点云到最小外接矩形中轴线的距离的平均值中的至少一种。
5.根据权利要求1所述的方法,其特征在于,所述利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数包括:
对各最小外接矩形中各点云相对于最小外接矩形的各类分布特性进行加权处理,得到与各最小外界矩形所对应候选朝向角度的能量函数。
6.根据权利要求1所述的方法,其特征在于,所述车辆包括:汽车;
所述在根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向包括:
根据所述点云子集中侧视图数据得到汽车车辆前后两端的斜率,根据所述斜率确定该汽车车辆的车头;
根据所述车头以及所述各候选朝向角度对应的能量函数,确定该汽车车辆的行驶方向。
7.根据权利要求1所述的方法,其特征在于,所述车辆包括非汽车;
根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向包括:
获取包含非汽车车辆行驶信息的图像数据;
根据前n帧图像数据中该非汽车车辆的行驶速度方向,确定该非汽车车辆的车头,其中n为预设正整数;
根据所述车头以及所述各候选朝向角度对应的能量函数,确定该汽车车辆的行驶方向。
8.根据权利要求4所述的方法,其特征在于,所述各最小外接矩形的对称性通过如下方式获取:
获取各最小外接矩形中各点云以横向中轴线为对称轴的对称性与以纵向中轴线为对称轴的对称性;
选取横向中轴线与纵向中轴线所对应的对称性中较大的对称性,作为各最小外接矩形的对称性。
9.根据权利要求1所述的方法,其特征在于,所述根据所述能量函数从所述候选朝向角度中确定所述车辆的行驶方向后,还进一步包括:
根据车辆所确定的朝向角度对应的最小外接矩形,计算该最小外接矩形中各点云到各边缘的最短距离的平均值或各点云到中轴线的距离的平均值;
根据所述平均值,得到车辆所确定行驶方向的置信度,其中所述平均值越小,置信度越大。
10.一种判断车辆行驶方向的装置,其特征在于,所述装置包括:
获取单元,用于获取车辆的点云子集以及该车辆的候选朝向角度;
第一确定单元,用于分别确定在各候选朝向角度方向上,所述点云子集中俯视图数据的最小外接矩形;
第二确定单元,用于利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数;
第三确定单元,用于根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向。
11.根据权利要求10所述的装置,其特征在于,所述获取单元在用于获取车辆的点云子集时,具体执行:
获取由无人车的各采集设备所采集的点云数据;
将所述点云数据进行融合后,对得到的点云融合数据进行聚类,得到以物体为单位的点云子集;
对所述点云子集进行识别和分类,得到车辆的点云子集。
12.根据权利要求10所述的装置,其特征在于,所述获取单元在用于获取车辆的候选朝向角度时,具体执行:
以预设角度单位对全向角度进行划分,将得到的各角度分别作为候选朝向角度;或者
获取包含所述车辆行驶信息的图像数据,根据前m帧图像数据中车辆的行驶速度方向确定候选朝向角度,所述m为预设正整数;或者
根据车辆点云子集所对应凸多边形的边缘的方向确定候选朝向角度。
13.根据权利要求10所述的装置,其特征在于,所述第二确定单元在用于利用各最小外接矩形中各点云相对于最小外接矩形的分布特性,确定对应各候选朝向角度的能量函数时,具体执行:
对最小外接矩形中各点云相对于各最小外接矩形的各类分布特性进行加权处理,得到与该最小外界矩形所对应候选朝向角度的能量函数。
14.根据权利要求10所述的装置,其特征在于,所述车辆包括:汽车;
第三确定单元在用于根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向之前,还执行:
根据所述点云子集中侧视图数据得到汽车车辆前后两端的斜率,根据所述斜率确定该汽车车辆的车头;
根据所述车头以及所述各候选朝向角度对应的能量函数,确定该汽车车辆的行驶方向。
15.根据权利要求10所述的装置,其特征在于,所述车辆包括:非汽车车辆;
第三确定单元在用于根据所述能量函数,从所述候选朝向角度中确定所述车辆的行驶方向之前,还执行:
获取包含非汽车车辆行驶信息的图像数据;
根据前n帧图像数据中该非汽车车辆的行驶速度方向,确定该非汽车车辆的车头,其中n为预设正整数;
根据所述车头以及所述各候选朝向角度对应的能量函数,确定该汽车车辆的行驶方向。
16.根据权利要求10所述的装置,其特征在于,所述第三确定单元在用于根据所述能量函数从所述候选朝向角度中确定所述车辆的行驶方向后,还进一步执行:
根据车辆所确定的朝向角度对应的最小外接矩形,计算该最小外接矩形中各点云到各边缘的最短距离的平均值或各点云到中轴线的距离的平均值;
根据所述平均值,得到车辆所确定行驶方向的置信度,其中所述平均值越小,置信度越大。
17.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
18.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的方法。
CN201710539027.1A 2017-07-04 2017-07-04 判断车辆行驶方向的方法、装置、设备和计算机存储介质 Active CN109229109B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710539027.1A CN109229109B (zh) 2017-07-04 2017-07-04 判断车辆行驶方向的方法、装置、设备和计算机存储介质
US16/022,018 US10513260B2 (en) 2017-07-04 2018-06-28 Method and apparatus for judging vehicle driving direction, device and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710539027.1A CN109229109B (zh) 2017-07-04 2017-07-04 判断车辆行驶方向的方法、装置、设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN109229109A true CN109229109A (zh) 2019-01-18
CN109229109B CN109229109B (zh) 2020-03-31

Family

ID=64904050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710539027.1A Active CN109229109B (zh) 2017-07-04 2017-07-04 判断车辆行驶方向的方法、装置、设备和计算机存储介质

Country Status (2)

Country Link
US (1) US10513260B2 (zh)
CN (1) CN109229109B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111081033A (zh) * 2019-11-21 2020-04-28 北京百度网讯科技有限公司 车辆朝向角确定的方法及装置
CN111192327A (zh) * 2020-01-03 2020-05-22 北京百度网讯科技有限公司 用于确定障碍物朝向的方法和装置
WO2020155998A1 (zh) * 2019-02-01 2020-08-06 阿里巴巴集团控股有限公司 识别车体方向的方法和装置
CN111578894A (zh) * 2020-06-02 2020-08-25 北京经纬恒润科技有限公司 一种确定障碍物航向角的方法及装置
CN112116804A (zh) * 2019-06-19 2020-12-22 北京地平线机器人技术研发有限公司 一种车辆状态量信息确定方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11994405B2 (en) * 2018-03-07 2024-05-28 Google Llc Methods and systems for determining geographic orientation based on imagery
US20200217948A1 (en) * 2019-01-07 2020-07-09 Ainstein AI, Inc Radar-camera detection system and methods
CN112543877B (zh) * 2019-04-03 2022-01-11 华为技术有限公司 定位方法和定位装置
US11348273B2 (en) * 2020-02-25 2022-05-31 Zebra Technologies Corporation Data capture system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104019825A (zh) * 2014-06-23 2014-09-03 中国北方车辆研究所 一种路径规划的确定方法
CN104992145A (zh) * 2015-06-15 2015-10-21 山东大学 一种矩采样车道跟踪检测方法
CN105956527A (zh) * 2016-04-22 2016-09-21 百度在线网络技术(北京)有限公司 用于无人驾驶车的障碍物检测结果评估方法和装置
CN106022274A (zh) * 2016-05-24 2016-10-12 零度智控(北京)智能科技有限公司 一种避障方法、避障装置及无人驾驶机器
CN106250912A (zh) * 2016-07-21 2016-12-21 成都之达科技有限公司 基于图像的车辆位置获取方法
US20170003685A1 (en) * 2015-07-02 2017-01-05 Geodigital International Inc. Attributed roadway trajectories for self-driving vehicles
CN106339997A (zh) * 2015-07-09 2017-01-18 株式会社理光 图像融合方法、设备和系统
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN106769080A (zh) * 2016-11-30 2017-05-31 百度在线网络技术(北京)有限公司 用于测量无人驾驶车辆的行驶精度的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699755B2 (en) * 2009-02-20 2014-04-15 Navteq B.V. Determining travel path features based on retroreflectivity

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104019825A (zh) * 2014-06-23 2014-09-03 中国北方车辆研究所 一种路径规划的确定方法
CN104992145A (zh) * 2015-06-15 2015-10-21 山东大学 一种矩采样车道跟踪检测方法
US20170003685A1 (en) * 2015-07-02 2017-01-05 Geodigital International Inc. Attributed roadway trajectories for self-driving vehicles
CN106339997A (zh) * 2015-07-09 2017-01-18 株式会社理光 图像融合方法、设备和系统
CN105956527A (zh) * 2016-04-22 2016-09-21 百度在线网络技术(北京)有限公司 用于无人驾驶车的障碍物检测结果评估方法和装置
CN106022274A (zh) * 2016-05-24 2016-10-12 零度智控(北京)智能科技有限公司 一种避障方法、避障装置及无人驾驶机器
CN106250912A (zh) * 2016-07-21 2016-12-21 成都之达科技有限公司 基于图像的车辆位置获取方法
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN106769080A (zh) * 2016-11-30 2017-05-31 百度在线网络技术(北京)有限公司 用于测量无人驾驶车辆的行驶精度的方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155998A1 (zh) * 2019-02-01 2020-08-06 阿里巴巴集团控股有限公司 识别车体方向的方法和装置
TWI722558B (zh) * 2019-02-01 2021-03-21 開曼群島商創新先進技術有限公司 識別車體方向的方法和裝置
CN112116804A (zh) * 2019-06-19 2020-12-22 北京地平线机器人技术研发有限公司 一种车辆状态量信息确定方法及装置
CN112116804B (zh) * 2019-06-19 2023-03-07 北京地平线机器人技术研发有限公司 一种车辆状态量信息确定方法及装置
CN111081033A (zh) * 2019-11-21 2020-04-28 北京百度网讯科技有限公司 车辆朝向角确定的方法及装置
CN111081033B (zh) * 2019-11-21 2021-06-01 北京百度网讯科技有限公司 车辆朝向角确定的方法及装置
CN111192327A (zh) * 2020-01-03 2020-05-22 北京百度网讯科技有限公司 用于确定障碍物朝向的方法和装置
CN111192327B (zh) * 2020-01-03 2023-09-29 北京百度网讯科技有限公司 用于确定障碍物朝向的方法和装置
CN111578894A (zh) * 2020-06-02 2020-08-25 北京经纬恒润科技有限公司 一种确定障碍物航向角的方法及装置
CN111578894B (zh) * 2020-06-02 2021-10-15 北京经纬恒润科技股份有限公司 一种确定障碍物航向角的方法及装置

Also Published As

Publication number Publication date
US10513260B2 (en) 2019-12-24
CN109229109B (zh) 2020-03-31
US20190009777A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
CN109229109A (zh) 判断车辆行驶方向的方法、装置、设备和计算机存储介质
CN109101861A (zh) 障碍物类型识别方法、装置、设备及存储介质
CN111860155B (zh) 一种车道线的检测方法及相关设备
CN109817021A (zh) 一种激光雷达路侧盲区交通参与者避让方法和装置
CN109633688A (zh) 一种激光雷达障碍物识别方法和装置
CN109145680A (zh) 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN109116374A (zh) 确定障碍物距离的方法、装置、设备及存储介质
CN109188457A (zh) 物体检测框的生成方法、装置、设备、存储介质及车辆
CN111309013A (zh) 一种碰撞距离确定方法及系统、车辆、存储介质
CN109927719A (zh) 一种基于障碍物轨迹预测的辅助驾驶方法和系统
CN107564363A (zh) 一种用于驾驶模式切换的方法和装置
CN109931944A (zh) 一种ar导航方法、装置、车端设备、服务端及介质
CN109143207A (zh) 激光雷达内参精度验证方法、装置、设备及介质
CN108734058B (zh) 障碍物类型识别方法、装置、设备及存储介质
CN109145677A (zh) 障碍物检测方法、装置、设备及存储介质
CN107450511B (zh) 评估车辆控制模型的方法、装置、设备和计算机存储介质
CN110163176A (zh) 车道线变化位置识别方法、装置、设备和介质
CN109117691A (zh) 可行驶区域检测方法、装置、设备及存储介质
CN109949439A (zh) 行车实景信息标注方法、装置、电子设备和介质
CN109117690A (zh) 可行驶区域检测方法、装置、设备及存储介质
CN109255341A (zh) 障碍物感知错误数据的提取方法、装置、设备及介质
CN109118532A (zh) 视觉景深估计方法、装置、设备及存储介质
CN109271857A (zh) 一种伪车道线剔除方法及装置
WO2021218693A1 (zh) 一种图像的处理方法、网络的训练方法以及相关设备
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211020

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.