CN107683234B - 周边环境识别装置以及计算机程序产品 - Google Patents
周边环境识别装置以及计算机程序产品 Download PDFInfo
- Publication number
- CN107683234B CN107683234B CN201680034899.6A CN201680034899A CN107683234B CN 107683234 B CN107683234 B CN 107683234B CN 201680034899 A CN201680034899 A CN 201680034899A CN 107683234 B CN107683234 B CN 107683234B
- Authority
- CN
- China
- Prior art keywords
- information
- travel
- vehicle
- environment
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004590 computer program Methods 0.000 title claims description 5
- 230000007613 environmental effect Effects 0.000 claims abstract description 75
- 238000004364 calculation method Methods 0.000 claims abstract description 45
- 230000002093 peripheral effect Effects 0.000 claims abstract description 30
- 230000007423 decrease Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 description 50
- 238000000034 method Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 9
- 238000013479 data entry Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Navigation (AREA)
Abstract
一种搭载于车辆的周边环境识别装置,其具备:行驶路径信息取得部,其取得表示车辆的行驶路径的行驶路径信息;周边环境要素信息取得部,其取得关于车辆周边的环境要素的、包括表示与车辆在空间上的位置关系的空间上位置关系信息的周边环境要素信息;环境要素行驶关系性计算部,其基于行驶路径信息和空间上位置关系信息,计算环境要素中的与车辆的行驶的关系性;以及周边环境信息提供部,其基于环境要素行驶关系性计算部计算出的与车辆的行驶的关系性,提供关于环境要素的信息。
Description
技术领域
本发明涉及周边环境识别装置以及计算机程序产品。
背景技术
已知一种使用由雷达或照相机等车载外界传感器、或者车车间通信所取得的数据或道路地图数据来识别车辆周边状况,从而自动控制车辆行驶的系统。关于这种系统,由于像自动驾驶那样使自动控制内容高度化,因此车载外界传感器的安装数有所增加,道路地图数据的高精细化得以进展,进而随着支持车车间通信车辆的普及,可以假定今后关于车辆周边的识别信息的数据量会增加。因此,存在如下课题,即自动控制所涉及的运算处理负荷或存储该运算处理所需要的识别信息的存储器使用量有所增加,并对自动控制的动作环境造成压迫。
对此,在专利文献1中,公开了下述技术:在通过车车间通信接收到的关于他车信息的处理中,根据相对距离或相对行进方向来设定该他车的监视重要度,对监视重要度低的他车只执行程度轻的处理。
现有技术文献
专利文献
专利文献1:日本国特开2012-27553号公报
发明内容
发明要解决的课题
但是,上述专利文献1中,由于将相对距离近的沿同一方向行驶中的他车信息判定为重要,因此具有在十字路口或分支/合流时错误设定重要度的问题。例如,在该车辆在十字路口右转的情况下,虽然从对向车道进入十字路口的他车、右转后的人行横道上的行人或自行车、右转后的道路上的他车等信息是重要的,但是由于它们并非与本车在同一方向上行驶,因此在专利文献1的方式中被设定为低重要度,从而有可能无法提供重要信息。另外,例如在十字路口右转的情况下,尽管在左转方向或直行方向行进的他车与本车的行驶无关,如果相对距离近也设定为高优先度,则存在不能排除无用信息的可能性。
基于上述,本发明的目的在于,提供一种周边环境识别装置,其通过高精度判定识别信息有用与否而不提供无用信息,从而可以减轻该控制所涉及的运算处理负荷或存储器使用量。
用于解决课题的手段
本申请公开了用于解决上述课题的多种手段,但是若表示其一个例子,则可以通过提供下述周边环境识别装置能解决上述课题,该周边环境识别装置具备:行驶路径信息取得部,其取得表示所搭载的车辆的行驶路径的行驶路径信息;周边环境要素信息取得部,其取得关于车辆周边的环境要素的、包括表示与车辆在空间上的位置关系的空间上位置关系信息的周边环境要素信息;环境要素行驶关系性计算部,其基于行驶路径信息和空间上位置关系信息,计算环境要素中的与车辆的行驶的关系性;以及周边环境信息提供部,其基于环境要素行驶关系性计算部计算出的与车辆的行驶的关系性,提供关于环境要素的信息。
发明效果
根据本发明,由于通过高精度判定识别信息有用与否而不提供无用信息,从而可以减小控制侧的运算处理负荷或存储器使用量。
附图说明
图1是周边环境识别系统1的功能框图的一个例子。
图2是周边环境要素信息的一个例子。
图3是关于周边环境要素信息数据组121的障碍物信息的数据构造的一个例子。
图4是关于周边环境要素信息数据组121的道路信息的数据构造的一个例子。
图5是关于环境要素行驶关系性数据组124的数据构造的一个例子。
图6是周边环境识别处理500的流程图的一个例子。
图7是行驶关联区域决定处理600的流程图的一个例子。
图8是用于说明行驶关联区域的情况的一个例子。
图9是推荐行驶车道的一个例子。
图10是行驶关联区域的一个例子。
图11是环境要素行驶关系性计算处理700的流程图的一个例子。
图12是周边环境信息提供处理800的流程图的一个例子。
图13是周边环境信息提供报文的格式的一个例子。
图14是用于说明周边环境信息所包含的路形信息的情况的一个例子。
图15是表示向车载器提供程序的情形的图。
具体实施方式
下面,参照附图说明本发明的实施方式。
图1是表示本发明的基于第1实施方式的周边环境识别系统1的结构的一个例子的功能框图。
如图1所示,本实施方式所涉及的周边环境识别系统1搭载于车辆2,用于识别车辆2周边的行驶道路或周边车辆等障碍物状况,其中,包括:周边环境识别装置10、无线通信部20、本车位置决定装置30、外界传感器组40、车辆传感器组50、路径生成装置60、驾驶辅助装置70、车载用HMI装置80、致动器组90等而构成。
周边环境识别装置10例如是搭载于车辆2的ECU(Electronic Control Unit,电子控制单元)等,具有:处理部100、存储部120、通信部130。而且,周边环境识别装置10的形态并无特别限制,例如可以与驾驶辅助装置70或外界传感器组40的装置整合,也可以是使车辆2的用户连接到车辆网络的智能手机等外部装置。
处理部100构成为例如包含CPU(Central Processing Unit:中央运算处理装置)以及RAM(Random Access Memory;随机存储存储器)等存储器等,并通过执行存储部120中保存的预定动作程序,来进行实现周边环境识别装置10功能的处理。
存储部120构成为例如包含HDD(Hard Disk Drive;硬盘驱动器)、闪存、ROM(ReadOnly Memory;只读存储器)等存储装置,并保存有处理部100执行的程序、以及实现本系统所需的数据组等。
本实施方式中,存储部120中保存有:用于使处理部100实现关联信息取得部101、周边环境要素综合处理部102、行驶关联区域决定部103、环境要素行驶关系性算出计算部104、环境要素行驶关联度算出计算部105、周边环境信息提供部106的程序、以及周边环境要素信息数据组121、本车信息数据组122、行驶关联区域数据组123、环境要素行驶关系性数据组124等,其中,所述关联信息取得部101从外部装置等取得与各种处理相关联的信息;所述周边环境要素综合处理部102将从外部装置等取得的各种周边环境要素信息整合为不重复的具有一贯性的形式;所述行驶关联区域决定部103决定与车辆2将来行驶相关联的区域;所述环境要素行驶关系性计算部104基于已取得的车辆2周边的周边环境要素信息和已决定的关于车辆2的行驶关联区域的信息,计算车辆2的行驶相对于各环境要素的关系性;所述环境要素行驶关联度计算部105计算车辆2的行驶相对于各环境要素的关联度;所述周边环境信息提供部106向周边环境识别装置10内的功能或其他装置提供关于周边环境要素的信息。
下面,为了使说明简化,以关联信息取得部101等而非处理部100为主语,对处理部100按照存储部120中存储的程序进行运算而由此体现的关联信息取得部101等的动作进行说明。
周边环境要素信息数据组121是关于车辆2识别的周边环境的数据的集合体,例如包括关于车辆2周边道路的数字道路地图数据、从外界传感器组40或无线通信部20取得的车辆2周边的识别数据、以及将它们整合生成的数据。周边环境要素信息数据组121由多个“环境要素”构成。
环境要素是指对车辆2的行驶造成影响的信息要素,例如包括周边车辆或行人、坠落物等障碍物、车道中心线或车道边界线等道路形状、速度限制或单向通行、信号灯等交通规则等。这些信息要素的性质多样,但是共通点在于均对车辆2周边的空间上的位置或者区域赋予意义。因此,在本说明书中,将这些信息要素作为“环境要素”以共通的框架来处理。
本车信息数据组122是关于车辆2的数据的集合体。例如,除了从本车位置决定装置30或车辆传感器组50取得的关于车辆2的位置或状态的信息,还包括关于行驶路径信息、控制计划信息等的信息。行驶路径信息是指例如从路径生成装置60取得的信息,是车辆2此后行驶的预定道路区间的列表。控制计划信息是指驾驶辅助装置70所决定的此后怎样控制车辆2的信息,例如包括关于行驶轨道或速度计划的信息。
行驶关联区域数据组123是与车辆2的今后行驶相关联的区域(行驶关联区域)所涉及的数据的集合体。行驶关联区域例如可以是本车信息数据组122的行驶路径信息或者控制计划信息本身,也可以是基于它们对区域进行了扩展定义后的区域。
环境要素行驶关系性数据组124是表示各环境要素与行驶关联区域的关系性的数据的集合体。
通信部130构成为例如包括以Ethernet(注册商标)或者CAN(Controller AreaNetwork,控制器区域网络)等通信标准为基准的网络卡等,并基于各种协议与搭载于车辆2的其他装置进行数据收发。此外,通信部130与搭载于车辆2的其他装置间的连接形态不限定为Ethernet这样的有线连接,也可以是Bluetooth(注册商标)或无线LAN(Local AreaNetwork,局域网)等近距离无线连接。
无线通信部20具有例如以LTE(Long Term Evolution,长期演进)等长距离无线通信标准、或者无线LAN、DSRC(Dedicated Short Range Communications,专用短程通信)等近距离无线通信标准为基准的网络卡等,例如构成为可以与辅助一台或多台车辆行驶的发信机(省略图示)、设置在一条或多条道路上的路侧设备(省略图示)、搭载于一台或多台他车上的无线通信部20、一台或多台的由人等所持有的通信终端(省略图示)等中的至少某一个进行数据通信。
本车位置决定装置30是对车辆2的地理位置进行测位并提供该信息的装置,例如相当于全球导航卫星系统(GNSS)接收装置。本车位置决定装置30可以构成为单纯地提供基于从GNSS卫星接收的电波的定位结果,也可以构成为灵活运用车辆2的移动速度及行进方位角等能够从外界传感器组40或车辆传感器组50取得的信息,来进行位置插补以及误差补正。
外界传感器组40是可以识别车辆2周边一定范围的障碍物(他车、自行车、行人、坠落物等)或特征物(道路标识、白线、地标等)的传感器组,例如相当于照相机装置、雷达、激光雷达、声波定位仪等。外界传感器组40向车载网络上输出检测到的车辆2周边的障碍物或特征物的信息(例如与车辆2的相对距离和相对角度等),周边环境识别装置10构成为能够通过车载网络取得输出结果。此外,在本实施方式中,虽然形成为由外界传感器组40实施检测障碍物或特征物的处理的结构,但是也可以使外界传感器组40输出未经处理的数据,并由周边环境识别装置10等其他装置进行检测处理。
车辆传感器组50是检测车辆2的各种部件的状态(例如行驶速度、操舵角、加速器的操作量、制动器的操作量等)的装置组,例如向CAN等车载网络上定期输出所检测到的状态量。包括周边环境识别装置10的与车载网络连接的装置被构成为可以取得各种部件的状态量。
路径生成装置60是生成车辆2的道路上的行驶路径的装置,例如相当于导航装置。路径生成装置60构成为例如具备预定的整个地域或者车辆2周边的数字道路地图数据,并基于由本车位置决定装置30决定的车辆2的位置信息,来确定车辆2的地图位置(行驶中的道路等)。另外,构成为基于所确定的车辆2的地图位置和数字道路地图数据,计算用于到达由用户指定的目的地的适宜路径并生成行驶路径信息,通过车载用HMI装置80等向用户通知行驶路径信息,并且也向周边环境识别装置10提供行驶路径信息。
驾驶辅助装置70例如是用于实现车辆2的先进驾驶辅助系统(ADAS:AdvancedDriver Assistance Systems)的ECU,出于提高燃油经济性或安全性、便利性的目的,基于从周边环境识别装置10输出的周边环境识别信息,例如向致动器组90发出指示来自动控制车辆2的加减速或操舵,或者经由车载用HMI装置80向驾驶员提供信息或输出警告。
车载用HMI装置80例如是搭载于车辆2的显示器装置等,其构成为通过声音或画面向驾驶员通知由周边环境识别装置10输出的周边环境识别信息、由驾驶辅助装置70输出的关于驾驶辅助的信息。
致动器组90是对决定车辆2的动作的操舵、制动器、加速器等控制要素进行控制的装置组,其构成为基于驾驶者对方向盘、制动器踏板、加速器踏板等的操作信息或从驾驶辅助装置70输出的目标控制值,来控制车辆2的动作。
图2是本实施方式的周边环境要素信息数据组121中保存的信息的一个例子的说明图。
周边环境要素信息数据组121对关于车辆2周边道路的数字道路地图数据、由外界传感器组40或无线通信部20取得的车辆2周边的识别数据等进行整合并有所表现。对于其表现的精细度并无特别限制,可以是图2的左下部分4000那样以道路单位宏观地表现环境要素的形式,也可以是在其基础上进一步如图2的右部分那样,以空间坐标详细表现道路形状或障碍物位置关系的形式。
这些精细度根据搭载于车辆2的装置的功能水平或应用程序的条件而变化。例如,像现有的导航装置的地图数据那样,在只能以道路单位的精细度来参照道路形状的情况下,以图2的左下部分4000的精细度来表现。例如,在如自动驾驶那样要求对周边环境识别寻求高精度的情况下,需要由图2的右部分那样的空间坐标来进行详细表现。
作为周边环境要素信息数据组121所包含的环境要素,包括障碍物、道路形状、交通规则等。
障碍物是指例如车辆(5000~5007)、行人(5010~5012)、自行车(未记载)、坠落物(未记载)、建筑物(未记载)等。这些主要是由外界传感器组40或无线通信部20动态识别到的数据。
道路形状对道路上或者其附近(人行道等)的各种路面属性的空间形状进行表现,是车道的车道中心线形状(6201~6205)或车道边界线形状(6101~6104)、车道分支/合流点(6211)、道路区间内的路肩形状(6011、6012)、车道部边界线形状(7001、7002)、停止线形状(6301)、人行横道形状(6302)等。各形状信息例如以点序列或者线来表现。此外,在本说明书中,也将车道中心线的ID处理为车道的ID。例如,图2的6201所示的车道中心线所在车道以车道6201来表达。
交通规则是指制约车辆行驶的信息,例如包括信号灯(6303)、速度限制(6304)、车道属性(可通行方向、公交专用、可通行时间带等)、车道边界属性(可否变线、可否超车等)等。它们基本以与所述道路形状相关联的形式来进行管理。例如,由于信号灯6303规定可否超过停止线6301,因此作为停止线6301的属性信息来进行管理。同样地,使速度限制、车道属性、车道边界属性与相对应的车道相关联地进行管理。
使用图3及图4说明周边环境要素信息数据组121的数据构造的一个例子。
周边环境要素信息数据组121由大量的障碍物信息和道路信息这两部分构成。关于交通规则的信息,如上所述以编入道路信息的形式来进行表现。首先,使用图3来说明障碍物信息的数据构造。
ID201是与该数据条目相关联的环境要素的识别符。
类别202表示与该数据条目相关联的环境要素的类别,例如包括汽车(四轮)、汽车(二轮)、自行车、行人、坠落物等。
位置信息203表示与该数据条目相关联的环境要素的空间位置信息。可以如图3的例子那样以纬度、经度那样的绝对坐标来进行表现,也可以由以车辆2为中心的相对坐标来进行表现。
方位204、速度205分别表示与该数据条目相关联的环境要素的行进方位、速度。
道路上位置信息206、道路上行进方向207、车道ID208表示在与该数据条目相关联的环境要素的道路上的位置以及移动所涉及的信息。道路上位置信息206是表示沿着道路的路形存在于哪个位置附近的信息,以道路区间的识别符即道路区间ID、与从该道路区间的起点开始的路形距离的组合来进行表示。例如,表示图3的ID为5000的障碍物存在于距道路区间4001的起点150m的位置附近。
道路上行进方向207是指相对于道路上位置信息206所示道路区间的基准方向正在向哪个方向行进的信息。如图2的左下部分4000所示,本说明书中的道路区间(4001~4004)包括双向车道,因此仅依靠道路区间ID不能确定行进方向。因此,通过一并包括相对于道路区间信息的基准方向的相对方向,由此来确定该环境要素在道路上的行进方向。车道ID208是存在该环境要素的车道的识别符。在已确定该环境要素的车道位置的情况下被设定。此外,不一定都能够分别对值进行确定,在无法确定的情况下保存无效值“N/A”。
接着,使用图4说明道路信息的数据构造。道路信息被分类为道路区间信息、车道信息、表现为除此以外的环境要素的信息的区域信息。道路区间信息例如相当于现有导航装置的地图数据,对道路单位下的形状或道路区间的连接关系、连接多个道路区间的十字路口所涉及的信息等进行表现。
首先,说明车道信息。ID211、类别212与障碍物信息的ID201以及类别201同样地,表示该环境要素的识别符以及类别。作为类别,有道路车道和十字路口车道,道路车道表示道路区间的车道,十字路口车道以虚拟车道表示在十字路口内推荐的行驶轨道。
中心线213例如对该车道中心线的形状进行点序列表现,并形成保存有各个的形状点的位置信息的列表构造。
车道边界线214例如对该车道边界线的形状进行点序列表现,具有与中心线213同样的列表构造。此外,由于车道边界线214除了存在于车道左右,有时还作为形状被分为多条线来进行表现,因此包括多个位置信息列表。
连接信息215表示该车道上的相对于其他车道的连接关系,例如以连接点类别215-1、连接点路形位置215-2、连接目的地ID215-3的列表来进行表示。
连接点类别215-1表示连接点的类别,例如包括该车道的始端、终端(分别为“始端”、“终端”)、从该车道分支或者对该车道合流的连接点(分别为“分支”、“合流”)等。
连接点路形位置215-2与障碍物信息的道路上位置信息206同样是表示沿着道路的路形存在于哪个位置附近的信息。
连接目的地ID215-3是表示该连接点与哪条车道连接的识别符。例如,图4中的车道6202的第二个连接信息表示车道6203从车道6202分支。
车道属性216表示该车道的限制速度或属性(可通行方向、公交专用、可通行时间带等),例如以车道属性信息范围216-1、车道属性信息216-2的列表来进行表示。
车道属性信息范围216-1表现为沿着道路的路形的范围。例如,(4001:0m,4001:240m)表示道路区间4001的0~240m的范围。并且,该范围中的该车道的限制速度或属性信息以216-2进行表现。
边界属性217表示关于该车道的边界线的属性,例如以边界线方向217-1、边界属性信息范围217-2、边界属性信息217-3的列表来进行表示。
边界线方向217-1是指,表示该边界线信息条目是与左侧相关还是与右侧相关的识别符。
边界属性信息范围217-2表现为沿着道路的路形的范围,关于该范围中的该边界线属性的信息以边界属性信息217-3来进行表现。
边界属性信息217-3例如包括经由该边界线相接的相邻车道的ID、是否可以越过该车道驶出或变线、超车(也可以为实线、虚线等线种信息)等。
接着,说明区域信息。ID221、类别222与障碍物信息、车道信息的ID201、211以及类别202、212同样表示该环境要素的识别符以及类别。
区域形状223例如对该区域的形状进行点序列表现,形成为保存有各个的形状点的位置信息的列表构造。例如,停止线6301作为线段以两点坐标来进行表示,人行横道则作为具有宽度的四边形(闭合区间)以五点坐标来进行表示。
关于道路上位置信息224、道路上行进方向225、车道ID226,与障碍物信息中的206~208相同。
附加信息227是该区域信息中附带的信息。例如,由于停止线6301与信号灯6303的信息相关联,因此保存信号灯6303的当前(观测时)颜色或今后的切换时刻等信息。
此外,虽然在本说明书中没有描述,但是设为使车道信息和区域信息的各数据条目与关联的道路区间信息的数据条目建立关联并进行管理。例如,车道6202或停止线6301由于属于道路区间4001,因此与相当于道路区间4001的道路区间信息的数据条目相关联。因此,构成为可以根据道路单位的信息容易地参照相关联的车道信息或区域信息。
另外,虽然车道信息以及区域信息基本基于数字道路地图数据的信息来构成,但是也可以进一步基于由外界传感器组40等识别出的信息来构成。
在以上所示的各周边环境要素信息中,在本实施方式中,将以空间上的坐标系来表现的信息和以沿着路形的坐标系来表现的信息分别称作“空间信息”和“路形信息”。例如,图3的障碍物信息中,将位置信息203、方位204作为“空间信息”处理,将速度205~车道ID208作为“路形信息”处理,图4的车道信息中,将中心线213、车道边界线214作为“空间信息”处理,将连接信息215~边界属性217作为“路形信息”处理,图4的区域信息中,将区域形状223作为“空间信息”处理,将道路上位置信息224~附加信息227作为“路形信息”处理。
此外,空间信息由于以二维(或者三维)来进行表现,因此在像弯道等那样二维变化的场所,需要大量信息。相对于此,由于路形信息是沿着路形以一维来进行表现,因此具有以下特征,即虽然信息的准确性有所下降,但是能够不依赖于道路形状而以较少信息量来进行表现。
使用图5说明环境要素行驶关系性数据组124的数据构造的一个例子。
ID301是与该数据条目相关联的环境要素的识别符,对应于图3以及图4中所示的周边环境要素信息数据组121的ID201、211、221。
行驶关联度302是将该环境要素与车辆2将来的行驶相关联的程度数值化后得到的。数值越高表示关联性越高。
关联区域信息303表示该环境要素与车辆2将来的行驶相关联的车辆2的行驶路径上的地点或者区间或者区域。
路形距离304表示沿着从车辆2至关联区域信息303所示的地点或者区间或者区域为止的路形的距离。此外,在区间或者区域的情况下,虽然在与车辆2的行驶路径重合的范围内具有宽度,但是可以将其表现为路形距离的范围,也可以表现为将从车辆2来看最近点作为基准点的路形距离。
假定到达时间305表示假定到达关联区域信息303所示地点或者区间或者区域的时间。
接着,说明周边环境识别系统1的动作。本实施方式中的周边环境识别系统1的周边环境识别装置10基于从各种外部装置20~60等取得的周边环境要素信息或关于本车的信息,来执行对驾驶辅助装置70或车载用HMI装置80等所需的周边环境要素信息进行提取并输出的周边环境识别处理。
将本实施方式的周边环境识别系统1中执行的周边环境识别处理流程500示于图6。
关联信息取得部101首先在待机预定时间后(步骤(S)501),取得周边环境识别处理所需的各种信息(S502)。此处的待机预定时间是指在直至触发生成周边环境要素信息为止的时间待机。该触发可以利用定时器每隔一定时间进行实施,也可以检测周边环境要素信息的更新必要性来按需触发。
S502中取得的各种信息是指,后续处理所需的、从车辆2的本车位置决定装置30及车辆传感器组50取得的位置信息或传感器信息等本车信息、从无线通信部20及外界传感器组40等得到的识别数据、从路径生成装置60等取得的关于车辆2周边道路的数字道路地图数据等,并从存储部120的周边环境要素信息数据组121以及本车信息数据组122取得。此外,周边环境要素信息数据组121或本车信息数据组122由关联信息取得部101经由车辆网络等在适当时刻从外部装置等取得最新数据并进行更新。
接着在S503中,周边环境要素综合处理部102针对由不同手段取得的各种信息,对关于同一对象物的信息进行整合(所谓的传感器融合)、或者将识别数据与数字道路地图数据相关联(所谓的地图匹配)。由此,在原则上,生成不重复且具有一贯性的经整合后的周边环境要素信息。所生成的周边环境要素信息保存在周边环境要素信息数据组121中。
接着,在S504中,行驶关联区域决定部103对决定车辆2今后的行驶相关联的区域即行驶关联区域的行驶关联区域决定处理600进行执行。使用图7~图10在下面说明行驶关联区域决定处理600的细节。
在行驶关联区域决定处理(S504)结束时,环境要素行驶关系性计算部104基于S504中决定的行驶关联区域,执行计算各环境要素与车辆2的关系性的环境要素行驶关系性计算处理700(S505)。使用图11在下面说明环境要素行驶关系性计算处理700的细节。
在环境要素行驶关系性计算处理(S505)结束时,周边环境信息提供部106执行向驾驶辅助装置70或车载用HMI装置80等输出周边环境要素信息数据组121的一部分信息来作为周边环境信息的周边环境信息提供处理800(S506)。而且,在之后返回S501,重复执行上述处理。使用图12~图14在下面说明周边环境信息提供处理800的细节。
《行驶关联区域决定处理600(S504)》
图7中表示行驶关联区域决定处理600的流程图的一个例子。
首先,行驶关联区域决定部103在S601中从本车信息数据组122取得行驶路径信息。如果存在行驶路径信息的情况下(S602中为是)进入S603。而在不存在行驶路径信息的情况下(S602中为否),则基于S503中生成的周边环境要素信息来决定可行驶区域(S611)。可行驶区域表示在今后预定时间内或者预定距离范围内车辆2有可能行驶的地理范围。
例如,可行驶区域可以定义为从车辆2的位置相对于车辆2的行进方向位于预定距离范围内的整个车道区域(由车道部边界线形状包围的区域),也可以定义为非整个车道区域而是缩小至行进方向的车道区域部分,还可以作为与行进方向无关的预定距离范围内的整个车道区域。该可行驶区域的决定方法可以根据道路环境或控制模式来变更。例如,在行驶于高速道路时决定为相对于行进方向位于预定距离范围内的整个车道区域,另一方面在行驶于停车场时(或者控制模式为停车),由于不仅仅是行进方向还需要环顾四周,因此也可以确定为与行进方向无关的预定距离范围内的整个车道区域。
而且接下来,将在S611中决定的可行驶区域的边界具有余量d1(≥0)的区域决定为行驶关联区域(S612),在行驶关联区域数据组123中设定该行驶关联区域(S605),并结束处理。
在存在行驶路径信息的情况下(S602中为是),在S603中决定推荐行驶车道。使用图8说明行驶路径信息和推荐行驶车道。此外,图8中,将车辆5000视作本车来进行表现。
如图8的左下图4100的6501所示,行驶路径信息例如以道路单位来进行表现。在图8的例子中,本车5000在道路区间4001行驶后,在下一十字路口右转,选择在道路区间4002中行驶的路径。在S603中,将该道路单位的路径转换为车道单位的路径。在本说明书中,将该车道单位的路径称作推荐行驶车道。具体地,参照周边环境要素信息数据组121或本车信息数据组122,使用本车的行驶车道位置、路径上的相邻道路区间的车道连接信息、车道边界线属性(可否变线等)、车道属性(可行进方向、公交专用、可行驶时间带等)等,求解用于到达路径上的下一个道路区间的制约条件。
例如,在图8中,车辆5000正在道路区间4001(参照图2)中行驶,由于选择了在道路区间4002中行驶的路径,因此参照图4的车道信息的连接信息215,检索以道路区间4002中的行进方向的车道即车道6205为终端的十字路口车道。由此检索出的十字路口车道为十字路口车道6204、从车道6221左转并用于进入车道6205的十字路口车道、以及直行并用于进入车道6205的十字路口车道。进一步参照这些十字路口车道的始端的连接信息,选定与道路区间4001的车道连接的车道,则此时可知只有十字路口车道6204与属于道路区间4001的车道6203相连接。另一方面,由于车辆5000的行驶车道为6202,因此为了朝向道路区间4002,需要在道路区间4001内从车道6202移动到车道6203。
因此,参照关于属于道路区间4001的车道组(6201、6202、6203)的、图4的车道信息的连接信息215或边界属性217,来确定能够从当前的车辆位置(车道6202)移动到车道6203的车道范围。作为车道6202的连接信息,去往车道6203分支的分支点6211位于前方35m(因为车辆5000的道路上位置信息为4001:150m,分支点的位置信息为4001:185m),而作为边界属性,不能向分支点以外的车道6203变线,因此在该分支点变线到车道6203的路径被确定为道路区间4001中的车道单位的路径。
由此可知,如图8的右侧图中的粗线6601所示,将以下路径确定为车辆5000的推荐行驶车道,即在行驶车道6202的区间150m~185m后,在分支点6211向车道6203移动,并经由十字路口车道6204,进入道路区间4002的车道6205。
此外,推荐行驶车道不一定在同一道路区间中选择一条车道,有时也选择多条车道。例如,在图9那样五车道的道路中,在任一条车道都与路径上的下一道路区间连接的情况下,由于除了在车道边界线6041上不能变线之外并无特别限制,因此推荐行驶车道如图9中的左图中的粗线6511所示包括多条车道。另外,不仅考虑基于道路交规的限制条件,还可以考虑将限定不必要的变线次数等作为驾驶行为的限制条件。
例如,如果附加使不必要变线次数<1这一限制条件,则计算图9中的右图中的粗线6512所示那样的推荐行驶车道。如上所述,通过以车道单位来确定行驶路径,相比于道路单位的行驶路径,可以缩小车辆2的行驶相关联的区域。
推荐行驶车道的信息与路形信息同样地以一维信息来进行表现。例如,推荐行驶车道中的各相应车道区间如(6202:150m~185m)那样以车道ID和相应道路区间的距离起点的距离范围的配对来进行表现。例如,图8的推荐行驶车道表现为(6202:150m~185m)、(6203:185m~240m)、(6204:0m~20m)、(6205:0m~Xm)、……。
接着,在按照S603中决定的推荐行驶车道来决定行驶关联区域后(S604),在行驶关联区域数据组123中设定该行驶关联区域(S605),并结束处理。具体地,将在推荐行驶车道具有幅度d2(≥0)的区域作为行驶关联区域。
在余量d1、余量d2为0的情况下,相当于推荐行驶车道的车道中心线的部分成为行驶关联区域。在对余量d1、余量d2设定了图10的例子所示的值的情况下,行驶关联区域成为还包括相邻车道的范围。人在驾驶时,例如即使正沿着特定车道在行驶,仍将鉴于相邻车道或者相邻路肩或人行道等的状况来决定驾驶行为。因此,通过使推荐行驶车道具有余量d1、余量d2,从而将临近区域也作为行驶关联区域来考虑。
此外,本处理流程中,虽然在将道路单位的路径信息细化为推荐行驶车道这样的车道单位的路径信息的基础上在空间上定义了行驶关联区域,但是也可以直接以道路单位的路径信息在宏观上定义行驶关联区域。
另外,虽然本处理流程中没有记载,但是也可以基于从驾驶辅助装置70取得的控制计划信息来定义行驶关联区域。在车辆2以自动驾驶模式进行动作的情况下,驾驶辅助装置70对车辆2决定以怎样的轨道、速度来控制车辆。将这些信息称作控制计划信息。该控制计划信息可以说相当于近距离的行驶路径,可以同样应用上述那样的对行驶路径的处理步骤(S601~S604)。此外,控制计划信息不需要一定是确定好的,也可以应用于确定前的计划候选组(多个轨道计划、速度计划的集合)。
《环境要素行驶关系性计算处理700(S505)》
图11中示出了环境要素行驶关系性计算处理700的流程图的一个例子。
首先,环境要素行驶关系性计算部104从周边环境要素信息数据组121取得在S503中生成的周边环境要素信息的列表(S701),并取得在S504中决定的行驶关联区域信息(S702)。
接着,环境要素行驶关系性计算部104针对已取得的周边环境要素信息的列表中所包含的所有周边环境要素信息,确认是否执行了后续的处理(S703)。如果针对所有周边环境要素信息已经执行了后续的处理(S703中为是),则结束本处理。另一方面,如果没有的话(S703中为否),则从周边环境要素信息的列表中选择一个在本处理流程中未选择的周边环境要素信息(S704),执行后续的处理。
环境要素行驶关系性计算部104对与所选择的周边环境要素信息相对应的环境要素的关联区域进行计算(S705)。环境要素的关联区域是指,假定该环境要素在当前或者将来存在的位置范围。环境要素的关联区域使用该环境要素的当前位置(观测位置)、移动信息(速度、行进方向、加速度等)、环境要素类别(车辆、行人等)、道路环境(车道形状、障碍物等)中的任一个以上信息来决定。例如,可以根据该环境要素的移动信息和道路环境推定今后预定时间以内的该环境要素的移动轨道,并将该移动轨道本身作为关联区域,也可以将在该移动轨道中具有余量的区域作为关联区域。此外,环境要素的移动轨道是关于该环境要素的将来位置的推测值的时序数据,可以作为位置坐标与时间的函数并以连续值来进行表现,也可以作为在离散时间点(时刻)的位置坐标值的列表来进行表现。
或者,例如可以将距该环境要素的当前位置预定距离范围的区域作为关联区域。这对于行人在移动方向上伴随有随机性而难以推定准确的移动轨道的情况下十分有效。或者,例如在如十字路口前的车辆那样存在多条移动轨道候选的情况下,可以将由各个移动轨道生成的区域合并后的区域作为关联区域。或者,例如可以在对S504中决定的行驶关联区域以道路单位在宏观上进行定义的情况下,与其相匹配地对关联区域也以道路单位来进行定义。
接着,环境要素行驶关系性计算部104对该环境要素的关联区域与车辆2的行驶关联区域的位置关系进行比较,计算两者的重复区域(S706)。如果存在重复区域时(S707中为是),进入S708。另一方面,在不存在重复区域时(S707中为否),将该环境要素的行驶关联度设定为“0”(S711),返回S703。
作为判断重复区域的例子,在对行驶关联区域或该环境要素的关联区域以道路单位进行定义的情况下,根据各区域中指定的道路区间是否存在重合来判定重复区域。在图8中的左下图4100中,在行驶关联区域相当于路径6501,车辆5005的关联区域相当于6502的情况下,由于两者的线交差,因此判定为存在重复区域。另一方面,车辆5008的关联区域6503或车辆5004的关联区域6504由于与行驶关联区域6501在线上不交差,因此判定为无重复区域。
另外,作为判断重复区域的例子,在行驶关联区域或关联区域由空间坐标定义的情况下,通过在各区域是否存在重合来判定。图8中的右图中,在行驶关联区域相当于推荐行驶车道6601,车辆5005的关联区域相当于假定轨道6602的情况下,由于两者在点5505交差,因此判定为存在重复区域。
由于车辆5007也处于行驶关联区域上,因此同样地被判定为存在重复区域。另一方面,由于除此以外的车辆、行人5010、5011在关联区域(假定轨道)上与行驶关联区域不重复,因此判定为无重复区域。
这样,虽然对定义行驶关联区域或关联区域的精细度没有限制,但是精细度越细,越能以更高精度判定有无重复区域。
接着,在进入S708时,环境要素行驶关系性计算部104对相对于在S706中计算出的重复区域的、距车辆2的路形距离或者其范围进行计算。路形距离不是空间上的直线距离,而是沿着自相对于对象的基准点的车辆2的位置起的行驶路径的路程的长度。如果在该重复区域沿着路形具有宽度的情况下,则例如(30m、40m)那样以路形距离的开始点(30m)和结束点(40m)来表现其范围。此外,在重复区域具有宽度的情况下,例如也可以沿着路形已最接近车辆2的点为代表点,并以相对于其的路形距离来进行表现。
此外,这些路形信息基于图3及图4所示的周边环境要素信息数据组121的路形信息而构成。虽然周边环境要素信息数据组121的路形信息由以道路的始点为基准的路形距离来表现环境要素的位置,但是通过取得与车辆2的道路位置信息(道路ID和该道路上的路形距离)的差,可以转换为以车辆2的车辆位置为原点的信息。另外,按照车辆2的行驶路径,累计所经由的道路段的长度,由此能够计算沿着路径的路形距离。
接着,环境要素行驶关联度计算部105基于至此计算出的与该环境要素的行驶关系性,来计算与该环境要素的行驶关联度(S709)。行驶关联度相当于将与该环境要素的行驶关系性的程度数值化后的量,设定为重复区域在路径上越接近、或者到达重复区域为止的时间越短,则关联度越高。
例如,若将S708中计算出的路形距离设为dr,则通过a×(1/dr)(a为常数)这样的数学式,以与路形距离呈反比的形式进行计算。或者,例如若将到达重复区域为止的时间设为t,则通过b×(1/t)(b为常数)这样的数学式,以与到达重复区域为止的到达时间呈反比的形式进行计算。此外,在任一情况下,只要是使得到重复区域为止的路形距离或者到达时间越短则关联度越高的计算式即可,不限定为上述的数学式。
另外,也可以是像a×(1/dr)+b×(1/t)那样考虑到双方的数学式。另外,还可以根据环境要素的类别,来变更各种参数或计算方式。
若S709的处理完成,则将已计算出的路形距离和行驶关联度设置到环境要素行驶关系性数据组124的该环境要素的条目中,并返回S703。然后执行同样的处理,直至关于所有周边环境要素信息都完成了处理为止,从而结束本处理流程。
《周边环境信息提供处理800(S506)》
图12中示出了周边环境信息提供处理800的流程图的一个例子。
首先,取得环境要素行驶关系性数据组124所包含的数据条目来作为列表(S801),并按照行驶关联度从高到低的顺序对列表进行排序(S802)。接着,从该列表中,按照行驶关联度从高到低的顺序逐条选择环境要素行驶关系性数据条目(S803),并进行以下的处理。
首先,在所选择的环境要素行驶关系性数据条目的行驶关联度302为预定阈值T1以上的情况下(S804中为是),进入S805。另一方面,在低于预定阈值T1的情况下(S804中为否),结束本处理。其具有将与车辆2的行驶不太关联的信息从提供对象中剔除的效果。
例如,在图11的环境要素行驶关系性计算流程700中,将车辆2的行驶关联区域与关联区域不重复的环境要素作为行驶关联度并设定为0。因此,在T1>0的情况下,这些环境要素从提供对象中被剔除。例如,在将车辆2的行驶路径定义为行驶关联区域的情况下,车辆2的行驶路径与移动轨道不重合的环境要素从提供对象中被剔除。另外,由于到重复区域为止的路形距离或者到达时间越长,则行驶关联度越小,因此预定以上的远方的环境要素也从提供对象中被剔除。
在该信息的行驶关联度为预定阈值T1以上的情况下,将ID301作为检索关键词,从周边环境要素信息数据组121中取得具有相对应的ID201的周边环境要素信息(S805)。进而如果行驶关联度为预定阈值T2(>T1)以上(S806中为是),则参照该周边环境要素信息,生成包括空间信息以及路形信息双方的报文(S807),并作为车辆2的周边环境信息发送给适宜的目标(S808)。另一方面,在行驶关联度不足预定阈值T2(且T1以上)的情况下(S806中为否),则生成省去了空间信息的基于路形信息的报文(S810),并作为车辆2的周边环境信息发送给适宜的目标(S808)。
这意味着,对于行驶关联度较低(T1以上且不足T2)的环境要素,将省去空间信息并进行发送。在车辆的控制中需要环境要素的空间信息是在计算与操舵相关的行驶轨道时。在时刻变化的道路环境中,行驶轨道有效的时间最多为5~10秒左右。因此,超出该范围而提供环境要素的空间信息的必要性较低。
另一方面,环境要素的路形信息用于判断驾驶行为或加减速控制。驾驶行为或加减速控制需要沿着道路的车道构造在宏观上掌握前后左右的障碍物或交通状况、交通规则,在一边推定大约20~30秒后的状况一边计算最佳驾驶行为计划(例如,在哪个时刻变线)或速度计划。因此,需要提供到较远方的信息。因此,像这样行驶关联度低于预定值(比预定的距离范围或者预定时间内的到达范围远)的情况,通过省去空间信息来进行发送,从而可以满足控制侧的要件,并且减少所提供的数据量。
图14对相当于图8中所示的空间信息的路形信息的一个例子进行了图示。路形信息沿着路径生成,并通过以车辆2的车辆位置为原点的路形距离和相关联的车道ID来表现与各环境要素的位置关系。作为成为路形信息对象的周边环境要素信息,基本上相当于图3及图4的周边环境要素信息数据组121的路形信息,对应于与路径上相关联的障碍物信息、车道边界线属性(可否变线等)、车道连接点(车道分支点6211、车道十字路口5505等)等车道信息、停止线6301、人行横道6302、信号灯信息6403(对应于信号灯6303的信息)、限制速度信息6404(对应于道路表示6304)等交通规则、由图7中的行驶关联区域决定的处理确定的推荐行驶车道(6601)等。
此外,虽然在本实施方式中没有表示,但还可以包括将弯道或坡道的形状表现为曲率值或坡度值,并将其表现为与路形距离的组合或者与路形距离的函数的方式。这种表现方式下,由于没有表现空间信息,因此不能进行本车周边的详细环境识别,但是通过车道ID和路形距离的比较,可以容易地(快速地)参照驾驶行为计划或加减速控制所需要的、以车道为轴的本车前后左右的环境信息。
图13是本实施方式的周边环境识别装置10所发送的周边环境信息提供报文的格式900的一个例子的说明图。但是,省略了关于通信协议的报头信息等的图示。
周边环境信息提供报文中包括各环境要素的信息。报文中包含的环境要素的信息例如包括:环境要素ID901、环境要素类别902、信息有无标志903、空间信息904、路形信息905、其他信息906等。环境要素ID901、环境要素类别902相当于图3的障碍物信息的ID201、类别202或者道路信息的ID211、类别212。信息有无标志903是指表示报文内是否包含空间信息904、路形信息905或者其他信息906的信息。
例如,在没有建立对应于空间信息904的标志的情况下,空间信息904部分被省略。空间信息904是关于该环境要素的空间信息的数据组,例如包括与该环境要素相关联的位置坐标(如纬度、经度那样的绝对坐标或者自车辆2起的相对坐标)、方位、将来的行驶轨道的位置坐标等。路形信息905是关于该环境要素的路形信息的数据组,例如包括与该环境要素相关联的位置所涉及的距车辆2的路形距离或者距离范围、(路形)速度、车道ID等。其他信息906是在该环境要素中与位置无关的信息所涉及的数据组。例如,如果该环境要素是车辆,则相当于车型、车宽、车辆的内部状态(方向灯动作状态等)等。
此外,在本实施方式中,虽然各环境要素的信息以单独的报文进行发送,但是也可以将多个环境要素汇集在一个报文内发送。
另外,关于推荐行驶车道的信息也可以与环境要素的信息同样地通过S808来发送。如上所述,通过由车道ID和自相应道路区间的起点起的距离范围的配对来进行表现的形式管理推荐行驶车道。
但是,在S808中,与其他环境要素同样地,作为发送的路形信息所表现的路形距离并不是道路区间单位的路形距离,而是变换为沿着路径累计道路区间单位的路形距离而得到的距离。通过提供关于该推荐行驶车道的信息,由此在驾驶辅助装置70计算驾驶行为计划时,可以容易地掌握是否要变线或在哪个区间能变线。
例如,图8的例子中的关于推荐行驶车道的信息沿着路径累计,并被表现为(6202:0m~35m)、(6203:35m~90m)、(6204:90m~110m)、(6205:110m~Xm),但是由于车道6202的推荐行驶范围在到达35m时结束,由此可知需要移动到车道6203。另外,通过参照作为路形信息而发送的车道信息的连接信息,可知车道6202和车道6203为同一道路区间,需要在35m地点处变线。
另一方面,虽然同样需要从车道6203移动至车道6204,但是通过参照车道信息的连接信息,可知由于两者是沿着路形连接,因此无需变线。此外,例如,如图9那样,在作为推荐行驶车道具有多条车道的情况下,如(6033:0m~X1m)、(6032:0m~X2m)、……那样,在不同车道的推荐行驶范围内产生重复区间,但是通过参照该重复区间,可以掌握可变线区间。
这样,通过提供关于推荐行驶车道的信息,驾驶辅助装置70可以容易掌握是否要变线或可变线区间等驾驶行为计划的限制条件,相比于仅根据车道信息来进行计算的情况,可以减轻处理负荷。
返回图12的处理流程800。如果在本处理内报文发送数成为预定数(N1)以上(S809中为是),则结束本处理流程。如果报文发送数未达到预定数(N1)(S809中为否),则返回S803,执行同样的处理。
在周边环境信息的发送目标的环境由于存储器或处理性能等而对报文接收数有所限制时设定N1。在本处理中,由于形成为以行驶关联度从高到低的顺序向对象发送的机制,因此即使是在可发送信息量存在限制的环境,也能优先提供对车辆2的行驶造成影响的信息。此外,在本实施方式中,虽然针对所有环境要素计算了报文发送数,但是也可以针对环境要素的各类别,单独计算报文发送数或定义最大发送数。
如上所述,根据本实施方式,车辆2的周边环境识别装置10决定车辆2的行驶路径信息或者控制计划信息等行驶计划信息与各环境要素的关系性,根据该关系性,决定作为信息提供对象的环境要素。
由于在考虑到车辆2将来的行动的基础上判断是否要提供各环境要素,因此相比于相对距离等基于该时刻的状态来进行判断的情况,可以更高精度地提取车辆的行驶控制所需要的信息。即,可以高精度地排除对控制无用的环境要素的信息,从而可以减轻该控制所涉及的运算处理负荷或存储器使用量。
另外,根据本实施方式,根据从车辆2到与该环境要素的关联地点为止的相对距离(路形)或者到达时间,将环境要素的关系性作为行驶关联度并进行定量化,从而根据该行驶关联度来决定信息的发送优先度。因此,即使在对控制侧能够接收信息的环境要素数有所限制的情况下,也可以优先提供对车辆2的行驶影响大的、与车辆2更近的环境要素的信息。例如,由于堵车时车辆2的路径上存在大量他车,因此如果发送所有他车信息,则将增加控制侧的运算处理负荷或存储器使用量。
另一方面,由于堵塞时被附近的他车阻挡进路,因此由路径上远方的他车所导致的对车辆2的行驶的影响小。这样,通过以下机制,即从沿着路径更近的环境要素的信息起优先发送,如果超出预定数则不再发送,那么即使在堵塞那样混杂的环境下,也可以抑制提供不必要的环境要素所涉及的信息。
另外,根据本实施方式,在将行驶关联度低于第一阈值的环境要素的信息从提供对象中剔除的基础上,在行驶关联度低于第二阈值(<第一阈值)的情况下,将从提供信息中省去空间信息并进行提供。如上所述,对于控制侧需要环境要素的空间信息的情况是在需要计算行驶轨道前后(大约5~10秒),不需要比其更远的。因此,比预定的距离范围或者预定时间内的到达范围更远的情况,通过省去空间信息来进行提供,能够满足控制侧要件,并且削减所提供的数据量。
此外,以上所说明的实施方式是一个例子,本发明不限于此。即,能进行各种应用,所有实施方式均包含于本发明的范围。
例如,在上述实施方式中,虽然以唯一地决定行驶路径为前提,但是行驶路径也可以存在多条。例如,在人正在驾驶的情况下(不是自动驾驶模式的情况),即使例如通过导航装置设定了推荐路径,人也不一定完全按照该路径驾驶。
因此,也可以不将路径确定为一条,而是生成多条可取路径的候选,并将赋予选择各条路径的概率后的信息作为行驶路径信息。该选择概率例如基于此人的行驶历史或该道路的交通流量的统计信息等来进行计算。而且,通过将该概率作为行驶关联度权重加以考虑,从而可以应用上述那样的机制。
例如,在上述实施方式中,通过使用处理器和RAM执行预定的动作程序,来实现周边环境识别装置10的各处理,根据需要也可以由自身的硬件来实现。另外,在上述的实施方式中,虽然周边环境识别装置、无线通信部、本车位置决定装置、外界传感器组、车辆传感器组、路径生成装置、驾驶辅助装置、车载用HMI装置、致动器组被记载为单独的装置,但是也可以根据需要对任意两个以上进行组合来实现。
在上述的各处理通过处理器执行预定的动作程序来实现的情况下,实现各处理的动作程序、表格、文件等信息可以保存于非易失性半导体存储器、硬盘驱动器、SSD(SolidState Drive,固态硬盘)等存储设备、或者IC卡、SD卡、DVD等计算机可读取的非临时性数据存储介质。
图15是表示通过记录介质或数据信号向车载器提供上述的动作程序、表格、文件等信息的情形的图。车载器400搭载于车辆,具有可执行各种程序的处理器。车载器400经由CD-ROM404接受用于实现上述各处理的动作程序等信息的提供。该动作程序通过车载器400的处理器来执行,由此可以使车载器400作为具有图1所示的结构的周边环境识别装置10来进行动作。另外,车载器400具有与通信回线401连接的连接功能。计算机402是提供上述动作程序等信息的服务器计算机,在硬盘403等记录介质中保存信息。通信线路401为互联网、个人计算机通信等通信线路、或者专用通信线路等。计算机402使用硬盘403读出动作程序等信息,并经由通信线路401发送到车载器400。即,将程序作为数据信号经由载波并经由通信线路401发送。这样,用于使车载器400作为周边环境识别装置10来进行动作的程序可以被提供为记录介质或数据信号(载波)等各种形态的计算机可读入计算机程序产品。
另外,图面中示出了被认为用于说明实施方式所需的控制线以及信息线,不一定局限于表示应用了本发明的实际产品所包含的所有控制线以及信息线。实际上可以认为几乎所有结构都相互连接。
以下优先权基础申请的公开内容将作为引用内容编入本文。
日本国专利申请2015年第139317号(2015年7月13日申请)。
附图标记说明
1:周边环境识别系统,2:车辆,10:周边环境识别装置,20:无线通信部,30:本车位置决定装置,40:外界传感器组,50:车辆传感器组,60:路径生成装置,70:驾驶辅助装置,80:车载用HMI装置,90:致动器组,100:处理部,101:关联信息取得部,102:周边环境要素综合处理部,103:行驶关联区域决定部,104:环境要素行驶关系性计算部,105:环境要素行驶关联度计算部,106:周边环境信息提供部,120:存储部,121:周边环境要素信息数据组,122:本车信息数据组,123:行驶关联区域数据组,124:环境要素行驶关系性数据组,130:通信部。
Claims (13)
1.一种周边环境识别装置,其搭载于车辆,其特征在于,该周边环境识别装置具备:
行驶路径信息取得部,其取得表示所述车辆的行驶路径的行驶路径信息;
周边环境要素信息取得部,其取得关于所述车辆周边的环境要素的、包括表示与所述车辆在空间上的位置关系的空间上位置关系信息的周边环境要素信息;
环境要素行驶关系性计算部,其基于所述行驶路径信息和所述空间上位置关系信息,计算所述环境要素中的与所述车辆的行驶的关系性;以及
周边环境信息提供部,其基于所述环境要素行驶关系性计算部计算出的与所述车辆的行驶的关系性,提供关于所述环境要素的信息;
其中,所述环境要素行驶关系性计算部计算出的与所述车辆的行驶的关系性包括将所述环境要素与所述车辆的行驶的关系性的程度进行数值化后得到的行驶路径关联度所涉及的信息,
所述周边环境信息提供部根据所述行驶路径关联度来判定是否需要提供关于所述环境要素的信息。
2.根据权利要求1所述的周边环境识别装置,其特征在于,
所述环境要素行驶关系性计算部计算出的与所述车辆的行驶的关系性包括与所述环境要素相关的所述行驶路径上的地点或者区间或者区域所涉及的信息,
在不存在与所述环境要素相关的所述行驶路径上的地点或者区间或者区域的情况下,所述周边环境信息提供部不提供关于所述环境要素的信息。
3.根据权利要求2所述的周边环境识别装置,其特征在于,
与所述车辆的行驶的关系性还包括所述车辆与关于所述环境要素的所述行驶路径上的地点或者区间或者区域在路形上的位置关系所涉及的路形上的位置关系信息,
所述周边环境信息提供部提供的关于所述环境要素的信息包括所述路形上的位置关系信息所涉及的信息。
4.根据权利要求2或3所述的周边环境识别装置,其特征在于,该周边环境识别装置还具备使用所述周边环境要素信息来推定所述环境要素的将来位置的环境要素将来位置推测部,
所述环境要素行驶关系性计算部对所述环境要素将来位置推测部推定出的所述环境要素的将来位置与所述行驶路径重复的点或者区间或者区域进行计算,
与所述环境要素相关的所述行驶路径上的地点或者区间或者区域是与所述行驶路径重复的点或者区间或者区域。
5.根据权利要求1所述的周边环境识别装置,其特征在于,
在所述行驶路径关联度未达到第一阈值的情况下,所述周边环境信息提供部判定为不需要提供关于所述环境要素的信息。
6.根据权利要求3所述的周边环境识别装置,其特征在于,
在所述行驶路径关联度为第一阈值以上且未达到第二阈值的情况下,所述周边环境信息提供部提供所述路形上的位置关系信息,不提供所述空间上位置关系信息。
7.根据权利要求1、5或6所述的周边环境识别装置,其特征在于,
所述环境要素行驶关系性计算部基于直至与所述环境要素相关的所述行驶路径上的地点或者区间或者区域为止的路形上的距离、或者所述车辆到达与所述环境要素相关的所述行驶路径上的地点或者区间或者区域为止的时间、或者它们的组合来计算所述行驶路径关联度。
8.根据权利要求7所述的周边环境识别装置,其特征在于,
直至与所述环境要素相关的所述行驶路径上的地点或者区间或者区域为止的路形上的距离越短、或者所述车辆到达与所述环境要素相关的所述行驶路径上的地点或者区间或者区域为止的时间越短,则所述环境要素行驶关系性计算部计算的所述行驶路径关联度的值越大。
9.根据权利要求2或3所述的周边环境识别装置,其特征在于,该周边环境识别装置还具备基于所述行驶路径信息来计算与所述车辆的行驶相关联的区域的行驶关联区域计算部,
所述环境要素行驶关系性计算部基于与所述车辆的行驶相关联的区域,计算与所述环境要素相关的所述行驶路径上的地点或者区间或者区域所涉及的信息。
10.根据权利要求9所述的周边环境识别装置,其特征在于,该周边环境识别装置还具备取得包括搭载于所述车辆的行驶控制部所计划的行驶轨道信息的控制计划信息的控制计划信息取得部,
所述环境要素行驶关系性计算部基于所述控制计划信息取得部取得的控制计划信息来计算与所述车辆的行驶相关联的区域。
11.根据权利要求10所述的周边环境识别装置,其特征在于,
所述周边环境要素信息包括所述车辆的行驶路径上的车道信息,
所述周边环境识别装置还具备基于所述车辆的行驶路径上的车道信息,来对表示为了使所述车辆在所述车辆的行驶路径行进而推荐的车道范围的推荐行驶车道信息进行计算的推荐行驶车道计算部,
所述环境要素行驶关系性计算部基于所述推荐行驶车道计算部计算出的推荐行驶车道信息来计算与所述车辆的行驶相关联的区域。
12.根据权利要求11所述的周边环境识别装置,其特征在于,
所述周边环境信息提供部提供的关于所述环境要素的信息包括所述推荐行驶车道信息。
13.一种计算机程序产品,其特征在于,使搭载于车辆的车载器作为周边环境识别装置来进行动作,
所述周边环境识别装置具备:
行驶路径信息取得部,其取得表示所述车辆的行驶路径的行驶路径信息;
周边环境要素信息取得部,其取得关于所述车辆周边的环境要素的、包括表示与所述车辆在空间上的位置关系的空间上位置关系信息的周边环境要素信息;
环境要素行驶关系性计算部,其基于所述行驶路径信息和所述空间上位置关系信息,计算所述环境要素中的与所述车辆的行驶的关系性;以及
周边环境信息提供部,其基于所述环境要素行驶关系性计算部计算出的与所述车辆的行驶的关系性,提供关于所述环境要素的信息;
其中,所述环境要素行驶关系性计算部计算出的与所述车辆的行驶的关系性包括将所述环境要素与所述车辆的行驶的关系性的程度进行数值化后得到的行驶路径关联度所涉及的信息,
所述周边环境信息提供部根据所述行驶路径关联度来判定是否需要提供关于所述环境要素的信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-139317 | 2015-07-13 | ||
JP2015139317A JP2017019421A (ja) | 2015-07-13 | 2015-07-13 | 周辺環境認識装置、及び周辺環境認識プログラム |
PCT/JP2016/067630 WO2017010209A1 (ja) | 2015-07-13 | 2016-06-14 | 周辺環境認識装置、及びコンピュータプログラム製品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107683234A CN107683234A (zh) | 2018-02-09 |
CN107683234B true CN107683234B (zh) | 2020-11-20 |
Family
ID=57756900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680034899.6A Expired - Fee Related CN107683234B (zh) | 2015-07-13 | 2016-06-14 | 周边环境识别装置以及计算机程序产品 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190001986A1 (zh) |
EP (1) | EP3323689A4 (zh) |
JP (1) | JP2017019421A (zh) |
CN (1) | CN107683234B (zh) |
WO (1) | WO2017010209A1 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11835343B1 (en) * | 2004-08-06 | 2023-12-05 | AI Incorporated | Method for constructing a map while performing work |
KR102254973B1 (ko) * | 2017-04-25 | 2021-05-24 | 현대모비스 주식회사 | 주행 차선 안내 장치 및 그 제어 방법 |
WO2018216278A1 (ja) * | 2017-05-26 | 2018-11-29 | 住友電気工業株式会社 | 車両制御装置、車両制御システム、コンピュータプログラム及び車両制御方法 |
KR20200012016A (ko) | 2017-06-13 | 2020-02-04 | 닛산 지도우샤 가부시키가이샤 | 지도 데이터 저장 방법 및 장치 |
KR102317546B1 (ko) * | 2017-06-13 | 2021-10-27 | 주식회사 만도모빌리티솔루션즈 | 주행제어장치 및 주행제어방법 |
KR101973627B1 (ko) * | 2017-07-11 | 2019-04-29 | 엘지전자 주식회사 | 차량에 구비된 차량 제어 장치 및 차량의 제어방법 |
US11705000B2 (en) | 2017-09-29 | 2023-07-18 | Pioneer Corporation | Information generation device, information generation method, and program for information generation device |
JP7328740B2 (ja) * | 2017-11-16 | 2023-08-17 | 株式会社ゼンリン | 運転支援装置及び運転支援システム |
JP7016276B2 (ja) * | 2018-03-05 | 2022-02-04 | 株式会社日立製作所 | 列車位置推定装置 |
JP6995671B2 (ja) * | 2018-03-14 | 2022-01-14 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP2019214319A (ja) * | 2018-06-13 | 2019-12-19 | 本田技研工業株式会社 | 認識処理装置、車両制御装置、認識処理方法、およびプログラム |
WO2020012208A1 (ja) * | 2018-07-11 | 2020-01-16 | 日産自動車株式会社 | 走行環境情報の生成方法、運転制御方法、走行環境情報生成装置 |
EP3842304B1 (en) | 2018-08-14 | 2024-09-18 | Mobileye Vision Technologies Ltd. | Systems and methods for navigating with safe distances |
JP7132037B2 (ja) * | 2018-08-29 | 2022-09-06 | フォルシアクラリオン・エレクトロニクス株式会社 | 車載処理装置 |
US11001256B2 (en) | 2018-09-19 | 2021-05-11 | Zoox, Inc. | Collision prediction and avoidance for vehicles |
US11495028B2 (en) * | 2018-09-28 | 2022-11-08 | Intel Corporation | Obstacle analyzer, vehicle control system, and methods thereof |
DE102018127061B3 (de) * | 2018-10-30 | 2019-11-14 | Daimler Ag | Verfahren zum Betrieb eines Assistenzsystems eines Fahrzeuges, Vorrichtung zur Durchführung des Verfahrens und Fahrzeug |
JP6827026B2 (ja) * | 2018-11-19 | 2021-02-10 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、及びプログラム |
CN111469835A (zh) * | 2019-01-22 | 2020-07-31 | 观致汽车有限公司 | 基于拓扑地图的车辆辅助驾驶系统和方法 |
JP7210334B2 (ja) * | 2019-03-07 | 2023-01-23 | 本田技研工業株式会社 | 車両制御装置、車両制御システム、車両制御方法、およびプログラム |
US11353878B2 (en) * | 2019-03-26 | 2022-06-07 | Baidu Usa Llc | Soft-boundary based path optimization for complex scenes for autonomous driving vehicles |
JP7223629B2 (ja) * | 2019-05-13 | 2023-02-16 | 日立Astemo株式会社 | 車載システム、外界認識センサ、電子制御装置 |
JP2021123178A (ja) * | 2020-02-03 | 2021-08-30 | 株式会社デンソー | 経路計画装置、経路計画方法、経路計画プログラム |
CN112455465B (zh) * | 2020-12-08 | 2022-02-01 | 广州小鹏自动驾驶科技有限公司 | 一种行驶环境感知方法、装置、电子设备和存储介质 |
CN114750808B (zh) * | 2022-04-29 | 2023-04-25 | 西门子交通技术(北京)有限公司 | 一种列车的动态限速方法、系统及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006031602A (ja) * | 2004-07-21 | 2006-02-02 | Nippon Soken Inc | 車両用自動運転システム |
JP2010140186A (ja) * | 2008-12-10 | 2010-06-24 | Toyota Central R&D Labs Inc | 経路推定装置及び運転支援装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840342B1 (en) * | 1997-10-22 | 2010-11-23 | Intelligent Technologies International, Inc. | Road physical condition monitoring techniques |
JP4525670B2 (ja) * | 2006-11-20 | 2010-08-18 | トヨタ自動車株式会社 | 走行制御計画生成システム |
JP2008134458A (ja) * | 2006-11-28 | 2008-06-12 | Toyota Motor Corp | 認知地図形成補助装置 |
US8244408B2 (en) * | 2009-03-09 | 2012-08-14 | GM Global Technology Operations LLC | Method to assess risk associated with operating an autonomic vehicle control system |
DE102009045286A1 (de) * | 2009-10-02 | 2011-04-21 | Robert Bosch Gmbh | Verfahren zur Abbildung des Umfelds eines Fahrzeugs |
DE102011076763A1 (de) * | 2011-05-31 | 2012-12-06 | Robert Bosch Gmbh | Fahrerassistenzsystem und Verfahren zum Betreiben eines Fahrerassistenzsystems |
US8493198B1 (en) * | 2012-07-11 | 2013-07-23 | Google Inc. | Vehicle and mobile device traffic hazard warning techniques |
DE102013015028A1 (de) * | 2013-09-10 | 2015-03-12 | Daimler Ag | Verfahren zum Betrieb eines Fahrzeuges |
JP6190758B2 (ja) * | 2014-05-21 | 2017-08-30 | 本田技研工業株式会社 | 物体認識装置及び車両 |
-
2015
- 2015-07-13 JP JP2015139317A patent/JP2017019421A/ja active Pending
-
2016
- 2016-06-14 WO PCT/JP2016/067630 patent/WO2017010209A1/ja active Application Filing
- 2016-06-14 US US15/737,849 patent/US20190001986A1/en not_active Abandoned
- 2016-06-14 EP EP16824189.1A patent/EP3323689A4/en not_active Withdrawn
- 2016-06-14 CN CN201680034899.6A patent/CN107683234B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006031602A (ja) * | 2004-07-21 | 2006-02-02 | Nippon Soken Inc | 車両用自動運転システム |
JP2010140186A (ja) * | 2008-12-10 | 2010-06-24 | Toyota Central R&D Labs Inc | 経路推定装置及び運転支援装置 |
Also Published As
Publication number | Publication date |
---|---|
US20190001986A1 (en) | 2019-01-03 |
WO2017010209A1 (ja) | 2017-01-19 |
JP2017019421A (ja) | 2017-01-26 |
CN107683234A (zh) | 2018-02-09 |
EP3323689A4 (en) | 2019-03-06 |
EP3323689A1 (en) | 2018-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107683234B (zh) | 周边环境识别装置以及计算机程序产品 | |
JP6819177B2 (ja) | 運転支援方法及び運転支援装置 | |
CN113631454B (zh) | 驾驶辅助方法及驾驶辅助装置 | |
US10431094B2 (en) | Object detection method and object detection apparatus | |
JP6468171B2 (ja) | 運転支援装置 | |
JP2020053094A (ja) | 道路の車線識別子を決定する方法及び装置 | |
WO2016167085A1 (ja) | 車両情報処理装置、及び車両情報処理プログラム | |
RU2661963C1 (ru) | Устройство вычисления маршрута движения | |
JP6575612B2 (ja) | 運転支援方法及び装置 | |
KR20210030975A (ko) | 주행 지원 방법 및 주행 지원 장치 | |
JP2022041923A (ja) | 接続されたデータ分析プラットフォームを用いた車両経路指定 | |
JP7186241B2 (ja) | 車両の走行支援方法、車両走行支援装置及び自動運転システム | |
CN108604420B (zh) | 车辆的行驶控制方法及车辆的行驶控制装置 | |
RU2660425C1 (ru) | Устройство вычисления маршрута движения | |
CN113313933B (zh) | 用于自动驾驶车辆的基于车道的路线选择系统 | |
JP6613265B2 (ja) | 予測装置、車両、予測方法およびプログラム | |
CN109425861B (zh) | 本车位置可信度运算装置 | |
EP3967978B1 (en) | Detecting a construction zone by a lead autonomous vehicle (av) and updating routing plans for following autonomous vehicles (avs) | |
CN112740224A (zh) | 道路环境信息的自动化众包 | |
WO2022185575A1 (ja) | 走行支援装置 | |
KR102562381B1 (ko) | 차량 호라이즌에서 오브젝트를 컨텍스트화 하기 위한 시스템 및 방법 | |
JP6971315B2 (ja) | 情報管理装置 | |
WO2016170683A1 (ja) | 走行制御装置およびデータ構造 | |
JP2021014139A (ja) | 電子制御装置 | |
CN115691104A (zh) | 用于生成车道信息的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: Ibaraki Patentee after: Hitachi astemo Co.,Ltd. Address before: Ibaraki Patentee before: HITACHI AUTOMOTIVE SYSTEMS, Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201120 |