CN114763156A - 使用基于关注度的事件结构的认知情境意识的方法 - Google Patents
使用基于关注度的事件结构的认知情境意识的方法 Download PDFInfo
- Publication number
- CN114763156A CN114763156A CN202111516787.3A CN202111516787A CN114763156A CN 114763156 A CN114763156 A CN 114763156A CN 202111516787 A CN202111516787 A CN 202111516787A CN 114763156 A CN114763156 A CN 114763156A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- external entity
- attention
- external
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000001149 cognitive effect Effects 0.000 title claims description 30
- 230000001953 sensory effect Effects 0.000 claims abstract description 53
- 230000003542 behavioural effect Effects 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 33
- 230000006399 behavior Effects 0.000 description 19
- 230000007613 environmental effect Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4045—Intention, e.g. lane change or imminent movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/55—External transmission of data to or from the vehicle using telemetry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/65—Data transmitted between vehicles
Abstract
一种使用感知启发的事件生成用于车辆的情境意识的方法,包括:接收来自车辆传感器的感知输入数据;并处理感知输入数据以分类和生成与车辆附近的外部实体相关的参数。该方法包括生成分层事件结构,该分层事件结构通过将外部实体分类在关注度区域内并根据外部实体的风险级别值对关注度区域内的外部实体优先排序来对感知输入数据进行分类和优先排序。较高的风险级别值表示关注度区域内的较高优先级。该方法还包括基于分层事件结构来开发车辆的行为规划。
Description
技术领域
本公开总体上涉及由自动驾驶系统控制的车辆,特别是配置成在没有人类干预的情况下在驾驶循环期间自动控制车辆转向、加速和制动的车辆。
背景技术
现代车辆的操作正变得越来越自动化,即,能够以越来越少的驾驶员干预提供驾驶控制。车辆自动化已被分类为范围从零(对应于具有完全人类控制的无自动化)到五(对应于没有人类控制的完全自动化)的数字级别。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制和停车辅助系统)对应于较低的自动化级别,而真正的“无人驾驶”车辆对应于较高的自动化级别。
发明内容
根据本公开的实施例提供了许多优点。例如,根据本公开的实施例包含基于优先排序的关注度的事件结构以允许有效情境意识。
在本公开的一个方面,一种控制车辆的方法包括:由控制器接收来自车辆传感器的感知输入数据;并由控制器使用人类感知启发的认知分析来处理感知输入数据以分类和生成与车辆附近的外部实体相关的参数。该方法包括由控制器生成分层事件结构,该分层事件结构通过将外部实体分类为高关注度区域、低关注度区域和无关注度区域中的一个来对感知输入数据进行分类和优先排序。该方法还包括由控制器开发车辆的行为规划并且由控制器生成控制信号以控制车辆的致动器。
在一些方面,感知输入数据包括与车辆附近的外部实体相关的实体数据,包括车辆附近的外部实体的车道位置、外部实体相对于车辆的预测路径、以及一个或多个行车道(traffic lane,或交通车道)相对于车辆的位置和取向中的一个或多个。感知输入数据还包括车辆的车辆特性数据,包括车辆速度、制动和车辆的规划(projected)行驶路径中的一个或多个。
在一些方面,使用人类感知启发的认知分析来处理感知输入数据包括生成外部实体的区域关注度级别值,估计外部实体的行为关注度级别值,计算外部实体的风险级别值,确定是否检测到异常,并在检测到异常时改变外部实体的区域关注度级别值。
在一些方面,生成外部实体的区域关注度级别值包括评估外部实体相对于车辆的预测路径、一个或多个行车道相对于车辆的位置和取向、以及车辆的规划行驶路径。
在一些方面,生成分层事件结构包括根据外部实体的风险级别值对关注度区域内的外部实体进行优先排序,其中,较高的风险级别值表示关注度区域内的较高优先级。
在一些方面,表示为x i 的外部实体的区域关注度级别值计算为L ZA (x i ) = S xi (Z +α C(x i )),其中,Z是外部实体的基线区域关注度级别值,C(x i )是外部实体的复杂度的计算,且S xi 是sigmoid函数。
在一些方面,基线区域关注度级别值Z对于无关注度区域为0,对于低关注度区域为0.4,对于高关注度区域为0.8。
在一些方面,外部实体x i 的行为关注度级别值计算为,其中,α和β是权重,使得(0 ≤ α + β ≤ 1),表示外部实体x i 的位置、速度和航向角,是外部实体的期望位置,是外部实体相对于限速的期望速度,是外部实体的期望航向角,S m (n)是在最小和最大“n”值之外收敛的“m”分量的sigmoid函数。
在本公开的另一方面,一种机动车辆,包括:配置为检测机动车辆附近的外部特征的多个环境传感器;配置为检测车辆特性的多个车辆传感器;配置为控制车辆转向、加速、制动或换档的致动器;以及至少一个控制器,所述至少一个控制器与所述多个环境传感器、所述多个车辆传感器中的相应传感器和致动器进行电子通信。所述至少一个控制器用自动驾驶系统控制算法编程并且配置为基于自动驾驶系统控制算法自动控制致动器。自动驾驶控制系统算法包括:感知系统,所述感知系统配置为接收来自所述多个环境传感器的感知输入数据和来自所述多个车辆传感器的车辆特性数据;以及认知情境意识模块,所述认知情境意识模块配置为使用人类感知启发的认知分析来处理感知输入数据和车辆特性数据,以分析机动车辆附近的外部实体。该分析包括生成分层事件结构,该分层事件结构通过将外部实体分类为高关注度区域、低关注度区域和无关注度区域中的一个来对感知输入数据进行分类和优先排序。自动驾驶控制系统算法还包括车辆控制模块,该车辆控制模块配置为开发机动车辆的行为规划,包括规划行驶路径。所述至少一个控制器被进一步编程以根据行为规划控制致动器。
在一些方面,由认知情境意识模块执行的认知分析包括生成外部实体的区域关注度级别值,估计外部实体的行为关注度级别值,计算外部实体的风险级别值,确定是否检测到异常,并在检测到异常时改变外部实体的区域关注度级别值。
在本公开的另一方面,一种使用感知启发的事件生成用于车辆的情境意识的方法包括:由控制器接收来自车辆传感器的感知输入数据;并由控制器处理感知输入数据以分类和生成与车辆附近的外部实体相关的参数。该方法还包括由控制器生成分层事件结构,该分层事件结构通过将外部实体分类在关注度区域内并根据外部实体的风险级别值对关注度区域内的外部实体优先排序来对感知输入数据进行分类和优先排序。较高的风险级别值表示关注度区域内的较高优先级。该方法还包括由控制器基于分层事件结构来开发车辆的行为规划。
在一些方面,关注度区域是高关注度区域、低关注度区域和无关注度区域中的一个。
在一些方面,感知输入数据包括与车辆附近的外部实体相关的实体数据,包括车辆附近的外部实体的车道位置、外部实体相对于车辆的预测路径、以及一个或多个行车道相对于车辆的位置和取向中的一个或多个。感知输入数据还包括车辆的车辆特性数据,包括车辆速度、制动和车辆的规划行驶路径中的一个或多个。
在一些方面,处理感知输入数据包括生成外部实体的区域关注度级别值,估计外部实体的行为关注度级别值,计算外部实体的风险级别值,确定是否检测到异常,并在检测到异常时改变外部实体的区域关注度级别值。
在一些方面,在检测到异常时,外部实体被分类在紧急关注度区域中。
在一些方面,生成外部实体的区域关注度级别值包括评估外部实体相对于车辆的预测路径、一个或多个行车道相对于车辆的位置和取向、以及车辆的规划行驶路径。
在一些方面,外部实体x i 的行为关注度级别值计算为,其中,α和β是权重,使得(0 ≤ α + β ≤ 1),表示外部实体x i 的位置、速度和航向角,是外部实体的期望位置,是外部实体相对于限速的期望速度,是外部实体的期望航向角,S m (n)是在最小和最大“n”值之外收敛的“m”分量的sigmoid函数。
在一些方面,风险级别值与预定风险阈值进行比较,并且当风险级别值低于预定风险阈值时,外部实体被分类在无关注度区域中,并且关于外部实体的感知数据不被控制器存储。
方案1. 一种控制车辆的方法,包括:
由控制器接收来自车辆传感器的感知输入数据;
由控制器使用人类感知启发的认知分析来处理感知输入数据以分类和生成与车辆附近的外部实体相关的参数;
由控制器生成分层事件结构,该分层事件结构通过将外部实体分类为高关注度区域、低关注度区域和无关注度区域中的一个来对感知输入数据进行分类和优先排序;
由控制器开发车辆的行为规划;以及
由控制器生成控制信号以控制车辆的致动器。
方案2. 根据方案1所述的方法,其中,感知输入数据包括与车辆附近的外部实体相关的实体数据,包括车辆附近的外部实体的车道位置、外部实体相对于车辆的预测路径、以及一个或多个行车道相对于车辆的位置和取向中的一个或多个,感知输入数据还包括车辆的车辆特性数据,包括车辆速度、制动和车辆的规划行驶路径中的一个或多个。
方案3. 根据方案2所述的方法,其中,使用人类感知启发的认知分析来处理感知输入数据包括生成外部实体的区域关注度级别值,估计外部实体的行为关注度级别值,计算外部实体的风险级别值,确定是否检测到异常,并在检测到异常时改变外部实体的区域关注度级别值。
方案4. 根据方案3所述的方法,其中,生成外部实体的区域关注度级别值包括评估外部实体相对于车辆的预测路径、一个或多个行车道相对于车辆的位置和取向、以及车辆的规划行驶路径。
方案5. 根据方案4所述的方法,其中,生成分层事件结构包括根据外部实体的风险级别值对关注度区域内的外部实体进行优先排序,其中,较高的风险级别值表示关注度区域内的较高优先级。
方案6. 根据方案4所述的方法,其中,表示为x i 的外部实体的区域关注度级别值计算为L ZA (x i ) = S xi (Z +αC(x i )),其中,Z是外部实体的基线区域关注度级别值,C(x i )是外部实体的复杂度的计算,且S xi 是sigmoid函数。
方案7. 根据方案5所述的方法,其中,基线区域关注度级别值Z对于无关注度区域为0,对于低关注度区域为0.4,对于高关注度区域为0.8。
方案8. 根据方案6所述的方法,其中,表示为x i 的外部实体的行为关注度级别值计算为,其中,表示外部实体x i 的位置、速度和航向角,是外部实体的期望位置,是外部实体相对于限速的期望速度,是外部实体的期望航向角。
方案10. 根据方案3所述的方法,其中,表示为x i 的外部实体的行为关注度级别值计算为,其中,α和β是权重,使得(0 ≤ α + β ≤ 1),表示外部实体x i 的位置、速度和航向角,是外部实体的期望位置,是外部实体相对于限速的期望速度,是外部实体的期望航向角,S m (n)是在最小和最大“n”值之外收敛的“m”分量的sigmoid函数。
方案11. 一种机动车辆,包括:
配置为检测机动车辆附近的外部特征的多个环境传感器;
配置为检测车辆特性的多个车辆传感器;
配置为控制车辆转向、加速、制动或换档的致动器;以及
至少一个控制器,所述至少一个控制器与所述多个环境传感器、所述多个车辆传感器中的相应传感器和致动器进行电子通信,所述至少一个控制器用自动驾驶系统控制算法编程并且配置为基于自动驾驶系统控制算法自动控制致动器,自动驾驶控制系统算法包括:
感知系统,所述感知系统配置为接收来自所述多个环境传感器的感知输入数据和来自所述多个车辆传感器的车辆特性数据;
认知情境意识模块,所述认知情境意识模块配置为使用人类感知启发的认知分析来处理感知输入数据和车辆特性数据,以分析机动车辆附近的外部实体,该分析包括生成分层事件结构,该分层事件结构通过将外部实体分类为高关注度区域、低关注度区域和无关注度区域中的一个来对感知输入数据进行分类和优先排序;以及
车辆控制模块,该车辆控制模块配置为开发机动车辆的行为规划,包括规划行驶路径;
其中,所述至少一个控制器被进一步编程以根据行为规划控制致动器。
方案12. 根据方案11所述的机动车辆,其中,由认知情境意识模块执行的认知分析包括生成外部实体的区域关注度级别值,估计外部实体的行为关注度级别值,计算外部实体的风险级别值,确定是否检测到异常,并在检测到异常时改变外部实体的区域关注度级别值。
方案13. 一种使用感知启发的事件生成用于车辆的情境意识的方法,包括:
由控制器接收来自车辆传感器的感知输入数据;
由控制器处理感知输入数据以分类和生成与车辆附近的外部实体相关的参数;
由控制器生成分层事件结构,该分层事件结构通过将外部实体分类在关注度区域内并根据外部实体的风险级别值对关注度区域内的外部实体优先排序来对感知输入数据进行分类和优先排序,其中,较高的风险级别值表示关注度区域内的较高优先级;以及
由控制器基于分层事件结构来开发车辆的行为规划。
方案14. 根据方案13所述的方法,其中,关注度区域是高关注度区域、低关注度区域和无关注度区域中的一个。
方案15. 根据方案13所述的方法,其中,感知输入数据包括与车辆附近的外部实体相关的实体数据,包括车辆附近的外部实体的车道位置、外部实体相对于车辆的预测路径、以及一个或多个行车道相对于车辆的位置和取向中的一个或多个,感知输入数据还包括车辆的车辆特性数据,包括车辆速度、制动和车辆的规划行驶路径中的一个或多个。
方案16. 根据方案15所述的方法,其中,处理感知输入数据包括生成外部实体的区域关注度级别值,估计外部实体的行为关注度级别值,计算外部实体的风险级别值,确定是否检测到异常,并在检测到异常时改变外部实体的区域关注度级别值。
方案17. 根据方案16所述的方法,其中,在检测到异常时,外部实体被分类在紧急关注度区域中。
方案18. 根据方案16所述的方法,其中,生成外部实体的区域关注度级别值包括评估外部实体相对于车辆的预测路径、一个或多个行车道相对于车辆的位置和取向、以及车辆的规划行驶路径。
方案19. 根据方案16所述的方法,其中,表示为x i 的外部实体的行为关注度级别值计算为,其中,α和β是权重,使得(0 ≤ α + β ≤ 1),表示外部实体x i 的位置、速度和航向角,是外部实体的期望位置,是外部实体相对于限速的期望速度,是外部实体的期望航向角,S m (n)是在最小和最大“n”值之外收敛的“m”分量的sigmoid函数。
方案20. 根据方案13所述的方法,其中,风险级别值与预定风险阈值进行比较,并且当风险级别值低于预定风险阈值时,外部实体被分类在无关注度区域中,并且关于外部实体的感知数据不被控制器存储。
附图说明
将结合以下附图描述本公开,其中相同的附图标记表示相同的元件。
图1是根据本公开的实施例的包括自主控制车辆的通信系统的示意图。
图2是根据本公开的实施例的用于车辆的自动驾驶系统(ADS)的示意性框图。
图3是根据本公开的实施例的使用基于关注度的事件结构的认知情境意识的方法的高级别流程图。
图4是根据本公开的实施例的分层事件结构的高级别流程图。
图5是根据本公开的实施例的认知情境意识事件的示意图。
图6是根据本公开的实施例的另一认知情境意识事件的示意图。
图7是根据本公开的实施例的认知情境意识事件的示意图,图示了类似关注度区域的合并。
图8是根据本公开的实施例的基于概率的行为关注度的图形表示。
根据以下描述和所附权利要求结合附图考虑,本公开的前述和其它特征将变得更加完全清楚。应当理解,这些附图仅示出了根据本公开的若干实施例,而不应被认为是对本公开的范围的限制,将通过使用附图以附加的具体性和细节来描述本公开。附图中或本文其它地方公开的任何尺寸仅用于图示目的。
具体实施方式
本文描述了本公开的实施例。然而,应当理解,所公开的实施例仅仅是示例,其它实施例可以采取不同的和可选的形式。附图不必按比例绘制;一些特征可能被夸大或最小化以示出特定部件的细节。因此,本文公开的具体结构和功能细节不应被解释为限制性的,而仅仅作为教导本领域技术人员以各种方式使用本公开的代表性基础。如本领域的普通技术人员将理解的那样,参考任何一个附图图示和描述的各种特征可以与一个或多个其它附图中图示的特征相组合,以产生没有明确图示或描述的实施例。所图示特征的组合为典型应用提供了代表性实施例。然而,与本公开的教导一致的特征的各种组合和修改对于特定的应用或实施方式可能是期望的。
某些术语在以下描述中可能仅出于参考目的而使用,因此并不旨在是限制性的。例如,诸如“上方”和“下方”的术语指的是所参考的附图中的方向。诸如“前”、“后”、“左”、“右”、“后部”和“侧”的术语描述了部件或元件的部分在一致但任意的参考框架内的取向和/或位置,这通过参考描述所讨论的部件或元件的上下文和相关附图而变得清楚。此外,诸如“第一”、“第二”、“第三”等的术语可以用来描述单独的部件。这样的术语可以包括上面特别提及的词语、其派生词和类似含义的词语。
图1示意性地图示了包括用于机动车辆12的移动车辆通信和控制系统10的操作环境。用于车辆12的通信和控制系统10总体上包括一个或多个无线载波系统60、陆用通信网络62、计算机64、诸如智能电话的移动装置57和远程访问中心78。
图1中示意性示出的车辆12在所示实施例中被描绘为客车,但是应当理解,也可以使用任何其它车辆,包括摩托车、卡车、运动型多功能车(SUV)、旅行车辆(RV)、船舶、飞机等。车辆12包括推进系统13,推进系统13在各种实施例中可以包括内燃发动机、诸如牵引马达的电机和/或燃料电池推进系统。
车辆12还包括变速器14,变速器14配置成根据可选择的速度比将动力从推进系统13传递到多个车辆车轮15。根据各种实施例,变速器14可以包括有级(step ratio)自动变速器、连续可变(无级)变速器或其它适当的变速器。
车辆12还包括车轮制动器17,其配置成向车辆车轮15提供制动扭矩。在各种实施例中,车轮制动器17可以包括摩擦制动器、诸如电机的再生制动系统和/或其它适当的制动系统。
车辆12还包括转向系统16。虽然为了说明的目的而被描绘为包括方向盘,但是在本公开范围内设想的一些实施例中,转向系统16可以不包括方向盘。
车辆12包括配置成与其它车辆(“V2V”)和/或基础设施(“V2I”)无线通信的无线通信系统28。在示例性实施例中,无线通信系统28配置成经由专用短程通信(DSRC)信道进行通信。DSRC信道指的是专为汽车使用以及相应的一组协议和标准而设计的单向或双向短程至中程无线通信信道。然而,配置成经由附加的或可选的无线通信标准(诸如,IEEE 802.11和蜂窝数据通信)进行通信的无线通信系统也被认为在本公开的范围内。
推进系统13、变速器14、转向系统16和车轮制动器17与至少一个控制器22通信或在至少一个控制器22的控制之下。虽然出于说明目的被描绘为单个单元,但是控制器22可以附加地包括一个或多个其它控制器,总的称为“控制器”。控制器22可包括与各种类型的计算机可读存储装置或介质通信的微处理器或中央处理单元(CPU)。例如,计算机可读存储装置或介质可以包括只读存储器(ROM)、随机存取存储器(RAM)和保持活动存储器(KAM)中的易失性和非易失性存储装置。KAM是持久或非易失性存储器,其可用于在CPU断电时存储各种操作变量。计算机可读存储装置或介质可以使用多种已知存储器装置中的任何一种来实施,诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储数据的任何其它电、磁、光或组合存储器装置,所述数据中的一些表示由控制器22在控制车辆时使用的可执行指令。
控制器22包括自动驾驶系统(ADS)24,用于自动控制车辆中的各种致动器。在示例性实施例中,ADS 24是所谓的四级或五级自动化系统。四级系统表示“高度自动化”,指的是由自动驾驶系统以特定驾驶模式执行动态驾驶任务的所有方面,即使驾驶员没有对干预请求做出适当响应。五级系统表示“完全自动化”,指的是在可以由人类驾驶员管理的所有道路和环境条件下由自动驾驶系统全时执行动态驾驶任务的所有方面。在示例性实施例中,ADS 24配置成响应于来自多个传感器26的输入,在没有人类干预的情况下经由多个致动器30控制推进系统13、变速器14、转向系统16和车轮制动器17,以分别控制车辆加速、转向和制动,所述多个传感器30可以包括GPS、RADAR、LIDAR、光学相机、热成像相机、超声波传感器和/或适当的附加传感器。
图1图示了可以与车辆12的无线通信系统28通信的几个联网装置。可以经由无线通信系统28与车辆12通信的联网装置中的一个是移动装置57。移动装置57可以包括计算机处理能力、能够使用短程无线协议进行通信的收发器以及可视智能电话显示器59。计算机处理能力包括呈可编程装置形式的微处理器,该微处理器包括存储在内部存储器结构中并且应用于接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中,移动装置57包括能够接收GPS卫星信号并基于那些信号生成GPS坐标的GPS模块。在其它实施例中,移动装置57包括蜂窝通信功能,使得移动装置57使用一个或多个蜂窝通信协议在无线载波系统60上执行语音和/或数据通信,如本文所讨论的那样。可视智能电话显示器59还可以包括触摸屏图形用户界面。
无线载波系统60优选地是蜂窝电话系统,其包括多个蜂窝塔70(仅示出一个)、一个或多个移动交换中心(MSC)72、以及将无线载波系统60与陆用通信网络62连接所需的任何其它联网部件。每个蜂窝塔70包括发送和接收天线以及基站,来自不同蜂窝塔的基站直接或经由中间设备(诸如基站控制器)连接到MSC 72。无线载波系统60可以实施任何合适的通信技术,包括例如模拟技术(诸如AMP)、或者诸如CDMA(例如,CDMA2000)或GSM/GPRS的数字技术。其它蜂窝塔/基站/MSC布置也是可能的,并且可以与无线载波系统60一起使用。例如,基站和蜂窝塔可以共同位于同一地点处,或者它们可以彼此远离定位,每个基站可以负责单个蜂窝塔,或者单个基站可以服务各种蜂窝塔,或者各种基站可以联接到单个MSC,仅举几个可能的布置为例。
除了使用无线载波系统60之外,可以使用呈卫星通信形式的第二无线载波系统来提供与车辆12的单向或双向通信。这可以使用一个或多个通信卫星66和上行链路传输站67来完成。单向通信可以包括例如卫星无线电服务,其中节目内容(新闻、音乐等)由传输站67接收、打包用于上传、并且然后发送到卫星66,卫星66向用户广播节目。双向通信可以包括例如使用卫星66来中继车辆12和站67之间的电话通信的卫星电话服务。除了无线载波系统60之外或者代替无线载波系统60,可以利用卫星电话。
陆用网络62可以是连接到一个或多个陆线电话的常规基于陆用的电信网络,并将无线载波系统60连接到远程访问中心78。例如,陆用网络62可以包括公共交换电话网络(PSTN),诸如用于提供硬连线电话、分组交换数据通信和互联网基础设施的网络。陆用网络62的一个或多个段可以通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网络(WLAN)或提供宽带无线接入的网络(BWA)或其任何组合)来实施。此外,远程访问中心78不需要经由陆用网络62连接,而是可以包括无线电话设备,使得它可以直接与无线网络(诸如无线载波系统60)通信。
尽管在图1被示为单个装置,但是计算机64可以包括可经由私有或诸如互联网的公共网络访问的多个计算机。每个计算机64可以用于一个或多个目的。在示例性实施例中,计算机64可以配置为可由车辆12经由无线通信系统28和无线载波60访问的网页服务器。其它计算机64可以包括例如:服务中心计算机(其中诊断信息和其它车辆数据可以经由无线通信系统28从车辆上传)或第三方储存库(车辆数据或其它信息可以提供给第三方储存库或者从第三方储存库提供),不管是通过与车辆12、远程访问中心78、移动装置57或它们的一些组合进行通信。计算机64可以维护可搜索的数据库和数据库管理系统,其允许数据的进入、移除和修改以及在数据库内定位数据的请求的接收。计算机64还可以用于提供互连网连接,诸如DNS服务,或者作为网络地址服务器,其使用DHCP或其它合适的协议来为车辆12分配IP地址。除了车辆12之外,计算机64还可以与至少一个补充车辆通信。车辆12和任何补充车辆可以总的称为车队。
如图2所示,ADS 24包括多个不同的控制系统,至少包括用于确定车辆附近检测到的特征或目标的存在、位置、分类和路径的感知系统32。感知系统32配置为接收来自各种传感器的输入,例如图1中所示的传感器26,并且合成和处理传感器输入以生成用作ADS24的其它控制算法的输入的参数。
感知系统32包括传感器融合和预处理模块34,其处理和合成来自各种传感器26的传感器数据27。传感器融合和预处理模块34执行传感器数据27的校准,包括但不限于LIDAR到LIDAR的校准、相机到LIDAR的校准、LIDAR到底盘的校准和LIDAR光束强度校准。传感器融合和预处理模块34输出预处理的传感器输出35。
分类和分割模块36接收预处理的传感器输出35并且执行目标分类、图像分类、交通灯分类、目标分割、地面分割和目标跟踪过程。目标分类包括但不限于识别和分类周围环境中的目标,包括识别和分类交通信号和标志、雷达融合和跟踪以经由 LIDAR融合考虑传感器的放置和视野 (FOV)以及误报拒绝(false positive rejection,或伪阳性拒绝),以消除城市环境中存在的许多误报,诸如例如井盖(manhole cover)、桥梁、高架树或灯杆以及具有高 RADAR 横截面但不影响车辆沿其路径行驶的能力的其它障碍物。由分类和分割模块 36 执行的附加目标分类和跟踪过程包括但不限于自由空间检测和高级别跟踪,其融合来自 RADAR 轨迹、LIDAR 分割、LIDAR 分类、图像分类、目标形状拟合模型、语义信息(semantic information)、运动预测、光栅地图、静态障碍物地图和其它来源的数据,以生成高质量的目标轨迹。分类和分割模块36另外执行交通控制装置分类和交通控制装置与车道关联和交通控制装置行为模型的融合。分类和分割模块36生成包括目标识别信息的目标分类和分割输出37。
定位和地图(mapping)模块40使用目标分类和分割输出37来计算参数,包括但不限于在典型的和具有挑战性的驾驶场景两者中对车辆12的位置和取向的估计。这些具有挑战性的驾驶场景包括但不限于有许多汽车的动态环境(例如,密集的交通)、具有大规模障碍物的环境(例如,道路施工或建筑工地)、丘陵、多车道道路、单车道道路、各种道路标记和建筑物或缺乏所述标记和建筑物(例如,住宅区与商业区),以及桥梁和立交桥(车辆当前路段的上方和下方两者)。
定位和地图模块40还结合了作为由车辆12在操作期间执行的车载地图功能获得的扩展地图区域以及经由无线通信系统28“推送”到车辆12的地图数据的结果而收集的新数据。定位和地图模块40用新信息(例如,新车道标记、新建筑结构、建筑区域的添加或移除等)更新先前的地图数据,同时不修改未受影响的地图区域。可以生成或更新的地图数据的示例包括但不限于让行线(yield line)分类、车道边界生成、车道连接、次要和主要道路的分类、左转和右转的分类以及交叉路口车道创建。定位和地图模块40产生包括车辆12相对于检测到的障碍物和道路特征的位置和取向的定位和地图输出41。
车辆里程计模块46从车辆传感器26接收数据27并产生车辆里程计输出47,其包括例如车辆航向和速度信息。绝对定位模块42接收定位和地图输出41以及车辆里程计信息47并且生成车辆位置输出43,其用于如下所讨论的单独计算。
目标预测模块 38 使用目标分类和分割输出 37 来生成参数,包括但不限于检测到的障碍物相对于车辆的位置、检测到的障碍物相对于车辆的预测路径,以及行车道相对于车辆的位置和取向。关于目标(包括行人、周围车辆和其它移动目标)的预测路径的数据作为目标预测输出 39 输出,并用于如下所讨论的单独计算。
ADS 24还包括观察模块44和解释模块48。观察模块44产生由解释模块48接收的观察输出45。观察模块44和解释模块48允许远程访问中心78的访问。解释模块48产生解释输出49,其包括由远程访问中心78提供的附加输入(如果有的话)。
路径规划模块50处理并合成目标预测输出39、解释输出49和从在线数据库或远程访问中心78接收的附加路线信息79,以确定要遵循的车辆路径以将车辆保持在期望路线上,同时遵守交通法规并避开任何检测到的障碍物。路径规划模块50采用配置为避开车辆附近的任何检测到的障碍物、将车辆保持在当前行车道以及将车辆保持在期望路线上的算法。路径规划模块50输出车辆路径信息作为路径规划输出51。路径规划输出51包括基于车辆路线、车辆相对于路线的位置、行车道的位置和取向、以及任何检测到的障碍物的存在和路径的命令车辆路径。
第一控制模块52处理并合成路径规划输出51和车辆位置输出43以生成第一控制输出53。在车辆操作的远程接管模式的情况下,第一控制模块52还合并由远程访问中心78提供的路线信息79。
车辆控制模块 54 接收第一控制输出 53 以及从车辆里程计 46 接收的速度和航向信息 47 并生成车辆控制输出 55。车辆控制输出 55 包括一组致动器命令以实现来自车辆控制模块54的命令路径,包括但不限于转向命令、换档命令、节气门命令和制动命令。
车辆控制输出55被传送到致动器30。在示例性实施例中,致动器30包括转向控制件、换档控制件、节气门控制件和制动控制件。转向控制件可以例如控制如图1所示的转向系统16。换档控制件可以例如控制如图1所示的变速器14。节气门控制件可以例如控制如图1所示的推进系统13。制动控制件可以例如控制如图1所示的车轮制动器17。
本公开描述了生成事件结构的方法和系统,以表示和理解在自主车辆在道路上行驶时在自主车辆周围的环境中发生的情境。通过对环境关注度和行为关注度进行分析和优先排序,可以抽象出多个事件,使得一个表示对相应的自主实体产生相同的反应。传统的事件描述结构使用基于几何区域的分类或基于实体的分类,而没有适当的抽象和概括,因此需要大量存储来表示大量事件。因此,本公开解决了将大量事件表示为正常操作(即,驾驶)条件中的经验的需要。本文公开的方法和系统利用新的基于优先排序的关注度的事件结构来允许有效的情境意识。
本文公开的方法和系统的若干优点包括,例如但不限于,用于有效情境意识的人类感知启发的事件生成、包括关注度区域和行为关注度的分层结构、以及风险级别分析以确定在每个关注度区域内的优先排序的事件/障碍物/车辆/行人/等。此外,本文公开的方法和系统包括用于处理异常事件/障碍物/车辆/行人/等的紧急关注度区域,其对车辆12的自主操作造成即时干涉。最后,本文公开的方法和系统有效地压缩交通情境信息以进行有效数据处理。使用本文公开的方法和系统,从诸如车辆 12 之类的自主车辆的传感器获得的信息可以应用于感知、推理和理解周围情境,具有更像人类的能力和更少的计算复杂度,而不会丢失事件和环境的关键细节,导致 ADS 24 的改进导航决策。
适当的情境意识对于自主驾驶特别有用,不仅允许车辆12的安全操作,而且允许理解周围环境并做出适当的导航和车辆控制决策。虽然在由ADS 24执行的自主驾驶决策过程期间可能期望使用和存储许多种信息,但出于实际原因,应当有效地表示、存储和使用到ADS 24的输入数据。因此,ADS 24 应当利用为决策制定的效率和充分性两者而设计好的方法和系统。本文公开的方法和系统针对对车辆当前和规划行驶路径的紧迫性和威胁评估车辆 12 周围的相邻情境。通过将区域关注度和行为关注度组合并将权重分配给各个关注度区域内的实体来关注即时环境,允许 ADS 24 处理多个相邻实体和复杂场景。
图3图示了根据实施例的使用基于关注度的事件结构生成认知情境意识的方法100的高级别图。方法100可以结合如本文所讨论的车辆12和ADS 24的各种模块来使用。根据示例性实施例,方法100可以结合如本文讨论的控制器22使用,或者由与车辆相关联或与车辆独立的其它系统使用。方法100的操作顺序不限于如图3所示的次序执行,而是可以以一个或多个不同的顺序来执行,或者步骤可以同时执行,如根据本公开所适用的那样。
在102处,ADS 24从车辆12的传感器26接收感知输入。在各种实施例中,感知输入包括来自各种传感器的传感器数据,包括GPS、RADAR、LIDAR、光学相机、热成像相机、超声波传感器和/或适当的附加传感器。感知输入包括关于周围环境的数据以及关于车辆特性的数据,包括例如但不限于速度、制动、规划行驶路径等。在各种实施例中,感知输入是与外部特征相关的传感器数据,例如车辆12附近的其它车辆、目标、行人等。在各种实施例中,感知输入通过ADS 24的感知系统32从传感器26接收。
ADS 24的各种模块处理传感器数据并将数据以令牌(token)的形式传送到认知情境意识模块,如104处所示。在一些实施例中,认知情境意识模块是ADS 24的模块,且与定位和地图模块40组合工作以在典型的和具有挑战性的驾驶场景两者中估计车辆12的位置。此外,认知情境意识模块与 ADS 24 的目标预测模块 38组合工作以进一步分类和生成与检测到的障碍物相对于车辆 12 的位置、检测到的障碍物相对于车辆12的预测路径、以及行车道相对于车辆 12 的位置和取向相关的参数。如本文更详细讨论的那样,认知情境意识功能包括对车辆 12 周围环境中任何检测到的障碍物或实体的区域关注度分配、对于检测到的障碍物或实体的行为关注度估计、对检测到的障碍物或实体的风险级别分析和任何异常实体或行为的识别,以及对任何异常实体或行为的区域关注度分配的重新分配。
认知情境意识功能生成相应的分层事件结构,如114处所示。分层事件结构在图4中更详细地示出并在下文更详细地讨论。然后使用事件结构信息来开发行为规划,如116处所示。行为规划可以由 ADS 24 的目标预测模块 38 或由 ADS 24 的另一个模块执行。决策行为,通常以轨迹的形式,从行为规划生成,并与由路径规划模块50使用的其它信息合成以生成要遵循的车辆路径,以将车辆保持在期望路线上,同时遵守交通法规并避开任何检测到的障碍物。包括决策行为的路径规划输出51被发送到车辆控制器,例如车辆控制模块54,如118处所示。如本文所描述的那样,车辆控制模块54生成一个或多个控制信号或车辆控制输出55,所述一个或多个控制信号或车辆控制输出55发送到车辆12的硬件,例如致动器30中的一个或多个,以实现命令的车辆路径,包括但不限于转向命令、制动命令和节气门命令。在各种实施例中,取决于计算负载等,图3中概述的方法100可由一个控制器(例如控制器22)执行,或者可以跨过车辆12的多个控制器分布。
继续参考图3,更具体地说是104处所示的认知情境意识步骤,一旦来自传感器26、车辆电子控制单元(ECU)系统和外部馈送环境信息的感知数据被控制器22接收,根据环境数据和车辆 12 的规划路径或期望轨迹,对车辆附近的每个外部实体进行区域关注度级别分配,如106处所示。在108 处对于每个区域执行对每个外部实体的行为关注度估计,考虑分配区域内的实体相对于环境条件的相关动作。在110处,基于每个实体的分配区域关注度和行为关注度,执行每个实体的风险级别分析。风险级别分析可以揭示异常,例如意外目标、实体的意外行为和/或紧急关注度区域。如果需要,在112处,基于任何检测到的异常重新分配每个实体的关注度和行为区域。在认知情境意识步骤 104 中为每个实体生成的分析和优先排序的环境关注度和行为关注度数据在 114处存储为分层事件结构。
根据实施例的分层事件结构124在图4中示出。事件结构124的最高级别包括标题信息130、紧急关注度区域132、高关注度区域134、低关注度区域136和无关注度区域138。如果在车辆 12 周围环境中发生异常目标或异常动作,该目标或动作实体被列举在紧急关注度区域 132 中。每个区域按优先级降序列举,即,分类在紧急关注度区域 132 中的实体接收最高优先级,分类在高关注度区域134中的实体接收次最高优先级,依此类推。每个区域内的实体被分配风险级别。如图4所示,紧急关注度区域132内的实体140、142被分配风险级别。每个区域内的实体通过风险级别排序,具有最高风险级别的实体排序高于具有较低风险级别的实体。类似地,实体144、146被分类在高关注度区域134内并且被分配风险级别并且被适当地排序。此外,实体148、150被分类在低关注度区域136内并且根据它们分配的风险级别进行排序。环境考虑因素,例如该区域中已知的交通模式,允许选择性地存储处于或高于预定风险阈值的实体。不存储被分类在无关注度区域138中的实体以减少计算存储需求。
根据道路结构(例如车辆 12 正前方的区域、合并车道等),使用各种因素确定车辆 12 周围环境中的关注度区域,所述因素包括例如但不限于车辆 12 的规划路径(例如,左转、右转等)、交通环境(直路、交叉路口、车道数量、车辆 12 在道路上的位置等),以及会导致与目标或其它车辆碰撞的可能路径。
用于常见自主驾驶场景的区域关注度分配的两个示例在图5和6中示出。图5示出了接近交叉路口的车辆12意图进行右转。交叉路口本身的区域被分类为高关注度区域134。一旦车辆12已经在交叉路口进行右转,其它高关注度区域134包括车辆12前方和后方两者的行驶车道。此外,与车辆12的预期行驶路径相反方向的行驶车道被分类为高关注度区域134。被分类为高关注度区域134的图5中的每个区域是在规划行驶路径期间车辆12旨在进入的区域和/或其它车辆或行人可能干扰车辆12的规划路径的区域。此外,具有先行权的其它车辆的区域也被分类为高关注度区域 134。
继续参考图5,与车辆12直接相对的交叉路口的区域被指定为低关注度区域136。被分类为低关注度区域136的区域是可能存在其它车辆或行人但是这些区域中的车辆或行人将干扰车辆 12 的规划行驶路径的概率比被分类为高关注度区域 134 的区域更低的区域。
如图5所示,两个区域被分类为无关注度区域138。无关注度区域138是其中可能存在其它车辆、目标和/或行人但被分类为不太可能干扰车辆12的规划行驶路径(除非这些其它车辆、目标和/或行人展现出异常行为)的区域。异常行为包括,例如但不限于,车辆离开预期的行驶车道或行人在指定的横穿区域之外横穿街道。
区域关注度分配的另一个示例在图6中示出。在该示例中,车辆12沿着在每个方向具有多条行驶车道的道路行驶。车辆12正前方的区域和车辆12左侧紧邻相反方向的行驶车道被分类为高关注度区域134。车辆12后方和车辆12右侧紧邻的区域是被分类为低关注度区域136。最后,在车辆12后方的沿车辆12的相反方向延伸的行驶车道(即,这些行驶车道内的车辆已经经过车辆12并且车辆12正在移动远离这些车辆)和与车辆 12 相隔至少一个行驶车道的相反行驶车道被分类为无关注度区域 138。
如本文所讨论的那样,如果车辆12的传感器检测到会干扰车辆12的规划路径的意外行为,则任何区域内(特别是无关注度区域138中)的车辆、目标和/或行人可被分类为紧急关注度区域或目标。在估计风险值时分配紧急关注度区域。在各种实施例中,图5和6中所示的关注度区域基于分配给车辆12周围环境中的单元格或区域元素的关注度区域类型的合并。这些单元格或区域元素显示在图7的左侧面板中,合并的关注度区域显示在图7的右侧面板中。
在各种实施例中,用于分配区域分配的信息从两个来源获得:来自导航系统(例如车辆12的GPS)的先验地图数据,以及来自车辆12的传感器26的感知数据。如本文所提到的那样,控制器 22 经由ADS 24 的各种模块完成准确和稳健的环境到地图的对应和感知输出。一旦将区域关注度分配给相邻的区域元素(例如其它车辆、目标、障碍物、行人等),相同区域关注度级别的元素被合并,如图7的右侧面板所示。
区域中的每个相邻车辆、目标或行人x i 都有其自己的由相应的关注度区域分配的区域关注度级别值L ZA (x i )。在一个示例中,高关注度区域将区域关注度级别值L ZA (x i )= 0.8分配给高关注度区域134内的外部实体(包括车辆、目标或行人),低关注度区域将区域关注度级别值L ZA (x i ) = 0.4分配给低关注度区域 136 内的车辆、目标或行人,并且无关注度区域将零区域关注度级别值分配给低关注度区域 138 内的车辆、目标或行人。
在另一个示例中,区域关注度级别值计算如下:
L ZA (x i ) = S xi (Z +αC(x i ))
其中,Z是分别用于无、低和高关注度区域 138、136、134的基线区域关注度级别值{0, 0.4, 0.8};C(x i )是外部实体(即车辆、目标或行人)的复杂度计算;S xi 是 sigmoid 函数。
每个关注度区域可以包含多个实体或动作者(agent),每个实体或动作者都有其自己的基于各种因素分配的行为关注度级别值。这些因素包括但不限于实体相对于道路的相应车道或车辆 12 的行驶路径的位置、实体相对于车辆 12 的期望速度的速度以及实体相对于道路的相应车道或车辆12的行驶路径的航向角。
为了获得行为关注度级别值,使用以下示例性方法中的一种来组合这些因素。在一种方法中,使用实体的运动学信息。分配给实体的行为关注度级别值取决于实体的相对位置、速度和航向。相对性由实体的实际行为与实体的预期行为之间的差异(即实体的实际位置、速度和航向与实体的预期位置、速度和航向之间的差异)确定。对于自主车辆,例如车辆 12,实体的实际路径应当与预期的实体轨迹对齐。在各种实施例中,行为关注度级别值从以下等式获得:
在各种实施例中,行为关注度级别值作为每个分量的 sigmoid 函数的加权求和获得,表示为:
其中,α 和 β是权重,使得 (0 ≤ α + β ≤ 1),S m (n)是在最小和最大“n”值之外收敛的“m”分量的 sigmoid 函数。当各个分量偏差增加时,也增加,意味着实体的关注度级别值增加。
在各种实施例中,使用预先训练的信息以获得每个实体的行为关注度级别值。假定环境中的某个实体x具有m个可能的训练路径,(其中,i=1…m)表示实体的可能路径。从时间t-k到t的观测值可以构建每个可行训练路径的概率。在各种实施例中,概率通过概率估计获得。在正常情境(即,实体不具有任何异常行为或问题的情境)中,至少一个预期动作应当具有比意外行为的阈值概率(表示为p th )更高的概率。以数学形式,发生以下关系:
可选地,在异常情境(即,实体展现异常行为或问题的情境)中,所有可能预期动作不能具有比p th 更高的概率,且发生以下关系:
因此,行为关注度级别值作为每个实体的预期动作概率和异常阈值概率的函数被获得,如下所示:
以数学形式,行为关注度级别值计算为:
在获得每个实体的区域关注度级别值L ZA 和行为关注度级别值L BA 之后,控制器22估计相应实体对车辆12的规划路径或当前位置的风险值。在各种实施例中,风险值估计为:
一旦知道每个实体的风险值,就可以对同一关注度区域(例如,高关注度区域 134和低关注度区域 136)内的多个实体排序,如图4所示。只有那些风险值高于一定风险阈值r th 的实体才会在分层事件结构 124 中排序。
此外,如果,其中r UA 是紧急关注度区域实体的风险阈值,则将该实体添加到现有的紧急关注度区域 132 或创建紧急关注度区域 132(如果它没有已经存在于分级事件结构 124中)。紧急关注度区域 132 内的实体被给予最高优先级,即,ADS 24 在确定是否应当对车辆12的规划路径做出任何改变时认为这些实体最重要。大于 r UA 的实体的风险值通常(如果不总是)由异常交通情境引起。
当针对相似事件生成新的事件队列时,按照区域关注度级别的顺序比较两个事件(即,比较紧急关注度区域级别,然后是高关注度区域级别,然后是低关注度区域级别)。在每个区域内,按照风险值的顺序考虑相应实体。
使用分层事件结构124生成认知情境意识的方法100的一个益处是存储空间的更有效使用。对于大多数交通情境,例如图 5和6中所示的两个示例,有意义实体(即,具有大于风险阈值的风险值的实体)的数量大约为10。每个实体的信息,包括关注度区域类型、相对于车辆12的位置或姿势、以及风险值,需要比用于评估环境条件和与车辆12的潜在交互的其它方法少得多的存储空间。如本文所讨论的那样,使用认知情境意识有效地减少了用于由控制器有效数据处理的交通情境信息的量。
应当强调的是,可以对本文描述的实施例进行许多变型和修改,这些实施例的元件应当被理解为在其它可接受的示例中。所有这种修改和变型都旨在在本文中包括在本公开的范围内,并由所附权利要求保护。此外,本文描述的任何步骤可以同时执行,或者以不同于本文排序的步骤的顺序执行。此外,应当清楚的是,本文公开的具体实施例的特征和属性可以以不同的方式组合以形成附加实施例,所有这些都落入本公开的范围内。
除非另外特别说明,或者在所使用的上下文中另外被理解,本文使用的诸如(除了其它之外)“能够”、“可”、“可能”、“可以”、“例如”等的条件语言通常旨在传达某些实施例包括而其它实施例不包括某些特征、元件和/或状态。因此,这种条件语言通常不旨在暗示一个或多个实施例以任何方式需要特征、元件和/或状态,或者暗示一个或多个实施例必要地包括用于在有或没有作者输入或提示的情况下决定这些特征、元件和/或状态是否被包括在任何特定实施例中或在任何特定实施例中将被执行的逻辑。
此外,本文可能已经使用了以下术语。单数形式“一”、“一个”和“该”包括复数指代,除非上下文另有明确规定。因此,例如,对一项的引用包括对一个或多个项的引用。术语“一”指的是一个、两个或更多个,并且通常适用于选择一些或全部数量。术语“多个”指的是两个或更多个项。术语“约”或“大约”意指数量、尺寸、大小、配方、参数、形状和其它特性不需要精确,而是可以根据需要为近似的和/或更大或更小,反映可接受的公差、转换因子、舍入、测量误差等和本领域技术人员已知的其它因素。术语“基本上”意指所记载的特性、参数或值不需要精确实现,而是偏差或变化(包括例如公差、测量误差,测量精度限制和本领域技术人员已知的其它因素)可能以不排除该特性旨在提供的效果的量出现。
为了方便起见,多个项可能呈现在共同列表中。然而,这些列表应当被解释为好像列表的每个成员被单独地标识为单独的和唯一的成员。因此,在没有相反指示的情况下,这种列表中的任何单个成员都不应仅仅基于它们在共同组中的呈现而被解释为同一列表中的任何其它成员的事实上的等同物。此外,当术语“和”和“或”与项的列表结合使用时,它们将被广义地解释,因为任何一个或多个列举的项可以单独使用或与其它列举的项组合使用。术语“可选地”指的是选择两个或更多个可选方案中的一个,并且不旨在将选择限制为仅那些列举的可选方案或者一次仅一个列举的可选方案,除非上下文另外明确地指出。
本文公开的过程、方法或算法能够是可提交给处理装置、控制器或计算机/由处理装置、控制器或计算机实施,处理装置、控制器或计算机可包括任何现有的可编程电子控制单元或专用电子控制单元。类似地,所述过程、方法或算法可以以许多形式存储为可由控制器或计算机执行的数据和指令,包括但不限于:永久性地存储在不可写存储介质(例如,ROM装置)上的信息和可变地存储在可写存储介质(例如,软盘、磁带、CD、RAM装置和其它磁性和光学介质)上的信息。所述过程、方法或算法还可以以软件可执行目标实施。可选地,所述过程、方法或算法可以整体地或部分地使用合适的硬件部件实施,例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其它硬件部件或装置、或硬件、软件和固件部件的组合。这种示例装置可以车载为车辆计算系统的一部分,或者位于车外并与一个或多个车辆上的装置进行远程通信。
虽然上文描述了示例性实施例,但是这些实施例并不旨在描述权利要求所涵盖的所有可能的形式。说明书中使用的词语是描述性而非限制性的词语,并且应当理解的是,可在不脱离本公开的精神和范围的情况下进行各种改变。如前文所述的那样,各种实施例的特征可被组合,以形成可能未明确描述或图示的本公开的其它示例性方面。虽然各种实施例可能已经描述为关于一个或多个期望的特性提供优点或优于其它实施例或现有技术的实施方式,但是本领域普通技术人员会认识到,一个或多个特征或特性可被折衷,以实现期望的总体系统属性,这取决于具体应用和实施方式。这些属性可包括但不限于成本、强度、耐用性、生命周期成本、适销性、外观、包装、大小、可维护性、重量、可制造性、易于组装等。如此,关于一个或多个特性被描述为与其它实施例或现有技术的实施方式相比不那么期望的实施例不在本公开的范围之外,并且对于特定应用而言可能是期望的。
Claims (10)
1.一种控制车辆的方法,包括:
由控制器接收来自车辆传感器的感知输入数据;
由控制器使用人类感知启发的认知分析来处理感知输入数据以分类和生成与车辆附近的外部实体相关的参数;
由控制器生成分层事件结构,该分层事件结构通过将外部实体分类为高关注度区域、低关注度区域和无关注度区域中的一个来对感知输入数据进行分类和优先排序;
由控制器开发车辆的行为规划;以及
由控制器生成控制信号以控制车辆的致动器。
2.根据权利要求1所述的方法,其中,感知输入数据包括与车辆附近的外部实体相关的实体数据,包括车辆附近的外部实体的车道位置、外部实体相对于车辆的预测路径、以及一个或多个行车道相对于车辆的位置和取向中的一个或多个,感知输入数据还包括车辆的车辆特性数据,包括车辆速度、制动和车辆的规划行驶路径中的一个或多个。
3.根据权利要求2所述的方法,其中,使用人类感知启发的认知分析来处理感知输入数据包括生成外部实体的区域关注度级别值,估计外部实体的行为关注度级别值,计算外部实体的风险级别值,确定是否检测到异常,并在检测到异常时改变外部实体的区域关注度级别值。
4.根据权利要求3所述的方法,其中,生成外部实体的区域关注度级别值包括评估外部实体相对于车辆的预测路径、一个或多个行车道相对于车辆的位置和取向、以及车辆的规划行驶路径。
5.根据权利要求4所述的方法,其中,生成分层事件结构包括根据外部实体的风险级别值对关注度区域内的外部实体进行优先排序,其中,较高的风险级别值表示关注度区域内的较高优先级。
6.根据权利要求4所述的方法,其中,表示为x i 的外部实体的区域关注度级别值计算为L ZA (x i ) = S xi (Z +αC(x i )),其中,Z是外部实体的基线区域关注度级别值,C(x i )是外部实体的复杂度的计算,且S xi 是sigmoid函数。
7.根据权利要求5所述的方法,其中,基线区域关注度级别值Z对于无关注度区域为0,对于低关注度区域为0.4,对于高关注度区域为0.8。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/147782 | 2021-01-13 | ||
US17/147,782 US11858507B2 (en) | 2021-01-13 | 2021-01-13 | Methods for cognitive situation awareness using an attention-based event structure |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114763156A true CN114763156A (zh) | 2022-07-19 |
Family
ID=82116192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111516787.3A Pending CN114763156A (zh) | 2021-01-13 | 2021-12-13 | 使用基于关注度的事件结构的认知情境意识的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11858507B2 (zh) |
CN (1) | CN114763156A (zh) |
DE (1) | DE102021131602A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9511767B1 (en) * | 2015-07-01 | 2016-12-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Autonomous vehicle action planning using behavior prediction |
US10467488B2 (en) * | 2016-11-21 | 2019-11-05 | TeleLingo | Method to analyze attention margin and to prevent inattentive and unsafe driving |
DE112017008156T5 (de) * | 2017-11-21 | 2020-07-16 | Ford Global Technologies, Llc | Bestimmung von objektstandortkoordinaten |
KR20210134635A (ko) * | 2019-03-29 | 2021-11-10 | 인텔 코포레이션 | 자율 주행 차량 시스템 |
-
2021
- 2021-01-13 US US17/147,782 patent/US11858507B2/en active Active
- 2021-12-01 DE DE102021131602.2A patent/DE102021131602A1/de active Pending
- 2021-12-13 CN CN202111516787.3A patent/CN114763156A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11858507B2 (en) | 2024-01-02 |
DE102021131602A1 (de) | 2022-07-14 |
US20220219685A1 (en) | 2022-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110244701B (zh) | 用于基于自动生成的课程序列的自主车辆的强化学习的方法和装置 | |
US10073456B2 (en) | Automated co-pilot control for autonomous vehicles | |
CN109389832B (zh) | 使用v2x通信系统提高障碍意识的系统和方法 | |
US10976737B2 (en) | Systems and methods for determining safety events for an autonomous vehicle | |
US10349011B2 (en) | System and method for improved obstacle awareness in using a V2X communications system | |
US10379533B2 (en) | System and method for autonomous vehicle fleet routing | |
US11157784B2 (en) | Explainable learning system and methods for autonomous driving | |
US10613547B2 (en) | System and method for improved obstacle awareness in using a V2X communications system | |
US20180314259A1 (en) | Systems and methods for obstacle avoidance and path planning in autonomous vehicles | |
CN110850861A (zh) | 基于注意的分层变道深度强化学习 | |
CN110850854A (zh) | 自动驾驶员代理和为自动驾驶员代理提供策略的策略服务器 | |
CN110573978A (zh) | 用于自驾交通工具的动态传感器选择 | |
CN110356412B (zh) | 用于自主驾驶的自动规则学习的方法和设备 | |
US20190337511A1 (en) | System and Method for Controlling an Autonomous Vehicle | |
CN111204340B (zh) | 用于控制自主车辆的系统和方法 | |
CN112498349A (zh) | 用于紧急车道改变的操纵计划 | |
US20190061756A1 (en) | System and method for following distance adjustment for an autonomous vehicle | |
JP7181354B2 (ja) | 接続されたデータ分析プラットフォームを用いた車両経路指定 | |
US20200172106A1 (en) | System and method for control of an autonomous vehicle | |
CN111216724A (zh) | 用于控制自动驾驶车辆的系统及方法 | |
CN110789515B (zh) | 机动车辆中用于硬件验证的系统和方法 | |
CN112824150A (zh) | 通信预期交通工具操纵的系统和方法 | |
US11747164B2 (en) | Methods for multi-dimensional lane matching for autonomous vehicle localization | |
US20230080281A1 (en) | Precautionary observation zone for vehicle routing | |
US11858507B2 (en) | Methods for cognitive situation awareness using an attention-based event structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |