CN111971635A - 移动体、信息处理装置、信息处理方法和程序 - Google Patents
移动体、信息处理装置、信息处理方法和程序 Download PDFInfo
- Publication number
- CN111971635A CN111971635A CN201980025702.6A CN201980025702A CN111971635A CN 111971635 A CN111971635 A CN 111971635A CN 201980025702 A CN201980025702 A CN 201980025702A CN 111971635 A CN111971635 A CN 111971635A
- Authority
- CN
- China
- Prior art keywords
- control
- vehicle
- unit
- mobile body
- instability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000010365 information processing Effects 0.000 title claims description 22
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000033001 locomotion Effects 0.000 claims description 67
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 5
- 230000006399 behavior Effects 0.000 description 34
- 238000012545 processing Methods 0.000 description 34
- 238000004891 communication Methods 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 238000012544 monitoring process Methods 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 230000010391 action planning Effects 0.000 description 9
- 230000033228 biological regulation Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000003918 fraction a Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001687 destabilization Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
- B60W60/00182—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions in response to weather conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
- B60W60/00184—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
- B60W60/00186—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0008—Feedback, closed loop systems or details of feedback error signal
- B60W2050/0011—Proportional Integral Differential [PID] controller
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0014—Adaptive controllers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/35—Road bumpiness, e.g. potholes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/406—Traffic density
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/20—Data confidence level
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
提供一种根据本发明实施例的具有获取单元、检测单元和确定单元的移动体。获取单元获取关于移动体的状况的状况信息。基于获取的状况信息,检测单元检测在移动体的自主行驶控制中的不稳定因素。基于检测到的不稳定因素,确定单元确定用于执行自主行驶控制的控制方法。
Description
技术领域
本技术涉及能够自主移动的移动体、信息处理装置、信息处理方法和程序。
背景技术
最近已经开发了用于实现车辆等的自主移动的技术。例如,在专利文献1中描述的控制系统中,当车辆的当前位置和姿态的估计值的可靠性低时,控制车辆以减轻车身的摆动和倾斜。这实现了自主行驶的稳定性和跟随特性(专利文献1的段落[0073]至[0076])。
引文列表
专利文献
专利文献1:日本专利No.5837902
发明内容
技术问题
设想的是,未来自主移动技术的使用对于各种移动体变得有效。存在对于能够稳定地执行移动体的自主移动控制的技术的需求。
鉴于以上情况,本技术的目的是提供能够提高自主移动控制的稳定性的移动体、信息处理装置、信息处理方法和程序。
问题的解决方案
为了实现上述目的,根据本技术实施例的移动体包括获取单元、检测单元和确定单元。
获取单元获取关于移动体的状况的状况信息。
检测单元基于获取的状况信息来检测对于移动体的自主行驶控制的不稳定因素。
确定单元根据检测到的不稳定因素,确定用于执行自主行驶控制的控制方法。
在这样的移动体中,基于关于移动体的状况的状况信息来检测对于移动体的自主移动控制的不稳定因素。基于检测到的不稳定因素来确定用于执行自主移动控制的控制方法。这使得可以提高自主移动控制的稳定性。
移动体可以进一步包括存储单元,该存储单元存储用于执行自主移动控制的多个控制规则。在这种情况下,确定单元可以从多个存储的控制规则中选择要执行的控制规则。
确定单元可以基于检测到的不稳定因素动态地改变要执行的控制规则。
多个控制规则可以包括依赖状态Riccati方程(SDRE)控制、线性二次调节器(LQR)控制、H-无穷大(H∞)控制理论控制、自适应控制、具有低增益的比例-积分-微分(PID)控制或具有高增益的PID控制中的至少一个。
检测单元可以基于获取的状况信息,针对关于自主移动控制的多个不稳定参数中的每个来计算不稳定水平。
多个不稳定参数可以包括关于自身位置估计的不稳定水平、关于路面环境的不稳定水平、关于控制周期的不稳定水平、关于控制延迟的不稳定水平、关于建模计算的不稳定水平、关于定常干扰的不稳定水平、或关于脉冲干扰的不稳定水平中的至少一个。
确定单元可以基于针对多个控制规则中的每个设置的评估信息来选择要执行的控制规则。
评估信息可以包括对应于多个不稳定参数的多个耐受参数中的每个的耐受水平,和多个控制规则中的每个的精度水平。
多个耐受参数可以包括关于自身位置估计的耐受水平、关于路面环境的耐受水平、关于控制周期的耐受水平、关于控制延迟的耐受水平、关于建模计算的耐受水平、关于定常干扰的耐受水平、或关于脉冲干扰的耐受水平中的至少一个。
该移动体进一步包括驱动控制单元、估计单元、路线获取单元和计算单元。
驱动控制单元控制移动体的驱动。
估计单元基于获取的状况信息来估计移动体的位置和姿态。
路线获取单元获取移动体的目标路线。
计算单元基于估计的移动体的位置和姿态以及获取的目标路线来计算用于驱动移动体的控制值,并将该控制值输出至驱动控制单元。
在这种情况下,确定单元可以将通过计算单元计算控制值的方法确定为用于执行自主移动控制的控制方法。
控制值可以包括关于移动体的转向控制的控制值和关于速度控制的控制值。
状况信息可以包括移动体的外围信息或移动体的状态信息中的至少一个。
获取单元可以包括外部传感器和内部传感器。
确定单元可以确定用于执行自主移动控制的控制参数。
确定单元可以调整用于执行自主移动控制的PID控制的增益。
状况信息可以包括移动体的驱动状态。在这种情况下,当开始驱动移动体时,确定单元可以从多个控制规则中选择具有低增益的PID控制。
状况信息可以包括时间信息。在这种情况下,确定单元可以在夜间期间、从多个控制规则中选择具有关于自身位置估计的高耐受水平的控制规则。
状况信息可以包括关于天气的信息。在这种情况下,确定单元可以在下雨天气的情况下、从多个控制规则中选择具有关于自身位置估计的高耐受水平和关于路面环境的高耐受水平的控制规则。
状况信息可以包括关于相对于移动体的光的照射状态的信息。在这种情况下,确定单元可以在逆光状态下、从多个控制规则中选择具有关于自身位置估计的高耐受水平和关于脉冲干扰的高耐受水平的控制规则。
获取单元可以包括外部传感器。在这种情况下,确定单元可以基于外部传感器的类型和外部传感器的数量来计算对应于多个不稳定参数的多个耐受参数中的每个的耐受水平。
移动体可以是能够自主移动控制的车辆、无人机和机器人。
根据本技术的实施例的信息处理装置包括获取单元、检测单元和确定单元。
获取单元获取关于移动体的状况的状况信息。
检测单元基于获取的状况信息来检测对于移动体的自主行驶控制的不稳定因素。
确定单元根据检测到的不稳定因素,确定用于执行自主行驶控制的控制方法。
根据本技术的实施例的信息处理方法是要由计算机系统执行的信息处理方法,该信息处理方法包括:获取关于移动体的状况的状况信息;基于获取的状况信息来检测对于移动体的自主行驶控制的不稳定因素;根据检测到的不稳定因素,确定用于执行自主行驶控制的控制方法。
根据本技术的实施例的程序是使计算机系统执行以下步骤的程序:获取关于移动体的状况的状况信息;基于获取的状况信息来检测对于移动体的自主移动控制的不稳定因素;根据检测到的不稳定因素,确定用于执行自主移动控制的控制方法。
本发明的效果
如上所述,根据本技术,可以提高自主移动控制的稳定性。注意,本文描述的效果不必被限制并且可以产生本公开中描述的任何一种效果。
附图说明
图1是示出根据本技术第一实施例的车辆配置示例的外部视图。
图2是示出控制车辆10的车辆控制系统100的配置示例的框图。
图3是示出用于自主行驶的控制规则的选择处理的示例的流程图。
图4是示出关于执行用于自主行驶的控制方法的确定的功能配置示例的框图。
图5是示出控制规则的精度和稳定性的示例的图。
图6是示出自主驾驶的控制中的稳定性的图。
图7是示出使自主驾驶的控制不稳定的因素的图。
图8是示出与使自主驾驶的控制不稳定的因素的相关性的图。
图9是示出选择控制规则的方法的示例的图。
图10是示出要选择的控制规则的示例的图。
图11是示出选择控制规则的方法的另一个示例的图。
图12是示出选择控制规则时的评估的图。
具体实施方式
现在将在以下参考附图描述根据本技术的实施例。
[车辆]
图1是示出根据本技术的实施例的车辆配置示例的外部视图。图1的A是示出车辆10的配置示例的透视图。图1的B是当从上方观察车辆10时获得的示意图。车辆10具有能够自动行驶到目的地的自动驾驶功能。车辆10对应于根据本技术的移动体的实施例。
车辆10包括在自动驾驶中使用的各种传感器20。例如,作为示例的图1的A示意性地示出指向车辆10的前方的成像设备21和距离传感器22。成像装置21和距离传感器22用作后述的外部传感器190。此外,图1的B示意性地示出用于检测各车轮的旋转等的车轮编码器23。车轮编码器23用作后述的内部传感器195。
在面向车辆10的前向方向布置成像设备21、对车辆10的前侧成像、并检测图像信息。要使用的成像设备21的示例包括RGB相机,该RGB相机包括诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器。本技术不限于此,并且可以将检测红外光或偏振光的图像传感器等用作成像设备21。
在面向车辆10的前向方向布置距离传感器22。距离传感器22检测关于距离传感器22与包括在距离传感器22的检测范围内的物体之间的距离的信息,并且检测车辆10外围的深度信息。要使用的距离传感器22的示例包括LiDAR(激光成像检测和测距)传感器。
例如,LiDAR传感器的使用,使具有深度信息的图像(深度图像)等可以被容易地检测。可替代地,例如,飞行时间(ToF)深度传感器等可被用作距离传感器22。另外,距离传感器22的类型等不受限制,并且使用测距仪、毫米波雷达、红外激光器等的任何传感器都可被使用。
另外,将各种传感器20安装在车辆10上,并基于来自传感器20的输出来执行车辆10的移动控制。例如,传感器20可以被布置在诸如车辆10的后部或侧面的任何方向中。
[车辆控制系统的配置]
图2是示出控制车辆10的车辆控制系统100的配置示例的框图。车辆控制系统100是安装在车辆10中并以各种方式控制车辆10的系统。注意,在下文中,在将车辆10与其他车辆区分的情况下,车辆10被称为本车或本车辆。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车载装备104、输出控制单元105、输出单元106、动力传动系控制单元107、动力传动系(drivetrain)系统108、车身控制单元109、车身系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、动力传动系控制单元107、车身控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。例如,通信网络121包括总线、或遵从任何标准(诸如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)等)的车载通信网络。注意,有时车辆控制系统100的单元可以直接彼此连接而不使用通信网络121。
注意,在下文中,在车辆控制系统100的单元经由通信网络121彼此通信的情况下,将省略对通信网络121的描述。例如,在输入单元101和自动驾驶控制单元112经由通信网络121彼此通信的情况下,将给出表明输入单元101与自动驾驶控制单元112彼此通信的简单描述。
输入单元101包括由乘客使用的输入各种数据、指令等的装置。例如,输入单元101包括诸如触摸屏、按钮、麦克风、开关或操纵杆的操作设备,能够通过声音、手势等与手动操作不同地输入信息的操作设备。可替代地,例如,输入单元101可以是外部连接装备,诸如使用红外或其它无线电波的远程控制装置,或者与车辆控制系统100的操作兼容的移动装备或可穿戴装备。输入单元101基于由乘客输入的数据、指令等生成输入信号,并将生成的输入信号提供给车辆控制系统100的各单元。
数据获取单元102包括用于获取要在由车辆控制系统100执行的处理中使用的数据的各种传感器等,并将获取的数据提供给车辆控制系统100的各单元。
例如,数据获取单元102包括用于检测车辆10的状态等的各种传感器。具体地,例如,数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)、以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、引擎的转数、马达的转数、车轮的旋转速度等的传感器等。
此外,例如,数据获取单元102包括用于检测关于车辆10外部的信息的各种传感器。具体地,例如,数据获取单元102包括诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机或其它相机的成像装置。进一步,例如,数据获取单元102包括用于检测天气、气象现象等的环境传感器,以及用于检测车辆10周围的物体的周围信息检测传感器。例如,环境传感器包括雨滴传感器、雾传感器、阳光传感器、雪传感器等。周围信息检测传感器包括超声波传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)传感器,声纳等。
此外,例如,数据获取单元102包括用于检测车辆10的当前位置的各种传感器。具体地,例如,数据获取单元102包括全球导航卫星系统(GNSS)接收器等。GNSS接收器接收来自用作导航卫星的GNSS卫星的卫星信号(在下文中,称为GNSS信号)。
进一步,例如,数据获取单元102包括用于检测关于车辆10内部的信息的各种传感器。具体地,例如,数据获取单元102包括捕获驾驶员的图像的成像装置、检测驾驶员的生物信息的生物传感器、在车辆内部收集声音的麦克风等。生物传感器被布置在例如座位表面、方向盘上等,并检测坐在座位上的乘客或握住方向盘的驾驶员的生物信息。
通信单元103与车载装备104、各种车辆外部装备、服务器、基站等通信,发送由车辆控制系统100的各单元供应的数据,并将接收的数据供应给车辆控制系统100的各单元。注意,由通信单元103支持的通信协议不被具体地限制。进一步,通信单元103也可以支持多种类型的通信协议。
例如,通信单元103通过使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等来建立与车载装备104的无线连接。进一步,例如通信单元103通过使用通用串行总线(USB)、高清晰度多媒体接口(HDMI)、移动高清晰度连接(MHL)等,经由连接端子(以及线缆,如果必要)(未示出)与车载装备104建立有线连接。
此外,例如,通信单元103经由基站或接入点,与存在于外部网络(例如,因特网、云网络或公司专用网络)上的装备(例如,应用服务器或控制服务器)通信。进一步,例如,通信单元103通过使用对等网(P2P)技术与存在于车辆10附近的终端(例如,行人或商店的终端、或机器类型通信(MTC)终端)通信。此外,例如,通信单元103实施V2X通信,该V2X通信诸如车辆到车辆通信、车辆到基础设施通信、车辆10与家庭之间的车辆到家庭通信、或车辆到行人通信。此外,例如,通信单元103包括信标接收器,接收从安装在道路等上的无线电台发送的无线电波或电磁波,并获取关于当前位置、交通拥堵、交通规则、必要的时间等的信息。
车载装备104包括例如由乘客拥有的移动装备或可穿戴装备、携带或附接到车辆10的信息装备、搜索到任何目的地的路线的导航装置等。
输出控制单元105控制向车辆10的乘客或车辆10的外部的各种信息的输出。例如,输出控制单元105生成输出信号,该输出信号包括视觉信息(诸如图像数据)或音频信息(诸如声音数据)中的至少一个,将输出信号供应给输出单元106,从而控制来自输出单元106的视觉信息和音频信息的输出。具体地,例如输出控制单元105组合由包括在数据获取单元102中的不同成像装置捕获的多条图像数据,生成鸟瞰图像、全景图像等,并将包括生成的图像的输出信号供应给输出单元106。进一步,例如输出控制单元105生成包括关于诸如碰撞、接触或进入危险区域的警告声音、警告消息等的声音数据,并将包括生成的声音数据的输出信号供应给输出单元106。
输出单元106包括能够向车辆10的外部或乘客输出视觉信息或音频信息的装置。例如,输出单元106包括显示装置、仪表板、音频扬声器、耳机、诸如由乘客等佩戴的眼镜式显示器的可穿戴设备、投影仪、灯等。包括在输出单元106中的显示装置可以是,例如诸如平视显示器的在驾驶员的视野内显示视觉信息的装置、透明显示器、或者具有增强现实(AR)功能的装置,而不是包括常规显示器的装置。
动力传动系控制单元107生成各种控制信号,将它们提供给动力传动系系统108,从而控制动力传动系系统108。进一步,根据需要,动力传动系控制单元107将控制信号供应给除动力传动系系统108之外的结构元件,并向它们通知动力传动系系统108等的控制状态。
动力传动系系统108包括涉及车辆10的动力传动系的各种装置。例如,动力传动系系统108包括用于生成内燃引擎、驱动马达等的驱动力的驱动力生成装置、用于将驱动力传递给车轮的驱动力传递机构、用于调整转向角的转向机构、用于生成制动力的制动装置、防抱死制动系统(ABS)、电子稳定性控制(ESC)系统、电动动力转向装置等。
车身控制单元109生成各种控制信号,将其供应给车身系统110,并从而控制车身系统110。进一步,根据需要,车身控制单元109将控制信号提供给除车身系统110之外的结构元件,并通知它们车身系统110等的控制状态。
车身系统110包括被提供给车辆车身的各种车身装置。例如,车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空调、各种灯(诸如前灯、尾灯、制动灯、方向指示器灯和雾灯)等。
存储单元111包括例如只读存储器(ROM)、随机存取存储器(RAM)、磁存储设备(诸如硬盘驱动器(HDD)等)、半导体存储设备、光存储设备、磁光存储设备等。存储单元111存储由车辆控制系统100的各单元使用的各种程序、数据等。例如,存储单元111存储诸如三维高精度地图、全局地图和局部地图的地图数据。高精度地图是动态地图等。全局地图具有低于高精度地图的精度,但却比高精度地图覆盖更广阔的范围。局部地图包括关于车辆10周围的信息。
自动驾驶控制单元112执行诸如自主行驶或驾驶辅助的自动驾驶的控制。具体地,例如自动驾驶控制单元112执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制,该功能包括车辆10的避撞或减震、基于跟随距离的跟随驾驶、车辆速度保持驾驶、车辆10的碰撞的警告、车辆10从车道偏离的警告等。进一步,例如自动驾驶控制单元112还可以执行旨在使车辆自主地行驶而不依赖于驾驶员等的操作的自动驾驶的协作控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、规划单元134以及行为控制单元135。注意,自主行驶控制可以被认为是包括在自主移动控制中的概念。
例如,自动驾驶控制单元112对应于根据本实施例的信息处理装置,并且包括诸如CPU,RAM和ROM的计算机所需的硬件。当CPU将根据本技术的程序加载到RAM中并执行该程序时,执行根据本技术的信息处理方法。该程序被预先记录在ROM等上。
自动驾驶控制单元112的具体配置不受限制。例如,可以使用诸如现场可编程门阵列(FPGA)的可编程逻辑设备(PLD)、或诸如专用集成电路(ASIC)的其他设备。
如图2所示,自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、规划单元134、行为控制单元135和控制调整单元136。例如,当自动驾驶控制单元112的CPU执行预定程序时,配置每个功能块。
检测单元131检测控制自动驾驶所需的各种信息。检测单元131包括车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状况检测单元143。在本实施例中,检测单元131和数据获取单元102对应于“获取单元”,并且该获取单元包括外部传感器和内部传感器。
车辆外部信息检测单元141基于来自车辆控制系统100的各单元的数据或信号执行检测关于车辆10外部的信息的处理。例如,车辆外部信息检测单元141执行检测处理、识别处理、车辆10周围的物体的跟踪处理以及检测到物体的距离的处理。检测目标物体的示例包括车辆、人、障碍物、结构、道路、交通信号灯、交通标志、道路标志等。进一步,例如,车辆外部信息检测单元141执行检测车辆10周围的周围环境的处理。检测目标周围的周围环境的示例包括例如天气、温度、湿度、亮度、路面状况等。车辆外部信息检测单元141将表明检测处理的结果的数据供应给自身位置估计单元132、地图分析单元151、交通规则识别单元152和状况分析单元133的状况识别单元153、行为控制单元135的紧急事件避免单元171等。
此外,在本实施例中,车辆外部信息检测单元141生成用于机器学习的学习数据。因此,车辆外部信息检测单元141可以执行检测车辆10外部的信息的处理和生成学习数据的处理中的每一个。
车辆内部信息检测单元142基于来自车辆控制系统100的各个单元的数据或信号执行检测关于车辆内部的信息的处理。例如,车辆内部信息检测单元142执行驾驶员的认证处理和识别处理、驾驶员状态的检测处理、乘客的检测处理、车辆内部环境的检测过程等。作为检测目标的驾驶员状态的示例,包括健康状况、意识程度、专心程度、疲劳程度、凝视方向等。作为检测目标的车辆内部环境的示例,包括温度、湿度、亮度、气味等。车辆内部信息检测单元142将表明检测处理的结果的数据供应给状况分析单元133的状况识别单元153,行为控制单元135的紧急事件避免单元171等。
车辆状况检测单元143基于来自车辆控制系统100的各个单元的数据或信号来执行检测车辆10的状态的处理。作为检测目标的车辆10的状态的示例,包括速度、加速度、转向角、存在/不存在异常、异常的内容、驾驶操作状态、电动座椅的位置和倾斜、门锁的状态、其他车载装备的状态等。车辆状况检测单元143将表明检测处理的结果的数据供应给状况分析单元133的状况识别单元153,行为控制单元135的紧急事件避免单元171等。
由车辆外部信息检测单元141和车辆内部信息检测单元142检测到的车辆10的外部和内部信息对应于关于移动体的状况的状况信息,在本实施例中,其包括车辆10的外围信息或车辆10的状态信息中的至少一个。
自身位置估计单元132基于来自诸如车辆外部信息检测单元141和状况分析单元133的状况识别单元153的、车辆控制系统100的各个单元的数据或信号,执行估计车辆10的位置、姿态等的处理。进一步,根据需要,自身位置估计单元132生成要用于估计自身位置的局部地图(在下文中称为自身位置估计地图)。例如,自身位置估计地图可以是使用诸如同时定位和绘制(SLAM)的技术的高精度地图。自身位置估计单元132将表明估计处理的结果的数据供应给状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153等。进一步,自身位置估计单元132使存储单元111存储自身位置估计地图。
在下文中,在一些情况中,估计车辆10的位置、姿态等的处理将称为自身位置估计处理。进一步,将车辆10的位置和姿态的信息描述为位置/姿态信息。因此,由自身位置估计单元132执行的自身位置估计处理是估计车辆10的位置/姿态信息的处理。
状况分析单元133执行分析车辆10的状况和车辆10周围的状况的处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153、以及状况预测单元154。
地图分析单元151执行分析存储在存储单元111中的各种地图、以及构造包括自动驾驶处理所需的信息的地图的处理,并根据需要使用来自车辆控制系统100的各个单元(诸如自身位置估计单元132和车辆外部信息检测单元141)的数据或信号。地图分析单元151将构建的地图供应给交通规则识别单元152、状况识别单元153和状况预测单元154,并将其供应给规划单元134的路线规划单元161、行动规划单元162、行为规划单元163等。
交通规则识别单元152基于来自诸如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151的车辆控制系统100的各个单元的数据或信号,执行识别车辆10周围的交通规则的处理。识别处理使得可以识别例如车辆10周围的交通灯的位置和状态、车辆10周围的交通控制的内容,可驾驶车道等。交通规则识别单元152将表明识别处理的结果的数据提供给状况预测单元154等。
状况识别单元153基于来自车辆控制系统100的各个单元(诸如自身位置估计单元132、车辆外部信息检测单元141、车辆内部信息检测单元142、车辆状况检测单元143和地图分析单元151)的数据或信号,执行识别涉及车辆10的状况的处理。例如,状况识别单元153执行识别车辆10的状况、车辆10周围的状况、车辆10的驾驶员的状况等的处理。进一步,根据需要,状况识别单元153生成要用于识别车辆10周围的状况的局部地图(在下文中称为状况识别地图)。例如,状况识别地图可以是占有栅格地图(Occupancy grid map)。
识别目标的示例包括车辆10的位置、姿态和移动(例如,诸如速度、加速度或移动方向),存在/不存在异常,异常的内容等。作为识别目标的车辆10周围的状况的示例,包括周围静止物体的类型和位置,周围移动体的类型、位置以及移动(例如,诸如速度、加速度和移动方向),周围道路的结构,路面状况,周围的天气、温度、湿度、亮度等。作为识别目标的驾驶员的状态的示例,包括健康状况、意识程度、专心程度、疲劳程度、凝视移动、驾驶操作等。
状况识别单元153将表明识别处理的结果的数据(根据需要包括状况识别地图)供应给自身位置估计单元132、状况预测单元154等。进一步,状况识别单元153使存储单元111存储状况识别地图。
状况预测单元154基于来自车辆控制系统100的各个单元(诸如地图分析单元151、交通规则识别单元152和状况分析单元153)的数据或信号,执行涉及车辆10的预测状况的处理。例如,状况预测单元154执行预测车辆10的状况、车辆10周围的状况,驾驶员的状况等的处理。
作为预测目标的车辆10的状况的示例,包括车辆的行为、异常的发生、可行驶距离等。作为预测目标的车辆10周围的状况的示例,包括车辆10周围的移动体的行为、交通信号灯的状态改变、诸如天气的环境的改变等。作为预测目标的驾驶员的状况的示例,包括驾驶员的行为、健康状况等。
状况预测单元154将除了来自交通规则识别单元152和状况识别单元153的数据,还有表明预测处理结果的数据供应给规划单元134的路线规划单元161、行动规划单元162和行为规划单元163等。
路线规划单元161基于来自车辆控制系统100的各个单元(诸如地图分析单元151和状况预测单元154)的数据或信号,规划到目的地的路线。例如,路线规划单元161基于全局地图,设置从当前位置到指定目的地的路线。进一步,例如,路线规划单元161基于诸如交通拥堵、事故、交通规则、建筑物(construction)、以及驾驶员的健康状况等的状况来适当地改变路线。路线规划单元161将表明规划路线的数据供应给行动规划单元162等。
行动规划单元162基于来自车辆控制系统100的各个单元(诸如地图分析单元151和状况预测单元154)的数据或信号,规划车辆10的在规划的时间段内在由路线规划单元161规划的路线中安全驾驶的行动。即,获取车辆10的目标路线。例如,行动规划单元162规划开始、停止、驾驶方向(例如,向前、向后、向左转、向右转、方向改变等)、驾驶车道、驾驶速度、超车等。行动规划单元162将表明规划用于车辆10的动作的数据供应给行为规划单元163等。
行为规划单元163基于来自车辆控制系统100的各个单元(诸如地图分析单元151和状况预测单元154)的数据或信号,规划车辆10的行为,用于实现由行动规划单元162规划的行动。例如,行为规划单元163规划加速度、减速度、驾驶路线等。行为规划单元163将表明车辆10的规划行为的数据供应给行为控制单元135的加速度/减速度控制单元172、方向控制单元173等。
行为控制单元135控制车辆10的行为。行为控制单元135包括紧急事件避免单元171、加速度/减速度控制单元172和方向控制单元173。
紧急事件避免单元171基于由车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状况检测单元143获得的检测结果,执行检测碰撞、接触、进入危险区域、或紧急事件(诸如驾驶员的异常或车辆10的异常)的处理。在检测到发生紧急事件的情况下,紧急事件避免单元171规划车辆10的行为,诸如快速停止或快速转弯以避免紧急事件。紧急事件避免单元171将表明车辆10的规划行为的数据供应给加速度/减速度控制单元172,方向控制单元173等。
加速度/减速度控制单元172控制加速度/减速度以实现由行为规划单元163或紧急事件避免单元171规划的车辆10的行为。例如,加速度/减速度控制单元172计算驱动力生成装置或制动装置的控制目标值以实现规划的加速度、减速度、或快速停止,并将表明计算出的控制目标值的控制指令供应给动力传动系控制单元107。
方向控制单元173控制方向以实现由行为规划单元163或紧急事件避免单元171所规划的车辆10的行为。例如,方向控制单元173计算转向机构的控制目标值以实现由行为规划单元163或紧急事件避免单元171规划的驾驶路线或快速转弯,并将表明计算出的控制目标值的控制指令供应给动力传动系控制单元107。
控制调整单元136调整用于执行车辆10的自主移动控制的控制。控制调整单元136包括不稳定因素监视系统181和控制调整系统182。
不稳定因素监视系统181基于来自检测单元131的数据或信号,检测被预测为使车辆10的自主驾驶的控制不稳定的不稳定因素。针对每个参数,对检测到的不稳定因素分类并量化。即,不稳定因素监视系统181基于获取的状况信息,检测用于车辆10的自主移动控制的不稳定因素。
此处,不稳定因素是被预测使自主移动控制不稳定的因素。不稳定因素的示例包括:黑暗的外部、雾、强烈的阳光、低温、车辆10的CPU的高使用率、车辆10的CPU的高温、下雨或下雪、车辆10周围有许多移动体、平坦的环境、在行驶期间周期性的冲击、阵风和山路。在本实施例中,不稳定因素监视系统181对应于“检测单元”。
当检测到上述不稳定因素时,车辆10的行为的控制可能变得不稳定。例如,如果外部是黑暗的或有雾的,以及阳光强烈,则车辆10的自身位置估计或障碍物估计可能失败。如果温度低,则车辆10的电池可能劣化,并且陀螺仪的偏压可能改变,并且自动驾驶的控制可能失败。如果车辆10的CPU的使用率高并且车辆10的CPU的温度高,则控制周期可能变得不恒定。如果正在下雨或下雪,则车辆10可能由于地图匹配的失败或摩擦系数的改变而打滑。如果车辆10周围有许多移动体并且周围平坦,则地图匹配可能失败。如果在行驶期间发生周期性冲击,则车轮可能会出故障并且行驶可能变得不稳定。在阵风和山路的情况下,行驶可能会被干扰。
以这样的方式,在包括周围环境(诸如移动体的行驶路线和移动体的内部环境)的各种要素中,不稳定因素指代可能降低自主移动控制(诸如移动体的自动驾驶)的控制性能的要素。还可以将不稳定因素分类为涉及外部环境的不稳定因素,涉及内部环境的不稳定因素等。
在本实施例中,不稳定因素监视系统181基于获取的状况信息,将不稳定因素划分为自身位置噪声、路面状况干扰、控制周期不稳定性、控制延迟、建模误差、定常干扰和脉冲干扰的参数,作为关于自主移动控制的多个不稳定参数。
不稳定因素监视系统181将这些不稳定参数中的每个量化为不稳定水平。换言之,基于获取的状况信息,针对关于车辆10的自主移动控制的多个不稳定参数中的每个计算不稳定水平。
稍后将参考图7和图8描述量化不稳定参数的具体方法。不稳定因素监视系统181将表明检测到的不稳定因素的数据供应给控制调整单元136的控制调整系统182。
此处,自身位置噪声是不稳定因素,其可能无法基于从探测单元131获得的车辆10的状况、周围状况等来准确地检测车辆10的姿态和位置的估计。例如,黑暗、雾、强烈的阳光、雨、雪、车辆10周围的许多移动体、平坦的周围等导致自身位置噪声。
路面状况干扰是不稳定因素,其可能由于从车辆外部信息检测单元141等获得的车辆10的行驶路线中的路面环境而使车辆10的控制不稳定。例如,雨、雪和路面不规则性导致路面状况的干扰。
控制周期不稳定性是不稳定因素,其可能使行为控制单元135对车辆10的控制周期不恒定。例如,车辆10的CPU的高使用率、车辆10的CPU的高温等导致控制周期不稳定性。
控制延迟是不稳定因素,其可能延迟行为控制单元135对车辆10的控制命令。例如,对车辆10的控制命令(诸如车辆10周围的许多移动体、路面不规则性、车辆10的转向控制以及车辆10的加速度和减速度)是复杂的。复杂的控制命令的计算增加了车辆10的CPU的温度,例如这导致控制延迟。
建模误差是不稳定因素,其可能使车辆10跟随从行动规划单元162和行为规划单元163获得的目标路线(通过数学公式的运动模型)的精度劣化。例如,车辆10的车轮由于诸如爆胎的故障具有的低制动效性,这导致建模误差。
定常干扰是不稳定因素,在定常干扰中持续发生影响车辆10的自动驾驶的控制的现象,并且这样的现象可能使车辆10的自动驾驶的控制不稳定。例如,持续强烈的侧风、路面的意外摩擦等导致定常干扰。
脉冲干扰是不稳定因素,在脉冲干扰中瞬时发生影响车辆10的自动驾驶的控制的现象,并且这样的现象可能使车辆10的自动驾驶的控制不稳定。例如,阵风、诸如山路的路面非恒定不规则性等导致脉冲干扰。
在本实施例中,自身位置噪声对应于关于自身位置估计的不稳定水平。路面状况干扰对应于关于路面环境的不稳定水平。控制周期不稳定性对应于关于控制周期的不稳定水平。控制延迟对应于关于控制延迟的不稳定水平。建模误差对应于关于建模计算的不稳定水平。定常干扰对应于关于定常干扰的不稳定水平。脉冲干扰对应于关于脉冲干扰的不稳定水平。
控制调整系统182基于通过由不稳定因素监视系统181对不稳定参数量化而获得的不稳定水平,从存储单元111中选择控制规则,该存储单元111存储用于执行车辆10的自动驾驶控制的多个控制规则。即,基于检测到的不稳定因素,确定用于执行自主移动控制的控制方法。
稍后将参考图3和图5描述选择控制规则的具体方法。控制调整系统182将表明选择的控制规则的数据供应给行为控制单元135。在本实施例中,控制调整系统182对应于“确定单元”。
基于为多个控制规则中的每个设置的评估信息,选择要执行的控制规则。评估信息包括多个控制规则中的每个的精度水平、以及关于对应于多个不稳定参数的多个耐受参数中的每个的耐受水平。此处,耐受参数包括以下事实:即使在检测到不稳定因素的情况下,车辆10的自动驾驶也是稳定地可控的。
将耐受参数划分为自身位置噪声耐受、路面状况干扰耐受、控制周期鲁棒性、控制延迟耐受、建模误差耐受、定常干扰耐受和脉冲干扰耐受的参数,以便分别对应于作为不稳定参数的自身位置噪声、路面状况干扰、控制周期不稳定性、控制延迟、建模误差、定常干扰和脉冲干扰。
在本实施例中,自身位置噪声耐受对应于关于自身位置估计的耐受水平。路面状况干扰耐受对应于关于路面环境的耐受水平。控制周期的鲁棒性对应于关于控制周期的耐受水平。控制延迟耐受对应于关于控制延迟的耐受水平。建模误差耐受对应于关于建模计算的耐受水平。定常干扰耐受对应于关于定常干扰的耐受水平。脉冲干扰耐受对应于关于脉冲干扰的耐受水平。
存储单元111存储为其设置精度水平、每个耐受参数和每个耐受水平的多个控制规则。在本实施例中,存储六种类型的控制规则。注意,要存储在存储单元111中的控制规则的数量等是不受限制的。可以假设车辆10的状况和周围状况,存储控制规则。稍后将参考图6具体地描述精度水平。
图3是示出自主行驶的控制规则的选择处理的示例的流程图。图4是示出用于执行自主行驶控制方法的确定的功能配置示例的框图。图5是示出控制规则的精度和稳定性的示例的图。
如图3所示,通过车辆外部信息检测单元141和车辆内部信息检测单元142获取关于车辆10的状况的状况信息(步骤201)。不稳定因素监视系统181基于获取的车辆10的状况信息,检测并量化用于车辆10的自主移动控制的不稳定因素(步骤202)。
控制调整系统182在对应于各个不稳定参数的所有耐受参数的耐受水平等于或高于不稳定水平的控制规则中选择具有最高精度的控制规则(步骤203)。即,控制调整系统182存储用于执行自主移动控制的多个控制规则,并从多个存储的控制规则中选择要执行的控制规则。
行为控制单元135基于选择的最精确的控制规则,改变车辆10的自动驾驶的控制(步骤204)。接着到步骤204,如果终止车辆10的驾驶,则图3的流程图结束。如果继续车辆10的行驶,则处理返回到步骤201以获取车辆10的状况和周围状况。即,要执行的控制规则根据检测到的不稳定因素动态地改变。因此,可以对应于车辆10的状况和周围状况的改变,动态地改变控制规则,并提高控制精度。
如图4所示,用于执行图3的流程图的配置示例包括控制调整单元140、自身位置估计137、控制命令值计算138和车辆驱动器139。
自身位置估计137代表用于估计车辆10的自身位置的功能配置。在自身位置估计137中示出外部传感器190、地图数据191和自身位置估计单元192。
外部传感器190对应于图2所示的数据获取单元102和车辆外部信息检测单元141。外部传感器190确定车辆10的周围状况,这是步骤201的处理。对应于外部传感器190的传感器包括诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机或其他相机的成像装置、雨滴传感器、雾传感器、阳光传感器、雪传感器、超声波传感器、雷达、LiDAR(光检测和测距,激光成像检测和测距)传感器等数据获取单元102的各种传感器。
地图数据191对应于图2所示的存储单元111和地图分析单元151。地图数据191存储各种类型的地图数据,并将地图数据供应给自身位置估计单元。
自身位置估计单元192通过将由外部传感器190确定的车辆10周围的状况和由内部传感器195确定的车辆10的状况与地图数据191匹配,来估计车辆10的自身位置。即,基于获取的状况信息来估计车辆10的位置和姿态。外部传感器190将表明车辆10周围的确定状况的数据提供供应给不稳定因素监视系统198。
控制命令值计算138对应于图2所示的动力传动系控制单元107和规划单元134。控制命令值计算138代表用于计算车辆10的自主行驶的控制命令值的功能配置。即,作为用于执行车辆10的自主移动控制的控制方法,确定用于计算的控制值的计算方法。在控制命令值计算138中示出转向控制单元194和速度控制单元193。
控制命令值包括基于车辆10的状况信息和从自身位置估计单元192和控制调整系统199获得的目标路线的数据、通过计算目标速度获得的值以及用于驱动车辆10以跟随目标路线的目标转向角。即,计算关于车辆10的转向控制的控制值和关于速度控制的控制值。
在控制命令值计算138中,转向控制单元194和速度控制单元193基于自身位置估计单元192、内部传感器195、目标命令值和控制调整系统199的数据或信号,执行车辆10的转向控制和速度控制。即,基于车辆10的估计位置和姿态以及所获取的目标路线,计算用于驱动车辆10的控制值,并将其输出到驱动控制单元。换言之,获取车辆10的目标路线,并根据车辆10的位置/姿态信息以及由控制调整系统199选择的控制规则,计算车辆10的转向角和加速度/减速度,以便使车辆10跟随目标路线。此处,目标命令值包括用于车辆10去往目的地的速度、位置、轨迹等。
此处,内部传感器195对应于图2所示的数据获取单元102、车辆内部信息检测单元142和车辆状况检测单元143。内部传感器195确定车辆10的状况。对应于内部传感器195的传感器包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、引擎的转数、马达的转数、车轮的转速等的传感器等。
速度控制单元193对应于图2所示的加速度/减速度控制单元172。速度控制单元193计算以目标速度驱动车辆10所需的加速器和制动器的开度。速度控制单元193将表明计算的加速器和制动器的开度的数据供应给加速器/制动器单元196。
转向控制单元194对应于图2所示的方向控制单元173。转向控制单元193实时计算使车辆10沿着目标路线对准所需的转向角。转向控制单元194将表明计算的转向角的数据供应给转向致动器单元197。
车轮驱动器139对应于图2所示的动力传动系控制单元107、动力传动系系统108、车身控制单元109和车身系统110。车轮驱动器139代表用于执行车辆10的自主行驶控制的控制命令值并控制车辆10的驱动的功能配置。在车轮驱动器139中示出了转向致动器单元197和加速器/制动器单元196。
车轮驱动器139包括车辆10、内部传感器195、加速器/制动器单元196和转向致动器单元197。由速度控制单元193和转向控制单元194计算的数据被供应给加速器/制动器单元196和转向致动器单元197,并通过计算的转向角和加速度/减速度控制车辆10。
加速器/制动单元196对应于图2所示的动力传动系系统108,并基于速度控制单元193的计算结果调整车辆10的加速器/制动器,并调整车辆10的速度以与目标速度匹配。
转向致动器单元197对应于图2所示的动力传动系系统108,并基于转向控制单元194的计算结果调整转向扭矩以使车辆10的转向与计算的角度匹配。
内部传感器195获取要控制的车辆10的状态,并将数据供应给自身位置估计、不稳定因素监视系统198和控制命令值计算138。
控制调整140对应于图2所示的控制调整单元136。控制调整140代表用于调整车辆10的行为的控制的功能配置。在控制调整140中示出不稳定因素监视系统198和控制调整系统199。
不稳定因素监视系统198对应于图2所示的不稳定因素监视系统181。不稳定因素监视系统198基于作为步骤202的处理的外部传感器190、内部传感器195等的数据或信号,检测并量化被预测为使车辆10的自动驾驶的控制不稳定的不稳定因素。不稳定因素被划分为自身位置噪声、路面状况干扰、控制周期不稳定性、控制延迟、建模误差、定常干扰和脉冲干扰作的参数作为不稳定参数。
每个不稳定参数被量化为表示被预测使车辆10的自动驾驶的控制不稳定的不稳定水平。在本实施例中,该不稳定水平被划分为1至10级。
例如,如果自身位置噪声为“1”,则诸如雨的自身位置的噪声可能小,并且车辆10的位置可能会稍微难以得知。如果自身位置噪声为“10”,则自身位置的噪声可能大,并且车辆10的位置可能几乎是未知的。
如果路面状况干扰为“1”,则由于路面等的较少不规则性,所以车辆10的控制可能会变得稍微不稳定。如果路面状况干扰为“10”,则由于路面等的许多不规则性,车辆10的控制可能变得显著地不稳定。
如果控制周期不稳定性为“1”,则由于车辆10的CPU的使用率等增加,车辆10的控制周期可能会变得稍微不稳定。如果控制周期不稳定性为“10”,则由于车辆10的CPU的使用率接近100%等,所以车辆10的控制周期可能变得显著地不稳定。
如果控制延迟为“1”,则控制延迟可能被稍微延迟,并且车辆10的控制可能被稍微延迟。如果控制延迟为“10”,则控制延迟可能被显著地延迟以导致车辆10的控制被显著地延迟的状态。
如果建模误差为“1”,则车辆10的控制可能变得稍微不稳定,在车辆10的控制上具有车辆10的故障等的较小影响。如果建模误差为“10”,在车辆10的控制上的车辆10的故障等的影响为大,并且车辆10的控制可能变得显著地不稳定。
如果定常干扰为“1”,则恒定干扰可能是微弱的,并且车辆10的控制可能变得稍微不稳定。如果定常干扰为“10”,则恒定干扰为强,并且车辆10的控制可能变得显著地不稳定。
如果脉冲干扰为“1”,则瞬时干扰可能是微弱的,并且车辆10的控制可能变得稍微不稳定。如果脉冲干扰为“10”,则瞬时干扰可能为强,并且车辆10的控制可能变得显著地不稳定。
注意,不稳定水平的数值,对应于该数值的级等是不受限制的。例如,可以通过除了1至10之外的数值或按字母对不稳定水平分级。
不稳定因素监视系统198将数据提供给控制调整系统199,该数据表示通过量化检测到的不稳定因素而获得的不稳定水平。
控制调整系统199对应于图2所示的控制调整系统182。控制调整系统199基于作为步骤203的通过由不稳定元素监视系统198量化不稳定参数而获得的不稳定水平,选择用于执行车辆10的自动驾驶控制的控制规则。选择的控制规则的数据被提供给控制命令值计算138。
耐受参数相对于表明预测的使车辆10的控制不稳定的程度的不稳定水平,表明车辆10的控制可以被稳定多少。耐受参数被量化为耐受水平,即稳定车辆10的控制的程度。在本实施例中,耐受水平被划分为1至10级。
例如,如果自身位置噪声耐受为“1”,则无法以2至10的自身位置噪声来稳定车辆10的控制。如果自身位置噪声耐受为“10”,则即使以1至10的自身位置噪声,也可以稳定车辆10的控制。
如果路面状况干扰耐受为“1”,则无法以2至10的路面状况干扰来稳定车辆10的控制。如果路面状况干扰耐受为“10”,则即使以1至10的路面状况干扰,也可以稳定车辆10的控制。
如果控制周期鲁棒性为“1”,则无法以2至10的控制周期不稳定性来稳定车辆10的控制。如果控制周期鲁棒性为“10”,则即使以1至10的控制周期不稳定性,也可以稳定车辆10的控制。
如果控制延迟耐受为“1”,则无法以2至10的控制延迟来稳定车辆10的控制。如果控制延迟耐受为“10”,则即使以1至10的控制延迟,也可以稳定车辆10的控制。
如果建模误差耐受为“1”,则无法以2至10的建模误差来稳定车辆10的控制。如果建模误差耐受为“10”,则即使以1至10的建模误差,也可以稳定车辆10的控制。
如果定常干扰耐受为“1”,则无法以2至10的定常干扰来稳定车辆10的控制。如果定常干扰耐受为“10”,则即使以1至10的定常干扰,也可以稳定车辆10的控制。
如果脉冲干扰耐受为“1”,则无法以2至10的脉冲干扰来稳定车辆10的控制。如果脉冲干扰耐受为“10”,则即使以1至10的脉冲干扰,也可以稳定车辆10的控制。
注意,耐受水平的数值、对应于该数值的级等是不受限制的。例如,可以通过除了1至10之外的数值或按字母对耐受水平分级。进一步,在本实施例中,当耐受水平与不稳定水平相同时,稳定地控制车辆10的自动驾驶。
如图5所示,根据车辆10自动驾驶的控制的精度和对应于不稳定参数的耐受参数的耐受水平,选择控制规则。例如,如果耐受水平低于不稳定水平,则因为控制规则无法相对于检测到的不稳定因素稳定地控制车辆10,所以不选择这样的控制规则。
此处,精度指代精度水平,并且在本实施例中,其被划分为1至10级。例如,如果精度为“10”,则车辆10可以精确地跟随目标路线、目标速度等。如果精度为“1”,则车辆10非常粗略地跟随目标路线、目标速度等。
注意,精度的数值、对应于该数值的级等是不受限制的。例如,可以通过除了1至10之外的数值或按字母对精度分级。
在下文中,将参考图5描述选择控制规则的方法的具体示例,其是步骤203的处理。注意,在本实施例中,具有最高精度的控制规则是从其中所有耐受水平超过所有对应的不稳定水平的多个控制规则中选择的。
在本实施例中,多个控制规则包括作为依赖状态Riccati方程(SDRE)控制的控制规则1、作为线性二次调节器(LQR)控制的控制规则2、作为H-无穷大(H∞)控制理论控制的控制规则3、作为自适应控制的控制规则4、作为将增益设置为高的PID控制的控制规则5、以及作为将增益设置为低的PID控制的控制规则6。下面将描述这些控制规则的具体耐受水平。
例如,控制规则1(依赖状态Riccati方程(SDRE))具有的精度为“10”、自身位置噪声耐受为“3”、路面状况干扰耐受为“5”、控制周期鲁棒性为“2”、控制延迟耐受为“5”、建模误差耐受为“7”、定常干扰耐受为“4”、以及脉冲干扰耐受为“3”。
在选择控制规则1的情况下,例如,自身位置噪声为“2”、路面状况干扰为“4”、控制周期不稳定性为“1”、控制延迟为“4”、建模误差为“7”、定常干扰为“3”、以及脉冲干扰为“1”。在这种情况下,控制规则1、控制规则4和控制规则6是要选择的候选,但是选择具有高精度的控制规则1。
控制规则2(线性二次调节器(LQR))具有的精度为“9”、自身位置噪声耐受为“5”、路面状况干扰耐受为“5”、控制周期鲁棒性为“3”、控制延迟耐受为“6”、建模误差耐受为“4”、定常干扰耐受为“6”以及脉冲干扰耐受为“5”。
在选择控制规则2的情况下,例如,自身位置噪声为“2”、路面状况干扰为“4”、控制周期不稳定性为“3”、控制延迟为“4”、建模误差为“3”、定常干扰为“3”、以及脉冲干扰为“4”。在这种情况下,控制规则2和控制规则6是要选择的候选,但是选择具有高精度的控制规则2。
控制规则3(H-无穷大(H∞)控制理论)具有的精度为“8”、自身位置噪声耐受为“4”、路面状况干扰耐受为“4”、控制周期鲁棒性为“1”、控制延迟耐受为“1”、建模误差耐受为“4”、定常干扰耐受为“5”、以及脉冲干扰耐受为“8”。
在选择控制规则3的情况下,例如,自身位置噪声为“4”、路面状况干扰为“4”、控制周期不稳定性为“1”、控制延迟为“1”、建模误差为“3”、定常干扰为“4”、脉冲干扰为“8”。在这种情况下,控制规则3和控制规则6是要选择的候选,但是选择具有高精度的控制规则3。
控制规则4(自适应控制)具有的精度为“7”、自身位置噪声耐受为“8”、路面状况干扰耐受为“10”、控制周期鲁棒性为“3”、控制延迟耐受为“6”、建模误差耐受为“10”、定常干扰耐受为“9”、以及脉冲干扰耐受为“1”。
在选择控制规则4的情况下,例如,自身位置噪声为“5”、路面状况干扰为“3”、控制周期不稳定性为“1”、控制延迟为“3”、建模误差为“9”、定常干扰为“4”、以及脉冲干扰为“1”。在这种情况下,控制规则4和控制规则6是要选择的候选,但是选择具有高精度的控制规则4。
控制规则5(比例-积分-微分(PID)控制高增益)具有的精度为“5”、自身位置噪声耐受为“6”、路面状况干扰耐受为“7”、控制周期鲁棒性为“4”、控制延迟耐受为“3”、建模误差耐受为“5”、定常干扰耐受为“9”、以及脉冲干扰耐受为“5”。
在选择控制规则5的情况下,例如,自身位置噪声为“4”、路面状况干扰为“4”、控制周期不稳定性为“3”、控制延迟为“2”、建模误差为“3”、定常干扰为“7”、脉冲干扰为“4”。在这种情况下,控制规则5和控制规则6是要选择的候选,但是选择具有高精度的控制规则5。
控制规则6(PID低增益)具有的精度为“2”、自身位置噪声耐受为“10”、路面状况干扰耐受为“10”、控制周期鲁棒性为“10”、控制延迟耐受为“10”、建模误差耐受为“10”、定常干扰耐受为“10”、以及脉冲干扰耐受为“10”。
在选择控制规则6的情况下,例如,自身位置噪声为“4”、路面状况干扰为“2”、控制周期不稳定性为“7”、控制延迟为“6”、建模误差为“7”、定常干扰为“6”、以及脉冲干扰为“10”。在这种情况下,因为控制规则1至5具有低于不稳定水平的一个或多个设置耐受参数,所以选择控制规则6。
注意,控制规则的内容、选择可执行控制规则的方法、设置耐受参数的方法等不限于以上,并且可以可选地设置。例如,可以基于安装在车辆10上的传感器20的类型和数量,改变要设置的耐受水平。即,基于外部传感器的类型和数量,计算对于对应于多个不稳定参数的多个耐受参数中的每个的耐受水平。
作为示例,单独使用LiDAR,在无特征(诸如草原)的情况下,降低自身位置噪声耐受。单独使用雷达,在无特征(诸如强光和草原)的情况下,降低自身位置噪声耐受。单独使用照相机,当周围为暗时降低自身位置噪声耐受。
基于安装在车辆10上的传感器20的类型和数量,除了耐受水平的改变之外,还可以设置对应于传感器20的类型和数量的专用控制规则。因此,即使传感器的一部分发生故障,也可以选择适合于状况信息的控制规则。
注意,还可以采用除了图5所示的精度、自身位置噪声耐受、路面状况干扰耐受、控制周期鲁棒性、控制延迟耐受、建模误差耐受、定常干扰耐受和脉冲干扰耐受之外的任何算法。
在选择控制规则之后,可以基于车辆10的状况和周围状况将控制规则切换为另一个规则。例如,可以不连续地切换控制规则,或者可以逐渐地线性地改变控制规则。
进一步,作为除了上述选择控制规则的方法以外的示例,当车辆10在特定场景中行驶时,可以设置专用控制规则或选择专用控制规则的方法。
作为第一示例,当车辆10开始驱动(开始行驶)时,因为初始速度低,所以选择其中所有耐受水平为高的控制规则6(PID低增益)。即,计算作为获取的车辆10的状况信息的驾驶状态,并且在车辆10的驱动开始时,从多个控制规则中选择增益被设置为低的PID控制。
作为第二示例,因为在夜间时段周围为暗,所以选择了具有高自身位置噪声耐受的控制规则6(PID低增益)。即,计算作为获取的状况信息的时间信息,并且在夜间时段中从多个控制规则中选择对于自身位置估计具有高耐受水平的控制规则。
作为第三示例,在下雨天气的情况下,由于周围的能见度为差并且路面的摩擦也改变,因此选择具有高自身位置噪声耐受和高路面状况干扰耐受的控制规则4(自适应控制)。即,计算作为获取的状况信息的关于天气的信息,并且在阴雨天气的情况下,从多个控制规则中选择对于自身位置估计具有高耐受水平以及对于路面环境具有高耐受水平的控制规则。
作为第四示例,在逆光状态下,因为周围的能见度为差和瞬时干扰,所以选择具有高自身位置噪声耐受和高脉冲干扰耐受的控制规则3(H∞)。即,计算作为获取的状况信息的相对于移动体的光的照射状态的信息,并且在逆光状态的情况下,从多个控制规则中选择对于自身位置估计具有高耐受水平以及对于脉冲干扰具有高耐受水平的控制规则。
不必说,可以根据车辆10的各种状况和周围状况,设置专用控制规则或选择专用控制规则的方法。
图6是示出自动驾驶的控制中的稳定性的图。图6的A是示出车辆10的自动驾驶的控制是稳定的状态的图。图6的B是示出车辆10的自动驾驶的控制是不稳定的状态的图。
通过自动驾驶的控制,车辆10跟随设置的目标路线和目标速度。此时,由于不稳定因素,自动驾驶的控制变得不稳定。例如,在图6的A的情况下,车辆10的自动驾驶的控制是稳定的,并且由虚线表明的车辆10的速度跟随由实线表明的目标速度。
在下文中,如图6的A所示,有时将使车辆10精确地跟随目标速度和目标路线的控制规则描述为具有高精度。进一步,如图6的B所示,有时将相对于车辆10的目标速度和目标路线的跟随是粗略的情况描述为具有低精度。即,在本实施方式中,具有高精度意味着精度水平的数值大。
图6的A中所示的情况意味着在车辆10的状况和周围状况中不存在不稳定因素,或者不稳定水平小,并且可以选择高精度控制规则。例如,如图5所示,当车辆10具有建模误差的低不稳定水平的故障时,选择控制规则1。
在图6的B所示的情况下,由于不稳定因素,车辆10的自动驾驶控制不稳定,并且由虚线表明的车辆10的速度无法跟随由实线表明的目标速度。这样的状态例如是由建模误差引起的,在该建模误差中,车辆10的车轮具有漏气轮胎,并且IMU等无法精确地检测车轮的速度。
作为不稳定控制的示例,假设车辆10以40km/h在城市中行驶。此时,将设想车辆10的CPU的使用率高并且控制周期被干扰的情况。假设车辆10在正常时间的控制周期是每秒1000次,则假设车辆10在一个周期内移动1cm。如果控制周期被干扰并且变为每秒800次,则车辆10的控制被位移200cm。当然,随着车辆10的速度增加,车辆10的控制被更大地位移。
为了防止这样的控制成为不稳定,不稳定因素监视系统198检测可能使控制不稳定的不稳定因素。如果预先计算检测到的不稳定因素与直接使控制不稳定的要素之间的相关性,则可以预测检测到的不稳定因素对车辆10的自动驾驶的控制影响多少。这使控制调整系统182可以在控制变得不稳定之前切换控制规则。
在下文中,将参考图7和图8具体地描述量化不稳定因素的方法。
图7是示出使自动驾驶的控制不稳定的因素的图。图8是示出与使自动驾驶的控制不稳定的因素的相关性的图。
图7示出相对于车辆10的自动驾驶的控制,直接使控制命令值计算138不稳定的要素(以下,被指代为直接要素)和生成该直接要素的不稳定因素。
不稳定因素是由不稳定因素监视系统198从包括车辆10的状况和周围状况的全部的整个系统中检测到的。尽管不稳定因素不直接影响控制命令值计算138,但是它成为产生直接要素的原因。
直接要素是直接影响车辆10的自动驾驶的控制命令值计算138以及使诸如车辆10的自身位置、控制周期和干扰之类的控制不稳定的要素。通过预先设置不稳定因素和直接要素之间的相关性,则可以通过检测不稳定因素来预测直接要素发生的可能性。
例如,如图6所示,如果车辆外部信息检测单元141检测到车辆10周围有许多移动体,则与现有地图数据匹配是困难的,因此噪声进入自身位置。因此,自身位置并不是被精确地输出,车辆10无法跟随目标速度等,并且车辆10的速度波动(参见图6的B)。结果,车辆10的自动驾驶的控制变得不稳定。
在图8的情况下,假设移动体的数量为A,并假设自身位置噪声的值为B。如果通过实验、仿真等预先计算A和B之间的相关性,则可以通过在检测到B之前检测A来预测B的发生。
例如,如果照相机的视野的80%被移动体占据,则在已经观察到移动体的数量A的点组数据中,移动体的比例为80%。那时,假设通过预先实施的实验(例如,自身位置的估计协方差矩阵迹等)已知自身位置噪声的值B,则可以获得A和B之间的相关性。
如果在车辆10正在实际行驶时检测到A,则根据A和B之间的相关性计算车辆10的自动驾驶的控制变得多么不稳定,并且可以在车辆10的自动驾驶的控制变得不稳定之前选择适当的控制规则。
注意,不稳定因素的类型以及与直接要素的相关性不限于以上。不稳定性因素可能是除了自身位置噪声、路面状况干扰、控制周期不稳定性、控制延迟、建模误差、定常干扰和脉冲干扰之外的使车辆10的自动驾驶的控制不稳定的要素。另外,还可以从增益裕度、相位裕度等的值来评估不稳定因素和直接要素之间的相关性的稳定性。
还将参考图9至图12具体地描述除了上述选择控制规则的方法之外的示例。
图9是示出选择控制规则的方法的示例的图。图10是示出要选择的控制规则的示例的图。图11是示出选择控制规则的方法的另一个示例的图。图12是示出选择控制规则时的评估的图。
在下文中,除了在其中所有耐受水平超过所有对应的不稳定水平的控制规则中选择具有最高精度的控制规则的方法之外,还将参照图9至图12具体地描述加权不稳定水平、耐受水平和精度,执行预定计算,并选择具有最高分数的控制规则的方法。
图9示出用于计算变量和控制规则的分数的方程式。假设精度权重为wa(weight_accuracy)、耐受水平权重为wti(i-th weight_tolerance)、控制规则的精度为a(accuracy)、控制规则的第i耐受水平为ti(i-th tolerance),并且当前第i不稳定水平为nli(i-th noise_level)。控制规则的分数由以下方程式表示。
分数=a*wa+Σi{(ti-nli)*wti}
此处,在精度权重和耐受水平权重的值中,值越大意味着针对车辆10的自动驾驶的控制更需要某个因素。换言之,在wa<wti的情况下,与精度相比,自身位置噪声耐受被给予更高重要性。
控制规则的第i耐受水平指代i=1时的自身位置噪声耐受、i=2时的路面状况干扰耐受、i=3时的控制周期鲁棒性、i=4时的控制延迟耐受、i=5时的定常干扰耐受、以及i=6时的脉冲干扰耐受。
当前第i不稳定水平是i=1至6时对应于耐受参数的不稳定参数。换言之,当前第i不稳定水平指代i=1时的自身位置噪声、i=2时的路面状况干扰、i=3时的控制周期不稳定性、i=4时的控制延迟、i=5时的定常干扰、以及i=6时的脉冲干扰。
图10示出了控制规则1和控制规则2的精度和自身位置噪声耐受,以及每个控制规则的分数计算。当将控制规则1和控制规则2的精度和耐受水平代入到图9的方程式时,代入控制规则1的精度(a)为“10”和自身位置噪声耐受(ti)为“3”,以及控制规则2的精度(a)为“5”和自身位置噪声耐受(ti)为“8”。在此,当将自身位置噪声的当前不稳定水平(nli)设置为“5”时,将精度权重(wa)设置为“3”,并将耐受水平权重(wti)设置为“10”,以执行代入,控制规则1和控制规则2的分数由以下方程式表示。
控制规则1的分数=10*3+(3-5)*10=10
控制规则2的分数=5*3+(8-5)*10=45
根据控制规则1和2的分数计算的结果,选择具有高分数的控制规则2。注意,可以基于车辆10行驶时的状况、周围状况等自由设置计算分数的方法、精度权重以及耐受水平权重等。例如,当检测到大雨和阵风时,可以增加自身位置噪声耐受和脉冲干扰耐受的耐受水平权重。
可替代地,如图11所示,控制规则的分数可以由以下方程式表示。
分数=a*arctan(Ca*wa)+Σi{arctan(Ct*(ti-nli))*wti}
此处,Ca和Ct是用于调整反正切函数的常数。该方程式是使反正切函数能够抑制图9的方程式的值变得太大的方程式。图12是在方程式中使用的用于分数计算的反正切函数的曲线图。
图12示出在x轴上的耐受水平和在y轴上的分数。如图12所示,随着x的绝对值增加,y的值变得恒定。例如,当不稳定水平非常小(接近0)时,如果耐受水平(x)为5或更大,则可以充分地稳定车辆10的自动驾驶的控制。反正切函数的使用使5至10的噪声耐受分数(y)可以大致相同。因此,如果控制规则的分数与车辆10的状况和周围状况匹配,则可以提高车辆10的自动驾驶的控制精度。
注意,控制规则的数量和选择方法不限于以上。可以基于车辆10的假设的状况和假设的周围状况来设置并选择适当的控制规则。
如上所述,在根据本实施例的车辆10中,基于车辆10的外部和内部的信息来检测用于车辆10的自主移动控制的不稳定因素。根据检测到的不稳定因素确定一种用于执行自主移动控制的方法。这使得可以提高自主移动控制的稳定性。
<其他实施方式>
本技术不限于上述实施例,并且可以实现其他各种实施例。
在以上描述中,从多个控制规则中选择要执行的控制规则。然而,用于执行车辆10的自主移动控制的控制方法不限于以上。可以确定用于执行车辆10的自主移动控制的控制参数。例如,由于PID控制的较高增益提高精度但降低控制的稳定性,因此可以根据不稳定水平确定PID控制的增益,并且可以将控制规则处理为无限个连续值。即,可以调整用于执行车辆10的自主移动控制的PID控制的增益。在本实施例中,PID控制的增益被包括在用于执行自主移动控制的控制参数中。
可替代地,可以使用仅一个控制规则。例如,可以基于计算的不稳定水平来确定控制参数以改变仅一个控制规则等的耐受水平。进一步,可以基于获取的关于车辆10状况的状况信息的改变来动态地改变控制参数。
当然,用于执行车辆10的自主移动控制的控制方法可以是从多个控制规则中选择要执行的控制规则的方法与确定控制参数的方法的组合。
在以上实施例中,已经举例说明将自动驾驶用于车辆的情况。本技术还适用于控制无人机、室内机器人等的所有系统。即,移动体是能够自主移动控制的车辆、无人机和机器人。
例如,飞行在空中的物体(诸如无人机)受到气流的强烈影响,并且阵风很可能会吹来的状况、下雨天气、由于雾的周围的低能见度,低环境温度等被视为不稳定因素。可以设置并选择适合于这些状况的控制规则。
进一步,例如,在室内机器人等的情况下,由于出于地毯等原因地板打滑,因此可以使用避免速度的突然改变的控制、或者即使在室内机器人等打滑时也稳定的控制。
在以上实施例中,多个控制规则被预设并存储在存储单元中。本技术不限于以上。例如,假设移动体的各种类型的状况信息的控制规则可以经由网络被上载到服务器等,并可以被选择。控制规则被存储在服务器等中,因此可以抑制移动体的处理负荷等。
进一步,安装在移动体中的计算机(自动驾驶控制单元)和经由网络等可通信的另一台计算机(云服务器)可以彼此协同工作,以根据本技术执行信息处理方法和程序,并根据本技术建立移动体和信息处理装置。
换言之,根据本技术的信息处理方法和程序不仅可以在由单个计算机配置的计算机系统中执行,还可以在多个计算机彼此协同操作的计算机系统中执行执行。注意,在本公开中,系统意味着多个组件(诸如装置或模块(部件))的集合,并且是否所有组件都被容纳在壳体中并不重要。因此,容纳在单独的壳体中并经由网络彼此连接的多个装置,以及具有多个模块容纳在单个壳体中的单个装置都是系统。
由计算机系统执行根据本技术的信息处理方法和程序包括例如以下两种情况:关于移动体的状况的状况信息的获取、用于移动体的自主移动控制的不稳定因素的检测、从多个存储的控制规则中选择要执行的控制规则等由单个计算机执行的情况;以及那些处理由不同计算机执行的情况。进一步,由预定计算机执行各个处理包括使另一个计算机执行那些处理中的一些或全部并获取其结果。
在根据上述本技术的特征部分中,可以组合至少两个特征部分。即,在各个实施例中描述的各种特征部分可以与实施例无关地任意地组合。进一步,上述各种效果仅是示例,并且不受限制,并且可以发挥其他效果。
注意,还可以如下配置本技术。
(1)一种移动体,包括
获取单元,获取关于移动体的状况的状况信息;
检测单元,基于获取的状况信息,检测对于移动体的自主移动控制的不稳定因素;以及
确定单元,基于检测到的不稳定因素,确定用于执行自主移动控制的控制方法。
(2)根据(1)所述的移动体,进一步包括
存储单元,存储用于执行自主移动控制的多个控制规则,其中
确定单元从存储的多个控制规则中选择要执行的控制规则。
(3)根据(2)所述的移动体,其中
确定单元基于检测到的不稳定因素动态地改变要执行的控制规则。
(4)根据(2)或(3)所述的移动体,其中
所述多个控制规则包括依赖状态Riccati方程(SDRE)控制、线性二次调节器(LQR)控制、H-无穷大(H∞)控制理论控制、自适应控制、具有低增益的比例-积分-微分(PID)控制或具有高增益的PID控制中的至少一个。
(5)根据(2)至(4)中任何一项所述的移动体,其中
检测单元基于获取的状况信息,针对关于自主移动控制的多个不稳定参数中的每个计算不稳定水平。
(6)根据(5)所述的移动体,其中
多个不稳定参数包括关于自身位置估计的不稳定水平、关于路面环境的不稳定水平、关于控制周期的不稳定水平、关于控制延迟的不稳定水平、关于建模计算的不稳定水平、关于定常干扰的不稳定水平、或关于脉冲干扰的不稳定水平中的至少一个。
(7)根据(5)或(6)所述的移动体,其中
确定单元基于针对多个控制规则中的每个设置的评估信息,选择要执行的控制规则。
(8)根据(7)所述的移动体,其中
评估信息包括多个控制规则中的每一个的精度水平、以及对应于多个不稳定参数的多个耐受参数中的每一个的耐受水平。
(9)根据(8)所述的移动体,其中
多个耐受参数包括关于自身位置估计的耐受水平、关于路面环境的耐受水平、关于控制周期的耐受水平、关于控制延迟的耐受水平、关于建模计算的耐受水平、关于定常干扰的耐受水平、或关于脉冲干扰的耐受水平中的至少一个
(10)根据(1)至(9)中任何一项所述的移动体,还包括:
驱动控制单元,控制移动体的驱动;
估计单元,基于获取的状况信息来估计移动体的位置和姿态;
路线获取单元,获取移动体的目标路线;以及
计算单元,基于估计的移动体的位置和姿态以及获取的目标路线来计算用于驱动移动体的控制值,并将所述控制值输出至驱动控制单元,其中
确定单元将通过计算单元计算控制值的方法确定为用于执行自主移动控制的控制方法。
(11)根据(1)至(10)中任何一项所述的移动体,其中
确定单元确定用于执行自主移动控制的控制参数。
(12)根据(11)所述的移动体,其中
确定单元调整用于执行自主移动控制的PID控制的增益。
(13)根据(2)所述的移动体,其中
状况信息包括移动体的驾驶状态,以及
当开始驱动移动体时,确定单元从多个控制规则中选择具有低增益的PID控制。
(14)根据(2)或(13)中所述的移动体,其中
状况信息包括时间信息,以及
确定单元在夜间期间从多个控制规则中选择具有关于自身位置估计的高耐受水平的控制规则。
(15)根据(2)、(13)或(14)中任何一项所述的移动体,其中
状况信息包括关于天气的信息,以及
确定单元在下雨天气的情况下从多个控制规则中选择具有关于自身位置估计的高耐受水平和关于路面环境的高耐受水平的控制规则。
(16)根据(2)和(13)至(15)中任何一项所述的移动体,其中
状况信息包括关于相对于移动体的光的照射状态的信息,以及
确定单元在逆光状态下从多个控制规则中选择具有关于自身位置估计的高耐受水平和关于脉冲干扰的高耐受水平的控制规则。
(17)根据(8)所述的移动体,其中
获取单元包括外部传感器,以及
确定单元基于外部传感器的类型和外部传感器的数量,计算对应于多个不稳定参数的多个耐受参数中的每个的耐受水平。
(18)一种信息处理装置,包括:
获取单元,获取关于移动体的状况的状况信息;
检测单元,基于获取的状况信息,检测对于移动体的自主移动控制的不稳定因素;以及
确定单元,基于检测到的不稳定因素,确定用于执行自主移动控制的控制方法。
(19)一种由计算机系统执行的信息处理方法,包括:
获取关于移动体的状况的状况信息;
基于获取的状况信息,检测对于移动体的自主移动控制的不稳定因素;以及
基于检测到的不稳定因素,确定用于执行自主移动控制的控制方法。
(20)使计算机系统执行以下步骤的程序:
获取关于移动体的状况的状况信息;
基于获取的状况信息,检测对于移动体的自主移动控制的不稳定因素;以及
基于检测到的不稳定因素,确定用于执行自主移动控制的控制方法。
附图标记列表
10 车辆
20 传感器
112 自动驾驶驶控制单元
131 检测单元
132 自身位置估计单元
135 行为控制单元
136 控制调整单元
181 不稳定因素监测系统
182 控制调整系统
Claims (20)
1.一种移动体,包括:
获取单元,获取关于移动体的状况的状况信息;
检测单元,基于获取的状况信息,检测对于移动体的自主移动控制的不稳定因素;以及
确定单元,基于检测到的不稳定因素,确定用于执行自主移动控制的控制方法。
2.根据权利要求1所述的移动体,进一步包括
存储单元,存储用于执行自主移动控制的多个控制规则,其中
确定单元从存储的多个控制规则中选择要执行的控制规则。
3.根据权利要求2所述的移动体,其中
确定单元基于检测到的不稳定因素动态地改变要执行的控制规则。
4.根据权利要求2所述的移动体,其中
所述多个控制规则包括依赖状态Riccati方程(SDRE)控制、线性二次调节器(LQR)控制、H-无穷大(H∞)控制理论控制、自适应控制、具有低增益的比例-积分-微分(PID)控制或具有高增益的PID控制中的至少一个。
5.根据权利要求2所述的移动体,其中
检测单元基于获取的状况信息,针对关于自主移动控制的多个不稳定参数中的每个计算不稳定水平。
6.根据权利要求5所述的移动体,其中
多个不稳定参数包括关于自身位置估计的不稳定水平、关于路面环境的不稳定水平、关于控制周期的不稳定水平、关于控制延迟的不稳定水平、关于建模计算的不稳定水平、关于定常干扰的不稳定水平、和关于脉冲干扰的不稳定水平中的至少一个。
7.根据权利要求5所述的移动体,其中
确定单元基于针对多个控制规则中的每个设置的评估信息,选择要执行的控制规则。
8.根据权利要求7所述的移动体,其中
评估信息包括多个控制规则中的每个的精度水平、以及对应于多个不稳定参数的多个耐受参数中的每个的耐受水平。
9.根据权利要求8所述的移动体,其中
多个耐受参数包括关于自身位置估计的耐受水平、关于路面环境的耐受水平、关于控制周期的耐受水平、关于控制延迟的耐受水平、关于建模计算的耐受水平、关于定常干扰的耐受水平、和关于脉冲干扰的耐受水平中的至少一个。
10.根据权利要求1所述的移动体,还包括:
驱动控制单元,控制移动体的驱动;
估计单元,基于获取的状况信息来估计移动体的位置和姿态;
路线获取单元,获取移动体的目标路线;以及
计算单元,基于估计的移动体的位置和姿态以及获取的目标路线来计算用于驱动移动体的控制值,并将所述控制值输出至驱动控制单元,其中
确定单元将通过计算单元计算控制值的方法确定为用于执行自主移动控制的控制方法。
11.根据权利要求1所述的移动体,其中
确定单元确定用于执行自主移动控制的控制参数。
12.根据权利要求11所述的移动体,其中
确定单元调整用于执行自主移动控制的PID控制的增益。
13.根据权利要求2所述的移动体,其中
状况信息包括移动体的驾驶状态,以及
当开始驱动移动体时,确定单元从多个控制规则中选择具有低增益的PID控制。
14.根据权利要求2所述的移动体,其中
状况信息包括时间信息,以及
确定单元在夜间期间从多个控制规则中选择具有关于自身位置估计的高耐受水平的控制规则。
15.根据权利要求2所述的移动体,其中
状况信息包括关于天气的信息,以及
确定单元在下雨天气的情况下从多个控制规则中选择具有关于自身位置估计的高耐受水平和关于路面环境的高耐受水平的控制规则。
16.根据权利要求2所述的移动体,其中
状况信息包括关于相对于移动体的光的照射状态的信息,以及
确定单元在逆光状态下从多个控制规则中选择具有关于自身位置估计的高耐受水平和关于脉冲干扰的高耐受水平的控制规则。
17.根据权利要求8所述的移动体,其中
获取单元包括外部传感器,以及
确定单元基于外部传感器的类型和外部传感器的数量,计算对应于多个不稳定参数的多个耐受参数中的每个的耐受水平。
18.一种信息处理装置,包括:
获取单元,获取关于移动体的状况的状况信息;
检测单元,基于获取的状况信息,检测对于移动体的自主移动控制的不稳定因素;以及
确定单元,基于检测到的不稳定因素,确定用于执行自主移动控制的控制方法。
19.一种由计算机系统执行的信息处理方法,包括:
获取关于移动体的状况的状况信息;
基于获取的状况信息,检测对于移动体的自主移动控制的不稳定因素;以及
基于检测到的不稳定因素,确定用于执行自主移动控制的控制方法。
20.使计算机系统执行以下步骤的程序:
获取关于移动体的状况的状况信息;
基于获取的状况信息,检测对于移动体的自主移动控制的不稳定因素;以及
基于检测到的不稳定因素,确定用于执行自主移动控制的控制方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-081706 | 2018-04-20 | ||
JP2018081706 | 2018-04-20 | ||
PCT/JP2019/015098 WO2019203022A1 (ja) | 2018-04-20 | 2019-04-05 | 移動体、情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111971635A true CN111971635A (zh) | 2020-11-20 |
Family
ID=68239652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980025702.6A Withdrawn CN111971635A (zh) | 2018-04-20 | 2019-04-05 | 移动体、信息处理装置、信息处理方法和程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210179142A1 (zh) |
EP (1) | EP3783453A4 (zh) |
CN (1) | CN111971635A (zh) |
WO (1) | WO2019203022A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7046740B2 (ja) * | 2018-07-02 | 2022-04-04 | 日立Astemo株式会社 | 予測制御装置 |
WO2020157683A1 (en) * | 2019-01-29 | 2020-08-06 | Aptiv Technologies Limited | Electric power steering torque compensation |
US11898850B2 (en) * | 2019-05-08 | 2024-02-13 | Hitachi Astemo, Ltd. | Vehicle position detection device and parameter set creation device for vehicle position detection |
EP3739361A1 (en) * | 2019-05-13 | 2020-11-18 | Aptiv Technologies Limited | Method and system for fusing occupancy maps |
KR20230060812A (ko) * | 2021-10-28 | 2023-05-08 | 현대자동차주식회사 | 전기 자동차 및 그의 주행을 제어하는 방법 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5837902B2 (ja) | 1977-03-03 | 1983-08-19 | 旭化成株式会社 | 耐水性にすぐれた多孔質体 |
JPH0825409B2 (ja) * | 1988-09-20 | 1996-03-13 | 三菱自動車工業株式会社 | 定速走行装置 |
US20020099475A1 (en) * | 2000-12-01 | 2002-07-25 | Ronald Spangler | Method and device for vibration control |
JP4852753B2 (ja) * | 2006-05-24 | 2012-01-11 | 国立大学法人鳥取大学 | 学習機能をもつ自律移動ロボット |
JP5391164B2 (ja) * | 2010-08-23 | 2014-01-15 | 日本電信電話株式会社 | 自律移動ロボットの動作計画方法、自律移動ロボットの動作計画方法を利用した自律移動ロボットの制御方法、自律移動ロボットの動作計画装置、自律移動ロボットの動作制御装置、自律移動ロボットの動作計画プログラム、自律移動ロボットの制御プログラム |
US9658627B2 (en) * | 2011-05-05 | 2017-05-23 | The Boeing Company | Detection of imminent control instability |
EP2749468B1 (en) * | 2011-08-25 | 2019-02-27 | Nissan Motor Co., Ltd | Autonomous driving control system for vehicle |
US8793046B2 (en) * | 2012-06-01 | 2014-07-29 | Google Inc. | Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data |
US10620633B2 (en) * | 2013-11-05 | 2020-04-14 | Hitachi, Ltd. | Autonomous mobile system |
JP6550795B2 (ja) * | 2015-03-02 | 2019-07-31 | 株式会社Soken | 車両制御装置 |
JP6335155B2 (ja) * | 2015-12-07 | 2018-05-30 | 株式会社Subaru | 車両の走行制御装置 |
US10019008B2 (en) * | 2016-09-28 | 2018-07-10 | Baidu Usa Llc | Sideslip compensated control method for autonomous vehicles |
CN107200020B (zh) * | 2017-05-11 | 2019-05-31 | 江苏大学 | 一种基于混杂理论的无人驾驶汽车自主转向控制系统和方法 |
-
2019
- 2019-04-05 US US17/046,875 patent/US20210179142A1/en not_active Abandoned
- 2019-04-05 CN CN201980025702.6A patent/CN111971635A/zh not_active Withdrawn
- 2019-04-05 WO PCT/JP2019/015098 patent/WO2019203022A1/ja active Application Filing
- 2019-04-05 EP EP19788453.9A patent/EP3783453A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP3783453A1 (en) | 2021-02-24 |
WO2019203022A1 (ja) | 2019-10-24 |
EP3783453A4 (en) | 2021-10-13 |
US20210179142A1 (en) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7136106B2 (ja) | 車両走行制御装置、および車両走行制御方法、並びにプログラム | |
US11450026B2 (en) | Information processing apparatus, information processing method, and mobile object | |
US11100675B2 (en) | Information processing apparatus, information processing method, program, and moving body | |
US20210116930A1 (en) | Information processing apparatus, information processing method, program, and mobile object | |
US20200409387A1 (en) | Image processing apparatus, image processing method, and program | |
CN111971635A (zh) | 移动体、信息处理装置、信息处理方法和程序 | |
US11501461B2 (en) | Controller, control method, and program | |
CN112534297B (zh) | 信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备 | |
US11200795B2 (en) | Information processing apparatus, information processing method, moving object, and vehicle | |
US11812197B2 (en) | Information processing device, information processing method, and moving body | |
JP7487178B2 (ja) | 情報処理方法、プログラム、及び、情報処理装置 | |
JP7257737B2 (ja) | 情報処理装置、自己位置推定方法、及び、プログラム | |
US20200298849A1 (en) | Information processing apparatus, information processing method, program, and vehicle | |
US20240257508A1 (en) | Information processing device, information processing method, and program | |
WO2021153176A1 (ja) | 自律移動装置、自律移動制御方法、並びにプログラム | |
US20200230820A1 (en) | Information processing apparatus, self-localization method, program, and mobile body | |
WO2019176278A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び移動体 | |
US20240012108A1 (en) | Information processing apparatus, information processing method, and program | |
CN116203506A (zh) | 一种检测自主车辆上的俯仰角的雷达安装误差的方法 | |
JPWO2020116204A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201120 |