CN107430591B - 车辆驾驶员辅助系统 - Google Patents

车辆驾驶员辅助系统 Download PDF

Info

Publication number
CN107430591B
CN107430591B CN201680007029.XA CN201680007029A CN107430591B CN 107430591 B CN107430591 B CN 107430591B CN 201680007029 A CN201680007029 A CN 201680007029A CN 107430591 B CN107430591 B CN 107430591B
Authority
CN
China
Prior art keywords
vehicle
threshold
data
response
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680007029.XA
Other languages
English (en)
Other versions
CN107430591A (zh
Inventor
G·L·拉特克里菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Active Safety and Electronics US LLC
Original Assignee
TRW Automotive US LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TRW Automotive US LLC filed Critical TRW Automotive US LLC
Publication of CN107430591A publication Critical patent/CN107430591A/zh
Application granted granted Critical
Publication of CN107430591B publication Critical patent/CN107430591B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02Active or adaptive cruise control system; Distance control
    • B60T2201/022Collision avoidance systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0022Gains, weighting coefficients or weighting functions
    • B60W2050/0025Transfer function weighting factor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/005Sampling
    • B60W2050/0051Sampling combined with averaging
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009Priority selection
    • B60W2050/0091Priority selection of control inputs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18036Reversing

Abstract

车辆驾驶员辅助系统包括专家评估系统,用以融合从各种数据源获取的信息。数据源可以对应于与作为整体的车辆以及外部元件相关联的状况。专家评估系统通过将每个数据值转换成度量值根据一组规则来监控和评估来自数据源的信息,确定每个度量的权重,为度量分配确定的权重以及生成与每个数据值相对应的加权度量。专家评估系统将每个加权度量(或者度量的线性组合)与一个或者多个阈值进行比较。来自比较的结果提供一个或者多个交通特征发生的可能性估计。

Description

车辆驾驶员辅助系统
相关申请的交叉引用
本申请要求于2015年1月26日提交的标题为VEHICLE DRIVER ASSIST SYSTEM的、所分配的代理人案号为GEE-023828US PRO的美国临时申请序列号No.62/107,580的优先权和权益。出于所有目的,通过引用将上面确定的临时申请整体并入本文。
背景技术
现在使用车辆驾驶员辅助系统为车辆操作者提供关于周围环境状况和车辆操作的信息。这种系统通常依赖于相机。驾驶员辅助系统向车辆操作者提供是否存在某些状况的警告并且甚至可能控制某些车辆功能(诸如激活车辆制动系统)。
发明内容
本发明涉及车辆驾驶员辅助系统,其将多个传感器与单个专家评估配置融合以向驾驶员提供改进的车辆环境与操作信息。
附图说明
图1是例示根据本发明的示例的专家评估系统的功能框图。
图2是例示根据本发明的示例的专家评估系统的另一个功能框图。
图3例示了采用根据本发明的示例的专家评估系统的方法。
图4是例示能够实现图1-3中公开的系统和方法的示例的硬件组件的示例性系统的示意性框图。
具体实施方式
本发明涉及车辆驾驶员辅助系统,其将来自多个传感器与其它数据源的数据融合并且使用专家评估系统向车辆操作者提供车辆环境与操作信息。驾驶员辅助系统分析专家评估系统中的数据、判断交通特征的可能性并且提供警告或者推荐和/或自动地实现安全响应。
图1例示了根据本发明的采用专家评估系统14的车辆驾驶员辅助系统10的功能框图。在例示的示例中,专家评估系统14可以利用基于规则的专家系统,然而,应当理解,专家评估系统可以利用统计分类器、人工神经网络、支持向量机或者用于将来自多个数据源的输入分类为多个类中的一个的任何其它合适的系统。驾驶员辅助系统10融合从各种数据源12获取的信息。数据源12可以对应于用于检测或者作为整体参考与车辆相关联的状况或属性(例如,行进速度、位置、到已知点的距离等)以及外部因素(例如,天气、当地交通法规、障碍物的存在、其它车辆的相对位置等)的传感器或者数据库。专家评估系统14通过将每个数据值转换成度量值根据一组规则来监控和评估来自数据源12的信息,确定每个度量的权重,为度量分配确定的权重并且生成与每个数据值相对应的加权度量。专家评估系统14将每个加权度量(或者度量的线性组合)与一个或者多个阈值进行比较。来自比较的结果提供一个或者多个交通特征发生的可能性估计。
交通特征可以是会影响车辆的路线或者潜在安全性的任何种类的情况和/或障碍物。交通特征的非限制性的示例是:道路上的其它车辆(例如,交通中的其它车辆,直到并且包括碰撞);天气状况(例如,根据天气预报服务来确定和/或通过本地传感器来确定);以及天然障碍物和/或人为障碍物,无论其为固定的还是临时的。在确定交通特征是否存在时,由专家系统分析和处理来自每个传感器和/或数据源(例如,来自联网数据库、操作者输入等)的数据以生成一个或者多个度量。可以基于来自特定传感器或者数据源的一系列可能的值来向数据输入本身分配置信度值。置信度值的水平将转而影响将基于其确定交通特征的度量。
基于通过应用所选择的一个或多个加权度量而获得的阈值水平,向估计分配置信度水平。当估计的交通特征发生的置信度具有足够的水平时,系统提供输出16。例如,如果达到低水平阈值,则输出16可以是向车辆操作者警告即将出现的交通特征。如果达到较高水平阈值,则输出16可以自动地实现自主车辆操作修改以对交通特征作出响应。如果没有达到阈值水平,则专家评估系统14既不提供警告也不执行自主车辆操作修改,但是,替代地,继续监控来自一个或者多个数据源12的输入。以这种方式,系统确保对每个确定的交通特征的适当响应。
图2是例示根据本发明的采用专家系统26的车辆驾驶员辅助系统的另一个功能框图,在专家系统26中融合从多个传感器20获得的信息以生成响应。根据一个示例,多个传感器20包括例如GPS系统、车载相机(例如,前视相机)、雷达检测器、车辆稳定性系统和/或可以收集对查明周围车辆环境状况(例如,车辆速度、轮胎压力、温度、道路表面状况等)有用的数据的另外的传感器。将来自传感器20的信息传递至相关联的信号处理组件22,信号处理组件22被配置为分析来自每个传感器的输出数据。例如,GPS连接至位置估计组件,连同地图数据一起可以指示车辆在城市环境中活动并且提供标识车辆的特定街道位置估计的数据。相机和图像识别组件可以确定车辆在改善的道路上。雷达和障碍物识别组件可以标识前方道路上的障碍。另外的传感器可以识别外部空气温度、每个时间的轮胎压力、道路状况等。由合适的软件、硬件(即电路)或者信号处理组件22分析来自另外的传感器的信息。
信号处理组件22分析的结果提供至专家评估系统26。专家评估系统26可以包括用以存储和执行机器可读指令的控制器28,例如,计算设备。专家评估系统26可以识别从信号处理组件22接收的数据的类型(例如,GPS位置数据、相机图像数据等)并且构建车辆周围环境以及当前驾驶状况的整体图景。此外,可以将网络数据24提供至控制器28。例如,网络数据24可以包括来自一个或者多个数据库的数据以及来自装备有能够进行车辆对车辆通信的设备的邻近车辆的数据,其中该一个或者多个数据库包含与车辆操作有关的信息(例如,地图数据、天气情况、交通信息等)。
在一个示例中,专家评估系统26可以将来自信号处理组件22的数据转换成用于进一步数据分析的标准化的度量。度量可以被看作针对与给定的交通状况相关联的判断阈值的一块“证据”。专家评估系统26使各个系统的数据标准化,使得可以以统一的方式针对判断阈值应用度量。由分析和处理输入数据的基于规则的引擎30来处理转换。每个度量可以是其对应的数据的置信度的函数,其中该对应的数据来自专家评估系统26处的分析或处理。在一个实现方式中,可以根据对从最近的样本组提取的偏差(例如,标准偏差、四分位差等)的测量来估计给定的数据流的置信度。
例如,图像识别组件可以提供指示相机已经捕获对象的高水平置信度的数据,根据规则,其将导致较大的度量被分配给图像数据。此外,规则引擎30将确定相机数据的权重并且向与相机数据相关联的度量分配加权。规则可以基于各种因素(包括相应数据源的可靠性以及相关联的环境贡献因素)对给定传感器输入的相对重要性进行排序。尽管可以建立默认的预定权重,但是分配给给定数据点的权重可以取决于一个或者多个因素,诸如数据源、与其它数据相关的信息以及交通特征的类型。例如,在评估道路中是否有障碍物时,可以向雷达赋予比地图或者GPS数据大的权重。相反地,如果雨传感器或者天气服务指示强降水,则可以降低雷达灵敏度,使得雷达数据被分配较小权重。类似地,在黑暗中,在编译度量时,可以对在可见光谱中工作的光学系统较轻地加权。
在确定传感器正在经受故障或者正在提供始终不可靠的数据的情形下,专家系统可以(例如,通过为该度量分配零权重)将进入的数据从编译的度量中全部去除。这种修改可能需要来自系统本身或者外部源(例如,维护人员)的另外的校准和/或服务以解决问题。因此,数据的加权可以被动态地确定,并且能够基于一项或多项规则随着环境状况而改变。有利地,可以独立地和/或作为总体地分析来自每个传感器的数据以在专家系统处生成度量。因此,在道路中有障碍物的示例中,仅雷达数据就可能足以唤起来自车辆系统的响应(例如,警报或者自动制动),而不需要考虑相机。因此,将与相机数据相对应的加权度量值与阈值组件32中的一个或者多个预定阈值进行比较。如果加权度量值达到一个或者多个阈值,则阈值组件32通知控制器28响应被批准以及响应处于哪个水平。随后,响应发生器34基于特定的阈值生成合适的响应。基于阈值,对于需要响应的驾驶状况,对交通特征的可能性进行估计。
在一个示例中,置信度值可以与第一阈值相对应以唤起第一响应,以及与第二阈值相对应以唤起第二响应。更特别地,第一阈值可以低于第二阈值,使得需要较小的度量以唤起对应的响应。还可以采用另外的阈值和响应。例如,达到最低阈值可以唤起简单警报,诸如仪表板灯或单个可听警报。此外,可以在达到最高阈值之前应用一个或者多个中间阈值。例如,当达到另外的阈值时,警报可以变得更引人注意,诸如仪表板灯闪烁、可听警报重复和/或频率或音量增大。在最高阈值处,可以实现一个或者多个安全特征(例如自动制动)。
还应当理解,根据交通特征的即时性,阈值可以是动态的。例如,随着交通特征的接近度增大,可以减小要采取动作的阈值。当车辆系统确定与交通特征的接触迫近时,可以更进一步地降低阈值。指示该确定的车辆系统可以包括转速计、轮胎压力传感器、安全带传感器以及其它安全系统反馈和其它相关的传感器数据。这种数据可以用于基于例如所计算的制动时间和/或停车距离来确定动态阈值的值。
当另外的传感器或系统确认交通特征存在时,系统可以为交通特征存在的确定分配高水平置信度。为此,例如,由相机或雷达提供的度量可以与被分配给从联网报告系统接收的交通报告的度量或者其它相关度量结合。随后,可以将阈值与这些加权度量的总和进行比较,其中根据达到的阈值来确定车辆的响应。例如,可以向车辆驾驶员呈现可听和/或可视警告,或者可以根据所生成的响应实现自主车辆响应(例如,自动制动)。然而,如果系统确定所确定的状况的置信度水平低,则系统将继续监控输入22并且在专家系统26中执行评估。在该示例中,如果联网数据(例如,来自交通服务或者从邻近车辆得到的信息)表明前方道路中有障碍物但并非当务之急,则第一响应可以是对车辆驾驶员的警告。然而,如果专家系统基于与雷达数据结合的联网数据确定与障碍物的碰撞迫近,则可以生成较大的置信度,并且第二阈值可以唤起不同的响应,诸如自动制动。
在本文描述的车辆驾驶员辅助系统的另一个示例实现方式中,交通特征可以是位于车辆前方的道路中的障碍。雷达和前视相机已经识别到障碍物并且为此向专家系统提供了数据。然而,GPS系统、地图和联网数据没有提供识别障碍的正数据。在该示例中,每个数据源处于全功能,并且专家系统对每个数据源应用默认权重。尽管GPS系统、地图和联网数据没有确认障碍的存在,但是从雷达和相机数据得到的度量可能足以根据一个或者多个阈值唤起响应,如上所述,特别是当障碍接近时一个或者多个阈值降低。
在又一个示例中,可以在车辆进入隧道时改变与各种度量相关联的权重。在该实例中,本地系统适当地工作,并且可以返回识别障碍物的正数据。然而,一旦在隧道内,GPS数据馈送变得不一致和/或全部故障。因而,系统可以确定GPS数据不可靠并且不应当被考虑,并且要么降低GPS数据的加权要么将其设定为空值。在该情形中,可以增大应用于本地系统(诸如车载相机或者轮胎压力传感器)的权重或者可以降低一个或者多个响应的阈值以补偿数据源的损失。在另一个示例中,系统可以预先识别即将出现的隧道(例如,根据GPS和/或地图数据)。在预期数据源将具有有限准确度或者不可用的情况下,随后,系统可以主动修改对一个或者多个系统的加权。
在道路中有被确定的障碍的示例中,如果单个车辆经由网络24发送障碍的报告但没有减速或者修改路线,并且其它车辆类似地未能修改它们的路线,则位于中心的交通监控/分析位置模块可以根据自主系统、管理机构等判断障碍不是需要注意的障碍物。即使当系统确定自主控制被批准时,也向驾驶员提供可视、可听或触觉警报。
此外,如果各种车辆经由网络24确认道路中障碍的存在并且每个这种车辆的关联专家系统识别到驾驶员行为响应于障碍的改变(例如,停车和/或改变车道),则位于中心的交通监控/分析位置模块可以将该信息转发至其它邻近车辆。可替代地,一个车辆可以将分析日期直接传输至其它邻近车辆。利用这种布置,多个传感器20中的另外的传感器中的一个将包括接收器,用于直接从其它车辆和/或从中央监控站接收交通状况数据。另外,如果识别到交通特征,则可以通过网络数据24将信息上传至远程联网应用。例如,编译特定地理区域的交通和环境信息的位于中央的交通监控/分析位置模块可以使用来自个体车辆的数据对道路状况和可能的交通问题进行判断,并且进而使该信息对区域中的其它车辆可用。类似的应用可以包括识别急救车辆,其中急救车辆本身可以提交位置和方向信号,或者邻近车辆可以向专家系统通知接近的车辆并且为操作者提供所需要的合适的通知/动作。
如上面提到的,可以向系统提供存储在GPS位置信息中或者系统内的存储器存储设备中的交通数据和信息。例如,可以提供交通速度限制数据和/或将交通速度限制数据存储在存储器中,使得系统可以推荐或者自动地修改行为(例如,在一天的限制时间期间在学校地带驾驶时)。也可以在物理条件使道路状况或者交通告示的识别困难(例如,速度标志被撞翻或者道路被积雪覆盖)时使用信息。信息可以基于GPS存储的数据向系统通知即将出现的转弯、交通模式和建筑物并且相应地作出反应。
另一个示例是相机系统可以监控标示车辆速度的车辆道路标志、道路中即将出现的转弯等。由于这种道路标志可能由于各种原因(例如,积雪、损坏)而模糊,因此专家系统可以存储有关于特定车辆位置的标示速度限制的信息。如果系统确定相机数据不可靠(诸如,根据不一致的输入或者根据天气报告),则可以为GPS信息分配比相机信息高的加权值。
图3例示了采用如图1和图2中提供的专家评估系统的车辆驾驶员辅助系统100的流程图。根据图3的示例,在110处,驾驶员辅助系统100从各种数据源接收数据值。在112中,专家评估系统通过将每个数据值转换为度量值根据一组规则来监控和评估来自数据源的信息。在114中,确定每个度量的权重,并且在116中,将所确定的权重应用于度量,并且生成与每个数据值相对应的加权度量。在118中,专家评估系统将每个加权度量(或者度量的线性组合)与一个或者多个阈值进行比较。在120中,确定是否已经达到阈值中的一个或者多个。如果已经达到阈值,则交通特征发生的置信度具有足够水平,在122中,系统生成响应。如果没有达到阈值水平,则在124中,专家评估系统继续监控来自一个或者多个数据源的输入。
图4是例示能够实现图1-4中公开的本发明的示例(诸如图1中例示的专家系统)的硬件组件的示例性系统400的示意性框图。系统400可以包括各种系统和子系统。系统400可以是例如个人计算机、膝上型计算机、平板计算机、智能便携式设备、工作站、计算机系统、器具、专用集成电路(ASIC)、服务器、服务器刀片中心、服务器群或者类似设备。
系统400可以包括系统总线402、处理单元404、系统存储器406、存储器设备408和410、通信接口412(例如,网络接口)、通信链路414、显示器416(例如,视频屏幕)以及输入设备418(例如,键盘和/或鼠标)。系统总线402可以与处理单元404和系统存储器406通信。另外的存储器设备408和410(诸如,硬盘驱动器、服务器、独立数据库或者其它非易失性存储器)也可以与系统总线402通信。系统总线402将处理单元404、存储器设备406-410、通信接口412、显示器416和输入设备418互相连接。在一些示例中,系统总线402还将另外的端口(未示出)(诸如,通用串行总线(USB)端口)互相连接。处理单元404可以是计算设备并且可以包括专用集成电路(ASIC)。处理单元404执行一组指令以实现本文公开的示例操作。处理单元404可以包括处理核。
另外的存储器设备406、408和410可以以文本或者编译形式存储数据、程序、指令、数据库查询以及操作计算机所需要的任何其它信息。存储器406、408和410可以被实现为非瞬时计算机可读介质(集成的或者可拆卸的),诸如存储器卡、磁盘驱动器、光盘(CD)或者可经由网络访问的服务器。在某些示例中,存储器406、408和410可以存储文本、图像、视频和/或音频,连同合适的指令一起以人可理解的形式使所存储的数据在相关联的显示器416处可用。另外,存储器设备408和410可以充当图1中例示的系统的数据库或数据存储装置。附加地或可替代地,系统400可以通过通信接口412访问外部数据源,通信接口412可以与系统总线402和通信链路414通信。
在工作中,系统400可以用于实现交互式覆盖系统的控制系统,其中交互式覆盖系统控制管理者与用户之间的交互。根据某些示例,用于实现交互式覆盖系统的计算机可执行逻辑驻留在系统存储器406和存储器设备408、410中的一个或者多个上。处理单元404执行来自系统存储器406以及存储器设备408和410的一个或者多个计算机可执行指令。本文中使用的术语“计算机可读介质”指的是参与为处理单元404提供指令用于执行的介质,并且可以包括经由合适的数据连接链接到处理器的多个物理存储器组件。
通过本发明的该说明书,本领域普通技术人员将理解,其它修改、组合和置换是可能的。本发明旨在涵盖落在所附权利要求的范围内的所有这种修改、组合和置换。
此外,用于描述本文例示的图的结构特征的相关术语(诸如,之上和之下、上和下、第一和第二、接近和远离等)决不限制可构想的实现方式。例如,用与所描述的图一致的术语来描述本文中描述的结构的示例,并且可以从不同的视角观察实际结构,使得之上和之下可以颠倒(例如,之下和之上),或者放置在侧面上(例如,左和右)等。由本文提供的图和说明书完全涵盖和解释这种替代。
上面已经描述的是示例。当然,尽管不可能描述组件或者方法的每一个可构想的组合,但是本领域普通技术人员将认识到许多进一步的组合和置换是可能的。相应地,本发明旨在涵盖落在本申请(包括所附权利要求)的范围内的所有这种变更、修改和变形。另外,对于本公开或者权利要求记载“一”、“一个”、“第一”或者“另一个”元件或者其等效物的情况,应当解释为包括一个或者多于一个这种元件,既不要求也不排除两个或者更多个这种元件。如本文使用的,术语“包括”意指包括但不限于,并且术语“包含”意指包含但不限于。术语“基于”意指至少部分地基于。

Claims (12)

1.一种用于在计算机可读介质上实现车辆决策系统的方法,所述计算机可读介质配置为执行处理器上的机器可读指令,所述指令包括:
从多个传感器收集数据;
通过多个分析组件分析所述数据;
对来自所述多个分析组件的经分析的数据进行转换以在专家评估系统处产生相应的标准化的度量;
在所述专家评估系统处向每个标准化的度量分配权重;
将加权的度量的和与至少一个阈值进行比较以估计交通特征发生的可能性,其中所述至少一个阈值包括第一阈值和大于第一阈值的第二阈值,其中随着所述交通特征到所述车辆的接近度增加,所述第一阈值和所述第二阈值中的每一个都降低;以及
基于估计的所述交通特征发生的可能性在与所述车辆决策系统相关联的车辆处生成响应,所述响应包括:如果估计的可能性满足第一阈值但不满足第二阈值则调用第一响应,并且如果估计的可能性满足第二阈值则调用第二响应。
2.根据权利要求1所述的方法,其中给定的度量与所述多个传感器中给定的传感器相关联,并且根据来自另一个传感器的输入来向所述给定的度量分配所述权重。
3.根据权利要求1所述的方法,其中在所述车辆处生成响应包括向所述车辆的驾驶员提供警报。
4.根据权利要求1所述的方法,其中在所述车辆处生成响应包括激活所述车辆的安全系统。
5.根据权利要求1所述的方法,其中所述交通特征是以下中的一个:道路上的另一个车辆、天气状况以及道路中的障碍物。
6.根据权利要求1所述的方法,还包括监控所述多个传感器以确定给定的传感器何时可能具有有限的准确度,其中向每个标准化的度量分配权重包括根据所述给定的传感器的降低的准确度来分配权重。
7.根据权利要求6所述的方法,其中所述给定的传感器是相机,并且监控所述多个传感器包括确定存在可能使所述相机的视野模糊的天气状况。
8.根据权利要求6所述的方法,其中所述给定的传感器是全球定位系统(GPS)接收器,并且监控所述多个传感器包括确定所述车辆将要进入隧道。
9.一种车辆决策系统,包括:
多个传感器,用以收集数据;
专家评估系统,被配置为:
将从所述多个传感器的子集收集的数据转换为相应的度量;
确定每个度量的权重;
将所述度量的使用确定的权重的线性组合与至少一个阈值进行比较以估计交通特征发生的可能性,其中所述至少一个阈值包括第一阈值和大于第一阈值的第二阈值,其中随着所述交通特征到所述车辆的接近度增加,所述第一阈值和所述第二阈值中的每一个都降低;以及
根据所述线性组合与所述阈值的比较在与所述车辆决策系统相关联的车辆处生成响应,所述响应包括:如果所述线性组合满足第一阈值但不满足第二阈值则调用第一响应,并且如果所述线性组合满足要调用第二响应的所述第二阈值则调用第二响应。
10.根据权利要求9所述的车辆决策系统,其中所述多个传感器包括用于从另一个车辆和中央监控站中的一个接收交通状况数据的接收器。
11.根据权利要求10所述的车辆决策系统,其中所述多个传感器还包括以下中的至少一个:全球定位系统(GPS)接收器,车载相机,雷达,以及车辆稳定性系统。
12.根据权利要求9所述的车辆决策系统,其中所述专家评估系统被配置为确定所述多个传感器中的一个传感器将具有有限的准确度,并且修改与所述多个传感器中的所述一个传感器相关联的度量的权重。
CN201680007029.XA 2015-01-26 2016-01-22 车辆驾驶员辅助系统 Expired - Fee Related CN107430591B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562107580P 2015-01-26 2015-01-26
US62/107,580 2015-01-26
PCT/US2016/014427 WO2016122969A1 (en) 2015-01-26 2016-01-22 Vehicle driver assist system

Publications (2)

Publication Number Publication Date
CN107430591A CN107430591A (zh) 2017-12-01
CN107430591B true CN107430591B (zh) 2020-10-30

Family

ID=56544188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680007029.XA Expired - Fee Related CN107430591B (zh) 2015-01-26 2016-01-22 车辆驾驶员辅助系统

Country Status (4)

Country Link
US (1) US10493986B2 (zh)
EP (1) EP3251023A4 (zh)
CN (1) CN107430591B (zh)
WO (1) WO2016122969A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3033752B1 (fr) * 2015-03-18 2017-03-10 Bluecarsharing Procede et systeme de maintenance de vehicules, installation mettant en oeuvre de tels procede et systeme
US11267489B2 (en) * 2016-03-17 2022-03-08 Hitachi, Ltd. Automatic operation assistance system and automatic operation assistance method
US10026309B1 (en) 2016-04-11 2018-07-17 State Farm Mutual Automobile Insurance Company Networked vehicle control systems to facilitate situational awareness of vehicles
US10247565B2 (en) 2016-04-11 2019-04-02 State Farm Mutual Automobile Insurance Company Traffic risk avoidance for a route selection system
US10872379B1 (en) 2016-04-11 2020-12-22 State Farm Mutual Automobile Insurance Company Collision risk-based engagement and disengagement of autonomous control of a vehicle
US10222228B1 (en) 2016-04-11 2019-03-05 State Farm Mutual Automobile Insurance Company System for driver's education
US10019904B1 (en) 2016-04-11 2018-07-10 State Farm Mutual Automobile Insurance Company System for identifying high risk parking lots
US10486708B1 (en) 2016-04-11 2019-11-26 State Farm Mutual Automobile Insurance Company System for adjusting autonomous vehicle driving behavior to mimic that of neighboring/surrounding vehicles
US11851041B1 (en) * 2016-04-11 2023-12-26 State Farm Mutual Automobile Insurance Company System for determining road slipperiness in bad weather conditions
US10233679B1 (en) 2016-04-11 2019-03-19 State Farm Mutual Automobile Insurance Company Systems and methods for control systems to facilitate situational awareness of a vehicle
US10762358B2 (en) * 2016-07-20 2020-09-01 Ford Global Technologies, Llc Rear camera lane detection
KR101826060B1 (ko) * 2017-05-15 2018-02-06 주식회사 퀀텀게이트 교통사고 예보시스템
KR102565533B1 (ko) 2017-06-14 2023-08-10 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 항법 정보의 융합 프레임워크 및 배치 정렬
DE102017123205A1 (de) * 2017-10-06 2019-04-11 Valeo Schalter Und Sensoren Gmbh Konfiguration einer Kraftfahrzeug-Fahrerassistenzvorrichtung mit einem neuronalen Netzwerk im laufenden Betrieb
US11630455B2 (en) * 2018-01-31 2023-04-18 Walmart Apollo, Llc System and method for autonomous decision making, corrective action, and navigation in a dynamically changing world
US10745006B2 (en) * 2018-02-01 2020-08-18 GM Global Technology Operations LLC Managing automated driving complexity of the forward path using perception system measures
JP6927090B2 (ja) * 2018-03-05 2021-08-25 トヨタ自動車株式会社 経路生成装置
DE102018207869A1 (de) * 2018-05-18 2019-11-21 Volkswagen Aktiengesellschaft Verfahren und System zur Bereitstellung einer Automatisierungsfunktion für ein Fahrzeug
EP3594035B1 (en) * 2018-07-10 2021-01-13 Ningbo Geely Automobile Research & Development Co., Ltd. A vehicle comprising a door opening warning system
DE102018213378B4 (de) * 2018-08-09 2021-01-28 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem für ein Fahrzeug, Fahrzeug mit demselben und Fahrassistenzverfahren für ein Fahrzeug
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
RU2743895C2 (ru) 2018-09-17 2021-03-01 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия объектов
US11630197B2 (en) * 2019-01-04 2023-04-18 Qualcomm Incorporated Determining a motion state of a target object
US11364913B2 (en) * 2019-03-26 2022-06-21 GM Global Technology Operations LLC Situational complexity quantification for autonomous systems
CN111409455A (zh) * 2020-03-26 2020-07-14 北京汽车集团有限公司 车辆的速度控制方法及装置、电子设备、存储介质
US11090986B1 (en) * 2020-04-07 2021-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle tire pressure learning system and method
CN113619573A (zh) * 2020-05-09 2021-11-09 奥迪股份公司 辅助装置、相应的系统、辅助方法和介质
US11548442B2 (en) 2020-05-12 2023-01-10 GM Cruise Holdings LLC. Passenger safeguards for autonomous vehicles
US11769412B2 (en) * 2020-06-10 2023-09-26 Hyundai Mobis Co., Ltd. Rear side warning system and method for vehicle
CN112784678A (zh) * 2020-12-14 2021-05-11 深兰人工智能(深圳)有限公司 危险提示方法和装置
US11892303B2 (en) 2021-05-26 2024-02-06 Here Global B.V. Apparatus and methods for predicting state of visibility for a road object
DE102021205633A1 (de) * 2021-06-02 2022-12-08 Zf Friedrichshafen Ag Fahrzeugsystem zur Durchführung einer Bremsung
US11605233B2 (en) 2021-06-03 2023-03-14 Here Global B.V. Apparatus and methods for determining state of visibility for a road object in real time
CN114291102A (zh) * 2021-12-13 2022-04-08 浙江华锐捷技术有限公司 辅助驾驶策略融合方法、系统、车辆和可读存储介质
CN114954299B (zh) * 2022-05-19 2023-02-17 李诣坤 一种降低汽车油耗的油耗预警方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850873B1 (en) * 1999-09-29 2005-02-01 Eric T Bax Using validation by inference to select a hypothesis function
US6745613B2 (en) * 2001-08-13 2004-06-08 Spx Corporation Method and system for determining the type of fuel used to power a vehicle
US6550316B1 (en) 2001-10-01 2003-04-22 General Motors Corporation Engine off natural vacuum leakage check for onboard diagnostics
US6721659B2 (en) * 2002-02-01 2004-04-13 Ford Global Technologies, Llc Collision warning and safety countermeasure system
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
DE102004062496A1 (de) * 2004-12-24 2006-07-06 Daimlerchrysler Ag Verfahren zum Betreiben eines Kollisionsvermeidungs- oder Kollisionsfolgenminderungssystems eines Fahrzeugs sowie Kollisionsvermeidungs- oder Kollisionsfolgenminderungssystem
DE102006008981A1 (de) * 2006-02-23 2007-08-30 Siemens Ag Assistenzsystem zur Unterstützung eines Fahrers
EP2135782B1 (en) 2008-06-18 2011-10-05 GM Global Technology Operations LLC Motor vehicle driver assisting method near the stability limit
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
DE102008062916A1 (de) * 2008-12-23 2010-06-24 Continental Safety Engineering International Gmbh Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeuges mit einem Lebewesen
DE102009058528A1 (de) * 2009-12-16 2011-06-22 Valeo Schalter und Sensoren GmbH, 74321 Verfahren und Fahrerassistenzeinrichtung zum Ausgeben eines Warnsignals in einem Kraftfahrzeug
JP5372802B2 (ja) * 2010-02-24 2013-12-18 クラリオン株式会社 トンネル内位置推定機能付きナビゲーション装置
US9558667B2 (en) * 2012-07-09 2017-01-31 Elwha Llc Systems and methods for cooperative collision detection
US9187091B2 (en) * 2012-07-30 2015-11-17 Ford Global Technologies, Llc Collision detection system with a plausibiity module
US9221461B2 (en) 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
KR20150070801A (ko) * 2013-12-17 2015-06-25 현대자동차주식회사 차량간 통신을 이용한 교통정보 전달방법
US20160146616A1 (en) * 2014-11-21 2016-05-26 Alpine Electronics, Inc. Vehicle positioning by map matching as feedback for ins/gps navigation system during gps signal loss

Also Published As

Publication number Publication date
US20180001890A1 (en) 2018-01-04
WO2016122969A1 (en) 2016-08-04
EP3251023A1 (en) 2017-12-06
US10493986B2 (en) 2019-12-03
EP3251023A4 (en) 2018-09-26
CN107430591A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107430591B (zh) 车辆驾驶员辅助系统
US11557207B1 (en) Vehicle collision alert system and method for detecting driving hazards
CN110997387B (zh) 具有自主驾驶能力的运载工具的风险处理
US10776735B2 (en) Risk information processing method and server device
CN112334370B (zh) 车道偏离警报的自动化载运工具动作及关联的系统和方法
US20200286370A1 (en) Transportation threat detection system
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
US11769403B2 (en) Systems and methods for fiber optic based vehicle-direction detection
WO2013170882A1 (en) Collaborative vehicle detection of objects with a predictive distribution
US20230180045A1 (en) Systems and methods for selecting locations to validate automated vehicle data transmission
US10916134B2 (en) Systems and methods for responding to a vehicle parked on shoulder of the road
CN113095125B (zh) 基于场景连续性来诊断感知系统
US20200255028A1 (en) Autonomous driving using an adjustable autonomous driving pattern
KR102548821B1 (ko) 도로 위험물 인지 장치 및 방법
KR20210116038A (ko) 실시간으로 노면을 모니터링하기 위한 전자 장치와 그의 동작 방법 및 그를 포함하는 시스템
KR102281891B1 (ko) 도로 결빙 현상 알림을 제공하는 차량 제어 시스템 및 그것의 제어방법
US20220028258A1 (en) Warning presentation control device, warning presentation control system, method of controlling warning presentation, and recording medium storing warning presentation control program
US20220388538A1 (en) Cabin preferences setting that is based on identification of one or more persons in the cabin
WO2024064286A1 (en) Microweather classification
CN116311959A (zh) 在道路上车道标线误检测时的故障隔离和缓减
JP2023050804A (ja) 路面判定装置、及び、路面判定方法
CN117178309A (zh) 用于创建具有碰撞概率的地图的方法
CN115017967A (zh) 检测和收集事故相关驾驶体验事件数据

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201030

CF01 Termination of patent right due to non-payment of annual fee