CN110435538A - 远程车辆空间感知通知系统 - Google Patents

远程车辆空间感知通知系统 Download PDF

Info

Publication number
CN110435538A
CN110435538A CN201910312486.5A CN201910312486A CN110435538A CN 110435538 A CN110435538 A CN 110435538A CN 201910312486 A CN201910312486 A CN 201910312486A CN 110435538 A CN110435538 A CN 110435538A
Authority
CN
China
Prior art keywords
remote object
vehicle
remote
crude
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910312486.5A
Other languages
English (en)
Inventor
B·N·巴克斯
L·A·布什
李世芳
E·帕拉斯科瓦斯
P·M·帕拉兰达
周宇辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110435538A publication Critical patent/CN110435538A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/25—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90—Details or parts not otherwise provided for
    • B60N2002/981—Warning systems, e.g. the seat or seat parts vibrates to warn the passenger when facing a danger

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文描述了用于在车辆中提供驾驶员通知的技术方案。示例系统包括一个或多个传感器，一个或多个传感器测量在车辆的预定附近的远程对象的一种或多种属性。系统进一步包括向驾驶员提供通知的输出装置。系统进一步包括远程对象监测系统，该远程对象监测系统基于远程对象的属性来生成要经由输出装置提供的驾驶员通知。生成驾驶员通知包括：基于远程对象的属性来确定远程对象的鲁莽分数。生成驾驶员通知进一步包括：响应于鲁莽分数超过预定阈值，生成包括方向信息的驾驶员通知，该方向信息提供远程对象相对于车辆的地点的空间感知。

Description

远程车辆空间感知通知系统
引言
本公开涉及触觉装置，并且更具体地涉及车辆中的用于向驾驶员提供连续反馈和动态警报的触觉座椅。
人们期望向车辆的驾驶员提供连续反馈和/或动态警报以警告驾驶员车辆周围的一个或多个系统优先化事件，一个或多个系统优先化事件可以由车辆的一个或多个传感器或者其它系统自动地检测以避免碰撞并且提高车辆的安全性。连同音频和视觉警报一起，期望使用触觉装置来提供警报。在结合附图和前述技术领域和背景技术来看时，其它令人期望的特征和特性将从随后的详细描述和所附权利要求书中变得显而易见。
发明内容
本文描述了用于在车辆中提供驾驶员通知的技术方案。示例系统包括一个或多个传感器，一个或多个传感器测量在车辆的预定附近的远程对象的一种或多种属性。系统进一步包括向驾驶员提供通知的输出装置。系统进一步包括远程对象监测系统，该远程对象监测系统基于远程对象的属性来生成要经由输出装置提供的驾驶员通知。生成驾驶员通知包括：基于远程对象的属性来确定远程对象的鲁莽分数。生成驾驶员通知进一步包括：响应于鲁莽分数超过预定阈值，生成包括方向信息的驾驶员通知，该方向信息提供远程对象相对于车辆的地点的空间感知。
在一个或多个示例中，远程对象从多个远程对象中优先化。在一个或多个示例中，驾驶员通知是包括触觉通知、视觉通知、以及可听通知的增强现实通知，并且其中，触觉通知使用来自触觉警报装置的特定部段的触觉致动器来提供方向信息。进一步地，视觉通知响应于鲁莽分数超过预定阈值而改变远程对象的颜色。可替代地，或者此外，可听通知使用来自特定部段的扬声器来提供方向信息。
在一个或多个示例中，确定鲁莽分数包括：基于远程对象的识别来接收远程对象的先前鲁莽分数，以及使用从一个或多个传感器接收到的远程对象的属性来更新先前鲁莽分数。在一个或多个示例中，储存远程对象的更新的鲁莽分数以由第二车辆访问。
远程对象的属性包括远程对象的横向可变性，横向可变性基于远程对象在远程对象正在沿其行进的道路的车道内的偏差来确定。远程对象的属性包括远程对象的突然制动，突然制动基于远程对象在预定时间窗口内的最大减速度来确定。远程对象的属性包括远程对象在预定时间窗口内的多次车道变化。远程对象的属性包括针对远程对象相对于第二远程对象确定的尾随距离。远程对象的属性包括远程对象在预定时间窗口内的多次交通标志违规。
根据一个或多个实施例，一种用于在车辆中提供驾驶员通知的方法包括：通过一个或多个传感器来测量在车辆的预定附近的远程对象的属性。方法进一步包括：通过控制器基于远程对象的属性来确定远程对象的鲁莽分数。方法进一步包括：响应于鲁莽分数超过预定阈值，通过控制器来生成包括方向信息的驾驶员通知，该方向信息提供远程对象相对于车辆的地点的空间感知。方法进一步包括：通过输出装置来向驾驶员提供通知。
在一个或多个示例中，远程对象从多个远程对象中优先化。在一个或多个示例中，驾驶员通知是包括触觉通知、视觉通知、以及可听通知的增强现实通知，并且其中，触觉通知使用来自触觉警报装置的特定部段的触觉致动器来提供方向信息。进一步地，视觉通知响应于鲁莽分数超过预定阈值而改变远程对象的颜色。可替代地，或者此外，可听通知使用来自特定部段的扬声器来提供方向信息。
在一个或多个示例中，确定鲁莽分数包括：基于远程对象的识别来接收远程对象的先前鲁莽分数，以及使用从一个或多个传感器接收到的远程对象的属性来更新先前鲁莽分数。在一个或多个示例中，储存远程对象的更新的鲁莽分数以由第二车辆访问。
远程对象的属性包括远程对象的横向可变性，横向可变性基于远程对象在远程对象正在沿其行进的道路的车道内的偏差来确定。远程对象的属性包括远程对象的突然制动，突然制动基于远程对象在预定时间窗口内的最大减速度来确定。远程对象的属性包括远程对象在预定时间窗口内的多次车道变化。远程对象的属性包括针对远程对象相对于第二远程对象确定的尾随距离。远程对象的属性包括远程对象在预定时间窗口内的多次交通标志违规。
根据一个或多个实施例，一种计算机程序产品包括计算机储存装置，计算机储存装置具有储存在其中的计算机可执行指令，计算机可执行指令在由处理单元执行时使得处理单元在车辆中提供驾驶员通知。提供驾驶员通知包括：通过控制器基于远程对象的属性来确定远程对象的鲁莽分数。提供驾驶员通知进一步包括：响应于鲁莽分数超过预定阈值，通过控制器来生成包括方向信息的驾驶员通知，该方向信息提供远程对象相对于车辆的地点的空间感知。提供驾驶员通知进一步包括：通过输出装置来向驾驶员提供通知。
在一个或多个示例中，远程对象从多个远程对象中优先化。在一个或多个示例中，驾驶员通知是包括触觉通知、视觉通知、以及可听通知的增强现实通知，并且其中，触觉通知使用来自触觉警报装置的特定部段的触觉致动器来提供方向信息。进一步地，视觉通知响应于鲁莽分数超过预定阈值而改变远程对象的颜色。可替代地，或者此外，可听通知使用来自特定部段的扬声器来提供方向信息。
在一个或多个示例中，确定鲁莽分数包括：基于远程对象的识别来接收远程对象的先前鲁莽分数，以及使用从一个或多个传感器接收到的远程对象的属性来更新先前鲁莽分数。在一个或多个示例中，储存远程对象的更新的鲁莽分数以由第二车辆访问。
远程对象的属性包括远程对象的横向可变性，横向可变性基于远程对象在远程对象正在沿其行进的道路的车道内的偏差来确定。远程对象的属性包括远程对象的突然制动，突然制动基于远程对象在预定时间窗口内的最大减速度来确定。远程对象的属性包括远程对象在预定时间窗口内的多次车道变化。远程对象的属性包括针对远程对象相对于第二远程对象确定的尾随距离。远程对象的属性包括远程对象在预定时间窗口内的多次交通标志违规。
当结合附图来看如下详细描述时，本公开的上述特征和优点、以及其它特征和优点容易显而易见。
附图说明
其它特征、优点和细节仅仅通过示例的方式出现在如下详细描述中，详细描述参照附图，在附图中：
图1描绘了根据示例性实施例的包括驾驶员警报系统100的车辆的框图；
图2描绘了根据示例性实施例的车辆座椅组件的示意侧视图；
图3是根据示例性实施例的座椅组件的顶视图；
图4描绘了根据示例性实施例的座椅组件的前视图；
图5描绘了具有多个触觉致动器的示例座椅组件，多个触觉致动器是触觉警报系统的一部分，基于用户足迹进行配置和校准；
图6描绘了根据一个或多个实施例的触觉警报装置自定义系统的框图；
图7描绘了根据一个或多个实施例的用于自定义触觉警报装置的流程图；
图8描绘了根据一个或多个实施例的用于车辆的增强现实系统的框图；
图9描绘了根据一个或多个实施例的用于经由增强现实系统向驾驶员提供空间感知警报的流程图；
图10描绘了用于监测远程车辆和确定远程车辆的鲁莽分数的方法的操作流程图；以及
图11描绘了根据一个或多个实施例的示例驾驶场景。
具体实施方式
如下描述在性质上仅仅是示例性的并且不意在限制本公开、其应用或者使用。应理解，在附图中，对应的附图标号表示相似的或者对应的部件和特征。如本文所使用的，术语“模块”指处理电路，该处理电路可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或者固件程序的处理器(共享、专用、或者成组)和存储器、组合逻辑电路、以及/或者提供所描述的功能的其它合适的部件。
图1描绘了根据示例性实施例的包括驾驶员警报系统100的车辆10的框图。驾驶员警报系统100包括防撞模块(或子系统)110、触觉警报装置(或触觉反馈装置)120、以及控制模块130等其它部件。在一个或多个示例中，驾驶员警报系统100可以进一步包括通信模块、以及一个或多个附加警报装置(诸如，视觉警报装置、听觉警报装置、以及信息娱乐警报装置)。在一个或多个示例中，触觉警报装置120可以被并入到车辆座椅组件200中。
在操作期间，并且如同样在本文更加详细地讨论的，控制模块130接收来自防撞模块110的输入信号。控制模块130评估输入信号，并且视情况而定基于由所接收到的输入信号指示的条件来操作触觉警报装置120和/或其它警报装置以提醒驾驶员。例如，驾驶员警报系统100可以用于提醒驾驶员碰撞条件，以便使得可以发起回避操纵(例如，制动和/或转向)和/或自动碰撞缓解响应(例如，制动和/或转向)。可替代地，或者此外，驾驶员警报系统100基于被监测的远程车辆的一个或多个安全特性来提醒驾驶员该远程车辆。可替代地，或者此外，驾驶员警报系统100给驾驶员提供关于在车辆10附近的一个或多个对象的空间感知。尽管本文所示出的附图描绘了元件的示例布置，但在实际实施例中可能存在附加的居间元件、装置、特征、或者部件。
防撞模块110可以包括一个或多个车载车辆传感器(例如，相机、雷达、超声波、以及/或者激光雷达)，一个或多个车载车辆传感器基于车辆传感器信号来检测碰撞可能性。防撞模块110通常可以被实施作为：例如，前方碰撞警告系统、车道偏离警告系统、车道保持辅助系统、前停车辅助系统、后停车辅助系统、前后自动制动系统、后交叉交通警报系统、自适应巡航控制(ACC)系统、侧盲点检测系统、车道变换警报系统、驾驶员注意系统、前行人检测系统、以及后行人检测系统。如本文所指出的，驾驶员警报系统100可以进一步包括通信模块以允许在车辆之间和/或在车辆与基础设施之间的通信，以便预测由于在驾驶员的视线内或者在驾驶员的视线外的交通或活动而引起的潜在碰撞(例如，在驾驶员的视线之外检测到前方的道路危险或交通堵塞)。在一个或多个示例中，防撞模块110和/或通信模块通信地联接至控制模块130，控制模块130基于车辆传感器信号和/或通信来评估碰撞可能性。
触觉警报装置120包括一个或多个子模块或单元122、124、以及126，一个或多个子模块或单元122、124、以及126进行协作以校准和生成用于驾驶员的警报。触觉警报装置120可以包括监测单元122、用户自定义单元124、以及识别单元126。如可以理解的，在图1中示出的单元可以进行组合和/或进一步被划分以便相似地进行协调且提供驾驶员警报。
检测单元122监测车辆10的一个或多个部件以确定部件是否出故障，监测单元122可以生成能够被传达给车辆驾驶员或技师的警告消息、警告信号、以及/或者故障条件状态。
用户自定义单元124管理配置菜单的显示并且管理从与配置菜单交互的用户接收到的用户输入。该配置菜单可以被显示在车辆10内的显示装置上(例如，在信息娱乐系统显示器上)或者远离车辆10的显示装置上。在各个实施例中，配置菜单包括可选择选项，可选择选项在被选择时允许用户配置与触觉警报装置120和/或其它警报装置相关联的各种警报设置。触觉警报组件120的警报设置可以包括但不限于：振动的发生(例如，是否针对特定模式执行振动)、座椅上的振动的地点、振动的强度、振动的持续时间、以及/或者振动脉冲的频率。基于从与配置菜单交互的用户接收到的用户输入，用户自定义单元124将用户配置的警报设置储存在警报设置数据库中。如可以理解的，警报设置数据库可以包括：临时地储存设置的易失性存储器、跨关键周期储存设置的非易失性存储器、或者易失性存储器和非易失性存储器的组合。
在一个或多个示例中，例如，通过使用户配置的警报设置与用户标识符相关联，将用户配置的警报设置储存为特定于不同用户。识别单元126基于用户识别自动地识别驾驶员并且向用户自定义单元124发送控制信号以相应地调节触觉警报装置120的用户设置。用户标识符可以是用户登录信息，诸如，用户名/密码组合、用户的生物信息(指纹、虹膜、面部等)、或者用户携带的电子装置(密钥卡、RFID卡等)。用户自定义单元124基于用户识别来识别作为车辆10的“驾驶员”的用户，并且使用所识别用户的用户配置的警报设置来调节触觉警报装置120的设置。
可替代地，或者此外，如果识别单元126不能识别驾驶员，例如，在新用户的情况下，或者如果驾驶员没有储存的设置，则识别单元126使用触觉警报装置120的一个或多个触觉致动器来自动地估计用户的重量和足迹。识别单元126基于估计的重量和足迹来自动地生成用户设置，该用户设置被发送至用户自定义单元124以用于相应地调节设置。
进一步地，识别单元126针对每个驾驶员随时间调整活动致动器的子集以用于动态重新配置。例如，在车辆10的操作期间，识别单元126自动地且动态地更新与第一用户相关联的用户设置。可以基于用户的姿势、用户的移动、来自座椅组件200中的触觉致动器的反馈等来执行自动重新校准。
图2描绘了根据示例性实施例的车辆座椅组件200的示意侧视图。座椅组件200可以安装在车辆10的乘客区域的地板上。座椅组件200是用于汽车的驾驶员座椅，但在其它示例性实施例中，座椅组件200可以是乘客座椅和/或在任何类型的车辆中进行实施。尽管下文描述了示例性座椅组件200，但驾驶员警报系统100可以在任何合适类型的座椅组件中进行实施，包括独立式座椅、长条座椅、按摩座椅等。
座椅组件200包括下部座椅构件210、座椅靠背构件220、头枕230、以及触觉警报装置120。下部座椅构件210限定出用于支撑乘员(未示出)的大体上水平的表面。座椅靠背构件220可以枢转地联接至下部座椅构件210并且限定出用于支撑乘员的背部的大体上垂直的表面。头枕230可操作地联接至座椅靠背构件220以支撑乘员的头部。
图3是根据示例性实施例的座椅组件200的顶视图。如在图3中示出的，下部座椅构件210通常包括座板310、第一下部支承垫320、以及第二下部支承垫330。下部支承垫320、330通常分别被看作是下部座椅构件210的左最外侧和右最外侧。如可以理解的，在各个其它实施例中，座板310可以没有下部支承垫320、330，诸如，平座。在图3中，下部支承垫320、330被布置在座板310的纵向侧(例如，左侧和右侧)上以支撑乘员的腿部和大腿。下部支承垫320、330中的每一个可以被看作具有相对于主要行进方向的前端324、334和后端326、336。如所示出的，座椅靠背构件220可以在后端326、336处与下部支承垫320、330的一部分重叠。如在座椅设计中公认的，下部支承垫320、330被布置在下部座椅构件210的侧部，通常与座板310成角度。触觉警报装置120与座椅组件200集成一体，座椅组件200与致动器阵列500连接，致动器阵列500包括触觉致动器322、332、362、以及392。
图4描绘了根据示例性实施例的座椅组件200的前视图。座椅靠背构件220包括主座椅靠背部分375、第一靠背支承垫380、以及第二靠背支承垫390，但其它布置也是可能的。靠背支承垫380、390被布置在主座椅靠背部分375的纵向侧(例如，左侧和右侧)上以支撑乘员的背部的侧部。靠背支承垫380、390中的每一个可以具有相对于座椅组件200的大致定向的底端384、394和顶端386、396。
触觉警报装置120被示出为与所图示的座椅组件200集成一体。例如，触觉警报装置120包括致动器阵列500，致动器阵列500包括安装在第一下部支承垫320中的第一致动器322和安装在第二下部支承垫330中的第二致动器332。触觉警报装置120可以进一步包括安装在第一靠背支承垫380中的第三致动器382和安装在第二靠背支承垫390中的第四致动器392。应该注意的是，在其它实施例中，阵列500可以包括在座椅靠背构件220的任一侧上以及在其它地点的任何数量的附加致动器。
图5描绘了具有阵列500中的多个触觉致动器的示例座椅组件200，阵列500是触觉警报系统120的一部分。阵列500中的致动器基于如本文所描述的用户足迹进行配置和校准。座椅组件200包括触觉警报装置120，触觉警报装置120包括致动器阵列500，在致动器阵列500中，第一组致动器510是活动的并且第二组致动器520是闲置的。用户自定义单元124基于用户足迹530来确定激活哪些致动器以及停用哪些致动器。在一个或多个示例中，用户识别单元126确定用户足迹530，并且基于足迹530的边界来确定要被激活/停用的致动器。落在足迹的边界内的致动器510被激活，并且在边界外的致动器520被停用。
因此，本文所描述的技术方案通过动态地重新配置致动器的子集以及确定激活的致动器的恰当驱动强度基于用户的身体轮廓和个人偏好来有助于自动地调节座椅组件中的触觉致动器的阵列。应理解，在图5中或者本文的任何其它附图中示出的致动器的数量是示例性的，并且在一个或多个实施例中，致动器的数量可以不同于本文所描述的那些数量。出于解释的目的，本文的描述应该与包括致动器322、332、382、以及392的阵列500一起使用触觉警报装置120。
参照图3，致动器322、332、382、392被提供用于在左下侧、右下侧、左后侧、右后侧、以及/或者其任何组合上独立地生成发送给乘员的期望触觉信号。然而，在其它实施例中，附加致动器可以被提供在阵列500中(图5)，在座椅底部、座椅靠背、座椅的其它部分中、或者在车辆的其它部分中。在一个示例性实施例中，致动器322、332、382、392在相应支承垫320、330、380、390中的安装用于使致动器的振动彼此隔离，以便使得致动器322、332、382、392的触觉振动彼此分离(或隔离)。这样，振动可以是高度局部化的。因此，当期望仅仅生成所有触觉致动器的子集(例如，一个或两个左侧致动器)时，座椅乘员不会经历可以通过座椅缓冲材料或座椅结构行进至另一致动器地点(例如，右侧致动器)的无意振动。作为一个示例，在正交于座椅支承垫表面的激活致动器地点处测量的垂直加速度的峰值幅度可以是沿着平行于马达致动旋转轴线的轴线测量的加速度的峰值幅度的至少七倍大。
在一个或多个示例中，第一致动器322和第二致动器332定位在支承垫320、330的前端324、334与座椅靠背构件220之间的距离的约三分之二处。在一个示例性实施例中，第一致动器322和第二致动器332(例如，致动器322、332的前向边缘)可以与H点(或臀点)370横向地对齐，如示意性地示出的。在其它实施例中，致动器322、332(例如，致动器322、332的后边缘)定位在H点370前方大约25cm处和/或H点370前方0cm与25cm之间。如在车辆设计中公认的，H点370是乘员臀部的理论相对地点，具体地是身体的躯干与上腿部分之间的枢轴点。通常并且如上文所讨论的，致动器322、332是在考虑到性能、耐久性和舒适性的情况下进行定位。本文所讨论的示例性位置使得能够从更快且更准确的检测和解释(例如，感觉振动和辨识警报方向)的角度实现有利的乘员响应，通常为大约数百毫秒。
当用户坐在座椅组件200上时，或者当车辆10启动时，或者响应于发起用户识别的任何其它此类事件，确定用户足迹530可以是用户识别的一部分。激活和停用致动器在本文被称为“配置”触觉警报装置120中的致动器。进一步地，用户自定义单元124还“校准”致动器，这包括调节致动器的强度，调节致动器的强度又会调节振动量、或者由各个致动器提供给驾驶员的触觉反馈。在一个或多个示例中，确定致动器的校准可以仅限于激活的致动器510。进一步地，在一个或多个示例中，校准致动器是特定于所识别的用户。例如，致动器的强度将取决于用户设置和人口统计(例如，对于较重个体而言较低)。因此，当激活触觉警报装置120时，用户自定义单元124会提高乘员舒适性。
因此，座椅组件200中的致动器的配置和校准可以根据用户足迹530发生变化。触觉警报装置120的这种自定义在诸如车辆10用在汽车共享服务(例如，MAVENTM)中的情况下会提高用户体验和安全性。
可替代地，或者此外，致动器的配置和校准基于提供给用户的警报而发生变化。例如，基于由座椅组件200中被驱动的致动器提供的特定触觉反馈向驾驶员提供附加上下文信息，例如，方向(左、右等)。例如，致动器322、332、382、392可以分别单独地生成触觉警报的各个部分，或者单独地进行操作以生成整个响应。作为示例，两个靠背致动器382、392提供关于警报的性质以及警报所指方向的明确信号，例如，左侧靠背致动器382的快速脉冲向驾驶员发信号表明车辆正在左侧相邻车道中靠近和/或车辆处于左侧盲点内。附加致动器(诸如，在这种情况下也激活与左车道相关联的警报的右侧致动器)可能增加乘员将激活与右侧事件错误地相关联的机会，并且其可能增加乘员确定已发生的左侧事件所花费的时间。相似地，致动器322、332、382、392的位置和尺寸提供关于座椅耐久性的优点，座椅的耐久性可以是通过常用的滑动进入、颠簸和蠕动、以及膝部负载耐久性座椅验证测试来测量。致动器322、332、382、392可以被设计为在超过150000英里的车辆寿命期间用于100000个致动序列。其它致动器位置可能会使乘员检测和警报效果、座椅舒适性、以及座椅耐久性作出折衷。例如，如果触觉装置被放置在座椅底部的最前边缘处，则乘员在其将其腿部拉回抵靠座椅的前部的情况下可能不会感觉到座椅振动。
触觉警报装置120中的致动器阵列的自定义有助于调整触觉致动器强度水平以使驾驶员舒适性最大化。仍进一步地，通过检测用户足迹530并且相应地自定义触觉警报装置120中的致动器，车辆10可以确保触觉警报装置120与驾驶员之间的接触。
图6描绘了根据一个或多个实施例的触觉警报装置自定义系统的框图。触觉警报装置自定义系统600包括座椅组件200中的致动器阵列500等其它部件。系统600还包括作为座椅组件200的一部分的一个或多个压力传感器605，一个或多个传感器605有助于测量由坐在座椅组件200上的驾驶员施加的压力。在一个或多个示例中，压力传感器是嵌入在座椅组件200中的按摩器。
系统600进一步包括触觉控制器650。在一个示例性实施例中，触觉控制器650与上文所讨论的控制模块130相对应，但触觉控制器650可替代地可以是单独的控制器。触觉控制器650基于用户足迹530和要提供的警报来命令致动器322、332、382、392以创建由车辆10的驾驶员感觉到的触觉反馈。由触觉脉冲创建的触觉反馈指示警报的类型，例如，碰撞条件的性质。触觉控制器650确定恰当的电压并且确定，例如，向致动器提供电压的“接通”时段和未向致动器提供电压的“断开”时段的脉冲宽度调制(PWM)模式。
在一个或多个示例中，触觉控制器650包括安培计652。可替代地，或者此外，安培计652可以是与控制器650联接的外部电路。安培计652测量来自阵列中的每个致动器的电流in。触觉控制器650进一步包括处理单元654，例如，处理单元654基于一个或多个计算机可执行指令来执行一个或多个计算。
系统600可以进一步包括人机界面(HMI)装置610，人机界面(HMI)装置610有助于驾驶员针对用户设置输入一个或多个偏好。例如，HMI装置610可以包括一个或多个按钮、触屏、传感器等，用户可以使用这些来输入用户设置。HMI装置610可以是车辆10的驾驶员-车辆界面。
系统600进一步包括一个或多个相机620，一个或多个相机620用于捕获用户的一个或多个图像以便确定用户足迹530。
图7描绘了根据一个或多个实施例的用于自定义触觉警报装置的流程图。方法700包括：在710处，使用阵列500中的N个触觉致动器来估计座椅组件200上的力。估计该力包括：在712处，测量来自阵列500中的每个触觉致动器的电流in。进一步地，方法包括：在714处，针对阵列500中的每个触觉致动器计算力pn＝f(in)。在一个或多个示例中，函数f(i)是参数函数(例如，多项式)，其是预定函数。可替代地，在一个或多个示例中，力是使用查阅表(LUT)来确定，该查阅表(LUT)经校准以将测量电流转换为对应的权重值。电流值是使用安培计652来测量。
进一步地，方法700进一步包括：在720处，计算坐在座椅组件200上的驾驶员的估计重量。在一个或多个示例中，该估计是通过计算如下来执行：
G＝∑wnpn+c 方程式(1)
在此，G是估计的驾驶员重量，wn是与阵列500中的N个触觉致动器中的每一个相关联的预定权重因数，并且c说明驾驶员的未在座椅组件200上的附加重量(例如，腿部)。在一个或多个示例中，权重因数wn是基于包括经验力值pn的回归和训练数据的参数。相应地，重量估计是来自座椅组件200上的触觉阵列500的所有力估计的加权和。
可替代地，在一个或多个示例中，重量估计G是直接使用电流量度来进行计算。在这种情况下，估计可以是通过计算如下来执行：
G＝∑wnin+c 方程式(2)
在此，权重因数wn基于包括经验电流值in的回归和训练数据的参数。
进一步地，方法700包括：在730处，确定驾驶员在座椅组件200上的占用率。占用率是通过将阵列中的每个触觉致动器的力值与对应的阈值Tn作比较来确定。在一个或多个示例中，来自阵列500的每个触觉致动器分别具有不同的阈值，例如，与座椅前部相比，座椅靠背的阈值可以更小。相应地，如果pn>Tn，则触觉致动器被看作是要被激活(或者维持激活)的第一组致动器510的一部分；并且如果pn≤Tn，则被看作是要被停用(或者维持停用)的第二组致动器520的一部分。相应地，驾驶员的足迹530是通过阵列500中的每个触觉致动器的占用率和位置来确定。
应该注意的是，在一个或多个示例中，座椅组件200可以包含应变仪或者其它传感器以检测座椅组件200上的用户的存在。在这种情况下，此类应变仪用于检测驾驶员的暂用率。在一个或多个示例中，此类应变仪可能限制于二进制检测(占用/未占用)，并且可能不适合于重量估计。
方法700进一步包括：在740处，接收用户人口统计信息。人口统计信息可以包括性别、年龄、身高等。在一个或多个示例中，例如，驾驶员可以经由HMI 620来提供人口统计信息。可替代地，或者此外，可以经由相机610自动地获得人口统计信息。
进一步地，方法700包括：在750处，针对阵列500中的触觉致动器计算触觉激活强度I。在一个或多个示例中，强度是使用I＝g(S,W,A,H)来确定，其中，g是回归函数，S是性别，W是重量，A是年龄，并且H是驾驶员的身高。可替代地，强度是使用查阅表来确定，该查阅表将参数S、W、A、以及H映射至强度值。在一个或多个示例中，计算出的强度I用在阵列500中的所有触觉致动器上。可替代地，强度I针对阵列500中的每个致动器不同地进行缩放，以便使得强度对于所有致动器都相同或者对于每一个致动器都不同。
方法700进一步包括：在770处，重新配置触觉阵列500。重新配置包括：在772处选择要被激活的第一组触觉致动器510，以及在774处选择要被停用的第二组触觉致动器520。重新配置进一步包括：对阵列500中的某些致动器分组以传递例如如本文所描述的方向信息。在776处，在第一组激活的致动器510上执行分组。分组在特定触觉致动器与乘员足迹530中的方向之间创建映射，其包含当前活动的触觉致动器。例如，激活的致动器可以被分组为，诸如，“前部->座椅底部上的最低活动层”、“左前部->座椅底部上的最左侧活动层”、以及“后部->座椅靠背上的最上活动层”。应理解，在不同的示例中可以形成与上文所列出的那些分组不同的、附加的、或者更少的分组。
方法700进一步包括：在780处，确定分组之间是否存在会防止提供方向信息的重叠。例如，重叠可能导致一个分组中的活动致动器的数量不足，例如在最左侧和最右侧分组相交的情况下。如果两个分组中的共同致动器的数量高于预定阈值，则确定重叠。
如果检测到重叠，则方法700包括：在782处，向驾驶员提供警报以改变座椅组件200上的就座位置。在一个或多个示例中，警报是经由触觉阵列500来提供，诸如，通过经由阵列500中的所有触觉致动器来生成触觉反馈。在一个或多个示例中，警报可以使用由阵列500中的致动器提供的特定模式的触觉反馈。进一步地，在一个或多个示例中，在检测到重叠的情况下，方法700包括：在784处，配置HMI 640以提供关于方向信息的警报，而不是使用触觉阵列500。例如，HMI 610可以配置为显示表示车辆10的图像，该图像具有指示警报的方向方面的警报，诸如，表示车辆10的图像的特定侧上的图像/动画。
方法700进一步包括：在790处，根据计算出的强度值来校准阵列500中的致动器。在一个或多个示例中，无论是否检测到重叠，都会校准致动器。可替代地，在一个或多个示例中，仅仅在没有检测到重叠的情况下才校准致动器。在一个或多个示例中，在向驾驶员提供警报以改变其位置时，系统600重复该方法以确定用户足迹530并且一旦没有检测到重叠就校准致动器。
方法700周期性地(例如，在预定时间间隔之后)进行重复。可替代地，或者此外，当座椅位置改变时，发起方法700。可替代地，或者此外，当车辆10点火时，重复方法700。可替代地，或者此外，响应于经由HMI 610的请求而按需发起方法700。
在一个或多个示例中，触觉警报装置120(其可以与座椅组件200集成一体)用于提供增强现实特征以提高驾驶员的空间感知，以便进一步降低安全风险和改善用户体验。例如，使用触觉警报装置120的增强现实系统连同诸如HMI 610等其它部件一起可以减少由分心、精神涣散、以及/或者远程车辆的鲁莽驾驶员引起的事故。进一步地，增强现实系统可以在车辆10从自主操作模式过渡至手动操作模式期间有助于驾驶员的提高的信任、置信度、以及重新参与。
图8描绘了根据一个或多个实施例的用于车辆的增强现实系统的框图。所图示的增强现实系统800包括传感器融合模块810、驾驶员监测系统(DMS)820、远程驾驶员监测系统(RDMS)830、优先化模块840、映射模块850、触觉警报装置120、显示系统860、以及声学系统870等其它部件。
传感器融合模块810基于车辆10的一个或多个车载传感器(诸如，激光雷达、相机、雷达、V2V等)来产生对象追踪，一个或多个车载传感器监测车辆10的预定周围/附近内的对象。传感器融合将传感数据或源自不同源头的数据进行组合，以便使得所得到的信息具有比单独地使用这些源头时可能的不确定性更小的不确定性。在一个或多个示例中，传感器融合是在来自具有重叠视场的传感器的传感数据上执行。传感器融合模块810的结果提供关于处于车辆10的预定附近的一个或多个对象的信息。例如，对象信息包括与车辆10相隔的距离、以及指示对象相对于车辆10的方向的方向信息。对象信息还可以包括对象的行进速度、以及当对象可能与对象碰撞时的预测碰撞时间。进一步地，对象信息可以包括对象的轨迹(该轨迹是对象的一组先前位置)、以及对象的预测轨迹。
DMS 820计算和提供车辆10的驾驶员的驾驶员注意力水平(分数/评级)。在一个或多个示例中，驾驶员注意力是使用已知技术并且基于车辆10上车载的用于监测驾驶员的一个或多个传感器来计算。例如，一个或多个传感器追踪驾驶员的眼睛注视、驾驶员正在观看的方向。DMS 820可以使用其它类型的传感器和量度来测量驾驶员注意力。
RDMS 830监测一个或多个远程车辆(除了车辆10之外的车辆)并且基于远程车辆的驾驶特性来提供远程车辆的鲁莽分数。在一个或多个示例中，传感器融合模块810向RDMS830提供数据，RDMS 830使用输入数据来确定远程车辆的鲁莽分数。
优先化模块840接收来自传感器融合模块810、DMS 820、以及RDMS 830的输出以生成针对驾驶员的警报。警报可以包括突出显示由一个或多个车载传感器和/或系统追踪的一个或多个对象。例如，优先化模块840使用从传感器融合模块810接收到的度量(诸如，与各个对象相关联的拦截时间(TOI)、距离、以及速度)来确定被追踪的每个对象的优先级分数。例如，远程对象的优先级分数与TOI和/或距车辆10的距离成反比，因此，给予更接近车辆10或者可能更早到达车辆的远程对象更高的优先级(反之亦然)。
进一步地，优先化模块使用基于来自DMS 820的输出的度量来缩放优先级分数。较高的比例因数用于在驾驶员没有观看的方向上的对象，例如，当驾驶员看向远处时，对车辆10前面的对象使用更高的比例因数。在一个或多个示例中，优先化模块840进一步基于计算出的优先级分数从被追踪的那些对象中选择前Q个对象。优先化模块840因此确定向驾驶员呈现哪些远程对象以防止信息过载。优先化基于诸如距离、拦截时间和速度等远程对象度量，这些远程对象度量可以使用每个度量的权重因数进一步组合为单个分数。权重因数可以包含上下文信息——诸如，驾驶员注意力、驾驶环境(例如，城市与农村、高速公路等)、远程车辆鲁莽分数。
映射模块850将所选择的Q个对象映射至增强现实系统800的一个或多个输出装置(即是说，触觉警报装置120、显示装置860、以及声学系统870)以利用映射的输出装置提供与对象相关联的连续反馈和/或警报。例如，映射模块850将对象的TOI映射至触觉警报装置120的触觉脉冲率或强度；即是说，根据TOI对阵列500中的致动器的强度进行校准和改变。例如，强度和频率随着TOI减小而增加。此外，映射模块850将TOI映射至显示装置860中的对象的颜色。例如，使用与特定预定范围相关联的颜色来显示TOI在该范围内的对象。此外，映射模块850将TOI映射至由声学系统870生成的可听警报。例如，如果TOI低于预定阈值，则经由声学系统870来生成可听警报。
显示装置860可以是平视显示器(HUD)、触屏、或者向驾驶员提供视觉反馈的任何其它显示系统。在一个或多个示例中，显示装置860提供由一个或多个车载传感器追踪的对象的3D或2D投影。显示装置860可以提供附加视觉反馈，诸如，关于车辆10的一个或多个部件的信息。声学系统870是向驾驶员提供音频反馈的系统。在一个或多个示例中，声学系统870可以包括车辆10的一个或多个扬声器或者任何其它音频反馈装置。
图9描绘了根据一个或多个实施例的用于经由增强现实系统向驾驶员提供空间感知警报的流程图。所描绘的方法900包括：在910处，计算/接收在车辆10的附近的远程对象的度量。该度量基于RDMS 830的传感器融合数据来确定。在一个或多个示例中，度量是对象与车辆10相隔的距离。可替代地，度量是对象与车辆10的TOI。对象可以是在车辆10的预定附近的任何对象。例如，对象可以是静止物体、行人、另一车辆等。
在一个或多个示例中，在915处，度量是远程车辆的鲁莽分数。在一个或多个示例中，使用由一个或多个传感器检测到的远程车辆的一个或多个标识符来从远程服务器访问鲁莽分数。例如，使用传感器捕获的远程车辆的车牌号、车辆识别号等来确定鲁莽分数。
可替代地，或者此外，鲁莽分数基于监测远程车辆的一个或多个驾驶特性。例如，车辆10的车载传感器监测远程车辆的一个或多个驾驶特性，并且使用驾驶特性来计算远程车辆的鲁莽分数。在一个或多个示例中，RDMS 830使用传感器融合和/或V2X/无线数据来监测驾驶特性，诸如，远程车辆的速度、转向、以及车道违规。例如，传感器融合数据提供远程车辆的移动轨迹。RDMS 830使用远程车辆的移动轨迹数据来执行傅立叶分析、卡尔曼滤波、或者其它分析或者其组合以确定一个或多个驾驶特性。
例如，RDMS 830通过使用移动轨迹确定远程车辆的偏差幅度和偏差频率来计算远程车辆的横向可变性。移动轨迹是远程车辆在预定时间量内的位置数据的集合。偏差幅度指示远程车辆偏离远程车辆正在行进的车道的中心的偏差量。偏差频率指示远程车辆偏离远程车辆正在行进的车道的中心的频率。横向可变性是偏差幅度和偏差频率的组合。
进一步地，RDMS 830根据移动轨迹数据来确定远程车辆的突然制动。例如，RDMS830根据移动轨迹数据来确定远程车辆在预定时间窗口内的最大减速度。进一步地，RDMS830确定远程车辆与速度限制的偏差。RDMS 830使用这些驾驶特性中的一个或多个来计算远程车辆的鲁莽分数。例如，RDMS 830使用指数移动平均数将各个驾驶特性减小至单个值并且将鲁莽分数计算为减小值的预定函数。可替代地，可以使用具有减小值的查阅表来确定鲁莽分数。
应该注意的是，在其它示例中，可以使用其它驾驶特性来确定鲁莽分数。进一步地，应该注意的是，尽管本文描述了鲁莽分数的示例，但在其它示例中，计算的是远程车辆(和其它对象)的其它度量。
方法900进一步包括：在920处，将计算出的度量映射至增强现实系统800。如本文所描述的，映射包括：针对增强现实系统800的一个或多个输出装置确定一个或多个自定义参数。例如，在922、924和926处，映射模块850基于计算出的度量来确定触觉警报装置120的强度/脉冲率和/或频率、显示装置860中的对象的颜色、以及声学系统870中的对象的可听警报。在一个或多个示例中，映射包括：使用对应的查阅表来确定针对输出装置的参数。可替代地，或者此外，使用将计算出的度量用作输入值的预定公式来确定参数。应该注意的是，如果优先化模块840基于计算出的度量而指示对象是要提醒驾驶员的Q个对象中的一个，则执行映射。
方法进一步包括：在930处，根据针对计算出的度量的映射来自定义增强现实系统800。执行自定义是为了给驾驶员提供对象的空间感知。例如，自定义包括：配置和校准如本文所描述的触觉警报装置120中的一个或多个致动器。
进一步地，校准可以包括：通过改变对象的代表的颜色/大小、或者任何其它属性或者其组合来调节显示装置860的输出，例如，以便指示计算出的度量的强度/紧急度。显示器也可以进行自定义以便提供对象的方向信息。仍进一步地，校准可以包括：调节声学系统870的音频输出以指示包括强度/紧急度和方向信息的度量。例如，音频输出提供方向音频，诸如，通过使用驾驶员的特定侧上的一个或多个扬声器来指示对象的方向以及使用特定模式/音调/可听性/音量来指示度量的紧急度。
方法900进一步包括：在940处，经由增强现实系统800向驾驶员提供空间感知警报，该空间感知警报包括远程对象的方向信息和计算出的度量的强度。提供警报包括：使得触觉警报装置120、显示装置860、以及声学系统870中的一个或多个使用自定义来生成输出。
图10描绘了用于监测远程车辆和确定远程车辆的鲁莽分数的方法的操作流程图。鉴于在图11中描绘的示例场景进一步描述了所描绘的流程图。在示例场景中，车辆10沿着第一车道1102中的路段1100行进，其中，第一远程车辆1110和第二远程车辆1120在车辆10的监测附近行进。第一远程车辆1110和第二远程车辆1120被示出为在第二车道1104中行进。应理解，所描绘的场景是示例性的并且各种其它场景是可能的。
参照图10，方法1000(其可以由RDMS 850执行)包括：在1010处，获得在车辆10附近的远程车辆1110的远程车辆轨迹1112。远程车辆轨迹1112是由从传感器融合模块810获得的数据来生成。例如，RDMS 850追踪远程车辆1110的属性序列，诸如，标识符、位置、速度等。属性可以是使用一个或多个车载传感器(诸如，激光雷达、雷达、相机、GPS等)来检测。此外，RDMS 850可以使用与远程车辆1110的车辆至车辆通信来接收远程车辆1110的属性。应该注意的是，RDMS 850针对车辆10附近的各个远程车辆执行方法1000。
方法1000进一步包括：在1020处，确定车道中心和远程车辆1110在车道1104中的横向位置。RDMS 850使用地图/车道感测来确定远程车辆1110的车道位置。从储存装置获得地图信息，该储存装置可以是本地的或远程的。车道感测是使用车载传感器、传感器融合模块810等或者其组合来执行，并且在本领域中是已知的。确定车道中心和远程车辆1110在车道1104中的横向位置进一步包括：将远程车辆轨迹数据转换为相对于车辆10的车道中心坐标空间。
方法1000进一步包括：在1030处，从远程车辆轨迹1112中提取一组特征。“特征”是基于相对于驾驶条件和环境监测远程车辆轨迹1112的远程车辆1110的量化驾驶特性。例如，驾驶条件和环境包括速度限制、交通标志、交通灯、以及影响路段1100的驾驶性能的其它此类因数。这些驾驶条件是由车载传感器检测并且/或者可经由地图信息用于RDMS 850。
所提取的特征包括远程车辆1110的横向可变性。在一个或多个示例中，横向可变性被计算为横向偏差时间序列中的分数幂：其中，xHP是通过以预定截止频率fc对横向位置时间序列x进行高通滤波来确定。横向位置时间序列x包括远程车辆1110相对于远程车辆1110正在行进的车道1104的中心的位置。换言之，位置时间序列是远程车辆1110的一系列横向偏差1115。函数P是在时间窗口上平均的横向位置x的平方，例如，对于N个先前样本的时间窗口为时间序列包括远程车辆1110的预定数量的观测值；可替代地，或者此外，时间序列包括在预定时间窗口内记录的多个观测值。
可替代地，或者此外，横向可变性被计算为远程车辆1110在预定时间窗口内的偏航率的方差。偏航率基于远程车辆1110的横向偏差1115来计算。
所提取的特征可以进一步包括远程车辆1110在预定时间窗口内的突然制动的测量。如早前所描述的，突然制动是通过确定预定时间窗口内的最大减速度来计算。
仍进一步地，所提取的特征包括远程车辆1110的多次速度违规。基于将远程车辆1110的速度与沿着路段1100的已知速度限制作比较来监测远程车辆1110的多次速度违规。连同速度违规的频率一起，RDMS 850还通过追踪远程车辆1110偏离速度限制的程度来监测速度违规的幅度。
所提取的特征可以进一步包括在预定时间窗口内的多次道路标志/信号违规，诸如，停止标志违规、速度限制违规等。
所提取的特征可以进一步包括远程车辆1110在预定时间窗口内的多次车道变化。仍进一步地，所提取的特征包括远程车辆1110的尾随距离1118测量。在一个或多个示例中，尾随距离1118是远程车辆1110与前导车辆(第二远程车辆1120)之间的在预定时间窗口内的平均距离。
仍进一步地，所提取的特征可以包括远程车辆1110的车道标记偏离。车道标记偏离是通过在预定时间窗口内监测与远程车辆1110的车道边缘相隔的符号距离来测量。对远程车辆1110越过车道标记的次数进行监测并且将其用于确定远程车辆1110的鲁莽分数。在一个或多个示例中，如果与车道边缘相隔的符号距离超过预定阈值，则确定远程车辆1110已越过车道标记。
再次参照图10，方法1000进一步包括：在1030处，使用所提取的特征来计算远程车辆1110的“鲁莽”分数1045。鲁莽分数也可以被称为远程车辆1110的“安全分数”。在一个或多个示例中，鲁莽分数是在范围(0-1)内的概率值。
在一个或多个示例中，鲁莽分数是使用标记的训练数据使用机器学习来计算。在这种情况下，使用一组特征向量和可用的对应手动标记“鲁莽”值(0/1)来训练分类器。例如，使用逻辑回归来训练分类器，其中，对于特征向量x和权重b，权重被分配给不同的特征向量并且x是该组特征。应该注意的是，在其它示例中，机器学习可以使用神经网络、支持向量机、或者任何其它机器学习算法。通过用特征向量评估分类器会直接给出作为远程车辆1110的类别概率的分数。
权重b可以被储存在存储器装置中，该存储器装置是RDMS 850的本地存储器装置或者是可由RDMS 850访问的远程服务器。在一个或多个示例中，由分类器用来计算鲁莽分数的机器学习算法被储存在存储器装置815中。机器学习算法(诸如，一个或多个系数、权重等)连续地进行更新。
可替代地，分类器使用在没有标记数据的情况下训练的分类器来确定鲁莽分数1045。例如，在这种情况下，使用主要包括安全驾驶行为(例如，导致鲁莽分数低于预定值，诸如，0.3、0.25等)的特征向量来训练分类器。大于预定值的鲁莽分数可以被看作是鲁莽的。使用稳健方法来训练分类器以拒绝鲁莽驾驶对训练数据的影响，诸如，使用比如RANSAC等已知训练技术。分类器可以使用任何模型，比如，线性回归、广义线性模型(GLM)等。应该注意的是，在非标记训练数据的情况下，鲁莽分数被计算为用特征向量评估的训练模型的1-p值。
使用具有标记数据的分类器与具有非标记数据的分类器计算出的鲁莽分数的解释可以是不同的。因此，在这两种情况下用于确定哪些鲁莽分数指示鲁莽远程车辆的阈值可以是不同的。在1050处(图10)，将鲁莽分数1045与预定阈值作比较，该预定阈值基于所使用的分类器的类型。如果鲁莽分数小于(或等于)预定阈值，则不提醒驾驶员关于远程车辆1110，并且方法1000继续操作。在一个或多个示例中，方法1000可以在下一次迭代中分析第二远程车辆1120。
可替代地，如果鲁莽分数高于预定阈值，则方法1000包括：在1060处，生成并且向驾驶员提供关于远程车辆1110的警报。警报可以包括空间感知警报，空间感知警报包括远程车辆1110至驾驶员的地点的方向信息以及基于计算出的鲁莽分数的警报的强度。如本文所描述的那样执行鲁莽分数的映射。可以经由作为增强现实系统800的一部分的触觉警报装置120、显示装置860、以及/或者声学系统870来提供警报。在一个或多个示例中，连同经由触觉警报装置120和/或声学系统870提供的方向信息一起，远程车辆1110可以在显示装置860中被突出显示。
进一步地，方法1000包括：在1070处，更新存储器装置815中的远程车辆1110的所储存的鲁莽分数1045。例如，远程车辆1110的鲁莽分数1045被储存在存储器装置815中。鲁莽分数1045被储存为与远程车辆1110的一个或多个标识符(例如，车牌号、条形码、或者与远程车辆1110相关联的任何其它标识符)相映射。所储存的鲁莽分数1045用于未来访问。例如，如果在未来时间(例如，第二天、下一周、下个月等)在车辆10附近观测到远程车辆1110，则可以从存储器装置815访问远程车辆1110的鲁莽分数1045并且可以生成警报。进一步地，在一个或多个示例中，鲁莽分数1045可以被提供给第三方，诸如，其它车辆、保险公司、公路巡逻机构等。当计算鲁莽分数1045时，所储存的鲁莽分数也可以用作先前估计分数。
更新远程车辆110的所储存的鲁莽分数取决于鲁莽分数1045是如何进行计算的，例如，在具有或者没有标记数据的情况下。在一个或多个示例中，在使用使用标记数据集进行训练的分类器来计算鲁莽分数1045的情况下，使用贝叶斯规则来更新远程车辆1110的所储存的鲁莽分数。相应地，其中，“测量”是当前计算出的鲁莽分数1045，并且“类别”是存储器装置815中储存的用于远程车辆1110的先前储存的鲁莽分数。更新的鲁莽分数然后被储存在存储器装置815中以供未来使用和更新。
进一步地，在使用使用非标记数据集进行训练的分类器来计算鲁莽分数1045的情况下，鲁莽分数1045被表示为所生成的模型的似然性(密度)。相应地，在这种情况下，更新可以使用当前计算出的鲁莽分数1045与来自存储器装置815的远程车辆1110的先前鲁莽分数之间的加权平均数。即是说，分数新＝分数旧·w+分数新·(1-w)，其中，0≤w≤1。在此，w是权重因数，该权重因数是对当前计算出的鲁莽分数1045和先前鲁莽分数进行加权的预定值。
应理解，用于更新远程车辆1110的所储存的鲁莽分数的上述技术仅仅是两个可能的示例，并且在其它实施例中，可以使用不同的技术来执行更新。
本文所描述的技术方案有助于使用增强现实来增加驾驶员的空间感知。本文所描述的技术方案通过经由一个或多个输出装置(包括触觉警报装置、视觉输出装置、以及声学装置)提供空间感知来提供对增强现实系统的改进。在一个或多个示例中，警报提供映射至阵列中的不同触觉致动器的强度的附近对象(诸如，人、车辆)的地点。技术方案进一步有助于远程驾驶员监测系统基于源自传感器融合轨迹和地图信息的特征来给远程对象分配分数，优先化系统可以使用这些特征根据所分配的分数来自定义增强现实系统。进一步地，本文所描述的技术方案有助于映射至触觉阵列、显示器、以及/或者声学系统的远程对象传达至一个或多个远程对象的驾驶员位置和重要性。
进一步地，本文所描述的技术方案有助于使用车载传感器来监测远程车辆的驾驶特性以确定每个远程车辆的鲁莽分数。相应地，给远程车辆分配诸如在范围(0-1)内的鲁莽分数，鲁莽分数可以用作用于其它安全特征的触发器或优先化机制(例如，增加跟随距离)或者用于将鲁莽的远程车辆通知给车辆驾驶员。进一步地，本文所描述的技术方案还有助于计算出的鲁莽分数与车辆标识符(诸如，车辆登记)相关联，并且在云中进行储存/更新并且用于与远程车辆的未来相遇。因此，本文所描述的技术方案会提高车辆安全性并且提供用于其它安全特征(诸如，车辆的增强现实系统)的输入。
尽管已经参照示例性实施例对上述公开进行了描述，但本领域的技术人员将理解，在不背离本公开的范围的情况下，可以对其元件作出各种改变并且可以用等效物来取代。此外，在不背离本公开的基本范围的情况下，可以作出许多修改以便使特定情况或者材料适应于本公开的教导。因此，本公开并不意在限制于所公开的特定实施例，而是将包括落在其范围内的所有实施例。

Claims (10)

1.一种用于车辆中的驾驶员通知的系统，所述系统包括：
一个或多个传感器，所述一个或多个传感器测量在所述车辆的预定附近的远程对象的一种或多种属性；
输出装置，所述输出装置向驾驶员提供通知；以及
远程对象监测系统，所述远程对象监测系统基于所述远程对象的所述属性来生成要经由所述输出装置提供的驾驶员通知，所述驾驶员通知的所述生成包括：
基于所述远程对象的所述属性来确定所述远程对象的鲁莽分数；以及
响应于所述鲁莽分数超过预定阈值，生成包括方向信息的所述驾驶员通知，所述方向信息提供所述远程对象相对于所述车辆的地点的空间感知。
2.根据权利要求1所述的系统，其中，所述远程对象从多个远程对象中优先化。
3.根据权利要求1所述的系统，其中，所述驾驶员通知是包括触觉通知、视觉通知、以及可听通知的增强现实通知，并且其中，所述触觉通知使用来自触觉警报装置的特定部段的触觉致动器来提供所述方向信息。
4.根据权利要求3所述的系统，其中：
所述视觉通知响应于所述鲁莽分数超过所述预定阈值而改变所述远程对象的颜色；以及
所述可听通知使用来自特定部段的扬声器来提供所述方向信息。
5.根据权利要求1所述的系统，其中，确定所述鲁莽分数包括：
基于所述远程对象的识别来接收所述远程对象的先前鲁莽分数；以及
使用从所述一个或多个传感器接收到的所述远程对象的所述属性来更新所述先前鲁莽分数。
6.根据权利要求5所述的系统，其中，储存所述远程对象的所述更新的鲁莽分数以由第二车辆访问。
7.根据权利要求1所述的系统，其中，所述远程对象的所述属性包括所述远程对象的横向可变性，所述横向可变性基于所述远程对象在所述远程对象正在沿其行进的道路的车道内的偏差来确定。
8.根据权利要求1所述的系统，其中，所述远程对象的所述属性包括所述远程对象的突然制动，所述突然制动基于所述远程对象在预定时间窗口内的最大减速度来确定。
9.根据权利要求1所述的系统，其中，所述远程对象的所述属性包括所述远程对象在预定时间窗口内的多次车道变化。
10.根据权利要求1所述的系统，其中，所述远程对象的所述属性包括针对所述远程对象相对于第二远程对象确定的尾随距离。
CN201910312486.5A 2018-05-02 2019-04-18 远程车辆空间感知通知系统 Pending CN110435538A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/969,292 US20190337451A1 (en) 2018-05-02 2018-05-02 Remote vehicle spatial awareness notification system
US15/969292 2018-05-02

Publications (1)

Publication Number Publication Date
CN110435538A true CN110435538A (zh) 2019-11-12

Family

ID=68276567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910312486.5A Pending CN110435538A (zh) 2018-05-02 2019-04-18 远程车辆空间感知通知系统

Country Status (3)

Country Link
US (1) US20190337451A1 (zh)
CN (1) CN110435538A (zh)
DE (1) DE102019110769A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113147770A (zh) * 2020-01-06 2021-07-23 安波福技术有限公司 驾驶员监测系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699538B2 (en) 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
CN109688990A (zh) 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US11467667B2 (en) 2019-09-25 2022-10-11 Neosensory, Inc. System and method for haptic stimulation
US11535137B2 (en) * 2019-10-07 2022-12-27 Panasonic Intellectual Property Management Co., Ltd. Vehicle seat, vehicle seat control device, and vehicle seat control method
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11462020B2 (en) * 2020-01-03 2022-10-04 Ford Global Technologies, Llc Temporal CNN rear impact alert system
DE102020100125B3 (de) * 2020-01-07 2021-02-04 Audi Aktiengesellschaft Verfahren und Vorrichtung zum Vorbereiten eines Kraftfahrzeugs auf ein Fahrverhalten eines Fremdfahrzeugs
WO2021142162A1 (en) 2020-01-07 2021-07-15 Neosensory, Inc. Method and system for haptic stimulation
US11590663B2 (en) * 2020-01-14 2023-02-28 International Business Machines Corporation Virtual reality enabled activity allocation
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
KR102261527B1 (ko) * 2021-01-14 2021-06-08 성균관대학교산학협력단 인휠 모터를 장착한 차량의 토크 벡터링 제어 장치 및 방법
US11978334B2 (en) * 2021-06-04 2024-05-07 Rockwell Collins, Inc. Vehicular directional alerting system and method using haptic alerts and optional multi-modal alerts
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
DE102022205063A1 (de) 2022-05-20 2023-11-23 Psa Automobiles Sa Fahrzeug mit einer haptischen Kollisionswarnung in einer Sitzanordnung

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744370B1 (en) * 1998-05-18 2004-06-01 Inseat Solutions, Llc Vibro-tactile alert and massaging system having directionally oriented stimuli
US20100157061A1 (en) * 2008-12-24 2010-06-24 Igor Katsman Device and method for handheld device based vehicle monitoring and driver assistance
CN203318280U (zh) * 2012-11-23 2013-12-04 深圳华一汽车科技有限公司 一种基于机器视觉的盲区车辆检测及警告系统
CN103569013A (zh) * 2012-06-22 2014-02-12 通用汽车环球科技运作有限责任公司 用于车辆的警示系统和方法
CN104054118A (zh) * 2012-01-13 2014-09-17 脉冲函数F6有限公司 带有三维惯性传感器的远程信息处理系统
CN104185860A (zh) * 2012-03-31 2014-12-03 英特尔公司 用于与紧急事件有关的基于位置的通知的方法和系统
US20150232027A1 (en) * 2014-02-20 2015-08-20 GM Global Technology Operations LLC Systems and methods to indicate clearance for vehicle door
CN106043299A (zh) * 2015-04-01 2016-10-26 丰田自动车株式会社 车辆控制装置
CN107027096A (zh) * 2016-01-29 2017-08-08 法拉第未来公司 车辆的远程控制系统
US20170270788A1 (en) * 2016-03-17 2017-09-21 Cisco Technology, Inc. Methods and systems for increasing vehicular safety

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240346B1 (en) * 1998-09-29 2001-05-29 Gary D. Pignato System with light display and data recorder for monitoring vehicle in relation to adjacent vehicle
US6392564B1 (en) * 1999-10-05 2002-05-21 John J. Mackey Aggressive driver monitoring and reporting system
US7253723B2 (en) * 2003-05-19 2007-08-07 Donnelly Corporation Mirror assembly
DE102004045838A1 (de) * 2004-03-18 2005-11-10 Volkswagen Ag Vorrichtung und Verfahren zum Ansteuern zumindest einer Fahrzeug-Schutzeinrichtung
US20050259033A1 (en) * 2004-05-20 2005-11-24 Levine Alfred B Multiplex-selective heads-up displays for cars
US9067565B2 (en) * 2006-05-22 2015-06-30 Inthinc Technology Solutions, Inc. System and method for evaluating driver behavior
US20090132294A1 (en) * 2007-11-15 2009-05-21 Haines Samuel H Method for ranking driver's relative risk based on reported driving incidents
US20090284361A1 (en) * 2008-05-19 2009-11-19 John Boddie Driver scoring system with lane changing detection and warning system
US8339285B2 (en) * 2009-07-27 2012-12-25 The Boeing Company Tactile pilot alerting system and method
US8725311B1 (en) * 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
WO2013093933A1 (en) * 2011-09-29 2013-06-27 Tata Consultancy Services Limited Rogue vehicle detection
US9349263B2 (en) * 2012-06-22 2016-05-24 GM Global Technology Operations LLC Alert systems and methods for a vehicle
EP2685421B1 (en) * 2012-07-13 2015-10-07 ABB Research Ltd. Determining objects present in a process control system
CN104487308B9 (zh) * 2012-07-24 2017-07-07 丰田自动车株式会社 驾驶辅助装置
US9147353B1 (en) * 2013-05-29 2015-09-29 Allstate Insurance Company Driving analysis using vehicle-to-vehicle communication
US10354265B2 (en) * 2014-04-14 2019-07-16 Sirius Xm Radio Inc. Systems, methods and applications for using and enhancing vehicle to vehicle communications, including synergies and interoperation with satellite radio
US9764689B2 (en) * 2014-10-08 2017-09-19 Livio, Inc. System and method for monitoring driving behavior
US10607485B2 (en) * 2015-11-11 2020-03-31 Sony Corporation System and method for communicating a message to a vehicle
US10529221B2 (en) * 2016-04-19 2020-01-07 Navio International, Inc. Modular approach for smart and customizable security solutions and other applications for a smart city
US10732420B2 (en) * 2016-09-20 2020-08-04 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Head up display with symbols positioned to augment reality

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744370B1 (en) * 1998-05-18 2004-06-01 Inseat Solutions, Llc Vibro-tactile alert and massaging system having directionally oriented stimuli
US20100157061A1 (en) * 2008-12-24 2010-06-24 Igor Katsman Device and method for handheld device based vehicle monitoring and driver assistance
CN104054118A (zh) * 2012-01-13 2014-09-17 脉冲函数F6有限公司 带有三维惯性传感器的远程信息处理系统
CN104185860A (zh) * 2012-03-31 2014-12-03 英特尔公司 用于与紧急事件有关的基于位置的通知的方法和系统
CN103569013A (zh) * 2012-06-22 2014-02-12 通用汽车环球科技运作有限责任公司 用于车辆的警示系统和方法
CN203318280U (zh) * 2012-11-23 2013-12-04 深圳华一汽车科技有限公司 一种基于机器视觉的盲区车辆检测及警告系统
US20150232027A1 (en) * 2014-02-20 2015-08-20 GM Global Technology Operations LLC Systems and methods to indicate clearance for vehicle door
CN106043299A (zh) * 2015-04-01 2016-10-26 丰田自动车株式会社 车辆控制装置
CN107027096A (zh) * 2016-01-29 2017-08-08 法拉第未来公司 车辆的远程控制系统
US20170270788A1 (en) * 2016-03-17 2017-09-21 Cisco Technology, Inc. Methods and systems for increasing vehicular safety

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113147770A (zh) * 2020-01-06 2021-07-23 安波福技术有限公司 驾驶员监测系统
CN113147770B (zh) * 2020-01-06 2023-10-20 安波福技术有限公司 驾驶员监测系统

Also Published As

Publication number Publication date
US20190337451A1 (en) 2019-11-07
DE102019110769A1 (de) 2019-11-07

Similar Documents

Publication Publication Date Title
CN110435538A (zh) 远程车辆空间感知通知系统
US11485284B2 (en) System and method for driver distraction determination
US11682290B1 (en) Systems and methods for reconstruction of a vehicular crash
US10399492B1 (en) Automatic reconfiguration and calibration of haptic seats
DE102016209501B4 (de) Verfahren zum Generieren einer Warnung an einen oder mehrere Insassen eines Fahrzeugs
CN105365668B (zh) 车辆座椅靠背的触觉警报系统和方法
US10317900B2 (en) Controlling autonomous-vehicle functions and output based on occupant position and attention
CN108205731B (zh) 情境评估车辆系统
CN103661032B (zh) 具有改进的致动器位置的用于车辆的警报系统和方法
CN103569134B (zh) 用于车辆的警示系统和方法
US10807593B1 (en) Systems and methods for reconstruction of a vehicular crash
CN103568949B (zh) 车辆报警系统及方法
US9007198B2 (en) Adaptive Actuator interface for active driver warning
CN103578211B (zh) 交通工具的警报系统和方法
CN103569013A (zh) 用于车辆的警示系统和方法
CN103578293A (zh) 车辆的警报系统和方法
CN103593942A (zh) 车辆的警报系统和方法
US20230138431A1 (en) Systems and methods for driver warnings upon child identification and bypass options based on gesture and posture detection
US20230150491A1 (en) Systems and methods for reconstruction of a vehicular crash

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191112

WD01 Invention patent application deemed withdrawn after publication