CN111605561B - 一种用于与自主车辆的交互的系统 - Google Patents

一种用于与自主车辆的交互的系统 Download PDF

Info

Publication number
CN111605561B
CN111605561B CN202010118716.7A CN202010118716A CN111605561B CN 111605561 B CN111605561 B CN 111605561B CN 202010118716 A CN202010118716 A CN 202010118716A CN 111605561 B CN111605561 B CN 111605561B
Authority
CN
China
Prior art keywords
proprioceptive
autonomous vehicle
output
condition
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010118716.7A
Other languages
English (en)
Other versions
CN111605561A (zh
Inventor
J.沃贝克
S.克拉茨
A.布兰格
N.曼索里安
J.斯维尔斯
S.马蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN111605561A publication Critical patent/CN111605561A/zh
Application granted granted Critical
Publication of CN111605561B publication Critical patent/CN111605561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/25Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/128Axially displaceable input devices for instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/139Clusters of instrument input devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40Hardware adaptations for dashboards or instruments
    • B60K2360/48Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于与自主车辆的交互的系统,包括:本体感受装置;以及控制器。所述控制器被配置为:检测在所述自主车辆外部的第一状况;响应于所述第一状况而生成第一本体感受输出,所述第一本体感受输出改变所述本体感受装置的形状;从所述本体感受装置接收第一输入力;基于所述第一输入力来确定第一用户输入;以及基于所述第一用户输入,致使所述自主车辆执行导航动作。

Description

一种用于与自主车辆的交互的系统
技术领域
本公开的实施方案总体上涉及自主车辆,并且更具体地,涉及一种用于自主车辆的形状变换控制表面。
背景技术
为了使行程更安全且更容易,正在开发能够感测其周围环境并且在有很少或没有人类输入的情况下移动的自主车辆。因此,自主车辆可能会变得越来越普遍。例如,自动驾驶汽车车队可能很快就会被用作自动约车服务,并且自动驾驶卡车可以被实施来用于长途和其他搬运服务。
对于4级和5级自主车辆,并且对于使用自动驾驶仪的3级自主车辆,乘员不需要物理地控制车辆并且所有乘员都可以是乘客。这种自主车辆能够检测在车辆周围的事物并且根据驾驶规则和法律自主地将车辆定位在道路上。随着开始引入自主车辆,许多乘员都将成为有经验的驾驶员,他们都会有自己的个人驾驶偏好,诸如在超过非常大型或快速移动的车辆或被其超过时修改车道位置。由于自主车辆技术一般不会朝向适应此类个人驾驶偏好转变,因此自主车辆的作为有经验的驾驶员的乘员在他或她的驾驶偏好被忽略的情况下可能会感觉不舒服。
例如,当超过相邻车道的大部分或全部装满的卡车或被其超过时,有经验的驾驶员在手动地操作车辆时可能更愿意保持尽可能远离该卡车。相比之下,自主车辆控制器将典型地优化车辆在卡车的边缘与车道的相对边缘之间的车道位置,这对于一些乘员来说可能是不舒服的体验。在另一个示例中,有经验的驾驶员在超过以非常不同的速度行驶的车辆或被其超过时可能更愿意修改手动驾驶的车辆的车道位置,以为任一个驾驶员在超车动作期间犯错误留有更大余地。然而,自主车辆在超车事件期间可能会维持正常车道位置。这对于有经验的驾驶员来说可能会在心理上不舒服,因为速度差较大的两个车辆在超车事件期间隔开的距离不太优选。
鉴于上述内容,用于与自动驾驶汽车和其他自主车辆交互的更有效技术将是有用的。
发明内容
各种实施方案阐述了一种用于与自主车辆交互的系统。所述系统包括本体感受装置和控制器。所述控制器被配置为:检测在所述自主车辆外部的第一状况;响应于所述第一状况而生成第一本体感受输出,所述第一本体感受输出改变所述本体感受装置的形状;从所述本体感受装置接收第一输入力;基于所述第一输入力来确定第一用户输入;以及基于所述第一用户输入,致使所述自主车辆执行导航动作。
所公开的实施方案的至少一个优点在于,自主车辆的乘员可以经由本体感知输入/输出(I/O)装置从自主车辆本体感知地接收指示在自主车辆的外部检测到的状况的输出。此外,乘员可以经由本体感知装置向自主车辆提供输入以致使自主车辆执行导航动作,诸如修改自主车辆的当前车道位置。因此,自主车辆的乘员可以在不需要查阅显示屏的情况下接收关于在自主车辆外部的状况的信息,并且可以在不需要视觉上搜索本体感知I/O装置的情况下响应于状况而修改自主车辆的操作。所公开的实施方案的另一个优点在于,即使自主车辆在自主地执行所有驾驶和导航功能,自主车辆的乘员也能够容易地影响自主车辆的行为。
附图说明
为了可以详细地理解一个或多个实施方案的上述特征,可以参考某些特定实施方案来获得以上简要概述的一个或多个实施方案的更具体描述,其中一些特定实施方案在附图中示出。然而,应注意,附图仅示出典型实施方案,并且因此不应被视为以任何方式限制其范围,因为各种实施方案的范围也包括其他实施方案。
图1是示出被配置为实现本公开的一个或多个方面的自主车辆的示意图。
图2是根据本公开的一个或多个实施方案的本体感受系统的示意图。
图3是根据本公开的实施方案的基于滑块的本体感受I/O装置的透视图。
图4A至图4D示出了根据本公开的实施方案的响应于在自主车辆外部的状况的随时间的从图3的基于滑块的本体感受I/O装置的本体感受输出和向基于滑块的本体感受I/O装置的本体感受输入。
图5示意性地示出了根据本公开的实施方案的基于活塞的本体感受I/O装置。
图6示意性地示出了根据本公开的实施方案的基于折板的本体感受I/O装置。
图7示意性地示出了根据本公开的实施方案的包括多个柔性表面的本体感受I/O装置。
图8示意性地示出了根据本公开的实施方案的包括非本体感受输入装置的本体感受I/O装置。
图9是根据本公开的各种实施方案的用于与自主车辆进行本体感受交互的方法步骤的流程图。
为清楚起见,在适用的情况下,已经使用相同的附图标记来指示附图之间共同的相同元件。设想一个实施方案的特征可以合并在其他实施方案中而无需进一步详述。
具体实施方式
出于通信目的而使用触摸的触觉反馈是用于向用户提供输入的公知方法。一般地,对用户的采用触觉反馈的输出依赖于将要识别的用户的皮肤中的触摸传感器。例如,可穿戴计算装置和其他智能装置经常使用触觉反馈(诸如振动、皮肤上的模拟轻拍等)来警告用户或以其他方式与用户通信。相比之下,本文描述的实施方案包括从自主车辆经由用户的本体感受感觉对自主车辆的乘员的输出。本体感受也被称为运动觉,它是人感觉空间中的自我移动和身体位置的能力。本体感受由本体感受器促成,本体感受器是位于肌肉、腱和关节中的在肢体和身体的移动和负重期间被激活的机械感觉神经元。经由本体感受输入,人意识到身体的一部分的移动和/或对身体的一部分的压力,而没有视觉上察觉到发生此运动或对身体施加此压力。根据各种实施方案,本体感受输入由包括在自主车辆中的本体感受输入/输出(I/O)装置用来与自主车辆的乘员通信。
根据实施方案,双向本体感受I/O装置被配置为在自主车辆中使用,以经由乘员的本体感受感觉将关于自主车辆外部的一个或多个状况的信息传达给乘员。双向本体感受I/O装置还被配置为从乘员接收输入以执行目标导航动作,诸如修改自主车辆的车道位置。因此,乘员可以被告知自主车辆外部的特定状况并且响应于特定状况而根据乘员的个人偏好来修改自主车辆的行为。例如,当在与自主车辆相邻的车道中的车辆具有比正常更近的接近度时,经由双向I/O装置向乘员告知此状况并且作为响应,乘员可以经由双向I/O装置来向自主车辆指示优选的车道位置。双向I/O装置使得来自自主车辆的输出和来自用户的输入能够同时发生且同地协作,从而使双向I/O装置能直观地使用。
图1是示出被配置为实现本公开的一个或多个方面的自主车辆100的示意图。自主车辆100可以是任何计算机操作的车辆,诸如自主或自动驾驶汽车、卡车、公共汽车等。在图1所示的实施方案中,自主车辆100是包括自主车辆控制系统103的自动驾驶汽车。自主车辆100能够感测道路上和与道路相邻的周围环境、确定通过该环境的适当导航路径,并且在有很少或没有人类输入的情况下移动。如本文所使用,导航路径可以包括但不限于任何街道、道路、私家车道、停车场、汽车通道,或者适合于自主车辆100行驶的其他路径。此外,在遵循导航路径时,自主车辆100经由自主车辆控制系统103和自主车辆传感器130而被配置为维持目标车道位置和/或与导航路径上的自主车辆100前面的车辆维持目标跟随距离。自主车辆100包括但不限于自主车辆传感器130、自主车辆控制系统103和本体感受I/O系统120。
自主车辆控制系统103是被配置为管理自主车辆100的整体操作和导航的基于计算机的系统。自主车辆控制系统103可以包括任何技术上可行的类型的计算机系统,但在一些实施方案中,自主车辆控制系统103可以包括本领域中公知的一个或多个计算装置。在操作中,自主车辆控制系统103被配置为从自主车辆传感器130接收传感器数据并且处理该数据以识别自主车辆101的当前驾驶动作和导航路径。在本公开的背景下,“驾驶动作”可以包括转弯、融入车流、驾驶通过车流、维持速度和车道位置、与其他车辆一起宿营、导航到指定的位置,和/或与车辆的操作相关联的其他动作。自主车辆控制系统103还可以被配置为处理来自自主车辆传感器130的传感器数据以识别与当前在进行的驾驶动作相关联的潜在危险驾驶状况。
自主车辆传感器130可以包括但不限于被配置为测量与自主车辆100周围的环境相关联的各种性质的不同传感器的阵列,所述环境包括但不限于当前被自主车辆100占据的道路或导航路径和/或与这样的道路或导航路径邻近的区域,诸如多车道公路或高速公路中的相邻驾驶路线。自主车辆传感器130可以包括但不限于光学传感器(可见光或红外光)、声传感器(诸如超声传感器、主动声纳等)、雷达传感器、激光雷达传感器、深度传感器、立体成像传感器、地形映射传感器、远程信息处理传感器、接收器和基于卫星的导航系统等等。自主车辆传感器130被配置为从围绕自主车辆100的360°全景接收传感器数据并且将传感器数据传输到自主车辆控制系统103以进行处理。
在一些实施方案中,自主车辆100还包括一个或多个乘员传感器131,以用于监测自主车辆100的乘员的与双向本体感受I/O装置交互的特定身体部分。例如,乘员传感器131可以包括在自主车辆传感器130中以用于确定与双向本体感受I/O装置交互的特定身体部分的大小和/或检测其位置。下面结合图3描述此类实施方案。
本体感受I/O系统120被配置为响应于在自主车辆100的外部检测到的某些状况而生成本体感受输出。此类状况的示例包括但不限于在自主车辆100的附近和/或周围检测到的车辆、行人和/或障碍物,诸如在与自主车辆100相邻的车道中的车辆、位于被自主车辆100占据的当前车道外部但与其接近的护栏、接近自主车辆100的规划导航路径但在其之外定位的静态或移动物体,和/或检测到的以相对高速朝向自主车辆100移动的车辆(例如,在同一车道内或在与自主车辆100相邻的车道中)。具体地,本体感受I/O系统120改变双向本体感受I/O装置(图1中未示出)的形状以向与自主车辆100外部的一个或多个状况相关的乘员传达某些信息。
在一些实施方案中,本体感受I/O系统120机械地调整双向本体感受I/O装置的表面,以使用地形特征(诸如表示按压和/或移动用户的身体部分(例如,手或手臂)的一部分的凸起或突出特征)来物理地表示自主车辆100外部的一个或多个状况。因此,可以本体感受地向乘员告知车辆外部的某些状况。此外,本体感受I/O系统120被配置为从乘员接收本体感受输入,例如通过乘员在双向本体感受I/O装置的一个或多个表面上施加力。例如,乘员可以通过推动、拉动、向下按和/或滑过双向本体感受I/O装置的表面来提供本体感受输入。在从乘员接收到这样的本体感受输入后,本体感受I/O系统120将该输入转化为自主车辆100的目标行为的输入,诸如修改车道位置和/或跟随距离,并且将目标行为提供到自主车辆控制系统103。因此,经由本体感受I/O系统120,乘员可以响应于自主车辆100外部的状况而本体感受地将输入提供到自主车辆100,并且自主车辆控制系统103可以相应地修改自主车辆100的行为。
图2是根据本公开的一个或多个实施方案的本体感受I/O系统120的示意图。本体感受I/O系统120包括双向本体感受I/O装置210、计算装置250,以及在一些实施例中,一个或多个辅助传感器220。
计算装置250被配置为实施本文中描述的本公开的至少一个方面。计算装置250可以是能够执行应用程序(包括与双向I/O应用231相关联的指令)的任何类型的装置。例如但不限于,计算装置250可以是电子平板、智能电话、膝上型计算机等。可选地,计算装置250可以被实现为独立芯片,诸如微处理器,或者作为被实现为专用集成电路(ASIC)、片上系统(SoC)等的更全面解决方案的一部分。一般地,计算装置250被配置为协调本体感受I/O系统120的整体操作。在一些实施方案中,计算装置250结合在诸如自主车辆控制系统103和/或自主车辆100的信息娱乐系统(未示出)的另一个计算装置控制的系统中或是其部件。如图所示,计算装置250包括但不限于处理单元260、存储器230和数据库240。
在图2所示的实施方案中,计算装置250被示出为单个集成装置。在其他实施方案中,本文描述的计算装置250的一些或全部功能可以被实现为多个计算装置,诸如集成到双向本体感受I/O装置210中的计算装置和集成到自主车辆控制系统103中的另一个计算装置。
处理单元260可以被实现为中央处理单元(CPU)、图形处理单元(GPU)、ASIC、现场可编程门阵列(FPGA)、张量处理单元(TPU)和/或任何其他类型的处理单元,或者不同处理单元的组合。一般来说,处理单元260可以是能够处理数据和/或执行软件应用以促进图1的本体感受I/O系统120的操作的任何技术上可行的硬件单元,如本文所述。处理单元260可以物理地嵌入在计算装置250中、可以是基于云的计算环境的一部分,和/或可以是本体感受I/O系统120外部的计算装置(诸如移动计算装置或可穿戴计算装置)的一部分。在一些实施方案中,处理单元260是包括在自主车辆100中的车载式信息娱乐系统(未示出)的元件,或者是自主车辆100的自主车辆控制系统103的元件。一般地,处理单元260被配置为执行至少与双向I/O应用231相关联的指令。
存储器230可以包括随机存取存储器(RAM)模块、快闪存储器单元或任何其他类型的存储器单元或者它们的组合,并且可以包括单个存储器模块或存储器模块的集合。如图所示,在一些实施方案中,双向I/O应用231中的一些或全部在操作期间可以驻留在存储器230中。数据库240可以包括任何合适的非易失性数据存储装置,诸如电可擦除可编程只读存储器(EEPROM)、硬盘驱动器等。在一些实施方案中,数据库240存储用户特定信息,诸如与自主车辆100的特定用户的某些驾驶偏好相关联的信息。
双向本体感受I/O装置210被配置为针对自主车辆100的乘员生成本体感受输出。因此,根据各种实施方案,双向本体感受I/O装置210包括一个或多个交互表面,每个交互表面被配置为通过改变形状来接触特定乘员的身体部分的相应部分。双向本体感受I/O装置210还被配置为经由一个或多个交互表面从乘员接收本体感受输入。图3中示出了双向本体感受I/O装置210的一个这样的实施方案。
图3是根据本公开的实施方案的基于滑块的本体感受I/O装置300的透视图。如图所示,基于滑块的本体感受I/O装置300包括表面301,该表面被配置为具有接收表面302以支撑或以其他方式接收自主车辆100的乘员的特定身体部分,诸如手或前臂。在一些示例中,表面301可以以基本上水平的方式取向。可选地,表面301可以倾斜、向上或向下成角度、在取向上基本上竖直(例如,当安装在自主车辆的侧表面上时)等。基于滑块的本体感受I/O装置300还包括围绕表面301设置的多个滑块机构320,所述滑块机构是被配置为生成本体感受输出的可移动元件。在图3所示的实施方案中,一组三个滑块机构320布置在接收表面302的左侧上,并且另一组三个滑块机构320布置在接收表面302的右侧上。在其他实施方案中,更多或更少的滑块机构320布置在接收表面302的左边的滑块机构组320中和右边的滑块机构组320中。此外,在一些实施方案中,滑块机构320被封闭在柔性覆盖物(未示出)内,该柔性覆盖物形成在使用期间随着滑块机构320致动而改变形状的连续表面。
每个滑块机构320被配置为沿着表面301在第一方向321上朝向接收表面302移动并且在第二方向322上远离接收表面302移动。一般地,滑块机构320中的一个或多个可以响应于在自主车辆100的外部检测到的某些状况而移动乘员的搁置在接收表面302上的身体部分、向该身体部分施加压力和/或移动远离该身体部分。因此,与在自主车辆100外部的一个或多个状况相关的信息可以传达给自主车辆100的其身体部分正搁置在接收表面302上的乘员(在下文称为“自主车辆100的乘员”)。
每个滑块机构320还被配置为从自主车辆100的其身体部分正搁置在接收表面302上的乘员接收本体感受输入。在一些实施方案中,每个滑块机构320包括压力传感器323,该压力传感器设置在滑块机构320的接触表面324上以测量由乘员的身体部分的一部分施加在该压力传感器上的输入压力。在一些情况下,施加在一个或多个压力传感器320上的压力是通过乘员产生输入压力而引起的,而在其他情况下,施加在一个或多个压力传感器320上的压力是通过在生成本体感受输出时反对一个或多个滑块机构320的致动而引起的。可选地或另外地,在一些实施方案中,在滑块机构320内测量施加在滑块机构320上的输入压力,例如经由联接到水平滑块机构320的驱动机构326或包括在其中的应变仪或压力传感器325。为清楚起见,图3中仅示出了压力传感器325和驱动机构326的一个实例。
在一些实施方案中,基于滑块的本体感受I/O装置300还包括身体部分检测装置305。在此类实施方案中,身体部分检测装置305使得能够检测接收表面302上的乘员身体部分(诸如手或前臂)的存在。身体部分检测装置305可以包括任何技术上可行的检测装置,包括光学和/或电容感测装置。在一些实施方案中,自主车辆100包括一个或多个乘员传感器131(图1中示出),以用于监测自主车辆100的乘员的与基于滑块的本体感受I/O装置300交互的特定身体部分。在此类实施方案中,一个或多个乘员传感器131使得能够确定与基于滑块的本体感受I/O装置300交互的特定身体部分的大小和/或检测其位置。在此类实施方案中,可以针对任何给定的用户确定滑块机构320的中性位置,其中滑块机构320的中性位置是其在没有进行本体感受I/O时的位置。
在操作中,基于滑块的本体感受I/O装置300通过改变形状并接触搁置在接收表面302上的乘员身体部分的一个或多个部分来传达与自主车辆100外部的一个或多个状况相关的信息。在一些实施方案中,基于搁置在接收表面302上的乘员身体部分(例如,手)表示自主车辆100的惯例来传达这种信息。在此类实施方案中,来自基于滑块的本体感受I/O装置300的本体感受输出表示在自主车辆100的周围环境中检测到的可能与乘员的驾驶偏好冲突或以其他方式影响驾驶偏好的状况的存在。例如,在一个这样的实施方案中,通过自主车辆控制系统103检测到位于自主车辆100的当前导航路径之外的物体或障碍物,因此,自主车辆100一般被配置为在很少改变或不改变当前导航路径内的自主车辆100的位置的情况下驾驶经过该物体或障碍物。在该实施方案中,当物体或障碍物与自主车辆100的接近度被确定为可能违反乘员的驾驶偏好时,基于滑块的本体感受I/O装置300使用滑块机构320中的一个或多个通过乘员身体部分的一部分上的压力和/或移动来表示物体或障碍物的近似位置。具体地,乘员身体部分的与自主车辆100的最靠近物体或障碍物定位的那部分相对应的部分上施加有压力和/或因来自基于滑块的本体感受I/O装置300的本体感受输出而被引起移动。图4A至图4D中示出了示例。
图4A至图4D示出了根据本公开的实施方案的响应于在自主车辆400外部的状况的随时间的从基于滑块的本体感受I/O装置300的本体感受输出和向基于滑块的本体感受I/O装置的本体感受输入。图4A至图4D还示出了自主车辆400随时间相对于其外部的状况的位置。
图4A示意性地示出了在时间T1在被道路405中的左手车道404中的宽车辆403超过之前在道路402的右手车道401中行驶的自主车辆400。图4A还示意性地示出了在时间T1的基于滑块的本体感受I/O装置300和乘员手411,该乘员手是自主车辆400的乘员的手。由于宽车辆403不延伸到右手车道401中,因此自主车辆400的常规控制系统在宽车辆403经过时可能不会修改自主车辆400的车道位置。然而,根据各种实施方案,基于滑块的本体感受I/O装置300经由基于滑块的本体感受I/O装置300的左后区域中的一个或多个滑块机构320来提供本体感受输出412。本体感受输出412可以包括一个或多个滑块机构320的向内移动,如图所示。可选地或另外地,本体感受输出412可以包括一个或多个滑块机构320对乘员手411的部分的向内压力。在图4A所示的实施方案中,不同的滑块机构320生成不同的本体感受输出412。在其他实施方案中,本体感受输出412在生成本体感受输出412的多个滑块机构320中可以是一致的。在另外的其他实施方案中,由每个不同的滑块机构320生成的本体感受输出412可以随时间而改变。例如,在宽车辆403经过自主车辆400时,乘员可以感觉到波状效果,因为宽车辆403相对于自主车辆400的位置被基于滑块的本体感受I/O装置300的左侧上的滑块机构320跟踪。
在生成本体感受输出412时,基于滑块的本体感受I/O装置300向乘员发警告告知在自主车辆400的外部的可能违反乘员的驾驶员偏好的状况,,经过车辆与自主车辆400的紧密接近度。因此,乘员意识到该状况,并且可以经由基于滑块的本体感受I/O装置300指导自主车辆控制系统103来修改自主车辆400的驾驶行为,如图4B所示。
图4B示意性地示出了在时间T2的自主车辆400、基于滑块的本体感受I/O装置300和乘员手411。如图所示,在时间T2,宽车辆403尚未超过自主车辆400。另外,乘员已经经由基于滑块的本体感受I/O装置300提供本体感受输入413,从而请求自主车辆400导航到右手车道401的远边缘。
在图4B所示的实施方案中,本体感受输入413包括乘员手411相对于基于滑块的本体感受I/O装置300的与在自主车辆400外部的状况(即,宽车辆403)相对应的一部分中的一个或多个滑块机构320的运动和/或压力。因此,在所示的实施方案中,乘员推离感知到的危险或其他状况,并且自主车辆400随后导航远离感知到的危险或其他状况。在其他实施方案中,可以采用不同的控制范例。例如,在一个这样的实施方案中,在基于滑块的本体感受I/O装置300的接收表面的具体部分上的向下压力指示修改自主车辆400的车道位置的请求方向。因此,在一个这样的实施方案中,基于滑块的本体感受I/O装置300的右手区域上的向下压力指示自主车辆400移动到右手车道401的右手部分,而基于滑块的本体感受I/O装置300的左手区域上的向下压力指示自主车辆400移动到右手车道401的左手部分。在另一个这样的实施方案中,通过乘员在目标方向上移动身体部分来指示自主车辆400在目标方向上的导航。因此,在这种图4B所示的情况下,乘员向右身体部分,从而指示将自主车辆400导航到右手车道401的右手边缘的请求。在其他实施方案中,可以采用任何其他技术上可行的控制范例来指示修改自主车辆400的导航的优选方向。
图4C示意性地示出了在时间T3的自主车辆400、基于滑块的本体感受I/O装置300和乘员手411。如图所示,在时间T3,宽车辆403正在经过自主车辆400。另外,由于乘员经由基于滑块的本体感受I/O装置300请求自主车辆400移动到右手车道401的右手边缘,因此自主车辆400在宽车辆403经过自主车辆400时已经导航到右手车道401的远边缘。在这样做时,自主车辆400已经响应于从乘员接收到的本体感受输入,并且已经将自主车辆400导航到远离宽车辆403的感知到的危险的优选车道位置。另外,由于自主车辆400在右手车道401的右手部分中并且定位成远离宽车辆403,因此基于滑块的本体感受I/O装置300提供附加的本体感受输出415,从而指示自主车辆400已经定位成远离检测到的状况。如图所示,基于滑块的本体感受I/O装置300通过水平地移动一个或多个水平滑块机构320来提供本体感受输出415,以指示感知到的危险不像在时间T1那么接近,因为自主车辆400与宽车辆403之间现在存在更大的左右间距。
图4D示意性地示出了在时间T4的自主车辆400、基于滑块的本体感受I/O装置300和乘员手411。如图所示,在时间T4,宽车辆403已经经过自主车辆400,该自主车辆已经将其本身重新定位在右手车道401的中心部分中。此外,由于自主车辆400没有检测到接近自主车辆400的当前导航路径的感知到的危险,因此向乘员手411提供中性本体感受输入416,其中基于滑块的本体感受I/O装置300引起对乘员手411的相等压力和/或移动或者没有引起压力和/或移动。
在图4A至图4D所示的实施方案中,所描绘的驾驶偏好是相对于相邻车道中的大型车辆的车道位置和/或相对于相邻车道中的具有相对于自主车辆400的高速的车辆的车道位置。可以由乘员指示的驾驶偏好的另一个示例可以是相对于接近自主车辆400的当前车道的物体的车道位置,诸如混凝土护栏和/或防护轨。这样的驾驶偏好的另一个示例可以是修改车道中的相对于相邻车道中的车辆的位置,所述车辆具有相对于自主车辆400的很小或没有相对速度。例如,在本体感知I/O装置的可移动元件上向前推动可以指示使自主车辆400减速的请求,使得自主车辆400在延长的时间段内部与另一个车辆并排地定位,而在本体感知I/O装置的可移动元件上向后推动可以指示使自主车辆400加速的请求,使得自主车辆400不与另一个车辆并排地定位。这种驾驶偏好的又一个示例可以是将本体感知装置的一个或多个可移动元件向后拉动或推动以降低自主车辆400的操作的“攻击性”。例如,乘员可以在自主车辆400似乎太快进入入口匝道而使乘员不适时采用这样的本体感知输入。
图5示意性地示出了根据本公开的实施方案的基于活塞的本体感受I/O装置500。基于活塞的本体感受I/O装置500包括用于支撑乘员的特定身体部分的基座501和围绕基座501设置的多个可移动活塞520,所述多个可移动活塞是被配置为生成本体感受输出的可移动元件。每个可移动活塞520包括经由轴522联接到相应的致动器523的缓冲垫521。在图5中,移除可移动活塞520中的一个的缓冲垫521,使得相关联的轴522可见。
在图5所示的实施方案中,基于活塞的本体感受I/O装置500包括12个可移动活塞520,但在其他实施方案中,基于活塞的本体感受I/O装置500包括更多或更少的可移动活塞520。此外,在一些实施方案中,可移动活塞520被柔性覆盖物(未示出)封闭,该柔性覆盖物形成在使用期间随着可移动活塞520致动而改变形状的连续表面。
在一些实施方案中,经由可移动活塞520的选择性运动来生成本体感知输出。因此,代替向内按压和/或移动乘员手的一部分以传达关于在自主车辆外部的状况的信息,可移动活塞520将乘员手的一部分推动和/或移动远离基座501。在此类实施方案中,基于活塞的本体感受I/O装置500通过对可移动活塞520中的一个或多个或相对于其并排的乘员手的压力来从搁置在基座501上的乘员手(未示出)接收本体感受输入。
对特定可移动活塞520的压力可以由例如设置在可移动活塞520的缓冲垫上的压力传感器(为清晰起见,未示出)测量。对特定可移动活塞520的侧面压力可以由例如联接到可移动活塞520的向外旋转的铰链526的传感器525测量。在此类实施方案中,对特定可移动活塞520的缓冲垫521的侧面压力引起可移动活塞520向外旋转,,远离基座501,并且这样的向外旋转由联接到向外旋转的铰链526的传感器525检测,该向外旋转的铰链在侧面压力下被致动。传感器525可以是应变仪、压力传感器、旋转位置传感器,或者可以联接到向外旋转的铰链526的任何其他合适的传感器。可选地或另外地,在一些实施方案中,对特定可移动活塞520的侧面压力可以由例如设置在该特定可移动活塞520的缓冲垫521的侧边缘上的压力传感器527测量。
在图5所示的实施方案中,基于活塞的本体感受I/O装置500包括在基座501的四个侧上的可移动活塞520。因此,针对自主车辆的外部的状况,可以将来自基于活塞的本体感受I/O装置500的本体感受输出提供给乘员,该状况是在任何周围位置检测到的:在自主车辆的前面、在自主车辆的后面、在自主车辆的左侧、在自主车辆的右后方等。类似地,本体感知输入可以由基于活塞的本体感受I/O装置500从乘员接收,该本体感知输入指示朝向或远离任何此类位置的运动。因此,在自主车辆检测到自主车辆外部的在自主车辆正后方的状况的情况下,基于活塞的本体感受I/O装置500可以移动可移动活塞520中的接触搁置在基座501上的乘员手的后部部分的一些或全部。此外,作为响应,乘员可以通过用手按压接触手的后部部分的可移动活塞520来提供指示导航远离该状况的请求的本体感受输入。可选地或另外地,在一些实施方案中,乘员可以通过相对于接触手的后部部分的可移动活塞520用手的后部部分向侧面向后按压来提供这种本体感受输入。与上文结合图3描述的实施方案一样,在检测到较远离自主车辆的状况时,生成与该状况相关联的本体感受输出的可移动活塞520可以移动到不太延伸的位置以指示状况的这种变化。
图6示意性地示出了根据本公开的实施方案的基于折板的本体感受I/O装置600。基于折板的本体感受I/O装置600包括用于支撑乘员的特定身体部分的基座601和围绕基座601设置的多个可旋转折板620,所述多个可旋转折板是被配置为生成本体感受输出的可移动元件。每个可旋转折板620包括接触表面621,该接触表面被配置为通过移动乘员身体部分(诸如手)的不同部分和/或对其施加压力来生成本体感受输出。
在图6所示的实施方案中,基于折板的本体感受I/O装置600包括九个可旋转折板620,但在其他实施方案中,基于折板的本体感受I/O装置600包括更多或更少的可旋转折板620。此外,在一些实施方案中,可旋转折板620被柔性覆盖物(未示出)封闭,该柔性覆盖物形成在使用期间随着可旋转折板620致动而改变形状的连续表面。
在一些实施方案中,本体感受输入由基于折板的本体感受I/O装置600经由由乘员手引起的可旋转折板620的压力和/或移动来接收。在此类实施方案中,基于折板的本体感受I/O装置600经由每个接触表面621上的压力传感器和/或联接到可旋转折板致动器627的每个旋转铰链626的传感器625从搁置在基座601上的乘员手(未示出)接收本体感受输入。传感器625可以是应变仪、压力传感器、旋转位置传感器,或者可以联接到旋转铰链626的任何其他合适的传感器。
类似于图5所示的实施方案,图6所示的实施方案被配置为针对自主车辆外部的在任何周围位置检测到的状况而向乘员生成本体感知输出。类似地,本体感知输入可以由基于折板的本体感受I/O装置600从乘员接收,该本体感知输入指示朝向或远离任何此类位置的运动。
图7示意性地示出了根据本公开的实施方案的包括多个柔性表面的本体感受I/O装置700。本体感受I/O装置700不包括用于支撑乘员的特定身体部分的中心基座。相反,本体感受I/O装置700包括三个或更多个柔性条带720,每个柔性条带被配置为通过多个致动器721(诸如活塞或其他致动器)来改变形状。在图7所示的实施方案中,本体感受I/O装置700被配置为具有三个柔性条带720,为清楚起见,省略了其中的两个。类似于上述实施方案,柔性条带720是被配置为生成本体感受输出的可移动元件。
本体感受I/O装置700被配置用于乘员手(或在其他实施方案中,其他合适的身体部分)搁置在中间柔性条带720的中心部分729上。响应于自主车辆检测到自主车辆外部的可能影响乘员的驾驶员偏好或其他偏好的状况,本体感受I/O装置700改变柔性条带720中的一些或全部的一个或多个部分的位置。在一些实施方案中,本体感受I/O装置700包括三个以上柔性条带720。此外,在一些实施方案中,柔性条带720被柔性覆盖物(未示出)封闭,该柔性覆盖物形成在使用期间随着柔性条带720致动而改变形状的连续表面。
在一些实施方案中,柔性条带720的一部分的移动量对应于检测到的状况的属性,诸如接近度、相对速度等。例如,在一些实施方案中,当另一个车辆以高速从后面接近自主车辆时,本体感受I/O装置700致使柔性条带720中的一个或多个的后部部分722相对于其他柔性条带720更靠近乘员的手移动。此外,在一个这样的实施方案中,与接近的车辆的具体车道相对应的柔性条带(或多个条带)720朝向手移动,而与其他车道相对应的柔性条带720不朝向手移动。因此,本体感受地向乘员告知该状况(例如,快速移动的车辆正在接近)、状况的位置(例如,左车道且在后方、同一车道且在后方等)以及状况的大小(例如,更多的移动来获得更高的速度)。具体地,本体感受I/O装置700移动乘员身体部分(诸如手)的不同部分和/或对其施加压力,以提供与状况相关联的此类信息。
在一些实施方案中,本体感受I/O装置700还被配置为经由由乘员手引起的柔性条带720的压力和/或移动来接收本体感知输入。在此类实施方案中,本体感受I/O装置700经由每个柔性条带720上的一个或多个压力传感器725和/或联接到柔性条带致动器721的每个旋转铰链726的传感器725从搁置在中心部分701上的乘员手(未示出)接收本体感受输入。传感器725可以是应变仪、压力传感器、旋转位置传感器,或者可以联接到每个旋转铰链726的任何其他合适的传感器。因此,传感器725可以测量由乘员按压柔性条带720的边缘引起的压力和/或移动。在一些实施方案中,代替测量柔性条带720的一个或多个压力传感器725上的向下压力,执行测量柔性条带720的边缘上的压力。在一些实施方案中,除了测量柔性条带720的一个或多个压力传感器725上的压力之外,还执行测量柔性条带720的边缘上的压力。在任一种情况下,乘员可以通过向侧面推动本体感受I/O装置700的侧上的与状况的位置相对应的一个或多个柔性条带720来生成指示将自主车辆导航远离自主车辆左边或右边的状况的本体感受输入。
图8示意性地示出了根据本公开的实施方案的包括非本体感受输入装置的本体感受I/O装置800。类似于上述实施方案,本体感受I/O装置800被配置为经由本体感受I/O区域810生成本体感受输出。不同于上述实施方案,本体感受I/O装置800还被配置为经由非本体感受输入装置820来接收非本体感受输入。在图8所示的实施方案中,本体感受I/O区域810可以被配置为经由上述实施方案的任一技术生成本体感受输出,而非本体感受输入装置820可以被配置为具有任何常规输入装置821。合适的常规输入装置的示例包括电容或其他触敏表面、一个或多个机械输入装置(诸如滚动球和/或机械按钮)等等。在一些实施方案中,响应于本体感受I/O区域810生成本体感受输出而激活常规输入装置821。在其他实施方案中,通过包括本体感受I/O装置800的自主车辆的正常操作来激活常规输入装置821。
在图8所示的实施方案中,本体感受I/O装置800被配置为接收自主车辆的乘员的在与本体感受I/O区域810相关联的表面811上的前臂803。因此,本体感受I/O装置800具有扶手配置。在这样的实施方案中,非本体感受输入装置820被配置为从前臂803的手804和/或手指接收非本体感受输入。在其他实施方案中,本体感受I/O区域810可以被配置为生成不同乘员身体部分的本体感受输出并从中接收本体感受输入。此外,非本体感受输入装置820可以被配置为从乘员的除了如图8所示的乘员的手804或手指之外的任何其他身体接收输入。
图9是根据本公开的各种实施方案的用于与自主车辆进行本体感受交互的方法步骤的流程图。尽管关于图1至图8的系统描述了方法步骤,但是本领域技术人员将理解,被配置为以任何顺序执行方法步骤的任何系统都落在各种实施方案的范围内。
如图所示,方法900在步骤901处开始,其中自主车辆100检测到自主车辆100外部的状况。例如,该状况可以是定位在与自主车辆100相邻的车道中或被预测为与自主车辆100相邻的宽车辆,其中宽车辆的宽度和位置被确定为将宽车辆与自主车辆100之间的间隙减小至低于对自主车辆100的至少一个成员来说可能不舒服的阈值。在另一个示例中,该状况可以是被检测到的、具有相对于自主车辆100的高速度(例如,超过自主车辆100或被自主车辆100超过)并且位于与自主车辆100相邻的车道或相同的车道中的车辆。
在步骤902中,本体感受I/O系统120经由双向本体感受I/O装置210向自主车辆100的乘员生成本体感受输出。一般地,双向本体感受I/O装置210至少改变包括在其中的表面或表面的一部分的形状以生成本体感受输出。由于双向本体感受I/O装置210本体感受地将该状况传送给乘员,因此乘员可以意识到该状况而无需查阅信息娱乐屏幕或听取可听警报。
在步骤903中,本体感受I/O系统120检测来自自主车辆100的乘员的本体感受输入。具体地,乘员至少推动和/或移动双向本体感受I/O装置210的表面或表面的一部分以生成本体感受输入。例如,乘员可以推离表面,该表面在步骤902中改变形状以指示自主车辆100应导航远离检测到的状况。在检测到本体感受输入后,本体感受I/O系统120测量与本体感受输入相关联的输入力。
在步骤904中,本体感受I/O系统120基于在步骤903中确定的输入力来确定用户输入。具体地,本体感受I/O系统120确定特定导航动作(例如,改变当前驾驶车道、增大跟随距离、在当前驾驶车道内重新定位)。本体感受I/O系统120基于由与双向本体感受I/O装置210接触的乘员身体部分施加的力和/或引起的运动的位置和/或方向来确定导航动作。在一些实施方案中,本体感受I/O系统120进一步基于由与双向本体感受I/O装置210接触的乘员身体部分施加的力的大小和/或引起的运动的大小来确定特定导航动作。例如,在一些实施方案中,由在双向本体感受I/O装置210的一个或多个部分上的乘员身体部分施加的与状况的位置相对应的力指示对自主车辆100远离在步骤901中检测到的状况的导航或其他移动的请求。在此类实施方案中,第一力范围可以指示对将自主车辆100导航到自主车辆100正在行驶的当前车道的不同部分的请求,并且第二力范围可以指示对将自主车辆100导航到与自主车辆100当前正在行驶的车道不同的车道的请求。在此类实施方案中,第二力范围一般大于第一力范围。
在步骤905中,响应于在步骤904中确定的用户输入,自主车辆100执行在步骤904中确定的导航动作。在一些实施方案中,本体感知I/O系统120致使双向本体感知I/O装置210在执行导航动作时相应地修改本体感知输出。自主车辆100然后针对可能引起方法900的另一次迭代的状况而继续监测周围环境。
如上文讨论且这里进一步强调,图9仅是不应过度地限制权利要求的范围的示例。本领域一般技术人员将认识到很多变化、替代方案和修改。在一些实施方案中,步骤901和902可以在第一循环中操作,并且步骤903至905可以在与第一循环并行地执行的第二循环中操作。通过这种方式,独立于使用本体感知装置来检测并基于输入力提供导航动作,本体感知装置可以用来在检测到自主车辆外部的不同状况时提供不同的本体感知输出。
总而言之,各种实施方案阐述了用于与自主车辆交互的系统和技术。在实施方案中,双向I/O装置被配置为在自主车辆中使用,以经由乘员的本体感受感觉将关于自主车辆外部的一个或多个状况的信息传达给乘员。双向本体感受I/O装置还被配置为从乘员接收输入以执行目标导航动作,诸如修改自主车辆的车道位置。因此,乘员可以被告知自主车辆外部的特定状况并且响应于特定状况而根据乘员的个人偏好来修改自主车辆的行为。
所公开的实施方案的至少一个技术改进在于,自主车辆的乘员可以经由本体感知I/O装置从自主车辆本体感知地接收指示在自主车辆的外部检测到的状况的输出。此外,乘员可以经由本体感知装置向自主车辆提供输入以致使自主车辆执行导航动作,诸如修改自主车辆的当前车道位置。因此,自主车辆的乘员可以在不需要查阅显示屏的情况下接收关于在自主车辆外部的状况的信息,并且可以在不需要视觉上搜索本体感知I/O装置的情况下响应于状况而修改自主车辆的操作。
1.在一些实施方案中,一种用于与自主车辆的交互的系统包括:本体感受装置;以及控制器,所述控制器被配置为:检测在所述自主车辆外部的第一状况;响应于所述第一状况而生成第一本体感受输出,所述第一本体感受输出改变所述本体感受装置的形状;从所述本体感受装置接收第一输入力;基于所述第一输入力来确定第一用户输入;以及基于所述第一用户输入,致使所述自主车辆执行导航动作。
2.如条款1的系统,其中所述控制器还被配置为:检测所述第一状况到在所述自主车辆外部的第二状况的变化,其中通过执行所述导航动作来引起到所述第二状况的所述变化;以及响应于所述第二状况而生成第二本体感受输出,所述第二本体感受输出改变所述本体感受装置的所述形状。
3.如条款1或2的系统,所述系统还包括表面,所述表面被配置为支撑身体部分。
4.如条款1至3中任一项的系统,其中所述本体感受装置包括接近所述表面的多个可移动元件。
5.如条款1至4中任一项的系统,其中所述多个可移动元件包括一个或多个第一可移动元件和一个或多个第二可移动元件,并且其中所述表面设置在所述一个或多个第一可移动元件与所述一个或多个第二可移动元件之间。
6.如条款1至5中任一项的系统,所述系统还包括传感器,所述传感器被配置为确定所述身体部分当设置在所述表面上时的大小。
7.如条款1至6中任一项的系统,其中:所述本体感受装置包括一个或多个第一可移动元件,所述一个或多个第一可移动元件被配置为生成所述第一本体感受输出;一个或多个第二可移动元件,所述一个或多个第二可移动元件被配置为响应于第二状况而生成第二本体感受输出;并且所述第二本体感受输出改变所述本体感受装置的形状。
8.如条款1至7中任一项的系统,其中所述控制器还被配置为从所述一个或多个第二可移动元件接收第二输入力。
9.如条款1至8中任一项的系统,其中所述本体感受装置包括致动器,所述致动器被配置为生成在第一方向上对身体部分的第一部分的第一力或使所述身体部分的所述第一部分在所述第一方向上移动。
10.如条款1至9中任一项的系统,其中所述本体感受装置还包括传感器,所述传感器被配置为基于由所述第一输入力引起的对所述致动器的压力或由所述第一输入力引起的所述致动器的运动中的一个来检测所述第一输入力。
11.如条款1至10中任一项的系统,其中所述本体感受装置包括一个或多个滑块机构、活塞、可旋转折板或柔性条带。
12.一种与自主车辆交互的方法,所述方法包括:检测在自主车辆外部的第一状况;响应于所述第一状况而生成第一本体感受输出,所述第一本体感受输出改变本体感受装置的形状;从所述本体感受装置接收第一输入力;基于所述第一输入力来确定第一用户输入;以及基于所述第一用户输入,致使所述自主车辆执行导航动作。
13.如条款12的方法,其中生成所述第一本体感受输出包括用所述本体感受装置的第一表面来引起身体部分的第一部分在第一方向上的移动或在所述第一方向上对所述身体部分的所述第一部分的力。
14.如条款12或13中任一项的方法,所述方法还包括:检测所述第一状况到在所述自主车辆外部的第二状况的变化,其中通过执行所述导航动作来引起到所述第二状况的所述变化;以及响应于所述第二状况而生成第二本体感受输出,所述第二本体感受输出改变所述本体感受装置的所述形状。
15.如条款12至14中任一项的方法,所述方法还包括确定身体部分当设置在表面上时的大小,所述表面设置在所述本体感受装置的一个或多个第一可移动元件与所述本体感受装置的一个或多个第二可移动元件之间。
16.如条款12至15中任一项的方法,所述方法还包括响应于第二状况而生成第二本体感受输出,所述第二本体感受输出改变所述本体感受装置的形状。
17.如条款12至16中任一项的方法,所述方法还包括从所述本体感受装置接收第二输入力。
18.一种非暂时性计算机可读介质,所述非暂时性计算机可读介质存储指令,所述指令在由处理器执行时致使所述处理器执行以下步骤:检测在自主车辆外部的状况;响应于所述状况而生成第一本体感受输出,所述第一本体感受输出改变本体感受装置的形状;从所述本体感受装置接收第一输入力;基于所述第一输入力来确定第一用户输入;以及基于所述第一用户输入,致使所述自主车辆执行导航动作。
19.如条款18的非暂时性计算机可读介质,其中改变所述本体感受装置的形状包括移动所述本体感受装置的一个或多个可移动元件。
20.如条款18或19的非暂时性计算机可读介质,其中在所述自主车辆外部的所述状况包括以下至少一个:车辆具有相对于所述自主车辆的超过阈值的速度;以及物体设置在所述自主车辆的导航路径之外,使得所述物体与所述自主车辆之间的预计间隔小于阈值。
任何权利要求中所述的任何要求保护的元件和/或本申请中描述的任何元件的以任何方式进行的任何和所有组合都落在本发明和保护的设想范围内。
已经出于说明目的呈现了对各种实施方案的描述,但是这些描述并非意图是详尽的或限制于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下,许多修改和变化对本领域的普通技术人员将是显而易见的。
本发明实施方案的各方面可以体现为系统、方法或计算机程序产品。因此,本公开的各方面可以采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施方案的形式,所述软件和硬件方面在本文中可以全部概括地称为“模块”或“系统”。另外,本公开中描述的任何硬件和/或软件技术、过程、功能、部件、引擎、模块或系统都可以被实现为电路或电路组。此外,本公开的各方面可以采取体现在至少一个计算机可读介质中的计算机程序产品的形式,所述至少一个计算机可读介质具有在其上体现的计算机可读程序代码。
可以利用至少一个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置,或者前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下项:具有至少一条电线的电气连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置,或者前述的任何合适的组合。在本文档的背景下,计算机可读存储介质可以是可以包含或存储由或结合指令执行系统、设备或装置使用的程序的任何有形介质。
以上参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述本公开的各方面。应理解,可以通过计算机程序指令来实现流程图和/或框图中的每个框以及流程图和/或框图中的框组合。这些计算机程序指令可以提供至通用计算机、专用计算机的处理器或其他可编程数据处理设备以产生一种机器,使得经由计算机的处理器或其他可编程数据处理设备执行的指令使得能够实现流程图和/或框图的一个或多个框中指定的功能/动作。这样的处理器可以是,但不限于,通用处理器、专用处理器、应用特定的处理器,或者现场可编程处理器或门阵列。
附图中的流程图和框图示出了根据本公开的各种实施方案的系统、方法和计算机程序产品的可能的实现方式的架构、功能和操作。就这点而言,流程图或框图中的每个框均可以表示代码的模块、片段或部分,所述代码包括用于实现指定的逻辑功能的至少一个可执行指令。还应注意,在一些替代性实现方式中,框中指出的功能可以按附图中指出的次序以外的次序发生。例如,连续示出的两个框实际上可以基本上同时执行,或者所述框有时可以按相反的次序执行,这取决于所涉及的功能。还应注意,框图和/或流程图中的每个框以及框图和/或流程图中的框组合可以由执行指定功能或动作的基于专用硬件的系统、或专用硬件和计算机指令的组合来实现。
虽然前述内容针对的是本公开的实施方案,但是在不脱离本公开的基本范围的情况下可以设想本公开的其他和另外的实施方案,并且本公开的范围由所附权利要求书确定。

Claims (20)

1.一种用于与自主车辆的交互的系统,所述系统包括:
本体感受装置;以及
控制器,所述控制器被配置为:
检测在所述自主车辆外部的第一状况;
响应于所述第一状况而为用户生成第一本体感受输出,所述第一本体感受输出使用所述本体感受装置的第一部分对用户施加输出力,所述第一部分位于最靠近所述自主车辆外部的所述第一状况的位置;
检测在与所述第一本体感受输出所施加的输出力相反的方向上推动的输入力,所述输入力是由于所述用户的移动引起的,并且所述输入力指示所述自主车辆的导航动作的方向;以及
致使所述自主车辆执行所述导航动作。
2.如权利要求1所述的系统,其中所述控制器还被配置为:
检测所述第一状况到在所述自主车辆外部的第二状况的变化,其中通过执行所述导航动作来引起到所述第二状况的所述变化;以及
响应于所述第二状况而生成第二本体感受输出,所述第二本体感受输出使用所述本体感受装置的第二部分对用户施加输出力。
3.如权利要求1所述的系统,所述系统还包括表面,所述表面被配置为支撑身体部分。
4.如权利要求3所述的系统,其中所述本体感受装置包括接近所述表面的多个可移动元件。
5.如权利要求4所述的系统,其中所述多个可移动元件包括一个或多个第一可移动元件和一个或多个第二可移动元件,并且其中所述表面设置在所述一个或多个第一可移动元件与所述一个或多个第二可移动元件之间。
6.如权利要求3所述的系统,所述系统还包括传感器,所述传感器被配置为确定所述身体部分当设置在所述表面上时的大小。
7.如权利要求1所述的系统,其中:
所述本体感受装置包括一个或多个第一可移动元件,所述一个或多个第一可移动元件被配置为生成所述第一本体感受输出;
一个或多个第二可移动元件,所述一个或多个第二可移动元件被配置为响应于第二状况而生成第二本体感受输出;并且
所述第二本体感受输出使用所述本体感受装置的第二部分对用户施加输出力。
8.如权利要求1所述的系统,其中所述本体感受装置包括致动器,所述致动器被配置为生成在第一方向上对身体部分的第一部分的第一力或使所述身体部分的所述第一部分在所述第一方向上移动。
9.如权利要求8所述的系统,其中所述本体感受装置还包括传感器,所述传感器被配置为基于由第一输入力引起的对所述致动器的压力或由所述第一输入力引起的所述致动器的运动中的一个来检测所述第一输入力。
10.如权利要求1所述的系统,其中所述本体感受装置包括一个或多个滑块机构、活塞、可旋转折板或柔性条带。
11.如权利要求1所述的系统,其中,所述控制器还被配置为通过将所述第一状况与所述用户的偏好进行比较来确定是否生成所述第一本体感受输出。
12.如权利要求1所述的系统,其中,所述控制器使得所述自主车辆基于所述用户的偏好来确定所述导航动作。
13.一种与自主车辆交互的方法,所述方法包括:
检测在自主车辆外部的第一状况;
响应于所述第一状况而为用户生成第一本体感受输出,所述第一本体感受输出使用本体感受装置的第一部分对用户施加输出力,所述第一部分位于最靠近所述自主车辆外部的所述第一状况的位置;
检测在与所述第一本体感受输出所施加的输出力相反的方向上推动的输入力,所述输入力是由于所述用户的移动引起的,并且所述输入力指示所述自主车辆的导航动作的方向;以及
致使所述自主车辆执行导航动作。
14.如权利要求13所述的方法,其中生成所述第一本体感受输出包括用所述本体感受装置的第一表面来引起身体部分的第一部分在第一方向上的移动或在所述第一方向上对所述身体部分的所述第一部分的力。
15.如权利要求13所述的方法,所述方法还包括:
检测所述第一状况到在所述自主车辆外部的第二状况的变化,其中通过执行所述导航动作来引起到所述第二状况的所述变化;以及
响应于所述第二状况而生成第二本体感受输出,所述第二本体感受输出使用所述本体感受装置的第二部分对用户施加输出力。
16.如权利要求13所述的方法,所述方法还包括确定身体部分当设置在表面上时的大小,所述表面设置在所述本体感受装置的一个或多个第一可移动元件与所述本体感受装置的一个或多个第二可移动元件之间。
17.如权利要求13所述的方法,所述方法还包括响应于第二状况而生成第二本体感受输出,所述第二本体感受输出使用所述本体感受装置的第二部分对用户施加输出力。
18.一种非暂时性计算机可读介质,所述非暂时性计算机可读介质存储指令,所述指令在由处理器执行时致使所述处理器执行以下步骤:
检测在自主车辆外部的状况;
响应于所述状况而生成第一本体感受输出,所述第一本体感受输出使用本体感受装置的第一部分对用户施加输出力,所述第一部分位于最靠近所述自主车辆外部的所述状况的位置;
检测在与所述第一本体感受输出所施加的输出力相反的方向上推动的输入力,所述输入力是由于所述用户的移动引起的,并且所述输入力指示所述自主车辆的导航动作的方向;以及
致使所述自主车辆执行导航动作。
19.如权利要求18所述的非暂时性计算机可读介质,其中使用所述本体感受装置的第一部分对用户施加输出力包括移动所述本体感受装置的一个或多个可移动元件。
20.如权利要求18所述的非暂时性计算机可读介质,其中在所述自主车辆外部的所述状况包括以下至少一个:其他车辆具有相对于所述自主车辆的超过速度阈值的速度;以及物体设置在所述自主车辆的导航路径之外,使得所述物体与所述自主车辆之间的预计间隔小于间隔阈值。
CN202010118716.7A 2019-02-26 2020-02-26 一种用于与自主车辆的交互的系统 Active CN111605561B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962810931P 2019-02-26 2019-02-26
US62/810,931 2019-02-26
US16/797,569 2020-02-21
US16/797,569 US11760377B2 (en) 2019-02-26 2020-02-21 Shape-shifting control surface for an autonomous vehicle

Publications (2)

Publication Number Publication Date
CN111605561A CN111605561A (zh) 2020-09-01
CN111605561B true CN111605561B (zh) 2024-08-06

Family

ID=69779781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010118716.7A Active CN111605561B (zh) 2019-02-26 2020-02-26 一种用于与自主车辆的交互的系统

Country Status (3)

Country Link
US (1) US11760377B2 (zh)
EP (1) EP3702196B1 (zh)
CN (1) CN111605561B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220171480A1 (en) * 2019-04-08 2022-06-02 Sony Group Corporation Movement control apparatus and movable body

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491199A (zh) * 2016-06-13 2017-12-19 三星显示有限公司 触摸传感器及使用其感测触摸的方法
US10139829B1 (en) * 2013-03-12 2018-11-27 Waymo Llc User interface for displaying object-based indications in an autonomous driving system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3650946B2 (ja) 1996-09-27 2005-05-25 本田技研工業株式会社 自動走行車
JP5141725B2 (ja) * 2010-07-05 2013-02-13 株式会社デンソー 障害物探索システム
JP2014225245A (ja) 2013-04-25 2014-12-04 パナソニックIpマネジメント株式会社 交通情報呈示システム、交通情報呈示方法および電子デバイス
WO2015116022A1 (en) * 2014-01-28 2015-08-06 GM Global Technology Operations LLC Situational awareness for a vehicle
US9623878B2 (en) * 2014-04-02 2017-04-18 Magna Electronics Inc. Personalized driver assistance system for vehicle
KR101565047B1 (ko) * 2014-08-12 2015-11-02 현대자동차주식회사 스티어링 휠 및 악셀 페달 통합 구조를 갖는 컨트롤 보드
US9827904B2 (en) * 2014-10-20 2017-11-28 Immersion Corporation Systems and methods for enhanced continuous awareness in vehicles using haptic feedback
US9493157B2 (en) 2015-01-29 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation in obstructed occupant view and sensor detection environments
JP5910903B1 (ja) 2015-07-31 2016-04-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US9666079B2 (en) 2015-08-20 2017-05-30 Harman International Industries, Incorporated Systems and methods for driver assistance
US9809231B2 (en) * 2015-10-28 2017-11-07 Honda Motor Co., Ltd. System and method for executing gesture based control of a vehicle system
US10317900B2 (en) 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
JP6992045B2 (ja) * 2016-07-22 2022-01-13 ハーマン インターナショナル インダストリーズ インコーポレイテッド 触覚誘導システム
US10543853B2 (en) * 2017-07-05 2020-01-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing collaborative control of a vehicle
CN110914884B (zh) * 2017-07-21 2022-08-30 索尼半导体解决方案公司 车辆控制器和车辆控制方法
KR102056377B1 (ko) * 2017-12-15 2019-12-16 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US11104331B2 (en) * 2017-12-28 2021-08-31 Intel Corporation Autonomous techniques for vehicles with balance input
US10850693B1 (en) * 2018-04-05 2020-12-01 Ambarella International Lp Determining comfort settings in vehicles using computer vision
US20190344797A1 (en) * 2018-05-10 2019-11-14 GM Global Technology Operations LLC Method and system for customizing a driving behavior of an autonomous vehicle
DE102018004954A1 (de) * 2018-06-22 2019-12-24 Faurecia Innenraum Systeme Gmbh Bedienelement zum Steuern eines Fahrzeugs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10139829B1 (en) * 2013-03-12 2018-11-27 Waymo Llc User interface for displaying object-based indications in an autonomous driving system
CN107491199A (zh) * 2016-06-13 2017-12-19 三星显示有限公司 触摸传感器及使用其感测触摸的方法

Also Published As

Publication number Publication date
US11760377B2 (en) 2023-09-19
CN111605561A (zh) 2020-09-01
US20200269870A1 (en) 2020-08-27
EP3702196A1 (en) 2020-09-02
EP3702196B1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
US11845473B2 (en) Autonomous driving apparatus including a driving state switcher
JP7050025B2 (ja) 自動運転車両のための計画運転感知システム
CN110239562B (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
US10232773B2 (en) Systems and methods for awareness in vehicles using haptic effects
CN108706007B (zh) 车道变换顾问
JP6799592B2 (ja) 自律走行車を完全に停止させるための速度制御
CN108255171B (zh) 用于提高自主驾驶车辆的稳定性的方法和系统
CN108139756B (zh) 为自动驾驶车辆构建周围环境以制定驾驶决策的方法和系统
CN108604095B (zh) 确定操作自动驾驶车辆的转向率的方法、介质及处理系统
CN105835878B (zh) 在乘员视野和传感器检测受阻环境中的自主车辆操作
CN108255170B (zh) 动态地调整自动驾驶车辆的速度控制率的方法
CN109195860B (zh) 自动驾驶车辆的车道路缘辅助离道检查和车道保持系统
JP2021531208A (ja) 車両のための衝突予測及び回避
CN108733046B (zh) 用于自动驾驶车辆的轨迹重新规划的系统和方法
KR20180050704A (ko) 전극을 이용한 인간 운전자의 자율 주행 차량 제어 인계 메커니즘
JP6761854B2 (ja) 自律走行車のための車両の位置点の配信方法
EP3091370A1 (en) Method and arrangement for determining safe vehicle trajectories
CN108515973B (zh) 向使用车辆座椅的乘员提供通知的系统和方法
KR20200017971A (ko) 차량 및 그 제어방법
JP6876129B2 (ja) 運転支援装置
CN113525389B (zh) 驾驶员警觉性检测方法、设备和系统
JP2021059327A (ja) 自律運転システムの支援を伴う自律運転モードから手動運転モードへの安全な移行
US20200353949A1 (en) Cost calculation system and method
JP2020163931A (ja) 車両用表示装置
KR20160071875A (ko) 차량의 자율 주행을 위한 전자 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant