CN111491253A - 用于触觉地引导用户的方法和设备 - Google Patents

用于触觉地引导用户的方法和设备 Download PDF

Info

Publication number
CN111491253A
CN111491253A CN202010071480.6A CN202010071480A CN111491253A CN 111491253 A CN111491253 A CN 111491253A CN 202010071480 A CN202010071480 A CN 202010071480A CN 111491253 A CN111491253 A CN 111491253A
Authority
CN
China
Prior art keywords
vehicle
user
haptic
haptic devices
devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010071480.6A
Other languages
English (en)
Inventor
J.F.什泽尔巴
C.W.韦尔伯恩
J.K.雷恩博尔特
S.斯皮格尔梅尔
O.尖霍尼
R.泽尔德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111491253A publication Critical patent/CN111491253A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3652Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827Portable transceivers
    • H04B1/385Transceivers carried on the body, e.g. in helmets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及用于触觉地引导用户的方法和设备。用于用户的引导系统包括设置在用户的第一向右侧上的第一触觉装置和设置在用户的第二向左侧上的第二触觉装置。本地控制器设置在用户上以便与第一和第二触觉装置通信。远程服务器被构造成与本地控制器通信。车辆包括与全球定位系统传感器并且与远程服务器通信。本地控制器包括控制例程,其可执行以确定车辆的期望的位置并确定用户的当前位置。控制例程经由第一和第二触觉装置引导用户朝向车辆的期望的位置的运动,并且经由第一和第二触觉装置指示车辆到达期望的位置。控制例程使用户与车辆配对。

Description

用于触觉地引导用户的方法和设备
背景技术
残障用户经常难以以使他们能够分散地、独立地且经济地执行动作的方式访问运输车辆。自动车辆将为这一细分的市场提供一种新的选择,但以视觉或语音为中心的用户界面可能不太适合这些旅行者。
发明内容
描述了一种用于用户的引导系统,且其包括第一和第二触觉装置,其中第一触觉装置设置在用户的第一向右侧上,并且第二触觉装置设置在用户的第二向左侧上。本地控制器设置在用户上并且被构造成与第一和第二触觉装置通信。远程服务器被构造成与本地控制器通信。车辆包括与全球定位系统通信的传感器且与远程服务器通信。本地控制器包括控制例程,其可执行以确定车辆的期望的位置并经由本地控制器确定用户的当前位置。控制例程经由第一和第二触觉装置引导用户朝向车辆的期望的位置的运动,并且经由第一和第二触觉装置指示车辆到达期望的位置。控制例程使得用户与车辆配对。
本公开的一方面包括用于在用户和车辆之间触觉地通信的方法,其包括:为用户配备第一和第二触觉装置,其中第一触觉装置设置在用户的第一向右侧上,并且第二触觉装置设置在用户的第二向左侧上;确定车辆的期望的地理位置;以及确定用户的当前地理位置。用户经由第一和第二触觉装置被引导朝向车辆的期望的地理位置,所述第一和第二触觉装置还指示车辆到达期望的地理位置并且使得用户与车辆配对。
本公开的另一方面包括在使用户与车辆配对之后经由第一和第二触觉装置引导用户进入车辆。
本公开的另一方面包括在使用户与车辆配对之后控制车辆以便允许用户进入车辆。
本公开的另一方面包括指引车辆前进到期望的下车点。
本公开的另一方面包括在到达期望的下车点之后经由第一和第二触觉装置指引用户离开车辆。
本公开的另一方面包括:经由第一和第二触觉装置指引用户在到达期望的下车点之后离开车辆包括确定车辆的设置成朝向人行道的一侧;以及在到达期望的下车点之后经由第一和第二触觉装置指引用户在车辆的设置成朝向人行道的一侧上离开车辆。
本公开的另一方面包括在到达期望的下车点之后经由第一和第二触觉装置引导用户经由第一和第二触觉装置朝向最终目的地的运动。
本公开的另一方面包括:响应于经由第一和第二触觉装置来自用户的通信控制车辆的操作。
本公开的另一方面包括:经由第一和第二触觉装置分辨出用户朝向期望的下车点前进的需求。
本公开的另一方面包括:经由第一和第二触觉装置分辨出用户停止车辆操作的需求,并且控制车辆的操作以停止。
本公开的另一方面包括:经由第一和第二触觉装置分辨出用户停止车辆操作的需求,并且命令车辆停止。
本公开的另一方面包括:第一和第二触觉装置是被设置在相应的第一和第二腕带上的触觉装置。
本公开的另一方面包括:第一和第二触觉装置是被设置在相应的第一和第二耳塞上的触觉装置。
本公开的另一方面包括:第一和第二触觉装置是被设置在相应的衣物上的触觉装置。
因此,本公开提出了一种能够与自主车辆通信的可穿戴用户界面,其可以被视觉受损或听力受损的用户使用来访问乘坐共享车辆服务。可穿戴触觉装置作为直觉引导装置来操作以便引导用户至预订车辆的当前或未来位置,并且也作为通信装置来操作以便在旅行之前、期间或之后与车辆通信。
本发明提出了以下技术方案:
1. 一种用于在用户和车辆之间触觉通信的方法,包括:
为所述用户配备第一触觉装置和第二触觉装置,其中所述第一触觉装置设置在所述用户的第一向右侧上,并且所述第二触觉装置设置在所述用户的第二向左侧上;
确定所述车辆的期望的地理位置;
确定所述用户的当前地理位置;
经由所述第一触觉装置和第二触觉装置引导所述用户朝向所述车辆的所述期望的地理位置的运动;
经由所述第一触觉装置和第二触觉装置指示所述车辆到达所述期望的地理位置;以及
使所述用户与所述车辆配对。
2. 根据技术方案1所述的方法,进一步包括:在使所述用户与所述车辆配对之后经由所述第一触觉装置和第二触觉装置引导所述用户进入所述车辆。
3. 根据技术方案1所述的方法,进一步包括:在使所述用户与所述车辆配对之后控制所述车辆以允许所述用户进入所述车辆。
4. 根据技术方案1所述的方法,进一步包括:指引所述车辆前进到期望的下车点。
5. 根据技术方案4所述的方法,进一步包括:在到达所述期望的下车点之后经由所述第一触觉装置和第二触觉装置指引所述用户离开所述车辆。
6. 根据技术方案5所述的方法,其中在到达所述期望的下车点之后经由所述第一触觉装置和第二触觉装置指引所述用户离开所述车辆包括:
确定所述车辆的设置成朝向人行道的一侧,以及
在到达所述期望的下车点之后经由所述第一触觉装置和第二触觉装置指引所述用户在所述车辆的设置成朝向所述人行道的所述一侧上离开所述车辆。
7. 根据技术方案5所述的方法,进一步包括:在到达所述期望的下车点之后经由所述第一触觉装置和第二触觉装置引导所述用户经由所述第一触觉装置和第二触觉装置朝向最终目的地的运动。
8. 根据技术方案5所述的方法,进一步包括:检测所述车辆中的个人物品的存在,基于此触觉地警告所述用户,以及指引所述用户返回到所述车辆以取回所述个人物品。
9. 根据技术方案1所述的方法,进一步包括:响应于经由所述第一触觉装置和第二触觉装置来自所述用户的通信来控制所述车辆的操作。
10. 根据技术方案9所述的方法,进一步包括:经由所述第一触觉装置和第二触觉装置分辨出所述用户朝向期望的下车点前进的需求。
11. 根据技术方案9所述的方法,进一步包括:经由所述第一触觉装置和第二触觉装置分辨出所述用户停止所述车辆的所述操作的需求,并且控制所述车辆的操作以停止。
12. 根据技术方案9所述的方法,进一步包括:经由所述第一触觉装置和第二触觉装置分辨出所述用户解除所述车辆的服务的需求,并且命令所述车辆离开。
13. 根据技术方案1所述的方法,进一步包括:经由所述第一触觉装置和第二触觉装置分辨出所述用户预订所述车辆的服务的需求,并且命令所述车辆前进到所述车辆的所述期望的地理位置。
14. 根据技术方案1所述的方法,进一步包括:经由所述第一触觉装置和第二触觉装置分辨出所述用户预订所述车辆来服务的需求,并且命令所述车辆前进到所述车辆的所述期望的地理位置。
15. 一种用于用户的引导系统,包括:
第一可穿戴触觉装置和第二可穿戴触觉装置,其中所述第一触觉装置设置在所述用户的第一向右侧上,并且所述第二触觉装置设置在所述用户的第二向左侧上;
本地控制器,其设置在所述用户上并且被构造成与所述第一可穿戴触觉装置和第二可穿戴触觉装置通信;
被构造成与所述本地控制器通信的远程服务器;以及
车辆,其包括与全球定位系统通信的传感器,所述车辆与所述远程服务器通信;
所述本地控制器包括控制例程,所述控制例程可执行以:
确定所述车辆的期望的地理位置;
经由所述本地控制器确定所述用户的当前地理位置;
经由所述第一可穿戴触觉装置和第二可穿戴触觉装置引导所述用户朝向所述车辆的所述期望的地理位置的运动;
经由所述第一可穿戴触觉装置和第二可穿戴触觉装置指示所述车辆到达所述期望的地理位置;以及
使所述用户与所述车辆对。
16. 根据技术方案15所述的引导系统,其中,所述本地控制器包括地理位置定位装置,其被构造成动态地确定所述用户的当前地理位置。
17. 根据技术方案15所述的引导系统,其中,所述第一可穿戴触觉装置和第二可穿戴触觉装置包括设置在相应的第一腕带和第二腕带上的触觉装置。
18. 根据技术方案15所述的引导系统,其中,所述第一可穿戴触觉装置和第二可穿戴触觉装置包括设置在相应的第一可穿戴装置和第二可穿戴装置上的触觉装置,其中所述可穿戴装置包括一对耳塞、眼镜弓、戒指或鞋。
19. 根据技术方案15所述的引导系统,其中,所述第一可穿戴触觉装置和第二可穿戴触觉装置包括被设置在衣物上的触觉装置。
20. 一种用于用户的引导系统,包括:
第一可穿戴触觉装置和第二可穿戴触觉装置,其中,所述第一触觉装置设置在所述用户的第一向右侧上,并且所述第二触觉装置设置在所述用户的第二向左侧上;
本地控制器,其设置在所述用户上并且被构造成与所述第一触觉装置和第二触觉装置通信;
被构造成与所述本地控制器通信的远程服务器;以及
远程定位装置,其被构造成与所述远程服务器通信并且包括与全球定位系统通信的传感器;
所述本地控制器包括控制例程,所述控制例程可执行以:
确定所述远程定位装置的地理位置;
经由所述本地控制器确定所述用户的当前地理位置;
经由所述第一触觉装置和第二触觉装置引导所述用户朝向所述远程定位装置的所述地理位置的运动;
使所述用户与所述远程定位装置配对。
当结合附图时,从以下对用于实施如所附权利要求中限定的本教导的一些最佳模式和其他实施例的详细描述中,本教导的上述特征和优点以及其他特征和优点显而易见。
附图说明
参考附图,现在将通过示例方式描述了一个或更多个实施例,附图中:
图1示意性图示了根据本公开的可穿戴触觉引导系统、车辆和远程服务器,其交互以便相对于车辆触觉地引导用户。
图2示意性示出根据本公开的引导例程的实施例,该引导例程使得用户能够采用参考图1描述的触觉引导系统的实施例来与位于远程服务器处的车辆服务例程交互来接合来自车辆的服务。
图3示意性示出根据本公开的触觉引导启动例程的示例。
图4示意性示出根据本公开的引导用户至目的地的触觉引导例程的实施例。
应当理解,附图不一定成比例绘制,并且呈现如本文所公开的本公开的各种优选特征的稍微简化的表示,例如,包括特定尺寸、取向、位置和形状。与这种特征相关联的细节将部分由特定的预期应用和使用环境决定。
具体实施方式
公开的实施例的部件,如本文所描述和图示的,可以被布置且设计成各种不同的构造。因此,以下具体描述不意图限制如权利要求声明的本公开的范围,而是仅代表其可能的实施例。另外,虽然在下文的描述中阐述了大量具体细节以便提供对本文所公开的实施例的全面理解,但是一些实施例可以在没有这些细节中的一些的情况下实践。而且,为了清楚的目的,相关领域中理解的某些技术材料还没有被具体描述以便避免不必要地模糊本公开。仅为了方便和清楚的目的,可以参考附图来使用方向性术语,诸如顶部、底部、左、右、上、之上、上方、下面、之下、后和前。这些和类似的方向性术语不解释为是限制本公开范围。此外,如本文所图示和描述的,本公开可以在没有在本文中具体公开的元件的情况下实践。
参考附图,其中贯穿多幅图,相同附图标记对应于相同或相似部件。与本文公开的实施例一致,图1示意性图示了交互以便相对于车辆20触觉地引导用户10的可穿戴触觉引导系统12、车辆20和远程服务器40。触觉引导系统12与位于远程服务器40处的车辆服务例程42通信,其涉及启动并有助于用户10使用车辆20。车辆20可以包括但不限于呈商用车辆、工业车辆、农用车辆、乘用车辆、飞机、船舶、火车、全地形车辆、个人移动设备、机器人等的形式的移动平台来实现本公开的目的。
触觉引导系统12包括用户可穿戴触觉系统11,在一个实施例中其包括相应的第一和第二触觉装置14、16以及本地控制器15。本地控制器15设置在用户10身上并且被构造成使用蜂窝、卫星或其他无线通信技术与第一和第二触觉装置14、16、车辆20和远程服务器40无线通信。在一个实施例中,第一和第二触觉装置14、16是机电装置,其响应于命令而机械振动从而在佩戴时为用户10提供局部触觉刺激。在一个实施例中,第一触觉装置14设置在用户10的第一向右侧上,并且第二触觉装置16设置在用户10的第二向左侧上。第一和第二触觉装置14、16可以设置在腕带、戒指、衣物、腰带、眼镜弓、其组合、耳塞或其它位置上。替代性地,第一和第二触觉装置14、16可以设置在可携带装置上,诸如领路犬或其他服务动物的皮带或挽具上或者手杖上。
本地控制器15设置在用户10上,并且可以呈蜂窝电话或者具有无线通信能力的独立控制器的形式。本地控制器15包括呈引导例程200形式的可执行代码,其使得用户10能够通过采用触觉引导系统12与车辆服务例程42交互以便接合来自车辆20的运输服务并且引导用户10到车辆20。远程服务器40被构造成与本地控制器15通信,作为车辆服务例程42的一个元件。
车辆20包括车辆控制器21、多个车辆监视系统22、额外的车辆通信装置23、全球定位系统(GPS)传感器24以及在一个实施例中包括被构造成实施自主车辆功能的自主控制系统25。自主车辆功能可以包括能够提供某一水平的驾驶自动化的车载控制系统。术语“驾驶员”和“操作者”描述了负责指引车辆20的操作的用户,无论是主动地涉及控制一个或更多个车辆功能还是指引自主车辆操作。驾驶自动化可以包括一定范围的动态驾驶和车辆操作。驾驶自动化可以包括与单个车辆功能有关的某一水平的自动控制或干预,该车辆功能诸如是转向、加速和/或制动,其中驾驶员持续地具有对车辆20的总体控制。驾驶自动化可以包括与多个车辆功能的同时控制有关的某一水平的自动控制或干预,该车辆功能例如是转向、加速和/或制动,其中驾驶员持续地具有对车辆20的总体控制。驾驶自动化可以包括同时自动控制包括转向、加速和制动的车辆驾驶功能,其中驾驶员在旅行期间放弃对车辆的控制达一段时间。驾驶自动化可以包括同时自动控制包括转向、加速和制动的车辆驾驶功能,其中驾驶员在整个旅行中放弃对车辆20的控制并且是乘客。驾驶自动化包括硬件和控制器,其被构造成监视各种驾驶模式下的空间环境以便在动态车辆操作期间执行各种驾驶任务。通过非限制性示例,驾驶自动化可以包括巡航控制、适应性巡航控制、变道警告、干预和控制、自动停车、加速、制动等。通过非限制性示例,自主车辆功能包括适应性巡航控制(ACC)操作、车道引导和车道保持操作、变道操作、转向辅助操作、目标避让操作、停车辅助操作、车辆制动操作、车辆速度和加速操作、车辆横向运动操作,例如作为车道引导、车道保持和变道操作的一部分,等等。
通过非限制性示例,车辆监视系统22包括GPS传感器24。通过非限制性示例,额外的车辆通信装置23包括能够进行车辆与车辆(V2V)通信、车辆与基础设施的(V2I)通信以及车辆与一切事物的(V2X)通信(包括至远程服务器40)的装置和系统。
在第一和第二触觉装置14、16、本地控制器15、车辆20和远程服务器40之间的通信在一个实施例中可以呈双向无线通信的形式,包括近距离装置的装置配对。这包括在第一和第二触觉装置14、16和本地控制器15之间的双向通信、在第一和第二触觉装置14、16和车辆20之间的双向通信、在本地控制器15和车辆20之间的双向通信、在车辆20和远程服务器40之间的双向通信以及在本地控制器15和远程服务器40之间的双向通信。
术语“控制器”和相关术语(诸如控制模块、模块、控件、控制单元、处理器和类似术语)指的是专用集成电路(ASIC)、电子电路、例如微处理器的中央处理单元和呈存储器和存储装置(只读、可编程只读、随机存取、硬驱动等等)形式的相关联的非暂时存储部件中的一种或各种组合。非暂时存储部件能够存储机器可读指令,其呈一个或更多个软件或固件程序或例程、组合逻辑电路、输入/输出电路和装置、信号调制和缓冲电路和能够由一个或更多个处理器访问来提供所述功能的其他部件的形式。输入/输出电路和装置包括模拟/数字转换器和监视来自传感器的输入的相关装置,其中以预设采样频率或响应于触发事件来监视这些输入。软件、固件、程序、指令、控制例程、代码、算法和类似术语意味着包括校准和查找表的控制器可执行指令组。每个控制器执行控制例程来提供期望的功能。在正进行的操作期间可以定期地执行例程。替代性地,可以响应于触发事件的发生来执行例程。在控制器之间的通信和在控制器、致动器和/或传感器之间的通信可以使用直接有线点对点链接、网络通信总线链接、无线链接或其他合适的通信链接来完成,并且由线25指示。通信包括以合适的形式交换数据信号,包括,例如,经由传导介质交换电信号、经由空气交换电磁信号、经由光波导交换光学信号等等。数据信号可以包括离散、模拟或数字化模拟信号,其代表来自传感器的输入、致动器命令和在控制器之间的通信。术语“信号”指的是物理上可辨别的指示符,其传输信息并且可以是能够行进通过介质的合适波形(例如,电、光、磁、机械或者电磁的),诸如DC、AC、正弦波、三角波、正方形波、振动等。如本文所用,术语“动态的”和“动态地”描述被实时执行的步骤或过程,并且其特征在于在执行例程期间或在执行例程的迭代之间监视或者以其他方式确定参数状态并且有规律地或周期性地更新参数状态。
图2示意性示出了引导例程200的实施例,该引导例程200使得用户10能够采用参考图1描述的触觉引导系统12的实施例来与车辆服务例程42交互以接合来自车辆20的服务。在一个实施例中,车辆服务例程42呈被存储在位于远程服务器40处的存储装置中的可执行代码的形式。表格1被提供作为关键,其中数字编号的框和对应功能如下所列,对应于引导例程200。教导可以在本文中按照功能和/或逻辑框部件和/或各种处理步骤来描述。应当意识到,这种框部件可以由已经被构造为实现指定功能的硬件、软件和/或固件部件构成。
表格1
框内容
202 用户佩戴上可穿戴触觉系统并且具有本地控制器
204 用户采用本地控制器来请求车辆服务
206 触觉引导系统引导用户至车辆
208 用户与车辆配对
210 用户命令车辆操作
212 车辆传感器监视车辆操作环境
214 从车辆外部通信
216 在行进期间与用户触觉通信
218 用户接收通信
220 用户与车辆通信
222 与用户触觉通信从而指示车辆到达期望的下车点
224 与用户触觉通信以便下车和释放车辆
226 触觉通信来引导用户至最终目的地
引导例程200的执行可以如下前进。步骤可以以合适的次序被执行,并且不限于参考图2描述的次序。
引导例程200的操作开始于,用户采用本地控制器15与远程服务器40交互来接合车辆服务例程42从而获得来自车辆20的服务,即乘坐请求。用户10佩戴上可穿戴触觉系统11并且自己拥有本地控制器15(202,204)。车辆服务例程42识别车辆20并且确定靠近用户10且可由用户10访问的车辆20的期望的地理位置。靠近用户10的期望地理位置的标准包括例如沿着可导航的步行路线在可接受的步行距离内。用户10可访问的期望的地理位置的标准包括例如在停靠区域中的使得能够安全进出车辆20且沿可导航步行路线没有障碍物(诸如栅栏、栏杆等)的接载点。当用户10采用本地控制器15与远程服务器40交互来接合车辆服务例程42以获得来自车辆20的服务时,开始触觉引导启动例程300。
现在参考图3,触觉引导启动例程300的一个示例被示出且如下所述。如这里所采用的,术语“1”指示肯定的回答或“是”,并且术语“0”指示否定的回答或“否”。远程服务器40向用户10(302)发送确认信号来确定本地控制器15是否具有与可穿戴触觉系统11通信以便向用户10提供触觉引导(304)的能力、在本地控制器15中是否已经启动触觉引导例程400(306)以及是否已经启动可穿戴触觉系统11(308)。如果这些标准中的任何标准是无效的(304)(0)、(306)(0)或者(308)(0),则触觉引导例程400被禁用(310),并且这个结果被通信给用户10(312)。
当这些标准中的所有标准有效时(304)(1)、(306)(1)和(308)(1),则启动触觉引导例程400(314),并且这个结果被通信给用户10(314),这包括通信给用户10车辆20处于指示其准备好连接的预定范围内(314)。当车辆20处于用户10的预定范围内并且本地控制器15能够与可穿戴触觉系统11通信以向用户10提供触觉引导(316)(1)时,启动(318)并执行(320)触觉引导例程400直到用户10到达车辆20(322)且包括直到用户10到达车辆20(322)为止。
再次参考图2,引导例程200采用触觉引导例程400引导用户10至车辆20,参考图4描述该例程400(206)。
图4示意性示出与触觉引导例程400的实施例的执行有关的细节,其有利地执行以引导用户10至目的地,例如至车辆20的接载点或者至其他期望的目的地。如本文所采用的,术语“1”指示肯定的回答或“是”,并且术语“0”指示否定的回答或“否”。这包括提供分路段(turn-by-turn)方向以沿着可导航步行路线引导用户10到达目的地,例如车辆20的接载点。如所了解的,可导航步行路线可以被分成多段,其中每段是可导航表面上的直线,并且各段的每个交叉点包括需要用户10方面的动作的事件,诸如向左转、向右转、路缘、一组台阶、人行道等等。
一旦接收到车辆20处于指示其准备好连接的预定范围内的通信并因此启动触觉引导例程400的执行(402),本地控制器15就监测用户10的位置以确定用户10是否已经开始朝向车辆20穿过可导航行走路线(404)。如果在预设时间段后没有运动(404)(0),则触觉引导例程400脱离(406)。触觉引导例程400可以通过用户10的适当动作被再次接合,诸如通过在第一和第二触觉装置14、16中的一者上执行双击。
本地控制器15监测用户10相对于目标的轨迹,该目标可以是车辆20或者替代性地可以是与可导航步行路线的一段相关联的交叉点。可以在定向罗盘和相关联的罗盘方位的背景下确定用户10和目标的轨迹。当用户10的轨迹在目标左侧时(408),设置在用户10向右侧上的第一触觉装置14被激活以振动(410),并且因此促使用户10向右转。当用户10向右转动时(412)(1),第一和第二触觉装置14、16两者被激活(438),从而向用户10指示他们的轨迹是正确的。当用户10在一段时间后没有向右转动(412)(0)时,触觉引导例程400脱离(416)。
当用户10的轨迹在目标右侧(418)时,设置在用户10向左侧上的第二触觉装置16被激活以振动(420),并且因此促使用户10向左转动。当用户10向左转动时(422),第一和第二触觉装置14、16两者被激活(438),从而向用户10指示他们的轨迹是正确的。当用户10在一段时间后没有向左转(422)(0)时,触觉引导例程400脱离(416)。
当用户10的轨迹与目标相反时(424),第一触觉装置14抑或第二触觉装置16被激活来振动(426),并且因此促使用户10转身。当用户10向右转动(428)或向左转动(432)时,第一和第二触觉装置14、16两者被激活(438),从而向用户10指示他们的轨迹是正确的。当用户10在一段时间后没有转身时(428)(0)、(432)(0),触觉引导例程400脱离(430)。
当用户10的轨迹在目标上(434)(1)时,第一和第二触觉装置14、16两者被激活(438)。当用户10的轨迹偏离目标时(434)(0),触觉引导例程400脱离(436)。当用户10到达预期车辆位置时,触觉引导例程400脱离(440),并且引导例程200的操作继续。
再次参考图2,当用户10已经到达车辆位置时,车辆20以如下方式与用户10配对(208):包括经由无线通信向车辆20确认用户10的身份并且向用户10确认车辆20的身份。在一个实施例中,这可以包括促使用户10接近车辆20,包括抓住或以其他方式触及车辆20的车门把手或其他部分。车辆控制器21可以经由本地控制器15和触觉装置14、16中的靠近的那一者与用户10通信,并且解锁出入面板,例如,车门,从而允许用户10进入车辆20的乘客室。
当用户10已经进入车辆20时,他们能够与车辆控制器21通信来命令操作,包括采用触觉装置14、16中的一者或两者命令车辆20前进到期望的下车点(210)、(216)和(218)。在一个实施例中,这可以通过使得用户10快速敲击触觉装置14、16中的一者两次来完成,其中确认消息被命令发送以脉冲激活触觉装置14、16中的一者。之后,可以开始车辆20的操作来前进到期望的下车点。
以类似方式,车辆监视系统22能够监视车辆操作环境并且采用触觉装置14、16中的一者或两者向用户10通信信息,包括警告用户10(212)。此外,车辆控制器21或者本地控制器15可以接收来自远程服务器40、因特网或者云计算环境的通信(214)。
在车辆20的操作期间,在用户10和车辆控制器21之间可以存在触觉通信(220)。在用户10和车辆控制器21之间的触觉通信的一个示例可以包括停止车辆20的紧急请求。这可以通过使用户10快速地一起敲击触觉装置14、16三次来完成,其中确认消息被发送以脉冲激活触觉装置14、16中的一者,之后车辆控制器21使车辆20停止。
在用户10和车辆控制器21之间的触觉通信的一个示例可以指示用户10车辆20正接近其期望的下车点。这可以通过使触觉装置14、16中的一者以指示出靠近期望的下车点的方式被激活。在一个实施例中,这可以包括当车辆20在5分钟内会到达时发出例如持续1秒的单声蜂鸣声,当车辆20在3分钟内会到达时例如发出两声蜂鸣声,例如每个持续1秒,当车辆20在1分钟内会到达时例如发出三声蜂鸣声,例如每个持续1秒,以及在车辆20已经到达期望的下车点时例如发出5秒的单声长长的蜂鸣声。
当车辆20已经到达期望的下车点并且已经停止向前运动时,车辆控制器21可以指示用户10已经完成乘坐并且是时候从车辆20下车了(222)。这可以包括使触觉装置14、16中的一者以指示用户10离开车辆20的优选侧的方式被激活,例如使第一触觉装置14被激活以指示用户10在右侧上离开车辆20,或者使第二触觉装置16被激活以指示用户10在左侧上离开车辆20,且具有相关联的操作来解锁并打开相应的车辆出入面板。用于用户10离开车辆20的优选侧可以包括经由第一和第二触觉装置14、16指引用户10在车辆20的设置成朝向人行道、背对车流或以其他方式提供无障碍车辆离开路径的一侧上离开车辆20。
当用户10已经离开车辆20的乘客室时,车辆20可以采用车辆中照相机或者其他装置来确定个人物品是否被落下。当个人物品已经被落下时,车辆控制器21可以与本地控制器15通信,该本地控制器15可以经由一系列脉冲触觉地警告用户10并且然后指引用户10返回车辆20取回个人物品。
当用户10已经离开车辆20的乘客室,则用户10可以解除车辆20的服务(224)。这可以包括一些形式手势,诸如以上下运动晃动触觉装置14、16中的一者。车辆控制器21或者远程服务器40可以经由另一触觉消息确认接收到触觉消息,并且前进到另一位置。
当用户10已经离开车辆20的乘客室时,例程200可以通过引导用户10到其最终目的地而继续操作,在采用最终目的地的情况下再次采用触觉引导例程400(226)。
本文所描述的概念提供了一种可穿戴的基于触觉的通信系统以便有助于视觉或听力受损用户使用共享自动车辆服务。这包括用于跟踪用户的动态位置并引导到目标车辆的控制例程,该目标车辆也可以处于运动中。还提供了使得能够与可移动和静止目标位置进行基于触觉的通信的集成的系统、方法、算法和机构。在一个实施例中,系统可以与选定乘坐共享应用和系统集成。部分概念可以被部署在另一控制器(例如平板电脑)上,从而有助于护理人员的辅助,诸如召唤车辆服务和限定最终目的地。在一个实施例中,车辆可以被标记的位置、物品或人替换,并且系统可以被部署成辅助引导用户到标记的位置、物品或人。因此,该系统可以引导个人到在物理空间中不明显或视觉上无法识别的目标物品或位置。系统也可以在嘈杂环境中使用,其中可听见的声音指向系统具有降低的效率,诸如在音乐会上。
根据本公开的实施例可以具体实施为设备、方法或者计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等等)或组合软件和硬件方面(它们通常在本文中都被称为“模块”或“系统”)的实施例的形式。此外,本公开可采用计算机程序产品的形式,该计算机程序产品在具有具体实施在介质中的计算机可用程序代码的有形表达介质中具体实施。可利用一个或多个计算机可用的或计算机可读的介质的组合。例如,计算机可读的介质可以包括以下各项中的一者或多者:便携式计算机磁盘、硬盘、随机存取存储(RAM)装置、只读存储器(ROM)装置、可擦除可编程只读存储(EPROM或闪速存储)装置、便携式压缩磁盘只读存储器(CDROM)、光学存储装置和磁存储装置。用于实施本公开的操作的计算机程序代码可以以一种或多种编程语言的组合来进行编写。
此外,部分实施例也可以在云计算环境中实施。在本说明书和所附权利要求中,“云”和“云计算”可以被限定为一种模型,其用于使得能够对可配置计算资源(例如,网络、服务器、存储、应用程序和服务)的共享池的无所不在的、方便的、按需的网络访问,该共享池可经由虚拟化被快速提供并以最小的管理工作量或服务提供商交互被发布,并且然后被相应地扩展。云模型可以具有各种特性(例如,按需自助服务、广泛的网络访问、资源池、快速弹性、可测量的服务等)、服务模型(例如,软件即服务(“SaaS”)、平台即服务(“PaaS”)、基础设施即服务(“IaaS”)和部署模型(例如私有云、社区云、公共云、混合云等)。
远程服务器40包括处理装置、通信装置和存储装置,该存储装置优选地包括文件,该文件包括存储库存。远程服务器40的处理装置可以包括存储处理器可执行指令的存储器(例如,只读存储器(ROM)和随机存取存储器(RAM))和执行处理器可执行指令的一个或更多个处理器。在包括两个或更多个处理器的实施例中,处理器可以以并联或分布式方式操作。
附图中的流程图和框图图示了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这方面,流程图或框图中的每个框可以表示模块、段或代码部分,其包括用于实施特定逻辑功能的一个或更多个可执行指令。也将注意到,框图和/或流程图图释中的每个框以及框图和/或流程图图释中的框的组合可以由执行特定功能或动作或者专用硬件和计算机指令的组合的基于专用硬件系统来实施。这些计算机程序指令还可被存储在计算机可读介质中,其可以指引控制器或其他可编程数据处理设备以特定方式来运行以使得存储在计算机可读介质中的指令产生包括实施流程图和/或框图的一个或多个框中指定的功能/动作的指令的制造物品。
具体描述和附图或图支持并描述本教导,但是本教导的范围仅由权利要求限定。虽然用于实施本教导的一些最佳模式和一些实施例已经被具体描述,不过存在各种替代性设计和实施例来实践所附权利要求中限定的本教导。

Claims (10)

1.一种用于在用户和车辆之间触觉通信的方法,包括:
为所述用户配备第一触觉装置和第二触觉装置,其中所述第一触觉装置设置在所述用户的第一向右侧上,并且所述第二触觉装置设置在所述用户的第二向左侧上;
确定所述车辆的期望的地理位置;
确定所述用户的当前地理位置;
经由所述第一触觉装置和第二触觉装置引导所述用户朝向所述车辆的所述期望的地理位置的运动;
经由所述第一触觉装置和第二触觉装置指示所述车辆到达所述期望的地理位置;以及
使所述用户与所述车辆配对。
2.根据权利要求1所述的方法,进一步包括:在使所述用户与所述车辆配对之后经由所述第一触觉装置和第二触觉装置引导所述用户进入所述车辆。
3.根据权利要求1所述的方法,进一步包括:在使所述用户与所述车辆配对之后控制所述车辆以允许所述用户进入所述车辆。
4.根据权利要求1所述的方法,进一步包括:指引所述车辆前进到期望的下车点。
5.根据权利要求4所述的方法,进一步包括:在到达所述期望的下车点之后经由所述第一触觉装置和第二触觉装置指引所述用户离开所述车辆。
6.根据权利要求5所述的方法,其中在到达所述期望的下车点之后经由所述第一触觉装置和第二触觉装置指引所述用户离开所述车辆包括:
确定所述车辆的设置成朝向人行道的一侧,以及
在到达所述期望的下车点之后经由所述第一触觉装置和第二触觉装置指引所述用户在所述车辆的设置成朝向所述人行道的所述一侧上离开所述车辆。
7.根据权利要求5所述的方法,进一步包括:在到达所述期望的下车点之后经由所述第一触觉装置和第二触觉装置引导所述用户经由所述第一触觉装置和第二触觉装置朝向最终目的地的运动。
8.根据权利要求5所述的方法,进一步包括:检测所述车辆中的个人物品的存在,基于此触觉地警告所述用户,以及指引所述用户返回到所述车辆以取回所述个人物品。
9.根据权利要求1所述的方法,进一步包括:响应于经由所述第一触觉装置和第二触觉装置来自所述用户的通信来控制所述车辆的操作。
10.根据权利要求9所述的方法,进一步包括:经由所述第一触觉装置和第二触觉装置分辨出所述用户朝向期望的下车点前进的需求。
CN202010071480.6A 2019-01-21 2020-01-21 用于触觉地引导用户的方法和设备 Pending CN111491253A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/252,942 US20200234596A1 (en) 2019-01-21 2019-01-21 Method and apparatus for haptically guiding a user
US16/252942 2019-01-21

Publications (1)

Publication Number Publication Date
CN111491253A true CN111491253A (zh) 2020-08-04

Family

ID=71403206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010071480.6A Pending CN111491253A (zh) 2019-01-21 2020-01-21 用于触觉地引导用户的方法和设备

Country Status (3)

Country Link
US (1) US20200234596A1 (zh)
CN (1) CN111491253A (zh)
DE (1) DE102019134124A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102274109A (zh) * 2010-06-11 2011-12-14 塔塔咨询服务有限公司 用于视觉障碍人士的手持导航设施和导航方法
CN105139642A (zh) * 2015-07-23 2015-12-09 广州华途信息科技有限公司 一种城市公共交通视障人士助乘系统及方法
CN105390024A (zh) * 2014-08-21 2016-03-09 通用汽车环球科技运作有限责任公司 用于接近无线充电位置的车辆的触觉反馈引导
US20170254646A1 (en) * 2016-03-03 2017-09-07 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for directing a vision-impaired user to a vehicle
CN108399738A (zh) * 2018-03-15 2018-08-14 青岛智慧城市产业发展有限公司 一种辅助盲人出行的智能交通装置
US20180308190A1 (en) * 2017-04-20 2018-10-25 Gt Gettaxi Limited Methods and systems for navigating drivers to passengers based on trustworthiness ratings
CN109118756A (zh) * 2018-09-27 2019-01-01 河海大学 一种基于信息交互的盲人公交引航系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417589B2 (en) * 2016-11-01 2019-09-17 Uber Technologies, Inc. Pre-selection of drivers in a passenger transport system
US9965960B1 (en) * 2017-08-07 2018-05-08 Lyft, Inc. Facilitating transportation services by generating a directional indicator between a requester and a transportation vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102274109A (zh) * 2010-06-11 2011-12-14 塔塔咨询服务有限公司 用于视觉障碍人士的手持导航设施和导航方法
CN105390024A (zh) * 2014-08-21 2016-03-09 通用汽车环球科技运作有限责任公司 用于接近无线充电位置的车辆的触觉反馈引导
CN105139642A (zh) * 2015-07-23 2015-12-09 广州华途信息科技有限公司 一种城市公共交通视障人士助乘系统及方法
US20170254646A1 (en) * 2016-03-03 2017-09-07 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for directing a vision-impaired user to a vehicle
US20180308190A1 (en) * 2017-04-20 2018-10-25 Gt Gettaxi Limited Methods and systems for navigating drivers to passengers based on trustworthiness ratings
CN108399738A (zh) * 2018-03-15 2018-08-14 青岛智慧城市产业发展有限公司 一种辅助盲人出行的智能交通装置
CN109118756A (zh) * 2018-09-27 2019-01-01 河海大学 一种基于信息交互的盲人公交引航系统

Also Published As

Publication number Publication date
DE102019134124A1 (de) 2020-07-23
US20200234596A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
US10275029B2 (en) Directional and awareness guidance device
US9881503B1 (en) Vehicle-to-pedestrian-communication systems and methods for using the same
JP2020194576A (ja) 自動運転制御装置および自動運転制御方法、並びにプログラム
KR102402293B1 (ko) 자율 주행 차량 거동을 디스플레이하기 위한 그래픽 사용자 인터페이스
US20180239352A1 (en) System and method for operating vehicles at different degrees of automation
US9873427B2 (en) Device and method for controlling a motor vehicle
JP6808078B2 (ja) コンピューティングシステム、自律走行乗り物、およびコンピュータ実装方法
US20150291216A1 (en) Drive assist device, and drive assist method
WO2020213280A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN108515973B (zh) 向使用车辆座椅的乘员提供通知的系统和方法
JP2018101199A (ja) 運転支援装置
WO2016109482A1 (en) Drive state indicator for an autonomous vehicle
KR20210113224A (ko) 음성 상호작용을 사용하여 자율 주행 차량의 안전성과 유연성을 향상시키기 위한 방법 및 시스템
WO2019130552A1 (ja) 車両制御システム、車両制御方法、およびプログラム
US11285965B2 (en) Autonomous vehicle interface system with multiple interface devices featuring redundant vehicle commands
US20210380139A1 (en) Gesture-based control for semi-autonomous vehicle
US20210009148A1 (en) Vehicle control device, vehicle control method, and storage medium
CN112985435B (zh) 用于操作自主驾驶车辆的方法及系统
EP3815061B1 (en) Theft proof techniques for autonomous driving vehicles used for transporting goods
JP2019038471A (ja) 運転交代制御装置、及び運転交代制御プログラム
CN112230645B (zh) 用于控制无人驾驶车辆的操纵杆控制的安全机制
CN111491253A (zh) 用于触觉地引导用户的方法和设备
CN115871712A (zh) 操作自主驾驶车辆的方法和系统
WO2020126020A1 (en) Triggering autonomous control based on driver cognitive load
US20220185113A1 (en) Autonomous Vehicle Interface System With Multiple Interface Devices Featuring Redundant Vehicle Commands

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200804