CN112660041A - 车辆以及远程操作系统 - Google Patents

车辆以及远程操作系统 Download PDF

Info

Publication number
CN112660041A
CN112660041A CN202011084033.0A CN202011084033A CN112660041A CN 112660041 A CN112660041 A CN 112660041A CN 202011084033 A CN202011084033 A CN 202011084033A CN 112660041 A CN112660041 A CN 112660041A
Authority
CN
China
Prior art keywords
remote operation
vehicle
driver
unit configured
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011084033.0A
Other languages
English (en)
Other versions
CN112660041B (zh
Inventor
野崎阳介
松波辰哉
林贵志
牧野友哉
谷川洋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Publication of CN112660041A publication Critical patent/CN112660041A/zh
Application granted granted Critical
Publication of CN112660041B publication Critical patent/CN112660041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/197—Blocking or enabling of input functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/573—Mobile devices controlling vehicle functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/60—Security, fault tolerance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本公开提供了一种车辆以及远程操作系统。车辆包括：许可单元，被配置为许可由设置在所述车辆外部的远程操作装置执行的远程操作；发送单元，被配置为发送所述车辆的周围信息；接收单元，被配置为经由所述远程操作装置接收由所述车辆外部的操作员输入的远程操作信号；行驶控制单元，被配置为基于所述远程操作信号控制所述车辆行驶；驾驶数据获取单元，被配置为获取由所述车辆内的驾驶员输入的驾驶数据；以及接管判断单元，被配置为在所述许可单元许可所述远程操作时，当由所述驾驶数据获取单元获取的所述驾驶数据与所述远程操作信号之间的差异在预定范围内时，判断允许将所述车辆的驾驶操作接管给所述远程操作。

Description

车辆以及远程操作系统
技术领域
本发明涉及一种车辆以及远程操作系统。
背景技术
日本未经审查的专利申请公开第2017-163253(JP 2017-163253A)号公开了一种远程操作系统，用于在预定条件下(诸如，当车辆停止时)使执行车辆的远程操作的操作员代替。
发明内容
然而，以上远程操作系统未考虑驾驶操作从车辆内的驾驶员向车辆外的操作员的接管。因此，需要一种在车辆行驶时允许将驾驶操作从驾驶员接管给操作员的车辆。
本发明提供一种车辆和远程操作系统，其在车辆行驶时允许车辆内的驾驶员将驾驶操作接管给车辆外的操作员。
根据本发明的第一方面的车辆包括：许可单元，被配置为许可由设置在所述车辆外部的远程操作装置执行的远程操作；发送单元，被配置为将由至少一个感测装置获取的所述车辆的周围信息发送至所述远程操作装置；接收单元，被配置为经由所述远程操作装置接收由所述车辆外部的操作员输入的远程操作信号；行驶控制单元，被配置为基于所述远程操作信号控制所述车辆行驶；驾驶数据获取单元，被配置为获取由所述车辆内的驾驶员输入的驾驶数据；以及接管判断单元，被配置为在由所述许可单元许可所述远程操作时，当由所述驾驶数据获取单元获取的所述驾驶数据与所述远程操作信号之间的差异在预定范围内时，判断允许将所述车辆的驾驶操作接管给所述远程操作。
在根据以上第一方面的车辆中，许可单元许可由远程操作装置执行的远程操作。这使得车辆外的操作员可以远程操作车辆。此外，此时操作员可以通过使发送单元将由感测装置获取的车辆的周围信息发送到远程操作装置来理解车辆的周围信息。车辆的接收单元接收操作员输入的远程操作信号，并且行驶控制单元基于所接收的远程操作信号控制车辆行驶。
根据以上第一方面的车辆包括：驾驶数据获取单元，其获取由车辆内的驾驶员输入的驾驶数据；以及接管判断单元，其判断可以将车辆的驾驶操作接管给远程操作。此处，当驾驶数据和远程操作信号之间的差异在预定范围内时，接管判断单元判断可以接管。因此，即使在车辆正行驶时，通过由接管判断单元判断所述驾驶操作可以被接管，可以将车辆的驾驶操作从车辆内的驾驶员接管给车辆外的操作员。
在以上第一方面中，车辆还可以包括通知单元，其被配置为基于所述车辆的所述驾驶数据和所述远程操作信号之间的差异，向所述驾驶员通知允许将所述车辆的所述驾驶操作接管给所述远程操作的条件。
在根据以上配置的车辆中，驾驶员可以理解允许接管驾驶操作的条件。因此，可以将驾驶操作更迅速地接管给远程操作。
在以上第一方面中，通知单元可以被配置为在所述驾驶数据与所述远程操作信号之间的差异偏离所述预定范围时，向所述驾驶员通知所述条件。
在以上第一方面中，车辆还可以包括操作员显示单元，其被配置为基于由所述接收单元接收的所述远程操作信号，在所述驾驶员能目视检查的位置显示所述操作员的操作状态。
在根据以上配置的车辆中，车辆内的驾驶员可以检查操作员的操作状态。因此，可以缩短用来减小驾驶数据与远程操作信号之间的差异所需的时间。
在以上第一方面中，驾驶数据可以包括与所述车辆的加减速有关的数据、与转向有关的数据以及所述驾驶员的视线信息中的至少一种，并且远程操作信号可以包括输入到所述远程操作装置的与加减速有关的数据、输入到所述远程操作装置的与转向有关的数据以及所述操作员的视线信息中的至少对应的一种。
在根据以上配置的车辆中，当驾驶数据中的与加减速有关的数据、与转向有关的数据和所述驾驶员的视线信息中的至少一种，与远程操作信号中的与加减速有关的数据、与转向有关的数据和所述操作员的视线信息中的至少对应的一种之间的差异在预定范围内时，接管判断单元判断车辆的驾驶操作可以被接管。
根据本发明第二方面的远程操作系统，包括：根据第一方面的车辆；以及远程操作装置，其被设置在所述车辆外部并且被配置为远程控制所述车辆。
在根据以上第二方面的远程操作系统中，车辆可以基于由操作员使用远程操作装置发送的远程操作信号，通过远程操作而移动到预定位置。
如上所述，利用根据本发明的第一方面的车辆和根据本发明的第二方面的远程操作系统，驾驶操作可以从车辆内的驾驶员接管给车辆外的操作员。
附图说明
下面将参照附图描述本发明的示例性实施例的特征、优点以及技术和工业意义，其中相同的附图标记表示相同的元件，并且其中：
图1是根据实施例的远程操作系统的示意性配置的图；
图2是示出车辆的硬件配置的框图；
图3是示出远程操作装置的硬件配置的框图；
图4是示出车辆的功能配置的示例的框图；
图5是示出远程操作装置的功能配置的示例的框图；以及
图6是示出接管处理的流程的示例的流程图。
具体实施方式
将参照附图描述根据实施例的远程操作系统10。为了便于说明，附图中的尺寸比率被放大，并且可能与实际的尺寸比率不同。
如图1所示，远程操作系统10被配置为包括车辆12和远程操作装置14。此外，车辆12和远程操作装置14经由预定网络18彼此连接。
实施例的车辆12包括行驶控制单元20。此外，车辆12被配置为使得模式在手动操作模式和远程操作模式之间是可切换的。在手动操作模式下，车辆12的乘员(驾驶员)操作车辆12以行驶。另一方面，在远程操作模式下，行驶控制单元20基于从远程操作装置14输入的远程操作信号来控制车辆12行驶。
远程操作装置14设置在车辆12的外部，并且被配置为将由操作员输入的远程操作信号经由网络18发送到车辆12。此外，远程操作装置14包括控制单元。远程操作装置14包括输入装置68，操作员利用该输入装置输入远程操作信号(参照图3)。
车辆12的硬件配置
图2是示出车辆12的硬件配置的框图。如图2所示，车辆12的行驶控制单元20被配置为包括中央处理单元(CPU：处理器)24、只读存储器(ROM)26、随机存取存储器(RAM)28、存储装置30、通信接口32和输入输出接口34。各个组件经由总线23相互连接以便是能相互通信的。
CPU 24是中央处理单元，并且执行各种程序和控制各个组件。即，CPU 24从ROM 26或存储装置30中读出程序，并且以RAM 28作为工作空间执行该程序。CPU 24控制以上各个组件，并根据存储在ROM 26和存储装置30中的程序执行各种计算处理。
ROM 26存储各种程序和各种类型的数据。作为工作空间的RAM 28临时存储程序或数据。存储装置30由硬盘驱动器(HDD)或固态驱动器(SSD)配置，并且存储各种程序(包括操作系统)和各种类型的数据。在该实施例中，ROM 26或存储装置30包括用于通过远程操作来控制车辆12行驶的远程操作程序和用于将车辆12的驾驶操作接管给远程操作的接管程序。
通信接口32是车辆12与远程操作装置14、服务器和其他装置通信的接口，并且例如Ethernet(注册商标)(以太网)、光纤分布式数据接口(FDDI)或Wi-Fi(注册商标)被用作通信标准。
输入输出接口34连接到全球定位系统(GPS)装置36、相机38、毫米波雷达40、激光雷达42和车辆驱动装置44。GPS装置36从多个GPS卫星接收GPS信号，并测量其自身车辆的位置。随着可接收的GPS信号的数量增加，GPS装置36的定位精度提高。
相机38布置成面向车厢内的驾驶员并捕获驾驶员的图像。具体地，相机38被配置为捕获驾驶员的面部图像。
毫米波雷达40测量发射的无线电波的反射波以检测车辆12周围的障碍物。激光雷达42扫描激光并测量反射光以检测车辆12周围的障碍物。
车辆驱动装置44基于乘员或操作员输入的信号来驱动车辆12。即，车辆驱动装置44包括转向致动器、加速器致动器和制动致动器。
远程操作装置14的硬件配置
图3是示出远程操作装置14的硬件配置的框图。如图3所示，远程操作装置14的控制单元22被配置为包括CPU 52、ROM 54、RAM 56、存储装置58、通信接口60以及输入输出接口62。各个组件经由总线50彼此连接从而相互通信。
CPU 52是中央处理单元，并且执行各种程序并控制各个组件。即，CPU52从ROM 54或存储装置58读出程序，并以RAM 56作为工作空间执行该程序。CPU 52控制以上每个组件，并根据存储在ROM 54或存储装置58中的程序执行各种计算处理。
ROM 54存储各种程序和各种类型的数据。作为工作空间的RAM 56临时存储程序或数据。存储装置58由硬盘驱动器(HDD)或固态驱动器(SSD)构成，并且存储各种程序(包括操作系统)和各种类型的数据。
通信接口60是车辆12与远程操作装置14、服务器和其他装置通信的接口，并且例如Ethernet(注册商标)(以太网)、光纤分布式数据接口(FDDI)或Wi-Fi(注册商标)被用作通信标准。
显示装置64、扬声器66、输入装置68和相机69连接到输入输出接口62。显示装置64是为操作员显示车辆12的周围图像和车辆12的仪表的信息的装置，并且被配置为包括监视器等。显示装置64可以被配置为包括监视器。
扬声器66是用于向操作员输出语音的装置，并且例如用于与车辆12内的乘员交谈。输入装置68是用于操作员将远程操作信号输入到远程操作装置14的装置。作为输入装置68，例如可以使用模仿车辆12的驾驶舱的输入装置。在这种情况下，操作员可以以与实际车辆的驾驶感相似的驾驶感执行远程操作。
此外，作为其他输入装置，可以使用可以由操作员持有并配备有多个按钮的控制器。上述控制器可以具有模仿用于计算机游戏等的控制器的形状。在这种情况下，即使腿部有困难的操作员也可以远程操作车辆12。
相机69被布置成面向操作员并捕获操作员的图像。具体地，相机69被配置为捕获操作员的面部图像。
车辆12的功能配置
构成远程操作系统10的车辆12使用如上所述的硬件资源来实现各种功能。将参照图4描述由车辆12实现的功能配置。
如图4所示，车辆12被配置为包括发送单元70、接收单元72、周围检测单元74、许可单元76、行驶控制单元78、驾驶数据获取单元80、驾驶员视线检测单元82、操作员显示单元84、接管判断单元86和通知单元88。通过CPU 24读出并执行存储在ROM 26或存储装置30中的程序来实现各个功能配置。
发送单元70向远程操作装置14发送从诸如毫米波雷达40和激光雷达42之类的感测装置获得的车辆12的周围信息以及由后面描述的驾驶员视线检测单元82检测到的驾驶员视线的信息。除以上之外，发送单元70还可以将诸如车辆速度、当前位置、计划的行驶路线之类的信息发送至远程操作装置14。
接收单元72经由远程操作装置14接收由操作员输入到输入装置68的远程操作信号。本实施例的远程操作信号是包括例如与输入到远程操作装置14的加减速有关的数据、与输入到远程操作装置14的转向有关的数据以及操作员的视线信息的信号。
周围检测单元74基于从诸如毫米波雷达40和激光雷达42之类的感测装置获取的信息来检测车辆12的周围信息。当满足预定条件时，许可单元76许可由在车辆外部的远程操作装置14进行的远程操作。
行驶控制单元78基于接收单元72接收的远程操作信号而使车辆12行驶。换言之，通过基于远程操作信号控制车辆驱动装置44来使车辆12行驶。
驾驶数据获取单元80获取车辆内的驾驶员输入的驾驶数据。根据实施例的驾驶数据是包括例如与车辆12的加减速有关的数据、与转向有关的数据以及驾驶员的视线信息的数据。作为与车辆12的加减速有关的数据，例如可以使用与加速踏板的踩下量和制动踏板的踩下量有关的数据。此外，作为与车辆12的转向有关的数据，例如可以使用与方向盘的转向角有关的数据。
驾驶员视线检测单元82检测驾驶员的视线信息。具体地，驾驶员视线检测单元82基于由相机38捕获的驾驶员的面部图像来检测驾驶员的视线。可以与相机38分开地设置用于检测视线的专用感测装置。
操作员显示单元84在驾驶员可以目视检查操作状态的位置处显示基于由接收单元72接收的远程操作信号的操作员的操作状态。例如，操作员显示单元84在车厢内的仪表板上设置的监视器上显示由接收单元72接收的远程操作信号中包括的与加减速有关的数据。此时，操作员显示单元84可以以驾驶员在视觉上可以理解的显示模式显示该数据。类似地，操作员显示单元84以预定的显示模式在监视器上显示与操作员输入的转向有关的数据和操作员的视线信息。
接管判断单元86判断可以将车辆12的驾驶操作接管给远程操作。具体地，当由驾驶数据获取单元80获取的驾驶数据与由接收单元72接收的远程操作信号之间的差异在预定范围内时，接管判断单元86判断车辆12的驾驶操作可以接管给远程操作。在本实施例中，例如，当由驾驶数据获取单元80获取的加减速数据与由接收单元72接收的加减速信号之间的差异在预定范围内，驾驶数据获取单元80获取的转向数据与接收单元72接收到的转向信号之间的差异在预定范围内，并且由驾驶数据获取单元80获取的驾驶员的视线信息的数据和由接收单元72接收的操作员的视线信息的信号之间的差异在预定范围内时，接管判断单元86判断车辆的驾驶操作可以被接管给远程操作。
在接管判断单元86未作出车辆12的驾驶操作能够接管给远程操作的判断的状态下，通知单元88基于车辆12的驾驶数据与远程操作信号之间的差异而向驾驶员通知允许车辆12的驾驶操作接管给远程操作的条件。例如，该通知是使用例如设置在车辆12中的显示装置(诸如监视器)并且经由语音来进行的。
远程操作装置14的功能配置
构成远程操作系统10的远程操作装置14使用以上硬件资源实现各种功能。将参考图5描述由远程操作装置14实现的功能配置。通过CPU 52读出并执行存储在ROM 54或存储装置58中的程序来实现各个功能配置。
如图5所示，远程操作装置14被配置为包括通信单元90、周围信息显示单元92、操作员视线检测单元96和驾驶数据显示单元98作为功能配置。
通信单元90经由网络18与车辆12通信。即，通信单元90经由网络18从车辆12接收数据。此外，通信单元90经由网络18向车辆12发送信号。
周围信息显示单元92在显示装置64上显示使用车辆12的发送单元70的功能发送到远程操作装置14的车辆12的周围信息。具体地，显示装置64例如显示关于由安装在车辆12上的毫米波雷达40和激光雷达42检测到的障碍物的信息。
操作接受单元94接受操作员输入到输入装置68的远程操作信号。使用通信单元90的功能，由操作接受单元94接收的远程操作信号经由网络18被发送到车辆12。
操作员视线检测单元96检测操作员的视线信息。具体地，操作员视线检测单元96基于由相机69捕获的操作员的面部图像来检测操作员的视线的方向。可以与相机69分开地设置用于检测视线的专用感测装置。
驾驶数据显示单元98显示车辆12的驾驶数据。具体地，驾驶数据显示单元98接收通过车辆12的驾驶数据获取单元80的功能获取的驾驶数据，并且例如在操作员能够目视确认操作状态的显示装置64上显示基于驾驶数据的驾驶员的操作状态。
效果
接下来，将描述实施例的效果。
接管处理的示例
图6是示出由远程操作系统10执行的接管处理的流程的示例的流程图。CPU 24通过从ROM 26或存储装置30中读出远程操作程序并且通过部署远程操作程序到RAM 28来执行该程序来执行接管处理。此外，在预定时间之后周期性地执行接管处理。
如图6所示，CPU 24在步骤S102中判断是否许可远程操作。具体地，CPU 24通过许可单元76的功能判断是否许可由车辆外部的远程操作装置14进行的远程操作。例如，可以通过驾驶员的操作来许可远程操作。
当CPU 24在步骤S102中判断许可远程操作时，处理进行到步骤S104。此外，当CPU24在步骤S102中判断未许可远程操作时，CPU 24终止接管处理。
CPU 24在步骤S104中接收远程操作信号。即，CPU 24使用接收单元72的功能经由远程操作装置14接收远程操作信号。远程操作信号是由操作员输入到输入装置68的信号。
接下来，CPU 24在步骤S106中判断驾驶数据和远程操作信号之间的差异是否在预定范围内。具体地，CPU 24使用接管判断单元86的功能将由驾驶数据获取单元80获取的驾驶数据与由接收单元72接收的远程操作信号进行比较。当作为驾驶数据的加减速数据、转向数据和视线信息数据分别相对于作为远程操作信号的加减速信号、转向信号和视线信息信号在预定范围内时，CPU 24判断驾驶数据和远程操作信号之间的差异在预定范围内。
当CPU 24在步骤S106中判断驾驶数据与远程操作信号之间的差异在预定范围内时，处理进行到步骤S108。此外，当CPU 24在步骤S106中判断驾驶数据与远程操作信号之间的差异已偏离预定范围时，处理进行到步骤S114。稍后将描述步骤S114中的处理。
在步骤S108中，CPU 24显示可以接管。具体地，CPU 24在设置在车厢内的监视器上显示可以接管。作为另一种方法，可以在车厢内设置灯，并且CPU 24可以通过开灯来通知驾驶员可以接管给远程操作的状态。
接下来，CPU 24在步骤S110中判断是否指示了接管。即，在步骤S108中显示可以接管的状态之后，当驾驶员通过预定操作指示接管时，CPU 24判断指示了接管。驾驶员可以例如通过操作设置在方向盘和仪表板上的按钮来指示接管。可以使用语音输入来指示接管。
当CPU 24在步骤S110中判断指示了接管时，处理进行到步骤S112。当在步骤S110中没有指示接管并且经过了预定时间时，CPU 24终止接管处理。
CPU 24在步骤S112中开始远程操作。即，CPU 24从基于驾驶数据驾驶员驾驶车辆12的手动操作模式切换至车辆12基于远程操作信号行驶的远程操作模式。在远程操作模式中，车辆12使用行驶控制单元78的功能基于由接收单元72接收的远程操作信号行驶。然后CPU 24终止接管处理。
另一方面，当CPU 24在步骤S106中判断驾驶数据和远程操作信号之间的差异偏离预定范围时，处理进行到步骤S114。在步骤S114中，CPU 24向驾驶员通知允许将车辆12的驾驶操作接管给远程操作的条件。具体地，使用通知单元88的功能，基于驾驶数据和远程操作信号之间的差异，CPU 24通过图像和语音等向驾驶员通知允许车辆12的驾驶操作接管给远程操作的条件。
例如，当驾驶员对加速踏板的踩下量大于操作员的踩下量时，检测到车辆12侧的加减速数据与远程操作装置14侧的加减速信号之间的差异。在这种情况下，CPU 24可以通知驾驶员，使得驾驶员减少加速踏板的踩下量。
例如，当操作员的视线朝向前方，与驾驶员的朝向前方以外的方向的视线相反时，检测到驾驶员的视线信息与操作员的视线信息之间的差异。在这种情况下，CPU 24可以通知驾驶员，使得驾驶员将视线指向车辆的前方。
接下来，在步骤S116中，CPU 24判断是否经过了预定时间。在该实施例中，作为示例，当从许可远程操作之后开始测量时间起直到经过预定时间之前，驾驶数据和远程操作信号之间的差异没有位于预定范围内时，CPU 24判断经过了预定时间。当CPU 24在步骤S116中判断经过了预定时间时，CPU 24终止接管处理。此外，当CPU 24在步骤S116中判断尚未经过预定时间时，CPU 24使处理返回到步骤S106。
如上所述，在本实施例的远程操作系统10中，当由车辆内的驾驶员输入的驾驶数据与远程操作信号之间的差异在预定范围内时，CPU 24判断车辆的驾驶操作可以被接管给远程操作。因此，即使在车辆正行驶时，通过由接管判断单元86判断车辆的驾驶操作可以被接管给远程操作，车辆的驾驶操作可以从车辆内的驾驶员接管给车辆外的操作员。即，在车辆正行驶时，车辆的驾驶操作可以从车辆内的驾驶员接管给车辆外的操作员。
此外，通知单元88将允许将车辆的驾驶操作接管给远程操作的条件通知驾驶员，使得驾驶员可以了解允许接管的条件。因此，可以更迅速地将车辆的驾驶操作接管给远程操作。
此外，车辆内的驾驶员可以使用操作员显示单元84的功能来检查操作员的操作状态。因此，可以缩短用来减小驾驶数据与远程操作信号之间的差异所需的时间。
尽管使用本实施例描述了实施本发明的方式，但是本发明不限于该实施例，并且可以以各种形式实施而不背离本发明的范围。例如，在本实施例中，驾驶数据包括与车辆的加减速有关的数据、与转向有关的数据以及包括驾驶员的视线信息的数据。但是，驾驶数据不限于此。即，驾驶数据可以包括与车辆的加减速有关的数据、与转向有关的数据以及驾驶员的视线信息中的至少一种，并且不必包括例如驾驶员的视线信息。这同样适用于远程操作信号。
此外，在以上实施例中，通知单元88基于车辆12的驾驶数据与远程操作信号之间的差异向驾驶员通知允许接管给远程操作的条件。然而，可以将驾驶辅助功能的激活设定为允许接管给远程操作的条件，并且可以通知该条件。例如，可以通过打开诸如车道保持辅助和自适应巡航控制之类的功能来通知可以接管。
特别地，在用于汽车租借、汽车共享等的车辆中，可以向驾驶员通知用于激活驾驶辅助功能的按钮和驾驶辅助功能的操作方法。
此外，在以上实施例中，当在预定时间内未完成向远程操作的接管时，接管处理终止。然而，本发明不限于此。例如，可以做出提示驾驶员停止车辆12的通知。即，当驾驶员使车辆12停止时，驾驶数据和远程操作信号之间的差异能够可靠地落入预定范围内，这使得可以顺利地接管驾驶操作。
此外，除CPU外的各种处理器可以通过读取软件(程序)来执行以上实施例中由CPU24执行的接管处理。在这种情况下，处理器的示例包括：可编程逻辑器件(PLD)，其具有可在制造后改变的电路配置，例如现场可编程门阵列(FPGA)；以及专用电路，其作为具有专为执行特定处理而设计的电路配置的处理器，例如专用集成电路(ASIC)。此外，接管处理可以由各种处理器之一执行，或者由相同类型或不同类型的两个或更多个处理器的组合(例如，多个FPGA以及CPU和FPGA的组合)执行。此外，更具体地，以上处理器的硬件配置是电子电路，其中诸如半导体器件的电路元件被组合。
此外，在以上实施例中，存储装置30和存储装置58是存储器单元。然而，本发明不限于此。例如，诸如光盘(CD)、数字多功能盘(DVD)和通用串行总线(USB)存储器的记录介质可以用作存储器单元。在这种情况下，程序被存储在这些记录介质中。

Claims (6)

1.一种车辆，其特征在于，包括：
许可单元，被配置为许可由设置在所述车辆外部的远程操作装置执行的远程操作；
发送单元，被配置为将由至少一个感测装置获取的所述车辆的周围信息发送至所述远程操作装置；
接收单元，被配置为经由所述远程操作装置接收由所述车辆外部的操作员输入的远程操作信号；
行驶控制单元，被配置为基于所述远程操作信号控制所述车辆行驶；
驾驶数据获取单元，被配置为获取由所述车辆内的驾驶员输入的驾驶数据；以及
接管判断单元，被配置为在所述许可单元许可所述远程操作时，当由所述驾驶数据获取单元获取的所述驾驶数据与所述远程操作信号之间的差异在预定范围内时，判断允许将所述车辆的驾驶操作接管给所述远程操作。
2.根据权利要求1所述的车辆，其特征在于还包括通知单元，所述通知单元被配置为基于所述车辆的所述驾驶数据和所述远程操作信号之间的差异，向所述驾驶员通知允许将所述车辆的所述驾驶操作接管给所述远程操作的条件。
3.根据权利要求2所述的车辆，其特征在于，所述通知单元被配置为在所述驾驶数据与所述远程操作信号之间的差异偏离所述预定范围时，向所述驾驶员通知所述条件。
4.根据权利要求1至3中任一项所述的车辆，其特征在于还包括操作员显示单元，所述操作员显示单元被配置为基于由所述接收单元接收的所述远程操作信号，在所述驾驶员能目视检查的位置显示所述操作员的操作状态。
5.根据权利要求1至4中任一项所述的车辆，其特征在于：
所述驾驶数据包括与所述车辆的加减速有关的数据、与转向有关的数据以及所述驾驶员的视线信息中的至少一种；以及
所述远程操作信号包括输入到所述远程操作装置的与加减速有关的数据、输入到所述远程操作装置的与转向有关的数据以及所述操作员的视线信息中的至少对应的一种。
6.一种远程操作系统，其特征在于包括：
根据权利要求1至5中任一项所述的车辆；以及
远程操作装置，被设置在所述车辆外部并且被配置为远程控制所述车辆。
CN202011084033.0A 2019-10-15 2020-10-12 车辆以及远程操作系统 Active CN112660041B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019188831A JP7227113B2 (ja) 2019-10-15 2019-10-15 車両及び遠隔操作システム
JP2019-188831 2019-10-15

Publications (2)

Publication Number Publication Date
CN112660041A true CN112660041A (zh) 2021-04-16
CN112660041B CN112660041B (zh) 2023-09-26

Family

ID=75382509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011084033.0A Active CN112660041B (zh) 2019-10-15 2020-10-12 车辆以及远程操作系统

Country Status (3)

Country Link
US (1) US11548534B2 (zh)
JP (1) JP7227113B2 (zh)
CN (1) CN112660041B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264789B2 (ja) * 2019-10-15 2023-04-25 トヨタ自動車株式会社 車両及び遠隔操作システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016074317A (ja) * 2014-10-07 2016-05-12 株式会社デンソー 車両の遠隔制御に用いられる命令判定装置および命令判定装置用のプログラム
JP2017163253A (ja) * 2016-03-08 2017-09-14 トヨタ自動車株式会社 遠隔操作システム
CN108900971A (zh) * 2018-08-01 2018-11-27 郑坤坤 一种智能交通控制方法、车载终端及服务器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
JP5499212B1 (ja) 2013-10-23 2014-05-21 ＮＥＵＳＯＦＴ Ｊａｐａｎ株式会社 遠隔操作受付システム、遠隔操作システム及びプログラム
JP2017001597A (ja) * 2015-06-15 2017-01-05 トヨタ自動車株式会社 自動運転装置
JP6812733B2 (ja) 2016-10-07 2021-01-13 日産自動車株式会社 無人運転システムの車外操作方法と車外操作装置
JPWO2018087880A1 (ja) * 2016-11-11 2019-09-26 本田技研工業株式会社 車両制御装置、車両制御システム、車両制御方法、および車両制御プログラム
US10133270B2 (en) * 2017-03-28 2018-11-20 Toyota Research Institute, Inc. Electronic control units, vehicles, and methods for switching vehicle control from an autonomous driving mode
JP7011973B2 (ja) * 2018-05-02 2022-01-27 本田技研工業株式会社 車両制御装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016074317A (ja) * 2014-10-07 2016-05-12 株式会社デンソー 車両の遠隔制御に用いられる命令判定装置および命令判定装置用のプログラム
JP2017163253A (ja) * 2016-03-08 2017-09-14 トヨタ自動車株式会社 遠隔操作システム
CN108900971A (zh) * 2018-08-01 2018-11-27 郑坤坤 一种智能交通控制方法、车载终端及服务器

Also Published As

Publication number Publication date
CN112660041B (zh) 2023-09-26
JP2021064205A (ja) 2021-04-22
US11548534B2 (en) 2023-01-10
JP7227113B2 (ja) 2023-02-21
US20210107526A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
US11370441B2 (en) Vehicle, and control apparatus and control method thereof
US20210179085A1 (en) Parking support system and control method thereof
US11989018B2 (en) Remote operation device and remote operation method
CN112672234B (zh) 车辆和远程操作系统
US11796995B2 (en) Vehicle with presentation device
CN112660041B (zh) 车辆以及远程操作系统
CN112238869B (zh) 车辆控制装置
CN112339776B (zh) 车辆行驶系统
US11565724B2 (en) Operation device and vehicle control system
JP2021060764A (ja) 運転制御装置
JP7227114B2 (ja) 車両及び遠隔操作システム
JP7163880B2 (ja) 誘導制御装置、誘導システム、および誘導制御プログラム
JP7221834B2 (ja) 車両及び遠隔操作システム
JP7099412B2 (ja) 車両制御装置及び車両制御システム
CN112238870A (zh) 车辆控制装置以及车辆控制系统
JP7364417B2 (ja) 車両及び遠隔操作システム
CN112379665A (zh) 紧急车辆行驶系统、服务器装置以及记录介质
JP2024143034A (ja) 駐車支援システム、機械式駐車設備、および方法
CN116101302A (zh) 车辆控制系统、车辆控制方法及存储介质
JP2021060765A (ja) 運転制御装置
CN116075453A (zh) 车辆控制装置、车辆控制方法及程序
JP2021068118A (ja) 遠隔運転システム
JP2021043560A (ja) 車両及び遠隔操作システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant