CN114981853A - 信息处理方法以及信息处理系统 - Google Patents

信息处理方法以及信息处理系统 Download PDF

Info

Publication number
CN114981853A
CN114981853A CN202180009965.5A CN202180009965A CN114981853A CN 114981853 A CN114981853 A CN 114981853A CN 202180009965 A CN202180009965 A CN 202180009965A CN 114981853 A CN114981853 A CN 114981853A
Authority
CN
China
Prior art keywords
vehicle
information
state
remote
operation control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180009965.5A
Other languages
English (en)
Inventor
穴吹元嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN114981853A publication Critical patent/CN114981853A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/227Handing over between remote control and on-board control; Handing over between remote control arrangements
    • G05D1/2274Handing over between remote control and on-board control; Handing over between remote control arrangements in response to the communication link being lost, degraded or compromised, e.g. anti-spoofing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/224Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244Optic
    • G05D1/2247Optic providing the operator with simple or augmented images from one or more cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/20Specific applications of the controlled vehicles for transportation
    • G05D2105/22Specific applications of the controlled vehicles for transportation of humans
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/10Outdoor regulated spaces
    • G05D2107/13Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种信息处理方法,由计算机执行,通过与能够自动驾驶以及远程手动驾驶的移动体进行通信来获得与移动体的状态有关的信息(S20),在移动体中发生了从自动驾驶向远程手动驾驶的切换的情况下(S30的“否”),根据与移动体的状态有关的信息,来决定移动体的工作控制中的将要进行远程手动操作的第1工作控制,根据与第1工作控制对应的远程手动操作来使移动体工作,并且,使移动体执行第1工作控制以外的第2工作控制(S60)。

Description

信息处理方法以及信息处理系统
技术领域
本公开涉及信息处理方法以及信息处理系统。
背景技术
近年来,对一种远程操作系统的研究正在进行中,处于远处的远程操作者利用无线LAN(Local Area Network:局域网)或移动通信网络等的无线通信,根据需要间接地操作能够自主行驶的车辆。例如,若车辆变成不能进行自主行驶,则远程操作者通过将关于车辆的行驶的控制信号发送给车辆,从远处来对车辆的行驶进行控制。
例如,专利文献1公开了一种半自主行驶系统(远程操作系统),根据行驶环境条件以及通信环境条件,改变自主行驶功能和远程操作的行驶过程中的判断的分担。
现有技术文献
专利文献
专利文献1:日本专利第5506423号公报
然而,在如专利文献1所示的远程操作系统中,难以减轻远程操作者的远程操作的负担。例如,在判断为远程操作者进行远程操作的情况下,由远程操作者进行所有实际上的车辆操作。因此,根据专利文献1的技术,难以减轻远程操作本身的负担。
发明内容
于是,本公开提供能够在确保移动体的安全性的同时,减轻从远处对移动体进行操作的远程操作者的负担的信息处理方法、以及信息处理装置。
本公开的一个形态所涉及的信息处理方法,该信息处理方法由计算机执行,获得与能够自动驾驶以及远程手动驾驶的移动体的状态有关的信息,在所述移动体中发生了从所述自动驾驶向所述远程手动驾驶的切换的情况下,根据与所述移动体的状态有关的信息,来决定所述移动体的工作控制中的将要进行远程手动操作的第1工作控制,根据与所述第1工作控制对应的所述远程手动操作来使所述移动体工作,并且,使所述移动体执行所述第1工作控制以外的第2工作控制。
本公开的一个形态所涉及的信息处理系统,具备:获得部,获得与能够自动驾驶以及远程手动驾驶的移动体的状态有关的信息;决定部,在所述移动体中发生了从所述自动驾驶向所述远程手动驾驶的切换的情况下,根据与所述移动体的状态有关的信息,来决定所述移动体的工作控制中的将要进行远程手动操作的第1工作控制;以及切换指示部,根据与所述第1工作控制对应的所述远程手动操作来使所述移动体工作,并且,使所述移动体执行所述第1工作控制以外的第2工作控制。
发明的效果
根据本公开的一个形态所涉及的信息处理方法等,能够在确保移动体的安全性的同时,减轻从远处对移动体进行操作的远程操作者的负担。
附图说明
图1是示出实施方式所涉及的车辆控制系统的概略结构的图。
图2是示出实施方式所涉及的车辆控制系统的功能结构的方框图。
图3是示出各行驶模式中的车辆控制的分担的一个例子的图。
图4是示出各行驶模式中的可行驶条件的一个例子的图。
图5是示出实施方式所涉及的车辆控制系统的工作的流程图。
图6是示出图5所示的行驶模式的切换处理的详细流程图。
图7是用于说明向加速器手动行驶模式切换的示意图。
图8是示出实施方式的变形例所涉及的车辆控制系统的功能结构的方框图。
具体实施方式
(达到本公开的经过)
例如,若车辆变成不能自主行驶,远程操作者则通过将与车辆的行驶有关的控制信号发送给车辆,从远处来对车辆的行驶进行控制。此时,例如远程操作者需要在通信延迟、视野等受限制的状况下进行远程操作,会有操作性降低的情况。例如,根据通信状态、车辆状态、车辆的地点、移动任务、车辆周边的状态等,会有远程操作者不能安全且有效地进行远程操作的情况。通信状态例如是通信延迟或带宽等。车辆状态例如是故障或速度等。移动任务例如是左右转或停车等。车辆周边的状态例如是拥挤度或与周边车辆的位置关系等。也就是说,以往,会有远程操作者的远程操作的负担增大的情况。并且,即使在进行远程操作的情况下,车辆也需要安全地行驶。另外,在移动体是车辆的情况下,移动也被称为行驶,移动任务也被称为行驶任务。
于是,本申请发明人员,认真研讨了能够在确保移动体的安全性的同时,减轻处于远处的远程操作者的负担的信息处理方法以及信息处理装置,发现了通过按照上述的各种状况适当地分担基于自动驾驶功能的车辆控制与远程操作者的车辆控制,从而在能够减少远程操作者的负担的同时,也能够确保整个系统的安全性。
本公开的一个形态所涉及的信息处理方法,该信息处理方法由计算机执行,获得与能够自动驾驶以及远程手动驾驶的移动体的状态有关的信息,在所述移动体中发生了从所述自动驾驶向所述远程手动驾驶的切换的情况下,根据与所述移动体的状态有关的信息,来决定所述移动体的工作控制中的将要进行远程手动操作的第1工作控制,根据与所述第1工作控制对应的所述远程手动操作来使所述移动体工作,并且,使所述移动体执行所述第1工作控制以外的第2工作控制。
据此,在发生了从自动驾驶向远程手动驾驶的切换的情况下,能够让自动驾驶功能和远程操作者来分担移动体的工作控制,因此,与远程操作者进行所有的工作控制的情况相比能够减轻远程操作者的负担。并且,由于根据移动体的状态来决定第1工作控制以及第2工作控制,因此,能够容易地确保移动体的移动过程中的安全性。因此,根据信息处理方法,能够在确保移动体的安全性的同时,减轻从远处对移动体进行操作的远程操作者的负担。
并且,例如也可以是,与所述移动体的状态有关的信息是示出所述移动体与远程操作装置之间的通信的状态的通信信息,所述远程操作装置是用于从远处通过通信对所述移动体进行操作的装置。
据此,由于根据移动体的状态来决定第1工作控制以及第2工作控制,因此,能够更容易地确保移动体的移动过程中的安全性。
并且,例如也可以是,在所述第1工作控制的决定中,根据所述通信的状态与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,来决定所述第1工作控制。
据此,根据信息处理方法,通过预先设定对应关系,从而只要获得通信的状态就能够容易地决定第1工作控制。
并且,例如也可以是,在所述第1工作控制的决定中,以所述通信的状态越好,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
据此,在从通信的状态的观点出发,能够更安全地进行远程操作的情况下,能够将远程手动操作会增多、复杂或高级的第1工作控制决定为远程操作者的远程手动操作。因此,根据信息处理方法,能够按照通信的状态来限制自动驾驶功能和远程操作者能够控制的控制工作,因此,能够实现确保与通信的状态对应的安全性以及减轻远程操作者的负担。
并且,例如,所述通信的状态中也可以包括所述移动体与所述远程操作装置之间的通信延迟或通信频带的状态。
据此,根据信息处理方法,只要获得通信延迟或通信频带,就能够决定能够在确保移动体的安全性的同时,减轻处于远处的远程操作者的负担的第1工作控制以及第2工作控制。
并且,例如也可以是,进一步获得示出针对所述移动体周边进行感测的状态的感测信息,根据所述通信信息以及所述感测信息来决定所述第1工作控制。
据此,由于能够进一步按照感测的状态来决定自动驾驶功能和远程操作者能够控制的控制工作,因此,能够更适当地决定能够实现确保移动体的移动过程中的安全性以及减轻远程操作者的负担的第1工作控制以及第2工作控制。因此,根据信息处理方法,能够进一步在确保移动体的安全性的同时,减轻处于远处的远程操作者的负担。
并且,例如也可以是,在所述第1工作控制的决定中,根据所述通信的状态以及所述感测的状态、与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,以感测的状态越好,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
据此,进一步,在从感测的状态的观点出发,能够更安全地进行远程操作的情况下,能够将远程手动操作增多后的、变得复杂的或变得高级的第1工作控制决定为远程操作者的控制工作。因此,根据信息处理方法,能够按照通信的状态以及感测的状态来限制自动驾驶功能和远程操作者能够控制的控制工作,因此,能够实现确保与通信的状态以及感测的状态对应的安全性以及减轻远程操作者的负担。
并且,例如,所述感测的状态中也可以包括图像数据、声音数据、或者点云数据的处理延迟或欠缺。
据此,根据信息处理方法,还可以仅通过获得图像数据、声音数据、或点云数据的处理延迟或欠缺,就能够决定更适当的第1工作控制以及第2工作控制。
并且,例如也可以是,进一步获得示出所述移动体的地点的地点信息,根据所述通信信息以及所述地点信息来决定所述第1工作控制。
据此,由于能够进一步按照移动体的地点来决定自动驾驶功能和远程操作者能够控制的控制工作,因此,能够更适当地决定能够实现确保移动体的移动过程中的安全性以及减轻远程操作者的负担的第1工作控制以及第2工作控制。因此,根据信息处理方法,能够进一步在确保移动体的安全性的同时,减轻处于远处的远程操作者的负担。
并且,例如也可以是,在所述第1工作控制的决定中,根据所述通信的状态以及所述移动体的地点、与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,以所述移动体的地点的所述移动体的所述自动驾驶的安全性越低,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
据此,进一步,在从移动体的地点的移动体的安全性的观点出发,移动体的自动驾驶的安全性低的情况下,能够将远程手动操作增多后的、变得复杂的或变得高级的第1工作控制决定为远程操作者的控制工作。因此,根据信息处理方法,能够按照通信的状态以及移动体的地点来限制自动驾驶功能和远程操作者能够控制的控制工作,因此,能够实现确保与通信的状态以及移动体的地点对应的安全性以及减轻远程操作者的负担。
并且,例如,所述移动体的地点中也可以包括所述移动体的位置或所述移动体的移动路径上的位置。
据此,根据信息处理方法,还可以仅通过获得移动体的位置或移动体的移动路径上的位置,就能够决定更适当的第1工作控制以及第2工作控制。
并且,例如也可以是,进一步获得示出所述移动体的移动状态的移动状态信息,根据所述通信信息以及所述移动状态信息来决定所述第1工作控制。
据此,由于能够进一步按照移动体的地点来决定自动驾驶功能和远程操作者能够控制的控制工作,因此,能够更适当地决定能够实现确保移动体的移动过程中的安全性以及减轻远程操作者的负担的第1工作控制以及第2工作控制。因此,根据信息处理方法,能够进一步在确保移动体的安全性的同时,减轻从远处对移动体进行操作的远程操作者的负担。
并且,例如也可以是,在所述第1工作控制的决定中,根据所述通信的状态以及所述移动体的所述移动状态、与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,以所述移动体的所述移动状态下的所述移动体的安全性越高,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
据此,进一步,在从移动体的移动状态的安全性的观点出发,移动体的自动驾驶的安全性高的情况下,能够将远程手动操作增多后的、变得复杂的或变得高级的第1工作控制决定为远程操作者的控制工作。因此,根据信息处理方法,能够按照通信的状态以及移动体的移动状态来限制自动驾驶功能和远程操作者能够控制的控制工作,因此,能够实现确保与通信的状态以及移动体的移动状态对应的安全性以及减轻远程操作者的负担。
并且,例如,所述移动体的所述移动状态也可以包括所述移动体的速度。
据此,根据信息处理方法,还可以仅通过获得移动体的速度,就能够决定更适当的第1工作控制以及第2工作控制。
并且,例如也可以是,进一步获得示出所述移动体的周边环境的环境信息,根据所述通信信息以及所述环境信息来决定所述第1工作控制。
据此,由于能够进一步按照移动体的周围环境来决定自动驾驶功能和远程操作者能够控制的控制工作,因此,能够更适当地决定能够实现确保移动体的移动过程中的安全性以及减轻远程操作者的负担的第1工作控制以及第2工作控制。因此,根据信息处理方法,能够进一步在确保移动体的安全性的同时,减轻处于远处的远程操作者的负担。
并且,例如也可以是,在所述第1工作控制的决定中,根据所述通信的状态以及所述移动体的周边环境、与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,以所述移动体的所述周边环境下的所述移动体的所述自动驾驶的安全性越低,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
据此,进一步,在从移动体的周围环境的安全性的观点出发,移动体的自动驾驶的安全性低的情况下,能够将远程手动操作增多后的、变得复杂的或变得高级的第1工作控制决定为远程操作者的控制工作。因此,根据信息处理方法,能够按照通信的状态以及移动体的周围环境来限制自动驾驶功能和远程操作者能够控制的控制工作,因此,能够实现确保与通信的状态以及移动体的周围环境对应的安全性以及减轻远程操作者的负担。
并且,例如,所述移动体的所述周边环境中也可以包括障碍物的状态,路面的状态、或气候。
据此,根据信息处理方法,还可以仅通过获得障碍物的状态、路面的状态、或气候,就能够决定更适当的第1工作控制以及第2工作控制。
并且,例如也可以是,进一步获得示出移动任务的移动任务信息,所述移动任务用于所述移动体的移动,根据所述通信信息以及所述移动任务信息来决定所述第1工作控制。
据此,由于能够进一步按照用于移动的移动任务来决定自动驾驶功能和远程操作者能够控制的控制工作,因此,能够更适当地决定能够实现确保移动体的移动过程中的安全性以及减轻远程操作者的负担的第1工作控制以及第2工作控制。因此,根据信息处理方法,能够进一步在确保移动体的安全性的同时,减轻从远处对移动体进行操作的远程操作者的负担。
并且,例如也可以是,在所述第1工作控制的决定中,根据所述通信的状态以及所述移动任务、与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,以所述移动任务的复杂度越高,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
据此,进一步,在移动任务的复杂度高的情况下,能够将远程手动操作增多后的、变得复杂的或变得高级的第1工作控制决定为远程操作者的控制工作。因此,根据信息处理方法,能够按照通信的状态以及被允许的移动任务来限制自动驾驶功能和远程操作者能够控制的控制工作,因此,能够实现确保与通信的状态以及能够执行的移动任务对应的安全性以及减轻远程操作者的负担。
并且,例如,所述移动任务中也可以包括直行、左右转、避开停在路上的车辆、倒退或靠向路边行驶。
据此,根据信息处理方法,还可以仅通过获得可否执行直行、左右转、避开停在路上的车辆、倒退、或靠向路边行驶的信息,就能够决定更适当的第1工作控制以及第2工作控制。
并且,本公开的一个形态所涉及的信息处理系统,具备:获得部,获得与能够自动驾驶以及远程手动驾驶的移动体的状态有关的信息;决定部,在所述移动体中发生了从所述自动驾驶向所述远程手动驾驶的切换的情况下,根据与所述移动体的状态有关的信息,来决定所述移动体的工作控制中的将要进行远程手动操作的第1工作控制;以及切换指示部,根据与所述第1工作控制对应的所述远程手动操作来使所述移动体工作,并且,使所述移动体执行所述第1工作控制以外的第2工作控制。
据此,实现与上述信息处理方法同样的效果。
进而,这些概括性的或具体的形态,也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的非暂时性的记录介质实现,也可以由系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合实现。
以下,对于本公开的一个形态所涉及的信息处理方法以及信息处理系统的具体例子,参照附图进行说明。在此示出的实施方式均为示出本公开的一个具体例子。因此,以下的实施方式所示的数值、数值、构成要素、步骤、步骤的顺序等是一个例子,其主旨并非是对本公开进行限定。并且,对于以下的实施方式的构成要素中的实施方案中没有记载的构成要素,作为任意的构成要素而被说明。并且,在所有的实施方式中,能够组合各个内容。
并且,各个图为示意图,并非严谨的图示。因此,例如,各个图中的缩尺等并不一定一致。并且,在各个图中,对于实质上相同的构成赋予相同的符号,并且会有省略或简化重复说明的情况。
并且,在本说明书中,数值以及数值范围不仅表示精准的表达,还意味着包含实质上相同的范围、例如数百分比左右的差异的表达。
(实施方式)
以下,对于本实施方式所涉及的信息处理方法等,参照图1至图7进行说明。
[1.车辆控制系统的结构]
首先,对于本实施方式所涉及的车辆控制系统10的结构,参照图1以及图2进行说明。图1是示出本实施方式所涉及的车辆控制系统10的概略结构的图。
如图1所示,车辆控制系统10具备远程操作系统100、网络300、无线基站310、以及车辆200。车辆控制系统10是经由无线LAN、通信终端等的无线基站310以及网络300,将车辆200与远程操作系统100(例如,远程操作装置130)以能够通信的方式进行连接的系统。
无线基站310以及网络300是通信网络的一个例子。并且,车辆200是由远程操作者H至少进行远程手动操作的移动体的一个例子。车辆200能够进行自动驾驶以及基于远程操作的远程手动驾驶。另外,车辆控制系统10是信息处理系统的一个例子。另外,以后,将远程手动操作也简称为远程操作。
虽然在后面将会进行详细说明,但是,远程操作系统100将车辆200的行驶模式,从自主行驶模式(例如,完全自主行驶模式)以及远程操作模式的一方切换为另一方。远程操作模式,不仅具有远程操作者H对能够远程操作的操作的所有操作都进行操作的完全远程操作模式,也具有自主行驶模式与完全远程操作模式的中间行驶模式即分担行驶模式。本实施方式具有如远程操作系统100能够以分担行驶模式来对车辆200进行控制的特征。能够远程操作的操作例如是示出后述的图3所示的控制工作,例如是加速器操作、制动器操作、方向盘操作、以及方提示操作等,但并不限于此。
自主行驶模式是搭乘者以及远程操作者H不参与车辆200的车辆控制的行驶模式。将自主行驶模式也称为自动驾驶模式。在自主行驶模式中,例如,远程操作者H进行远程监视,而不进行远程操作。并且,完全远程操作模式是搭乘者以及自动驾驶系统不参与车辆200的车辆控制的行驶模式。在完全远程操作模式中,远程操作者H例如进行能够远程操作的所有的操作。并且,分担行驶模式是远程操作者H以及自动驾驶系统的双方参与车辆200的车辆控制的行驶模式。在分担行驶模式中,远程操作者H例如仅对能够远程操作的操作中的一部分进行操作(例如,加速器操作),剩余的操作(例如,制动器操作、方向盘操作以及提示操作)由自动驾驶系统进行。
另外,远程操作者H是从不能直接监视自动驾驶的车辆200的远处监视该车辆200的监视者的一个例子。不能直接监视意味着不能以肉眼观察到车辆200。也就是说,远程操作者H,从与车辆200的周围不同的位置对该车辆200进行远程监视以及远程操作。
以下,说明车辆控制系统10的结构。
远程操作系统100是用于根据需要由处于远处的远程操作者H对车辆200的行驶进行远程监视以及远程操作的系统。远程操作系统100具备提示部110、车辆操作部120、以及远程操作装置130。另外,由提示部110以及车辆操作部120构成输入输出系统(参照图2的输入输出系统100a)。也可以说远程操作系统100具备输入输出系统100a以及远程操作装置130。
提示部110对远程操作者H提示各种信息。提示部110与远程操作装置130连接,且被构成为包括显示关于车辆200的信息的显示装置。显示装置例如是液晶显示器装置等,但并不限于此。提示部110显示用于远程操作者H对车辆200的行驶进行远程监视或远程操作的信息。提示部110也可以显示例如车辆200具备的摄像部拍摄的影像。并且,提示部110也可以显示远程操作装置130处理的信息。并且,提示部110也可以由GUI(Graphical UserInterface:图形用户界面)显示用于远程操作者H进行切换车辆200的行驶模式、或维持行驶模式的操作的按钮。并且,提示部110也可以显示例如需要由远程操作者H监视的监视区域等的信息。对于提示部110显示的信息,将在后面进行详细说明。
另外,提示部110,并不限于以显示的方式来提示各种信息。提示部110也可以例如以语音、投影等方式来提示各种信息。
车辆操作部120,接受来自远程操作者H的与车辆200的远程操作有关的各种操作。车辆操作部120,在远程操作模式或分担行驶模式中,接受来自远程操作者H的用于对车辆200进行远程操作的操作。车辆操作部120例如是方向盘、踏板(例如,加速踏板以及刹车踏板)等,但是,也可以由操作杆等来实现。
并且,车辆操作部120也可以具有例如用于接受远程操作者H进行的选择等各种输入的接受部。接受部由触摸屏等来实现,但是,也可以由硬件键盘(硬件按钮)或滑动开关等来实现。并且,车辆操作部120也可以通过基于远程操作者H的语音、手势、视线等的信息来接受各种输入。
远程操作装置130进行与车辆200的车辆控制(例如,远程操作)有关的各种处理。远程操作装置130,在车辆200变成不能进行自动驾驶的情况下,执行用于切换车辆200的行驶模式的处理。远程操作装置130,即使在车辆200变成不能进行自动驾驶的情况下,通过减少远程操作者H进行远程操作的频度,从而减轻该远程操作者H的负担。具体而言,远程操作装置130,在车辆200变成不能进行自动驾驶、并且满足规定的条件的情况下,不是完全远程操作模式,而能够切换为分担行驶模式,通过切换为该分担行驶模式,从而与切换为完全远程操作模式的情况相比,能够减轻远程操作者H的与车辆控制有关的负担。
另外,车辆200的行驶模式的切换并不限于在车辆200变成不能进行自动驾驶的情况下执行,例如,也可以按照远程操作者H的远程操作时的状况、远程操作者H的远程操作能力等执行。例如,也可以按照远程操作者H进行远程监视或远程操作的车辆200的台数,进行行驶模式的切换。并且,在远程操作者H的远程操作能力低的情况下,也可以进行向与远程操作能力高的其他远程操作者相比对其操作负担低的行驶模式的切换。
如此,远程操作装置130不仅具有现有的行驶模式即自主行驶模式以及完全远程操作模式,而且还具有分担行驶模式。另外,远程操作装置130是信息处理系统的一个例子。并且,远程操作装置130也可以由服务器装置实现。
车辆200是包括司机在内的人乘坐的移动体的一个例子,根据需要由远程操作者H进行远程监视或远程操作。车辆200是自动驾驶车。车辆200也可以是能够在自动驾驶与手动驾驶之间进行切换的自动驾驶车。另外,关于自动驾驶车,若能够自动驾驶以及远程操作驾驶,则没有特别限制,也可以是能够自动驾驶的巴士、能够自动驾驶的出租车、能够自动驾驶的私人汽车、能够自动驾驶的卡车、能够自动驾驶的建筑车辆(例如,翻斗车)、能够自主行驶以及远程操作的无人搬运机器人等。
接着,对于车辆控制系统10的各构成要素的功能结构,参照图2进行说明。图2是示出本实施方式所涉及的车辆控制系统10的功能结构的方框图。另外,在图2中,仅示出车辆控制系统10具备的各种构成要素中的、输入输出系统100a、远程操作装置130以及车辆200。并且,对于输入输出系统100a的功能结构,由于在上述中已经进行了说明,因此,在此省略说明。
如图2所示,远程操作装置130具有应对内容判断部131、可否继续行驶判断部132、控制信号切换指示部133、以及通信状态测量部134。
应对内容判断部131判断用于车辆200行驶的行驶任务。应对内容判断部131,在车辆200不能继续进行自动驾驶中的行驶的情况下,根据从环境信息获得部210获得的车辆200的周边环境以及感测结果中的至少一个,判断用于当前的车辆200行驶的行驶任务。行驶任务是应对内容信息的一个例子。
例如,应对内容判断部131也可以利用车辆200的周边环境等与应对内容相对应的表来判断应对内容,也可以将周边环境等输入到学习完毕的模型来获得应对内容,该模型是已经完成了将车辆200的周边环境等作为输入,再输出应对内容的学习的模型。
可否继续行驶判断部132,在车辆200的行驶过程中,判断是否满足为了以当前的行驶模式来行驶而需要的条件即可行驶条件((ODD:Operational Design Domain,运行设计域),例如,参照后述的图5)。可否继续行驶判断部132,例如在车辆200以自主行驶模式来行驶的情况下,按规定时间间隔来判断是否满足与该自主行驶模式对应的可行驶条件。
控制信号切换指示部133,若不能进行自主行驶模式的行驶,则根据通信信息、感测信息、地点信息、行驶信息、环境信息、以及行驶任务信息的至少一个、以及对各行驶模式分别设定的用于以该行驶模式来行驶的可行驶条件,进行用于决定车辆200能够切换的行驶模式的处理。在本实施方式中,控制信号切换指示部133,至少根据通信信息以及可行驶条件,来决定车辆200能够切换的行驶模式。另外,行驶信息是移动状态信息的一个例子。
虽然在后面将会进行详细说明,但是,在本实施方式中,作为分担行驶模式,控制信号切换指示部133具有三个行驶模式(参照后述的图3):加速器手动行驶模式、制动器手动行驶模式以及方向盘手动行驶模式。控制信号切换指示部133也可以根据加速器手动行驶模式、制动器手动行驶模式、方向盘手动行驶模式以及完全远程操作模式中的、满足可行驶条件的行驶模式,来决定切换后的行驶模式。控制信号切换指示部133是决定部的一个例子。
控制信号切换指示部133将示出决定的行驶模式的信息输出给车辆200。另外,对于控制信号切换指示部133判断能够切换的行驶模式的处理,将在后面进行说明。
通信状态测量部134测量远程操作装置130与车辆200之间的通信的状态。通信状态测量部134,作为通信的状态,测量远程操作装置130与车辆200之间的通信延迟或通信频带的状态。另外,通信的状态中包括通信延迟或通信频带的至少一个的状态即可。并且,通信的状态中也可以包括丢包率等。另外,示出通信的状态的信息是通信信息的一个例子。
例如,通信状态测量部134接收用于计算通信网络的延迟时间的信息(例如,RTT(Round Trip Time:延迟时间)测量数据包),根据接收的RTT测量数据包,测量通信延迟。例如,通信状态测量部134从车辆200接收被赋予了时间戳的RTT测量数据包,根据该时间戳以及接收该RTT测量数据包的时刻,来测量通信延迟。另外,通信延迟,也可以是单向延迟时间,也可以是往返延迟时间。
并且,通信状态测量部134也可以向与通信网络连接的特定的装置(例如,车辆200)发送数据,根据该装置在规定的单位时间内接收到的数据量来测量通信频带。并且,通信状态测量部134也可以从与通信网络连接的特定的装置(例如,车辆200)接收数据,根据该通信状态测量部134在规定的单位时间内接收到的数据量来测量通信频带。
对于通信状态测量部134测量通信的状态的定时,没有特别限制,通信状态测量部134,也可以定期地测量通信的状态,也可以在发生了切换行驶模式的情况下测量通信的状态。并且,通信状态测量部134测量通信的状态的方法,并不限于上述方法,也可以利用已知的任何方法。
并且,通信状态测量部134也可以测量示出针对车辆200周边进行感测的状态的感测信息。感测的状态中包括图像数据、声音数据、或者点云数据的处理延迟或欠缺。所谓的处理延迟,是示出车辆操作部120具有的接受部针对接受进行的检测处理、计算机的内部处理、以及对提示部110的提示处理的每一个中发生的处理延迟。若以图像数据为例对欠缺进行说明,欠缺是指帧的一部分由于某种原因没有被显示,出现图像瞬时中断的现象。另外,欠缺包括例如掉帧。并且,提示处理包括例如显示处理。
通信状态测量部134也可以根据车辆200中的感测的状态、以及远程操作系统100中的感测的状态,获得车辆控制系统10中的感测的状态。若以处理延迟为例进行说明,通信状态测量部134也可以,获得从环境信息获得部210获得感测结果的时刻,到提示部110提示基于该感测结果的信息为止的时间中除去通信延迟的时间,以作为车辆控制系统10中的处理延迟。该处理延迟是单向延迟。感测结果至少包括例如图像、声音、点云数据的其中之一。
车辆200是能够自动驾驶以及远程手动驾驶的移动体。车辆200具有环境信息获得部210、车辆信息获得部220、自动驾驶系统230、控制信号切换部240、以及车辆控制部250。
环境信息获得部210获得示出包括车辆200周边的状态的周边环境的环境信息。环境信息获得部210从搭载在车辆200的各种传感器获得车辆200周边的状态。车辆200周边的状态中包括障碍物的状态、路面的状态或气候。例如,各种传感器至少包括图像传感器、麦克风以及点云检测传感器的其中之一。
障碍物的状态至少包括障碍物的大小、位置、速度等的其中之一,例如能够根据相机、LiDAR(Light Detection And Ranging:光探测和测距)等的传感器的感测结果来获得障碍物的状态。
路面的状态至少包括车辆200行驶的路面的干燥、潮湿、积雪、结冰等的其中之一,例如能够根据偏振相机等的传感器对路面进行感测的感测结果来获得路面的状态。感测结果也可以是例如图像。另外,“干燥”意味着路面干燥的状态,“潮湿”意味着路面潮湿的状态,“积雪”意味着在路面上积雪的状态,“结冰”意味着路面结冰的状态,并且,路面的状态也可以包括道路的陷落等。
气候至少包括晴、阴、雾、雨、雪、雷等的其中之一,例如能够根据由偏振相机等的传感器对上空进行感测的感测结果来获得气候。
另外,关于车辆200周边的状态的获得方法,并不限于上述,也可以利用已知的任何技术。并且,关于路面的状态以及气候,并不限于根据感测结果来获得,也可以从外部的装置等获得。并且,周边的状态也可以包括关于地震的信息、关于风的信息等。并且,周边的状态也可以包括由相机拍摄的车辆200的周围的图像。另外,外部的装置也可以是例如管理路面的状态以及气候的服务器装置。并且,关于地震的信息也可以包括例如震级、震源等,关于风的信息也可以包括例如风速等。
车辆信息获得部220获得示出车辆200的车辆状态的车辆信息。车辆状态中包括车辆200的行驶状态。车辆200的行驶状态中包括车辆200的速度。车辆200的速度是例如当前的速度。并且,在车辆200的行驶状态中还可以包括车辆200的转向角、加速度等。并且,在车辆信息中还可以包括车辆200的规格信息等。在规格信息中,也可以包括示出用于车辆200的行驶的行驶任务的行驶任务信息,也可以至少包括车辆200的大小、轴距、最大转向角、最大车速、最大加速度、最大减速度、以及障碍物的检测性能的其中之一。行驶任务中包括直行、左右转、避开停在路上的车辆、倒退、或靠向路边行驶。另外,行驶状态是移动状态的一个例子。
车辆信息获得部220,也可以从外部的装置获得车辆状态,也可以根据各种传感器的感测结果来获得车辆状态。外部的装置也可以是例如管理车辆200的规格信息的服务器装置。
并且,车辆信息获得部220也可以获得示出车辆200的地点的地点信息。将地点信息也称为位置信息。车辆200的地点至少包括车辆200的位置以及车辆200的行驶路径上的位置的其中之一。车辆200的位置也可以是当前的位置。车辆信息获得部220也可以被构成为,例如,包括获得GPS(Global Positioning System:全球定位系统)信号(即,从卫星输出的电波),通过根据获得的GPS信号对车辆200的当前位置进行测量,从而获得该当前位置的GPS模块。并且,车辆信息获得部220也可以通过获得基于自动驾驶系统230生成的行驶计划的行驶路径,从而获得车辆200的行驶路径上的位置。也可以将地点表示为区域。区域也可以是行车线、道路区间、区划等。另外,行驶路径是移动路径的一个例子。
并且,车辆信息获得部220也可以获得自动驾驶系统230的状态,以作为车辆信息。自动驾驶系统230的状态中包括示出自动驾驶系统230是否正常的信息。
自动驾驶系统230执行用于车辆200自动驾驶的处理。自动驾驶系统230,根据车辆信息等生成自动驾驶的行驶计划。行驶计划中包括行驶路径、速度等。并且,自动驾驶系统230在以自主行驶模式来行驶的情况下,为了执行生成的行驶计划,而生成基于行驶计划的控制信号,输出给控制信号切换部240。
控制信号切换部240将用于实现与控制信号切换指示部133决定的行驶模式对应的行驶的控制信号输出给车辆控制部250。在以自主行驶模式来行驶的情况下,控制信号切换部240将来自自动驾驶系统230的控制信号输出给车辆控制部250。在以自主行驶模式来行驶的情况下,控制信号切换部240,即使从车辆操作部120接收控制信号,也不将该控制信号输出给车辆控制部250。
并且,在以远程操作模式中的完全远程操作模式来行驶的情况下,控制信号切换部240将来自车辆操作部120的控制信号输出给车辆控制部250。在以完全远程操作模式来行驶的情况下,控制信号切换部240,即使从自动驾驶系统230接收控制信号,也不将该控制信号输出给车辆控制部250。也可以说在以完全远程操作模式来行驶的情况下,控制信号切换部240,将来自车辆操作部120的控制信号代替来自自动驾驶系统230的控制信号并输出给车辆控制部250。
并且,在以远程操作模式中的分担行驶模式来行驶的情况下,控制信号切换部240从来自车辆操作部120的控制信号以及来自自动驾驶系统230的控制信号的每一个中提取需要的信息,将提取的信息输出给车辆控制部250。在以加速器手动行驶模式来行驶的情况下,控制信号切换部240提取来自自动驾驶系统230的控制信号中的加速器以及停车制动器以外的信息,并且,提取来自车辆操作部120的控制信号中的与加速器以及停车制动器有关的信息,将包括提取的信息的控制信号输出给车辆控制部250。也可以说在以加速器手动行驶模式来行驶的情况下,控制信号切换部240,将来自自动驾驶系统230的控制信号中的与加速器以及停车制动器有关的信息替换为来自车辆操作部120的与加速器以及停车制动器有关的信息进行输出。
车辆控制部250,根据来自控制信号切换部240的控制信号,进行与车辆200的行驶以及提示有关的控制。
[2.各行驶模式的说明]
接着,对于包括分担行驶模式的各行驶模式,参照图3进行说明。图3是示出各行驶模式中的车辆控制的分担的一个例子的图。图3示出了各行驶模式、与每个行驶模式的控制工作的对应关系。在此,各行驶模式中包括自主行驶模式、加速器手动行驶模式、制动器手动行驶模式、方向盘手动行驶模式以及完全远程操作模式。并且,控制工作中包括停车制动器操作、加速器操作、制动器操作、方向盘操作以及针对危险灯、方向指示器和车辆周边提示装置等的提示装置的操作。以后,将针对提示装置的操作也记载为提示操作。
如图3所示,自主行驶模式是通过自动驾驶(自动驾驶系统230)来进行全部控制工作的行驶模式。
加速器手动行驶模式是一种行驶模式,通过远程操作来进行各控制工作中的停车制动器操作以及加速器操作,通过自动驾驶来进行其他的控制工作。在加速器手动行驶模式中,停车制动器操作以及加速器操作是由远程操作者H允许的或通过远程操作来执行的第1工作控制的一个例子。并且,其他的控制工作(制动器操作、方向盘操作以及提示操作)是加速器手动行驶模式中的第1工作控制以外的第2工作控制的一个例子。
制动器手动行驶模式是一种行驶模式,通过远程操作来进行各控制工作中的停车制动器操作以及制动器操作,通过自动驾驶来进行其他的控制工作。停车制动器操作以及制动器操作是制动器手动行驶模式中的第1工作控制的一个例子。并且,其他的控制工作(加速器操作、方向盘操作以及提示操作)是制动器手动行驶模式中的第1工作控制以外的第2工作控制的一个例子。
方向盘手动行驶模式是一种行驶模式,通过远程操作来进行各控制工作中的停车制动器操作、方向盘操作以及提示操作,通过自动驾驶来进行其他的控制工作。停车制动器操作、方向盘操作以及提示操作是方向盘手动行驶模式中的第1工作控制的一个例子。并且,其他的控制工作(加速器操作以及制动器操作)是方向盘手动行驶模式中的第1工作控制以外的第2工作控制的一个例子。
完全远程操作模式是通过远程操作来进行各控制工作的全部工作的行驶模式。停车制动器操作、加速器操作、制动器操作、方向盘操作以及提示操作是完全远程操作模式中的第1工作控制的一个例子。
如上所述,也可以说图3示出了每个行驶模式中的被允许远程手动操作的工作控制。
并且,例如,远程操作者H的负担按照加速器手动行驶模式、制动器手动行驶模式、方向盘手动行驶模式以及完全远程操作模式的顺序有增大的倾向。例如,也可以说按照该顺序,由远程操作者H允许的或通过远程操作模式来执行的远程操作增多、变得复杂或变得高级。所谓的增多是指远程操作者H进行远程操作数量的增多,按照该顺序的数量为2,2,3,5。所谓的复杂是指远程操作者H并行进行远程操作的数量,按照该顺序的数量为1,1,2,4。另外,停车制动器操作是在车辆200停止的状态下进行的操作,并且是不能和其他的操作并行进行的操作,以此计算仅能并行进行的远程操作的数量。并且,所谓的高级是指针对远程操作的难度,方向盘手动行驶模式需要细致的方向盘操作,在这一点上也可以说难度比加速器手动行驶模式以及制动器手动行驶模式高。
并且,工作控制中包括行驶控制以及提示控制。行驶控制中包括减速控制、加速控制、以及方向控制。减速控制是例如停车制动器或制动器的控制。加速控制是例如加速器的控制。方向控制是例如方向盘的控制。并且,提示控制中包括灯光控制、显示控制、以及投影控制。灯光控制是例如危险灯或方向指示器等的控制。显示控制是例如显示器装置等显示装置的控制。投影控制是例如投影仪等投影装置的控制。另外,也可以将工作控制称为操作,也可以将行驶控制称为驾驶。
也可以说控制信号切换指示部133,若在车辆200中发生从自动驾驶向远程手动驾驶(从自主行驶模式向远程操作模式)的切换,则根据上述各信息的至少一个来决定车辆200的工作控制中的将要进行的远程手动操作的第1工作控制。于是,控制信号切换指示部133,向控制信号切换部240输出指示信息,以使车辆200根据决定的与远程操作模式中的第1工作控制对应的远程手动操作来工作,并且,使车辆200(例如,自动驾驶系统230)执行第1工作控制以外的第2工作控制。如此,控制信号切换指示部133作为切换指示部来发挥功能。另外,在此,自动控制中包括使自动驾驶系统230进行行驶控制以及提示控制的至少一方。
另外,分担行驶模式中的各功能的分担,并非受图3所示的分担所限。并且,分担行驶模式也可以包括上述的三个行驶模式以外的行驶模式。例如,分担行驶模式也可以包括,通过远程操作来进行加速器操作以及制动器操作,并且通过自动驾驶来进行其他的功能的行驶模式等。并且,控制工作并非受图3所示的操作所限。
[3.可行驶条件的说明]
接着,对于上述的各行驶模式中的可行驶条件,参照图4进行说明。图4是示出各行驶模式中的可行驶条件的一个例子的图。图4示出了各行驶模式、与每个行驶模式的用于允许该行驶模式中的行驶的各个项目的条件的对应关系。例如,远程操作装置130预先存储图4所示的示出各行驶模式中的可行驶条件的表。
可行驶条件的项目中包括通信延迟(RTT)、影像延迟(单向)、带宽(通信频带)、区域、车速、自动驾驶系统状态、行驶路径内步行者以及行驶任务。通信延迟以及带宽是通信的状态的一个例子,影像延迟是感测的状态的一个例子,区域是车辆200的地点的一个例子。并且,车速以及自动驾驶系统状态是行驶状态的一个例子,行驶路径内步行者是周围环境的一个例子,行驶任务是移动任务的一个例子。
在根据通信的状态决定行驶模式的情况下,控制信号切换指示部133,根据通信的状态与每个行驶模式的可行驶条件(例如,针对通信延迟、带宽的条件)的对应关系来决定行驶模式。另外,决定行驶模式,相当于决定被远程操作的第1工作控制。在根据图4所示的可行驶条件决定行驶模式的情况下,控制信号切换指示部133,以通信的状态越好,就使被允许的远程操作越多、越复杂或越高级的方式来决定行驶模式。通信的状态好意味着,例如通信延迟少或频宽大。换而言之,也可以说通信速度是高速的。也可以说通信的状态好意味着,通信环境的限制严格。
并且,在根据感测的状态决定行驶模式的情况下,控制信号切换指示部133根据感测的状态与每个行驶模式的可行驶条件(例如,针对影像延迟的条件)的对应关系来决定行驶模式。在根据图4所示的可行驶条件决定行驶模式的情况下,控制信号切换指示部133以感测的状态越好,就使被允许的远程操作越多、越复杂或越高级的方式来决定行驶模式。感测的状态好意味着,例如影像延迟少。
并且,在根据车辆200的地点信息决定行驶模式的情况下,控制信号切换指示部133根据车辆200的地点与每个行驶模式的可行驶条件(例如,区域的条件)的对应关系来决定行驶模式。在根据图4所示的可行驶条件决定行驶模式的情况下,控制信号切换指示部133以地点信息所示的地点中的车辆200的自动驾驶的安全性越低,就使被允许的远程操作越多、越复杂或越高级的方式来决定行驶模式。换而言之,以自动驾驶的难度越高,就使被允许的远程操作越多、越复杂或越高级的方式来决定行驶模式。车辆200的自动驾驶的安全性低意味着,例如在自身车道以外的行车线(例如,对面车道,若现在是慢车道则是指快车道等)上行驶。也就是说,车辆200的自动驾驶的安全性低意味着,自动驾驶行驶过程中的危险度高。车辆200的自动驾驶的安全性低也可以是指,与自动驾驶相比远程手动驾驶的危险度相对低。
并且,在根据车辆200的行驶状态决定行驶模式的情况下,控制信号切换指示部133,根据行驶状态与每个行驶模式的可行驶条件(例如,针对车速、自动驾驶系统状态的条件)的对应关系来决定行驶模式。在根据图4所示的可行驶条件决定行驶模式的情况下,控制信号切换指示部133从车速方面来看,以车速的车辆200的安全性越高,就使被允许的远程操作越多、越复杂或越高级的方式来决定行驶模式。车辆200的安全性高例如是指车速慢,即行驶过程中的危险度低。
并且,在根据图4所示的可行驶条件决定行驶模式的情况下,控制信号切换指示部133,以自动驾驶系统状态的车辆200的安全性越低,就使执行的远程操作越多、越复杂或越高级的方式来决定行驶模式。车辆200的自动驾驶的安全性低意味着,例如自动驾驶系统状态有异常。也就是说,车辆200的自动驾驶的安全性低意味着,远程手动驾驶的行驶过程中的危险度相对低。
并且,在根据车辆200的周边环境决定行驶模式的情况下,控制信号切换指示部133,根据周边环境与每个行驶模式的可行驶条件(例如,针对步行路径内步行者的条件)的对应关系来决定行驶模式。在根据图4所示的可行驶条件决定行驶模式的情况下,控制信号切换指示部133,以周边环境下的车辆200的自动驾驶的安全性越低,就使被允许的远程操作越多、越复杂或越高级的方式来决定行驶模式。换而言之,以自动驾驶的难度越高,就使被允许的远程操作越多、越复杂或越高级的方式来决定行驶模式。车辆200的自动驾驶的安全性低是指例如行驶路径内存在步行者等,意味着行驶路径上存在障碍物。也就是说,车辆200的自动驾驶的安全性低意味着,自动驾驶行驶过程中的危险度高。车辆200的自动驾驶的安全性低也可以是指,与自动驾驶相比远程手动驾驶的危险度相对低。
并且,在根据车辆200的行驶任务决定行驶模式的情况下,控制信号切换指示部133根据该行驶任务与每个行驶模式的可行驶条件(例如,能够应对的任务)的对应关系来决定行驶模式。在根据图4所示的可行驶条件决定行驶模式的情况下,控制信号切换指示部133以该行驶任务越复杂,就使被允许的远程操作越多、越复杂或越高级的方式来决定行驶模式。行驶任务复杂意味着,例如工作控制精细、或者用于工作控制的判断是综合性判断。
如此,控制信号切换指示部133能够根据通信的状态、感测的状态、车辆200的地点信息、车辆200的行驶状态、车辆200的周边环境以及能够执行的行驶任务的至少一个来实现车辆操作的一部分的自动化(基于自动驾驶系统230的自动控制),并且能够对自动驾驶功能以及每个远程操作者H所能够控制的车辆功能(控制工作)进行限制。
另外,如图4以及图5所示,也可以说控制信号切换指示部133根据各种信息与以远程手动操作来执行的工作控制的对应关系,从而决定行驶模式。
另外,以上说明的例子虽然是控制信号切换指示部133根据通信的状态、感测的状态、地点信息、行驶状态、周边环境以及行驶任务的任意一个来决定行驶模式,但是,也可以根据通信的状态、感测的状态、地点信息、行驶状态、周边环境以及行驶任务中的两个以上来决定行驶模式。
[4.车辆控制系统的工作]
接着,对于上述说明的车辆控制系统10的工作(信息处理方法的一个例子),参照图5至图7进行说明。图5是示出本实施方式所涉及的车辆控制系统10的工作的流程图。具体而言,图5示出了远程操作装置130的工作。另外,以下对控制信号切换指示部133至少根据示出远程操作装置130与车辆200之间的通信的状态的通信信息来决定行驶模式的例子进行说明。
如图5所示,车辆200开始自主行驶模式的行驶(S10)。
接着,控制信号切换指示部133获得通信信息、地点信息、环境信息以及车辆信息(S20)。控制信号切换指示部133从通信状态测量部134获得通信信息,从车辆200获得地点信息、环境信息以及车辆信息。控制信号切换指示部133也可以将获得的各种信息中需要的信息输出给可否继续行驶判断部132。另外,在步骤S20中,获得通信信息、地点信息、环境信息以及车辆信息的至少一个即可。在本实施方式的步骤S20中,至少获得通信信息即可。并且,控制信号切换指示部133也可以从应对内容判断部131获得应对内容信息。并且,控制信号切换指示部133也作为获得上述的各种信息的获得部来发挥功能。通信信息、地点信息、环境信息以及车辆信息的至少一个是,与移动体的状态有关的信息的一个例子。
另外,控制信号切换指示部133获得通信信息、地点信息、环境信息、车辆信息以及应对内容信息的定时,并没有特别限制,可以定期地获得,也可以根据远程操作者H的操作获得。并且,通信信息、地点信息、环境信息、车辆信息以及应对内容信息,可以在互不相同的定时获得,也可以在相同的定时获得。
接着,可否继续行驶判断部132判断是否能够继续自主行驶模式的行驶(S30)。例如,可否继续行驶判断部132根据与自主行驶模式对应的可行驶条件以及步骤S20中获得的各种信息,对是否能够继续自主行驶模式的行驶进行判断。可否继续行驶判断部132,例如,在满足自主行驶模式所有项目中的可行驶条件的情况下,判断为能够继续自主行驶模式的行驶,在至少有一个项目没有被满足的情况下,则判断为不能继续自主行驶模式的行驶继续。可否继续行驶判断部132,将判断结果输出给控制信号切换指示部133。
控制信号切换指示部133,在可否继续行驶判断部132判断为能够继续自主行驶模式的行驶的情况下(S30的“是”),继续自主行驶模式的行驶(S40)。也就是说,控制信号切换指示部133不改变行驶模式。
接着,控制信号切换指示部133判断行驶是否结束(S50)。控制信号切换指示部133也可以例如根据是否到达目的地来进行步骤S50的判断。
控制信号切换指示部133,在行驶结束的情况下(S50的“是”),结束关于车辆200的处理。并且,控制信号切换指示部133,在行驶没有结束的情况下(S50的“否”),返回到步骤S20继续进行处理。
并且,控制信号切换指示部133在可否继续行驶判断部132判断为不能继续自主行驶模式的行驶的情况下(S30的“否”),执行切换行驶模式的处理(S60)。对于步骤S60,将在后面参照图6进行详细说明。另外,例如,在步骤S30的“否”的情况下,控制信号切换指示部133也可以使提示部110提示表示不能继续自主行驶模式的行驶的信息。并且,控制信号切换指示部133,例如,在步骤S30的“否”的情况下,也可以使提示部110显示用于使远程操作者H选择切换的行驶模式的信息,也可以根据当前的各种信息使提示部110显示表示能够切换的行驶模式的信息。控制信号切换指示部133也可以,在显示表示能够切换的行驶模式的信息的情况下,对远程操作者H的负担少的行驶模式加以强调进行显示。
另外,步骤S30中判断为“否”即发生不能继续自动驾驶的状态的情况是,发生从自动驾驶向远程手动驾驶的切换的一个例子。
另外,以下说明,控制信号切换指示部133使提示部110显示用于使远程操作者H选择切换行驶模式的信息的例子。
接着,控制信号切换指示部133,判断步骤S60中决定的行驶模式是否是后退模式(S70)。后退模式是指,在不存在满足可行驶条件的行驶模式的情况下决定的行驶模式,例如是使车辆200停止行驶的行驶模式。
控制信号切换指示部133在步骤S60中决定的行驶模式是后退模式的情况下(S70的“是”),使车辆200停止(例如,在路边停止),结束处理。并且,控制信号切换指示部133在步骤S60中决定的行驶模式不是后退模式的情况下(S70的“否”),以步骤S60中决定的行驶模式来进行行驶。也就是说,车辆200的行驶模式,从自主行驶模式切换为步骤S60中决定的行驶模式。于是,返回到步骤S20,继续处理。
接着,对于图5所示的切换行驶模式的处理(S60),参照图6进行详细说明。图6是示出图5所示的行驶模式的切换处理的详细流程图。另外,假设车辆200不能进行自主行驶模式的行驶,而处于停车的状态。
如图6所示,远程操作者H,从提示部110所显示的行驶模式中选择一个行驶模式。换而言之,提示部110显示用于选择行驶模式的信息,车辆操作部120接受来自远程操作者H对行驶模式的选择(S110)。用于选择行驶模式的信息是例如示出预先设定的各行驶模式的信息,在本实施方式中包括示出自主行驶模式、加速器手动行驶模式、制动器手动行驶模式、方向盘手动行驶模式以及完全远程操作模式这五个行驶模式的信息。并且,在用于选择行驶模式的信息中也可以包括后退模式。
控制信号切换指示部133,若车辆操作部120接受行驶模式的选择,则判断自主行驶模式是否被选择,以及在自主行驶模式被选择的情况下判断是否能够进行自主行驶模式的行驶(S120)。控制信号切换指示部133在自主行驶模式已被选择且能够以自主行驶模式来行驶的情况下(S120的“是”),切换为自主行驶模式(S130)。控制信号切换指示部133向车辆200输出示出以自主行驶模式来行驶的指示信息。控制信号切换部240,若获得该指示信息,则将来自自动驾驶系统230的控制信号输出给车辆控制部250,以使车辆200以自主行驶模式来行驶。
据此,例如在消除了步骤S30中判断为“否”的原因的情况下,控制信号切换指示部133能够重新开始自主行驶模式的行驶。
另外,根据图4所示的自主行驶模式的可行驶条件,对是否能够进行自主行驶模式的行驶进行判断。例如,在步骤S120以及S30中判断是否能够进行自动行驶模式的行驶的可行驶条件也可以是相同的。
并且,控制信号切换指示部133在自主行驶模式没有被选择的情况下(S120的“否”),进一步,判断加速器手动行驶模式是否被选择,以及在加速器手动行驶模式被选择的情况下判断是否能够进行加速器手动行驶模式的行驶(S140)。例如,控制信号切换指示部133根据与加速器手动行驶模式对应的可行驶条件以及步骤S20中获得的各种信息,判断是否能够进行加速器手动行驶模式的行驶。控制信号切换指示部133例如在步骤S140中,判断是否满足加速器手动行驶模式中的可行驶条件。
例如,控制信号切换指示部133也可以根据通信信息以及感测信息来决定行驶模式,也可以根据通信信息以及地点信息来决定行驶模式,也可以根据通信信息以及行驶信息来决定行驶模式,也可以根据通信信息以及环境信息来决定行驶模式,也可以根据通信信息以及行驶任务信息来决定行驶模式。
控制信号切换指示部133在加速器手动行驶模式已被选择且能够以加速器手动行驶模式来行驶的情况下(S140的“是”),切换为加速器手动行驶模式(S150)。控制信号切换指示部133向车辆200输出示出以加速器手动行驶模式来行驶的指示信息。控制信号切换部240,若获得该指示信息,则通过将来自自动驾驶系统230的控制信号中的针对停车制动器以及加速器的操作部分替换为来自车辆操作部120的控制信号,并输出给车辆控制部250,从而使车辆200以加速器手动行驶模式来行驶。
并且,控制信号切换指示部133在加速器手动行驶模式没有被选择的情况下(S140的“否”),进一步,判断制动器手动行驶模式是否被选择,以及在制动器手动行驶模式被选择的情况下判断是否能够进行制动器手动行驶模式的行驶(S160)。例如,控制信号切换指示部133根据与制动器手动行驶模式对应的可行驶条件以及步骤S20中获得的各种信息,判断是否能够进行制动器手动行驶模式的行驶。控制信号切换指示部133,例如,在步骤S160中,判断是否满足制动器手动行驶模式中的可行驶条件。
控制信号切换指示部133在制动器手动行驶模式已被选择且能够以制动器手动行驶模式来行驶的情况下(S160的“是”),切换为制动器手动行驶模式(S170)。控制信号切换指示部133向车辆200输出示出以制动器手动行驶模式来行驶的指示信息。控制信号切换部240若获得该指示信息,则通过将来自动驾驶系统230的控制信号中的针对停车制动器以及制动器的操作部分替换为来自车辆操作部120的控制信号,并输出给车辆控制部250,从而使车辆200以制动器手动行驶模式来行驶。
并且,控制信号切换指示部133在制动器手动行驶模式没有被选择的情况下(S160的“否”),进一步,判断方向盘手动行驶模式是否被选择,以及在方向盘手动行驶模式被选择的情况下判断是否能够进行方向盘手动行驶模式的行驶(S180)。例如,控制信号切换指示部133根据与方向盘手动行驶模式对应的可行驶条件以及步骤S20中获得的各种信息,判断是否能够进行方向盘手动行驶模式的行驶。控制信号切换指示部133,例如,在步骤S180中,判断是否满足方向盘手动行驶模式中的可行驶条件。
控制信号切换指示部133在方向盘手动行驶模式已被选择且能够以方向盘手动行驶模式来行驶的情况下(S180的“是”),切换为方向盘手动行驶模式(S190)。控制信号切换指示部133向车辆200输出示出以方向盘手动行驶模式来行驶的指示信息。控制信号切换部240,若获得该指示信息,则通过将来自动驾驶系统230的控制信号中的针对停车制动器、方向盘以及提示装置的操作的部分替换为来自车辆操作部120的控制信号,并输出给车辆控制部250,从而使车辆200以方向盘手动行驶模式来行驶。
并且,控制信号切换指示部133在方向盘手动行驶模式没有被选择的情况下(S180的“否”),进一步判断完全远程操作模式是否被选择,以及在完全远程操作模式被选择的情况下判断是否能够进行完全远程操作模式的行驶(S200)。例如,控制信号切换指示部133根据与完全远程操作模式对应的可行驶条件以及步骤S20中获得的各种信息,判断是否能够进行完全远程操作模式的行驶。例如,控制信号切换指示部133在步骤S200中,判断是否满足完全远程操作模式中的可行驶条件。
控制信号切换指示部133在完全远程操作模式已被选择且能够以完全远程操作模式来行驶的情况下(S200的“是”),切换为完全远程操作模式(S210)。控制信号切换指示部133向车辆200输出示出以完全远程操作模式来行驶的指示信息。控制信号切换部240,若获得该指示信息,则通过丢弃来自自动驾驶系统230的控制信号,将来自车辆操作部120的控制信号输出给车辆控制部250,从而使车辆200以完全远程操作模式来行驶。
并且,控制信号切换指示部133在完全远程操作模式没有被选择的情况下(S200的“否”),或者,在虽然完全远程操作模式被选择但不能进行完全远程操作模式的行驶的情况下,判断为切换为后退模式(S220)。控制信号切换指示部133向车辆200输出示出以后退模式来行驶的指示信息。自动驾驶系统230,若获得该指示信息,则通过将使车辆200在路边停车的控制信号,经由控制信号切换部240输出给车辆控制部250,从而使车辆200停止。
另外,在步骤S140中,虽然加速器手动行驶模式被选择但不能进行加速器手动行驶模式的行驶的情况下,在步骤S160中,虽然制动器手动行驶模式被选择但不能进行制动器手动行驶模式的行驶的情况下,或者,在步骤S180中,虽然方向盘手动行驶模式被选择但不能进行方向盘手动行驶模式的行驶的情况下,控制信号切换指示部133也可以使提示部110显示表示接受了选择的行驶模式为不能行驶的信息。并且,在此情况下,控制信号切换指示部133也可以返回到步骤S110,再次接受行驶模式的选择,也可以使提示部110显示表示能够选择的行驶模式的信息。
在本实施方式中,控制信号切换指示部133,在步骤S120、S140、S160、S180以及S200的可否行驶的判断中,至少利用通信信息进行判断。
例如,控制信号切换指示部133也可以仅根据通信的状态、与被允许远程手动操作的工作控制的对应关系来决定行驶模式(第1工作控制的一个例子)。在此情况下,控制信号切换指示部133也可以将切换后的行驶模式决定为,通信的状态越好,被允许的远程操作越多、越复杂或越高级的行驶模式。
并且,例如,控制信号切换指示部133也可以根据通信的状态以及感测的状态、与被允许远程手动操作的工作控制的对应关系来决定行驶模式(第1工作控制的一个例子)。在此情况下,控制信号切换指示部133也可以将切换后的行驶模式决定为感测的状态越好,被允许的远程操作越多、越复杂或越高级的行驶模式。例如,控制信号切换指示部133也可以将切换后的行驶模式决定为通信的状态以及感测的状态越好,被允许的远程操作越多、越复杂或越高级的行驶模式。
并且,例如,控制信号切换指示部133也可以根据通信的状态以及车辆200的地点、与被允许远程手动操作的工作控制的对应关系来决定行驶模式(第1工作控制的一个例子)。在此情况下,控制信号切换指示部133也可以将切换后的行驶模式决定为车辆200的地点的车辆200的安全性越低,被执行的远程操作越多、越复杂或越高级的行驶模式。
并且,例如,控制信号切换指示部133也可以根据通信的状态以及车辆200的行驶状态、与被允许远程手动操作的工作控制的对应关系来决定行驶模式(第1工作控制的一个例子)。在此情况下,控制信号切换指示部133也可以将切换后的行驶模式决定为车辆200的行驶状态下的车辆200的安全性越高,被允许的远程操作越多、越复杂或越高级的行驶模式。
并且,例如,控制信号切换指示部133也可以根据通信的状态以及车辆200的周边环境、与被允许远程手动操作的工作控制的对应关系来决定行驶模式(第1工作控制的一个例子)。在此情况下,控制信号切换指示部133也可以将切换后的行驶模式决定为车辆200的周边环境下的车辆200的安全性越低,被执行的远程操作越多、越复杂或越高级的行驶模式。
并且,控制信号切换指示部133也可以根据通信的状态以及能够执行的行驶任务、与被允许远程手动操作的工作控制的对应关系来决定行驶模式(第1工作控制的一个例子)。在此情况下,控制信号切换指示部133也可以将切换后的行驶模式决定为车辆200的能够执行的行驶任务越少(例如,仅左右转以及直线),被执行的远程操作越多、越复杂或越高级的行驶模式。
另外,在上述中说明了控制信号切换指示部133利用两个信息决定行驶模式的例子,但是,也可以利用三个以上的信息决定行驶模式。例如,控制信号切换指示部133也可以利用通信的状态、感测的状态、车辆200的地点、车辆200的行驶状态、车辆200的周边环境、以及能够执行的行驶任务的每一个,来决定行驶模式。关于用于行驶模式的决定的信息,可以预先设定,也可以由远程操作者H设定。
另外,在步骤S200中判断为“否”,并且进行步骤S220的处理后,也可以隔开规定的时间间隔,再次进行步骤S110的处理。
在此,对于向加速器手动行驶模式进行切换的例子,参照图7进行说明。图7是用于说明向加速器手动行驶模式切换的示意图。具体而言,图7示出车辆200的各状态下的提示部110显示的图像的一个例子。另外,从车辆200延伸的箭头或虚线示出了车辆200的行驶路径。并且,提示部110显示的图像例如是俯瞰图像,但是,并不限于此。在车辆200具备环绕视图系统的情况下,提示部110能够显示俯瞰图像。
图7的(a)示出了由于车辆200脱离自主行驶模式中的可行驶条件而停车的状态。具体而言,图7的(a)示出了提示部110显示的如下情况的图像:行驶在道路L上的车辆200的前方停有堵塞自身车道的车辆400(其他车辆),而车辆200刚停车后的状态的图像。并且,在图像中也可以显示当前的车辆200的行驶模式、以及车辆200在自主行驶模式中的可否行驶的判断结果。行驶模式是自动行驶(自主行驶模式),最新的可否继续行驶的判断结果是“可行驶”。
车辆400堵塞道路L,并且,车辆200的可行驶条件中包括的区域仅是自身车道以及对面车道中的自身车道。因此,车辆200不能以避开车辆400的方式在对面车道上行驶来通过。
并且,由于在车辆200的前方停有车辆400,因此应对内容判断部131,根据该状况判断为需要超过车辆400。应对内容判断部131,计算将要超过的路径。将要超过的路径中包括对面车道。因此,超过时的地点信息中包括作为行驶区域的对面车道。
图7的(b)示出了在提示部110显示表示提示警报以及脱离了可行驶条件的状态的图像的情况。图7的(b)示出了在图7的(a)中停车停了一定时间的状态(无法移动的状态)。
该图像包括:车辆400是车辆200的停车原因(图7的(b)中的“封锁道路”)、脱离了可行驶条件(图7的(b)中的“不可在对面车道行驶”)、当前的行驶模式(图7的(b)中的“在可否行驶条件外”)、可否继续行驶的判断结果(图7的(b)中的“STOP”)、以及用于切换行驶模式的切换按钮(图7的(b)中的按钮111)。例如,作为警报,显示停车原因、脱离了可行驶条件、可否继续行驶的判断结果等。
如此,通过向远程操作者H显示车辆200不能自动行驶的原因,从而能够使远程操作者H适当地识别车辆200的状况。远程操作者H只要看图7的(b)所示的图像,就能够容易地识别车辆200停止的状况。
若远程操作者H操作(例如,按压)按钮111,则控制信号切换指示部133例如使提示部110显示用于使远程操作者H选择切换后的行驶模式的按钮(未图示)。据此,控制信号切换指示部133,判断是否能够进行向远程操作者H选择的行驶模式的切换即可,能够减少判断中的处理量。
另外,在切换按钮由硬件按钮实现的情况下,提示部110也可以不提示切换按钮。
图7的(c)是示出切换到加速器手动行驶模式的状态的图。具体而言,图7的(c)示出了由远程操作者H选择加速器手动行驶模式,并且,能够进行加速器手动行驶模式的行驶(S140的“是”),切换到加速器手动行驶模式(S150)的状态。另外,图7的(c)示出了车辆410在对面车道上行驶。并且,在图7的(c)中,以点状的阴影来表示需要由远程操作者H监视的需要监视区域。
需要监视区域例如是在以加速器手动行驶模式来行驶过程中远程操作者H应该监视的区域,并且是车辆200周边的区域。远程操作者H的需要监视区域也可以是车辆200本身不能检测物体或检测物体的可靠性低的区域。
如图7的(c)所示,在提示部110显示按照向加速器手动行驶模式的切换而需要由远程操作者H监视的需要监视区域以及与车辆200的行驶有关的辅助信息。例如,提示部110将需要监视区域以及辅助信息与从车辆200获得的图像重叠来显示。如此,通过显示按照向加速器手动行驶模式的切换而需要监视的需要监视区域,从而远程操作者H能够容易地知道自己应该监视的区域。
并且,提示部110也可以显示行驶路径(图7的(c)所示的虚线)、当前的行驶模式(图7的(c)所示的“加速器手动”)、可否继续行驶的判断结果(图7的(c)所示的“可行驶”)等。据此,远程操作者H能够参考该辅助信息来对车辆200进行远程操作。并且,由于在行驶路径上存在车辆410,作为针对接近的车辆410的警报、或有可能碰撞车辆410的警报,提示部110也可以显示“注意前方”等提醒注意的信息。在辅助信息中包括提醒注意的信息。另外,行驶路径是车辆在行驶路径上的位置的一个例子。在图7的(c)的例子中,行驶路径上的位置中包括对面车道。
并且,作为行驶模式切换按钮,在图7的(c)中示出了表示“通常行驶”的按钮112以及表示“紧急停止”的按钮113。通常行驶是指以自主行驶模式来行驶,若按钮112被操作,则车辆200切换为自动行驶模式,以自主行驶模式来行驶。换而言之,控制信号切换指示部133,在按钮112被操作的情况下,从当前的加速器手动行驶模式切换为自主行驶模式。另外,图7的(c)的状态是指,因为没有满足自主行驶模式的可行驶条件(不可在对面车道行驶),所以不能操作按钮112的状态。也可以说不能操作的状态是操作变得无效的状态。据此,控制对没有满足可行驶条件的行驶模式进行选择的按钮,以使该按钮不能被选择。在图7的(c)中,以虚线来示出不能操作的按钮112。
控制信号切换指示部133也可以是,例如在由远程操作者H选择加速器手动行驶模式后,以规定的时间间隔来判断是否满足加速器手动行驶模式的可行驶条件。并且,控制信号切换指示部133也可以是,例如在由远程操作者H选择加速器手动行驶模式后,以规定的时间间隔来判断是否满足自主行驶模式的可行驶条件。
并且,紧急停止是用于使车辆200紧急停止的按钮,若按钮113被操作,则车辆200紧急停止。换而言之,在获得示出按钮113被操作的信号的情况下,不管当前的行驶模式如何,控制信号切换部240都会使车辆200强制停止。例如,不管来自控制信号切换指示部133的指示信息如何,控制信号切换部240都会使车辆200强制停止。
在行驶模式切换为加速器手动行驶模式,开始了加速器手动行驶模式的行驶的情况下,作为控制工作,远程操作者H进行停车制动器工作以及加速器操作,而制动器操作、方向盘操作以及提示操作则由自动驾驶系统230来控制。
图7的(d)是示出加速器手动行驶模式的行驶过程中的状态的图。图7的(d)示出了从图7的(c)的状态改变为以加速器手动行驶模式在对面车道上行驶,超过车辆400的状态。
如图7的(d)所示,控制信号切换指示部133,例如,若在车辆200以加速器手动行驶模式超过车辆400后,返回到自身车道并被判断为变成满足自主行驶模式的可行驶条件的状态,则使对按钮112的操作变得可能。在图7的(d)中,以实线来示出能够操作的按钮112。
例如若由远程操作者H操作按钮112,控制信号切换指示部133则将行驶模式从加速器手动行驶模式切换为自主行驶模式。具体而言,控制信号切换指示部133将指示以自主行驶模式来行驶的指示信息输出给控制信号切换部240。控制信号切换部240当得到指示信息时,则将来自自动驾驶系统230的控制信号输出给车辆控制部250,从而将车辆200切换为自主行驶模式。
据此,在车辆200不能进行自主行驶模式的行驶的情况下,远程操作装置130通过决定分担行驶模式来实现车辆操作的一部分的自动化,因此,与切换为完全远程操作模式的情况相比能够减轻远程操作者H的负担。并且,远程操作者H能够按照通信的状态、车辆状态、应对内容、车辆周边的状态,限制自动驾驶功能以及远程操作者H的每一个能够控制的车辆功能,因此,能够确保车辆200的行驶的安全性。
(实施方式的变形例)
对于本变形例所涉及的车辆控制系统的结构,参照图8进行说明。图8是示出本变形例所涉及的车辆控制系统的功能结构的方框图。本变形例所涉及的车辆控制系统,与实施方式所涉及的车辆控制系统10的主要区别在于,车辆200a具有远程操作边缘模块260。以后,对于本变形例所涉及的车辆控制系统,以与实施方式所涉及的车辆控制系统10的不同之处为中心进行说明。并且,对于与实施方式所涉及的车辆控制系统10相同或类似的结构,赋予与实施方式所涉及的车辆控制系统10相同的符号,并且会有省略或简化重复说明的情况。
另外,在图8中,仅示出车辆控制系统具备的各种构成要素中的、输入输出系统100a、远程操作装置130以及车辆200a。
如图8所示,本变形例所涉及的车辆200a,不具有实施方式的车辆200的控制信号切换部240,而是具有远程操作边缘模块260以及行驶模式切换部270。
远程操作边缘模块260是例如为了使如下情况成为可能而设置的模块,即,使虽然能够自动驾驶但不包括通过远程操作来进行远程手动驾驶的功能的车辆200a,能够进行自动驾驶以及通过远程操作来进行远程手动驾驶。例如,也可以将远程操作边缘模块260以追加的方式安装在能够自动驾驶的车辆200a。并且,远程操作边缘模块260经由通信网络,与车辆操作部120以及远程操作装置130以能够通信的方式来连接。
远程操作边缘模块260具有自动驾驶辅助系统261以及控制信号切换部262。
自动驾驶辅助系统261执行用于车辆200a自动驾驶的处理。自动驾驶辅助系统261根据车辆信息等生成自动驾驶的行驶计划。行驶计划中包括行驶路径、速度等。并且,在以自主行驶模式来行驶的情况下,自动驾驶辅助系统261,为了执行生成的行驶计划,而生成基于行驶计划的控制信号,并输出给控制信号切换部262。自动驾驶辅助系统261例如是独立于自动驾驶系统230的系统,并且是具有与自动驾驶系统230同样的功能的系统。
另外,自动驾驶辅助系统261生成的行驶计划以及控制信号,可以与自动驾驶系统230生成的行驶计划以及控制信号相同,也可以互不相同。
另外,例如,自动驾驶辅助系统261也可以从自动驾驶系统230获得行驶计划以及控制信号。也就是说,自动驾驶辅助系统261也可以将自动驾驶系统230生成的控制信号输出给控制信号切换部262。
控制信号切换部262具有与实施方式的控制信号切换部240同样的功能。控制信号切换部262将用于实现与控制信号切换指示部133决定的行驶模式对应的行驶的控制信号输出给行驶模式切换部270。在以远程操作模式中的完全远程操作模式来行驶的情况下,控制信号切换部262将来自车辆操作部120的控制信号,输出给行驶模式切换部270。并且,在以远程操作模式中的分担行驶模式来行驶的情况下,控制信号切换部262从来自车辆操作部120的控制信号以及来自自动驾驶辅助系统261的控制信号的每一个中提取需要的信息,将提取的信息输出给行驶模式切换部270。在以加速器手动行驶模式来行驶的情况下,控制信号切换部262提取来自自动驾驶辅助系统261的控制信号中的除加速器以及停车制动器以外的信息、以及来自车辆操作部120的控制信号中的与加速器以及停车制动器有关的信息,将提取的信息作为控制信号输出给行驶模式切换部270。
并且,控制信号切换部262也可以,在从控制信号切换指示部133获得示出向远程操作模式切换的指示信息的情况下,将该指示信息输出给行驶模式切换部270。
行驶模式切换部270根据控制信号切换指示部133决定的行驶模式,即根据指示信息,将自动驾驶系统230以及远程操作边缘模块260的任意一个的控制信号输出给车辆控制部250。也就是说,行驶模式切换部270,按照行驶模式是自主行驶模式还是远程操作模式,来切换向车辆控制部250输出的控制信号。远程操作模式中包括分担行驶模式的某一个、或完全远程操作模式。
在控制信号切换指示部133将行驶模式决定为自主行驶模式的情况下,行驶模式切换部270将来自自动驾驶系统230的控制信号输出给车辆控制部250。此时,行驶模式切换部270不将来自远程操作边缘模块260的控制信号输出给车辆控制部250。并且,在控制信号切换指示部133将行驶模式决定为远程操作模式的情况下,行驶模式切换部270将来自远程操作边缘模块260的控制信号输出给车辆控制部250。此时,行驶模式切换部270不将来自自动驾驶系统230的控制信号输出给车辆控制部250。
据此,即使在车辆200a不具有切换为远程操作模式的功能的情况下,也只要安装远程操作边缘模块260,在该车辆200a中就能够切换为远程操作装置130决定的远程操作模式。
(其他的实施方式)
以上,对于本公开,根据实施方式以及变形例(以后,也记载为实施方式等)进行了说明,但是,本公开并不限于上述实施方式等。只要不脱离本公开的主旨,对本实施方式等实施本领域技术人员想到的各种变形的形态,或组合不同的实施方式等的构成要素来构成的形态,也可以包含在本公开的一个或多个形态的范围内。
例如,在上述实施方式等中说明了,控制信号切换指示部,至少根据通信信息来决定行驶模式的例子,但是,并不限于此。控制信号切换指示部也可以不利用通信信息而决定行驶模式。控制信号切换指示部,根据通信信息、感测的状态、地点信息、行驶信息、环境信息以及行驶任务信息的至少一个来决定行驶模式即可。据此,即使在由于针对移动体周边的感测的状态、移动体的位置、移动体的行驶状态、移动体的车辆周边的状态以及移动体的行驶任务的任意一个的缘故而使远程操作者的远程操作的负担增大的情况下,也通过按照上述的各种状况适当地分担基于自动驾驶功能的车辆控制和远程操作者的车辆控制,从而在能够减少远程操作者的负担的同时,也能够确保整个系统的安全性。另外,通信信息、感测的状态、地点信息、行驶信息、环境信息以及行驶任务信息是,与移动体有关的信息的一个例子。
并且,在上述实施方式等中对作为分担行驶模式,具有加速器手动行驶模式、制动器手动行驶模式以及方向盘手动行驶模式这三个行驶模式的例子进行了说明,但是,行驶模式并不限于该例子。例如,也可以以从移动体向周围发出语音的模式、在由远程操作者进行注视(步行者接近,车辆接近,自行车接近)后继续自主行驶的模式等,来代替上述三个行驶模式,或者,加在上述的三个行驶模式中以作为分担行驶模式,按照远程操作者的远程操作的负担的大小向这些模式进行切换。
并且,在上述实施方式等中,关于分担行驶模式,通过基于车辆具备的自动驾驶功能的车辆控制和远程操作者的车辆控制这两者的分担来进行,但也可以通过基于车辆具备的自动驾驶功能的车辆控制、远程操作者的车辆控制、以及基于远程操作装置生成的指令的车辆控制这三者的分担来进行。
并且,在上述实施方式等中说明了,通信状态测量部测量通信的状态的例子,但是,并不限于此。例如,通信状态测量部也可以从与通信网络以能够通信的方式来连接的外部的装置获得示出该通信网络的通信的状态的信息。
并且,在上述实施方式等中说明了,如图7的(c)所示,在提示部显示需要监视区域的例子,但显示需要监视区域并非是必需的。
并且,在上述实施方式等中说明了,提示部提示俯瞰图像的例子,但是,并不限于此。提示部,例如,也可以提示360度的影像,也可以重新合成影像来对第三人称视点影像进行提示。并且,提示部也可以提示搭载在车辆的传感器(例如,物体检测传感器)检测出的物体信息(障碍物信息)。物体信息中包括物体的位置、大小、速度等的至少一个。
并且,在上述实施方式中,作为发生从自动驾驶向远程手动驾驶的切换的一个例子,举出了在步骤S30中判断为“否”的情况,但是,并不限于此,也可以由远程操作者来进行示出从自动驾驶切换为远程手动驾驶的操作。
并且,上述实施方式等中说明的多个处理的顺序是一个例子。也可以改变多个处理的顺序,也可以并行地执行多个处理。并且,多个处理的一部分也可以不被执行。
并且,上述实施方式等中说明的各构成要素,也可以作为软件来实现,典型而言,也可以作为集成电路即LSI来实现。这些也可以个别地被制成一个芯片,也可以将其中的一部分或全部制成一个芯片。在此,设为系统LSI,但是,也会有根据集成度的不同,称为IC、系统LSI、超LSI、特大LSI的情况。并且,集成电路化的方法,并不限于LSI,也可以由专用电路或通用处理器来实现。也可以利用LSI的制造后能够编程的FPGA(Field ProgrammableGate Array:现场可编程门阵列)、或能够重新构成LSI内部的电路单元的连接活设定的可重构处理器。
并且,方框图中的功能块的分割为一个例子,多个功能块可以作为一个功能块来实现,一个功能块也可以分割为多个,一部分的功能也可以移动到其他的功能块。并且,具有类似的功能的多个功能块的功能也可以由单一的硬件或软件进行并行处理或者进行时间分割处理。
并且,车辆控制系统具备的远程操作装置,也可以作为单一的装置来实现,也可以由多个装置来实现。例如,远程操作装置的各处理部,也可以由两个以上的装置来实现。例如,远程操作装置的至少一个处理部的功能,也可以由搭载在车辆的装置来实现。在远程操作装置由多个装置来实现的情况下,也可以将远程操作装置具备的构成要素以任何方式来分配到多个装置。并且,多个装置间的通信方法,没有特别限定。
并且,在上述实施方式中说明了,远程操作边缘模块被搭载在车辆的例子,但是,并不限于此。例如,远程操作边缘模块也可以被搭载在远程操作装置。
进一步,本公开的技术也可以是上述程序,也可以是记录了上述程序的非暂时性的计算机可读取的记录介质。并且,当然,上述程序能够经由互联网等的传输介质分发。例如,也可以将上述程序以及由上述程序构成的数字信号,经由电通信线路、无线或有线通信线路、以互联网为代表的网络、数据广播等传输。并且,也可以将上述程序以及由上述程序构成的数字信号,记录到记录介质来传输,或者,经由网络等来传输,从而由独立的其他的计算机系统执行。
并且,在实施方式等中,各构成要素可以由专用的硬件来构成,也可以通过执行适于各构成要素的软件程序来实现。也可以通过CPU或处理器等的程序执行部,读出并执行硬盘或半导体存储器等的记录介质中记录的软件程序,来实现各构成要素。
本公开,能够广泛地用于运用能够自主行驶模式以及以远程操作模式来行驶的移动体的系统。
符号说明
10 车辆控制系统(信息处理系统)
100 远程操作系统
100a 输入输出系统
110 提示部
111,112,113 按钮
120 车辆操作部
130 远程操作装置
131 应对内容判断部
132 可否继续行驶判断部
133 控制信号切换指示部
134 通信状态测量部
200,200a,400,410 车辆
210 环境信息获得部
220 车辆信息获得部
230 自动驾驶系统
240,262 控制信号切换部
250 车辆控制部
260 远程操作边缘模块
261 自动驾驶辅助系统
270 行驶模式切换部
300 网络
310 无线基站
H 远程操作者
L 道路

Claims (21)

1.一种信息处理方法,由计算机执行,在所述信息处理方法中,
获得与能够自动驾驶以及远程手动驾驶的移动体的状态有关的通信信息,
在所述移动体中发生了从所述自动驾驶向所述远程手动驾驶的切换的情况下,根据与所述移动体的状态有关的信息,来决定所述移动体的工作控制中的将要进行远程手动操作的第1工作控制,
根据与所述第1工作控制对应的所述远程手动操作来使所述移动体工作,并且,使所述移动体执行所述第1工作控制以外的第2工作控制。
2.如权利要求1所述的信息处理方法,
与所述移动体的状态有关的信息是示出所述移动体与远程操作装置之间的通信的状态的通信信息,所述远程操作装置是用于从远处通过通信对所述移动体进行操作的装置。
3.如权利要求2所述的信息处理方法,
在所述第1工作控制的决定中,根据所述通信的状态与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,来决定所述第1工作控制。
4.如权利要求3所述的信息处理方法,
在所述第1工作控制的决定中,以所述通信的状态越好,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
5.如权利要求2至4中任一项所述的信息处理方法,
所述通信的状态中包括所述移动体与所述远程操作装置之间的通信延迟或通信频带的状态。
6.如权利要求2至5中任一项所述的信息处理方法,
进一步获得示出针对所述移动体周边进行感测的状态的感测信息,
根据所述通信信息以及所述感测信息来决定所述第1工作控制。
7.如权利要求6所述的信息处理方法,
在所述第1工作控制的决定中,根据所述通信的状态以及所述感测的状态、与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,以感测的状态越好,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
8.如权利要求7所述的信息处理方法,
所述感测的状态中包括图像数据、声音数据、或者点云数据的处理延迟或欠缺。
9.如权利要求2至8中任一项所述的信息处理方法,
进一步获得示出所述移动体的地点的地点信息,
根据所述通信信息以及所述地点信息来决定所述第1工作控制。
10.如权利要求9所述的信息处理方法,
在所述第1工作控制的决定中,根据所述通信的状态以及所述移动体的地点、与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,以所述移动体的地点的所述移动体的所述自动驾驶的安全性越低,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
11.如权利要求10所述的信息处理方法,
所述移动体的地点中包括所述移动体的位置或所述移动体的移动路径上的位置。
12.如权利要求2至11中任一项所述的信息处理方法,
进一步获得示出所述移动体的移动状态的移动状态信息,
根据所述通信信息以及所述移动状态信息来决定所述第1工作控制。
13.如权利要求12所述的信息处理方法,
在所述第1工作控制的决定中,根据所述通信的状态以及所述移动体的所述移动状态、与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,以所述移动体的所述移动状态下的所述移动体的安全性越高,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
14.如权利要求13所述的信息处理方法,
所述移动体的所述移动状态中包括所述移动体的速度。
15.如权利要求2至14中任一项所述的信息处理方法,
进一步获得示出所述移动体的周边环境的环境信息,
根据所述通信信息以及所述环境信息来决定所述第1工作控制。
16.如权利要求15所述的信息处理方法,
在所述第1工作控制的决定中,根据所述通信的状态以及所述移动体的周边环境、与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,以所述移动体的所述周边环境下的所述移动体的所述自动驾驶的安全性越低,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
17.如权利要求16所述的信息处理方法,
所述移动体的所述周边环境中包括障碍物的状态、路面的状态或气候。
18.如权利要求2至17的任一项所述的信息处理方法,
进一步获得示出移动任务的移动任务信息,所述移动任务用于所述移动体的移动,
根据所述通信信息以及所述移动任务信息来决定所述第1工作控制。
19.如权利要求18所述的信息处理方法,
在所述第1工作控制的决定中,根据所述通信的状态以及所述移动任务、与被允许所述远程手动操作的所述移动体的所述工作控制的对应关系,以所述移动任务的复杂度越高,就使被允许的所述远程手动操作越多、越复杂或越高级的方式来决定所述第1工作控制。
20.如权利要求19所述的信息处理方法,
所述移动任务中包括直行、左右转、避开停在路上的车辆、倒退或靠向路边行驶。
21.一种信息处理系统,具备:
获得部,获得与能够自动驾驶以及远程手动驾驶的移动体的状态有关的信息;
决定部,在所述移动体中发生了从所述自动驾驶向所述远程手动驾驶的切换的情况下,根据与所述移动体的状态有关的信息,来决定所述移动体的工作控制中的将要进行远程手动操作的第1工作控制;以及
切换指示部,根据与所述第1工作控制对应的所述远程手动操作来使所述移动体工作,并且,使所述移动体执行所述第1工作控制以外的第2工作控制。
CN202180009965.5A 2020-12-10 2021-08-26 信息处理方法以及信息处理系统 Pending CN114981853A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020204691 2020-12-10
JP2020-204691 2020-12-10
PCT/JP2021/031333 WO2022123831A1 (ja) 2020-12-10 2021-08-26 情報処理方法、及び、情報処理システム

Publications (1)

Publication Number Publication Date
CN114981853A true CN114981853A (zh) 2022-08-30

Family

ID=81973494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180009965.5A Pending CN114981853A (zh) 2020-12-10 2021-08-26 信息处理方法以及信息处理系统

Country Status (5)

Country Link
US (1) US20220348221A1 (zh)
EP (1) EP4261804A4 (zh)
JP (1) JPWO2022123831A1 (zh)
CN (1) CN114981853A (zh)
WO (1) WO2022123831A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220204028A1 (en) * 2020-12-30 2022-06-30 Here Global B.V. Autonomous driving dual mode control
US20220340145A1 (en) * 2021-04-21 2022-10-27 Here Global B.V. Automatic recommendation of control in a simultaneous mix mode vehicle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5506423B2 (ja) 2010-01-21 2014-05-28 株式会社Ihiエアロスペース 無人車両の半自律走行システム
JP6940506B2 (ja) * 2016-08-22 2021-09-29 ソニーグループ株式会社 車両、および制御方法
JP7029910B2 (ja) * 2016-12-22 2022-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
JP6839770B2 (ja) * 2017-10-20 2021-03-10 株式会社日立製作所 移動体制御システム、および、管制装置
JP2019191893A (ja) * 2018-04-24 2019-10-31 本田技研工業株式会社 車両制御装置及びプログラム
JP7339332B2 (ja) * 2019-03-29 2023-09-05 本田技研工業株式会社 遠隔操作装置、遠隔操作方法及びプログラム
JP7236310B2 (ja) * 2019-03-29 2023-03-09 本田技研工業株式会社 経路設定装置、経路設定方法及びプログラム
JP7256668B2 (ja) * 2019-03-29 2023-04-12 本田技研工業株式会社 制御装置、制御方法及びプログラム
JP7276072B2 (ja) * 2019-10-22 2023-05-18 株式会社デンソー 遠隔支援システム、車載装置、遠隔支援方法、及び遠隔支援プログラム

Also Published As

Publication number Publication date
US20220348221A1 (en) 2022-11-03
WO2022123831A1 (ja) 2022-06-16
JPWO2022123831A1 (zh) 2022-06-16
EP4261804A4 (en) 2024-04-03
EP4261804A1 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
US11366477B2 (en) Information processing device, information processing method, and computer readable medium
JP6310565B2 (ja) 運転支援装置
US11203359B2 (en) Vehicle control system, vehicle control method, and storage medium
EP2957481B1 (en) Automatic parking system
KR102129340B1 (ko) 주차 제어 방법 및 주차 제어 장치
US20220348221A1 (en) Information processing method and information processing system
CN112977416B (zh) 驻车辅助系统及其控制方法
US11172167B2 (en) Video transmitting device, video transmitting method, and recording medium
JP2019168893A (ja) 遠隔運転管理装置及びプログラム
JP2018133072A (ja) 情報処理装置およびプログラム
CN112238868B (zh) 车辆控制装置以及车辆控制系统
JP7163077B2 (ja) 駐車支援装置、及び駐車支援方法
US20210016799A1 (en) Vehicle controller device and vehicle control system
US11383734B2 (en) Vehicle control apparatus, vehicle control method, vehicle, and non-transitory computer-readable storage medium
CN114787888A (zh) 信息处理方法、信息处理终端、以及信息处理系统
US11960280B2 (en) Display control device and display control method
CN112977451B (zh) 行驶辅助系统及其控制方法
CN112660041B (zh) 车辆以及远程操作系统
CN114867651A (zh) 信息处理方法以及信息处理系统
CN112238869B (zh) 车辆控制装置
US20220014941A1 (en) Control device and control method
JP2023030111A (ja) 運転支援装置、運転支援方法、およびプログラム
CN115309142A (zh) 远程支援管理系统、远程支援管理方法以及远程支援管理程序
CN112242066A (zh) 车辆控制装置
JP7099412B2 (ja) 車両制御装置及び車両制御システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination