CN115718439A - 远程驾驶员支持方法、远程驾驶员支持系统和存储介质 - Google Patents

远程驾驶员支持方法、远程驾驶员支持系统和存储介质 Download PDF

Info

Publication number
CN115718439A
CN115718439A CN202210679489.4A CN202210679489A CN115718439A CN 115718439 A CN115718439 A CN 115718439A CN 202210679489 A CN202210679489 A CN 202210679489A CN 115718439 A CN115718439 A CN 115718439A
Authority
CN
China
Prior art keywords
vehicle
remote driver
road
information
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210679489.4A
Other languages
English (en)
Inventor
福留秀树
赤塚康佑
上原水优
鬼头司
小见聡
西川裕己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN115718439A publication Critical patent/CN115718439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/201Dimensions of vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/40High definition maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

根据本公开的远程驾驶员支持方法包括:获取与由远程驾驶员远程地驾驶的车辆的尺寸相关的车辆尺寸信息;以及获取与车辆正前往的前方道路的结构相关的道路结构信息。根据本公开的远程驾驶员支持方法还包括:基于车辆尺寸信息和道路结构信息生成与车辆能够通过前方道路的可能性相关的可通过性信息;以及将可通过性信息通知给远程驾驶员。

Description

远程驾驶员支持方法、远程驾驶员支持系统和存储介质
技术领域
本公开涉及远程驾驶员支持方法、远程驾驶员支持系统和存储使计算机执行远程驾驶员支持的程序的存储介质。
背景技术
通过监视器的屏幕执行的远程驾驶使得难以把握距离的感觉。第2020-058003号日本未审查专利申请公开(JP2020-058003A)公开了该问题的解决方案的示例。在JP2020-058003A中公开的技术是在用于远程驾驶员的监视器的屏幕上显示从车辆到车辆周围的物体的距离。
对于远程驾驶员来说把握被远程地驾驶的车辆的尺寸也是不容易的。因此,在相关技术的远程驾驶系统中,不能正确地判断被远程地驾驶的车辆是否能够通过前方道路,这可能阻碍远程驾驶的继续。
发明内容
鉴于上述问题已经做出了本公开。本公开的目的是提供通过提供对判断车辆是否能够通过前方道路有用的信息来支持远程驾驶员的技术。
本公开提供远程驾驶员支持方法。根据本公开的远程驾驶员支持方法包括:获取与由远程驾驶员远程地驾驶的车辆的尺寸相关的车辆尺寸信息;以及获取与车辆正前往的前方道路的结构相关的道路结构信息。根据本公开的远程驾驶员支持方法还包括:基于车辆尺寸信息和道路结构信息生成与车辆能够通过前方道路的可能性相关的可通过性信息;以及将可通过性信息通知给远程驾驶员。
根据本公开的远程驾驶员支持方法还可以包括,将车辆尺寸信息和道路结构信息与可通过性信息一起通知给远程驾驶员。进一步地,将可通过性信息通知给远程驾驶员可以包括,对应于可通过性的大小改变由远程驾驶员观看的屏幕的至少一部分的颜色,并且可以包括在由远程驾驶员观看的屏幕上数值地显示前方道路的尺寸相对于车辆的尺寸的裕量的程度。
根据本公开的远程驾驶员支持方法还可以包括,依据远程驾驶员的转弯信号的操作方向从多个道路之中选择前方道路。进一步地,根据本公开的远程驾驶员支持方法还可以包括,基于由远程驾驶员对方向盘的转向角,判断远程驾驶员意图要前往的前方道路。
根据本公开的远程驾驶员支持方法还可以包括:在由远程驾驶员观看的屏幕上显示车辆的前方的视野;以及在屏幕上显示示出车辆的尺寸的图像。此外,根据本公开的远程驾驶员支持方法还可以包括:在由远程驾驶员观看的屏幕上以平面图或鸟瞰图显示前方道路的图像;以及在前方道路的图像上显示示出车辆的可能行驶轨迹的模拟结果的图像。
在根据本公开的远程驾驶员支持方法中,获取道路结构信息可以包括从高精度三维地图数据获取道路结构信息。
本公开提供远程驾驶员支持系统。根据本公开的远程驾驶员支持系统包括:至少一个存储器,其存储至少一个程序;以及至少一个处理器,其连接至该至少一个存储器。该至少一个程序配置为使至少一个处理器执行以下处理。第一处理是获取与由远程驾驶员远程地驾驶的车辆的尺寸相关的车辆尺寸信息。第二处理是获取与车辆正前往的前方道路的结构相关的道路结构信息。第三处理是基于车辆尺寸信息和道路结构信息生成与车辆能够通过前方道路的可能性相关的可通过性信息。第四处理是将可通过性信息通知给远程驾驶员。
本公开提供存储程序的存储介质,该程序使计算机执行对远程驾驶员的支持。根据本公开的程序配置为使计算机执行以下处理。第一处理是获取与由远程驾驶员远程地驾驶的车辆的尺寸相关的车辆尺寸信息。第二处理是获取与车辆正前往的前方道路的结构相关的道路结构信息。第三处理是基于车辆尺寸信息和道路结构信息生成与车辆能够通过前方道路的可能性相关的可通过性信息。第四处理是将可通过性信息通知给远程驾驶员。
该远程驾驶员支持方法、远程驾驶员支持系统和存储介质可以通过提供对判断车辆是否能够通过前方道路有用的信息来支持远程驾驶员。
附图说明
下面将参考附图描述本发明的示例性实施例的特征、优点、和技术和工业意义,在附图中相似的符号表示相似的元件,并且其中:
图1是阐释远程驾驶装置的配置的示例以及需要对远程驾驶员的支持的第一情况的图;
图2是阐释在第一情况下的远程驾驶员支持方法的概要的图;
图3是阐释在第一情况下的远程驾驶员支持方法的概要的图;
图4示出在第一情况下的显示装置的屏幕的显示示例;
图5是阐释需要对远程驾驶员的支持的第二情况的图;
图6是阐释在第二情况下的远程驾驶员支持方法的概要的图;
图7示出在第二情况下的显示装置的屏幕的第一显示示例;
图8示出在第二情况下的显示装置的屏幕的第二显示示例;
图9是阐释需要对远程驾驶员的支持的第三情况的图;
图10是阐释在第三情况下的远程驾驶员支持方法的概要的图;
图11示出在第三情况下的显示装置的屏幕的显示示例;
图12是示出根据本公开的实施例的远程驾驶员支持方法的过程的流程图;以及
图13是示出根据本公开的实施例的远程驾驶员支持系统的配置示例的图。
具体实施方式
在下文中,将参考附图描述本公开的实施例。然而,当在下面示出的实施例中参考每个元件的数目、数量、量、范围等时,除了当明确陈述或者当在原则上由该数字清楚指定时,本公开的构思不限于在本文中提及的数字。此外,除了当明确陈述或者当在原则上清楚指定时之外,在下面示出的实施例中描述的结构等不一定是本公开的思想所必需的。
1.远程驾驶装置的配置
根据本实施例的支持方法是支持远程驾驶员的方法。远程驾驶员在远离车辆的位置处操作远程驾驶装置。远程驾驶装置向远程驾驶员提供与驾驶相关的信息并且接收远程驾驶员的操作。在图1中示出了远程驾驶装置的配置的示例。图1中示出的远程驾驶装置100包括信息处理装置110、数据存储装置120、驾驶操作装置130和显示装置140。
信息处理装置110是执行与远程驾驶相关的处理的装置。信息处理装置110包括至少一个处理器和连接至该处理器的至少一个存储器。存储器存储可由处理器执行的程序。该存储器包括主存储装置和辅助存储装置。该程序可以存储在主存储装置或包括辅助存储装置的计算机可读记录介质中。存储在存储器中的程序包括使作为计算机的信息处理装置110执行稍后将描述的对远程驾驶员的支持的程序。该程序可以经由网络提供。
数据存储装置120是存储高精度三维地图数据的装置。高精度三维地图数据包括道路结构信息,例如,诸如道路宽度、曲率、台阶落差(step)、隧道区间的天花板高度的信息。数据存储装置120可以是附接至信息处理装置110的外部存储装置,或者可以是经由网络连接至信息处理装置110的数据服务器。在任何情况下,存储在数据存储装置120中的高精度三维地图数据随时被更新为最新数据。信息处理装置110能够访问数据存储装置120,并从高精度三维地图数据获取必要的道路结构信息。
信息处理装置110配置为能够与驾驶操作装置130和显示装置140相互交换信息。通常地,信息处理装置110和驾驶操作装置130以及显示装置140通过通信电缆物理连接。然而,信息处理装置110可以是经由网络连接至驾驶操作装置130和显示装置140的服务器。此外,信息处理装置110配置为与车辆通信并且将信息发送至车辆并且从车辆接收信息。信息处理装置110与车辆之间的通信使用包括移动通信的网络来执行。
进一步地,信息处理装置110执行与显示装置140的显示相关的处理。即,在图1中示出的远程驾驶装置100中,信息处理装置110还用作显示处理装置。信息处理装置110发送显示信号至显示装置140。发送至显示装置140的显示信号包括用于显示从搭载在车辆上的摄像机获取的行驶图像的信号和用于显示用于支持远程驾驶员的支持信息的信号。
显示装置140依据从信息处理装置110获取的显示信号来执行显示。显示装置140通常是诸如液晶显示器或有机电致发光(Electro-Luminescence,EL)显示器的显示装置。然而,显示装置140可以是具有适当显示功能的另一装置。此外,显示装置140可以是由多个装置组成的系统。例如,显示装置140可以是通过连接多个显示装置而配置的多显示系统。在显示装置140的屏幕上显示至少车辆的行驶图像和用于支持远程驾驶员的支持信息。
驾驶操作装置130是接收远程驾驶员的操作的装置。图1中示出的驾驶操作装置130包括:用于接收转向操作的方向盘131、用于接收加速操作的加速器踏板132、用于接收制动操作的制动踏板133、以及用于接收方向指示操作的转弯信号134。由驾驶操作装置130接收的操作信号经由信息处理装置110被发送至车辆。
2.远程驾驶员支持方法
2-1.远程驾驶中的问题
远程驾驶员通过视觉地检查显示装置140的屏幕来把握车辆周围的状况,并且适当地操作驾驶操作装置130。利用以上,执行远程驾驶员的远程驾驶。然而,在远程驾驶中,当远程驾驶员正查看显示装置140的屏幕时,远程驾驶员难以把握车辆的尺寸。在没有把握车辆的尺寸的情况下,远程驾驶员不能正确地判断车辆是否能够通过前方道路。
根据本实施例的支持方法是通过信息处理装置110使用支持信息的显示来支持远程驾驶员以使得远程驾驶员能够容易地把握在显示装置140的屏幕上的车辆的尺寸的方法。以下,以需要对远程驾驶员的支持的具体情况作为示例将描述根据本实施例的支持方法。
2-2.需要对远程驾驶员的支持的第一情况
2-2-1.第一情况的内容
将参考图1描述需要对远程驾驶员的支持的第一情况。图1中示出的显示装置140的屏幕示出在由远程驾驶员远程地驾驶的车辆2的前方笔直延伸的道路10。远程驾驶员可以在显示装置140的屏幕上确认在车辆2的当前位置处道路10的宽度比车辆2的宽度更宽。
在图1中示出的显示装置140的屏幕上显示了在车辆2前方的道路10的狭窄部分10a。狭窄部分10a是道路10的宽度变窄的部分,狭窄部分10a介于左侧和右侧的护栏11R、11L之间。右护栏11R和左护栏11L之间的最小距离为能够通过狭窄部分10a的车辆的最大宽度。因此,远程驾驶员需要判断车辆2的宽度是否比右护栏11R和左护栏11L之间的距离更窄。
然而,对于远程驾驶员来说在视觉上做出以上判断是不容易的。当然,随着车辆2接近狭窄部分10a,远程驾驶员变得更容易判断车辆2的宽度是否比右护栏11R和左护栏11L之间的距离更窄。然而,当在车辆2接近狭窄部分10a之后发现车辆2不能通过狭窄部分10a时,可能难以使车辆2进行U形转弯。此外,当车辆2的宽度与右护栏11R和左护栏11L之间的距离的差非常小时,不能否认存在对于车辆2是否能够通过狭窄部分10a的判断有误的可能性。
2-2-2.在第一情况下的支持方法的概要
将参考图2和图3描述在第一情况下的支持方法的概要。图2是从上方观看的道路10上的车辆2的平面图。在图2中,由右护栏11R和左护栏11L之间的距离确定的狭窄部分10a的宽度被描述为d1,并且车辆2的宽度被描述为d2。当车辆2的宽度d2比狭窄部分10a的宽度d1更窄时,车辆2理论上能够通过狭窄部分10a。然而,考虑到行驶期间在车辆2的宽度方向上的晃动、以及远程驾驶员的转向操作的波动等,有必要相对于车辆2的宽度d2提供一定裕量。假设裕量是Δd2,车辆2能够通过狭窄部分10a的条件是d2+Δ<d1。
在根据本实施例的支持方法中,计算机(即,信息处理装置110)代表远程驾驶员执行是否满足条件“d2+Δd2<d1”的判断。包括车辆2的宽度d2的车辆尺寸信息被存储在车辆2的车载控制装置的存储器中。信息处理装置110在与车辆2的通信被连接时从车载控制装置获取车辆尺寸信息,并将车辆尺寸信息存储在信息处理装置110的存储器中。此外,经受远程驾驶的所有车辆的车辆尺寸信息可以被存储在数据服务器中,并且可以在远程驾驶的开始之前从数据服务器读取车辆尺寸信息。
狭窄部分10a的宽度d1是使用搭载在车辆2上的摄像机的图像来测量的。摄像机例如是立体摄像机,并且以视野朝向车辆2的前方的方式安装在车辆2的前部,例如安装在挡风玻璃的上部。此外,狭窄部分10a的宽度d1可以使用由摄像机以外的车载环境识别传感器获取的信息(例如,由光检测和测距(Light Detection And Ranging,LIDAR)获取的点云信息)来测量,或者狭窄部分10a的宽度d1可以使用由包括摄像机的多个环境识别传感器获取的信息来测量。
在根据本实施例的支持方法中,狭窄部分10a的宽度d1还可以从存储在数据存储装置120中的高精度三维地图数据中获取。在这种情况下,信息处理装置110从车辆2获取位置信息并指定在地图上车辆2的位置。通过使用全球定位系统(Global PositioningSystem,GPS)或环境识别传感器的自身位置估计来获取车辆2的位置信息。信息处理装置110搜索与在地图上车辆2的位置相对应的高精度三维地图数据,并从该高精度三维地图数据获取车辆2周围的道路结构信息。狭窄部分10a的宽度dl包括在道路结构信息中。
裕量Δd2存储在信息处理装置110的存储器中。作为示例,裕量Δd2被设定为平均远程驾驶员没有任何问题地通过前方道路的最小必要值。然而,考虑到每个远程驾驶员的技能的差异,可以针对每个远程驾驶员而设定裕量Δd2。例如,针对远程驾驶中的高度熟练的远程驾驶员,裕量Δd2可以被设定为更小,并且针对远程驾驶中的不熟练的远程驾驶员,裕量Δd2可以被设定为更大。在那种情况下,可以在数据服务器中存储针对每个远程驾驶员的裕量Δd2,并且可以在远程驾驶的开始之前从数据服务器读取该裕量Δd2。
信息处理装置110基于是否满足条件“d2+Δd2<d1”的判断结果生成与车辆2能够通过狭窄部分10a的可能性相关的可通过性信息。可通过性信息除了包括车辆2是否能够通过狭窄部分10a之外,还包括当车辆2能够通过狭窄部分10a时的裕量的程度。裕量的程度由狭窄部分10a的宽度d1相对于包括裕量d2的车辆2的宽度d2+Δd2来表示。即,裕量的程度由d1/(d2+Δd2)表示。
在根据本实施例的支持方法中,通过在显示装置140的屏幕上显示可通过性信息来视觉地将可通过性信息通知给远程驾驶员。具体地,显示装置140的屏幕的至少一部分的颜色对应于裕量的程度的大小而改变,使得远程驾驶员能够视觉地识别裕量的程度。即,在根据本实施例的支持方法中,对应于裕量的程度的大小而改变的屏幕颜色被用作可通过性信息。
图3是示出显示可通过性信息的方法的示例的图。在图3中示出的示例中,当裕量的程度为100%以下时,即,当车辆2不能通过狭窄部分10a时,显示颜色为红色。另一方面,当裕量的程度为120%以上时,即当车辆2通过狭窄部分10a不存在问题时,显示颜色为蓝色。当裕量的程度大于100%且小于120%时,按照裕量的程度的降序使用绿色、黄色和黄-红色的显示颜色。注意,图3中阐释的显示颜色遵循日本工业标准(Japanese IndustrialStandards,JIS)的安全颜色的定义。然而,只要远程驾驶员能够视觉地识别裕量的程度的大小,就可以使用其他颜色。
进一步地,在根据本实施例的支持方法中,除了屏幕的显示颜色对应于裕量的程度而改变之外,还在屏幕上显示裕量的程度本身的数值。在下一部分中,将参考附图描述显示装置140的屏幕显示的具体示例。
2-2-3.在第一情况下的显示装置的屏幕显示
图4示出在第一情况下的显示装置140的屏幕的显示示例。通过应用根据本实施例的支持方法,在显示装置140的屏幕上显示指示狭窄部分10a的裕量的程度的指示器14。指示器14所显示的位置在狭窄部分10a附近并且在指示器14不遮挡远程驾驶员的视野的位置处。指示器14的显示颜色对应于裕量的程度而改变,并且在指示器14中显示裕量的程度的数值。即,指示器14本身具有作为可通过性信息的含义。注意,在图4中示出的示例中,由于裕量的程度是105%,因此指示器14的显示颜色是黄-红色。
此外,在显示装置140的屏幕上,信息显示部分15在当指示器14被显示的同时被显示。在信息显示部分15中以字符(数值)显示作为计算裕量的程度的基础的车辆尺寸信息和道路结构信息。在此,车辆尺寸信息是车辆2的车辆宽度,道路结构信息是狭窄部分10a的道路宽度。车辆2的车辆宽度可以是包括裕量的值或不包括裕量的值。车辆尺寸信息和道路结构信息与指示器14一起被显示在屏幕上作为可通过性信息,由此远程驾驶员能够准确地判断车辆2是否能够通过狭窄部分10a。
进一步地,在图4中示出的示例中,在车辆2的前方显示框线13。框线13是示出车辆2的尺寸的简化图像。框线13的宽度指示车辆2的车辆宽度,框线13的上边的高度指示车辆2的车辆高度,并且框线13的下边的高度指示车辆2的最小离地间隙。作为车辆2的图像的框线13的位置是将来到预定时间的车辆2的位置,并且是根据车辆速度和转向角度来计算的。远程驾驶员通过确认诸如护栏11R、11L的道路结构物与框线13之间的位置关系,能够准确地判断车辆2是否能够通过狭窄部分10a。
进一步地,在图4中示出的示例中,在车辆2的前端部分的右侧和左侧上显示两个杆16R、16L的图像。杆16R、16L也是用于支持远程驾驶员的信息。在左侧的杆16L指示当前位置处车辆2的左端,右侧的杆16R指示当前位置处车辆2的右端。当车辆2通过狭窄部分10a时,在远程驾驶员检查杆16R、16L相对于护栏11R、11L的位置的同时车辆2被操纵,由此抑制车辆2与护栏11R、11L接触。
2-3.需要对远程驾驶员的支持的第二情况
2-3-1.第二情况的内容
将参考图5描述需要对远程驾驶员的支持的第二情况。图5中示出的显示装置140的屏幕示出在由远程驾驶员远程地驾驶的车辆2的前方向右弯曲的道路20。远程驾驶员可以在显示装置140的屏幕上确认在车辆2的当前位置处道路20的宽度比车辆2的宽度更宽。
图5中示出的显示装置140的屏幕示出高墙21R、21L在道路20的右侧和左侧立起。因此,远程驾驶员不能从车辆2的当前位置观看道路20的弯曲部分20c的深度。因此,远程驾驶员不能根据屏幕判断在具有较差可视性的弯曲部分20c后面的道路20看起来是什么样的以及是否维持车辆2能够通过的道路宽度。
在图5中示出的示例中,远程驾驶员仅在车辆2沿着弯曲部分20c转弯之后能够观看弯曲部分20c的深度。然而,当在车辆2沿着弯曲部分20c转弯之后发现存在车辆2不能通过的地方时,可能难以使车辆2进行U形转弯。此外,当超过弯曲部分20c更远处具有较差可视性的弯曲继续时,除非车辆2更远地前进,存在远程驾驶员不能判断是否维持车辆2能够通过的道路宽度的可能性。因此,远程驾驶员期望具有用于在车辆2到达弯曲部分20c之前判断车辆2是否能够通过超过弯曲部分20c的信息。
2-2-3.第二示例中的支持方法的概要
将参考图6描述在第二情况下的支持方法的概要。图6是当从上方观看时车辆2和车辆2前方的道路20的平面图。当在如上所述的平面图中观看车辆2和道路20时,具有较差可视性的弯曲部分20c后面的道路20看起来是什么样的、以及是否维持车辆2能够通过的道路宽度一目了然。
可以从存储在数据存储装置120中的高精度三维地图数据获取如图6中示出的平面图。信息处理装置110从车辆2获取位置信息,并确定在地图上车辆2的位置。信息处理装置110搜索与在地图上车辆2的位置相对应的高精度三维地图数据,并从该高精度三维地图数据获取车辆2周围的道路结构信息。
信息处理装置110通过模拟车辆2的可能行驶轨迹来判断车辆2是否能够通过超过弯曲部分20c。在模拟中,例如,使用诸如棒通过问题的方法。此外,诸如弯曲部分20c的宽度、深度和曲率的道路结构信息以及诸如车辆2的宽度和长度的车辆尺寸信息被用作模拟参数。
如上所述,在第二情况下,作为远程驾驶员支持方法,除了将可通过性信息视觉地通知给远程驾驶员之外,还在显示装置140的屏幕上显示车辆2的可能行驶轨迹的模拟结果。在下一部分中,将参考附图描述显示装置140的屏幕显示的具体示例。
2-3-3.在第二情况下的显示装置的屏幕显示
2-3-3-1.第一显示示例
图7示出在第二情况下的显示装置140的屏幕的第一显示示例。在第一显示示例中,在设置在屏幕中的窗口23中显示平面图。窗口23开设在道路20弯曲的一侧,即,在道路20的前方的状态是看不见的一侧。在窗口23中的俯视图中,显示车辆2前方的道路20的状态,且进一步显示车辆2的可能行驶轨迹的模拟结果。模拟结果支持远程驾驶员准确地把握车辆2前方的道路20的状态。
此外,在窗口23中,显示了指示道路宽度相对于车辆宽度的裕量的程度的指示器24。指示器24所显示的位置在平面图中道路最狭窄的点附近,并且计算了该点处的裕量的程度。指示器24的显示颜色对应于裕量的程度而改变,并且在指示器24中显示裕量的程度的数值。在图7中示出的示例中,由于裕量的程度是120%,因此指示器24的显示颜色是蓝色。
根据第一显示示例,车辆2的可能行驶轨迹的模拟结果与指示裕量的程度的指示器24一起被显示。利用以上,在车辆2接近具有较差可视性的弯曲部分20c之前,远程驾驶员能够准确地判断车辆2是否能够通过超过弯曲部分20c。
2-3-3-2.第二显示示例
图8示出在第二情况下的显示装置140的屏幕的第二显示示例。在第一显示示例中,显示装置140的屏幕显示从车辆2看见的车辆2前方的视野。另一方面,在第二显示示例中,在显示装置140的屏幕上以从车辆2的上方俯视车辆2的前方的鸟瞰图的形式显示包括车辆2的风景。
根据如图8中示出的鸟瞰图,远程驾驶员能够在车辆2到达弯曲部分20c之前观看弯曲部分20c的深度。利用以上,远程驾驶员能够在把握前方道路20的状态的同时远程地驾驶车辆2。此外,在显示装置140的屏幕上如图中的虚线所示出那样显示车辆2的可能行驶轨迹的模拟结果。模拟结果支持远程驾驶员准确地把握车辆2前方的道路20的状态。
此外,在显示装置140的屏幕上显示指示道路宽度相对于车辆宽度的裕量的程度的指示器26。指示器26所显示的位置在屏幕中道路20最狭窄的点附近,并且计算了在该点处的裕量的程度。指示器26的显示颜色对应于裕量的程度而改变,并且在指示器26中显示裕量的程度的数值。在图8中示出的示例中,由于裕量的程度是120%,因此指示器26的显示颜色是蓝色。
根据第二显示示例,在以鸟瞰图的形式显示的车辆2前方的道路20的图像中,车辆2的可能行驶轨迹的模拟结果与指示裕量的程度的指示器26一起被显示。利用以上,在车辆2接近具有较差可视性的弯曲部分20c之前,远程驾驶员能够准确地判断车辆2是否能够通过超过弯曲部分20c。
2-4.需要对远程驾驶员的支持的第三情况
2-4-1.第三情况的内容
将参考图9描述需要对远程驾驶员的支持的第三情况。图9中示出的显示装置140的屏幕示出在由远程驾驶员远程地驾驶的车辆2的前方在三个方向上分支的道路30。道路30在交叉点处分支为直行道路30F、左向道路30L和右向道路30R。远程驾驶员能够在显示装置140的屏幕上确认在车辆2的当前位置处道路30的宽度比车辆2的宽度更宽。
远程驾驶员不能根据图9中示出的显示装置140的屏幕判断直行道路30F的前方的状态是什么样的以及是否维持车辆2能够通过的道路宽度。此外,远程驾驶员不能判断左向道路30L的前方的状态是什么样的以及是否维持车辆2能够通过的道路宽度。此外,远程驾驶员不能判断右向道路30R的前方的状态是什么样的以及是否维持车辆2能够通过的道路宽度。
在图9中示出的示例中,远程驾驶员仅在车辆2通过交叉点并进入直行道路30F之后能够把握直行道路30F的前方的状态。此外,远程驾驶员仅在车辆2在交叉点处向左转弯朝向左向道路30L之后能够把握左向道路30L的前方的状态。类似地,远程驾驶员仅在车辆2在交叉点处向右转弯朝向右向道路30R之后能够把握右向道路30R的前方的状态。然而,远程驾驶员期望在车辆2通过交叉点之前把握车辆2能够可靠地通过直行道路30F、左向道路30L和右向道路30R中的哪一者。
2-4-2.在第三情况下的支持方法的概要
将参考图10描述在第三情况下的支持方法的概要。图10是当从上方观看时车辆2和车辆2前方的道路30的平面图。当在如上所述的平面图中观看道路30时,直行道路30F、左向道路30L和右向道路30R中的每一者的前方的状态是什么样的、以及是否维持车辆2能够通过的道路宽度一目了然。如图10中示出的平面图可以从存储在数据存储装置120中的高精度三维地图数据中获取。
根据信息处理装置110,模拟了对于所有直行道路30F、左向道路30L和右向道路30R的车辆2的可能行驶轨迹,并且可以计算车辆2能够可靠地通过哪个道路。然而,随着分支道路数量的增加,计算量变得巨大。此外,当呈现如图10中示出的大范围平面图时,远程地驾驶车辆2的远程驾驶员可能不能把握要检查哪里。此外,信息的过度提供可能阻碍远程驾驶员在驾驶上集中注意力。
因此,在第三情况下,作为远程驾驶员支持方法,首先,检测了与由远程驾驶员发出的行驶方向相关的意图显示。远程驾驶员的意图显示可以例如从转弯信号134的操作方向检测。此外,还能够基于由远程驾驶员对方向盘131的转向角检测与远程驾驶员将要移动的方向相关的意图显示。然后,远程驾驶员指示意图的方向上的道路被选择作为车辆2正前往的前方道路,并且仅将对应的前方道路的可通过性信息视觉地通知给远程驾驶员。在下一部分中,将参考附图描述显示装置140的屏幕显示的具体示例。
2-4-3.在第三情况下的显示装置的屏幕显示
图11示出在第三情况下的显示装置140的屏幕的显示示例。在此,转弯信号134在车辆2到达交叉点之前由远程驾驶员操作为向左。在图11中示出的显示示例中,在设置在屏幕中的窗口33中显示平面图。窗口33开设在由转弯信号134指定的一侧,即,远程驾驶员指示意图作为行驶方向移动的一侧。
在窗口33的平面图中,显示了远程驾驶员将要行驶的道路(即,左向道路30L)的状态。此外,显示了车辆2的可能行驶轨迹的模拟结果。模拟结果支持远程驾驶员准确地把握左向道路30L的状态。
此外,在窗口33中,显示了指示道路宽度相对于车辆宽度的裕量的程度的指示器34。指示器34所显示的位置在平面图中道路最狭窄的点附近,并且计算了该点处的裕量的程度。指示器34的显示颜色对应于裕量的程度而改变,并且在指示器34中显示裕量的程度的数值。在图11中示出的示例中,由于裕量的程度是80%,因此指示器34的显示颜色是红色。利用以上,远程驾驶员能够在车辆2在交叉点处左转弯之前把握车辆2不能通过左向道路30L。
3.支持方法的过程
根据以上具体情况的解释而清楚的是,根据本实施例的支持方法根据车辆尺寸信息和道路结构信息生成可通过性信息并且将该信息通知给远程驾驶员。通过图12中的流程图全面地示出根据本实施例的支持方法的过程。
根据图12中的流程图,在步骤S100中,获取了与由远程驾驶员远程地驾驶的车辆2的尺寸相关的车辆尺寸信息。车辆尺寸信息可以从车辆2的车载控制装置获取,或者可以从网络上的数据服务器获取。
接着,在步骤S110中,获取了与车辆2正前往的前方道路的结构相关的道路结构信息。道路结构信息可以从高精度三维地图数据获取。然而,道路结构信息也可以由诸如摄像机的环境识别传感器获取。注意,步骤S100中的车辆尺寸信息的获取可以在步骤S110中的道路结构信息的获取之后或者与步骤S110中的道路结构信息的获取同时。
接着,在步骤S120中,基于车辆尺寸信息和道路结构信息,生成了与车辆2能够通过前方道路的可能性相关的可通过性信息。可通过性信息的一个具体示例是前方道路的尺寸相对于车辆2的尺寸的裕量的程度。在上述具体情况下,计算了道路尺寸相对于车辆宽度的裕量的程度。然而,根据道路结构,也可以计算隧道区段的天花板高度相对于车辆高度的裕量的程度以及台阶落差高度相对于最小离地间隙的裕量的程度。
然后,在步骤S130中,将可通过性信息通知给远程驾驶员。在上述具体情况下,在显示装置140的屏幕上显示指示器,指示器的显示颜色对应于裕量的程度而改变,并且数值地显示裕量的程度。然而,作为将可通过性信息通知给远程驾驶员的方法,当车辆2不能通过前方道路时,可以与指示器组合使用通过声音的警告或方向盘或座椅的振动。
通过执行根据本实施例的支持方法而通知给远程驾驶员的可通过性信息是对于判断车辆2是否能够通过前方道路有用的信息。利用根据本实施例的支持方法,能够通过提供有用信息来支持远程驾驶员。
4.支持系统的配置
使用例如具有图13中示出的配置的支持系统来执行根据本实施例的支持方法。在下文中,将描述根据本实施例的支持系统1的配置。然而,与上述内容重复的部件将被适当地省略。
支持系统1包括搭载在车辆2上的摄像机210。摄像机210拍摄并输出车辆2的行驶图像。由摄像机210输出的行驶图像被发送到信息处理装置110。摄像机210可以包括在多个方向上拍摄行驶图像的多个摄像机。
摄像机210是用于识别车辆2的周围环境的环境识别传感器之一。除了摄像机210之外,支持系统1还包括多种类型的环境识别传感器220。其他环境识别传感器220包括例如LIDAR和毫米波雷达。由环境识别传感器220获得的环境信息被发送到信息处理装置110。
支持系统1包括获取关于车辆2的状态的信息(例如,车辆速度、减速度、横向加速度和横摆角速度等)的车辆状态传感器230。车辆状态传感器230包括例如轮速传感器、加速度传感器和陀螺仪传感器等。由车辆状态传感器230获取的车辆信息被发送到信息处理装置110。
支持系统1包括驾驶操作装置130。驾驶操作装置130接收远程驾驶员的驾驶操作并输出操作信息。由驾驶操作装置130输出的操作信息被发送到车辆2和信息处理装置110。当车辆2依据车载控制装置(未图示)的操作信息行驶时,实现远程驾驶员的远程驾驶。
信息处理装置110基于所获取的信息执行处理,生成显示信号,并将显示信号输出到显示装置140。由信息处理装置110获取的信息包括从存储高精度三维地图数据的数据存储装置120中获取的道路结构信息。由信息处理装置110执行在图12中的流程图中示出的处理。即,根据本实施例的支持方法在信息处理装置110执行图12中的流程图中示出的处理时被执行。

Claims (11)

1.远程驾驶员支持方法,包括:
获取与由远程驾驶员远程地驾驶的车辆的尺寸相关的车辆尺寸信息;
获取与所述车辆正前往的前方道路的结构相关的道路结构信息;
基于所述车辆尺寸信息和所述道路结构信息生成与所述车辆能够通过所述前方道路的可能性相关的可通过性信息;以及
将所述可通过性信息通知给所述远程驾驶员。
2.根据权利要求1所述的远程驾驶员支持方法,还包括,将所述车辆尺寸信息和所述道路结构信息与所述可通过性信息一起通知给所述远程驾驶员。
3.根据权利要求1或2所述的远程驾驶员支持方法,其中,所述将所述可通过性信息通知给所述远程驾驶员包括,对应于可通过性的大小改变由所述远程驾驶员观看的屏幕的至少一部分的颜色。
4.根据权利要求1至3中任一项所述的远程驾驶员支持方法,其中,所述将所述可通过性信息通知给所述远程驾驶员包括,在由所述远程驾驶员观看的屏幕上数值地显示所述前方道路的尺寸相对于所述车辆的尺寸的裕量的程度。
5.根据权利要求1至4中任一项所述的远程驾驶员支持方法,还包括,依据所述远程驾驶员的转弯信号的操作方向从多个道路之中选择所述前方道路。
6.根据权利要求1至5中任一项所述的远程驾驶员支持方法,还包括:
在由所述远程驾驶员观看的屏幕上显示所述车辆的前方的视野;以及
在所述屏幕上显示示出所述车辆的尺寸的图像。
7.根据权利要求1至6中任一项所述的远程驾驶员支持方法,还包括:
在由所述远程驾驶员观看的屏幕上以平面图或鸟瞰图显示所述前方道路的图像;以及
在所述前方道路的所述图像上显示示出所述车辆的可能行驶轨迹的模拟结果的图像。
8.根据权利要求1至7中任一项所述的远程驾驶员支持方法,其中,所述获取所述道路结构信息包括从高精度三维地图数据获取所述道路结构信息。
9.根据权利要求1至8中任一项所述的远程驾驶员支持方法,其中,所述获取所述道路结构信息包括使用搭载在所述车辆上的环境识别传感器获取所述道路结构信息。
10.远程驾驶员支持系统,包括:
至少一个存储器,其存储至少一个程序;以及
至少一个处理器,其连接至所述至少一个存储器;其中,所述至少一个程序配置为使所述至少一个处理器:
获取与由远程驾驶员远程地驾驶的车辆的尺寸相关的车辆尺寸信息,
获取与所述车辆正前往的前方道路的结构相关的道路结构信息,
基于所述车辆尺寸信息和所述道路结构信息生成与所述车辆能够通过所述前方道路的可能性相关的可通过性信息,以及
将所述可通过性信息通知给所述远程驾驶员。
11.存储介质,其存储程序,所述程序使计算机执行对远程驾驶员的支持并且使所述计算机:
获取与由所述远程驾驶员远程地驾驶的车辆的尺寸相关的车辆尺寸信息;
获取与所述车辆正前往的前方道路的结构相关的道路结构信息;
基于所述车辆尺寸信息和所述道路结构信息生成与所述车辆能够通过所述前方道路的可能性相关的可通过性信息;以及
将所述可通过性信息通知给所述远程驾驶员。
CN202210679489.4A 2021-08-24 2022-06-15 远程驾驶员支持方法、远程驾驶员支持系统和存储介质 Pending CN115718439A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-136619 2021-08-24
JP2021136619A JP7484848B2 (ja) 2021-08-24 2021-08-24 遠隔運転者の支援方法、支援システム、及びプログラム

Publications (1)

Publication Number Publication Date
CN115718439A true CN115718439A (zh) 2023-02-28

Family

ID=85253798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210679489.4A Pending CN115718439A (zh) 2021-08-24 2022-06-15 远程驾驶员支持方法、远程驾驶员支持系统和存储介质

Country Status (3)

Country Link
US (1) US20230065761A1 (zh)
JP (1) JP7484848B2 (zh)
CN (1) CN115718439A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4408745C2 (de) * 1993-03-26 1997-02-27 Honda Motor Co Ltd Fahr-Steuereinrichtung für Fahrzeuge
JP2020003890A (ja) 2018-06-26 2020-01-09 株式会社Soken 車両遠隔支援システム
JP7200868B2 (ja) 2019-07-23 2023-01-10 トヨタ自動車株式会社 車両制御システム及び車両制御装置
US20230058508A1 (en) * 2021-08-19 2023-02-23 GM Global Technology Operations LLC System amd method for providing situational awareness interfaces for a vehicle occupant

Also Published As

Publication number Publication date
JP7484848B2 (ja) 2024-05-16
JP2023031115A (ja) 2023-03-08
US20230065761A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
US10293748B2 (en) Information presentation system
CN110895417B (zh) 车辆控制装置、车辆控制方法及存储介质
CN107807634B (zh) 用于车辆的驾驶辅助装置
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
US11270589B2 (en) Surrounding vehicle display method and surrounding vehicle display device
CN110920521B (zh) 显示系统、显示方法及存储介质
US7605773B2 (en) Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
WO2018025624A1 (ja) ヘッドアップディスプレイ装置、表示制御方法及び制御プログラム
US11511667B2 (en) Surrounding vehicle display method and surrounding vehicle display device
JP5898539B2 (ja) 車両走行支援システム
CN210139859U (zh) 汽车碰撞预警系统、导航系统及汽车
CN111824141B (zh) 显示控制装置、显示控制方法及存储介质
CN107972664A (zh) 驾驶辅助装置以及驾驶辅助方法
JP2008151507A (ja) 合流案内装置および合流案内方法
US11640173B2 (en) Control apparatus, control method, and computer-readable storage medium storing program
US20220057795A1 (en) Drive control device, drive control method, and computer program product
CN110888430A (zh) 显示装置、显示控制方法及存储介质
JP2021197009A (ja) リスク判定システム、リスク判定プログラム
CN110954126A (zh) 显示系统、显示方法及存储介质
JP2019147459A (ja) 車両走行制御システム
CN115718439A (zh) 远程驾驶员支持方法、远程驾驶员支持系统和存储介质
US20230098314A1 (en) Localizing and updating a map using interpolated lane edge data
CN114802250A (zh) 数据处理方法、装置、设备、自动驾驶车辆及介质
CN111824142B (zh) 显示控制装置、显示控制方法及存储介质
CN110574086B (zh) 车辆控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination