CN115941883A - 行驶影像显示方法、行驶影像显示系统 - Google Patents

行驶影像显示方法、行驶影像显示系统 Download PDF

Info

Publication number
CN115941883A
CN115941883A CN202210987094.0A CN202210987094A CN115941883A CN 115941883 A CN115941883 A CN 115941883A CN 202210987094 A CN202210987094 A CN 202210987094A CN 115941883 A CN115941883 A CN 115941883A
Authority
CN
China
Prior art keywords
attention
display
image
vehicle
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210987094.0A
Other languages
English (en)
Inventor
福留秀树
赤塚康佑
上原水優
鬼頭司
小见聪
西川裕己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN115941883A publication Critical patent/CN115941883A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/007—Emergency override
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/14—Tractor-trailers, i.e. combinations of a towing vehicle and one or more towed vehicles, e.g. caravans; Road trains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种能够在不增加远程驾驶操作员的操作以及监视的负担的条件下，将远程驾驶操作员的关注方向或者关注范围的行驶影像适当地显示在显示装置上的行驶影像显示方法、行驶影像显示系统。本公开所涉及的行驶影像显示方法包括如下处理，即：拍摄处理，其通过被设置在远程驾驶车辆上的多台摄像机来对多个方向的行驶影像进行拍摄；取得处理，其取得操作信息、行驶状态信息、以及动作信息之中的至少一个信息；特定处理，其基于在取得处理中所取得的信息，从而对远程驾驶操作员的关注方向或者关注范围进行特别指定；显示处理，其将包括特别指定的关注方向或者关注范围、且与特别指定的关注方向或者关注范围相应的行驶影像显示在显示装置上。

Description

行驶影像显示方法、行驶影像显示系统
技术领域
本公开涉及一种在远程驾驶所涉及的显示装置上显示车辆的行驶影像的行驶影像显示方法、以及行驶影像显示系统。
背景技术
近年来，一直在考虑从较远的地方实施车辆的远程驾驶的远程驾驶技术。远程驾驶作为在自动驾驶车辆中在自动驾驶变得较为困难时的代替或无人驾驶服务的实现等的技术，从而备受期待。作为远程驾驶所涉及的现有技术，例如能够列举出专利文献1。
在先技术文献
专利文献
专利文献1：日本特开2018-77649号公报
发明内容
发明所要解决的课题
远程驾驶操作员主要通过对被显示在显示装置上的行驶影像进行目视确认，从而掌握远程驾驶车辆周围的状况，进而适当地实施驾驶操作。此时，由于与乘坐在车辆上进行驾驶的情况不同远程驾驶操作员无法直接实施目视确认，因此希望被显示在显示装置上的行驶影像充分地包含远程驾驶车辆周围的各个方向的行驶影像。
另一方面，远程驾驶操作员能够有意识地进行目视确认的显示装置的显示范围是受限的。因此，车辆周围的各个方向所涉及的行驶影像中的、能够显示在远程驾驶操作员稳定且易于进行目视确认的显示范围内的行驶影像的数量以及范围受到了限制。进一步地，根据远程驾驶车辆周围的状况或驾驶状况不同，从而远程驾驶操作员要求确认的关注方向或者关注范围不同。
因此，有时远程驾驶操作员的关注方向或者关注范围的行驶影像没有被适当地显示在显示装置上。进而，如果鉴于远程驾驶车辆周围的状况或驾驶状况时刻都会发生变化的情况，从而可能会过度地增加远程驾驶操作员的操作以及监视的负担。
本公开是有鉴于上述课题而完成的，其目的在于，提供一种能够在不增加远程驾驶操作员的操作以及监视的负担的条件下，将远程驾驶操作员的关注方向或者关注范围的行驶影像适当地显示在显示装置上的行驶影像显示方法以及行驶影像显示系统。
用于解决课题的方法
第一公开涉及一种将远程驾驶车辆的行驶影像显示在显示装置上的行驶影像显示方法。
第一公开所涉及的行驶影像显示方法，其包括：拍摄处理，其通过被设置在所述远程驾驶车辆上的多台摄像机来对多个方向的所述行驶影像进行拍摄；取得处理，其取得用于由远程驾驶操作员实施的所述远程驾驶车辆的驾驶操作的操作信息、所述远程驾驶车辆的行驶状态信息、以及所述远程驾驶操作员的动作信息之中的至少一种信息；特定处理，其基于在所述取得处理中所取得的信息来对所述远程驾驶操作员的关注方向或者关注范围进行特别指定；显示处理，其将包括所述关注方向或者所述关注范围、且与所述关注方向或者所述关注范围相应的所述行驶影像显示在所述显示装置。
第二公开涉及一种相对于第一公开所涉及的行驶影像显示方法而进一步包括以下特征的行驶影像显示方法。
所述显示处理包括如下内容，即，对所述关注方向或者所述关注范围的所述行驶影像进行突出显示。
第三公开涉及一种相对于第一公开或者第二公开所涉及行驶影像显示方法而进一步还包括以下特征的行驶影像显示方法。
所述显示处理包括如下内容，即，将被预先设定的预定的方向或者范围的所述行驶影像显示在所述显示装置上。
第四公开涉及一种相对于第一公开至第三公开中的任意一个公开所涉及的行驶影像显示方法而进一步包括以下特征的行驶影像显示方法。
所述特定处理包括如下内容，即，将所述远程驾驶操作员正在注视的所述行驶影像的特定方向设为所述关注方向。
第五公开涉及一种相对于第一公开至第三公开中的任意一个公开所涉及的行驶影像显示方法而进一步包括以下特征的行驶影像显示方法。
所述取得处理包括如下内容，即，作为所述操作信息而取得转向信号灯操作或者转向操作的信息的处理。此外，所述特定处理包括如下内容，即，接受左方向的所述转向信号灯操作或者所述转向操作并将所述远程驾驶车辆的左侧方向设为所述关注方向、和接受右方向的所述转向信号灯操作或者所述转向操作并将所述远程驾驶车辆的右侧方向设为所述关注方向。
第六公开涉及一种相对于第一公开至第三公开中的任意一个公开所涉及的行驶影像显示方法而进一步包括以下特征的行驶影像显示方法。
所述特定处理包括如下内容，即，接受所述远程驾驶车辆的预定的制动操作并将所述远程驾驶车辆的后侧方向设为所述关注方向。
第七公开涉及一种相对于第一公开至第三公开中的任意一个公开所涉及的行驶影像显示方法而进一步包括以下特征的行驶影像显示方法。
所述特定处理包括如下内容，即，接受所述远程驾驶车辆的远光灯为开启的情况并将前方方向的所述行驶影像的远处地点设为所述关注范围。此外，所述显示处理包括如下内容，即，接受所述关注范围为所述远处地点的情况并以相对于基准而将视角设在预定的高度上方的方式来对前方方向的所述行驶影像进行显示。
第八公开涉及一种相对于第一公开至第三公开中的任意一个公开所涉及的行驶影像显示方法而进一步包括以下特征的行驶影像显示方法。
所述取得处理包括如下内容，即，作为所述行驶状态信息而取得所述远程驾驶车辆的车速的信息。此外，所述显示处理包括如下内容，即，以相对于基准而将视角设在与所述车速相应的高度上方或者下方的方式来对前方方向的所述行驶影像进行显示。
第九公开涉及一种相对于第一公开至第三公开中的任意一个公开所涉及的行驶影像显示方法而进一步包括以下特征的行驶影像显示方法。
所述特定处理包括如下内容，即，接受所述远程驾驶车辆正在弯道上行驶的情况，并将所述弯道所朝向的方向设为所述关注方向。
第十公开涉及一种相对于第五公开所涉及的行驶影像显示方法而进一步包括以下特征的行驶影像显示方法。
所述远程驾驶车辆为牵引车辆，多台所述摄像机包括被设置在被牵引车辆上的一台或者多台摄像机。并且，所述显示处理包括如下内容，即，接受所述关注方向为所述远程驾驶车辆的左侧方向或者右侧方向的情况，并将被设置在所述被牵引车辆上的所述摄像机所拍摄的所述行驶影像显示在所述显示装置上。
第十一公开涉及一种将远程驾驶车辆的行驶影像显示在显示装置上的行驶影像显示系统。
第十一公开所涉及的行驶影像显示系统包括：多台摄像机，其被设置在所述远程驾驶车辆上，并对多个方向的所述行驶影像进行拍摄；显示处理装置，其执行对所述行驶影像进行显示的处理。所述显示处理装置执行如下处理，即：取得处理，其取得用于由远程驾驶操作员实施的所述远程驾驶车辆的驾驶操作的操作信息、所述远程驾驶车辆的行驶状态信息、以及所述远程驾驶操作员的动作信息之中的至少一个信息；特定处理，其基于在所述取得处理中所取得的信息，从而对所述远程驾驶操作员的关注方向或者关注范围进行特别指定；显示处理，其将包括所述关注方向或者所述关注范围、且与所述关注方向或者所述关注范围相应的所述行驶影像显示在所述显示装置上。
第十二公开涉及一种相对于第十一公开所涉及的行驶影像显示系统而进一步包括以下特征的行驶影像显示系统。
所述显示处理装置在所述显示处理中，对所述关注方向或者所述关注范围的所述行驶影像进行突出显示。
第十三公开涉及一种相对于第十一公开或者第十二公开所涉及的行驶影像显示系统而进一步包括以下特征的行驶影像显示系统。
所述显示处理装置在所述显示处理中，将被预先设定的预定的方向或者范围的所述行驶影像显示在所述显示装置上。
第十四公开涉及一种相对于第十一公开至第十三公开中的任意一个公开所涉及的行驶影像显示系统而进一步包括以下特征的行驶影像显示系统。
所述显示处理装置在所述特定处理中，将所述远程驾驶操作员正在注视的所述行驶影像的特定方向设为所述关注方向。
第十五公开涉及一种相对于第十一公开至第十三公开中的任意一个公开所涉及的行驶影像显示系统而进一步包括以下特征的行驶影像显示系统。
所述显示处理装置在所述取得处理中，作为所述操作信息而取得转向信号灯操作或者转向操作的信息，所述显示处理装置在所述特定处理中，接受左方向所述转向信号灯操作或者所述转向操作并将所述远程驾驶车辆的左侧方向设为所述关注方向，并且接受右方向的所述转向信号灯操作或者所述转向操作并将所述远程驾驶车辆的右侧方向设为所述关注方向。
第十六公开涉及一种相对于第十一公开至第十三公开中任意一个公开所涉及的行驶影像显示系统而进一步包括以下特征的行驶影像显示系统。
所述显示处理装置在所述特定处理中，接受所述远程驾驶车辆的预定的制动操作并将所述远程驾驶车辆的后侧方向设为所述关注方向。
第十七公开涉及一种相对于第十一公开至第十三公开中的任意一个公开所涉及的行驶影像显示系统而进一步包括以下特征的行驶影像显示系统。
所述显示处理装置在所述特定处理中，接受所述远程驾驶车辆的远光灯为开启的情况并将前方方向的所述行驶影像的远处地点设为所述关注范围，所述显示处理装置在所述显示处理中，接受所述关注范围为所述远处地点的情况并以相对于基准而将视角设在预定的高度上方的方式来对前方方向的所述行驶影像进行显示。
第十八公开涉及一种相对于第十一公开至第十三公开中的任意一个公开所涉及的行驶影像显示系统而进一步包括以下特征的行驶影像显示系统。
所述显示处理装置在所述取得处理中，作为所述行驶状态信息而取得所述远程驾驶车辆的车速的信息，所述显示处理装置在所述显示处理中，以相对于基准而将视角设在与所述车速相应的高度上方或者下方的方式来对前方方向的所述行驶影像进行显示。
第十九公开涉及一种相对于第十一公开至第十三公开中的任意一个公开所涉及的行驶影像显示系统而进一步包括以下特征的行驶影像显示系统。
所述显示处理装置在所述特定处理中，接受所述远程驾驶车辆正在弯道上行驶的情况，并将所述弯道所朝向的方向设为所述关注方向。
第二十公开涉及一种相对于第十五公开所涉及的行驶影像显示系统而进一步包括以下特征的行驶影像显示系统。
所述远程驾驶车辆为牵引车辆，多台所述摄像机包括被设置在被牵引车辆上的一台或者多台摄像机。并且，所述显示处理装置在所述显示处理中，接受所述关注方向为所述远程驾驶车辆的左侧方向或者右侧方向的设置并将被设置在所述被牵引车辆上的所述摄像机所拍摄的所述行驶影像显示在所述显示装置上。
发明的效果
根据本公开所涉及的行驶影像显示方法以及行驶影像显示系统，对远程驾驶操作员的关注方向或者关注范围进行特别指定。并且，将包括特别指定的关注方向或者关注范围、且与特别指定的关注方向或者关注范围相应的行驶影像显示在显示装置上。由此，能够在不增加远程驾驶操作员的操作以及监视的负担的条件下，将远程驾驶操作员的关注方向或者关注范围的行驶影像适当地显示在显示装置上。
附图说明
图1为表示远程驾驶装置的示例的概念图。
图2为表示由被设置在远程驾驶车辆上的多台摄像机所拍摄到的多个方向的行驶影像的示例的概念图。
图3为用于对远程驾驶操作员注视行驶影像的特定方向的情况下的行驶影像的显示进行说明的概念图。
图4为用于对远程驾驶操作员实施使远程驾驶车辆向左方向前进的驾驶操作的情况下的行驶影像的显示进行说明的概念图。
图5为用于对远程驾驶操作员实施远程驾驶车辆的预定的制动操作的情况下的行驶影像的显示进行说明的概念图。
图6为用于对远程驾驶车辆的远光灯为开启的情况下的行驶影像的显示进行说明的概念图。
图7为用于对远程驾驶车辆正在弯道上行驶的情况下的行驶影像的显示进行说明的概念图。
图8为表示本实施方式所涉及的行驶影像显示系统的概要结构的框图。
图9为表示由本实施方式所涉及的行驶影像显示系统所实现的行驶影像显示方法的流程图。
图10为表示在图9所示出显示处理中被执行的处理的流程图。
具体实施方式
以下，参照附图来对本公开的实施方式进行说明。但是，在以下所示出的实施方式中，在提及各个要素的个数、数量、量、范围等数值的情况下，除了特别明确展示的情况或者在原理上该数值被特别指定的情况以外，对于其所提及的数值而言，本公开所涉及的思想均不受其限定。此外，在以下所示出的实施方式中所说明的结构等，除了特别明确展示的情况或在原理上被其特别指定的情况以外，在本公开所涉及的思想中并不一定是必须的。另外，在各附图中，对于相同或者相当的部分将附注相同的符号，并将其重复的说明适当地简化乃至省略。
1.导入
1-1.远程驾驶装置
本实施方式所涉及的行驶影像显示系统将远程驾驶车辆的行驶影像显示在显示装置上。在此，远程驾驶是典型性地通过远程驾驶操作员在远离远程驾驶车辆的位置处对远程驾驶装置进行操作从而被实施的。
图1为，表示远程驾驶装置100的示例的概念图。远程驾驶装置100为，针对远程驾驶操作员4而提供驾驶所涉及的信息(行驶影像、驾驶环境等)，并且接受由远程驾驶操作员4实施的操作(驾驶所涉及的操作、远程驾驶车辆上具备的装置的操作等)，从而实现由远程驾驶操作员4实施的远程驾驶的装置。
图1所示的远程驾驶装置100具备：信息处理装置110、显示装置120、驾驶操作装置130、和操作盘140。
信息处理装置110为，执行远程驾驶所涉及的处理的装置。典型性地，为具备存储器和处理器的计算机。信息处理装置110被构成为，能够与显示装置120、驾驶操作装置130、以及操作盘140互相传递信息。典型性地，通过电缆来进行电连接。但是，信息处理装置110也可以被构成为，能够通过通信从而互相传递信息。例如，信息处理装置110也可以为，被构成在能够与显示装置120、驾驶操作装置130、以及操作盘140进行通信的通信网络(例如，因特网)上的服务器(也可以是虚拟的)。
进一步地，信息处理装置110被构成为，能够与远程驾驶车辆进行通信并实施信息的收发。典型性地，通过连接至能够与远程驾驶车辆进行通信的通信网络(例如，因特网)，从而实施信息的收发。
此外，信息处理装置110执行显示装置120的显示所涉及的处理。也就是说，在图1所示的远程驾驶装置100中，信息处理装置110也作为显示处理装置而发挥功能。信息处理装置(显示处理装置)110针对显示装置120而传递表示特定的显示的信号(显示信号)。信息处理装置(显示处理装置)110至少执行从远程驾驶车辆上具备的摄像机中取得行驶影像并在显示装置120上显示行驶影像的处理。除此之外，信息处理装置(显示处理装置)110也可以执行对表示远程驾驶车辆周边的地图或远程驾驶车辆的控制设定的图像等进行显示的处理。
显示装置120按照从信息处理装置(显示处理装置)110取得的显示信号来实施显示。典型性地，显示装置120为液晶显示器或有机EL(Electro-Luminescence：电致发光)显示器等显示器设备。但是，也可以为具有适当的显示功能的其他装置。此外，显示装置120也可以为由多个装置构成的系统。例如，也可以为连接多个显示器设备而被构成的多路监视器。在显示装置120上，至少显示有行驶影像。被显示在显示装置上的行驶影像的详细内容将在后文叙述。
驾驶操作装置130为，接受由远程驾驶操作员4实施的驾驶所涉及的操作的装置。在图1中，作为驾驶操作装置130而示出了用于接受转向操作的转向盘130a、和用于接受加速或者制动操作的踏板130b。通过驾驶操作装置130而接受到的操作信号经由信息处理装置110而被传递给远程驾驶车辆。
操作盘140为，接受由远程驾驶操作员4实施的各种操作的装置。例如，操作盘140接受远程驾驶车辆上具备的装置的操作(附属功能的开启关闭、车门开闭等)。进一步地，也可以接受远程驾驶装置100上具备的装置的操作(显示的切换、座椅的电子控制操作等)。操作盘140的方式例如为开关或触摸面板。
另外，远程驾驶装置100也可以具备其他装置。例如，也可以具备用于针对远程驾驶操作员4来传递声音的音响装置或对远程驾驶操作员4的状态进行检测的传感器等。
远程驾驶操作员4通过对显示装置120的显示(主要是行驶影像)进行目视确认从而掌握远程驾驶车辆周围的状况，进而适当操作驾驶操作装置130或者操作盘140。由此，可实施由远程驾驶操作员4进行的远程驾驶。
1-2.行驶影像的显示
以下，参照图2，对通过信息处理装置(显示处理装置)110而被显示在显示装置120上的行驶影像进行说明。图2示出了由远程驾驶车辆1上所具备的多台摄像机所拍摄到的多个方向的行驶影像121的示例。在此，在远程驾驶车辆1的周围正行驶有多台其他车辆2。另外，在图2中，为了对每一辆其他车辆2进行区分，从而在符号上附加了记号(a、b、…)。
图2的(A)示出了远程驾驶车辆1上所具备的多台摄像机进行拍摄的拍摄区域3的示例。另外，在图2的(A)中，为了对每个拍摄区域3进行区分，从而在符号上附加了记号(a、b、…)。在图2中，在远程驾驶车辆1上具备有六个摄像机，从而可拍摄到与各个拍摄区域3相对应的六个方向的行驶影像121。
图2的(B)示出了与图2的(A)相对应地被显示在显示装置120上的行驶影像121的示例。另外，在图2的(B)中，以与图2的(A)所示的拍摄区域3相对应的方式而在行驶影像121的符号上附加了记号(a、b、…)。此外，在图2的(B)中，在显示装置120上示出了其他显示122。这是表示例如远程驾驶车辆1上具备的装置的状态(附属功能的开启关闭状态、车门的开闭状态等)的显示、驾驶环境(车速、燃料剩余量、车内温度等)的显示、地图的显示、导航的显示等的显示。
在图2的(B)中，作为显示装置120的显示而示出了与拍摄区域3a、3b、3c以及3d相对应的行驶影像121a、121b、121c以及121d。另一方面，与拍摄区域3e以及3f相对应的行驶影像121未被显示。此外，远程驾驶车辆1的前方方向的行驶影像121a的显示区域最大，远程驾驶车辆1的后侧方方向的行驶影像121c以及121d的显示区域较小。
可是，在图2的(B)的示例所示的显示中，远程驾驶操作员4无法对远程驾驶车辆1的侧方方向进行确认。进而，远程驾驶操作员4无法对其他车辆2d的存在进行确认。在远程驾驶操作员4想要实施远程驾驶车辆1的车道变更的情况等下，需要对远程驾驶车辆1的侧方方向进行确认。此外，在远程驾驶操作员4想要实施远程驾驶车辆1的车道变更的情况下，后侧方方向的行驶影像121c或者121d的显示与前方方向的行驶影像121a的显示相比而需要特别确认。以此方式，图2的(B)所示的显示有可能会因远程驾驶车辆1周围的状况或驾驶状况从而不适合作为远程驾驶操作员4要求进行确认的关注方向或者关注范围的行驶影像121。
作为显示足够且多样的模式的行驶影像121的手段，可考虑构成显示范围较大的显示装置120。例如，将显示装置120构成作为多监视器，从而将图2的(B)所示的显示显示在某个显示器上，并且将远程驾驶车辆1的侧方方向的行驶影像121显示在另外的某个显示器上。进一步地，也可以考虑采用能够通过远程驾驶操作员4的操作而对显示装置120的显示进行切换的方式来构成。例如，以通过对操作盘140进行操作从而对显示在显示装置120上的行驶影像121的模式进行切换的方式来构成。
然而，即使构成了显示范围较大的显示装置120，远程驾驶操作员4能够有意识地进行目视确认的显示装置120的显示范围也是受限的。进而，能够显示在远程驾驶操作员4稳定且易于进行目视确认的显示范围内的行驶影像121的数量以及范围也受限。因此，在这些手段中，在远程驾驶车辆1周围的状况或驾驶状况时刻都会发生变化的情况下，有可能会过度地增加远程驾驶操作员4的操作以及监视的负担。
因此，在本实施方式所涉及的行驶影像显示系统中，基于用于远程驾驶车辆的驾驶操作的信息(操作信息)、远程驾驶车辆1的行驶状态的信息(行驶状态信息)、或者远程驾驶操作员4的动作的信息(动作信息)，从而对远程驾驶操作员4的关注方向或者关注范围进行特别指定。并且，将包括特别指定的关注方向或者关注范围、且与特别指定的关注方向或者关注范围相应的行驶影像121显示在显示装置120上。
2.概要
以下，参照图3至图7，对由本实施方式所涉及的行驶影像显示系统实现的行驶影像121的显示进行说明。
首先，参照图3。图3为，用于对远程驾驶操作员4注视行驶影像121的特定方向时的行驶影像121的显示进行说明的概念图。
图3的上部示出了成为基准的行驶影像121的显示、以及远程驾驶操作员4所注视的特定方向(以虚线包围的位置)，图3的下部示出了根据特别指定的关注方向而被显示的行驶影像121的显示的示例。另外，在图3中，远程驾驶车辆1上所具备的多台摄像机、以及成为基准的行驶影像121的显示与图2所示的情况等同。
在图3所示的示例中，远程驾驶操作员4所注视的特定方向为，行驶影像121d的一部分(拍有其他车辆2c的部分)。因此，本实施方式所涉及的行驶影像显示系统将行驶影像121d的一部分特别指定为远程驾驶操作员4的关注方向。并且，作为与关注方向相应的行驶影像121的显示，从而将行驶影像121d的一部分以容易进行目视确认的方式来进行显示。在图3中，将行驶影像121d的显示区域扩大并将视角相对于基准而扩展。
此外，本实施方式所涉及的行驶影像显示系统也可以对关注方向的行驶影像121进行突出显示。在图3中，关于行驶影像121d而突出了显示框。
通过以此方式来显示行驶影像121，从而能够很容易地进行远程驾驶操作员4要求确认的方向的行驶影像121的目视确认。进而，能够提高远程驾驶车辆1的驾驶的安全性。
另外，远程驾驶操作员4所注视的特定方向能够基于动作信息来进行检测。例如，根据远程驾驶操作员4的头部的动作或位置、视线的方向来对远程驾驶操作员4所注视的特定方向进行检测。在该情况下，也可以采用现有的视线检测技术等来构成。又因此，远程驾驶装置100也可以具备对远程驾驶操作员4的状态进行检测的适当的传感器(例如，传感器摄像机)。
接下来，参照图4。图4为，用于对远程驾驶操作员4实施使远程驾驶车辆1向左方向前进的驾驶操作时的行驶影像121的显示进行说明的概念图。
图4的上部示出了成为基准的行驶影像121的显示，图4的下部示出了与特别指定的关注方向相应地被显示的行驶影像121的显示的示例。另外，在图4中，被设置在远程驾驶车辆1上的多台摄像机、以及成为基准的行驶影像121的显示与图2所示的情况等同。此外，行驶影像121e为，与图2所示的拍摄区域3e相对应的行驶影像121。
在图4所示的示例中，本实施方式所涉及的行驶影像显示系统将远程驾驶车辆1的左侧方向特别指定为关注方向。并且，以包含远程驾驶车辆1的左侧方向所涉及的行驶影像121(行驶影像121c以及行驶影像121e)的方式来进行显示。此外，作为与关注方向相应的行驶影像121的显示，从而以容易目视确认的方式来对远程驾驶车辆1的左侧方向所涉及的行驶影像121进行显示。在图4中，行驶影像121e被显示，并将行驶影像121c的显示区域扩大且将视角相对于基准而扩展。此外，对行驶影像121c以及行驶影像121e进行突出显示。
进一步地，对于行驶影像121a以及行驶影像121b的显示而言，显示区域缩小，另一方面，维持着关于远程驾驶车辆1的左侧方向的视角。在此，关于行驶影像121a以及行驶影像121b的显示，也可以构成为向左侧方向扩展视角。
在此，对于远程驾驶操作员4实施使远程驾驶车辆1向右方向前进的驾驶操作的情况来说，也是同样的。也就是说，在该情况下，本实施方式所涉及的行驶影像显示系统将远程驾驶车辆1的右侧方向特别指定为关注方向。并且，包括远程驾驶车辆1的右侧方向所涉及的行驶影像121，且以容易目视确认的方式来显示远程驾驶车辆1的右侧方向所涉及的行驶影像121。
通过以此方式来显示行驶影像121，从而在实施远程驾驶车辆1的左转或者右转的情况下，远程驾驶操作员4能够对将行人或自行车等卷入的风险进行确认。此外，在实施远程驾驶车辆1的变道的情况下，远程驾驶操作员4能够对有无在相邻车道上行驶的其他车辆2的接近进行确认。
另外，本实施方式所涉及的行驶影像显示系统基于转向信号灯操作或者转向操作的信息，从而对使远程驾驶车辆1向左方向或者右方向前进的驾驶操作被实施的情况进行检测。也就是说，接受左方向的转向信号灯操作或者转向操作，从而将远程驾驶车辆1的左侧方向设为关注方向，接受右方向的转向信号灯操作或者转向操作，则将远程驾驶车辆1的右侧方向设为关注方向。
接下来，参照图5。图5为，用于对远程驾驶操作员4实施远程驾驶车辆1的预定的制动操作时的行驶影像121的显示进行说明的概念图。
图5的上部示出了成为基准的行驶影像121的显示，图5的下部示出了根据特别指定的对象的方向而被显示的行驶影像121的显示的示例。另外，在图5中，在远程驾驶车辆1上所具备的多台摄像机、以及成为基准的行驶影像121的显示与图2所示的情况等同。
在此，所谓预定的制动操作为，预先被规定的特定的制动操作，例如，危险灯的点亮操作、给予了阈值以上的踩踏量的制动踏板的踩踏、产生阈值以上的减速度的制动操作等。但是，预定的制动操作也可以根据应用了本实施方式所涉及的行驶影像显示系统的远程驾驶车辆1来规定。
在图5所示的示例中，本实施方式所涉及的行驶影像显示系统将远程驾驶车辆1的后侧方向特别指定为关注方向。并且，本实施方式所涉及的行驶影像显示系统作为与关注方向相应的行驶影像121的显示，从而以容易目视确认的方式来对远程驾驶车辆1的后侧方向所涉及的行驶影像121进行显示。在图5中，将行驶影像121b的显示区域扩大。此外，关于行驶影像121b，则进行突出显示。
通过以此方式来显示行驶影像121，从而在实施远程驾驶车辆1的停止时等，远程驾驶操作员4能够对与在后方行驶的其他车辆2的追尾碰撞风险进行确认。
另外，预定的制动操作被实施的情况，能够基于操作信息或者行驶状态信息来进行检测。例如，通过作为操作信息而取得危险灯的点亮操作或制动踏板的踩踏量从而进行检测。或者，通过作为行驶状态信息而取得减速度从而进行检测。
接下来，参照图6。图6为，用于对远程驾驶车辆1的远光灯为开启的情况下的行驶影像121的显示进行说明的概念图。
图6的上部示出了成为基准的行驶影像121的显示，图6的下部示出了与特别指定的关注范围相应地被显示的行驶影像121的显示的示例。另外，在图6中，被设置在远程驾驶车辆1上的多台摄像机、以及成为基准的行驶影像121的显示与图2所示的情况同等。
在远程驾驶车辆1的远光灯为开启的情况下，本实施方式所涉及的行驶影像显示系统将前方方向的行驶影像121a的远处地点特别指定为关注范围。并且，作为与关注范围相应的行驶影像121的显示，从而以相对于基准而将视角设在预定的高度上方的方式来对前方方向的行驶影像121a进行显示。在此，预定的高度可以根据应用了本实施方式所涉及的行驶影像显示系统的远程驾驶车辆1来规定。
此外，本实施方式所涉及的行驶影像显示系统作为行驶状态信息而取得远程驾驶车辆1的车速的信息，并根据远程驾驶车辆1的车速来显示行驶影像121。在该情况下，以相对于基准而将视角设在与车速相应的高度上方或者下方的方式来对前方方向的行驶影像121a进行显示。也就是说，车速越高则越以相对于基准而将视角设在上方的方式来显示前方方向的行驶影像121a，车速越低则越以相对于基准而将视角设在下方的方式来显示前方方向的行驶影像121a。
在此，与车速相应的高度也可以根据应用了本实施方式所涉及的行驶影像显示系统的远程驾驶车辆1来规定。例如，既可以以与车速成比例地使视角连续变化的方式来构成，也可以以根据车速的水平而使视角阶段性地变化的方式来构成。
通过以此方式来显示行驶影像121，从而能够与远程驾驶操作员4的前方注视点的变化相对应。进而，能够很容易地进行前方方向的行驶影像121a的目视确认。
接下来，参照图7。图7为，用于对远程驾驶车辆1正在弯道上行驶时的行驶影像121的显示进行说明的概念图。
图7的上部示出了成为基准的行驶影像121的显示，图7的下部示出了根据特别指定的关注方向而被显示的行驶影像121的显示的示例。
在图7所示的示例中，本实施方式所涉及的行驶影像显示系统将弯道所朝向的方向特别指定为关注方向。并且，对与关注方向相应的行驶影像121进行显示。在图7中，以相对于基准而使视角向弯道所朝向的方向扩展的方式来显示前方方向的行驶影像121a。
通过以此方式来显示行驶影像121，从而能够提高远程驾驶车辆1在弯道上行驶的情况下的驾驶的操作性。
另外，远程驾驶车辆1正在弯道上行驶的情况，能够基于行驶状态信息而进行检测。例如，作为行驶状态信息而取得远程驾驶车辆1的横向加速度，并在检测出了阈值以上的横向加速度的情况下，判断为远程驾驶车辆1正在弯道上行驶。进一步地，也可以根据行驶影像121的图像识别来进行判断。
在此，由本实施方式所涉及的行驶影像显示系统实现的行驶影像121的显示，也可以被应用于远程驾驶操作员4稳定且易于进行目视确认的显示装置120的显示范围的显示。例如，在显示装置120由多监视器构成的情况下，也可以被应用于位于远程驾驶操作员4的正面的显示器设备的显示中。另一方面，即使在这样的情况下，远程驾驶操作员4的关注方向或者关注范围也可以将显示装置120的显示整体作为对象。
例如，也可以以如下方式构成，即，在远程驾驶操作员4的关注方向或者关注范围为被显示在并非位于正面的显示器设备上的行驶影像121的情况下，作为与关注方向或者关注范围相应的行驶影像121的显示，从而将成为关注方向或者关注范围的对象的行驶影像121显示在位于远程驾驶操作员4的正面的显示器设备上。
3.行驶影像显示系统
以下，对本实施方式所涉及的行驶影像显示系统进行说明。但是，关于与前述的内容重复的事项，则适当予以省略。
图8为，表示本实施方式所涉及的行驶影像显示系统10的概要结构的框图。
摄像机210被设置在远程驾驶车辆1上，并且对远程驾驶车辆1的行驶影像进行拍摄并输出。摄像机210包括对多个方向的行驶影像121进行拍摄的多台摄像机。
摄像机210所输出的行驶影像121被传递给显示处理装置110。但是，也可以构成为，对显示处理装置110所要求的特定的方向的行驶影像121进行传递。
传感器220被设置在远程驾驶车辆1上，并且对远程驾驶车辆1的驾驶环境进行检测，并输出检测信息。传感器220包括行驶状态检测传感器221和周围环境检测传感器222。
行驶状态检测传感器221对远程驾驶车辆1的行驶状态(车速、减速度、横向加速度、横摆率等)进行检测，并且作为检测信息而输出行驶状态信息。行驶状态检测传感器221为，例如车轮速度传感器、加速度传感器、陀螺仪传感器等。
周围环境检测传感器222对远程驾驶车辆1的周围环境(前方车辆、车道、障碍物等)进行检测，并且作为检测信息而输出周围环境的信息(与前方车辆的距离、车道的位置、障碍物的种类等)。周围环境检测传感器222为，例如传感器摄像机、LIDAR(LightDetection And Ranging：光探测和测距)、毫米波雷达等。
驾驶操作装置130为，接受由远程驾驶操作员4实施的驾驶操作并输出操作信息的装置。作为驾驶操作装置130，而例示有转向信号灯操作装置、转向盘、换挡操作装置、油门踏板、制动踏板、灯操作装置等。
驾驶操作装置130所输出的操作信息被传递给远程驾驶车辆1以及显示处理装置110中。在此，通过利用图7中未图示的控制装置而使远程驾驶车辆1按照操作信息来进行行驶，从而实现由远程驾驶操作员4进行的远程驾驶。
操作员状态检测传感器150为，对远程驾驶操作员4的状态进行检测，并且输出动作信息的传感器。作为操作员状态检测传感器150，可例示出对远程驾驶操作员4进行拍摄的传感器摄像机。
显示处理装置110基于所取得的信息而执行处理，从而生成显示信号并输出。显示处理装置110所输出的显示信号被传递给显示装置120。特别地，显示处理装置110执行对关注方向或者关注范围进行特别指定的特定处理、和行驶影像121的显示处理。关于特定处理以及显示处理，将在下文进行叙述。
典型性地，显示处理装置110为具备存储器和处理器的计算机。典型性地，存储器包括对数据进行临时存储的RAM(Random Access Memory：随机访问存储器)、和对能够在处理器中执行的程序或程序所涉及的各种数据进行存储的ROM(Read Only Memory：只读存储器)。处理器从存储器中读取程序以及数据，并基于数据来执行按照程序的处理。
典型性地，显示处理装置110被设置在远程驾驶装置100上。但是，也可以是远程驾驶装置100的外部的装置。例如，显示处理装置110也可以为被构成在通信网络上的服务器。另外，如在图1中所说明的那样，显示处理装置110也可以为其他的执行远程驾驶所涉及的处理的信息处理装置。
另外，显示处理装置110既可以以取得全部由摄像机210所拍摄到的行驶影像121的方式来构成，也可以以仅取得用于显示在显示装置120上的特定的方向的行驶影像121的方式来构成。在该情况下，显示处理装置110也可以构成为，针对摄像机210而请求特定的方向的行驶影像121。
4.行驶影像显示方法
以下，对由本实施方式所涉及的行驶影像显示系统10所实现的行驶影像显示方法进行说明。
图9为，表示由本实施方式所涉及的行驶影像显示系统10所实现的行驶影像显示方法的流程图。图9所示的处理按每个预定的控制周期而被执行。
在步骤S100(拍摄处理)中，摄像机210对行驶影像121进行拍摄。在步骤S100之后，处理前进到步骤S110。
在步骤S110(取得处理)中，显示处理装置110从驾驶操作装置130、操作员状态检测传感器150、以及传感器220中取得操作信息、行驶状态信息、以及动作信息。在步骤S110之后，处理前进到步骤S120。
在步骤S120(特定处理)中，显示处理装置110基于在取得处理中所取得的信息，从而对远程驾驶操作员4的关注方向或者关注范围进行特别指定。在特定处理中，在满足以下所示的任意一个条件时，对关注方向或者关注范围进行特别指定。
一个条件为，远程驾驶操作员4正在注视着行驶影像121的特定方向。显示处理装置110基于动作信息，从而对远程驾驶操作员4是否正在注视着行驶影像121的特定方向进行判断。例如，作为动作信息而取得远程驾驶操作员4的视线的信息，并在视线持续朝向特定方向预定时间的情况下，判断为正在注视着特定方向。显示处理装置110将远程驾驶操作员4正在注视的行驶影像121的特定方向特别指定为关注方向。
另一个条件为，左方向的转向信号灯操作或转向操作、或者右方向的转向信号灯操作或转向操作正在实施。显示处理装置110通过作为操作信息而取得转向信号灯操作或者转向操作的信息，从而对条件是否被满足进行判断。显示处理装置110接受左方向的转向信号灯操作或者转向操作从而将远程驾驶车辆1的左侧方向特别指定为关注方向，并且接受右方向的转向信号灯操作或者转向操作从而将远程驾驶车辆1的右侧方向特别指定为关注方向。
另一个条件为，远程驾驶车辆1的预定的制动操作正在实施。显示处理装置110基于操作信息或者行驶状态信息，从而对预定的制动操作是否被实施进行判断。例如，显示处理装置110通过作为操作信息而取得危险灯的点亮操作或制动踏板的踩踏量、或者作为行驶状态信息而取得远程驾驶车辆1的减速度，从而对条件是否被满足进行判断。显示处理装置110接受远程驾驶车辆1的预定的制动操作，从而将远程驾驶车辆1的后侧方向特别指定为关注方向。
另一个条件为，远程驾驶车辆1的远光灯为开启。显示处理装置110通过作为操作信息而取得远光灯的开启关闭状态，从而对远光灯是否开启进行判断。显示处理装置110接受远程驾驶车辆1的远光灯开启的信息，从而将前方方向的行驶影像121a的远处地点特别指定为关注范围。
另一个条件为，远程驾驶车辆1正在弯道上行驶。显示处理装置110基于行驶状态信息或者行驶影像121，从而对远程驾驶车辆1是否正在弯道上行驶进行判断。例如，作为行驶状态信息而取得远程驾驶车辆1的横向加速度，并且在横向加速度成为阈值以上的情况下，判断为正在弯道上行驶。或者，通过行驶影像121的图像识别，从而判断为正在弯道上行驶。显示处理装置110接受远程驾驶车辆1正在弯道上行驶的情况，从而将弯道所朝向的方向特别指定为关注方向。
在此，也可以针对各个条件而给予优先级。并且，在多个条件被满足时，也可以按照优先级来对关注方向或者关注范围进行特别指定。或者，在多个条件被满足时，也可以对多个关注方向或者关注范围进行特别指定。
在步骤S120之后，处理前进至步骤S130。
在步骤S130(显示处理)中，显示处理装置110将行驶影像121显示在显示装置120上。参照图10，对显示处理进行说明。图10所示的处理，通过显示处理的执行而开始。
在步骤S131中，显示处理装置110对是否通过特定处理而给予了关注方向或者关注范围进行判定。在被给予了关注方向或者关注范围的情况下(步骤S131；是)，处理前进至步骤S132。在没有给予关注方向或者关注范围的情况下(步骤S131；否)，处理前进至步骤S133。
在步骤S132中，显示处理装置110将包括关注方向或者关注范围、且与关注方向或者关注范围相应的行驶影像121显示在显示装置120上。在此，与特别指定了的关注方向或者关注范围相应的行驶影像121是指，在图3至图7中说明了的行驶影像。在步骤S132之后，显示处理结束。
在步骤S133中，显示处理装置110对成为基准的行驶影像121进行显示。在步骤S133之后，显示处理结束。
另外，显示处理装置110也可以被构成为，在取得处理中，取得操作信息、行驶状态信息、以及动作信息中的至少一个信息。并且，也可以在特定处理中，根据所取得的信息来对应用的条件进行限定。
5.效果
如以上说明的那样，本实施方式所涉及的行驶影像显示系统以及行驶影像显示方法对远程驾驶操作员4的关注方向或者关注范围进行特别指定。并且，将包括特别指定的关注方向或者关注范围、且与特别指定的关注方向或者关注范围相应的行驶影像121显示在显示装置120上。由此，能够在不增加远程驾驶操作员4的操作以及监视的负担的条件下，将远程驾驶操作员4的关注方向或者关注范围的行驶影像121适当地显示在显示装置120上。
6.改变例
本实施方式所涉及的行驶影像显示系统以及显示处理方法也可以采用如以下那样改变的方式。另外，在以下的说明中，关于与前述的内容重复的事项，将适当予以省略。
6-1.改变例1
显示处理装置110也可以以如下方式构成，即，在显示处理中，将被预先设定的预定的方向或者范围的行驶影像121显示在显示装置120上。例如，也可以构成为，不论特定处理的结果如何，均显示前方方向的行驶影像121a。进一步地，也可以构成为，不论特定处理的结果如何，作为前方方向的行驶影像121a而显示的范围均以固定的方式进行显示。
通过采用以此方式改变的方式，从而能够抑制始终需要监视的行驶影像121因特定处理的结果而未被显示、或者显示被缩小的情况。
6-2.改变例2
本实施方式所涉及的行驶影像显示系统也可以在如下情况下被应用，即，远程驾驶车辆1为牵引车辆，并且摄像机210包括被设置在被牵引车辆上的一台或者多台摄像机的情况。在该情况下，也可以构成为，显示处理装置110在显示处理中接受关注方向为远程驾驶车辆1的左侧方向或者右侧方向的情况，并将被设置在被牵引车辆中的摄像机所拍摄的行驶影像121显示在显示装置120上。
通过采用以此方式改变的方式，从而远程驾驶操作员4能够在使作为牵引车辆的远程驾驶车辆1向左方向或者右方向移动的情况下，对被牵引车辆的动作进行确认。进而，能够提高远程驾驶的操作性。
符号说明
1、远程驾驶车辆；
2、其他车辆；
3、拍摄区域；
4、远程驾驶操作员；
10、行驶影像显示系统；
100、远程驾驶装置；
110、显示处理装置；
120、显示装置；
121、行驶影像；
130、驾驶操作装置；
140、操作盘；
150、操作员状态检测传感器；
210、摄像机；
220、传感器；
221、行驶状态检测传感器；
222、周围环境检测传感器。

Claims (20)

1.一种行驶影像显示方法，其为将远程驾驶车辆的行驶影像显示在显示装置上的行驶影像显示方法，其特征在于，包括：
拍摄处理，其通过被设置在所述远程驾驶车辆上的多台摄像机来对多个方向的所述行驶影像进行拍摄；
取得处理，其取得用于由远程驾驶操作员实施的所述远程驾驶车辆的驾驶操作的操作信息、所述远程驾驶车辆的行驶状态信息、以及所述远程驾驶操作员的动作信息之中的至少一个信息；
特定处理，其基于在所述取得处理中所取得的信息，从而对所述远程驾驶操作员的关注方向或者关注范围进行特别指定；
显示处理，其将包括所述关注方向或者所述关注范围、且与所述关注方向或者所述关注范围相应的所述行驶影像显示在所述显示装置上。
2.如权利要求1所述的行驶影像显示方法，其特征在于，
所述显示处理包括如下内容，即，对所述关注方向或者所述关注范围的所述行驶影像进行突出显示。
3.如权利要求1或权利要求2所述的行驶影像显示方法，其特征在于，
所述显示处理包括如下内容，即，将被预先设定的预定的方向或者范围的所述行驶影像显示在所述显示装置上。
4.如权利要求1至权利要求3中的任意一项所述的行驶影像显示方法，其特征在于，
所述特定处理包括如下内容，即，将所述远程驾驶操作员正在注视的所述行驶影像的特定方向设为所述关注方向。
5.如权利要求1至权利要求3中的任意一项所述的行驶影像显示方法，其特征在于，
所述取得处理包括如下内容，即，作为所述操作信息而取得转向信号灯操作或者转向操作的信息，
所述特定处理包括如下内容，即，接受左方向的所述转向信号灯操作或者所述转向操作并将所述远程驾驶车辆的左侧方向设为所述关注方向、和接受右方向的所述转向信号灯操作或者所述转向操作并将所述远程驾驶车辆的右侧方向设为所述关注方向。
6.如权利要求1至权利要求3中的任意一项所述的行驶影像显示方法，其特征在于，
所述特定处理包括如下内容，即，接受所述远程驾驶车辆的预定的制动操作并将所述远程驾驶车辆的后侧方向设为所述关注方向。
7.如权利要求1至权利要求3中的任意一项所述的行驶影像显示方法，其特征在于，
所述特定处理包括如下内容，即，接受所述远程驾驶车辆的远光灯为开启的情况并将前方方向的所述行驶影像的远处地点设为所述关注范围，
所述显示处理包括如下内容，即，接受所述关注范围为所述远处地点的情况并以相对于基准而将视角设在预定的高度上方的方式来对前方方向的所述行驶影像进行显示。
8.如权利要求1至权利要求3中的任意一项所述的行驶影像显示方法，其特征在于，
所述取得处理包括如下内容，即，作为所述行驶状态信息而取得所述远程驾驶车辆的车速的信息，
所述显示处理包括如下内容，即，以相对于基准而将视角设在与所述车速相应的高度上方或者下方的方式来对前方方向的所述行驶影像进行显示。
9.如权利要求1至权利要求3中的任意一项所述的行驶影像显示方法，其特征在于，
所述特定处理包括如下内容，即，接受所述远程驾驶车辆正在弯道上行驶的情况并将所述弯道所朝向的方向设为所述关注方向。
10.如权利要求5所述的行驶影像显示方法，其特征在于
所述远程驾驶车辆为牵引车辆，
多台所述摄像机包括被设置在被牵引车辆上的一台或者多台摄像机，
所述显示处理包括如下内容，即，接受所述关注方向为所述远程驾驶车辆的左侧方向或者右侧方向的情况，并将被设置在所述被牵引车辆上的所述摄像机所拍摄的所述行驶影像显示在所述显示装置上。
11.一种行驶影像显示系统，其为将远程驾驶车辆的行驶影像显示在显示装置上的行驶影像显示系统，其特征在于，包括：
多台摄像机，其被设置在所述远程驾驶车辆上，并对多个方向的所述行驶影像进行拍摄；
显示处理装置，其执行对所述行驶影像进行显示的处理，
所述显示处理装置执行如下处理，即：
取得处理，其取得用于由远程驾驶操作员实施的所述远程驾驶车辆的驾驶操作的操作信息、所述远程驾驶车辆的行驶状态信息、以及所述远程驾驶操作员的动作信息之中的至少一个信息；
特定处理，其基于在所述取得处理中所取得的信息，从而对所述远程驾驶操作员的关注方向或者关注范围进行特别指定；
显示处理，其将包括所述关注方向或者所述关注范围、且与所述关注方向或者所述关注范围相应的所述行驶影像显示在所述显示装置上。
12.如权利要求11所述的行驶影像显示系统，其特征在于，
所述显示处理装置在所述显示处理中，对所述关注方向或者所述关注范围的所述行驶影像进行突出显示。
13.如权利要求11或权利要求12所述的行驶影像显示系统，其特征在于，
所述显示处理装置在所述显示处理中，将被预先设定的预定的方向或者范围的所述行驶影像显示在所述显示装置上。
14.如权利要求11至权利要求13中的任意一项所述的行驶影像显示系统，其特征在于，
所述显示处理装置在所述特定处理中，将所述远程驾驶操作员正在注视的所述行驶影像的特定方向设为所述关注方向。
15.如权利要求11至权利要求13中的任意一项所述的行驶影像显示系统，其特征在于，
所述显示处理装置在所述取得处理中，作为所述操作信息而取得转向信号灯操作或者转向操作的信息，
所述显示处理装置在所述特定处理中，接受左方向的所述转向信号灯操作或者所述转向操作并将所述远程驾驶车辆的左侧方向设为所述关注方向，并且接受右方向的所述转向信号灯操作或者所述转向操作并将所述远程驾驶车辆的右侧方向设为所述关注方向。
16.如权利要求11至权利要求13中的任意一项所述的行驶影像显示系统，其特征在于，
所述显示处理装置在所述特定处理中，接受所述远程驾驶车辆的预定的制动操作并将所述远程驾驶车辆的后侧方向设为所述关注方向。
17.如权利要求11至权利要求13中的任意一项所述的行驶影像显示系统，其特征在于，
所述显示处理装置在所述特定处理中，接受所述远程驾驶车辆的远光灯为开启的情况并将前方方向的所述行驶影像的远处地点设为所述关注范围，
所述显示处理装置在所述显示处理中，接受所述关注范围为所述远处地点的情况并以相对于基准而将视角设在预定的高度上方的方式来对前方方向的所述行驶影像进行显示。
18.如权利要求11至权利要求13中的任意一项所述的行驶影像显示系统，其特征在于，
所述显示处理装置在所述取得处理中，作为所述行驶状态信息而取得所述远程驾驶车辆的车速的信息，
所述显示处理装置在所述显示处理中，以相对于基准而将视角设在与所述车速相应的高度上方或者下方的方式来对前方方向的所述行驶影像进行显示。
19.如权利要求11至权利要求13中的任意一项所述的行驶影像显示系统，其特征在于，
所述显示处理装置在所述特定处理中，接受所述远程驾驶车辆正在弯道上行驶的情况并将所述弯道所朝向的方向设为所述关注方向。
20.如权利要求15所述的行驶影像显示系统，其特征在于，
所述远程驾驶车辆为牵引车辆，
多台所述摄像机包括被设置在被牵引车辆上的一台或者多台摄像机，
所述显示处理装置在所述显示处理中，接受所述关注方向为所述远程驾驶车辆的左侧方向或者右侧方向的情况，并将被设置在所述被牵引车辆上的所述摄像机所拍摄的所述行驶影像显示在所述显示装置上。
CN202210987094.0A 2021-08-19 2022-08-17 行驶影像显示方法、行驶影像显示系统 Pending CN115941883A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021134028A JP7501470B2 (ja) 2021-08-19 2021-08-19 走行映像表示方法、走行映像表示システム
JP2021-134028 2021-08-19

Publications (1)

Publication Number Publication Date
CN115941883A true CN115941883A (zh) 2023-04-07

Family

ID=84891393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210987094.0A Pending CN115941883A (zh) 2021-08-19 2022-08-17 行驶影像显示方法、行驶影像显示系统

Country Status (3)

Country Link
US (1) US12037007B2 (zh)
JP (1) JP7501470B2 (zh)
CN (1) CN115941883A (zh)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145777A (ja) 1996-11-05 1998-05-29 Hitachi Denshi Ltd 移動体におけるカメラ映像表示装置
JP2000284214A (ja) 1999-03-30 2000-10-13 Suzuki Motor Corp ヘルメット搭載用表示手段制御装置
JP2011009823A (ja) 2009-06-23 2011-01-13 Caterpillar Japan Ltd 遠隔制御用作業機械の画像表示方法
DE102014212819A1 (de) 2014-07-02 2016-01-07 Zf Friedrichshafen Ag Ortspositionsabhängige Darstellung von Fahrzeugumfelddaten auf einer mobilen Einheit
JP6382118B2 (ja) 2015-01-21 2018-08-29 株式会社日立製作所 画像調整方法、サーバ及び動画撮影システム
KR102043060B1 (ko) * 2015-05-08 2019-11-11 엘지전자 주식회사 자율 주행 장치 및 이를 구비한 차량
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
EP4180893A1 (en) 2015-11-04 2023-05-17 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US9535423B1 (en) * 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
JP2018045482A (ja) * 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム
JP6650386B2 (ja) 2016-11-09 2020-02-19 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
JP6958252B2 (ja) 2017-11-07 2021-11-02 トヨタ自動車株式会社 遠隔監視システム及び自律走行車両並びに遠隔監視方法
JP2020106980A (ja) 2018-12-26 2020-07-09 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御システム
JP6973435B2 (ja) 2019-03-18 2021-11-24 トヨタ自動車株式会社 運行制御装置、運行制御方法、及び車両
JP7140037B2 (ja) 2019-04-15 2022-09-21 トヨタ自動車株式会社 車両遠隔指示システム
KR20190078553A (ko) * 2019-06-14 2019-07-04 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
JP2021011233A (ja) 2019-07-09 2021-02-04 トヨタ自動車株式会社 車両遠隔操作システム
JP2021015565A (ja) 2019-07-16 2021-02-12 トヨタ自動車株式会社 車両制御装置
JP7200864B2 (ja) 2019-07-17 2023-01-10 トヨタ自動車株式会社 車両制御装置
JP7238670B2 (ja) 2019-07-23 2023-03-14 トヨタ自動車株式会社 画像表示装置
JP7156208B2 (ja) 2019-08-08 2022-10-19 トヨタ自動車株式会社 車両遠隔指示システム及び遠隔指示装置
JP7222332B2 (ja) 2019-08-23 2023-02-15 トヨタ自動車株式会社 車両遠隔指示システム
JP7243524B2 (ja) 2019-08-23 2023-03-22 トヨタ自動車株式会社 自動運転システム
JP7156217B2 (ja) 2019-09-06 2022-10-19 トヨタ自動車株式会社 車両遠隔指示システム
JP7276023B2 (ja) 2019-09-06 2023-05-18 トヨタ自動車株式会社 車両遠隔指示システム、及び自動運転車両
JP7234872B2 (ja) 2019-09-12 2023-03-08 トヨタ自動車株式会社 車両遠隔指示システム
US20210263513A1 (en) * 2020-02-26 2021-08-26 Polaris Industries Inc. Environment monitoring system and method for a towed recreational vehicle

Also Published As

Publication number Publication date
JP2023028366A (ja) 2023-03-03
US20230017458A1 (en) 2023-01-19
JP7501470B2 (ja) 2024-06-18
US12037007B2 (en) 2024-07-16

Similar Documents

Publication Publication Date Title
US9620009B2 (en) Vehicle surroundings monitoring device
CN108140312B (zh) 停车辅助方法及停车辅助装置
CN109789778B (zh) 自动泊车辅助装置以及包括其的车辆
CN109204305B (zh) 丰富视野方法、观察员车辆和对象中使用的设备和机动车
JP5286035B2 (ja) 車速制御装置
CN107428252B (zh) 用于在自主驾驶模式期间操作机动车辆的通信装置的方法，通信装置以及机动车辆
US10484651B2 (en) Image display control device
US11584373B2 (en) Method, device and means of transport for an automated starting up of a means of transport at a light signal system
JP2009026003A (ja) 運転支援システム
JP2019014300A (ja) 車両制御システム、車両制御方法、およびプログラム
CN110786004A (zh) 显示控制装置、显示控制方法及程序
US11794655B2 (en) On-vehicle information display device
CN113173160B (zh) 车辆用防碰撞装置及车辆用防碰撞方法
KR20190046579A (ko) 다중 카메라 제어 시스템 및 다중 카메라 영상 출력 제어 방법
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
CN113060156B (zh) 车辆周围监视装置、车辆、车辆周围监视方法和程序
JP4375153B2 (ja) 車両用表示装置
CN115941883A (zh) 行驶影像显示方法、行驶影像显示系统
CN115123068A (zh) 车辆控制装置、车辆、车辆控制装置的动作方法以及存储介质
JP2009149306A (ja) 車両用表示装置
JP6476644B2 (ja) 認知補助装置
CN110979319A (zh) 驾驶辅助方法、装置和系统
US12047710B2 (en) Remote monitoring device, remote monitoring system, and remote monitoring method
CN108297691B (zh) 用于在车辆的相机显示器上提供通知的方法和系统
US20230176572A1 (en) Remote operation system and remote operation control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination