CN115714786A - 远程操作装置及方法、远程驾驶系统以及计算机可读介质 - Google Patents

Abstract

本发明涉及远程操作装置、远程驾驶系统、远程操作方法以及记录有远程操作程序的计算机可读介质，该远程操作装置通过从车外进行远程操作来驾驶车辆，该远程操作装置具备：图像取得部，从上述车辆取得该车辆的周边图像；第1显示部，显示上述车辆的周边图像；以及第2显示部，在上述第1显示部的除了中心视野区域以外的周边视野区域中被设置于上述第1显示部的上侧、或者下侧、或者上述上侧以及上述下侧，显示从上述中心视野区域侧朝向宽度方向端部移动的对象。

Description

远程操作装置及方法、远程驾驶系统以及计算机可读介质

技术领域

本公开涉及远程操作装置、远程驾驶系统、远程操作方法以及记录有远程操作程序的计算机可读介质。

背景技术

在日本特开2010－173492号公报中提出了一种在车辆的顶部的车厢侧面配置有沿前后方向延伸的一对液晶显示器并在此显示以与车速对应的速度移动的高斯光斑(Gaussian blob)。驾驶员通过以周边视野目视确认高斯光斑的运动，能够直观地识别车速而不会妨碍驾驶操作。

近年来，正追求通过在车外的驾驶操作室(operation room)等进行操作来从远处操作车辆的远程驾驶技术。在驾驶操作室中，与从车辆(的驾驶位)观察的视野对应的图像被显示于监视器。

在远程驾驶时，为了驾驶操作室的操作者获得车速感，可考虑采用现有技术。

然而，在引用了上述现有技术的情况下，存在下述可能性：需要另外准备用于显示高斯光斑的液晶显示器；另外，在车辆转弯时等操作者的视线从正面向左右偏移的情况下，高斯光斑进入至操作者的中心视野而无法充分识别车速感。

发明内容

本公开提供即便在车辆的转弯时远程驾驶操作中的操作者也能够获得车速感的远程操作装置、远程驾驶系统、远程操作方法以及记录有远程操作程序的计算机可读介质。

本公开的第1方式是在一种远程操作装置，通过从车外进行远程操作来驾驶车辆，所述远程操作装置具备：图像取得部，从上述车辆取得该车辆的周边图像；第1显示部，显示上述车辆的周边图像；以及第2显示部，在上述第1显示部的除了中心视野区域以外的周边视野区域中设置于上述第1显示部的上侧、或者下侧、或者上述上侧以及上述下侧，显示从上述中心视野区域侧朝向宽度方向端部移动的对象。

在第1方式中，在从车外操作车辆的远程操作装置中设置有：图像取得部，从车辆取得车辆的周边图像；第1显示部，显示车辆的周边影像；以及第2显示部，在第1显示部中的除了中心视野区域以外的周边视野区域中设置于第1显示部的上方或者下方或者上方以及下方。在该第2显示部显示从中心视野区域朝向宽度方向端部移动的对象。

这里，“设置于第1显示部的上侧、或者下侧、或者上侧以及下侧的第2显示部”包括设置于第1显示部内的上部、或者下部、或者上部以及下部的第2显示部。

另外，“中心视野区域”是指与远程操作装置的操作者的中心视野相当的第1显示部上的区域。

这样，通过使对象在第2显示部上从中心视野区域侧朝向宽度方向端部移动，能够使操作者感受操作对象的车辆的速度感。

特别是，即便是操作者的视线向左右移动了的情况，也仅在第1显示部上设置于除了中心视野区域以外的周边视野区域的上侧、或者下侧、或者上侧以及下侧的第2显示部显示对象。即，可防止显示于第2显示部的对象进入至操作者的中心视野，能够防止或者抑制操作者对于周边图像的视觉确认性降低，并且操作者能够获得车速感。

本公开的第2方式是在上述第1方式的基础上完成的，具备：转向角信息取得部，取得上述车辆的转向角信息；和中心视野区域决定部，基于上述转向角信息来决定上述中心视野区域。

根据第2方式，基于由转向角信息取得部取得的车辆的转向角信息来决定(变更)第1显示部的中心视野区域。例如在车辆左转的情况下，操作者通过使视线朝向比车辆前方靠左侧来掌握左转前方的状况。即，在车辆左转时，操作者的中心视野向左侧位移。

鉴于此，在本方式中，基于车辆的转向角(信息)来决定第1显示部上的中心视野区域(使第1显示部上的中心视野区域在宽度方向位移)，在除了中心视野区域以外的第1显示部的周边视野区域的上侧、或者下侧、或者上侧以及下侧设置有第2显示部。由此，例如可防止或者抑制显示于第2显示部的对象进入至在车辆左转时将视线向左侧活动了的操作者的中心视野而操作者对于车辆的周边图像的视觉确认性降低。

本公开的第3方式是在上述第1方式的基础上完成的，具备：视线信息取得部，取得上述远程操作装置的操作者对于第1显示部的视线信息；和中心视野区域决定部，基于上述视线信息来决定上述中心视野区域。

根据第3方式，基于由视线信息取得部取得的操作者的视线信息(视线方向)来决定(变更)操作者的中心视野区域。例如，在车辆左转的情况下，操作者通过使视线朝向比车辆前方靠左侧来掌握左转前方的状况。即，在车辆左转时，操作者的中心视野向左侧位移。

鉴于此，在本方式中，基于操作者的视线(信息)来决定第1显示部上的中心视野区域(使第1显示部上的中心视野区域在宽度方向位移)，在除了中心视野区域以外的第1显示部的周边视野区域的上侧、或者下侧、或者上侧以及下侧设置有第2显示部。由此，例如可防止或者抑制显示于第2显示部的对象进入至在车辆左转时将视线向左侧活动了的操作者的中心视野而操作者对于车辆的周边图像的视觉确认性降低。

本公开的第4方式是在上述第2或者第3方式的基础上完成的，上述中心视野区域决定部基于从上述远程操作装置的操作者的视点至上述第1显示部为止的距离来决定上述中心视野区域。

根据第4方式，对于第1显示部中的中心视野区域而言，基于从操作者的视点至第1显示部为止的距离来决定中心视野区域。

操作者的中心视野以从操作者的视点观察的视线方向为中心而被设为规定角度的范围。因此，能够基于以从操作者的视点观察的视线方向为中心的规定角度和从操作者的视点至第1显示部为止的距离来高精度地决定第1显示部上的中心视野区域。

本公开的第5方式是在上述第1～第4方式中的任一方式的基础上完成的，上述对象的移动速度根据上述车辆的车速而变化。

根据第5方式，显示于第2显示部的对象的移动速度根据车速而变化。因此，操作者仅目视确认显示于第2显示部的对象就能够实际感受车速(的变化)。

本公开的第6方式是一种远程驾驶系统，具备第1～5方式中的任一方式的远程操作装置、和通过上述远程操作装置的操作被驾驶的车辆。

根据第6方式，由于远程操作系统具备上述远程操作装置和通过上述远程操作装置被操作的车辆，所以操作者能够在获得车速感的同时良好地操作车辆。

本公开的第7方式是一种远程操作方法，使计算机在通过从车外进行远程操作来驾驶车辆的远程操作装置中执行包括下述步骤的处理：使图像取得部从上述车辆取得该车辆的周边图像，使第1显示部显示上述车辆的周边图像，使第2显示部显示从上述第1显示部的中心视野区域侧朝向宽度方向端部移动的对象，该第2显示部在上述第1显示部的除了上述中心视野区域以外的周边视野区域中被设置于上述第1显示部的上侧、或者下侧、或者上述上侧以及上述下侧。

根据第7方式，与第1方式同样，能够使操作者感受操作对象的车辆的速度感。另外，即便在操作者的视线左右移动了的情况下，也可防止对象进入至操作者的中心视野，能够防止或者抑制操作者对于周边图像的视觉确认性降低。

本公开的第8方式是记录有远程操作程序的(非暂时性)计算机可读介质，该远程操作程序使计算机在通过从车外进行远程操作来驾驶车辆的远程操作装置中执行包括下述步骤的处理：使图像取得部从上述车辆取得该车辆的周边图像，使第1显示部显示上述车辆的周边图像，使第2显示部显示从上述第1显示部的中心视野区域侧朝向宽度方向端部移动的对象，该第2显示部在上述第1显示部的除了上述中心视野区域以外的周边视野区域被设置于上述第1显示部的上侧、或者下侧、或者上述上侧以及上述下侧。

根据第8方式，与第1方式同样，能够使操作者感受操作对象的车辆的速度感。另外，即便在操作者的视线向左右移动了的情况下，也可防止对象进入至操作者的中心视野，能够防止或者抑制操作者对于周边图像的视觉确认性降低。

根据上述方式，本公开的远程操作装置、远程驾驶系统、远程操作方法以及记录有远程操作程序的计算机可读介质在车辆转弯时也能够使远程驾驶操作中的操作者获得车速感。

附图说明

基于以下的附图对具体实施方式进行详细描述，其中：

图1是表示一个例示实施方式所涉及的远程操作系统的简要结构的示意图。

图2是表示车辆的硬件结构的框图。

图3是表示车辆所具备的车辆控制装置的功能结构的一个例子的框图。

图4是表示远程操作装置的硬件结构的框图。

图5是表示远程操作装置所具备的远程控制装置的功能结构的一个例子的框图。

图6是从上方观察显示装置的示意性的俯视图。

图7是将显示装置的图像显示面展开了的图。

图8是从上方观察左转操作时的显示装的示意性的俯视图。

图9是将左转操作时的显示装置的图像显示面展开了的图。

图10是表示由车辆控制装置执行的处理的流程的流程图。

图11是表示由车辆控制装置执行的处理的流程的流程图。

图12是表示由远程操作装置执行的处理的流程的流程图。

图13是表示由远程操作装置执行的处理的流程的流程图。

图14是表示变更(variation)所涉及的远程操作装置的硬件结构的框图。

图15是表示变更所涉及的远程操作装置所具备的远程控制装置的功能结构的一个例子的框图。

图16是将其他例子所涉及的显示装置的图像显示面展开了的图。

图17是从上方观察其他例子所涉及的显示装置的示意性的俯视图。

图18是将其他例子所涉及的显示装置的图像显示面展开了的图。

具体实施方式

以下，使用图1～图13对一个实施方式所涉及的远程操作系统10进行说明。

如图1所示，本例示实施方式所涉及的远程操作系统10构成为包括车辆12和远程操作装置14。

在车辆12搭载有车辆控制装置20。另外，远程操作装置14构成为包括远程控制装置40。而且，在上述的远程操作系统10中，车辆12的车辆控制装置20与远程操作装置14的远程控制装置40经由网络N1连接为相互能够通信。作为一个例子，该网络N1是因特网等使用了公共线路的有线以及无线的通信网。

(车辆的结构)

车辆12构成为能够执行手动驾驶和远程驾驶，该手动驾驶基于作为该车辆12的乘员的驾驶员(driver)的驾驶操作，该远程驾驶基于操作者(remote driver：远程驾驶员)对于远程操作装置14的驾驶操作。其中，该车辆12通常被设定为手动驾驶的模式。

图2是表示搭载于车辆12的设备的硬件结构的框图。车辆12除了包括上述的车辆控制装置20之外还包括外部传感器24、内部传感器26、输入装置28、促动器30以及用户I/F(Inter Face)32。

如图2所示，车辆控制装置20构成为包括CPU(Central Processing Unit)20A、ROM(Read Only Memory)20B、RAM(Random Access Memory)20C、储存器20D、通信I/F(InterFace)20E以及输入输出I/F20F。CPU20A、ROM20B、RAM20C、储存器20D、通信I/F20E以及输入输出I/F20F经由总线20G连接为相互能够通信。

CPU20A是中央运算处理单元，执行各种程序、控制各部。即，CPU20A从ROM20B读出程序，将RAM20C作为工作区域来执行程序。在本例示实施方式中，在ROM20B存储有程序。通过CPU20A执行程序，使得车辆控制装置20如图3所示作为周边信息取得部200、举动信息取得部(behavior information acquiring section)210、操作受理部220、驾驶控制部230、以及权限赋予部240发挥功能。

如图2所示，ROM20B存储有各种程序以及各种数据。RAM20C作为工作区域来暂时存储程序或者数据。储存器20D由HDD(Hard Disk Drive)或者SSD(Solid State Drive)构成，存储有包括操作系统的各种程序以及各种数据。通信I/F20E包括为了与远程控制装置40通信而用于与网络N1连接的接口。作为该接口，例如可使用LTE、Wi－Fi(注册商标)等通信标准。

本例示实施方式的通信I/F20E经由网络N1朝向车辆12的外部的远程操作装置14发送照相机24A的拍摄图像、由内部传感器26检测到的与车辆的行驶状态相关的信息，从远程操作装置14接收用于操作车辆12的操作信息亦即远程操作信息。其中，在上述的照相机24A附带有未图示的麦克，与上述的拍摄图像的数据一同收发和上述的拍摄图像一同被收录到的声音的数据信号。

输入输出I/F20F是用于与搭载于车辆12的各装置进行通信的接口。在本例示实施方式的车辆控制装置20经由输入输出I/F20F连接有外部传感器24、内部传感器26、输入装置28、促动器30以及用户I/F32。此外，外部传感器24、内部传感器26、输入装置28、促动器30以及用户I/F32也可以与总线20G直接连接。

外部传感器24是检测车辆12的周边的周边信息的传感器组。该外部传感器24包括拍摄规定范围的照相机24A。

内部传感器26是检测车辆12的行驶状态的传感器组。该内部传感器26包括检测方向盘的操作量的转向角传感器26A和检测车辆的速度的车速传感器26B。

输入装置28是用于供正乘坐于车辆12的乘员操作的开关组。输入装置28包括作为使车辆12的转向轮进行转向的开关的方向盘28A、作为使车辆12加速的开关的加速踏板28B、以及作为使车辆12减速的开关的制动踏板28C。

促动器30包括驱动车辆12的转向轮的方向盘促动器、控制车辆12的加速的加速促动器、以及控制车辆12的减速的制动促动器。

用户I/F32包括显示器以及扬声器(均省略图示)。显示器例如被配设于车辆12的仪表板，构成了静电电容式的触摸面板。扬声器例如分别被配设于车辆12的左右的侧门。

图3是表示车辆控制装置20的功能结构的一个例子的框图。如图3所示，车辆控制装置20具有周边信息取得部200、举动信息取得部210、操作受理部220、驾驶控制部230以及权限赋予部240。各功能结构通过CPU20A读出存储于ROM20B的程序并执行来实现。

周边信息取得部200具有取得车辆12的周边的周边信息的功能。周边信息取得部200经由输入输出I/F20F从外部传感器24取得车辆12的周边信息。该周边信息中包括由照相机24A拍摄到的车辆12的前方侧周边图像(以下，称为“周边图像”)。

举动信息取得部210具有取得车辆12的转向角信息、车速信息等与车辆的举动相关的举动信息的功能。举动信息取得部210经由输入输出I/F20F从内部传感器26取得车辆12的举动信息。

操作受理部220具有在进行基于车辆12的乘员的操作的手动驾驶的情况下受理从各输入装置28输出的信号的功能。操作受理部220基于从各输入装置28受理到的信号来生成用于控制促动器30的操作信息亦即车辆操作信息。

驾驶控制部230具有对基于从远程操作装置14接收(取得)到的远程操作信息的远程驾驶、以及基于从操作受理部220受理到的车辆操作信息的手动驾驶进行控制的功能。

权限赋予部240具有对于操作远程操作装置14的操作者赋予操作权限的功能，该操作权限是用于操作搭载有车辆控制装置20的车辆12的权限。在对操作者赋予了操作权限的情况下，车辆控制装置20对于该操作者所操作的远程操作装置14发送权限赋予信号。通过操作权限从车辆12移至远程操作装置14，由此在车辆12中基于从远程操作装置14接收到的远程操作信息来使车辆12行驶。即，进行基于操作者的远程驾驶。

另外，在结束远程操作装置14涉及的远程驾驶的情况下，权限赋予部240对于远程操作装置14发送移交通知信号，该移交通知信号用于通知为将操作权限移至车辆12。在接收到移交通知信号的远程操作装置14中，执行用于结束远程驾驶的结束处理。

(远程操作装置)

图4是表示搭载于本例示实施方式的远程操作装置14的设备的硬件结构的框图。远程操作装置14除了包括上述的远程控制装置40之外还包括显示装置42、扬声器44、以及作为操作部的输入装置48。

远程控制装置40构成为包括CPU40A、ROM40B、RAM40C、储存器40D、通信I/F40E以及输入输出I/F40F。CPU40A、ROM40B、RAM40C、储存器40D、通信I/F40E以及输入输出I/F40F经由总线40G连接为相互能够通信。CPU40A、ROM40B、RAM40C、储存器40D、通信I/F40E以及输入输出I/F40F的功能与上述的车辆控制装置20的CPU20A、ROM20B、RAM20C、储存器20D、通信I/F20E以及输入输出I/F20F相同。

CPU40A从ROM40B读出程序，将RAM40C作为工作区域来执行程序。在本例示实施方式中，在ROM40B存储有程序。通过CPU40A执行程序，使得远程控制装置40作为图5所示的车辆信息取得部400、距离取得部410、中心视野区域决定部420、显示区域决定部430、速度决定部440、显示控制部450、操作信息生成部460以及操作切换部470发挥功能。

在本例示实施方式的远程控制装置40经由输入输出I/F40F连接有显示装置42、扬声器44以及输入装置48。此外，显示装置42、扬声器44以及输入装置48也可以与总线40G直接连接。

显示装置42是用于显示由车辆12的照相机24A拍摄到的车辆12的周边图像、车辆12所涉及的各种信息的液晶显示器。如图6所示，显示装置42在远程操作室(未图示)中被配置于就座于操作座椅(未图示)的操作者P(仅图示头部)的正面，俯视下为弯曲成大致圆弧状的形状。即，显示装置42的图像显示面42A从操作者P的一方的侧方经由正面延伸至另一方的侧方。因此，是在朝向正面的操作者P的视场的全部范围显示车辆12的周边图像的构成。

另外，如图7所示，显示装置42的内侧的图像显示面42A在展开为平面的状态下是矩形，构成为能够在其全部面显示周边图像，并且在决定于其四个角的后述的对象显示区域54L、54R、56L、56R(以下，存在称为“对象显示区域54L～56R”的情况)重叠显示对象52以及背景58。其中，图像显示面42A相当于“第1显示部”。另外，对象显示区域54L～56R相当于“第2显示部”。

扬声器44输出通过附带于车辆12的照相机24A的话筒被与拍摄图像一同收录的声音。

输入装置48是用于供利用远程操作装置14的操作者操作的控制器。输入装置48包括作为使车辆12的转向轮转向的开关的方向盘48A、作为使车辆12加速的开关的加速踏板48B、作为使车辆12减速的开关的制动踏板48C。此外，各输入装置48的方式并不局限于此。例如，也可以设置手柄开关来代替方向盘48A。另外，例如也可以设置按钮开关、手柄开关来替代加速踏板48B、制动踏板48C的踏板开关。

图5是表示远程控制装置40的功能结构的一个例子的框图。如图5所示，远程控制装置40具有车辆信息取得部400、距离取得部410、中心视野区域决定部420、显示区域决定部430、速度决定部440、显示控制部450、操作信息生成部460以及操作切换部470。

车辆信息取得部400具有取得从车辆控制装置20发送出的照相机24A的拍摄图像亦即车辆12的周边图像(以下，称为“周边图像”)及收录声音、以及车速信息、转向角信息等车辆信息的功能。所取得的拍摄图像被显示于显示装置42的图像显示面42A，收录声音被从扬声器44输出。其中，车辆信息取得部400相当于“图像取得部”、“转向角信息取得部”、以及“车速信息取得部”。

距离取得部410取得从就座于远程操作室的操作座椅(未图示)的操作者P的视点(eyepoint)至显示装置42的图像显示面42A为止的距离L。在本例示实施方式中，预先测量距离L，将每个操作者P的数值存储于储存器40D。因此，通过确定操作者P来从储存器40D取得直至显示装置42的图像显示面42A为止的距离L。

此外，也可以通过距离传感器等来检测从操作者P的视点至显示装置42的图像显示面42A为止的距离。

中心视野区域决定部420将俯视下从操作者P的正面方向向左右倾斜了车辆12的转向角量的方向视为视线方向，将以该视线方向为中心从操作者P的视点起俯视下规定角度的范围决定为中心视野区域50。具体如图8所示，将从操作者的正面方向C向左右倾斜了转向角θ1量的方向作为视线方向LV，根据从操作者P的视点至显示装置42的图像显示面42A为止的距离L和以视线方向LV为中心的中心视野的视野角θ2(在本例示实施方式中为俯视下20度)来决定显示装置42的图像显示面42A上的中心视野区域50(参照图9的阴影部分)。

显示区域决定部430在显示装置42的图像显示面42A上决定显示对象52(参照图7)的区域。具体而言，如图7所示，在图像显示面42A上，在除了中心视野区域50以外的左右两侧的部分(周边视野区域51)将从上端起规定距离的范围决定为上侧的对象显示区域54L、54R，将从下端起规定距离的范围决定为下侧的对象显示区域56L、56R。

速度决定部440以使操作者觉得对象52正在对象显示区域54L～56R以与车速对应的一定速度移动的方式决定从中心视野区域50侧向左右两端侧的对象52的移动速度。具体而言，从预先储存于储存器40D的、设定了车速与对象52的移动速度的对应关系的表中读出与车速对应的对象52的移动速度。

显示控制部450在显示装置42的图像显示面42A的整个面显示所取得的周边图像，并且在图像显示面42A的对象显示区域54L～56R将以与车速对应的规定速度移动的对象52和周边图像重叠地显示。

其中，在本例示实施方式中，显示控制部450在对象显示区域54L～56R的整个区域将单色的背景58与周边图像重叠地显示。

操作信息生成部460具有在进行基于操作者的操作的远程驾驶的情况下受理从各输入装置48输出的信号的功能。另外，操作信息生成部460基于从各输入装置48受理到的信号来生成向车辆控制装置20发送的远程操作信息。

操作切换部470具有控制与车辆12的远程驾驶有关的切换的功能。具体而言，在从车辆12取得了权限赋予信号的情况下，操作切换部470执行用于进行车辆12的远程驾驶的处理。另外，在从车辆12取得了移交通知信号的情况下，操作切换部470执行使车辆12的远程驾驶结束的结束处理。

(控制的流程)

接着，使用图10～图13对构成远程操作系统10的车辆12以及远程操作装置14中的控制的流程进行说明。

(车辆控制装置中的处理)

首先，使用图10以及图11的流程图对在车辆12的车辆控制装置20中执行的处理的流程进行说明。其中，在该处理的说明中，通过一般的远程操作、即操作远程操作装置14的输入装置48来从远程控制装置40向车辆控制装置20发送远程操作信息，关于基于此来控制车辆12的促动器30的点省略说明。即，对用于通过远程操作装置14使显示装置42显示对象52的控制进行说明。

在图10的步骤S10中，CPU20A对车辆12的乘员是否选择了远程驾驶进行判定。具体而言，对是否接收到远程切换信号进行判定。在该判定为肯定的情况下，进入至接下来的步骤S12，在该判定为否定的情况下，反复进行步骤S10中的处理。

在进入至步骤S12的情况下，CPU20A将权限赋予信号发送至远程控制装置40。

在步骤S14中，CPU20A对从远程控制装置40是否接收到权限接受信号进行判定。在该判定为肯定的情况下，进入至接下来的步骤S16，在该判定为否定的情况下，反复进行步骤S14中的处理。

在步骤S16中，CPU20A生成由照相机24A拍摄到的周边图像和包括在拍摄时机由转向角传感器26A以及车速传感器26B分别检测到的转向角信息以及车速信息的举动信息所构成的车辆信息。

接着，在步骤S18中，CPU20A将所生成的车辆信息发送至远程控制装置40。

并且，在图11的步骤S20中，CPU20A对车辆12的乘员是否选择了手动驾驶进行判定。具体而言，对是否接收到手动切换信号进行判定。在该判定为肯定的情况下，进入至步骤S22，并且在该判定为否定的情况下，反复进行步骤S16以后的处理。

在进入至步骤S22的情况下，CPU20A对于远程控制装置40发送移交通知信号，并结束一系列处理。

(远程操作装置中的处理)

接着，使用图12以及图13的流程图对在远程操作装置14中执行的处理的流程进行说明。

在图12的步骤S30中，CPU40A对是否接收到权限赋予信号进行判定。在该判定为肯定的情况下，进入至接下来的步骤S32，在该判定为否定的情况下，反复进行步骤S30中的处理。

在步骤S32中，若被选定的操作者完成了远程驾驶的准备，则CPU40A将权限接受信号发送至车辆控制装置20。

在步骤S34中，CPU40A从储存器40D取得自被选定的操作者的视点至显示装置42的图像显示面42A为止的距离L(参照图6)。

在步骤S36中，CPU40A从车辆控制装置20取得车辆信息、即周边图像以及车辆12的举动信息(车速信息、转向角信息等)。

接着，在步骤S38中，CPU40A基于距离L和车辆12的转向角信息来决定中心视野区域50。例如，当在车辆12的左转时操作了方向盘的情况下，如图8所示，将俯视下从操作者P的正面方向C向左侧倾斜了转向角θ1量的方向作为视线方向LV，从操作者的视点起以视线方向LV为中心而将中心视野的视野角θ2(在本例示实施方式中为俯视下20度(以视线方向LV为中心左右各10度))的范围作为中心视野范围CA。其中，在俯视下从操作者的视点观察图像显示面42A的整个区域的视角中，将除去中心视野范围CA以外的左右的范围(角度)作为周边视野范围PA(参照图6、图8)。

显示装置42的图像显示面42A上的中心视野范围CA为中心视野区域50。具体而言，如图8所示，根据从操作者P的视点至显示装置42的图像显示面42A为止的距离L和以视线方向LV为中心的中心视野的视野角θ2(在本例示实施方式中为俯视下20度)来决定图像显示面42A上的中心视野区域50(参照图9的阴影部分)。其中，在转向角为0度的情况下，如图6以及图7所示，以作为正面方向C的视线方向LV为中心而视野角θ2(在本例示实施方式中为20度，左右各10度)的范围成为中心视野区域50(参照图7的阴影部分)。

接着，在步骤S40中，如图7、图9所示，CPU40A决定显示装置42的图像显示面42A上的对象显示区域54L～56R。具体而言，如图7、图9所示，在图像显示面42A上除去中心视野区域50以外的左右两侧的部分(周边视野区域51)中决定从上端起为规定距离的范围的上侧的对象显示区域54L、54R和从下端起为规定距离的范围的下侧的对象显示区域56L、56R。

并且，在图13的步骤S42中，CPU40A基于车速来决定在对象显示区域54L～56R显示的对象52的移动速度。此时，以对象52在显示装置42的图像显示面42A上看起来为一定速度的方式决定移动速度。其中，在本例示实施方式中，CPU40A从储存于储存器40D的设定有车速与对象52的移动速度的对应关系的表中读出与车速对应的对象52的移动速度，并将之决定为对象52的移动速度。

接着，在步骤S44中，CPU40A在显示装置42的图像显示面42A的整个区域显示周边图像，并且使对象显示区域54L～56R将对象52和背景58重叠地显示于周边图像。此时，对象52被显示为在各对象显示区域54L～56R中从中心视野区域50侧朝向左右端部以所决定的移动速度进行移动(参照图7、图9的箭头)。

在步骤S46中，CPU40A判定远程操作驾驶是否结束、即是否接收到移交通知信号。在该判定为肯定的情况下，结束一系列控制，在该判定为否定的情况下，反复进行步骤S36以后的处理。

(本例示实施方式的总结)

在本例示实施方式所涉及的远程操作系统10中，由于在远程操作装置14的显示装置42的图像显示面42A的对象显示区域54L～56R使从中心视野区域50侧朝向左右两端部以与车速对应的移动速度进行移动的对象52与周边图像重叠地显示，所以操作者通过目视确认对象52的移动能够进一步获得车速感。

特别在显示装置42的图像显示面42A中，对象显示区域54L～56R在左右方向上除去中心视野区域50以外的区域中被设定为从图像显示面42A的上端或者下端起的规定范围。因此，可防止显示于对象显示区域54L～56R的对象52进入至操作者的中心视野，可抑制操作者的远程驾驶操作被妨碍。

另外，将转向角θ1的朝向视为操作者的视线方向，以俯视下从正面方向C倾斜了转向角θ1的朝向的视线方向LV为中心而基于中心视野的视野角θ2(在本例示实施方式中为20度)的范围亦即中心视野范围CA来决定中心视野区域50。其结果是，即便在操作者的视线朝向左右方向的情况下，中心视野区域50也随之左右移动。因此，由于设置于周边视野区域51的对象显示区域54L～56R也伴随着中心视野区域50的移动而向左右位移，所以即便在车辆转弯时也可防止显示于对象显示区域54L～56R的对象52进入至操作者的中心视野，可防止或者抑制对操作者的远程驾驶操作造成妨碍。

并且，在本例示实施方式中，通过在对象显示区域54L～56R将单一颜色的背景58与周边图像重叠地显示，由此在对象显示区域54L～56R中周边图像不再被操作者目视确认。即，在所有的对象显示区域54L～56R中均在背景58上显示对象52，可防止对象52的观察方式产生差异。其结果是，各对象显示区域54L～56R中的对象52的观察方式相同，操作者更容易感受车辆12的速度感。

另外，在本例示实施方式中，在显示周边图像的显示装置42的图像显示面42A的一部分设定对象显示区域54L～56R，在该对象显示区域54L～56R显示了对象52。即，在现有的远程操作装置14中，仅变更对于显示周边图像的显示装置42的图像显示控制程序就能够追加对象52的显示。因此，在现有的远程操作装置14中能够以低成本显示对象52而不新追加显示装置。

并且，在本例示实施方式中，由于使对象52的移动速度与车速对应地变化，所以操作者容易直观地识别车速的变化。

(变更)

对本例示实施方式的变更进行说明。其中，由于与上述例示实施方式不同之处仅在于在远程操作装置14中检测操作者的视线，所以仅对相应部位进行说明。另外，对与上述例示实施方式同样的构件标注相同的参照附图标记，省略其详细的说明。

如图14所示，远程操作装置114具有照相机102，该照相机102拍摄就座于显示装置42的图像显示面42A的正面的操作者的面部。

另外，如图15所示，远程控制装置40的CPU40A具有从照相机102拍摄到的操作者的面部的拍摄图像检测操作者的视线方向LV(参照图8)的视线检测部480。

并且，中心视野区域决定部420在显示装置42的图像显示面42A上以由上述视线检测部480检测出的视线方向LV为中心而将视野角θ2(在本变更中为20度)的范围决定为中心视野区域50。

(本变更的作用)

在本变更中，远程操作装置114代替转向角而基于照相机102拍摄到的操作者的面部的拍摄图像来决定操作者的视线方向LV，基于该视线方向LV来决定中心视野区域50、对象显示区域54L～56R。

因此，在本变更中，显示装置42的图像显示面42A上的中心视野区域50与操作者的中心视野进一步一致。

这样，在远程操作装置114中，能够更可靠地防止对象52进入至操作者的中心视野，操作者能够良好地目视确认周边视野(能够良好地进行远程操作驾驶)，并且操作者能够获得车速感。

(例示实施方式的补充说明)

在上述例示实施方式中，将远程操作装置14的显示装置42的图像显示面42A的一部分作为对象显示区域54L～56R，并将对象52等与周边图像重叠地显示，但也可考虑与显示周边图像的显示装置42独立地设置对象显示用的显示器。例如，可考虑如图16所示，与显示装置42的上部和下部邻接并以规定高度设置具有与显示装置42的整个宽度相同的长度的对象显示装置110A、110B。该情况下，在各对象显示装置110A、110B中也在中心视野区域50的左右分别设置对象显示区域54L～56R。

另外，在上述例示实施方式中，将显示装置42说明为弯曲了的一块显示器，但并不限定于此。例如，也可以如图17所示，由3块平板状的显示器所形成的显示装置120、122、124构成。即便在该情况下，也如图18所示，在3块显示装置120、122、124的图像显示面120A、122A、124A显示连续的周边图像，并且在除去中心视野区域50以外的规定位置设定对象显示区域54L～56R。

并且，在上述例示实施方式中，将对象显示区域54L～56R设置于显示装置42的图像显示面42A的上侧以及下侧，但也可以设置于任一方。

另外，在上述例示实施方式中，在对象显示区域54L～56R的整个区域重叠显示单色的背景58而使周边图像不被操作者目视确认，但并不限定于此。也可以在周边图像之上仅显示对象52。

并且，在上述例示实施方式中，车辆12构成为能够执行手动驾驶以及远程驾驶，但只要能够实现远程驾驶即可，不特别限定。例如，车辆12可以构成为能够执行手动驾驶、自动驾驶以及远程驾驶，也可以构成为仅能够执行远程驾驶。

另外，在上述例示实施方式中，中心视野的视野角θ2在俯视下为20度，但并不限定于此。

另外，在上述例示实施方式中，由CPU20A、40A、60A、80A读入软件(程序)而执行的各处理也可以由CPU以外的各种处理器执行。作为该情况下的处理器，可例示FPGA(Field－Programmable Gate Array)等在制造后能够变更电路结构的具有PLD(ProgrammableLogic Device)以及ASIC(Application Specific Integrated Circuit)等为了执行特定的处理而设计成专用的电路结构的处理器亦即专用电路等。另外，各处理可以由这些各种处理器中的1个执行，也可以由同种类或者不同种类的2个以上的处理器的组合(例如多个FPGA、以及CPU与FPGA的组合等)执行。另外，这些各种处理器的硬件构造更具体是组合了半导体元件等电路元件的电路。

另外，在上述例示实施方式中，以程序被预先存储(安装)于计算机可读取的非暂时性记录介质的方式进行了说明。例如在远程操作系统10中，程序被预先存储于储存器40D。然而并不局限于此，程序也可以以记录于CD－ROM(Compact Disc Read OnlyMemory)、DVD－ROM(Digital Versatile Disc Read Only Memory)、以及USB(UniversalSerial Bus)存储器等非暂时性记录介质的方式来提供。另外，各程序可以是经由网络从外部装置下载的方式。

上述例示实施方式中说明的处理的流程也是一个例子，可以在不脱离主旨的范围内删除不需要的步骤、追加新的步骤、更换处理顺序。

除此之外，本发明能够在不脱离其主旨的范围内进行各种变更来实施。另外，本发明的技术方案当然不限定于上述例示实施方式。

Claims (8)

1.一种远程操作装置，通过从车外进行远程操作来驾驶车辆，其中，所述远程操作装置具备：

图像取得部，从所述车辆取得该车辆的周边图像；

第1显示部，显示所述车辆的周边图像；以及

第2显示部，在所述第1显示部的除了中心视野区域以外的周边视野区域中被设置于所述第1显示部的上侧、或者下侧、或者所述上侧以及所述下侧，显示从所述中心视野区域侧朝向宽度方向端部移动的对象。

2.根据权利要求1所述的远程操作装置，其中，具备：

转向角信息取得部，取得所述车辆的转向角信息；和

中心视野区域决定部，基于所述转向角信息来决定所述中心视野区域。

3.根据权利要求1所述的远程操作装置，其中，具备：

视线信息取得部，取得所述远程操作装置的操作者对于所述第1显示部的视线信息；和

中心视野区域决定部，基于所述视线信息来决定所述中心视野区域。

4.根据权利要求2或3所述的远程操作装置，其中，

所述中心视野区域决定部基于从所述远程操作装置的操作者的视点至所述第1显示部为止的距离来决定所述中心视野区域。

5.根据权利要求1～4中任一项所述的远程操作装置，其中，

所述对象的移动速度根据所述车辆的车速而变化。

6.一种远程驾驶系统，其中，

具备权利要求1～5中任一项所述的远程操作装置、和通过所述远程操作装置的操作被驾驶的车辆。

7.一种远程操作方法，其中，

所述远程操作方法使计算机在通过从车外进行远程操作来驾驶车辆的远程操作装置中执行包括下述步骤的处理：

使图像取得部从所述车辆取得该车辆的周边图像，

使第1显示部显示所述车辆的周边图像，

使第2显示部显示从所述第1显示部的中心视野区域侧朝向宽度方向端部移动的对象，该第2显示部在所述第1显示部的除了所述中心视野区域以外的周边视野区域被设置于所述第1显示部的上侧、或者下侧、或者所述上侧以及所述下侧。

8.一种计算机可读介质，记录有远程操作程序，该远程操作程序用于使计算机在通过从车外进行远程操作来驾驶车辆的远程操作装置中执行包括下述步骤的处理：

使图像取得部从所述车辆取得该车辆的周边图像，

使第1显示部显示所述车辆的周边图像，

使第2显示部显示从所述第1显示部的中心视野区域侧朝向宽度方向端部移动的对象，该第2显示部在所述第1显示部的除了中心视野区域以外的周边视野区域中被设置于所述第1显示部的上侧、或者下侧、或者所述上侧以及所述下侧。

Images