CN115118807B - 远程操作系统 - Google Patents

远程操作系统 Download PDF

Info

Publication number
CN115118807B
CN115118807B CN202210120860.3A CN202210120860A CN115118807B CN 115118807 B CN115118807 B CN 115118807B CN 202210120860 A CN202210120860 A CN 202210120860A CN 115118807 B CN115118807 B CN 115118807B
Authority
CN
China
Prior art keywords
display
control device
operation terminal
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210120860.3A
Other languages
English (en)
Other versions
CN115118807A (zh
Inventor
藤原达朗
中村尧子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN115118807A publication Critical patent/CN115118807A/zh
Application granted granted Critical
Publication of CN115118807B publication Critical patent/CN115118807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves
    • G01S11/06—Systems for determining distance or velocity not using reflection or reradiation using radio waves using intensity measurements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明提供远程操作系统。一种用于移动体的远程操作系统包括：控制装置，其设置在所述移动体上；以及操作终端，其配置成接收来自用户的输入并与所述控制装置进行通信。所述移动体包括：获取所述移动体的周围环境信息的外部环境传感器；以及显示装置。所述控制装置基于所述周围环境信息创建包括所述移动体的周围环境图像，使所述显示装置显示所述周围环境图像，并且在所述控制装置与所述操作终端之间进行通信的情况下，使所述显示装置显示所述周围环境图像，其中示出与所述控制装置的通信状态的通信状态显示的至少一部分被叠加在所述周围环境图像中包括的所述移动体的图像上。

Description

远程操作系统
技术领域
本发明涉及一种用于移动体的远程操作系统。
背景技术
JP2019-057767A公开了一种远程操作方法，用于通过使用诸如智能手机之类的操作终端来从车辆外部操作车辆，以驶离车辆或将车辆进行驻车。在执行远程操作的过程中，操作终端用摄像头捕获车辆的图像，并基于所捕获的图像中的车辆的大小来获取车辆与操作终端之间的距离。然后，操作终端在设置在操作终端上的显示器上显示车辆与操作终端之间的距离。通过看该显示，用户可以确定用户和车辆之间的距离是否适合于远程操作。
使用操作终端的远程操作可以响应由用户向车辆提供的启动操作而开始。在这种情况下，在提供给车辆的启动操作之后，用户需要激活操作终端并将操作终端与车辆的控制装置可通信地连接。因此，希望控制装置能提示用户进行操作以激活操作终端。
发明内容
鉴于上述背景，本发明的主要目的是提供一种能够提示用户激活操作终端的远程操作系统。
完成任务的手段
为了实现上述目的，本发明的一个方面提供一种用于移动体S的远程操作系统1，该远程操作系统包括：控制装置15，其设置在所述移动体上；以及操作终端3，其配置成接收来自用户的输入并与所述控制装置进行通信，其中，所述移动体包括：获取所述移动体的周围环境信息的外部环境传感器7；以及显示装置32，并且所述控制装置基于所述周围环境信息创建包括所述移动体的周围环境图像51，使所述显示装置显示所述周围环境图像，并且在所述控制装置与所述操作终端之间进行通信的情况下，使所述显示装置显示所述周围环境图像，其中示出与所述控制装置的通信状态的通信状态显示58的至少一部分被叠加在所述周围环境图像中包括的所述移动体的图像59上。
根据本方面，远程操作系统可以提示用户激活操作终端。由于通信状态显示被显示在周围环境图像中，因此用户不太可能忽略通信状态显示。另外，由于通信状态显示被显示成叠加在移动体的图像上，因此移动体的周围环境图像可以被保持。因此，用户容易辨识出移动体周围的情况。
在以上方面中，优选的是，在所述周围环境图像中，整个所述通信状态显示被显示成叠加在所述移动体的所述图像上。
根据本方面，周围环境图像中保持了移动体周围的图像，因此用户容易辨识出移动体周围的情况。
在以上方面中，优选的是，所述周围环境图像是显示从上方看到的所述移动体及其周围环境的图像。
根据本方面，用户可以辨识出移动体及其周围的情况。
在以上方面中，优选的是，所述通信状态显示包括对应于“连接尝试中”的显示和对应于“连接完成”的显示。
根据本方面，用户可以通过查看通信状态显示来辨识操作终端与控制装置之间的连接状态。
在以上方面中，优选的是，当与所述操作终端的连接完成时，所述控制装置使所述显示装置将所述周围环境图像与提示所述用户退出所述移动体的显示一起显示。
根据本方面，用户可以通过查看显示装置来辨识出下一个程序是退出移动体。
在以上方面中，优选的是，所述操作终端具有显示单元，当与所述控制装置的连接完成时，使所述显示单元显示提示所述用户退出所述移动体的显示。
根据本方面，用户可以通过查看操作终端辨识出下一个程序是退出移动体。
在以上方面中，优选的是，当所述控制装置确定所述控制装置与所述操作终端之间的连接完成并且所述操作终端已经离开所述控制装置时，所述控制装置使所述操作终端的所述显示单元显示用于操作所述移动体的图像。
根据本方面，用户可以在退出和离开移动体后通过使用操作终端远程操作移动体。
在以上方面中，优选的是，当所述控制装置确定所述控制装置与所述操作终端之间的连接完成并且所述操作终端已经离开所述控制装置时，所述控制装置关闭所述显示装置上的显示。
根据本方面，可以通过关闭显示装置上的显示来抑制能源消耗。
在以上方面中，优选的是，当所述控制装置检测到所述控制装置与所述操作终端之间的连接完成，此后所述移动体的门被打开，之后所述门被关闭，并且此后所述门被锁定时，所述控制装置确定所述操作终端已经离开所述控制装置。
根据本方面，能够确定用户已经离开移动体。
在以上方面中，优选的是，所述控制装置基于从所述操作终端接收的无线电波信号的强度来获取所述控制装置与所述操作终端之间的距离，并且当所获取的距离大于或等于规定值时，确定所述操作终端已经离开所述控制装置。
根据本方面，能够确定用户已经离开移动体。
根据以上配置，能够提供一种可以提示用户激活操作终端的远程操作系统。
附图说明
图1是设置有根据本发明的一个实施方式的驻车辅助系统的车辆的功能框图；
图2是根据本发明的实施方式的驻车辅助系统进行的自动驻车处理的时序图；
图3A是示出触摸面板的用于选择驻车位置的画面显示的图；
图3B是示出触摸面板的用于自动驻车启动的画面显示的图；
图3C是示出触摸面板的用于提示激活应用的画面显示的图；
图4A是示出触摸面板的用于表明“连接尝试中”的画面显示的图；
图4B是示出触摸面板的用于表明“连接完成”的画面显示的图；
图5A是示出操作终端的表明“连接尝试中”的画面显示的图；
图5B是示出操作终端的表明“连接完成”的画面显示的图；以及
图5C是示出操作终端的示出操作画面的画面显示的图。
具体实施方式
下文中，将参照附图详细描述本发明的一个实施方式。
如图1中所示，远程操作系统1通过使用操作终端3的远程操作来操作移动体。具体而言，远程操作系统1作为驻车辅助系统，用于将作为移动体的车辆移动到驻车空间。在本实施方式中，车辆是可以使用电池自主行驶的四轮电动汽车。
远程操作系统1包括：安装在车辆中的车辆系统2；以及至少一个操作终端3。车辆系统2包括动力总成4、制动装置5、转向装置6、外部环境传感器7、车辆传感器8、通信装置9、导航装置10、操作输入部件11、人机界面(HMI)14和控制装置15。车辆系统2的以上部件相互连接，以便它们之间可以经由诸如控制器区域网络(CAN)之类的通信手段传送信号。
动力总成4是构造成向车辆施加驱动力的装置。例如，动力总成4包括动力源和变速器。动力源包括诸如汽油发动机和柴油发动机之类的内燃机与电动马达中的至少一种。在本实施方式中，动力总成4包括自动变速器16以及用于改变自动变速器16的档位(车辆的档位)的换档致动器17。制动装置5是构造成对车辆施加制动力的装置。例如，制动装置5包括：制动钳，其构造成将制动垫压向制动转子；以及电动缸，其构造成向制动钳提供油压。制动装置5可以包括电动驻车制动装置，该电动驻车制动装置构造成经由线缆限制车轮的旋转。转向装置6是用于改变车轮的转向角的装置。例如，转向装置6包括：齿条-小齿轮机构，其构造成使车轮转向(转动)；以及电动马达，其构造成驱动齿条-小齿轮机构。动力总成4、制动装置5和转向装置6由控制装置15控制。
外部环境传感器7用作外部环境信息获取装置，用于从车辆的周围环境检测电磁波、声波等，以检测车辆外部的物体并获取车辆的周围环境信息。外部环境传感器7包括声纳18和外部摄像头19。外部环境传感器7还可以包括毫米波雷达和/或激光雷达。外部环境传感器7将检测结果输出到控制装置15。
每个声纳18均由所谓的超声波传感器构成。每个声纳18均向车辆周围发射超声波，并捕获由车辆周围物体反射的超声波，从而检测物体的位置(距离和方向)。在车辆的后部和前部中的每一者处设置有多个声呐18。在本实施方式中，后保险杠上设置有一对左右声纳18，前保险杠上设置有一对左右声纳18，车辆的前端部处设置有一对声纳18，使得形成该对声纳18的两个声纳18设置在车辆前端部的左侧面和右侧面上，并且车辆的后端部处设置有一对声纳18，使得形成该对声纳18的两个声纳18设置在车辆后端部的左侧面和右侧面上。即，该车辆总共设置有八个声纳18。设置在后保险杠上的声纳18主要检测车辆后方物体的位置。设置在前保险杠上的声纳18主要检测车辆前方物体的位置。设置在车辆的前端部的左侧面和右侧面处的声纳18分别检测车辆的前端部的左外部和右外部的物体的位置。设置在车辆的后端部的左侧面和右侧面处的声纳18分别检测车辆的后端部的左外部和右外部的物体的位置。
外部摄像头19是构造成捕获车辆周围的图像的装置。例如，每个外部摄像头19均由使用诸如CCD或CMOS之类的固体成像元件的数字照相机组成。外部摄像头19包括用于捕获车辆前方图像的前摄像头和用于捕获车辆后方图像的后摄像头。外部摄像头19可以包括设置在车辆的后视镜附近的左右一对摄像头，以捕获车辆的左右两侧的图像。
车辆传感器8包括：车辆速度传感器，其配置成检测车辆的速度；加速度传感器，其配置成检测车辆的加速度；横摆率传感器，其配置成检测绕车辆的竖直轴线的角速率；以及方向传感器，其配置成检测车辆的方向。例如，车辆速度传感器可以由多个车轮速度传感器构成，车轮速度传感器配置成检测相应车辆的速度(相应车轮的转速)。横摆率传感器例如由陀螺仪传感器构成。
通信装置9是在控制装置15与操作终端3之间调解无线通信的装置。控制装置15经由通信装置9利用作为近场无线通信标准的蓝牙(注册商标)与用户携带的操作终端3进行通信。
导航装置10是构造成获得车辆的当前位置并且提供到目的地等的路线指引的装置。导航装置10包括GPS接收单元20和地图存储单元21。GPS接收单元20基于从人造卫星(定位卫星)接收的信号来识别车辆的位置(纬度和经度)。地图存储单元21由诸如闪存或硬盘之类的已知存储装置构成，并存储地图信息。
操作输入构件11设置在车厢中，以接收由乘员(用户)进行的输入操作以控制车辆。操作输入构件11包括方向盘、加速踏板、制动踏板(制动输入构件)和换档杆(换档构件)。换档杆构造成接收用于选择车辆的档位的操作。
驱动操作传感器12检测操作输入构件11的操作量。驱动操作传感器12包括：转向角传感器，其构造成检测方向盘的转向角；制动传感器，其构造成检测制动踏板的踩踏量；以及加速传感器，其构造成检测加速踏板的踩踏量。驱动操作传感器12将检测到的操作量输出至控制装置15。
HMI 14是输入/输出装置，用于接收乘员的输入操作并经由显示和/或语音向乘员通知各种信息。HMI 14包括例如：触摸面板32，触摸面板32包括诸如液晶显示器或有机EL显示器之类的显示屏，并且构造成接收乘员的输入操作；诸如蜂鸣器或扬声器之类的声音产生装置33；驻车主开关34；以及选择输入构件35。驻车主开关34接收乘员的输入操作，以执行自动驻车处理(自动驻车操作)和自动驶离处理(自动驶离操作)中选择的一项。驻车主开关34是仅在乘员进行了按压操作(按下操作)时才接通的所谓的瞬时开关。选择输入构件35接收乘员的与自动驻车处理和自动驶离处理的选择有关的选择操作。选择输入构件35可以由旋转选择开关组成，旋转选择开关优选地需要按压作为选择操作。
控制装置15由包括CPU的电子控制单元(ECU)、诸如ROM之类的非易失性存储器、诸如RAM之类的易失性存储器等组成。CPU根据程序执行操作处理，从而控制装置15执行各种类型的车辆控制。控制装置15可以由一个硬件组成，或者可以由包括多个硬件的单元组成。此外，控制装置15的功能可以至少部分地由诸如LSI、ASIC和FPGA之类的硬件执行，或者可以由软件和硬件的组合来执行。
操作终端3是可由用户携带的无线终端，在本实施方式中，操作终端3由智能手机构成。操作终端3中预装有规定的应用，以便操作终端3可以经由通信装置9从车辆外部与控制装置15进行通信。
操作终端3配备有输入/输出单元38。输入/输出单元38由具有屏幕的触摸面板构成。当操作终端3接收到来自控制装置15的信号时，操作终端3处理该信号，并且输入/输出单元38在屏幕上适当地显示处理结果以通知用户。另外，输入/输出单元38通过检测用户对屏幕的触摸(接触或按压)来接收来自用户的输入。
远程操作系统1是这样的系统，其用于进行所谓的自动驻车，以自主地将车辆移动到由乘员选择的目标位置(目标驻车位置或目标驶离位置)，从而驻车或驶离车辆。
控制装置15通过控制车辆来将车辆驻车而执行所谓的远程驻车，以根据输入到操作终端3的操作将车辆移动到目标位置。为了进行对车辆的这种控制，控制装置15包括外部环境辨识单元41、车辆位置识别单元42、行动计划单元43、行驶控制单元44和存储单元45。
外部环境辨识单元41基于外部环境传感器7的检测结果，辨识存在于车辆周围的障碍物(例如，停放的车辆或墙壁)，从而获得关于障碍物的信息。此外，外部环境辨识单元41基于诸如图案匹配之类的已知图像分析方法来分析由外部摄像头19捕获的图像，从而确定是否存在车轮止挡器或障碍物，并在存在车轮止挡器或障碍物的情况下获得车轮止挡器或障碍物的大小。此外，外部环境辨识单元41可以基于来自声纳18的信号计算到障碍物的距离，以获得障碍物的位置。
此外，通过对外部环境传感器7的检测结果进行分析(更具体地，通过基于诸如图案匹配之类的已知图像分析方法对由外部摄像头19捕获的图像进行分析)，外部环境辨识单元41能够获取例如由路标界定的道路上的车道以及由设置在道路、驻车场等表面上的白线等界定的驻车空间。
此外，外部环境辨识单元41基于由外部环境传感器7获取的周围环境信息创建包括车辆在内的周围环境图像。周围环境图像包括：从位于车辆上方的视角看到的显示车辆和车辆的周围环境的俯视图像或平面图；以及从位于车辆斜上方的视角看到的显示车辆的至少一部分和车辆的周围环境的三维图像(3D图像或鸟瞰图像)。外部环境辨识单元41根据程序执行操作处理，从而进行由多个外部摄像头19捕获的图像(视频)的转换处理，以便生成周围环境图像。外部环境辨识单元41优选通过结合由例如前摄像头、后摄像头以及左侧摄像头、右侧摄像头捕获的图像来创建俯视图像。
车辆位置识别单元42基于来自导航装置10的GPS接收单元20的信号，识别其中安装有控制装置15的车辆的位置。此外，车辆位置识别单元42除了来自GPS接收单元20的信号外，还可以从车辆传感器8获得车辆速度和横摆率，并通过所谓的惯性导航识别安装有车辆位置识别单元的车辆的位置和姿势。
行进控制单元44基于来自行动计划单元43的行进控制指令来控制动力总成4、制动装置5和转向装置6，以使车辆行进。
(驻车辅助处理)
在车辆停止后，当行动计划单元43检测到用户对触摸面板32的输入，表明用户希望进行远程操作下的驻车辅助时，行动计划单元43进行驻车辅助处理。下文中，将参照图2的时序图来描述驻车辅助处理。
在执行驻车辅助处理期间，行动计划单元43使触摸面板32显示驻车辅助画面50(因此，触摸面板32作为显示装置)。驻车辅助画面50包括至少包含车辆的周围环境图像。在本实施方式中，驻车辅助画面50包括：位于其右半部分中的从位于车辆上方的视角看到的俯视图像51，其显示车辆和车辆的周围环境；以及位于其左半部分中的从位于车辆的后部上方的视角看到的三维图像52，其显示车辆的前部以及车辆前方的周围环境。另外，驻车辅助画面50包括三维图像52上方和下方的指令窗53。在指令窗53中，例如，通过文本显示乘员要进行的操作、车辆的当前状态、警告等。
行动计划单元43首先执行获取处理，以获取一个或多个驻车空间。更具体地说，行动计划单元43首先在HMI 14的触摸面板32上的驻车辅助画面50中显示指示用户使车辆直行的通知。在用户使车辆直行时，行动计划单元43基于来自外部环境传感器7的信号，获取每个检测到的障碍物的位置和大小以及设置在路面上的白线的位置。行动计划单元43基于获取的障碍物的位置和大小以及白线的位置，提取一个或多个可以将车辆进行驻车的空间(即驻车空间)。
接下来，行动计划单元43执行轨迹计算处理，以计算车辆从车辆的当前位置到每个提取的驻车空间的轨迹。优选地，行动计划单元43计算前向驻车和后向驻车中每一者的轨迹，以便可以接收来自用户的用于选择前向驻车或后向驻车的输入操作。
接下来，行动计划单元43执行驻车位置接收处理，以接收从一个或多个驻车空间中选择的驻车位置。具体而言，当行动计划单元43获取至少一个驻车空间时，行动计划单元43使驻车辅助画面50的指令窗53之一显示指示用户停止车辆的通知。此时，指令窗53上显示的指令可以是停止车辆的指令，此后将换档杆放到驻车位置。
在确认车辆停止后，如图3A中所示，行动计划单元43显示可用的驻车空间55，并将选择图标56放在触摸屏幕32上显示的驻车辅助画面50的俯视图像51中的正被选择的其中一个驻车空间55上。另外，行动计划单元43在上指令窗53中显示通知，提示用户选择车辆应进行驻车的其中一个驻车空间55(车辆应在其中进行驻车的驻车空间55被称为驻车位置)。用户通过触摸面板32上的触摸操作或选择输入构件35的操作来改变选择图标56所在的驻车空间55。在俯视图像51的中央，显示与车辆相对应的车辆图像59。
当从在上指令窗53中显示提示选择驻车位置的指令开始逝去规定时间时，行动计划单元43在上指令窗53中显示提示用户通过操作驻车主开关(P开关)34决定驻车位置的显示(如图3B中所示)。提示选择驻车位置的显示和提示操作驻车主开关34以决定驻车位置的显示可以同时显示。当用户操作驻车主开关34时，选择图标56被放置的驻车空间55被决定为驻车位置，并且对应于驻车位置的信号从触摸面板32输出到行动计划单元43。
接下来，如图3C中所示，行动计划单元43在驻车辅助画面50的上指令窗53中显示提示激活操作终端3的远程驻车应用的指令。另外，行动计划单元43可以与操作终端3通信，以使输入/输出单元38(触摸面板)显示提示激活远程驻车应用的指令。
当用户通过操作该操作终端3的输入/输出单元38来激活远程驻车应用时，操作终端3和控制装置15相互通信，并且控制装置15尝试与操作终端3进行连接。连接尝试包括建立稳定的通信以及操作终端3的认证。认证是确认操作终端3是否为被授权执行车辆的远程操作的合法终端的处理。当控制装置15和操作终端3相互通信时，行动计划单元43在触摸面板32上显示的俯视图像51中显示通信状态显示58(如图4A中所示)。通信状态显示58是表明操作终端3与控制装置15之间的通信状态的图像。在本实施方式中，通信状态显示58是类似于智能手机的图形。优选地，通信状态显示58根据操作终端3与控制装置15之间的连接状态而变化。例如，通信状态显示58优选地包括对应于“连接尝试中”的显示和对应于“连接完成”的显示。图4A中所示的通信状态显示58是对应于“连接尝试中”的显示。
通信状态显示58显示成使得其至少一部分被叠加在俯视图像51中包括的车辆图像59上。在本实施方式中，在作为周围环境图像的俯视图像51中，整个通信状态显示58被显示为叠加在车辆图像59上。
当控制装置15尝试与操作终端3进行连接时，行动计划单元43在驻车辅助画面50的上指令窗53中显示指示连接状态为“连接尝试中”的通知。另外，如图5A中所示，操作终端3可以在输入/输出单元38上显示正在尝试与车辆的控制装置15连接的通知。
当控制装置15和操作终端3之间建立了稳定的通信，并且操作终端3的认证完成时，通信状态显示58切换到对应于“连接完成”的显示，如图4B中所示。此外，行动计划单元43在驻车辅助画面50的上指令窗53中显示表明连接完成并提示用户从车辆下来的显示(消息)。另外，如图5B中所示，操作终端3在输入/输出单元38上显示表明连接完成并提示用户从车辆下来(退出)的显示(消息)。
当控制装置15确定控制装置15与操作终端3之间的连接完成并且操作终端3已经离开控制装置15时，控制装置15可以删除触摸面板32上的显示。因此，可以抑制触摸面板32的能源消耗。例如，控制装置15优选地通过检测控制装置15与操作终端3之间的连接完成，此后车辆的门被打开，之后门被关闭，并且此后门被锁定来确定操作终端3已经离开控制装置15。车辆传感器8优选包括门开/关传感器和门锁定传感器。另外，控制装置15可以基于从操作终端3接收的无线电波信号的强度来获取控制装置15与操作终端3之间的距离，并且当获取的距离大于或等于规定值时，确定操作终端3已经离开控制装置15。另外，控制装置15可以基于GNSS信号获取控制装置15和操作终端3的位置，从控制装置15和操作终端3的位置获取控制装置15和操作终端3之间的距离，并且当获取的距离大于或等于规定值时确定操作终端3已经离开控制装置15。
当控制装置15确定控制装置15与操作终端3之间的连接完成并且操作终端3已经离开控制装置15时，控制装置15使操作终端3的输入/输出单元38显示车辆的操作图像，如图5C中所示。当用户用输入/输出单元38进行操作输入时，操作终端3将操作量传送给行动计划单元43。行动计划单元43基于外部环境辨识单元41的辨识结果和接收到的操作量沿轨迹移动车辆，从而进行将车辆移动到驻车位置的驱动处理。即，行动计划单元43对应于移动体控制单元，其进行将移动体(车辆)移动到目标位置(驻车位置)的驱动处理。在本实施方式中，行动计划单元43根据在操作终端3的输入/输出单元38上的滑动量来设定车辆的移动量。
当车辆到达驻车位置时，行动计划单元43执行驻车处理。在驻车处理中，行动计划单元43首先驱动换档致动器以将换档位置(换档范围)设定为驻车位置(驻车或P范围)并停止动力总成4。当动力总成4停止时，行动计划单元43向操作终端3传送驻车完成信号。当输入/输出单元38接收到驻车完成信号时，操作终端3在屏幕上显示驻车完成的通知。即，驻车位置对应于车辆进行驻车的位置，即车辆要被停止的停止位置。
根据前述实施方式的远程操作系统1可以提示用户激活操作终端3。由于通信状态显示58被显示在俯视图像51中，因此用户不太可能忽略通信状态显示58。另外，由于通信状态显示58被显示为叠加在车辆图像59上，因此车辆的周围环境的图像可以被保持。因此，用户容易辨识车辆周围的情况。此外，如果整个通信状态显示58显示为叠加在车辆图像59上，则用户就更容易辨识车辆周围的情况。
由于通信状态显示58包括对应于“连接尝试中”的显示和对应于“连接完成”的显示，因此用户可以通过查看通信状态显示58来辨识操作终端3和控制装置15之间的连接状态。
当与操作终端3的连接完成时，控制装置15使触摸面板32显示提示用户从车辆下来的显示，因此，用户可以通过查看触摸面板32来辨识出下一个程序是走出车辆。另外，用户可以通过查看操作终端3的输入/输出单元38辨识出下一个程序是从车辆下来。
当控制装置15确定控制装置15和操作终端3之间的连接完成并且操作终端3已经离开控制装置15时，控制装置15使操作终端3的输入/输出单元38(显示单元)显示车辆(移动体)的操作图像61。因此，用户可以在从车辆下来并离开车辆后通过使用操作终端3远程操作车辆。
前面已经描述了本发明的具体实施方式，但本发明并不限于以上实施方式，并可以以各种方式进行变型或改变。例如，通信状态显示58可以显示成叠加在三维图像52中的车辆图像上，而不是显示在俯视图像51中。

Claims (10)

1.一种用于移动体的远程操作系统，该远程操作系统包括：
控制装置，其设置在所述移动体上；以及
操作终端，其配置成接收来自用户的输入并与所述控制装置进行通信，
其中，所述移动体包括：获取所述移动体的周围环境信息的外部环境传感器；以及显示装置，并且
所述控制装置基于所述周围环境信息创建包括所述移动体的周围环境图像，使所述显示装置显示所述周围环境图像，并且在所述控制装置与所述操作终端之间进行通信的情况下，使所述显示装置显示所述周围环境图像，其中示出与所述控制装置的通信状态的通信状态显示的至少一部分被叠加在所述周围环境图像中包括的所述移动体的图像上。
2.根据权利要求1所述的远程操作系统，其中，在所述周围环境图像中，整个所述通信状态显示被显示成叠加在所述移动体的所述图像上。
3.根据权利要求1或2所述的远程操作系统，其中，所述周围环境图像是显示从上方看到的所述移动体及其周围环境的图像。
4.根据权利要求1或2所述的远程操作系统，其中，所述通信状态显示包括对应于“连接尝试中”的显示和对应于“连接完成”的显示。
5.根据权利要求1或2所述的远程操作系统，其中，当与所述操作终端的连接完成时，所述控制装置使所述显示装置将所述周围环境图像与提示所述用户退出所述移动体的显示一起显示。
6.根据权利要求1或2所述的远程操作系统，其中，所述操作终端具有显示单元，并且当与所述控制装置的连接完成时，使所述显示单元显示提示所述用户退出所述移动体的显示。
7.根据权利要求6所述的远程操作系统，其中，当所述控制装置确定所述控制装置与所述操作终端之间的连接完成，并且所述操作终端已经离开所述控制装置时，所述控制装置使所述操作终端的所述显示单元显示用于操作所述移动体的图像。
8.根据权利要求6所述的远程操作系统，其中，当所述控制装置确定所述控制装置与所述操作终端之间的连接完成并且所述操作终端已经离开所述控制装置时，所述控制装置关闭所述显示装置上的显示。
9.根据权利要求7所述的远程操作系统，其中，当所述控制装置检测到所述控制装置与所述操作终端之间的连接完成，此后所述移动体的门被打开，之后所述门被关闭，并且此后所述门被锁定时，所述控制装置确定所述操作终端已经离开所述控制装置。
10.根据权利要求7所述的远程操作系统，其中，所述控制装置基于从所述操作终端接收的无线电波信号的强度来获取所述控制装置与所述操作终端之间的距离，并且当所获取的距离大于或等于规定值时，确定所述操作终端已经离开所述控制装置。
CN202210120860.3A 2021-03-19 2022-02-09 远程操作系统 Active CN115118807B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-045656 2021-03-19
JP2021045656A JP7184948B2 (ja) 2021-03-19 2021-03-19 遠隔操作システム

Publications (2)

Publication Number Publication Date
CN115118807A CN115118807A (zh) 2022-09-27
CN115118807B true CN115118807B (zh) 2024-03-15

Family

ID=83284608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210120860.3A Active CN115118807B (zh) 2021-03-19 2022-02-09 远程操作系统

Country Status (3)

Country Link
US (1) US20220299993A1 (zh)
JP (1) JP7184948B2 (zh)
CN (1) CN115118807B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019161549A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
CN110871790A (zh) * 2018-08-28 2020-03-10 现代自动车株式会社 用于控制车辆驻车的装置、具有该装置的系统及其方法
CN111422186A (zh) * 2019-01-08 2020-07-17 丰田自动车株式会社 远程行驶系统以及远程行驶应用软件
CN111674380A (zh) * 2020-06-15 2020-09-18 中国第一汽车股份有限公司 远程挪车系统、方法、车辆及存储介质
CN111824125A (zh) * 2019-03-29 2020-10-27 本田技研工业株式会社 车辆控制系统
CN112261357A (zh) * 2020-09-15 2021-01-22 华人运通(上海)自动驾驶科技有限公司 远程移车方法、装置、车辆及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5937510B2 (ja) * 2010-11-25 2016-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 通信機器
DE102016210611A1 (de) * 2016-06-15 2017-12-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen einer Information bezüglich eines Aktivierungsvorgangs zum Aktivieren eines Personenschutzsystems eines Fahrzeugs
JP6702120B2 (ja) * 2016-09-27 2020-05-27 トヨタ自動車株式会社 駐車支援装置
WO2018116978A1 (ja) * 2016-12-19 2018-06-28 クラリオン株式会社 端末、及び端末の制御方法
CN110831819B (zh) * 2017-07-07 2020-12-01 日产自动车株式会社 泊车辅助方法以及泊车辅助装置
JP6973259B2 (ja) * 2018-04-16 2021-11-24 株式会社デンソー 車両遠隔操作システム
RU2765087C1 (ru) * 2018-12-11 2022-01-25 Ниссан Мотор Ко., Лтд. Способ управления движением транспортного средства и устройство управления движением транспортного средства
JP7123845B2 (ja) * 2019-03-29 2022-08-23 本田技研工業株式会社 車両制御システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019161549A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
CN110871790A (zh) * 2018-08-28 2020-03-10 现代自动车株式会社 用于控制车辆驻车的装置、具有该装置的系统及其方法
CN111422186A (zh) * 2019-01-08 2020-07-17 丰田自动车株式会社 远程行驶系统以及远程行驶应用软件
CN111824125A (zh) * 2019-03-29 2020-10-27 本田技研工业株式会社 车辆控制系统
CN111674380A (zh) * 2020-06-15 2020-09-18 中国第一汽车股份有限公司 远程挪车系统、方法、车辆及存储介质
CN112261357A (zh) * 2020-09-15 2021-01-22 华人运通(上海)自动驾驶科技有限公司 远程移车方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN115118807A (zh) 2022-09-27
JP7184948B2 (ja) 2022-12-06
JP2022144584A (ja) 2022-10-03
US20220299993A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
JP7467202B2 (ja) 駐車支援システム
US20200398827A1 (en) Parking assist system
CN112995584B (zh) 车辆的显示装置和停车辅助系统
US11427186B2 (en) Parking assist system
US20200307626A1 (en) Vehicle control system
CN112977257B (zh) 车辆的显示装置和停车辅助系统
CN115123281A (zh) 图像显示系统
CN111746508B (zh) 车辆控制系统
JP7000401B2 (ja) 車両制御装置、車両、車両制御装置の動作方法およびプログラム
CN112824172A (zh) 车辆控制装置、车辆、车辆控制装置的动作方法以及存储介质
CN112124090A (zh) 驻车辅助系统
JP2020164080A (ja) 車両制御システム
US11440562B2 (en) Parking assist system
CN115118807B (zh) 远程操作系统
US11327480B2 (en) Vehicle control system
CN115179924A (zh) 显示装置
CN113511190A (zh) 驻车辅助系统
CN112977418B (zh) 驻车辅助系统
CN112977417B (zh) 驻车辅助系统
CN113511189A (zh) 驻车辅助系统
JP2022148108A (ja) 画像表示システム
CN112124094A (zh) 驻车辅助系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant