CN114545812A - 一种远程驾驶车辆方法以及系统 - Google Patents
一种远程驾驶车辆方法以及系统 Download PDFInfo
- Publication number
- CN114545812A CN114545812A CN202111536295.0A CN202111536295A CN114545812A CN 114545812 A CN114545812 A CN 114545812A CN 202111536295 A CN202111536295 A CN 202111536295A CN 114545812 A CN114545812 A CN 114545812A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- operation terminal
- user
- information
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000004891 communication Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001953 sensory effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 11
- 239000000725 suspension Substances 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/23—Pc programming
- G05B2219/23051—Remote control, enter program remote, detachable programmer
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种远程驾驶车辆方法以及系统,该方法包括:接收用户输入的远程操控指令,其中,远程操控指令用于对车辆进行远程控制;在检测到用户没有注视操作终端的界面的情况下,向车辆发送停止行进指令。解决了用户在未进行安全确认的情况下,进行远程驾驶可能会引发与停放的车辆、行人或障碍物的磕碰事故的技术问题。
Description
技术领域
本发明涉及车辆控制领域,尤其是涉及一种远程驾驶车辆方法以及系统。
背景技术
远程驾驶是一种基于远程通信技术,将车载摄像头、雷达等传感器采集到的车辆周围场景信息传输到驾驶员,由驾驶员输入控制信息从而远程实现针对车辆的操控,由于远程行驶中驾驶员不在车内,驾驶员无法直接操作车辆内的方向盘、刹车或油门来避免事故发生,因此需要司机远程操作车辆来避免事故。
现有的远程泊车等远程驾驶系统中,在操作终端(比如手机)的界面会提供一个操作区,用户可以针对上述操作区进行触控操作,从而输入远程操控指令,然后操作终端将上述远程操控指令发送至车辆,从而远程控制车辆。
需要说明的是,当用户利用操作终端进行远程泊车等远程驾驶时,用户如果在注意力不集中的情况下,会出现在未注视操作界面的情况下仍然输入针对车辆的远程操控指令,容易导致车辆磕碰。
有鉴于此,特提出本发明。
发明内容
本发明提供一种远程驾驶车辆方法以及系统,避免用户在未进行安全确认的情况下进行远程驾驶,引发与停放的车辆、行人或障碍物的磕碰事故。
根据本发明的第一方面,提供了一种远程驾驶车辆方法,方法应用于操作终端,方法包括:接收用户输入的远程操控指令,其中,远程操控指令用于对车辆进行远程控制;在检测到用户没有注视操作终端的界面的情况下,向车辆发送停止行进指令。
进一步地,在接收用户输入的远程操控指令之前,方法还包括:获取车辆发送的传感信息,传感信息用于表征车辆周围的人或者物;控制在操作终端的界面中显示传感信息。
进一步地,在控制在操作终端的界面中显示传感信息之后,方法还包括:判断传感信息是否为实时传感信息,在否的情况下,向车辆发送停止行进指令。
进一步地,车辆操作终端在接收用户输入的远程操控指令之前,方法还包括:获取到车辆的操控权限。
进一步地,车辆操作终端在向车辆发送停止行进指令之后,方法包括:向数据中心服务器发送车辆的操控权限,其中,数据中心服务器根据操控权限获取到车辆的传感信息,在根据传感信息判断车辆的周边存在障碍物的情况下,数据中心服务器向车辆发送停止行进指令。
进一步地,在接收用户输入的远程操控指令之前,方法包括:获取到车辆的位置信息;将车辆的位置信息发送至地图服务器,其中,地图服务器根据车辆的位置信息生成地图信息,其中,地图信息至少包括:车辆所处区域的地图信息、车辆所处区域内的目标区域的位置信息以及到达目标区域的行进路线信息;接收目标行进路线并控制将目标行进路线显示于操作终端的显示界面。
进一步地,车辆通过以下一个或多个设备获取传感信息:摄像头、超声波传感器、雷达以及激光装置。
根据本发明的第二方面,提供了一种远程驾驶车辆系统,系统包括:
车辆;操作终端,与车辆建立通信关系,用于接收用户输入的远程操控指令并向车辆转发,其中,远程操控指令用于对车辆进行远程控制;操作终端还用于在检测到用户没有注视操作终端的界面的情况下,向车辆发送停止行进指令。
进一步地,系统包括:操作中心设备,与车辆建立通信关系,用于接收操作中心的操作员的远程操控指令并向车辆转发,其中,远程操控指令用于对车辆进行远程控制;操作中心设备还用于在检测到操作员没有注视操作中心设备的界面的情况下,向车辆发送停止行进指令。
进一步地,系统包括:数据中心,与车辆建立通信关系,用于向车辆发送远程操控指令。
进一步地,系统还包括:地图服务器,与车辆建立通信关系,用于根据车辆的位置信息生成地图信息,其中,地图信息至少包括:车辆所处区域的地图信息、车辆所处区域内的目标区域的位置信息以及到达目标区域的行进路线信息;地图服务器还用于将地图信息发送至如下一个或多个设备:操作终端、操作中心设备以及数据中心。
根据本发明的第三方面,提供了一种计算机设备,包括存储器和处理器,存储器上存储有计算机指令,计算机指令在由处理器执行时导致上述任一项的方法被执行。
根据本发明的第四方面,提供了一种非暂时性计算机可读存储介质,其上存储有计算机程序,计算机程序在由处理器执行时导致上述任一项的方法被执行。
本发明提供一种远程驾驶车辆方法以及系统,该方法包括:接收用户输入的远程操控指令,其中,远程操控指令用于对车辆进行远程控制;在检测到用户没有注视操作终端的界面的情况下,向车辆发送停止行进指令。解决了用户在未进行安全确认的情况下,进行远程驾驶可能会引发与停放的车辆、行人或障碍物的磕碰事故的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的远程驾驶车辆方法的流程图;
图2为本发明的实施例的远程驾驶车辆系统的结构图;
图3为本发明实施例的E/E(电气/电子)系统结构图;
图4为本发明实施例的E/E系统的摄像头传感器及USS(超声波传感器)在车辆上的布置实例;
图5为本发明实施例的操作终端的屏幕的示意图;
图6为本发明实施例的可选的操作终端屏幕的示意图;
图7为本发明实施例的可选的操作终端屏幕示意图;
图8为本发明实施例的远程驾驶车辆系统的结构图;
图9为本发明实施例的可选的远程驾驶车辆方法的流程图;
图10为本发明实施例的可选的远程驾驶车辆方法的流程图;
图11为本发明实施例的可选的远程驾驶车辆系统的结构图;
图12为本发明实施例的可选的远程驾驶车辆系统的结构图;
图13为本发明实施例的可选的远程驾驶车辆系统的结构图;
图14为本发明实施例的可选的远程驾驶车辆系统的结构图;
图15为本发明实施例的客户端应用程序的操作流程图;
图16为本发明实施例的可选的远程驾驶车辆系统的结构图;
图17为本发明实施例的可选的远程驾驶车辆系统的结构图;
图18为本发明实施例的可选的远程驾驶车辆系统的结构图;
图19为本发明实施例的客户端应用程序的结束操作流程图;
图20为本发明实施例的车辆的服务器应用程序的结束操作流程图;
图21为本发明实施例的客户端应用程序的结束操作流程图;
图22为本发明实施例的可选的操作终端屏幕的示意图;
图23为本发明实施例的可选的远程驾驶车辆系统的结构图;
图24为本发明实施例的操作终端的客户端应用程序的操作流程图;
图25为本发明实施例的可以选的远程驾驶车辆方法的流程图;
图26为本发明实施例的可以选的远程驾驶车辆方法的流程图;
图27为本发明实施例的可以选的远程驾驶车辆方法的流程图;
图28为本发明实施例的可以选的远程驾驶车辆方法的流程图;
图29为本发明实施例的可以选的远程驾驶车辆方法的流程图。
附图中的各标号所代表的含义如下所示:
车辆--1;操作终端--2,2000;无线通信等基站--3;E/E系统(电气/电子系统)--10;自动化系统--100;摄像头ECU--11;摄像头--11001~11004;USS(超声波传感器)--11101~11112;HU(主机)--12;GPS接收器--121;CGW(中心网关)--13;TCU(远程控制器)--14;无线发射器/接收器--141;VCU(车辆控制器)--15;EDU(电动驱动装置)--1511;制动ECU--1701;EPS(电子助力转向)--1711;ECU(电控单元)--1501~150L,ECU(电控单元)--161~16M,ECU(电控单元)--1721~172N;电机--15111;制动装置--17011;转向装置--17111;连续操作请求信号--181;操作暂停请求信号--182;USS数据--183;视频数据--184;服务器应用程序开始请求信号--185;服务器应用程序停止请求信号--186;停车结束信号--187;定位信息--188;操作终端摄像头--20;操作中心摄像头--50;操作终端显示的图像--211;操作终端显示的图像--212;操作终端显示的图像--213;USS检测的接近障碍物的警告灯--22;操作区--23;用户--24;Operator--54;操作中心内的PC终端--5;操作中心--5000;数据中心--6;操作终端中的客户端应用程序--400;操作终端中的客户端应用程序--4000;操作中心中的客户端应用程序--500;数据中心的客户端应用程序--600;传感数据检查模块--401;人脸分析判断模块--402;用户操作判断模块--403;执行远程监控操作的服务器应用程序--410;操作终端控制器--25;操作中心控制器--55;数据中心控制器--65;操作终端通信模块--26;操作中心通信模块--56;数据中心通信模块--66;操作终端无线发射器/接收器--261;操作中心无线发射器/接收器--561;数据中心无线发射器/接收器--661;触摸屏--201;操作终端显示屏--2011;操作中心显示屏--5011;操作终端传感器--2012;鼠标--5012;图像识别模块--6011;GPS卫星--31~33;停车场地图--7;空车位位置--71。
具体实施方式
为了使本发明的上述以及其他特征和优点更加清楚,下面结合附图进一步描述本发明。应当理解,本文给出的具体实施例是出于向本领域技术人员解释的目的,仅是示例性的,而非限制性的。
在以下描述中,阐述了许多具体细节以提供对本发明的透彻理解。然而,对于本领域普通技术人员来说,明显的是,不需要采用具体细节来实践本发明。在其他情况下,未详细描述众所周知的步骤或操作,以避免模糊本发明。
实施例一
本发明提供一种远程驾驶车辆方法,如图1所示,该方法应用于操作终端,该方法包括:
步骤S11,接收用户输入的远程操控指令,其中,远程操控指令用于对车辆进行远程控制。
具体的,在本方案中,本方案的方法步骤可以由操作终端来执行,其中操作终端可以为手机、平板电脑等移动终端,上述远程操控指令可以为启动车辆、控制车辆向前行驶、控制车辆转弯、控制车辆倒车以及停止车辆等。上述操作终端与车辆为无线通信连接的关系,从而用户可以通过控制操作终端向车辆发送远程操控指令,达到远程控制车辆的目的,例如在停车场,用户可以通过操控操作终端控制车辆进行远程泊车。
如图2所示,提供了实现本实施例方法的一个整体系统结构图。为实现对车辆1的远程监控操作,车辆1和操作终端2通过4G/5G等移动终端网络基站3建立通信关系,可选的,基站3也可以为Wi-Fi无线通信的基站,也可以是其他方式无线通信的基站。
如图3所示,为实现本实施例的方法,本方案提供了一种具有远程驾驶功能的车辆1,车辆1包含由多个ECU(电控单元)所构成的E/E系统10,E/E系统10可以为Electrical/Electronic系统,E/E系统10由实现自动泊车等远程驾驶的自动化系统100和无线通信装置构成,其中,无线通信装置包括TCU14及无线发射器/接收器141,自动化系统(AutonomySystem)100由摄像头ECU11、HU12以及连接HU12的GPS接收器121、CGW13、VCU15、EDU1511、制动ECU1701、EPS1711、实现其他车辆1控制的ECU1501-150L、ECU161-16M、ECU1721-172N所构成(L、M、N可以为大于1的整数)。上述ECU11、HU12、CGW13、VCU15、ECU1701、ECU1501-150L、ECU161-16M、ECU1721-172N通过CAN或CANFD、以太网等数据通信网络相互连接。EDU1511连接至电机1511,制动ECU1701连接至制动装置17011,EPS1711连接至转向装置17111,以控制各项操作。
需要说明的是,上述自动化系统100的结构是EV(电动汽车)的一个示例,其它车辆的自动化系统也可以实现本发明的效果,即本发明也可以应用于内燃机发动机的车辆,或混合动力发动机的车辆,以及其它驱动方式车辆。
步骤S13,在检测到用户没有注视操作终端的界面的情况下,向车辆发送停止行进指令。
具体的,本方案中,操作终端可以通过安装在操作终端上的摄像头实时拍摄用户面部图像,以确认用户是否注视操作终端的界面,如用户在注视操作终端的界面,则用户输入操作终端的命令为有效,如用户没有注视操作终端的界面,则用户输入操作终端的命令无效,进一步地,操作终端会给车辆1发送停止行进指令。
需要说明的是,用户开启操作终端后,操作终端通过安装在操作终端上的摄像头实时拍摄用户的面部图像,以确认用户是否注视操作终端的界面,如用户没有注视操作终端的界面,则操作终端会无视用户的操作,并向车辆1发送停止行进指令,从而避免用户在未进行确认车辆1附近是否有停放的车辆、行人或障碍物的情况下进行远程驾驶引发的车辆磕碰事故。因此,本方案解决了用户在未注视操作界面的情况下输入车辆1的远程操控指令容易导致车辆磕碰事故的技术问题。
可选的,为解决上述技术问题,如图5所示,本方案提供一种可选的操作终端2的屏幕构成的示意图。操作终端2上配备操作终端摄像头20和操作终端显示屏2011,操作终端显示屏2011中显示来自车辆1摄像头的操作终端中显示的图像211和USS检测的接近障碍物的警告灯22。可选的,在操作终端显示屏2011中也可以显示车辆1系统针对车辆1附近环境合成的鸟瞰图及车辆1行进方向。例如图6,在操作终端中显示的图像212中显示车辆1行进方向,例如图7,在操作终端中显示的图像213中显示鸟瞰图。
可选的,如图8所示,为实现本申请实施例的技术效果,本方案还提供了一种车辆1的远程监控操作系统,该远程监控操作系统包括操作终端2和车辆1的E/E系统10。操作终端2由执行远程监控操作的操作终端中的客户端应用程序400、操作终端控制器25、操作终端通信模块26、操作终端无线发射器/接收器261(4G/5G--Wi--Fi--蓝牙等)、操作终端摄像头20和操作终端显示屏2011组成。操作终端中的客户端应用程序400由传感数据检查模块401和人脸分析判断模块402组成。E/E系统10由自动化系统100、执行车辆1远程监控操作的服务器应用程序410、TCU14、无线发射器/接收器141组成。操作终端2和E/E系统10通过操作终端无线发射器/接收器261和无线发射器/接收器141进行无线通信。由操作终端2向E/E系统10无线传输连续操作请求信号181、操作暂停请求信号182、服务器应用程序开始请求信号185、服务器应用程序停止请求信号186。由E/E系统10向操作终端2无线传输传感数据的USS数据183、视频数据184及停车结果信号187。
下面就图8的具体功能进行说明:通过操作终端摄像头20获取用户24的面部图像,并连续传送至操作终端控制器25。人脸分析判断模块402定期从操作终端控制器25接收操作终端摄像头20拍摄的图像,并分析用户24是否正在注视操作终端显示屏2011,进而决定继续还是中断车辆的远程驾驶。
需要说明的是,通过操作终端通信模块26的操作终端无线发射器/接收器261,定期将连续操作请求信号181无线传输至E/E系统10,来实现持续远程驾驶。本方案通过将操作暂停请求信号182无线传输至E/E系统10,或停止给E/E系统10定期传输连续操作请求信号181,来中断远程驾驶。
还需要说明的是,在E/E系统10中,自动化系统100经由TCU14的无线发射器/接收器141,接收来自操作终端2的请求信号。在定期收到连续操作请求信号181期间使车辆1进行远程驾驶,在未接收期间则中断远程驾驶并使车辆1停止。
可选的,如图22所示,本方案还提供了一种可选的操作终端的屏幕构成示意图。与图2、图5~7中的操作终端2的不同之处在于图22中的操作终端2000上安装了操作区23。在本实施方式中,通过在操作区23上不断移动手指来进行车辆1远程驾驶过程中的监控操作,同时通过操作终端2上的摄像头进行确认,在用户注视操作终端的同时允许远程驾驶,并且通过手指在操作区23上的移动进行车辆1的监控操作。另一方面,当用户未注视操作终端时,无论手指是否在操作区23上移动,都会中断远程驾驶并且停止车辆1。
下面结合图23,对上述操作终端2000的系统进行描述,通过操作终端2000和车辆1上的E/E系统10对车辆1进行远程监控操作。与图8所示实施方式的操作终端2的不同之处在于触摸屏201、操作终端传感器2012及客户端应用程序内有用户操作判断模块403。
下面介绍上述操作终端2000的功能:通过操作终端摄像头20获取用户24的面部图像,操作终端传感器2012获取用户在触摸屏201上的手指操作信息,并将它们分别连续发送给操作终端控制器25。人脸分析判断模块402从操作终端控制器25定期接收操作终端摄像头20的图像,分析用户24是否正在注视操作终端显示屏2011,进而决定是否启用或禁用车辆1的远程驾驶。当用户操作判断模块403从操作终端控制器25收到操作终端传感器2012的信息,并检测到用户在操作区23上开始移动手指时,则开始/重启车辆1的远程驾驶,当用户在操作区23上停止移动手指,或检测到手指离开操作区23时,则中断远程驾驶。
综上所述,本申请的实施例提供的操作终端具备以下功能:
通过用户触碰,启用/重新启用车辆1远程驾驶;或通过中断远程驾驶以停止车辆1;拍摄用户面部的摄像头;根据摄像头拍摄的图像,判断用户是否在注视操作终端上显示的上述传感信息;在注视时启用车辆1的远程驾驶,在未注视时禁用远程驾驶并停止车辆1。
优选的,在步骤S11接收用户输入的远程操控指令之前,如图25所示,本申请提供的方法还包括:
步骤S09,获取车辆发送的传感信息,传感信息用于表征车辆周围的人或者物。
步骤S10,控制在操作终端的界面中显示传感信息。
具体的,本方案中,用户启动操作终端,此时操作终端会收到车辆1通过安装在车辆1上的传感器收集的车辆1周围的传感信息,并将上述信息显示在操作终端的界面上,以供用户在对车辆1进行监控、远程操作时的参考。
可选的,车辆通过以下一个或多个设备获取传感信息:摄像头、超声波传感器、雷达以及激光等装置。
下面结合图4,介绍上述多个设备在车辆1上的分布:图4是摄像头11001-11004和超声波传感器USS11101-11112在车辆1上的安装示例,车辆1前后左右四个位置装有180°左右视角的鱼眼摄像头。车辆1正面和后面安装了探测近距离障碍物的超声波传感器USS11102~11105、USS11108~11111,车辆1侧面安装了探测中距离障碍物的超声波传感器USS11101、USS11106、USS 11107、USS 11112。车辆1通过4个鱼眼摄像头11001-11004,可以获取车辆1四周无死角的图像,通过超声波传感器USS11101-11112,能够检测车辆1前后近距离内的障碍物以及车辆1两侧中距离内的障碍物。可选的,摄像头11001~11004通过LVDSCable接口(低电压差分信号接口)与摄像头ECU11连接,将图像信息传送至摄像头ECU11。USS11101~11112通过GPIO Cable接口(通用型输入输出接口)等与摄像头ECU11连接,将该传感信息传输至摄像头ECU11。摄像头ECU11通过LVDS Cable等与主机HU12连接,将摄像头ECU11从摄像头收到的图像信息传送至HU12。HU12可以将图像信息显示在车内的显示屏上,并将图像信息发送给用户操作终端。
可选的,步骤S10,控制在操作终端的界面中显示传感信息之后,如图26所示,该方法还包括:
步骤S12:判断传感信息是否为实时传感信息,在否的情况下,向车辆发送停止行进指令。
具体的,本方案中,操作终端在接收到车辆1传送的传感信息,并将传感信息显示在操作终端的界面上之后,操作终端会将实时传感信息与之前(预设时间段之前)的传感信息对比,如传感信息不同说明传感信息有效,则操作终端继续执行用户输入的操作指令;如传感信息相同说明传感信息无效,则判断上述实时传感信息有误或车辆传感设备发生故障,此时,操作终端无视用户的输入指令,并向车辆1发送停止行进指令。结合图8进行说明,在操作终端中的客户端应用程序400中,可以定期确认传感数据检查模块401收到的来自车辆1传感数据(USS数据183和视频数据184)是否有效。
进一步地,在步骤S11,接收用户输入的远程操控指令之前,如图27所示,该方法还包括:
步骤S08:获取到车辆的操控权限。
具体的,本方案中,步骤S08中的执行主体可以为操作中心内的PC终端5,操作中心内的PC终端5可以从用户获取到车辆的操控权限,然后由操作中心的操作员操控PC终端5来对车辆进行远程控制,以替代用户进行车辆的远程控制。例如,在需要对车辆1进行远程操控时,用户24也可以不必自己亲身进行操控车辆1操作,操作中心的操作员Operator54可以替代用户24执行远程驾驶操作,在操作中心内的PC终端5执行Operator54输入的远程操控指令前,由用户24向操作中心内的PC终端5发送操控权限指令,允许Operator54通过操作中心内的PC终端5远程操控车辆1,通过操作中心的操作员Operator54可以替代用户24执行远程驾驶操作,较高的提升了用户的体验。
结合图11至12,下面介绍上述操作中心的可以实现的多个功能:
通过操作中心的Operator54触碰PC终端,以开始/重启车辆1远程驾驶;通过中断远程驾驶以停止车辆1;通过接收车辆1周围的传感信息并显示在操作中心5000的显示屏上;用于拍摄Operator54面部的摄像头;根据摄像头拍摄的图像,判断Operator54是否在注视PC终端上显示的传感信息;在注视时启动车辆1的远程驾驶,在未注视时禁用远程驾驶并停止车辆1。
下面结合图11至12,介绍上述操作中心的系统的内部构成,在操作中心的系统中,由Operator54代替用户24进行操控,车辆1与操作中心5000通过4G/5G等移动终端网络的基站3进行通信,操作中心5000由操作中心内的PC终端5、Operator54、操作中心摄像头50、操作中心显示屏5011、鼠标5012组成。操作中心显示屏5011上可以显示车载摄像头采集到的图像,比如图5中的操作终端中显示的图像211,图6中的操作终端中显示的图像212,图7中的操作终端中显示的图像213。操作中心显示屏5011还可以显示USS检测的接近障碍物的警告灯22。鼠标5012的功能与图22中的操作区23的功能相同,都是为了输入用户或者操作员的操控指令。
下面结合图12所示,提供一种可选的上述操作中心的系统的结构图。该系统与图23的系统一样,可进行同样的操作。操作中心5000相当于操作终端2000和操作用户24。操作中心摄像头50对应操作终端摄像头20,操作中心显示屏5011对应操作终端显示屏2011,鼠标5012对应操作终端传感器2012,操作中心控制器55对应操作终端控制器25,操作中心通信模块56对应操作终端通信模块26,操作中心无线发射器/接收器561(4G/5G--Wi--Fi--蓝牙等)对应操作终端无线发射器/接收器261。操作中心的Operator54对应操作终端的用户24。
可选的,在步骤S13,向车辆1发送停止行进指令之后,如图28所示,该方法包括:
步骤S14:向数据中心服务器发送车辆的操控权限,其中,数据中心服务器根据操控权限获取到车辆的传感信息,在根据传感信息判断车辆的周边存在障碍物的情况下,数据中心服务器向车辆发送停止行进指令。
具体的,本方案中,为避免用户24疲劳操控,还可以用数据中心服务器替代用户执行远程操控操作,上述数据中心服务器可以为数据中心,该数据中心可以对车辆1的自动驾驶进行自动的监控。在服务器执行远程操控前,由用户24向服务器发送操控权限,允许服务器执行远程驾驶操作。数据中心服务器根据操控权限获取到车辆1的传感信息,根据传感信息判断车辆1的周边是否存在障碍物,如车辆1的周边不存在障碍物,数据中心服务器则远程操控车辆1实现远程驾驶,如车辆1的周边存在障碍物,数据中心服务器则向车辆1发送停止行进指令。
如图13所示,本实施例提供一种上述数据中心的系统的整体结构图,在该整体结构中,由数据中心代替上述操作中心的Operator进行操控。由数据中心6来代替操作中心5000。数据中心6可以接收车辆1周围的传感信息,通过传感信息,当检测到车辆1附近没有障碍物时,数据中心6启用/重新启用远程驾驶,当检测到有障碍物时,数据中心6则中断远程驾驶并停止车辆1。图14是上述数据中心的系统的具体的结构图,图14中的数据中心6对应于图12的操作中心5000。数据中心控制器65对应图12中的操作中心控制器55,数据中心通信模块66对应图12中的操作中心通信模块56,数据中心无线发射器/接收器661(4G/5G--Wi--Fi--蓝牙等)对应图12中的操作中心无线发射器/接收器561。
需要说明的是,在图14的数据中心6的系统中,不存在监控Operator54是否注视来自车辆1的Camera图像和显示USS传感信息的显示屏的功能,也不存在通过Operator54操作鼠标来操控车辆1自动驾驶,也不存在Operator54、操作中心摄像头50、操作中心显示屏5011和鼠标5012,完全通过数据中心6自动来对车辆1的自动驾驶进行操控。在数据中心6的系统中,数据中心的客户端应用程序600包括图像识别模块6011,其对应于Operator54注视操作中心显示屏5011上显示的视频数据184和USS数据183,以确定车辆1周围是否存在障碍物。数据中心的客户端应用程序600还包括传感数据检查模块401。
可选的,在步骤S11,接收用户输入的远程操控指令之前,如图29所示,该方法包括:
步骤S071,获取到车辆的位置信息。
步骤S072,将车辆的位置信息发送至地图服务器,地图服务器根据车辆1的位置信息生成地图信息,其中,地图信息至少包括:车辆1所处区域的地图信息、车辆所处区域内的目标区域的位置信息以及到达目标区域的行进路线信息。
步骤S073,接收目标行进路线并控制将目标行进路线显示于操作终端的显示界面。
具体的,上述地图服务器可以为云服务器,车辆1所处区域可以为停车场,车辆所处区域内的目标区域可以为停车场中的空车位,到达目标区域的行进路线信息可以为车辆1到达空车位的行进路线。
下面结合图16~图18针对上述步骤S071~步骤S073进行举例:车辆1接收GPS卫星31、32、33信号,以取得车辆1定位信息(即上述车辆1的位置信息),上述GPS卫星数量可以为三个或者三个以上。然后车辆1将位置信息通过操作终端发送至地图服务器,由地图服务器根据车辆1的定位信息来生成停车场地图7、空车位位置71以及行驶路线,并且发送至操作终端进行显示,供用户在远程操控时进行参考,可选的,车辆1也可以根据上述地图数据生成的信息进行自动泊车。
实施例二
结合图2进行说明,图2提供了一种远程驾驶车辆系统,该系统可以用于执行上述实施例一的方法,该系统包括:车辆1;操作终端,与车辆1建立通信关系,用于接收用户24输入的远程操控指令并向车辆1转发,其中,远程操控指令用于对车辆1进行远程控制;操作终端还用于在检测到用户24没有注视操作终端的界面的情况下,向车辆1发送停止行进指令。
具体的,本方案中,上述操作终端与车辆1为无线通信连接的关系,从而用户24可以通过控制操作终端向车辆1发送远程操控指令,达到远程控制车辆1的目的,例如在停车场,用户24可以通过操控操作终端控制车辆1进行远程泊车。
需要说明的是,本方案中,操作终端可以通过安装在操作终端上的摄像头实时拍摄用户面部图像,以确认用户24是否注视操作终端的界面,如用户24在注视操作终端的界面,则用户24输入操作终端的命令为有效,如用户24没有注视操作终端的界面,则用户24输入操作终端的命令无效,进一步地,操作终端会给车辆1发送停止行进指令。需要说明的是,用户24开启操作终端后,操作终端通过安装在操作终端上的摄像头实时拍摄用户24的面部图像,以确认用户24是否注视操作终端的界面,如用户24没有注视操作终端的界面,则操作终端会无视用户24的操作,并向车辆1发送停止行进指令,从而避免用户24在未进行确认车辆1附近是否有停放的车辆、行人或障碍物的情况下进行远程驾驶引发的车辆磕碰事故。因此,本方案解决了用户24在未注视操作界面的情况下输入车辆1的远程操控指令容易导致车辆磕碰事故的技术问题。
结合图11进行说明,该系统包括:操作中心设备,与车辆建立通信关系,用于接收操作中心的操作员的远程操控指令并向车辆转发,其中,远程操控指令用于对车辆进行远程控制;操作中心设备还用于在检测到操作员没有注视操作中心设备的界面的情况下,向车辆发送停止行进指令。
具体的,操作中心设备可以为操作中心内的PC终端5,操作中心内的PC终端5与车辆1建立通信关系,操作中心内的PC终端5可以从用户获取到车辆的操控权限,然后由操作中心的操作员操控PC终端5来对车辆进行远程控制,以替代用户进行车辆的远程控制。例如,在需要对车辆1进行远程操控时,用户24也可以不必自己亲身进行操控车辆1操作,操作中心的操作员Operator54可以替代用户24执行远程驾驶操作,在操作中心内的PC终端5执行Operator54输入的远程操控指令前,由用户24向操作中心内的PC终端5发送操控权限指令,允许Operator54通过操作中心内的PC终端5远程操控车辆1,通过操作中心的操作员Operator54可以替代用户24执行远程驾驶操作,较高的提升了用户的体验。需要说明的是,操作中心内的PC终端5安装有用于拍摄Operator54面部的摄像头;根据摄像头拍摄的图像,判断Operator54是否在注视PC终端上显示的传感信息;在注视时启动车辆1的远程驾驶,在未注视时禁用远程驾驶并停止车辆1。
结合图13进行说明,该系统包括:数据中心,与车辆建立通信关系,用于向车辆发送远程操控指令。
具体的,为避免用户24疲劳操控,还可以用数据中心服务器替代用户执行远程操控操作,上述数据中心服务器可以为数据中心,该数据中心可以对车辆1的自动驾驶进行自动的监控。在服务器执行远程操控前,由用户24向服务器发送操控权限,允许服务器执行远程驾驶操作。数据中心服务器根据操控权限获取到车辆1的传感信息,根据传感信息判断车辆1的周边是否存在障碍物,如车辆1的周边不存在障碍物,数据中心服务器则远程操控车辆1实现远程驾驶,如车辆1的周边存在障碍物,数据中心服务器则向车辆1发送停止行进指令。
结合图16-图18进行说明,该系统还包括:地图服务器,与车辆建立通信关系,用于根据车辆的位置信息生成地图信息,其中,地图信息至少包括:车辆所处区域的地图信息、车辆所处区域内的目标区域的位置信息以及到达目标区域的行进路线信息;地图服务器还用于将地图信息发送至如下一个或多个设备:操作终端、操作中心设备以及数据中心。
具体的,上述地图服务器可以为云服务器,车辆1所处区域可以为停车场,车辆所处区域内的目标区域可以为停车场中的空车位,到达目标区域的行进路线信息可以为车辆1到达空车位的行进路线。
实施例三
本实施例三提供一种远程泊车的方案,结合图2~图10、图19、图20进行说明,当用户驾驶车辆1并在停车场内移动时,通过USS11101、11106、11107和11112检测车辆1两侧的障碍物,并且绘制周边障碍物地图。同时,摄像头ECU11可以利用光流法或深度学习法等,识别摄像头11001~11004拍摄的车辆1周围图像,以检测车位的边界线及停放中的车辆1,并结合上述周边障碍物地图,检测一个或多个空车位并通知用户24。用户24从车辆1检测到的空车位中指定想要停车的空车位后,摄像头ECU11计算出到该空车位的移动路线,通过VCU15和EPS171来操纵电机1511和转向装置17111,以按照计算出的路线移动车辆1。车辆1进入车位后,通过制动ECU1701来激活制动17111以停止车辆1。
在上述远程泊车实施过程中,摄像头ECU11通过识别摄像头11001~11004拍摄的图像,或通过USS11101~11112传感功能检测到车辆1移动路径上有障碍物时,通过制动ECU1701来激活制动1711,以停止车辆1。
基于上述自动泊车操作,操作终端2经由基站3、无线发射器/接收器141和TCU14将连续操作请求信号181和操作暂停请求信号182传输至自动化系统100内的摄像头ECU11,以实现远程驾驶。在远程驾驶期间,摄像头ECU11定期检查连续操作请求信号181的接收情况,在收到信号期间则操作车辆1以保持远程驾驶,在未收到信号期间则中断操作并停止车辆1。另外,当收到操作暂停请求信号182时,则停止车辆1。
在本实施例中,结合图8以及图9,在用户启动操作终端中的客户端应用程序400时,操作终端则执行S4001的开始步骤,操作终端给车辆1的E/E系统的服务器应用程序410发送开始请求信号185,以启动E/E系统10上的服务器应用程序410,操作终端执行S4002的步骤即操作终端开始接收传感数据。传感数据可以为摄像头采集的图像、视频数据184,也可以为USS数据183。接下来,操作终端则执行S4004的步骤,即操作终端开始计时,然后操作终端先后执行S4005至S4007的步骤,即通过传感数据检查模块401确定是否收到了来自E/E系统10的传感数据、通过传感数据检查模块401确认收到的传感数据是否有效以及通过人脸分析判断模块402确认用户是否正在注视操作终端显示屏2011,如果在定时结束之前上述S4005至S4007的确认结果全部为YES(即收到了E/E系统10的传感数据、收到的传感数据有效以及用户正在注视显示屏)的话,操作终端则执行步骤S4009即将连续操作请求信号181发送至E/E系统10,然后执行步骤S4010即清除计时,然后操作终端可以返回步骤S4005。另一方面,如果上述S4005至S4007的步骤中任何一个结果为NO的话,则操作终端执行步骤S4011,即将操作暂停请求信号182发送至E/E系统10,并且再执行步骤S4010即清除计时。
下面就操作终端中的传感数据检查模块401执行上述步骤S4006的过程进行举例说明:例如,如果上次收到的传感数据和本次收到的传感数据相同,则可能是因为E/E系统10上的摄像头、USS或摄像头ECU11等发生故障,导致最新的图像或USS的传感数据未被发送。此时,由于操作终端2无法确认车辆1动作及其周边,因此判定为NO。或者如果传感数据的数据容量或其他信息异常,则判定为NO。
可选的,结合图8和图9,人脸分析判断模块402执行步骤S4007可通过眼动追踪技术判断用户是否注视操作终端。用户注视操作终端时则继续执行步骤S4009,否则执行步骤S4011。另外,在传感数据检查模块401执行步骤S4005过程中,如果不能周期性地收到传感数据,则用户无法确认车辆1周围情况。因此,在计时结束前,如果无法收到新的传感数据,则操作终端执行步骤S4011。
可选的,结合图19,当操作终端在执行步骤S4013之后,操作终端执行步骤S4014,即操作终端中的客户端应用程序400收到E/E系统10的停车结束信号187,需要说明的是,在操作终端中的客户端应用程序400收到E/E系统10的停车结束信号187的情况下,操作终端执行步骤S4015,即操作终端将服务器应用程序停止请求信号186发送至E/E系统10以关闭E/E系统10的服务器应用程序,然后操作终端执行步骤S4016即关闭操作终端内部的客户端应用程序。
可选的,上述E/E系统10中服务器应用程序410的操作流程可以如图10和图20所示。在图10中,E/E系统10接收服务器应用程序开始请求信号185,然后E/E系统10执行步骤S4101,即启动服务器应用程序410,并等待操作终端2的进一步请求信号。当服务器应用程序410收到操作终端2的请求信号时(如步骤S4102所示),服务器应用程序410则触发开始/或中断远程驾驶,服务器应用程序410重启远程停车(如步骤S4103所示),然后服务器应用程序410开启计时(如步骤S4104所示),结合图10,在计时结束前,服务器应用程序410进行以下操作:服务器应用程序410确定是否收到操作终端2的连续操作请求信号181(如步骤S4105所示)。如果上述确认YES(即服务器应用程序收到了操作终端的连续操作请求信号181),则清除计时(如步骤S4108所示),然后服务器应用程序410确定是否收到下一个请求信号(如步骤S4109所示),在是的情况下则返回至步骤S4105。如果确定收到的请求信号不是连续操作请求信号181,而是操作暂停请求信号182(如步骤S4106所示)时,则服务器应用程序410中断远程驾驶,停止车辆1(如步骤S4110所示),然后服务器应用程序410清除计时(如步骤S4111所示),然后服务器应用程序410返回至步骤S4102,等待接收下一个请求信号。如果在步骤S4109中,在计时时间内没有收到下一请求信号,则服务器应用程序410进入步骤S4110。如果在步骤S4106中收到的请求信号不是操作暂停请求信号182时,表示收到了无效的请求信号,则服务器应用程序410进入步骤S4110,中断远程驾驶停止车辆。
如图20所示,当远程驾驶操作完成时,服务器应用程序410向操作终端2发送停车结束信号187(如步骤S4113所示),当收到从操作终端2发送的服务器应用程序停止请求信号186时(如步骤S4114所示),则服务器应用程序410结束操作(如步骤S4114所示)。
实施例四
下面结合图10、图19、图20、图23、图24来说明用户进行远程驾驶操作的另一个实施例。其中,如图23所示的操作终端2000中的客户端应用程序4000的操作流程如图24和图19所示,E/E系统10的服务器应用程序410的操作如图10和图20所示。
在图24中,当启动操作终端2000中的客户端应用程序4000时(如步骤S40010所示),操作终端向车辆1发送服务器应用程序开始请求信号185以启动E/E系统10上的服务器应用程序410,操作终端开始接收传感数据(如步骤S4002所示),当检测到用户开始在操作区23上移动手指时(如步骤S4003所示),触发操作终端开启计时(如步骤S4004所示),并在正常操作时的计时结束之前进行如下确认:通过操作终端的传感数据检查模块401,确认是否收到了E/E系统10传感数据(如步骤S4005所示),通过操作终端的传感数据检查模块401,确认收到的传感数据是否有效(如步骤S4006所示),通过操作终端的人脸分析判断模块402,确认用户是否正在注视触摸屏201(如步骤S4007所示),通过操作终端的用户操作判断模块403,确认用户是否在操作区23上持续移动手指(如步骤S4008所示)。在计时结束之前,如果这些确认全部Yes(即收到了E/E系统10的传感数据、收到的传感数据有效、用户正在注视显示屏以及用户在操作区23上持续移动手指)的话,则将连续操作请求信号181发送至E/E系统10(如步骤S4009所示),之后操作终端清除计时(如步骤S4010所示),返回至步骤S4005,并重复该步骤S4005到步骤S4010。另一方面,如果上述S4005、S4006、S4007和S4008中任何一个为No的话,操作终端则将操作暂停请求信号182发送至E/E系统10(如步骤S4011所示),操作终端停止计时(如步骤S4012所示),并返回至步骤S4003。当再次检测到用户开始在操作区23上移动手指时,则进行步骤S4003之后的步骤。
可选的,操作终端向E/E系统10发送的连续操作请求信号181中包含操作区23上的手指触碰坐标,上述坐标在图10中的操作步骤S4105中进行确认,当E/E系统10收到的连续操作请求信号181的坐标与上次收到的信息不同时则为Yes,E/E系统10的服务器应用程序执行步骤S4108清除计时;否则为No,E/E系统10的服务器应用程序执行步骤S4106判断是否收到了操作终端发送的操作暂停请求信号182,并执行步骤S4110停止车辆1。因此,由于操作终端传感器2012的故障等,即使用户没有在操作区23移动手指操作终端却固定发送连续操作请求信号181的情况下,服务器应用程序进行的步骤S4105也能够判定为No,进而能够更可靠地实现车辆1远程驾驶操作。
实施例五
下面本申请提供一种基于操作中心实现远程驾驶的可选的实施例:
如图11所示,由Operator54代替上述实施例中的用户进行车辆1的远程驾驶。车辆1与操作中心5000通过4G/5G等移动终端网络的基站3进行通信。操作中心5000由操作中心内的PC终端5、Operator54、操作中心摄像头50、操作中心显示屏5011、鼠标5012组成。操作中心显示屏5011上可以显示车载摄像头采集到的图像,比如图5中的操作终端中显示的图像211,图6中的操作终端中显示的图像212,图7中的操作终端中显示的图像213。操作中心显示屏5011还可以显示USS检测的接近障碍物的警告灯22。鼠标5012的功能同实施例一的图22中的操作区23的功能相同,都是为了输入用户或者操作员的操控指令。
如图12所示,图12为本实施例提供的操作中心实现远程驾驶的系统结构图,需要说明的是,该系统与实施例一和实施例三中的图23的系统一样,可进行同样的操作。操作中心5000相当于操作终端2000和其操作用户24。操作中心摄像头50对应操作终端摄像头20,操作中心显示屏5011对应操作终端显示屏2011,鼠标5012对应操作终端传感器2012,操作中心控制器55对应操作终端控制器25,操作中心通信模块56对应操作终端通信模块26,操作中心无线发射器/接收器561对应操作终端无线发射器/接收器261,操作中心的Operator54对应操作终端的用户24。
结合图12,数据中心的客户端应用程序4000、服务器应用程序410的操作如上述实施例中描述的图23、图24、图19、图10、图20所示,其效果也与上述实施例中的效果相同,图12中的181至187和上述实施例中的181至187也相同。
实施例六
下面本申请提供一种基于数据中心实现远程驾驶的可选的实施例:
如图13所示,提供一种实现本实施例的系统整体结构,由数据中心代替上述实施例中的Operator54进行车辆1的远程驾驶。由数据中心6来代替操作中心5000。数据中心可以接收车辆1周围的传感信息,通过传感信息,当检测到车辆1附近没有障碍物时,数据中心启用/重新启用远程驾驶,当检测到有障碍物时,数据中心则中断远程驾驶并停止车辆1。结合图14,数据中心6对应于图12中的操作中心5000。数据中心控制器65对应操作中心控制器55,数据中心通信模块66对应操作中心通信模块56,数据中心无线发射器/接收器661对应操作中心无线发射器/接收器561,每个操作与对应模块的操作相同。
需要说明的是,在数据中心6的系统中,不存在监控Operator是否注视来自车辆1的Camera图像和显示USS传感信息的显示屏的功能,也不存在通过Operator操作鼠标来操控车辆1自动驾驶,也不存在Operator54、操作中心摄像头50、操作中心显示屏5011和鼠标5012,完全通过数据中心自动来对车辆1的自动驾驶进行操控。在数据中心6的系统中,数据中心的客户端应用程序600包括图像识别模块6011,其对应于Operator54注视操作中心显示屏5011上显示的视频数据184和USS数据183,以确定车辆1周围是否存在障碍物。数据中心的客户端应用程序600还包括传感数据检查模块401。
下面结合图15,介绍本实施例的数据中心实现远程驾驶的流程:
数据中心启动数据中心的客户端应用程序600(如步骤S6001所示),数据中心向车辆1的E/E系统10发送服务器应用程序开始请求信号185,车辆1启动服务器应用程序410,数据中心开始接收传感数据(如步骤S4002所示),接下来,数据中心开始计时(如步骤S4004所示),在数据中心和车辆1的E/E系统10正常工作时,数据中心的客户端应用程序600在计时结束前,进行以下步骤:通过数据中心的传感数据检查模块401确认是否收到了来自E/E系统10的传感数据(如步骤S4005所示),通过数据中心的传感数据检查模块401确认来自E/E系统10的传感数据是否有效(如步骤S4006所示),通过数据中心的图像识别模块6011,来确认车辆1周边是否存在障碍物(如步骤S6007所示)。如果步骤S4005、步骤S4006以及步骤S6007的结果都为Yes(即数据中心收到了来自E/E系统10的传感数据、来自E/E系统10的传感数据有效以及车辆1周边不存在障碍物),数据中心则给E/E系统10发送连续操作请求信号181(如步骤S4009所示),数据中心清除计时(如步骤S4010所示),返回至步骤S4005,并重复上述过程。另一方面,如果上述步骤S4005、S4006以及S6007中任意一个为No,数据中心则给E/E系统10发送操作暂停请求信号182(如步骤S4011所示),清除计时(如步骤S4010所示),返回至S4005,并重复上述过程。
可选的,下面结合图21介绍一种可选的数据中心实现远程驾驶的流程:如图21所示,数据中心的客户端应用程序600启动后(如步骤S6013所示),当数据中心的客户端应用程序600接收到E/E系统10的停车结果信号187(如步骤S4014所示),数据中心则将服务器应用程序停止请求信号186发送给E/E系统10,然后结束E/E系统10的服务器应用程序410(如步骤S4015所示),并结束数据中心的客户端应用程序600(如步骤S6016所示)。
实施例七
本实施例提供了一种利用操作终端2000实现远程泊车的方案,如图16所示,车辆1接收GPS卫星31、32、33信号,以取得车辆1的定位信息。上述GPS卫星数量可以为3个或3个以上。然后车辆1将位置信息通过操作终端发送至地图服务器,由地图服务器根据车辆1的定位信息来生成地图信息,上述地图信息包括停车场地图7、空车位位置71以及行驶路线,并且发送至操作终端进行显示,供用户在远程操控时进行参考,可选的,车辆1也可以根据上述地图数据生成的信息进行自动泊车。操作终端2000利用上述地图信息,以车辆1上布置的Camera和USS的信息为基础,操作终端2000操控车辆1在行驶路线中进行行驶,在到达空车位前方之后,进行自动泊车进入空车位,实现自动代客泊车。在上述自动代客泊车的一系列远程操控中,操作终端2000远程操控车辆1过程与操作终端2000在实施例四中的步骤相同,另外,只有在用户注视操作终端显示的车辆1视频数据184和USS数据183时才能通过操作终端远程操控车辆1,若用户不注视操作终端显示的车辆1视频数据184和USS数据183则操作终端会中断远程驾驶并停止车辆1。
实施例八
本实施例提供了一种利用操作中心5000代替操作终端2000和用户实现自动代客泊车的实施例,如图17所示,车辆1接收GPS卫星31、32、33信号,以取得车辆1的定位信息。上述GPS卫星数量可以为3个或大于3个。然后车辆1将位置信息通过操作中心5000发送至地图服务器,由地图服务器根据车辆1的定位信息来生成地图信息,上述地图信息包括停车场地图7、空车位位置71以及行驶路线,并且发送至操作中心5000进行显示,供Operator54在远程操控时进行参考,可选的,车辆1也可以根据上述地图数据生成的信息进行自动泊车。操作中心5000利用上述地图信息,以车辆1上布置的Camera和USS的信息为基础,操控车辆1在行驶路线中进行行驶,在到达空车位前方之后,进行自动泊车进入空车位,实现自动代客泊车。在上述自动代客泊车的一系列远程操控中,操作中心5000远程操控车辆1过程与操作中心5000在实施例五中的步骤相同,另外,只有Operator54注视操作中心显示屏5011中显示的车辆1的视频数据184和USS数据183时,Operator54才能通过操作中心内的PC终端5远程操控车辆1,如果Operator54不注视操作中心显示屏5011中显示的车辆1的视频数据184和USS数据183,操作中心则中断Operator54的远程操控并停止车辆1。
实施例九
本实施例提供了一种利用数据中心6代替操作中心5000实现自动代客泊车的实施例,如图18所示,车辆1接收GPS卫星31、32、33信号,以取得车辆1的定位信息。上述GPS卫星数量可以为3个或大于3个。然后车辆1将位置信息通过操作终端发送至地图服务器,由地图服务器根据车辆1的定位信息来生成地图信息,上述地图信息包括停车场地图7、空车位位置71以及行驶路线,并且发送至数据中心,供数据中心在远程操控时进行参考,可选的,车辆1也可以根据上述地图数据生成的信息进行自动泊车。数据中心利用上述地图信息,以车辆1上布置的Camera和USS的信息为基础,远程操控车辆1在行驶路线中进行行驶,在到达空车位前方之后,进行自动泊车进入空车位,实现自动代客泊车。在上述自动代客泊车的一系列远程操控中,数据中心远程操控车辆1过程与数据中心6在实施例六中的步骤相同,另外,代替Operator54注视操作中心显示屏5011中显示的车辆1的视频数据184和USS数据183,由数据中心6分析来自车辆1的视频数据184、USS数据183,判定车辆1周边有没有障碍物,如果数据中心6检测到车辆1周围有障碍物,数据中心则中断远程操控并停止车辆1。
应理解,本文中前述关于本发明的方法所描述的具体特征、操作和细节也可类似地应用于本发明的装置和系统,或者,反之亦然。另外,上文描述的本发明的方法的每个步骤可由本发明的装置或系统的相应部件或单元执行。
应理解,本发明的装置的各个模块/单元可全部或部分地通过软件、硬件、固件或其组合来实现。各模块/单元各自可以硬件或固件形式内嵌于计算机设备的处理器中或独立于处理器,也可以软件形式存储于计算机设备的存储器中以供处理器调用来执行各模块/单元的操作。各模块/单元各自可以实现为独立的部件或模块,或者两个或更多个模块/单元可实现为单个部件或模块。
在一个实施例中,提供了一种计算机设备,其包括存储器和处理器,存储器上存储有可由处理器执行的计算机指令,计算机指令在由处理器执行时指示处理器执行本发明的实施例一中的方法的各步骤。该计算机设备可以广义地为服务器、终端,或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中,该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的方法的步骤。
本发明可以实现为一种计算机可读存储介质,其上存储有计算机程序,计算机程序在由处理器执行时导致本发明实施例一的方法的步骤被执行。在一个实施例中,计算机程序被分布在网络耦合的多个计算机设备或处理器上,以使得计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作,或者两个或更多个方法步骤/操作,可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行,并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作,或执行两个或更多个方法步骤/操作。
本领域普通技术人员可以理解,本发明的方法步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成,计算机程序可存储于非暂时性计算机可读存储介质中,该计算机程序被执行时导致本发明的步骤被执行。根据情况,本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器(RAM)、外部高速缓冲存储器等。
以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述,但这些技术特征的任何组合都应当被认为由本说明书涵盖,只要这样的组合不存在矛盾。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.一种远程驾驶车辆方法,其特征在于,所述方法应用于操作终端,所述方法包括:
接收用户输入的远程操控指令,其中,所述远程操控指令用于对车辆进行远程控制;
在检测到所述用户没有注视所述操作终端的界面的情况下,向所述车辆发送停止行进指令。
2.根据权利要求1所述方法,其特征在于,在接收用户输入的远程操控指令之前,所述方法还包括:
获取所述车辆发送的传感信息,所述传感信息用于表征所述车辆周围的人或者物;
控制在所述操作终端的界面中显示所述传感信息。
3.根据权利要求2所述方法,其特征在于,在控制在所述操作终端的界面中显示所述传感信息之后,所述方法还包括:
判断所述传感信息是否为实时传感信息,在否的情况下,向所述车辆发送停止行进指令。
4.根据权利要求1所述方法,其特征在于,在接收用户输入的远程操控指令之前,所述方法还包括:
获取到所述车辆的操控权限。
5.根据权利要求1所述方法,其特征在于,在向所述车辆发送停止行进指令之后,所述方法包括:
向数据中心服务器发送所述车辆的操控权限,其中,所述数据中心服务器根据所述操控权限获取到所述车辆的传感信息,在根据所述传感信息判断所述车辆的周边存在障碍物的情况下,所述数据中心服务器向所述车辆发送停止行进指令。
6.根据权利要求1所述方法,其特征在于,在接收用户输入的远程操控指令之前,所述方法包括:
获取到所述车辆的位置信息;
将所述车辆的位置信息发送至地图服务器,其中,所述地图服务器根据所述车辆的位置信息生成地图信息,其中,所述地图信息至少包括:所述车辆所处区域的地图信息、所述车辆所处区域内的目标区域的位置信息以及到达所述目标区域的行进路线信息;
接收所述目标行进路线并控制将所述目标行进路线显示于所述操作终端的显示界面。
7.根据权利要求2所述方法,其特征在于,所述车辆通过以下一个或多个设备获取所述传感信息:
摄像头、超声波传感器、雷达以及激光装置。
8.一种远程驾驶车辆系统,其特征在于,所述系统包括:
车辆;
操作终端,与所述车辆建立通信关系,用于接收用户输入的远程操控指令并向车辆转发,其中,所述远程操控指令用于对所述车辆进行远程控制;
所述操作终端还用于在检测到所述用户没有注视所述操作终端的界面的情况下,向所述车辆发送停止行进指令。
9.根据权利要求8所述的系统,其特征在于,所述系统包括:
操作中心设备,与所述车辆建立通信关系,用于接收操作中心的操作员的远程操控指令并向车辆转发,其中,所述远程操控指令用于对所述车辆进行远程控制;
所述操作中心设备还用于在检测到所述操作员没有注视所述操作中心设备的界面的情况下,向所述车辆发送停止行进指令。
10.根据权利要求9所述的系统,其特征在于,所述系统包括:
数据中心,与所述车辆建立通信关系,用于向所述车辆发送远程操控指令。
11.根据权利要求8-10任一项所述的系统,其特征在于,所述系统还包括:
地图服务器,与所述车辆建立通信关系,用于根据所述车辆的位置信息生成地图信息,其中,所述地图信息至少包括:所述车辆所处区域的地图信息、所述车辆所处区域内的目标区域的位置信息以及到达所述目标区域的行进路线信息;
所述地图服务器还用于将所述地图信息发送至如下一个或多个设备:
操作终端、操作中心设备以及数据中心。
12.一种计算机设备,包括存储器和处理器,所述存储器上存储有计算机指令,所述计算机指令在由所述处理器执行时导致权利要求1至7中任一项所述的方法被执行。
13.一种非暂时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序在由处理器执行时导致权利要求1至7中任一项所述的方法被执行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111536295.0A CN114545812A (zh) | 2021-12-15 | 2021-12-15 | 一种远程驾驶车辆方法以及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111536295.0A CN114545812A (zh) | 2021-12-15 | 2021-12-15 | 一种远程驾驶车辆方法以及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114545812A true CN114545812A (zh) | 2022-05-27 |
Family
ID=81670235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111536295.0A Pending CN114545812A (zh) | 2021-12-15 | 2021-12-15 | 一种远程驾驶车辆方法以及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114545812A (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104765354A (zh) * | 2014-01-10 | 2015-07-08 | 北京博锐尚格节能技术股份有限公司 | 一种传感器及执行元件的故障诊断方法、装置及系统 |
CN105425775A (zh) * | 2015-12-04 | 2016-03-23 | 河南中烟工业有限责任公司许昌卷烟厂 | 一种传感器故障自动判断方法及系统 |
CN108931971A (zh) * | 2018-05-24 | 2018-12-04 | 奇瑞汽车股份有限公司 | 用于无人驾驶的移动终端、车辆、服务器及无人驾驶系统 |
CN109104502A (zh) * | 2018-10-09 | 2018-12-28 | 北京智行者科技有限公司 | 一种远程遥控的泊车方法和系统 |
CN110979314A (zh) * | 2019-12-16 | 2020-04-10 | 驭势科技(北京)有限公司 | 一种自主代客泊车方法、车载设备及存储介质 |
JP2020123013A (ja) * | 2019-01-29 | 2020-08-13 | ヤンマーパワーテクノロジー株式会社 | 自律走行制御システム |
CN111674380A (zh) * | 2020-06-15 | 2020-09-18 | 中国第一汽车股份有限公司 | 远程挪车系统、方法、车辆及存储介质 |
CN111994094A (zh) * | 2020-08-10 | 2020-11-27 | 北京三快在线科技有限公司 | 远程遥控接管方法、装置、系统、介质及无人驾驶车辆 |
CN112161648A (zh) * | 2020-09-14 | 2021-01-01 | 精英数智科技股份有限公司 | 异常传感器的识别方法、装置、可读存储介质及电子设备 |
CN112286166A (zh) * | 2020-10-12 | 2021-01-29 | 上海交通大学 | 一种基于5g网络的车辆远程驾驶控制系统及方法 |
CN112306056A (zh) * | 2019-07-16 | 2021-02-02 | 丰田自动车株式会社 | 操作装置以及车辆控制系统 |
CN112486160A (zh) * | 2019-08-23 | 2021-03-12 | 丰田自动车株式会社 | 车辆远程指示系统 |
US20210086757A1 (en) * | 2019-09-25 | 2021-03-25 | Toyota Jidosha Kabushiki Kaisha | Automatic parking system |
CN112622930A (zh) * | 2020-12-22 | 2021-04-09 | 北京百度网讯科技有限公司 | 无人车的行驶控制方法、装置、设备以及自动驾驶车辆 |
CN112965502A (zh) * | 2020-05-15 | 2021-06-15 | 东风柳州汽车有限公司 | 视觉跟踪确认方法、装置、设备及存储介质 |
CN113147767A (zh) * | 2021-05-25 | 2021-07-23 | 银隆新能源股份有限公司 | 车辆行驶监测方法、装置、系统和车辆 |
CN113479195A (zh) * | 2021-08-11 | 2021-10-08 | 戴姆勒股份公司 | 用于自动代客泊车的方法和用于执行所述方法的系统 |
-
2021
- 2021-12-15 CN CN202111536295.0A patent/CN114545812A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104765354A (zh) * | 2014-01-10 | 2015-07-08 | 北京博锐尚格节能技术股份有限公司 | 一种传感器及执行元件的故障诊断方法、装置及系统 |
CN105425775A (zh) * | 2015-12-04 | 2016-03-23 | 河南中烟工业有限责任公司许昌卷烟厂 | 一种传感器故障自动判断方法及系统 |
CN108931971A (zh) * | 2018-05-24 | 2018-12-04 | 奇瑞汽车股份有限公司 | 用于无人驾驶的移动终端、车辆、服务器及无人驾驶系统 |
CN109104502A (zh) * | 2018-10-09 | 2018-12-28 | 北京智行者科技有限公司 | 一种远程遥控的泊车方法和系统 |
JP2020123013A (ja) * | 2019-01-29 | 2020-08-13 | ヤンマーパワーテクノロジー株式会社 | 自律走行制御システム |
CN112306056A (zh) * | 2019-07-16 | 2021-02-02 | 丰田自动车株式会社 | 操作装置以及车辆控制系统 |
CN112486160A (zh) * | 2019-08-23 | 2021-03-12 | 丰田自动车株式会社 | 车辆远程指示系统 |
US20210086757A1 (en) * | 2019-09-25 | 2021-03-25 | Toyota Jidosha Kabushiki Kaisha | Automatic parking system |
CN110979314A (zh) * | 2019-12-16 | 2020-04-10 | 驭势科技(北京)有限公司 | 一种自主代客泊车方法、车载设备及存储介质 |
CN112965502A (zh) * | 2020-05-15 | 2021-06-15 | 东风柳州汽车有限公司 | 视觉跟踪确认方法、装置、设备及存储介质 |
CN111674380A (zh) * | 2020-06-15 | 2020-09-18 | 中国第一汽车股份有限公司 | 远程挪车系统、方法、车辆及存储介质 |
CN111994094A (zh) * | 2020-08-10 | 2020-11-27 | 北京三快在线科技有限公司 | 远程遥控接管方法、装置、系统、介质及无人驾驶车辆 |
CN112161648A (zh) * | 2020-09-14 | 2021-01-01 | 精英数智科技股份有限公司 | 异常传感器的识别方法、装置、可读存储介质及电子设备 |
CN112286166A (zh) * | 2020-10-12 | 2021-01-29 | 上海交通大学 | 一种基于5g网络的车辆远程驾驶控制系统及方法 |
CN112622930A (zh) * | 2020-12-22 | 2021-04-09 | 北京百度网讯科技有限公司 | 无人车的行驶控制方法、装置、设备以及自动驾驶车辆 |
CN113147767A (zh) * | 2021-05-25 | 2021-07-23 | 银隆新能源股份有限公司 | 车辆行驶监测方法、装置、系统和车辆 |
CN113479195A (zh) * | 2021-08-11 | 2021-10-08 | 戴姆勒股份公司 | 用于自动代客泊车的方法和用于执行所述方法的系统 |
Non-Patent Citations (1)
Title |
---|
曹国浩: ""无人驾驶智能车远程监控系统的设计"", 西安工业大学, no. 2017, 15 February 2017 (2017-02-15), pages 1 - 84 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112965502B (zh) | 视觉跟踪确认方法、装置、设备及存储介质 | |
CN110419211B (zh) | 信息处理装置、信息处理方法和计算机可读的存储介质 | |
CN108140314B (zh) | 停车辅助方法及停车辅助装置 | |
CN108622083B (zh) | 泊车辅助装置 | |
US8666599B2 (en) | Driving support system | |
US10146227B2 (en) | Driving assistance apparatus | |
JP6042794B2 (ja) | 車両制御方法 | |
CN108140312B (zh) | 停车辅助方法及停车辅助装置 | |
KR102181196B1 (ko) | 주차 제어 방법 및 주차 제어 장치 | |
CN110203199B (zh) | 行驶控制装置以及行驶控制方法 | |
CN108025708B (zh) | 用于运行车辆的方法和设备以及用于运行停车场的方法 | |
KR102170988B1 (ko) | 주차 제어 방법 및 주차 제어 장치 | |
EP3726500A1 (en) | Vehicle merge assistance system and method | |
JP2019087015A (ja) | 遠隔監視システム及び自律走行車両並びに遠隔監視方法 | |
CN110831818B (zh) | 泊车辅助方法以及泊车辅助装置 | |
US11299162B2 (en) | Vehicle control device | |
EP3133454B1 (en) | Method and apparatus for controlling a vehicle having automated driving control capabilities | |
CN113525228A (zh) | 遮挡信息显示方法、装置、电子设备及存储介质 | |
CN114450732A (zh) | 监视中心、监视系统以及方法 | |
CN111731318B (zh) | 车辆控制装置、车辆控制方法、车辆以及存储介质 | |
JP7145805B2 (ja) | 車両制御システム | |
CN110281925B (zh) | 行驶控制装置、车辆以及行驶控制方法 | |
CN113401056B (zh) | 显示控制装置、显示控制方法以及计算机可读取存储介质 | |
CN112977451B (zh) | 行驶辅助系统及其控制方法 | |
CN114545812A (zh) | 一种远程驾驶车辆方法以及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |