CN107300921A - 远程驾驶方法、装置、用户终端及计算机可读存储介质 - Google Patents

远程驾驶方法、装置、用户终端及计算机可读存储介质 Download PDF

Info

Publication number
CN107300921A
CN107300921A CN201710526194.2A CN201710526194A CN107300921A CN 107300921 A CN107300921 A CN 107300921A CN 201710526194 A CN201710526194 A CN 201710526194A CN 107300921 A CN107300921 A CN 107300921A
Authority
CN
China
Prior art keywords
generation
vehicle
driving
drives
driven
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710526194.2A
Other languages
English (en)
Inventor
黄键
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Original Assignee
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulong Computer Telecommunication Scientific Shenzhen Co Ltd filed Critical Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority to CN201710526194.2A priority Critical patent/CN107300921A/zh
Publication of CN107300921A publication Critical patent/CN107300921A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network

Abstract

本发明公开了远程驾驶方法、装置、用户终端及计算机可读存储介质,其中所述远程驾驶方法包括:应用于用户终端,所述用户终端内集成有对车辆进行模拟驾驶的虚拟现实操控系统,包括:与代驾车辆的车载控制系统、图像采集设备建立远程连接;通过虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆行驶周围的信息对所述代驾车辆进行远程模拟驾驶;获取用户模拟驾驶产生的驾驶数据;将所述驾驶数据传输到所述代驾车辆的车载控制系统,解决了由于车辆在行驶过程中可能会遇到众多复杂因素影响的驾驶状况,现有车辆远程驾驶方式无法对所有行驶情况都进行有效的设置,影响车辆行驶的安全性的问题。

Description

远程驾驶方法、装置、用户终端及计算机可读存储介质
技术领域
本发明涉及自动驾驶领域,具体涉及远程驾驶方法、装置、用户终端及计算机可读存储介质。
背景技术
随着经济的发展,机动汽车在国民经济建设和日常生活中的作用日益重要。现有机动汽车的驾驶方式都是人为直接驾驶的,而当驾驶员在开车途中突然不舒服无法继续驾驶或者随着禁酒令的推出,驾驶员不能酒后驾车等由于驾驶员自身原因无法驾驶机动车时,代驾服务应运而生,而现有代驾行为需要找到合适的代驾并直至等到代驾者,代驾过程繁琐且费时.
针对上述技术问题,现有技术是对车辆进行远程驾驶控制,通过接入无线通信网络,在接收到车辆驾驶员的驾驶指令后触发车辆的远程驾驶控制系统启动远程控制并发送驾驶控制指令,安装于车辆上的测控模块,通过无线通信网络接收到控制指令后,通过验证密钥后获取车辆驾驶状态等信息传输至处理模块后再将处理后的信息传输至虚拟驾驶操作模块,虚拟驾驶操作模块代替驾驶员进行车辆驾驶,而通过虚拟驾驶操作模块进行车辆驾驶的方式与无人驾驶技术类似,是通过精确的数据采集并分析后,通过分析出的数据进行车辆控制,但是,这种情况下对数据分析和处理的要求非常高,由于车辆在行驶过程中可能会遇到众多复杂因素影响的驾驶状况,机器无法对所有情况都进行有效的设置,从而影响车辆行驶的安全性。
发明内容
有鉴于此,本发明实施例提供了一种远程驾驶系统、方法、装置、用户终端及计算机可读存储介质,以解决由于车辆在行驶过程中可能会遇到众多复杂因素影响的驾驶状况,现有车辆远程驾驶方式无法对所有行驶情况都进行有效的设置,影响车辆行驶的安全性的问题。
本发明第一方面提供了一种远程驾驶方法,应用于用户终端,所述用户终端内集成有对车辆进行模拟驾驶的虚拟现实操控系统,包括:
与代驾车辆的车载控制系统、图像采集设备建立远程连接;
通过虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆行驶周围的信息对所述代驾车辆进行远程模拟驾驶;
获取用户模拟驾驶产生的驾驶数据;
将所述驾驶数据传输到所述代驾车辆的车载控制系统。
通过第一方面描述的方法,通过与代驾车辆的车载控制系统、图像采集设备建立远程连接,继而利用虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆行驶周围的信息对所述代驾车辆进行远程模拟驾驶,并将获取的用户模拟驾驶产生的驾驶数据传输到所述代驾车辆的车载控制系统,继而通过车载控制系统控制代驾车辆的行驶,实现车辆的远程驾驶,解决了由于车辆在行驶过程中可能会遇到众多复杂因素影响的驾驶状况,现有车辆远程驾驶方式无法对所有行驶情况都进行有效的设置,影响车辆行驶的安全性的问题。
结合本发明第一方面,本发明第一方面第一实施方式中,所述与代驾车辆的车载控制系统、图像采集设备建立远程连接的步骤,包括:
判断是否接收到所述代驾车辆发送的驾驶请求指令;
若接收到所述代驾车辆发送的所述驾驶请求指令,判断是否接收到用户确认驾驶的指令;
当接收到所述用户确认驾驶的指令时,判定与所述代驾车辆的车载控制系统、图像采集设备建立远程连接。
通过本发明第一方面第一实施方式描述的方法,根据接收到的代驾车辆发送的驾驶请求指令,当接收到用户确认驾驶指令时,实现与代驾车辆的车载控制系统、图像采集设备建立远程连接,保证了远程驾驶的安全性。
结合本发明第一方面,本发明第一方面第二实施方式中,还包括:
当接收到所述车载控制系统传输的所述代驾车辆发生行驶故障的信号时,发送使得所述代驾车辆进入自主保护模式行驶的指令。
通过本发明第一方面第二实施方式描述的方法,当远程驾驶车辆出现安全隐患时,通过发送车辆进入自主保护模式的指令,使得车载控制系统根据预先设定的自主保护模式控制代驾车辆行驶,进一步保证了远程驾驶的安全性。
相应地,本发明第二方面提供一种远程驾驶装置,所述远程驾驶装置包括用于执行上述第一方面或第一方面任意一种实现所描述的远程驾驶方法的模块或单元。
例如所述锁卡装置,应用于用户终端,所述用户终端内集成有对车辆进行模拟驾驶的虚拟现实操控系统,包括:
连接单元,用于与代驾车辆的车载控制系统、图像采集设备建立远程连接;
模拟驾驶单元,用于通过虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆周围的信息对所述代驾车辆进行远程模拟驾驶;
获取单元,用于获取用户模拟驾驶产生的驾驶数据;
传输单元,用于将所述驾驶数据传输到所述代驾车辆的车载控制系统。
通过第二方面描述的装置,通过与代驾车辆的车载控制系统、图像采集设备建立远程连接,继而利用虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆行驶周围的信息对所述代驾车辆进行远程模拟驾驶,并将获取的用户模拟驾驶产生的驾驶数据传输到所述代驾车辆的车载控制系统,继而通过车载控制系统控制代驾车辆的行驶,实现车辆的远程驾驶,解决了由于车辆在行驶过程中可能会遇到众多复杂因素影响的驾驶状况,现有车辆远程驾驶方式无法对所有行驶情况都进行有效的设置,影响车辆行驶的安全性的问题。
结合本发明第二方面,本发明第二方面第一实施方式中,所述连接单元包括:
第一判断单元,用于判断是否接收到所述代驾车辆发送的驾驶请求指令;
第二判断单元,用于若接收到所述代驾车辆发送的所述驾驶请求指令,判断是否接收到用户确认驾驶的指令;
判定单元,用于当接收到所述用户确认驾驶的指令时,判定与所述代驾车辆的车载控制系统、图像采集设备建立远程连接。
通过第二方面第一实施方式描述的装置,根据接收到的代驾车辆发送的驾驶请求指令,当接收到用户确认驾驶指令时,实现与代驾车辆的车载控制系统、图像采集设备建立远程连接,保证了远程驾驶的安全性。
结合本发明第二方面,本发明第二方面第二实施方式中,还包括:
发送单元,用于当接收到所述车载控制系统传输的所述代驾车辆发生行驶故障的信号时,发送使得所述代驾车辆进入自主保护模式行驶的指令。
通过第二方面第二实施方式描述的装置,当远程驾驶车辆出现安全隐患时,通过发送车辆进入自主保护模式的指令,使得车载控制系统根据预先设定的自主保护模式控制代驾车辆行驶,进一步保证了远程驾驶的安全性。
所述远程驾驶装置所包括的模块或单元不限于上述命名方式。
本发明第三方面提供了一种用户终端,包括:
头显设备,用于接收并显示代驾车辆行驶周围的信息;
虚拟现实操控系统,与所述头显设备通信连接,用于对所述代驾车辆进行远程模拟驾驶;
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述所述的远程驾驶方法。
结合本发明第三方面,本发明第三方面第一实施方式中,所述虚拟现实操控系统包括:车辆模拟操控装置,用于接收用户模拟驾驶的操作动作,并产生模拟驾驶的驾驶数据。
结合本发明第三方方面,本发明第三方面第二实施方式中,所述车辆模拟操控装置包括方向盘,操作手柄,刹车踏板、油门踏板。
通过与代驾车辆的车载控制系统、图像采集设备建立远程连接,继而利用虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆行驶周围的信息对所述代驾车辆进行远程模拟驾驶,并将获取的用户模拟驾驶产生的驾驶数据传输到所述代驾车辆的车载控制系统,继而通过车载控制系统控制代驾车辆的行驶,实现车辆的远程驾驶,解决了由于车辆在行驶过程中可能会遇到众多复杂因素影响的驾驶状况,现有车辆远程驾驶方式无法对所有行驶情况都进行有效的设置,影响车辆行驶的安全性的问题。
本发明第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述所述远程驾驶方法的步骤。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了本发明实施例中一种移动终端的实体装置的结构示意图;
图2示出了本发明实施例中一种远程驾驶方法的流程图;
图3示出了本发明实施例中一种远程驾驶装置的结构示意图;
图4示出了本发明实施例的一种用户终端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的远程驾驶方法可以应用于集成有可以对车辆进行模拟驾驶的虚拟现实操控系统的移动终端,例如手机或平板电脑等,本发明实施例提供的移动终端以手机为例,手机的部分结构的框图,如图1所示,手机包括:射频(RadioFrequency,RF)电路110、存储器120、输入单元130、显示单元140、传感器150、音频电路160、无线保真(wirelessfidelity,WiFi)模块170、处理器180、以及电源190等部件。本领域技术人员可以理解,图1中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
结合图1对手机的各个构成部件进行具体的介绍:
RF电路110可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器180处理;另外,将设计上行的数据发送给基站。通常,RF电路110包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier,LNA)、双工器等。此外,RF电路110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystemofMobilecommunication,GSM)、通用分组无线服务(GeneralPacketRadioService,GPRS)、码分多址(CodeDivisionMultipleAccess,CDMA)、宽带码分多址(WidebandCodeDivisionMultipleAccess,WCDMA)、LTE、电子邮件、短消息服务(ShortMessagingService,SMS)等。
存储器120可用于存储软件程序以及模块,处理器180通过运行存储在存储器120的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操控系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元130可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元130可包括触控面板131以及其他输入设备132。触控面板131,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。除了触控面板131,输入单元130还可以包括其他输入设备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元140可包括显示面板141,可选的,可以采用液晶显示器(LiquidCrystalDisplay,LCD)、有机发光二极管(OrganicLight-EmittingDiode,OLED)等形式来配置显示面板141。进一步的,触控面板131可覆盖显示面板141,当触控面板131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图1中,触控面板131与显示面板141是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板131与显示面板141集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板141的亮度,接近传感器可在手机移动到耳边时,关闭显示面板141和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路160、扬声器161,传声器162可提供用户与手机之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一手机,或者将音频数据输出至存储器120以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。
处理器180是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器180可包括一个或多个处理单元;优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操控系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。
手机还包括给各个部件供电的电源190(比如电池),优选的,电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
参阅图1所示的移动终端,本发明实施例提供一种远程驾驶方法,如图2所示,包括:
S21,与代驾车辆的车载控制系统、图像采集设备建立远程连接。代驾车辆的驾驶员可以通过手机中代驾app或车载通信系统中的代驾app发出驾驶请求指令,当有可以进行代驾的代驾人接收该代驾任务时,则控制代驾者的移动终端与代驾车辆的车载控制系统以及图像采集设备建立远程连接,其中代驾车辆的图像采集设备可实现车辆行驶过程中周围360度路况的实时采集与传输,可以是安装于代驾车辆上的全方位、全自动的摄像设备,为了保证图像传输的实时性,该摄像设备进行代驾车辆的实时传输的传输延时保证在毫秒级的范围,该范围为正常人为驾驶的正常人体反应时间。
S22,通过虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆行驶周围的信息对所述代驾车辆进行远程模拟驾驶。该虚拟现实操控系统,可通过其连接的头显设备(例如可穿戴的头盔、眼睛等VR设备)实时显示图像采集设备采集的代驾车辆行驶周围的信息,通过该头显设备可观察到车辆行驶方向的前后、左右的图像信息,虚拟现实操控系统可完全模拟驾驶位置的驾驶视角进行远程模拟驾驶,该集成在手机中的虚拟现实操控系统可以包括可远程控制车辆进行转弯、启动、换挡等所有真实驾驶操作所需的界面,在该操作界面根据头显设备显示的代驾车辆的行驶信息进行远程驾驶。
S23,获取用户模拟驾驶产生的驾驶数据。在利用该虚拟现实操控系统进行远程驾驶的过程中,产生远程驾驶的驾驶数据。
S24,将所述驾驶数据传输到所述代驾车辆的车载控制系统。代驾车辆的车载控制系统与车辆中央控制单元连接,根据该驾驶数据,通过车辆中央控制单元与控制车辆行驶的各个电气执行元件执行相应动作,实现对代驾车辆的远程驾驶控制。
本发明实施例提供的远程驾驶方法,通过与代驾车辆的车载控制系统、图像采集设备建立远程连接,继而利用虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆行驶周围的信息对所述代驾车辆进行远程模拟驾驶,并将获取的用户模拟驾驶产生的驾驶数据传输到所述代驾车辆的车载控制系统,继而通过车载控制系统控制代驾车辆的行驶,实现车辆的远程驾驶,解决了由于车辆在行驶过程中可能会遇到众多复杂因素影响的驾驶状况,现有车辆远程驾驶方式无法对所有行驶情况都进行有效的设置,影响车辆行驶的安全性的问题。
可选地,步骤S21,包括:
S211,判断是否接收到所述代驾车辆发送的驾驶请求指令,若接收到所述代驾车辆发送的所述驾驶请求指令,执行步骤S212。其中代驾车辆发送的驾驶请求指令可以通过代驾应用程序发出,通过中间服务器将该代驾指令发送到服务器另一端的可提供代驾服务的驾驶员。
S212,判断是否接收到用户确认驾驶的指令,当接收到所述用户确认驾驶的指令时,执行步骤S213。
S213,判定与所述代驾车辆的车载控制系统、图像采集设备建立远程连接。用户输入确认驾驶指令可以包括输入该用户的驾驶证信息,与服务器中预先已注册的用户进行匹配,匹配成功后,根据用户输入的确认驾驶的指令,将该用户与代驾车辆的车载控制系统、图像采集设备建立远程连接。
本发明实施例提供的远程驾驶方法,根据接收到的代驾车辆发送的驾驶请求指令,当接收到用户确认驾驶指令时,实现与代驾车辆的车载控制系统、图像采集设备建立远程连接,保证了远程驾驶的安全性。
可选地,该远程驾驶方法还包括:当接收到所述车载控制系统传输的所述代驾车辆发生行驶故障的信号时,发送使得所述代驾车辆进入自主保护模式行驶的指令。例如当代驾车辆在远程驾驶过程中通过与车载控制系统连接的中央控制单元得出车辆电量或油量不足,此时手机会发出使得车载控制系统根据预先设定的自主保护模式控制代驾车辆进入自主保护模式行驶的指令,或者当手机与代驾车辆通讯连接失效,车载控制系统自动进入自主保护模式,并利用语音提醒等通知乘车人员车辆发生的故障并通过减速、闪烁故障灯后,靠边停车,通知可将代驾车辆的故障信息传输给代驾服务救援系统,以便及时提供有效的救援,保证乘车人员的安全。
当远程驾驶车辆出现安全隐患时,通过发送车辆进入自主保护模式的指令,使得车载控制系统根据预先设定的自主保护模式控制代驾车辆行驶,进一步保证了远程驾驶的安全性。
上述实施例介绍了本发明远程驾驶方法,下面通过实施例对终端进行说明。
请参阅图3,本发明实施例提供一种远程驾驶装置,应用于用户终端,所述用户终端内集成有对车辆进行模拟驾驶的虚拟现实操控系统,包括:
连接单元31,用于与代驾车辆的车载控制系统、图像采集设备建立远程连接;
模拟驾驶单元32,用于通过虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆周围的信息对所述代驾车辆进行远程模拟驾驶;
获取单元33,用于获取用户模拟驾驶产生的驾驶数据;
传输单元34,用于将所述驾驶数据传输到所述代驾车辆的车载控制系统。
本发明实施例提供的远程驾驶装置,通过与代驾车辆的车载控制系统、图像采集设备建立远程连接,继而利用虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆行驶周围的信息对所述代驾车辆进行远程模拟驾驶,并将获取的用户模拟驾驶产生的驾驶数据传输到所述代驾车辆的车载控制系统,继而通过车载控制系统控制代驾车辆的行驶,实现车辆的远程驾驶,解决了由于车辆在行驶过程中可能会遇到众多复杂因素影响的驾驶状况,现有车辆远程驾驶方式无法对所有行驶情况都进行有效的设置,影响车辆行驶的安全性的问题。
可选地,所述连接单元包括:
第一判断单元,用于判断是否接收到所述代驾车辆发送的驾驶请求指令;
第二判断单元,用于若接收到所述代驾车辆发送的所述驾驶请求指令,判断是否接收到用户确认驾驶的指令;
判定单元,用于当接收到所述用户确认驾驶的指令时,判定与所述代驾车辆的车载控制系统、图像采集设备建立远程连接。
本发明实施例提供的远程驾驶装置,根据接收到的代驾车辆发送的驾驶请求指令,当接收到用户确认驾驶指令时,实现与代驾车辆的车载控制系统、图像采集设备建立远程连接,保证了远程驾驶的安全性。
可选地,该远程驾驶装置还包括:发送单元,用于当接收到所述车载控制系统传输的所述代驾车辆发生行驶故障的信号时,发送使得所述代驾车辆进入自主保护模式行驶的指令。
当远程驾驶车辆出现安全隐患时,通过发送车辆进入自主保护模式的指令,使得车载控制系统根据预先设定的自主保护模式控制代驾车辆行驶,进一步保证了远程驾驶的安全性。
相应地,本发明实施例中还提供一种用户终端,包括:
头显设备43,用于接收并显示代驾车辆行驶周围的信息。
虚拟现实操控系统44,与所述头显设备通信连接,用于对所述代驾车辆进行远程模拟驾驶。
至少一个处理器41以及与所述至少一个处理器通信连接的存储器,图4中以一个处理器为例,处理器41,存储器42、头显设备43以及虚拟现实操控系统44通过总线40连接,存储器42存储有可被至少一个处理器41执行的指令,所述指令被所述至少一个处理器41执行,以使所述至少一个处理器执行如图2所示的远程驾驶方法。
可选地,所述虚拟现实操控系统包括:车辆模拟操控装置,用于接收用户模拟驾驶的操作动作,并产生模拟驾驶的驾驶数据。
可选地,所述车辆模拟操控装置可以包括实体方向盘,操作手柄,刹车踏板、油门踏板等实体结构,通过传感器与虚拟现实操控系统连接,也可以在虚拟现实操控系统的界面上集成用于转向、刹车、换挡等功能的可触摸的操作界面或操作按钮,实现对代驾车辆进行模拟驾驶并产生驾驶数据。
上述实施例提供的用户终端,通过与代驾车辆的车载控制系统、图像采集设备建立远程连接,继而利用虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆行驶周围的信息对所述代驾车辆进行远程模拟驾驶,并将获取的用户模拟驾驶产生的驾驶数据传输到所述代驾车辆的车载控制系统,继而通过车载控制系统控制代驾车辆的行驶,实现车辆的远程驾驶,解决了由于车辆在行驶过程中可能会遇到众多复杂因素影响的驾驶状况,现有车辆远程驾驶方式无法对所有行驶情况都进行有效的设置,影响车辆行驶的安全性的问题。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种远程驾驶方法,应用于用户终端,所述用户终端内集成有对车辆进行模拟驾驶的虚拟现实操控系统,其特征在于,包括:
与代驾车辆的车载控制系统、图像采集设备建立远程连接;
通过虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆行驶周围的信息对所述代驾车辆进行远程模拟驾驶;
获取用户模拟驾驶产生的驾驶数据;
将所述驾驶数据传输到所述代驾车辆的车载控制系统。
2.根据权利要求1所述的方法,其特征在于,所述与代驾车辆的车载控制系统、图像采集设备建立远程连接的步骤,包括:
判断是否接收到所述代驾车辆发送的驾驶请求指令;
若接收到所述代驾车辆发送的所述驾驶请求指令,判断是否接收到用户确认驾驶的指令;
当接收到所述用户确认驾驶的指令时,判定与所述代驾车辆的车载控制系统、图像采集设备建立远程连接。
3.根据权利要求1所述的方法,其特征在于,还包括:
当接收到所述车载控制系统传输的所述代驾车辆发生行驶故障的信号时,发送使得所述代驾车辆进入自主保护模式行驶的指令。
4.一种远程驾驶装置,应用于用户终端,所述用户终端内集成有对车辆进行模拟驾驶的虚拟现实操控系统,其特征在于,包括:
连接单元,用于与代驾车辆的车载控制系统、图像采集设备建立远程连接;
模拟驾驶单元,用于通过虚拟现实操控系统根据所述图像采集设备采集的所述代驾车辆周围的信息对所述代驾车辆进行远程模拟驾驶;
获取单元,用于获取用户模拟驾驶产生的驾驶数据;
传输单元,用于将所述驾驶数据传输到所述代驾车辆的车载控制系统。
5.根据权利要求4所述的装置,其特征在于,所述连接单元包括:
第一判断单元,用于判断是否接收到所述代驾车辆发送的驾驶请求指令;
第二判断单元,用于若接收到所述代驾车辆发送的所述驾驶请求指令,判断是否接收到用户确认驾驶的指令;
判定单元,用于当接收到所述用户确认驾驶的指令时,判定与所述代驾车辆的车载控制系统、图像采集设备建立远程连接。
6.根据权利要求4所述的装置,其特征在于,还包括:
发送单元,用于当接收到所述车载控制系统传输的所述代驾车辆发生行驶故障的信号时,发送使得所述代驾车辆进入自主保护模式行驶的指令。
7.一种用户终端,用于远程驾驶,其特征在于,包括:
头显设备,用于接收并显示代驾车辆行驶周围的信息;
虚拟现实操控系统,与所述头显设备通信连接,用于对所述代驾车辆进行远程模拟驾驶;
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-3中任一项所述的远程驾驶方法。
8.根据权利要求7所述的用户终端,其特征在于,所述虚拟现实操控系统包括:车辆模拟操控装置,用于接收用户模拟驾驶的操作动作,并产生模拟驾驶的驾驶数据。
9.根据权利要求8所述的用户终端,其特征在于,所述车辆模拟操控装置包括方向盘,操作手柄,刹车踏板、油门踏板。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-3任一项所述远程驾驶方法的步骤。
CN201710526194.2A 2017-06-30 2017-06-30 远程驾驶方法、装置、用户终端及计算机可读存储介质 Pending CN107300921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710526194.2A CN107300921A (zh) 2017-06-30 2017-06-30 远程驾驶方法、装置、用户终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710526194.2A CN107300921A (zh) 2017-06-30 2017-06-30 远程驾驶方法、装置、用户终端及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN107300921A true CN107300921A (zh) 2017-10-27

Family

ID=60135144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710526194.2A Pending CN107300921A (zh) 2017-06-30 2017-06-30 远程驾驶方法、装置、用户终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107300921A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762279A (zh) * 2018-06-20 2018-11-06 北京智行者科技有限公司 一种平行驾驶系统
CN108944917A (zh) * 2018-07-24 2018-12-07 上海擎感智能科技有限公司 车辆、车机设备、远程控制泊车方法和系统
CN108944916A (zh) * 2018-07-24 2018-12-07 上海擎感智能科技有限公司 车辆、车机设备、远程控制泊车方法和系统
CN109017757A (zh) * 2018-08-22 2018-12-18 吉林大学 汽车远程代驾方法及系统
CN109067925A (zh) * 2018-10-09 2018-12-21 北京智行者科技有限公司 一种远程遥控的泊车方法和系统
CN109104502A (zh) * 2018-10-09 2018-12-28 北京智行者科技有限公司 一种远程遥控的泊车方法和系统
CN109739224A (zh) * 2018-12-17 2019-05-10 北京百度网讯科技有限公司 远程驾驶方法、装置、设备及计算机可读存储介质
CN110083161A (zh) * 2019-05-16 2019-08-02 广州文远知行科技有限公司 无人驾驶汽车的远程接管方法、装置、设备和存储介质
CN110262469A (zh) * 2019-07-23 2019-09-20 江苏常发农业装备股份有限公司 一种应用于农机车辆的自动行驶控制系统和方法
CN110377000A (zh) * 2018-04-13 2019-10-25 北京智行者科技有限公司 一种自动驾驶车辆远程调配控制系统及方法
CN110460651A (zh) * 2019-07-26 2019-11-15 阿尔法巴人工智能(深圳)有限公司 一种5g远程驾驶集成控制系统及方法
CN110544063A (zh) * 2019-08-20 2019-12-06 合肥维天运通信息科技股份有限公司 一种基于ar的物流平台驾驶员现场支援系统及其方法
CN110712647A (zh) * 2019-09-23 2020-01-21 上海理工大学 一种远程车辆控制系统
CN111009147A (zh) * 2019-11-25 2020-04-14 奇瑞汽车股份有限公司 一种车辆远程委托代驾系统及其运用方法
CN111045425A (zh) * 2019-12-05 2020-04-21 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
CN111103874A (zh) * 2018-10-26 2020-05-05 百度在线网络技术(北京)有限公司 用于控制车辆的自动驾驶的方法、装置、设备和介质
CN111209645A (zh) * 2018-11-06 2020-05-29 百度在线网络技术(北京)有限公司 眩晕体感建模数据采集装置和方法、终端和存储介质
CN111338373A (zh) * 2018-12-18 2020-06-26 上海擎感智能科技有限公司 车载无人机操控方法、车机及车辆
CN111572476A (zh) * 2020-06-15 2020-08-25 三一智矿科技有限公司 车辆控制系统和车辆控制方法
CN112109631A (zh) * 2020-09-17 2020-12-22 广州小鹏汽车科技有限公司 一种车辆交互的方法和装置
CN112346374A (zh) * 2020-09-25 2021-02-09 南京金龙客车制造有限公司 L4级无人驾驶车辆的无线遥控驾驶系统及其方法
CN113377093A (zh) * 2019-01-15 2021-09-10 北京百度网讯科技有限公司 自动驾驶汽车的远程控制方法和装置
CN113448322A (zh) * 2020-03-26 2021-09-28 宝马股份公司 用于车辆的远程操作方法和系统以及存储介质和电子设备
CN113805495A (zh) * 2021-09-24 2021-12-17 北京五一视界数字孪生科技股份有限公司 远程自动驾驶仿真控制方法、装置、系统及电子设备
CN114454896A (zh) * 2020-11-10 2022-05-10 丰田自动车株式会社 控制装置、控制系统、车辆以及控制方法
CN115314475A (zh) * 2022-06-28 2022-11-08 中国第一汽车股份有限公司 远程协助系统、车辆及远程协助方法
WO2024041198A1 (zh) * 2022-08-26 2024-02-29 惠州市德赛西威汽车电子股份有限公司 智能驾驶方法、装置、域控制器、介质、系统及车辆
CN113377093B (zh) * 2019-01-15 2024-04-30 北京百度网讯科技有限公司 自动驾驶汽车的远程控制方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102455699A (zh) * 2010-10-26 2012-05-16 株式会社电装 非操纵操作系统和用于准备车辆的非操纵操作的方法
CN105480259A (zh) * 2015-11-24 2016-04-13 北京交控科技有限公司 一种全自动驾驶列车的驾驶方法和系统
CN106233353A (zh) * 2014-05-29 2016-12-14 英派尔科技开发有限公司 远程驾驶辅助
CN106394545A (zh) * 2016-10-09 2017-02-15 北京汽车集团有限公司 驾驶系统、无人驾驶车辆及车辆远程控制端
DE102015215807A1 (de) * 2015-08-19 2017-02-23 Zf Friedrichshafen Ag Entfernte Fahrerunterstützung
CN106775514A (zh) * 2016-11-14 2017-05-31 乐视控股(北京)有限公司 一种行车状况的查看方法和装置及电子设备
CN106817409A (zh) * 2016-12-28 2017-06-09 珠海市魅族科技有限公司 通信连接的控制方法、系统、服务器及车载终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102455699A (zh) * 2010-10-26 2012-05-16 株式会社电装 非操纵操作系统和用于准备车辆的非操纵操作的方法
CN106233353A (zh) * 2014-05-29 2016-12-14 英派尔科技开发有限公司 远程驾驶辅助
DE102015215807A1 (de) * 2015-08-19 2017-02-23 Zf Friedrichshafen Ag Entfernte Fahrerunterstützung
CN105480259A (zh) * 2015-11-24 2016-04-13 北京交控科技有限公司 一种全自动驾驶列车的驾驶方法和系统
CN106394545A (zh) * 2016-10-09 2017-02-15 北京汽车集团有限公司 驾驶系统、无人驾驶车辆及车辆远程控制端
CN106775514A (zh) * 2016-11-14 2017-05-31 乐视控股(北京)有限公司 一种行车状况的查看方法和装置及电子设备
CN106817409A (zh) * 2016-12-28 2017-06-09 珠海市魅族科技有限公司 通信连接的控制方法、系统、服务器及车载终端

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377000A (zh) * 2018-04-13 2019-10-25 北京智行者科技有限公司 一种自动驾驶车辆远程调配控制系统及方法
CN108762279A (zh) * 2018-06-20 2018-11-06 北京智行者科技有限公司 一种平行驾驶系统
CN108944917A (zh) * 2018-07-24 2018-12-07 上海擎感智能科技有限公司 车辆、车机设备、远程控制泊车方法和系统
CN108944916A (zh) * 2018-07-24 2018-12-07 上海擎感智能科技有限公司 车辆、车机设备、远程控制泊车方法和系统
CN109017757A (zh) * 2018-08-22 2018-12-18 吉林大学 汽车远程代驾方法及系统
CN109067925A (zh) * 2018-10-09 2018-12-21 北京智行者科技有限公司 一种远程遥控的泊车方法和系统
CN109104502A (zh) * 2018-10-09 2018-12-28 北京智行者科技有限公司 一种远程遥控的泊车方法和系统
CN111103874A (zh) * 2018-10-26 2020-05-05 百度在线网络技术(北京)有限公司 用于控制车辆的自动驾驶的方法、装置、设备和介质
CN111209645B (zh) * 2018-11-06 2024-03-29 百度在线网络技术(北京)有限公司 眩晕体感建模数据采集装置和方法、终端和存储介质
CN111209645A (zh) * 2018-11-06 2020-05-29 百度在线网络技术(北京)有限公司 眩晕体感建模数据采集装置和方法、终端和存储介质
CN109739224A (zh) * 2018-12-17 2019-05-10 北京百度网讯科技有限公司 远程驾驶方法、装置、设备及计算机可读存储介质
CN111338373A (zh) * 2018-12-18 2020-06-26 上海擎感智能科技有限公司 车载无人机操控方法、车机及车辆
CN113377093B (zh) * 2019-01-15 2024-04-30 北京百度网讯科技有限公司 自动驾驶汽车的远程控制方法和装置
US11853056B2 (en) 2019-01-15 2023-12-26 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Remote control method and remote control apparatus for autonomous vehicle
CN113377093A (zh) * 2019-01-15 2021-09-10 北京百度网讯科技有限公司 自动驾驶汽车的远程控制方法和装置
CN110083161A (zh) * 2019-05-16 2019-08-02 广州文远知行科技有限公司 无人驾驶汽车的远程接管方法、装置、设备和存储介质
CN110083161B (zh) * 2019-05-16 2022-07-05 广州文远知行科技有限公司 无人驾驶汽车的远程接管方法、装置、设备和存储介质
CN110262469A (zh) * 2019-07-23 2019-09-20 江苏常发农业装备股份有限公司 一种应用于农机车辆的自动行驶控制系统和方法
CN110262469B (zh) * 2019-07-23 2023-09-15 江苏常发农业装备股份有限公司 一种应用于农机车辆的自动行驶控制系统和方法
CN110460651A (zh) * 2019-07-26 2019-11-15 阿尔法巴人工智能(深圳)有限公司 一种5g远程驾驶集成控制系统及方法
CN110544063B (zh) * 2019-08-20 2022-04-29 合肥维天运通信息科技股份有限公司 一种基于ar的物流平台驾驶员现场支援系统及其方法
CN110544063A (zh) * 2019-08-20 2019-12-06 合肥维天运通信息科技股份有限公司 一种基于ar的物流平台驾驶员现场支援系统及其方法
CN110712647A (zh) * 2019-09-23 2020-01-21 上海理工大学 一种远程车辆控制系统
CN111009147A (zh) * 2019-11-25 2020-04-14 奇瑞汽车股份有限公司 一种车辆远程委托代驾系统及其运用方法
CN111045425B (zh) * 2019-12-05 2023-04-28 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
CN111045425A (zh) * 2019-12-05 2020-04-21 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
CN113448322A (zh) * 2020-03-26 2021-09-28 宝马股份公司 用于车辆的远程操作方法和系统以及存储介质和电子设备
CN111572476A (zh) * 2020-06-15 2020-08-25 三一智矿科技有限公司 车辆控制系统和车辆控制方法
CN112109631A (zh) * 2020-09-17 2020-12-22 广州小鹏汽车科技有限公司 一种车辆交互的方法和装置
CN112346374A (zh) * 2020-09-25 2021-02-09 南京金龙客车制造有限公司 L4级无人驾驶车辆的无线遥控驾驶系统及其方法
CN114454896A (zh) * 2020-11-10 2022-05-10 丰田自动车株式会社 控制装置、控制系统、车辆以及控制方法
CN113805495A (zh) * 2021-09-24 2021-12-17 北京五一视界数字孪生科技股份有限公司 远程自动驾驶仿真控制方法、装置、系统及电子设备
CN115314475A (zh) * 2022-06-28 2022-11-08 中国第一汽车股份有限公司 远程协助系统、车辆及远程协助方法
WO2024041198A1 (zh) * 2022-08-26 2024-02-29 惠州市德赛西威汽车电子股份有限公司 智能驾驶方法、装置、域控制器、介质、系统及车辆

Similar Documents

Publication Publication Date Title
CN107300921A (zh) 远程驾驶方法、装置、用户终端及计算机可读存储介质
CN108288312A (zh) 驾驶行为确定方法及装置
CN110126783B (zh) 车辆控制方法及装置
CN106935071A (zh) 一种辅助停车方法、及移动终端
CN108665678A (zh) 一种请求救援的方法和装置
CN107826109B (zh) 车道保持方法和装置
CN105403415B (zh) 一种车辆诊断系统的数据处理方法、装置和系统
CN108364498A (zh) 一种停车提示方法、服务器及终端
CN107705550A (zh) 交通安全预警方法、移动终端及计算机可读存储介质
CN107846518A (zh) 一种导航状态切换方法、移动终端及计算机可读存储介质
CN109064746A (zh) 一种信息处理方法、终端和计算机可读存储介质
CN109040968A (zh) 路况提醒方法、移动终端及计算机可读存储介质
CN109104689B (zh) 一种安全警示方法及终端
CN108170358A (zh) 手机与平视显示器交互方法
CN114661026A (zh) 基于增强现实的交互式车辆远程诊断方法、系统及其存储介质
CN111477334A (zh) 目标区域的提醒方法及电子设备
CN109005297A (zh) 一种导航应用的显示方法和移动终端
CN108322598A (zh) 一种信息提示方法及移动终端
CN112330844A (zh) 一种增强型行车记录的方法及其系统
CN109711477A (zh) 一种自动驾驶模型的训练方法及装置
US20230022123A1 (en) Autonomous driving method and apparatus
CN110570625A (zh) 智能穿戴设备的安全提醒方法、智能穿戴设备及存储介质
CN107835300A (zh) 一种终端控制方法、终端及计算机可读存储介质
CN107092698A (zh) 一种乘车信息处理方法以及装置
CN107707756A (zh) 模式切换方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171027

RJ01 Rejection of invention patent application after publication