CN116614538A - 一种无人车控制系统和方法、数据传输方法 - Google Patents
一种无人车控制系统和方法、数据传输方法 Download PDFInfo
- Publication number
- CN116614538A CN116614538A CN202310579910.9A CN202310579910A CN116614538A CN 116614538 A CN116614538 A CN 116614538A CN 202310579910 A CN202310579910 A CN 202310579910A CN 116614538 A CN116614538 A CN 116614538A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- vehicle end
- remote
- remote driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004891 communication Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000007613 environmental effect Effects 0.000 claims description 57
- 230000008447 perception Effects 0.000 claims description 25
- 230000002452 interceptive effect Effects 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 20
- 230000009471 action Effects 0.000 claims description 19
- 230000004888 barrier function Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 239000013307 optical fiber Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- HEZMWWAKWCSUCB-PHDIDXHHSA-N (3R,4R)-3,4-dihydroxycyclohexa-1,5-diene-1-carboxylic acid Chemical compound O[C@@H]1C=CC(C(O)=O)=C[C@H]1O HEZMWWAKWCSUCB-PHDIDXHHSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000007616 round robin method Methods 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2854—Wide area networks, e.g. public data networks
- H04L12/2856—Access arrangements, e.g. Internet access
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/101—Server selection for load balancing based on network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种无人车控制系统和方法、数据传输方法,无人车控制系统包括车端和远程驾驶端;车端包括网关通讯装置,网关通讯装置包括:网络接入模块,网络接入模块包括多个物联网卡,多个物联网卡用于分别接入多个不同的运营商网络;网络信号检测模块,用于检测车端当前所在区域的多个不同的运营商网络的信号强度;数据分配模块,用于基于多个不同的运营商网络的信号强度,将目标数据在多个不同的运营商网络之间进行分配;数据传输模块,用于将分配后的目标数据分别通过多个不同的运营商网络在车端和远程驾驶端之间进行传输。本申请提供的无人车控制系统中的车端和远程驾驶端之间的数据传输的时延较小,有利于提高对车端远程驾驶控制的安全性。
Description
技术领域
本申请涉及车辆控制技术领域,特别涉及一种无人车控制系统和方法、数据传输方法。
背景技术
随着自动驾驶技术的不断突破,无人车逐渐出现在大众视野中。在无人车的自动驾驶过程中可能会发生各种无人车自身无法处理的突发状况,而导致无人车无法正常行驶,影响周围交通。因此,在发生突发情况时,仍需要人为通过远程驾驶端来对无人车进行远程驾驶,以对突发情况进行及时处理。然而,通过远程驾驶端控制无人车时,如果远程驾驶端和无人车端之间的数据传输时延较大,则无法保证数据的真实性和实时性,从而会对远程驾驶的安全性和稳定性造成影响。
因此,如何在对无人车进行远程驾驶时降低无人车端与远程驾驶端之间的数据传输时延是目前亟需解决的问题。
发明内容
本申请实施例之一提供一种无人车控制系统,包括车端和远程驾驶端;所述车端包括网关通讯装置,所述网关通讯装置包括:网络接入模块,所述网络接入模块包括多个物联网卡,所述多个物联网卡用于分别接入多个不同的运营商网络;网络信号检测模块,用于检测所述车端当前所在区域的所述多个不同的运营商网络的信号强度;数据分配模块,用于基于所述多个不同的运营商网络的信号强度,将目标数据在所述多个不同的运营商网络之间进行分配;数据传输模块,用于将分配后的目标数据分别通过所述多个不同的运营商网络在所述车端和所述远程驾驶端之间进行传输;其中,所述目标数据为需要在所述车端和所述远程驾驶端之间传输的数据,所述目标数据至少包括从所述车端发送至所述远程驾驶端的所述车端的环境数据、状态数据以及从所述远程驾驶端发送至所述车端的控制指令数据。
在一些实施例中,所述车端还包括:第一感知组件,用于获取所述车端的第一环境数据,所述第一环境数据包括所述车端周围的障碍物信息;感知控制器,与所述第一感知组件连接,用于接收来自所述第一感知组件的所述第一环境数据;第二感知组件,用于获取所述车端的第二环境数据,所述第二环境数据包括所述车端周围环境的图像;底盘控制系统,用于获取所述车端的状态数据,所述状态数据包括所述车端的车速、扭矩、方向盘转角、胎压、马达转速和充电状态中的至少一种;TBOX控制器,所述TBOX控制器与所述感知控制器、所述第二感知组件以及所述底盘控制系统连接,以用于分别接收来自所述感知控制器的所述第一环境数据、来自所述第二感知组件的所述第二环境数据以及连来自所述底盘控制系统的所述状态数据。
在一些实施例中,所述第一感知组件包括至少四个超声波雷达、至少两个多线激光雷达和至少两个单线激光雷达;其中,所述至少四个超声波雷达分别安装在所述车端的车身的四周,所述至少两个多线激光雷达分别安装在所述车端的车头两侧,所述至少两个单线激光雷达分别安装在所述车端的车身的正前方和正后方。
在一些实施例中,所述第二感知组件包括至少四个摄像头,所述至少四个摄像头分别安装在所述车端的车身的正前方、正后方、正左方和正右方。
在一些实施例中,所述底盘控制系统包括多个执行系统,所述多个执行系统能够获取所述车端的状态数据。
在一些实施例中,所述车端还包括GPS导航装置,所述GPS导航装置用于获取所述车端的第三环境数据,所述第三环境数据包括所述车端的位置信息;所述TBOX控制器还与所述GPS导航装置连接,所述TBOX控制器还用于接收来自所述GPS导航装置的所述第三环境数据。
在一些实施例中,所述TBOX控制器与所述网关通讯装置连接,使得所述TBOX控制器能够向所述远程驾驶端发送所述车端的环境数据和状态数据,以及接收来自所述远程驾驶端的控制指令数据。
在一些实施例中,所述远程驾驶端包括:远程驾驶终端,用于接收来自所述TBOX控制器的所述车端的环境数据和状态数据;远程操控机构,所述远程操控机构与所述远程驾驶终端连接,所述远程驾驶端基于所述车端的环境数据和状态数据操控所述远程操控机构生成所述控制指令数据并发送至所述远程驾驶终端,所述远程驾驶终端将所述控制指令数据发送至所述TBOX控制器;所述控制指令数据至少用于控制所述车端执行驾驶动作,所述驾驶动作至少包括换挡、减速、刹车、加速、转向或急停。
在一些实施例中,所述TBOX控制器将所述控制指令数据发送至所述底盘控制系统,所述底盘控制系统基于所述控制指令数据执行所述驾驶动作。
在一些实施例中,所述远程驾驶端还包括交互界面,所述交互界面与所述远程驾驶终端连接,远程驾驶终端能够将所述车端的环境数据和状态数据发送至交互界面进行显示。
在一些实施例中,所述远程驾驶端还包括远程扬声器和远程麦克风,所述远程扬声器和所述远程麦克风与所述远程驾驶终端连接;所述车端还包括车端麦克风和车端扬声器,所述车端麦克风和所述车端扬声器与所述TBOX控制器连接;其中,所述远程麦克风用于获取所述远程驾驶端的音频数据,并依次通过所述远程驾驶终端、所述TBOX控制器发送至所述车端扬声器进行播放;所述车端麦克风用于获取所述车端的音频数据,并依次通过所述TBOX控制器、所述远程驾驶终端发送至所述远程扬声器进行播放。
本申请实施例之一提供一种数据传输方法,应用于上述任一实施例所述的无人车控制系统中的车端和远程驾驶端之间的目标数据传输,其特征在于,包括:使所述车端接入多个不同的运营商网络;检测所述车端当前所在区域的所述多个不同的运营商网络的信号强度;基于所述多个不同的运营商网络的信号强度,将目标数据在所述多个不同的运营商网络之间进行分配;将分配后的目标数据分别通过所述多个不同的运营商网络在所述车端和所述远程驾驶端之间进行传输。
在一些实施例中,当所述目标数据为图像数据时,在传输所述目标数据之前,所述方法还包括:基于所述多个不同的运营商网络总的信号强度设置视频编码参数;基于所述视频编码参数对所述图像数据进行视频编码。
本申请实施例之一提供一种无人车控制方法,应用于上述实施例所述的无人车控制系统,包括:确定所述车端是否需要进入远程驾驶模式;若需要,所述车端向所述远程驾驶端发送请求所述远程驾驶端介入的指令;所述车端向所述远程驾驶端发送所述车端的环境数据和状态数据;所述远程驾驶端基于所述车端的环境数据和状态数据生成控制指令数据,并发送至所述车端;所述车端基于所述控制指令数据执行控制动作。
在一些实施例中,无人车控制方法还包括:当所述远程驾驶端检测到所述控制指令数据在第一时间内未发生变化时,所述车端退出远程驾驶模式。
在一些实施例中,无人车控制方法还包括:当所述远程驾驶端检测到所述车端和所述远程驾驶端之间的目标数据传输延迟超过延迟阈值时,所述车端退出远程驾驶模式。
本申请实施例提供的无人车控制系统以及数据传输方法,能够根据多个运营商网络的信号强度将车端和远程驾驶端之间待传输的目标数据在多个运营商网络之间进行分配,使得分配后的目标数据能够分别通过多个运营商网络在远程驾驶端和车端之间进行传输,这样可以有效降低车端和远程驾驶端之间的数据传输的时延,保证数据传输的真实性和实时性,从而提高远程驾驶端对车端远程驾驶控制的安全性;本申请实施例提供的无人车控制方法可提供了车端在远程驾驶模式下的各种应急处理措施,从而可以提高车端在远程驾驶模式下的安全性。
附图说明
以下附图详细描述了本申请中披露的示例性实施例。其中相同的附图标记在附图的若干视图中表示类似的结构。本领域的一般技术人员将理解这些实施例是非限制性的、示例性的实施例,附图仅用于说明和描述的目的,并不旨在限制本申请的范围,其他方式的实施例也可能同样的完成本申请中的发明意图。应当理解,附图未按比例绘制。其中:
图1是根据本申请一些实施例所示的无人车控制器系统的架构图;
图2是根据本申请一些实施例所示的网关通讯装置的结构框图;
图3是根据本申请一些实施例所示的第二感知组件与TBOX控制器的硬件连接示意图;
图4是根据本申请一些实施例所示的TBOX控制器处理第二环境数据的流程图;
图5是根据本申请一些实施例所示的交互界面的布局图;
图6是根据本申请一些实施例所示的数据传输方法的流程图;
图7是根据本申请一些实施例所示的无人车控制方法的流程图。
具体实施方式
以下描述提供了本申请的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本申请中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本申请不限于所示的实施例,而是与权利要求一致的最宽范围。
随着科技的发展,出现了能够满足不同需求的无人车(又称为自动驾驶车辆或无人车驾驶车辆),例如,无人出租车、无人快递车、无人售卖车、无人智能车。无人车可以实现无人驾驶的目的,进而可以减少人力成本。然而,无人车还不足以完全无人化,当无人车在自动驾驶过程中遇到一些突发情况时,无人车自身可能无法处理,而导致无人车无法正常行驶。例如,无人车在极端路况无法做出决策时,可能会导致无人车停止行驶,而影响周围交通。
针对无人车遇到自身无法处理的突发情况,则需要人为通过远程驾驶端对无人车进行远程驾驶控制。要想实现远程驾驶控制,远程驾驶端和无人车端之间的数据传输是关键。例如,无人车端需要无人车的状态数据(例如,无人车的方向盘转角、车速、胎压等)和环境数据(例如,无人车周围环境的障碍物信息、周围环境的图像等)发送给远程驾驶端,远程驾驶端需要根据无人车端周围环境的图像数据生成控制指令数据(例如,用于控制无人车进行换挡、刹车、加速、减速、急停等的指令)并发送给无人车端,以实现远程控制无人车行驶。然而,在对无人车进行远程驾驶控制时,受一些因素(例如,网络)的限制,远程驾驶端和无人车端之间的数据传输稳定性较差并且具有较大的时延,这会影响数据的真实性和实时性,这样不仅会导致远程驾驶端对无人车端发出的控制具有较大的时延,影响远程驾驶的安全性,同时导致远程驾驶端在接收到无人车端发来的数据时无法及时感受到无人车端的真实状况,进而可能导致远程驾驶端对无人车端发出错误的控制,同样会影响远程驾驶的安全性。
本申请实施例提供了一种无人车控制系统,该无人车控制系统包括车端和远程驾驶端;车端包括网关通讯装置,网关通讯装置包括:网络接入模块,网络接入模块包括多个物联网卡,多个物联网卡用于分别接入多个不同的运营商网络;网络信号检测模块,用于检测车端当前所在区域的多个不同的运营商网络的信号强度;数据分配模块,用于基于多个不同的运营商网络的信号强度,将目标数据在多个不同的运营商网络之间进行分配;数据传输模块,用于将分配后的目标数据分别通过多个不同的运营商网络在车端和远程驾驶端之间进行传输;其中,目标数据为需要在车端和远程驾驶端之间传输的数据,目标数据包括车端发送至远程驾驶端的车端的环境数据、状态数据以及远程驾驶端发送至车端的控制指令数据中的至少一种。本申请实施例提供的无人车控制系统能够根据多个运营商网络的信号强度将车端和远程驾驶端之间待传输的目标数据在多个运营商网络之间进行分配,使得分配后的目标数据能够分别通过多个运营商网络在远程驾驶端和车端之间进行传输,这样可以有效降低车端和远程驾驶端之间的数据传输的时延,保证数据传输的真实性和实时性,从而提高远程驾驶端对车端远程驾驶控制的安全性。需要说明的是,本申请实施例中所涉及的车端可以是指支持无人驾驶、自动驾驶和远程驾驶中的任一功能的车辆,也即称为无人车、自动驾驶车辆、无人驾驶车辆等。另外,本申请实施例中所涉及的远程驾驶端可以包括实现远程驾驶控制的系统硬件、软件以及工作人员。
下面结合实施例和附图对本发明技术方案进行详细说明。
图1是根据本申请一些实施例所示的无人车控制器系统的架构图。
如图1所示,无人车控制系统100可以包括车端10和远程驾驶端20。在本申请实施例中,车端10可以是指支持无人驾驶、自动驾驶和远程驾驶中的任一功能的车辆,远程驾驶端20可以是指能够向车端10发送控制指令以对车端10进行远程驾驶控制,以对车端10所遇到的自身无法处理的突发状况进行及时处理,其中,远程驾驶端20可以包括实现对车端10远程驾驶控制的系统硬件、软件以及工作人员等。进一步地,为了实现对车端10的远程驾驶控制,车端10和远程驾驶端20之间需要具备传输数据的能力,例如,远程驾驶端20需要向车端10传输与对车端10进行远程驾驶控制的控制指令相关的数据(下文统一称为“控制指令数据”),使得车端10能够基于控制指令数据行驶,即实现远程驾驶端20对车端10的远程驾驶控制,同时,为了实现远程驾驶端20能够对车端10进行精确的远程驾驶控制,保证远程驾驶控制的安全性,车端10需要向远程驾驶端20发送车端10的环境数据(例如,车端10周围环境的障碍物信息、周围环境的图像等)、车端10的状态数据(例如,车端10的方向盘转角、车速、胎压等),使得远程驾驶端20根据车端10发送来的数据生成较为精确的控制指令数据从而实现对车端10进行精确的远程驾驶控制。
在一些实施例中,车端10和远程驾驶端20之间的数据可以通过网络传输,继续参见图1所示,车端10可以包括网关通讯装置110,网关通讯装置110可以用于建立车端10和远程驾驶端20之间的网络连接,使得车端10和远程驾驶端20之间的目标数据能够通过网络进行传输。其中,目标数据为需要在车端10和远程驾驶端20之间传输的数据,目标数据至少可以包括从车端10发送至远程驾驶端20的车端10的环境数据、状态数据以及从远程驾驶端20发送至车端的控制指令数据。在一些实施例中,目标数据还可以包括从车端10发送至远程驾驶端20的音频数据或从远程驾驶端20发送至车端10的音频数据。
下面将对网关通讯装置110进行详细说明。
图2是根据本申请一些实施例所示的网关通讯装置110的结构框图。
如图2所示,网关通讯装置110可以包括网络接入模块111、网络信号检测模块112、数据分配模块113和数据传输模块114。
网络接入模块111可以包括多个物联网卡(未在图中示出),多个物联网卡可以用于分别接入多个不同的运营商网络,使得车端10和远程驾驶端20之间可以通过多个不同的运营商网络进行网络连接,即目标数据可以通过多个不同的运营商网络在车端10和远程驾驶端20之间传输。其中,物联网卡可以是各个运营商的SIM卡。作为示例性说明,运营商可以是中国移动、中国电信和中国联通,网络接入模块111可以包括中国移动、中国电信和中国联通的SIM卡,当网关通讯装置110通电时,这三家运营商的SIM卡可以自动拨号以分别接入对应的运营商网络,即中国移动网络、中国电信网络和中国联通网络。可以理解的是,网络接入模块111中的多个物联网卡可以根据实际情况来选择,例如,不同国家各自有自己的网络运营商,用于接入网络的物联网卡也会有所不同,在选择物联网卡时,可以根据无人车实际应用的国家来进行选择。通过多个物联网卡接入多个不同的运营商网络,目标数据便可同时通过多个不同的运营商网络在车端10和远程驾驶端20之间传输。
网络信号检测模块112可以用于检测车端10所在区域的多个不同的运营商网络的信号强度。作为示例性说明,网络接入模块111所接入的网络为中国移动网络、中国电信网络和中国联通网络,网络信号检测模块112则可以对车端所在区域的这三个运营商网络的信号强度进行检测。其中,运营商网络的信号强度可以由在单位时间内通过该运营商网络的传输的数据量多少来表示,即是运营商网络的实际带宽。在一些实施例中,可以采用下载测试法来测试网关通讯装置11-所接入的各个运营商网络的实际带宽。作为示例性说明,可以在相应的云平台上放置一个下载测试文件,网络信号检测模块112可以单独使用各个运营商网络来下载该下载测试文件,可以获得每个运营商网络的下载速度,从而能够确定每个运营商网络的实际带宽。
数据分配模块113可以用于基于车端10所接入的多个不同的运营商网络的信号强度,将目标数据在多个不同的运营商网络之间进行分配,即数据分配模块113可以将目标数据分配到多个不同的运营商网络进行传输。其中,运营商网络的信号强度越大,数据分配模块113分配给该运营商网络进行传输的目标数据的数据量就可以越多,这样可以实现网络的均衡负载,提高目标数据在车端10和远程驾驶端20之间传输的速率,保证目标数据传输的稳定性和实时性,从而有利于提高远程驾驶控制的准确性和安全性。在一些实施例中,数据分配模块113可以采用均衡负载算法确定目标数据在多个不同运营商网络之间进行分配的权重。在一些实施例中,均衡负载算法可以包括轮询法、加权轮询法、加权随机法、最小连接数法、随机法、源地址哈希法等。
数据传输模块114可以用于将分配后的目标数据分别通过多个不同的运营商网络在车端10和远程驾驶端20之间进行传输。在一些实施例中,当目标数据为车端10的环境数据、状态数据等时,数据传输模块114可以用于将分配后的目标数据分别通过多个不同的运营商网络从车端10发送至远程驾驶端20。在一些实施例中,当目标数据为从远程驾驶端20发送至车端10的控制指令数据时,数据传输模块114可以用于分别通过多个不同的运营商网络接收来自远程驾驶端20分配给多个不同的运营商网络的目标数据。可以理解的是,由于车端10和远程驾驶端20之间的数据传输是相互的,为了保证从远程驾驶端20发送至车端10的目标数据(例如,控制指令数据)也具有较好的实时性,远程驾驶端20同样也可以具备基于车端10所在区域的多个不同运营商网络的信号强度将需要从远程驾驶端20发送至车端10的目标数据分配给多个不同运营商网络的能力,因此,远程驾驶端20至少可以包括与数据分配模块113能够实现相同功能的模块。
需要注意的是,以上对于网关通讯装置110及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。例如,数据分配模块113和数据传输模块114可以是同一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,数据分配模块113和数据传输模块114可以是两个模块,也可以是一个模块同时具有数据分配和数据传输两个功能。诸如此类的变形,均在本说明书的保护范围之内。
在一些实施例中,为了进一步实现车端10与远程驾驶端20之间的网络连接,如图1所示,无人车控制系统100还可以包括网络链路端30,远程驾驶端20可以包括光纤传输设备210,网络链路端30可以分别与车端10的网关通讯装置110和远程驾驶端20的光纤传输设备210建立网络连接,从而实现车端10与远程驾驶端20之间的网络连接。其中,网络链接端30包括与车端10中的物联网卡对应的多个不同的运营商所建立的基站310和云服务器320。其中,基站310包括车端10附近的第一基站311和远程驾驶端20附近的第二基站312,第一基站311可以与网关通讯装置110(例如,通过天线)建立网络连接,第二基站312可以与光纤传输设备210(例如,通过光纤)建立网络连接,建立云服务器320可以对车端10和远程驾驶端20之间传输的目标数据进行中转。
作为示例性说明,当目标数据(例如,车端10的环境数据、状态数据等)是从车端10向远程驾驶端20发送时,目标数据通过网关通讯装置110经由多个不同的运营商网络被发送至对应运营商所建立的第一基站311,再由第一基站311发送至云服务器320,目标数据可以在云服务器320中进行中转保存,然后由云服务器320发送至第二基站312,第二基站312可以将来自车端10的目标数据通过网络发送给远程驾驶端20,以实现目标数据从车端10传输至远程驾驶端20。当目标数据(例如,控制指令数据)是从远程驾驶端20发送至车端10时,目标数据可以通过光纤传输设备210发送至第二基站312,再由第二基站312发送至云服务器320以进行中转保存,然后由云服务器320发送至第一基站311,第一基站311可以将来自远程驾驶端20的目标数据通过多个不同的运营商网络发送给车端10,以实现目标数据从远程驾驶端20发送至车端10。
在一些实施例中,基站310(第一基站311和第二基站312)可以是4G或5G基站。在一些实施例中,云服务器320可以是混合云服务器,即云服务器320可以包括私有云服务器和公有云服务器。其中,私有云服务器会被优先使用,当私有云服务器宕机或出现严重故障时,数据链路会自动切换到公有云服务器,正果切换过程对远程驾驶端20和车端10之间的数据传输不会影响,从而保证远程驾驶端20对车端10的远程驾驶控制的安全性与稳定性。在一些实施例中,远程驾驶端20和车端10之间所传输的数据都会保存在云服务器320的数据库中。
在一些实施例中,继续参见图1所示,车端10还可以包括第一感知组件120、感知控制器130、第二感知组件140、底盘控制系统150和TBOX控制器160。
第一感知组件120可以用于获取车端10的第一环境数据,第一环境数据可以包括车端10周围的障碍物信息。其中,车端10周围的障碍物信息可以包括车端10周围的障碍物相对于车端10在地图(例如,雷达地图)中的坐标位置、高度、距离、速度、姿态等信息。在一些实施例中,第一感知组件120可以包括至少四个超声波雷达、至少两个多线激光雷达和至少两个单线激光雷达。
至少四个超声波雷达可以分别安装在车端10车身的四周,每个超声波雷达的探测距离在0.1米至0.3米之间,可以用于对车端10周围的近距离障碍物进行感知。在一些实施例中,超声波雷达的数据可以是四个、八个、十六个等。
至少两个单线激光雷达可以分别安装在车端10车身的正前方和正后方,每个单线激光雷达的探测距离小于25米,可以用于对车端10的前后方近距离障碍物进行感知,并且获取障碍物相对于车端10的位置(例如,坐标位置)、高度、距离、速度、姿态等信息。在一些实施例中,至少两个单线激光雷达还可以用于补盲,具体地,至少两个单线激光雷达可以与至少四个超声波雷达配合对环车身一周范围进行视觉补盲。在一些实施例中,单线激光雷达的数量可以是两个、四个、六个等。
至少两个多线激光雷达可以分别安装在车端10的车头两侧,探测距离大于200米,可以用于对车端10周围环境进行360°感知,并且获取车端10周围的障碍物相对于车端10的位置、高度、距离、速度、姿态等信息。在一些实施例中,多线激光雷达的数量可以是两个、四个、六个等。
感知控制器130可以与第一感知组件120连接,用于接收来自第一感知组件120的第一环境数据。在一些实施例中,感知控制器130还可以对第一感知组件120发来的第一环境数据进行解析处理,以将第一环境数据解析为能够在车端10和远程驾驶端20进行传输的数据格式。在一些实施例中,感知控制器130还可以起到控制第一感知组件120中的各个雷达(例如,单线激光雷达、多线激光雷达和超声波雷达)的作用。进一步地,感知控制器130可以通过CAN总线与第一感知组件120中的至少四个超声波雷达连接,以及通过以太网接口与感知组件120中的至少两个单线激光雷达和至少两个多线激光雷达连接。
TBOX控制器160可以与感知控制器130连接,以用于接收来自感知控制器130的第一环境数据。在一些实施例中,TBOX控制器160可以通过以太网接口与感知控制器130连接。
第二感知组件140可以用于获取车端10的第二环境数据,第二环境数据可以包括车端10周围环境的图像。在一些实施例中,第二感知组件140可以包括至少四个摄像头,至少四个摄像头可以分别安装在车端10的车身的正前方、正后方、正左方和正右方,以分别获取车端10的正前方、正后方、正左方和正右方的图像,即第二环境数据至少包括车端10的正前方、正后方、正左方和正右方的图像。在一些实施例中,第二感知组件140中的摄像头可以是鱼眼摄像头。
TBOX控制器160可以与第二感知组件140连接,以用于接收来自第二感知组件140的第二环境数据。同时,TBOX控制器160还用于控制第二感知组件140获取第二环境数据。下面将结合附图对TBOX控制器160与第二感知组件140之间的连接进行详细说明。
图3是根据本申请一些实施例所示的第二感知组件与TBOX控制器的硬件连接示意图。
如图3所示,第二感知组件140可以包括分别位于车端10的车身前后左右的前摄像头141、后摄像头142、左摄像头143以及右摄像头144,前摄像头141、后摄像头142、左摄像头143以及右摄像头144上均集成有串行器145,各个摄像头与串行器145之间的连接接口可以包括MIPI高速差分串行数据接口、I2C控制接口和FSYNC数据同步接口;MIPI接口负责传输原始图像数据,I2C接口用于对摄像头的内部寄存器进行读写,控制摄像头的曝光,分辨率,增益等,FSYNC接口负责各个摄像头之间的数据同步,摄像头会在FSYNC引脚的每个上升沿输出一帧图像数据。TBOX控制器160可以包括中央处理器161且TBOX控制器160上集成有解串器162。其中,解串器162可以通过GSML2接口与前摄像头141、后摄像头142、左摄像头143以及右摄像头144上的串行器145连接,以实现第二感知组件140与TBOX之间的连接。
作为示例性说明,TBOX控制器中的中央处理器161可以通过与解串器162之间的I2C接口向解串器162写入前摄像头141、后摄像头142、左摄像头143以及右摄像头144的曝光、增益、分辨率等寄存器配置参数,解串器162接收到中央处理器161发出的配置参数后,将配置参数转换为GMSL2串行数据然后通过GMSL2接口发送给各个摄像头上的串行器145,串行器145再通过与摄像头之间的I2C接口将配置参数所转换的GMSL2串行数据写入各个摄像头的内部寄存器,各个摄像头便可基于所写入的配置参数输出车端10周围环境的图像(即第二环境数据)。
Tbox控制器还可以通过输出PWM信号到解串器芯片FSYNC引脚来控制前摄像头141、后摄像头142、左摄像头143以及右摄像头144之间的图像同步,以及通过调节PWM占空比来调节摄像头输出图像的帧率。
由于第二环境数据是图像数据,为了保证得到高质量的图像数据,TBOX控制器160还可以对来自第二感知组件的第二环境数据进行处理,下面将结合附图对TBOX控制器160处理第二环境数据进行描述。
图4是根据本申请一些实施例所示的TBOX控制器处理第二环境数据的流程图。
结合图3和图4所示,TBOX控制器接收来自前摄像头141、后摄像头142、左摄像头143以及右摄像头144的第二环境数据为RAW图像数据,RAW图像数据通过GMSL2接口传输到解串器162,解串器162能够将GMSL2接口传输的串行格式的RAW图像数据转换为MIPI高速差分串行格式的RAW图像数据并发送至中央处理器161,中央处理器161可以通过图像处理算法将MIPI高速差分串行格式的RAW图像数据转换为YUV图像数据,YUV图像数据被添加时间水印后再经过软硬件编码为H264/H265视频流数据,最后再通过RTMP/SRT视频传输协议打包H264/H265视频流数据,以获取数据包。其中,数据包所对应的视频流码率可以支持流畅、标清和高清切换,分别对应码率为200kbps、500kbps、1000kbps;默认码率设置为200kbps;数据包所对应的视频帧率可根据网络优良情况(即车端10所接入多个不同的运营商网络的信号强度)在10fps至30fps之间进行自适应调节;每帧图像数据从读取到最后编码为RTMP包耗时稳定在20ms至30ms。
底盘控制系统150可以用于获取车端10的状态数据,车端10的状态数据可以包括车端10的车速、扭矩、方向盘转角、胎压、马达转速、充电状态、电池管理系统状态、驾驶模式(包括自动驾驶模式和远程驾驶模式)等。进一步地,底盘控制系统150可以包括多个分别用于检测上述状态数据对应的传感器,这些传感器可以实时获取车端10的状态数据。
在一些实施例中,底盘控制系统150可以包括多个执行系统,多个执行系统可以用于执行车端10的驾驶动作,例如,加速、减速、刹车、转向等,以实现车端10的基本驾驶功能。在一些实施例中,底盘控制系统150中的多个执行系统可以包括电子液压制动系统(EHB)、电子驻车制动系统(EPB)、电子助力转向系统(EPS)、整车控制器(VCU)、电流变化器(DCDC)和电源管理系统(BMS)。其中,VCU与车端10的马达连接,用于控制马达的转向和扭矩。作为示例性说明,EHB可以用于执行车端10的刹车动作,EPB可以用于执行车端10的驻车动作,EPS可以用于执行车端10的转向动作,VCU可以控制车端10的马达运转和电池发电,DCDC可以用来将电池的电压转换为车端10中各个用电装置的工作电压,BMS可以用于监控和管理车端10中电池的状态(例如,充电状态、放电状态等)。在一些实施例中,车端10的状态数据可以由多个执行系统输出,例如,BMS可以输出车端10的充电状态、BMS状态等状态数据,VCU可以输出车端10的车速、扭矩、马达转速等状态数据,EPS可以输出车端10的方向盘转角等状态数据。
TBOX控制器160可以与底盘控制系统160连接,以用于接收来自底盘控制系统160的车端10的状态数据。在一些实施例中,TBOX控制器160可以通过以太网接口与感知控制器130连接。在一些实施例中,TBOX控制器160可以通过CAN总线与底盘控制系统150连接。
在一些实施例中,继续参见图1所示,车端10还可以包括GPS导航装置170,GPS导航装置170可以用于获取车端10的第三环境数据,所述第三环境数据包括车端10的位置信息(例如,车端10的经纬度坐标)。TBOX控制器160可以通过串口与GPS导航装置170连接,以用于接收来自GPS导航装置170的第三环境数据。
在一些实施例中,继续参见图1所示,TBOX控制器160可以与网关通讯装置110连接,使得TBOX控制器160能够向远程驾驶端20发送车端10的环境数据(例如,第一环境数据、第二环境数据和第三环境数据)和状态数据,以及接收来自远程驾驶端20的控制指令数据。
下面将对远程驾驶端20以及远程驾驶端20是如何生产控制指令数据的进行详细说明。
继续参见图1所示,远程驾驶端20可以包括远程驾驶终端220和远程操控机构。
远程驾驶终端220可以与光纤传输设备210连接,用于接收来自TBOX控制器160的车端10的环境数据和状态数据。
远程操控机构230可以与远程驾驶终端220连接,远程驾驶端20(例如,工作人员)可以基于车端10的环境数据和状态数据操控远程操控机构230生成控制指令数据并发送至远程驾驶终端220,远程驾驶终端220可以将控制指令数据通过光纤传输设备210发送到网关通讯装置110进而发送至TBOX控制器160。其中,控制指令数据至少可以用于控制车端10执行换挡、减速、刹车、加速、转向、急停等驾驶动作。在一些实施例中,为了保证控制指令数据传输的安全性,远程驾驶终端在发送控制指令数据时会对控制指令数据进行加密处理,即发送到车端10的控制指令数据为加密过的控制指令数据。
在一些实施例中,远程操控机构230可以模拟车辆的驾驶舱真实环境,以便于远程驾驶端20的工作人员能够像正常驾驶车辆一样对远程操控机构230进行操控以生成控制指令数据。进一步地,远程操控机构230可以包括和车辆驾驶舱内部一样的方向盘、档杆、油门踏板、刹车踏板、刹车踏板、急停按钮等操控装置,工作人员可以按照正常的开车方法对这些操控装置进行操控以生成相应的控制指令数据。在一些实施例中,远程操控机构230可以是按钮的形式,工作人员可以通过操作按钮来生成控制车端10执行驾驶动作的控制指令数据,例如,远程操控机构可以包括前进按钮、后退按钮、档位按钮、加速按钮、减速按钮、刹车按钮等。
TBOX控制器160可以从网关通讯装置110实时获取来自远程驾驶端20的控制指令数据,并发送至底盘控制系统150,底盘控制系统150则可以基于控制指令数据执行对应的驾驶动作。进一步地,TBOX控制器160可以将获取到的控制指令数据进行解密处理,然后转换为CAN消息报文后发送到与底盘控制系统150连接的CAN总线,底盘控制系统150中的执行系统在接收到CAN消息报文可以执行相应的驾驶动作。作为示例性说明,VCU在接收到CAN消息报文后可以对CAN消息报文进行解析处理,将与前进、后退、转向等对应的模拟量数值转换为扭矩值至输出到车端10的马达,例如,VCU将刹车二值量转换为0扭矩值输出到车端10的马达,控制车端10停车,VCU可以将急停二值量转换为0扭矩值输出到车端10的马达以及EPB,迫使车端10立即停车。在一些实施例中,VCU可以对CAN消息报文进行异常检测和处理,当出现CAN消息报文错误或超时的情况时,VCU可以主动控制车端10急停。
在一些实施例中,继续参见图1所示,远程驾驶端20还可以包括交互界面240,交互界面240可以与远程驾驶终端220连接,远程驾驶终端220能够将车端10的环境数据和状态数据发送至交互界面进行显示。下面将结合图5对交互界面240进行详细说明。
图5是根据本申请一些实施例所示的交互界面的布局图。
在一些实施例中,如图5所示,交互界面240可以包括前摄像头监控显示区域241、后摄像头监控显示区域242、左摄像头监控显示区域243和右摄像头监控显示区域244,前摄像头监控显示区域241、后摄像头监控显示区域242、左摄像头监控显示区域243和右摄像头监控显示区域244可以用于显示第二环境数据,即前摄像头监控显示区域241、后摄像头监控显示区域242、左摄像头监控显示区域243和右摄像头监控显示区域244可以分别用于显示前摄像头141、后摄像头142、左摄像头143以及右摄像头144,前摄像头141、后摄像头142、左摄像头143以及右摄像头144所拍摄的监控画面。
在一些实施例中,如图5所示,交互界面240还可以包括地图显示区域245,地图显示区域245可以用于显示实时地图,第一环境数据和第三环境数据可以在实时地图中进行显示。例如,车端10以及车端10周围的障碍物可以实时地图中被标记显示出来,从实时地图中即可实时获取车端10的位置信息和车端10周围的障碍物信息。
在一些实施例中,如图5所示,交互界面240还可以包括状态显示区域246,状态显示局域246可以用于显示车端10的状态数据。
在一些实施例中,交互界面240还可以包括人机交互区域(图中未示出),远程操控机构230可以集成在人机交互区域中,即人机交互区域具有生成控制指令数据的图标,工作人员可以通过点击图标生成控制指令数据。
通过设置交互界面240,远程驾驶端20的工作人员则可以根据交互界面240所显示的车端10前后左右的环境的监控画面、地图以及车端10的状态数据操控远程驾驶机构230生成相应的控制指令数据,所生成的控制指令数据准确、可靠,能够保证车端10在远程驾驶控制下安全行驶。
在一些实施例中,继续参见图1所示,远程驾驶端20还可以包括远程扬声器250和远程麦克风260,远程扬声器250和远程麦克风260与远程驾驶终端220连接;车端10还可以包括车端麦克风180和车端扬声器190,车端麦克风180和车端扬声器190与TBOX控制器160连接。
远程麦克风260可以用于获取远程驾驶端20的音频数据(例如,工作人员说话的声音),并依次通过远程驾驶终端220、TBOX控制器160发送至车端扬声器190进行播放。作为示例性说明,当工作人员通过交互界面240所显示的监控画面看到车端10前方行人堵塞道路时,可以通过远程麦克风输入提醒行人注意安全避让的音频,该音频可以是工作人员即时说的话,也可以是预先录制好的音频,音频通过远程驾驶终端220、TBOX控制器160发送至车端扬声器190进行播放,以提醒车端10前方行人注意安全避让。
车端麦克风180可以用于获取车端10的音频数据,并依次通过TBOX控制器160、远程驾驶终端220发送至远程扬声器250进行播放。作为示例性说明,车端麦克风180可以采集车端10周围环境的音频(车端10周围的行人发出的声音),并依次通过TBOX控制器160、远程驾驶终端220发送至远程扬声器250进行播放,远程驾驶端20的工作人员可以通过播放的音频判断车端10遇到的突发情况,例如,工作人员可以根据车端10周围的行人的声音知道车端10前方道路不通的信息,而操控远程操控机构230生成与控制车端10掉头的控制指令数据,使得车端10掉头。
本申请实施例还提供一种数据传输方法,可以应用于本申请实施例中的无人车控制系统100中的车端10和远程驾驶端20之间的目标数据传输,具体请参见图6所示。
图6是根据本申请一些实施例所示的数据传输方法的流程图。
如图6所示,本申请实施例提供的数据传输方法600可以包括以下步骤:
步骤S610,使车端10接入多个不同的运营商网络。
具体地,步骤S610可以由图2中示出的网络接入模块111执行。更多关于步骤S610的描述可以参考网络接入模块111的相关描述,在此不再赘述。
步骤S620,检测车端10当前所在区域的多个不同的运营商网络的信号强度。
具体地,步骤S620可以由图2中示出的网络信号检测模块112执行。更多关于步骤S620的描述可以参考网络信号检测模块112的相关描述,在此不再赘述。
步骤S630,基于多个不同的运营商网络的信号强度,将目标数据在多个不同的运营商网络之间进行分配。
具体地,步骤S630可以由图2中示出的数据分配模块113执行。更多关于步骤S630的描述可以参考数据分配模块113的相关描述,在此不再赘述。
步骤S640,将分配后的目标数据分别通过所述多个不同的运营商网络在车端10和远程驾驶端20之间进行传输。
具体地,步骤S640可以由图2中示出的数据传输模块114执行。更多关于步骤S640的描述可以参考数据传输模块114的相关描述,在此不再赘述。
在一些实施例中,当目标数据为图像数据(即第二环境数据)时,在传输目标数据之前,数据传输方法600还可以包括由TBOX控制器基于多个不同的运营商网络总的信号强度(例如,各个运营商网络的带宽的叠加)设置视频编码参数(例如,视频帧率、视频码率),并且基于视频编码参数对图像数据进行视频编码。其中,视频编码参数为多个不同的运营商网络总的信号强度匹配的最佳编码参数,图像数据经过编码后可以为H264/H265视频流数据,H264/H265视频流数据可以通过RTMP/SRT视频传输协议被打包成数据包,然后从车端10被发送至远程驾驶端20的交互界面240上作为监控画面进行显示。通过基于多个不同的运营商网络总的信号强度(例如,各个运营商网络的带宽的叠加)设置视频编码参数,并且基于该视频编码参数对图像数据进行视频编码,可以保证每帧图像数据从获取到最后成为数据包耗时稳定在20~30ms,从而能够保证图像数据传输的实时性。
本申请实施例还提供一种无人车控制方法,该无人车控制方法可以应用于本申请实施例中的无人车控制系统100,以此实现远程驾驶端20对车端10的远程驾驶控制,具体请参见图7所示。
图7是根据本申请一些实施例所示的无人车控制方法的流程图。
如图7所示,无人车控制方法700可以包括以下步骤S710:
步骤S710,确定车端10是否需要进入远程驾驶模式。
在步骤S710中,TBOX控制器160可以基于接收到车端10的环境数据和状态数据判断车端10是否需要进入远程驾驶模式,即是否需要远程驾驶端20介入。作为示例性说明,TBOX控制器160可以基于接收到车端10的环境数据和状态数据判断车端10是否遇到了自身无法处理的突发情况(例如,道路过于拥堵而导致车端10无法做出决策以继续行驶),从而确定车端10是否需要远程驾驶端20介入而使车端10进入远程驾驶模式。
步骤S720,若需要,车端10向远程驾驶端20发送请求远程驾驶端介入的指令。
在步骤720中,当TBOX控制器确定车端10需要进入远程驾驶模式时,会向远程驾驶端20发送请求远程驾驶端20介入的指令,远程驾驶端20在收到指令后可以向工作人员的手机发送通知信息,以通知工作人员就位,以启动远程驾驶端20(例如,远程操控机构230、交互界面等),使得车端10进入远程驾驶模式。
步骤S730,车端10向远程驾驶端20发送所述车端10的环境数据和状态数据。
在步骤S730中,当车端10进入远程驾驶模式时,TBOX控制器160则可以通过网关通讯装置110可以向远程驾驶端20发送车端10的环境数据和状态数据。
步骤S740,远程驾驶端20基于车端10的环境数据和状态数据生成控制指令数据,并发送至所述车端10。
在步骤740中,远程驾驶端20中的交互界面240可以对车端10的环境数据和状态数据进行显示,远程驾驶端20的工作人员则可以根据交互界面240所显示的内容(例如,车端10周围环境的监控画面(第二环境数据)、实时地图中的车端10的位置信息(第三环境数据)和车端10周围障碍物信息(第一环境数据)、车端10的状态数据等)操控远程操控机构230生成控制指令数据。作为示例性说明,当工作人员根据车端10的环境数据和状态数据发现车端10的前方无法通过时,工作人员可以操控远程操控机构230生成用于控制车端10转向或掉头的控制指令数据。
步骤S750,车端10基于控制指令数据执行控制动作。
在步骤S750中,TBOX控制器160可以从网关通讯装置110实时获取来自远程驾驶端20的控制指令数据,并发送至底盘控制系统150,底盘控制系统150则可以基于控制指令数据执行对应的驾驶动作。进一步地,TBOX控制器160可以将获取到的控制指令数据进行解密处理,然后转换为CAN消息报文后发送到与底盘控制系统150连接的CAN总线,底盘控制系统150中的执行系统在接收到CAN消息报文可以执行相应的驾驶动作。
在一些实施例中,当远程驾驶端20检测到控制指令数据在第一时间(例如,60ms)内未发生变化时,远程驾驶终端220会控制远程驾驶端20关闭,从而使得车端10退出远程驾驶模式。需要说明的是,控制指令数据的变化情况可以由远程驾驶终端220来进行检测。
在一些实施例中,当远程驾驶终端220检测到控制指令数据在第二时间(例如,30ms)内未发生变化时,远程驾驶终端220可以控制远程扬声器250播放提示音“未检测到指令输入,请注意安全驾驶”,以提醒工作人员操控远程操控机构230。
在一些实施例中,当远程驾驶终端220检测到远程驾驶端20有线路连接异常问题时,会主动发出控制车端10急停的控制指令数据并发送至车端10,迫使车端10紧急停车并迫使车端10退出远程驾驶模式,同时远程驾驶终端220可以控制远程扬声器250播放提示音“设备异常,请检查设备状态”,以提醒工作人员检测相关设备。
在一些实施例中,当远程驾驶终端220基于第一环境数据检测到多线激光雷达感知范围30m内障碍物数量大于10时,远程驾驶终端220可以控制远程扬声器250播放提示音“前方障碍物较多,请注意安全驾驶”,以对工作人员进行提醒。
在一些实施例中,当远程驾驶终端220基于第一环境数据检测到单线激光雷达感知范围3m内有障碍物时,语远程驾驶终端220可以控制远程扬声器250播放提示音“距离障碍物太近,请注意安全”,以对工作人员进行提醒。
在一些实施例中,当远程驾驶端20(即远程驾驶终端220)检测到车端10和远程驾驶端20之间的目标数据传输延迟超过延迟阈值时,远程驾驶终端220可以控制远程驾驶端20关闭而使得车端10退出远程驾驶模式。其中,当目标数据为车端10发送至远程驾驶端20的环境数据和状态数据,对应的延迟阈值可以为300ms;当目标数据为控制指令数据时,对应的延迟阈值可以为100ms。通过这样设置,可以保证工作人员在操控远程操控机构230时能够实时查看车端10的环境数据和状态数据,并且所生成的状态数据能够及时发送到车端10以实现对车端10的实时控制,保证对车端10进行远程驾驶控制的安全性。
本申请实施例可能带来的有益效果包括但不限于:(1)本申请实施例提供的无人车控制系统以及数据传输方法,能够根据多个运营商网络的信号强度将车端和远程驾驶端之间待传输的目标数据在多个运营商网络之间进行分配,使得分配后的目标数据能够分别通过多个运营商网络在远程驾驶端和车端之间进行传输,这样可以有效降低车端和远程驾驶端之间的数据传输的时延,保证数据传输的真实性和实时性,从而提高远程驾驶端对车端远程驾驶控制的安全性;(2)本申请实施例提供的无人车控制方法可提供了车端在远程驾驶模式下的各种应急处理措施,从而可以提高车端在远程驾驶模式下的安全性;(3)图像数据在发送至远程驾驶端之前,基于多个不同运营商的信号强度对图像数据进行H264/H265编码,可以提高在远程驾驶端显示的监控画面质量,并且有利于降低图像数据传输的延迟:(4)远程驾驶端的声音可以在车端进行播放,从而能够实现远程提示行人安全避让,以进一步提高车端在远程驾驶模式下的安全性。
需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
需要说明的是,在本申请的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是转动连接,也可以是滑动连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以结合具体情况理解上述术语在本申请中的具体含义。
另外,当本申请说明书中使用了“第一”、“第二”、“第三”等术语描述各种特征时,这些术语仅用于对这些特征进行区分,而不能理解为指示或暗示特征之间的关联性、相对重要性或者隐含指明所指示的特征数量。
除此之外,本申请说明书通过参考理想化的示例性截面图和/或平面图和/或立体图来描述示例性实施例。因此,由于例如制造技术和/或容差导致的与图示的形状的不同是可预见的。因此,不应当将示例性实施例解释为限于在此所示出的区域的形状,而是应当包括由例如制造所导致的形状中的偏差。因此,在图中示出的区域实质上是示意性的,其形状不是为了示出器件的区域的实际形状也不是为了限制示例性实施例的范围。
同时,本申请使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本申请中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
最后,应当理解的是,本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本申请的教导一致。相应地,本申请的实施例不仅限于本申请明确介绍和描述的实施例。
Claims (16)
1.一种无人车控制系统,其特征在于,包括车端和远程驾驶端;所述车端包括网关通讯装置,所述网关通讯装置包括:
网络接入模块,所述网络接入模块包括多个物联网卡,所述多个物联网卡用于分别接入多个不同的运营商网络;
网络信号检测模块,用于检测所述车端当前所在区域的所述多个不同的运营商网络的信号强度;
数据分配模块,用于基于所述多个不同的运营商网络的信号强度,将目标数据在所述多个不同的运营商网络之间进行分配;
数据传输模块,用于将分配后的目标数据分别通过所述多个不同的运营商网络在所述车端和所述远程驾驶端之间进行传输;其中,所述目标数据为需要在所述车端和所述远程驾驶端之间传输的数据,所述目标数据至少包括从所述车端发送至所述远程驾驶端的所述车端的环境数据、状态数据以及从所述远程驾驶端发送至所述车端的控制指令数据。
2.根据权利要求1所述的无人车控制系统,其特征在于,所述车端还包括:
第一感知组件,用于获取所述车端的第一环境数据,所述第一环境数据包括所述车端周围的障碍物信息;
感知控制器,与所述第一感知组件连接,用于接收来自所述第一感知组件的所述第一环境数据;
第二感知组件,用于获取所述车端的第二环境数据,所述第二环境数据包括所述车端周围环境的图像;
底盘控制系统,用于获取所述车端的状态数据,所述状态数据包括所述车端的车速、扭矩、方向盘转角、胎压、马达转速和充电状态中的至少一种;
TBOX控制器,所述TBOX控制器与所述感知控制器、所述第二感知组件以及所述底盘控制系统连接,以用于分别接收来自所述感知控制器的所述第一环境数据、来自所述第二感知组件的所述第二环境数据以及连来自所述底盘控制系统的所述状态数据。
3.根据权利要求2所述的无人车控制系统,其特征在于,所述第一感知组件包括至少四个超声波雷达、至少两个多线激光雷达和至少两个单线激光雷达;其中,所述至少四个超声波雷达分别安装在所述车端的车身的四周,所述至少两个多线激光雷达分别安装在所述车端的车头两侧,所述至少两个单线激光雷达分别安装在所述车端的车身的正前方和正后方。
4.根据权利要求2所述的无人车控制系统,其特征在于,所述第二感知组件包括至少四个摄像头,所述至少四个摄像头分别安装在所述车端的车身的正前方、正后方、正左方和正右方。
5.根据权利要求2所述的无人车控制系统,其特征在于,所述底盘控制系统包括多个执行系统,所述多个执行系统能够获取所述车端的状态数据。
6.根据权利要求2所述的无人车控制系统,其特征在于,所述车端还包括GPS导航装置,所述GPS导航装置用于获取所述车端的第三环境数据,所述第三环境数据包括所述车端的位置信息;所述TBOX控制器还与所述GPS导航装置连接,所述TBOX控制器还用于接收来自所述GPS导航装置的所述第三环境数据。
7.根据权利要求6所述的无人车控制系统,其特征在于,所述TBOX控制器与所述网关通讯装置连接,使得所述TBOX控制器能够向所述远程驾驶端发送所述车端的环境数据和状态数据,以及接收来自所述远程驾驶端的控制指令数据。
8.根据权利要求7所述的无人车控制系统,其特征在于,所述远程驾驶端包括:
远程驾驶终端,用于接收来自所述TBOX控制器的所述车端的环境数据和状态数据;
远程操控机构,所述远程操控机构与所述远程驾驶终端连接,所述远程驾驶端基于所述车端的环境数据和状态数据操控所述远程操控机构生成所述控制指令数据并发送至所述远程驾驶终端,所述远程驾驶终端将所述控制指令数据发送至所述TBOX控制器;所述控制指令数据至少用于控制所述车端执行驾驶动作,所述驾驶动作至少包括换挡、减速、刹车、加速、转向或急停。
9.根据权利要求8所述的无人车控制系统,其特征在于,所述TBOX控制器将所述控制指令数据发送至所述底盘控制系统,所述底盘控制系统基于所述控制指令数据执行所述驾驶动作。
10.根据权利要求9所述的无人车控制系统,其特征在于,所述远程驾驶端还包括交互界面,所述交互界面与所述远程驾驶终端连接,远程驾驶终端能够将所述车端的环境数据和状态数据发送至交互界面进行显示。
11.根据权利要求9所述的无人车控制系统,其特征在于,所述远程驾驶端还包括远程扬声器和远程麦克风,所述远程扬声器和所述远程麦克风与所述远程驾驶终端连接;所述车端还包括车端麦克风和车端扬声器,所述车端麦克风和所述车端扬声器与所述TBOX控制器连接;其中,
所述远程麦克风用于获取所述远程驾驶端的音频数据,并依次通过所述远程驾驶终端、所述TBOX控制器发送至所述车端扬声器进行播放;
所述车端麦克风用于获取所述车端的音频数据,并依次通过所述TBOX控制器、所述远程驾驶终端发送至所述远程扬声器进行播放。
12.一种数据传输方法,应用于如权利要求1至11任一项所述的无人车控制系统中的车端和远程驾驶端之间的目标数据传输,其特征在于,包括:
使所述车端接入多个不同的运营商网络;
检测所述车端当前所在区域的所述多个不同的运营商网络的信号强度;
基于所述多个不同的运营商网络的信号强度,将目标数据在所述多个不同的运营商网络之间进行分配;
将分配后的目标数据分别通过所述多个不同的运营商网络在所述车端和所述远程驾驶端之间进行传输。
13.根据权利要求12所述的方法,其特征在于,当所述目标数据为图像数据时,在传输所述目标数据之前,所述方法还包括:
基于所述多个不同的运营商网络总的信号强度设置视频编码参数;
基于所述视频编码参数对所述图像数据进行视频编码。
14.一种无人车控制方法,应用于如权利要求1所述的无人车控制系统,其特征在于,包括:
确定所述车端是否需要进入远程驾驶模式;
若需要,所述车端向所述远程驾驶端发送请求所述远程驾驶端介入的指令;
所述车端向所述远程驾驶端发送所述车端的环境数据和状态数据;
所述远程驾驶端基于所述车端的环境数据和状态数据生成控制指令数据,并发送至所述车端;
所述车端基于所述控制指令数据执行控制动作。
15.根据权利要求14所述的方法,其特征在于,还包括:
当所述远程驾驶端检测到所述控制指令数据在第一时间内未发生变化时,所述车端退出远程驾驶模式。
16.根据权利要求14所述的方法,其特征在于,还包括:
当所述远程驾驶端检测到所述车端和所述远程驾驶端之间的目标数据传输延迟超过延迟阈值时,所述车端退出远程驾驶模式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310579910.9A CN116614538A (zh) | 2023-05-18 | 2023-05-18 | 一种无人车控制系统和方法、数据传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310579910.9A CN116614538A (zh) | 2023-05-18 | 2023-05-18 | 一种无人车控制系统和方法、数据传输方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116614538A true CN116614538A (zh) | 2023-08-18 |
Family
ID=87677691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310579910.9A Pending CN116614538A (zh) | 2023-05-18 | 2023-05-18 | 一种无人车控制系统和方法、数据传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116614538A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116795121A (zh) * | 2023-08-29 | 2023-09-22 | 北京易控智驾科技有限公司 | 无人车的控制系统及无人车 |
CN117261929A (zh) * | 2023-11-13 | 2023-12-22 | 北京斯年智驾科技有限公司 | 远程驾驶辅助方法、系统、装置和存储介质 |
-
2023
- 2023-05-18 CN CN202310579910.9A patent/CN116614538A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116795121A (zh) * | 2023-08-29 | 2023-09-22 | 北京易控智驾科技有限公司 | 无人车的控制系统及无人车 |
CN117261929A (zh) * | 2023-11-13 | 2023-12-22 | 北京斯年智驾科技有限公司 | 远程驾驶辅助方法、系统、装置和存储介质 |
CN117261929B (zh) * | 2023-11-13 | 2024-02-13 | 北京斯年智驾科技有限公司 | 远程驾驶辅助方法、系统、装置和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116614538A (zh) | 一种无人车控制系统和方法、数据传输方法 | |
US11054821B2 (en) | Remote-operation apparatus and remote-operation method | |
CN110794818A (zh) | 一种远程驾驶方法、装置及系统 | |
CN109017757A (zh) | 汽车远程代驾方法及系统 | |
US20220348217A1 (en) | Electronic apparatus for vehicles and operation method thereof | |
CN109080626A (zh) | 车辆故障处理方法 | |
CN111674345B (zh) | 一种适用于高度自动驾驶的网络电气结构 | |
CN109960764A (zh) | 行车信息提示方法、装置、电子设备和介质 | |
CN210652984U (zh) | 汽车电控系统及汽车 | |
CN114093186B (zh) | 车辆预警信息提示系统、方法及存储介质 | |
US20220408212A1 (en) | Electronic device, method and computer program | |
CN110853406A (zh) | 基于5g技术的车道变更预警方法、系统、服务器及车辆 | |
KR102253163B1 (ko) | 차량 | |
CN111563979A (zh) | 自动驾驶数据的存储方法、装置、终端及存储介质 | |
US20210284194A1 (en) | Autonomous vehicle | |
US11928902B2 (en) | Method and device for situation-based processing of sensor data from a motor vehicle | |
CN116424311A (zh) | 商砼车监控方法、监控装置、车载终端及监控系统 | |
CN114035583B (zh) | 车辆控制方法、装置、电子设备及计算机可读存储介质 | |
CN113110425A (zh) | 一种基于自动驾驶的靶车系统 | |
CN112564832A (zh) | 一种车辆预警消息生成方法、装置、计算机设备和存储介质 | |
CN112564829A (zh) | 一种信息分发方法、装置、计算机设备和存储介质 | |
CN112550279B (zh) | 汽车的制动方法、装置及计算机存储介质 | |
CN112389353A (zh) | 自动驾驶车辆以及用于自动驾驶车辆的系统 | |
US20230095186A1 (en) | Information processing device, information processing system, and information processing method | |
JP7392859B2 (ja) | 遠隔監視システム、走行速度制御装置、及び走行速度制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |