CN113327442A - 一种基于端云融合的协同控制系统及方法 - Google Patents

一种基于端云融合的协同控制系统及方法 Download PDF

Info

Publication number
CN113327442A
CN113327442A CN202110483524.0A CN202110483524A CN113327442A CN 113327442 A CN113327442 A CN 113327442A CN 202110483524 A CN202110483524 A CN 202110483524A CN 113327442 A CN113327442 A CN 113327442A
Authority
CN
China
Prior art keywords
data
module
cooperative
cloud
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110483524.0A
Other languages
English (en)
Other versions
CN113327442B (zh
Inventor
陈升东
秦佩
袁峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software Application Technology Guangzhou GZIS of CAS
Original Assignee
Institute of Software Application Technology Guangzhou GZIS of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software Application Technology Guangzhou GZIS of CAS filed Critical Institute of Software Application Technology Guangzhou GZIS of CAS
Priority to CN202110483524.0A priority Critical patent/CN113327442B/zh
Priority to PCT/CN2021/092325 priority patent/WO2022227105A1/zh
Publication of CN113327442A publication Critical patent/CN113327442A/zh
Application granted granted Critical
Publication of CN113327442B publication Critical patent/CN113327442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明提供了一种基于端云融合的协同控制系统及方法。该方案包括云端协同控制平台、边缘感知分析系统和移动终端控制系统；其中，所述移动终端控制系统安装在智能网联汽车或者道路的技术设施上，用于采集信息和执行协调控制指令；所述边缘感知分析系统部署在道路两侧或5G服务基站，用于采集信息和信息融合，所述云端协同控制平台部署在云端平台上，用于数据管理、业务通信和协调控制指令生成。该方案通过对智能化车辆与人驾驶车辆混合运行过程中的数据感知计算进行在线运算、模型修正和实时调度控制，从而确保两种不同驾驶模式的车辆之间不存在信息交互的鸿沟，并提升无人驾驶管理效率。

Description

一种基于端云融合的协同控制系统及方法
技术领域
本发明涉及辅助驾驶技术领域，更具体地，涉及一种基于端云融合的协同控制系统及方法。
背景技术
随着汽车辅助驾驶技术的发展，人机协同控制被更多的应用到了汽车控制领域，在大量具备L2、L3级别的智能车辆上面已经实现了人机协同驾驶，随着L4级别的智能驾驶车辆的发展，越来越多的车辆具备了自主完成驾驶的能力。
但是，现有技术主要是集中在辅助驾驶方面。但对于从L4和L5级的完全自动驾驶，车辆需要应付更加复杂的道路环境，加上自动驾驶车辆本身感知的局限性。但是，目前尚不存在合理的融合了道路信息的自动驾驶。
随着智能网联汽车的发展，势必也会对现有的道路管理模式带来挑战，原有的城市交通管理系统需要应对智能化车辆与人驾驶车辆混合运行过程中的数据感知计算以及协同调度问题，从而确保两种不同驾驶模式的车辆之间不存在信息交互的鸿沟。
发明内容
鉴于上述问题，本发明提出了一种基于端云融合的协同控制系统及方法，通过对智能化车辆与人驾驶车辆混合运行过程中的数据感知计算进行在线运算、模型修正和实时调度控制，从而确保两种不同驾驶模式的车辆之间不存在信息交互的鸿沟，并提升无人驾驶管理效率。
根据本发明实施例第一方面，提供一种基于端云融合的协同控制系统。
所述的一种基于端云融合的协同控制系统具体包括：
云端协同控制平台、边缘感知分析系统和移动终端控制系统；其中，所述移动终端控制系统安装在智能网联汽车或者道路的技术设施上，用于采集信息和执行协调控制指令；所述边缘感知分析系统部署在道路两侧或5G服务基站，用于采集信息和信息融合，所述云端协同控制平台部署在云端平台上，用于数据管理、业务通信和协调控制指令生成。
在一个或多个实施例中，优选地，所述云端协同控制平台包括算法模型库、算法训练引擎、模型分发器、协同调度/控制引擎；
所述算法训练引擎，用于获取所述边缘感知分析系统上传的第一感知数据，并进行算法训练，根据最小的目标函数值生成为运算模型；
所述算法模型库，用于获取所述算法训练引擎生成的所述运算模型；
所述模型分发器，用于将所述算法模型库中的所述运算模型转到所述边缘感知分析系统；
所述协同调度/控制引擎，用于根据所述感知数据实时进行状态评估，并给出控制指令到所述边缘感知分析系统；
所述协同调度/控制引擎内配置有最优计算调度决策算法；
所述模型分发器内配置有调度空间S算法。
在一个或多个实施例中，优选地，所述云端协同控制平台还包括服务治理与开放接口管理模块、能力容器管理模块、基础设施与运行环境平台；
所述服务治理与开放接口管理模块包括服务接口子模块、运营管理子模块、分发调度子模块和安全管理子模块，用于与移动终端进行多源异构数据的协同管理；
所述能力容器管理模块包括数据服务子模块、智能算法及应用子模块、微服务架构子模块、多源异构设备管理子模块、端云协同子模块，共同完成跨业务应用服务和动态信息的协同；
所述基础设施与运行环境平台，用于对于整个所述云端协同控制平台进行存储、运算和数据处理的性能支撑。
在一个或多个实施例中，优选地，所述移动终端控制系统，具体包括：本地感知模块、本地控制模块、本地上传模块、协同感知模块、协同控制模块；
所述本地感知模块通过移动终端上接入的传感器进行数据采集，并保存为协议数据；
所述本地控制模块用于接收所述边缘感知分析系统发送的控制指令信息，并根据所述控制指令信息进行协同控制；
所述本地上传模块用于将所述本地感知模块获得数据进行存储为固定格式的感知数据发送给所述协同感知模块和所述边缘感知分析系统；
所述协同感知模块，用于根据不同感知数据类型确定感知数据的置信度；
所述协同控制模块，用于获取所述边缘感知分析系统下发的控制指令。
在一个或多个实施例中，优选地，所述边缘感知分析系统，具体包括：感知分析模块和协同控制模块；
其中，所述感知分析模块包括云端数据收发器、深度学习引擎、路端数据采集器、终端数据接收器；
其中，所述协同控制模块包括云端控制接收器、决策控制器、终端控制下发器。
在一个或多个实施例中，优选地，所述最优计算调度决策算法，具体包括：
获取数据输入规模和计算调度集；
利用模型优化器生成历史计算数据，并利用代价估算模型计算回归损失函数的损失输出；
获取所述损失输出最低时对应的模型系数；
将所述模型系数发送给边缘计算模型，生成对应的目标模型；
将所述目标函数发送给所述边缘感知分析系统。
在一个或多个实施例中，优选地，所述调度空间S算法，具体包括：
设置输入数据，所述输入数据包括计算图中间表达量和边缘智能计算终端描述；
设置输出数据，所述输出数据为调度匹配空间；
初始化所述调度匹配空间；
根据所述边缘智能计算终端描述对所述计算图中间表达量进行算子融合和替换，生成计算图表达；
根据所述计算图中间表达量对硬件加速算子进行大小排序，生成调度配置集；
获取CPU对于所述硬件加速算子进行约束分析，生成不符合限制的调度集；
从所述调度配置集中三重化所述不符合限制的调度集，存储到调度匹配空间内。
根据本发明实施例第二方面，提供一种基于端云融合的协同控制方法。
在一个或多个实施例中，所述的一种基于端云融合的协同控制方法包括：
移动终端控制系统通过手机、无人机、汽车、交通灯、摄像头进行信息采集和协调控制指令执行；
边缘感知分析系统部署通过采集信息，并对获得的所述采集数据进行信息融合；
云端协同控制平台进行数据管理、业务通信和协调控制指令生成，并根据所述边缘感知分析系统发送的数据进行在线的运算模型训练。
根据本发明实施例第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如本发明实施例第一方面所述的方法。
根据本发明实施例第四方面，提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如本发明实施例第一方面所述的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
1)本发明实施例中，通过加入边缘感知分析子系统，使车辆的智能性不用过多提升的前提下，使实现L4级智能的难度降低。
2)本发明实施例中，通过多个边缘感知与云端协同控制，弥补了单个车辆感知存在盲区的难题；
3)本发明实施例中通过多种类型传感器通过进行运行状态的判断，并结合判断结果，可实现对于有人操控与无人驾驶的混合运行场景下的高效交通管理。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种基于端云融合的协同控制系统的结构图。
图2是本发明一个实施例的一种基于端云融合的协同控制系统中的云端协同控制平台的结构图。
图3是本发明一个实施例的一种基于端云融合的协同控制系统中的云侧与端侧连接关系的示意图。
图4是本发明一个实施例的一种基于端云融合的协同控制系统中的移动终端控制系统的结构图。
图5是本发明一个实施例的一种基于端云融合的协同控制系统中的感知置信度表的示意图。
图6是本发明一个实施例的一种基于端云融合的协同控制系统中的边缘感知分析系统的结构图。
图7是本发明一个实施例的一种基于端云融合的协同控制系统的结构示意图。
图8是本发明一个实施例的一种基于端云融合的协同控制系统中的最优计算调度决策算法的流程图。
图9是本发明一个实施例的一种基于端云融合的协同控制系统中的调度空间S算法的流程图。
图10是本发明一个实施例的一种基于端云融合的协同控制方法的流程图。
图11是本发明一个实施例中一种电子设备的结构图。
具体实施方式
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着汽车辅助驾驶技术的发展，人机协同控制被更多的应用到了汽车控制领域，在大量具备L2、L3级别的智能车辆上面已经实现了人机协同驾驶，随着L4级别的智能驾驶车辆的发展，越来越多的车辆具备了自主完成驾驶的能力。
但是，现有技术主要是集中在辅助驾驶方面。但对于从L4和L5级的完全自动驾驶，车辆需要应付更加复杂的道路环境，加上自动驾驶车辆本身感知的局限性。但是，目前尚不存在合理的融合了道路信息的自动驾驶。
随着智能网联汽车的发展，势必也会对现有的道路管理模式带来挑战，原有的城市交通管理系统需要应对智能化车辆与人驾驶车辆混合运行过程中的数据感知计算以及协同调度问题，从而确保两种不同驾驶模式的车辆之间不存在信息交互的鸿沟。具体的，两种不同驾驶模式为人驾驶和自动驾驶。
本发明实施例中，提供了一种基于端云融合的协同控制系统及方法。该方案通过对智能化车辆与人驾驶车辆混合运行过程中的数据感知计算进行在线运算、模型修正和实时调度控制，从而确保两种不同驾驶模式的车辆之间不存在信息交互的鸿沟，并提升无人驾驶管理效率。
根据本发明实施例第一方面，提供一种基于端云融合的协同控制系统。
图1是本发明一个实施例的一种基于端云融合的协同控制系统的结构图。
如图1所示，所述的一种基于端云融合的协同控制系统具体包括：
云端协同控制平台101、边缘感知分析系统102和移动终端控制系统103；其中，所述移动终端控制系统安装在智能网联汽车或者道路的技术设施上，用于采集信息和执行协调控制指令；所述边缘感知分析系统102部署在道路两侧或5G服务基站，用于采集信息和信息融合，所述云端协同控制平台101部署在云端平台上，用于数据管理、业务通信和协调控制指令生成。
在本发明实施例中，由于原始的通过智能网联汽车自身实现自动驾驶是极难的，但是通过本方案，可以有效的解决单车智能无法实现的场景功能的问题，通过明确各个层次之间的数据和控制指令流转过程，可以有效的明确不同的层级所获得的感知数据，进而利用相应的感知数据进行控制，实现端、边、云环境下的算法迭代更新。
图2是本发明一个实施例的一种基于端云融合的协同控制系统中的云端协同控制平台的结构图。
如图2所示，在一个或多个实施例中，优选地，所述云端协同控制平台101包括算法模型库201、算法训练引擎202、模型分发器203、协同调度/控制引擎204；
所述算法训练引擎202，用于获取所述边缘感知分析系统上传的第一感知数据，并进行算法训练，根据最小的目标函数值生成为运算模型；
所述算法模型库201，用于获取所述算法训练引擎生成的所述运算模型；
所述模型分发器203，用于将所述算法模型库201中的所述运算模型转到所述边缘感知分析系统102；
所述协同调度/控制引擎204，用于根据所述感知数据实时进行状态评估，并给出控制指令到所述边缘感知分析系统102；
所述协同调度/控制引擎204内配置有最优计算调度决策算法；
所述模型分发器203内配置有调度空间S算法。
在本发明实施例中，提供了具体的云端协同控制平台的系统结构，并通过该结构进行数据的获取、模型的训练和控制指令的生成，进而实现对于整个系统的实时在线控制。
图3是本发明一个实施例的一种基于端云融合的协同控制系统中的云侧与端侧连接关系的示意图。
在一个或多个实施例中，优选地，所述云端协同控制平台101还包括服务治理与开放接口管理模块、能力容器管理模块、基础设施与运行环境平台；
所述服务治理与开放接口管理模块包括服务接口子模块、运营管理子模块、分发调度子模块和安全管理子模块，用于与移动终端进行多源异构数据的协同管理；
所述能力容器管理模块包括数据服务子模块、智能算法及应用子模块、微服务架构子模块、多源异构设备管理子模块、端云协同子模块，共同完成跨业务应用服务和动态信息的协同；
所述基础设施与运行环境平台，用于对于整个所述云端协同控制平台进行存储、运算和数据处理的性能支撑。
在本发明实施例中，提供了除去协同控制和模型分析之外的功能配置，具体的功能配置包括两类，第一类是用于数据处理的，第二类是用于信息和服务协同的，通过上述两类方式进行了完整的与移动终端之间的数据交互。
图4是本发明一个实施例的一种基于端云融合的协同控制系统中的移动终端控制系统的结构图。
在一个或多个实施例中，优选地，所述移动终端控制系统103，具体包括：本地感知模块401、本地控制模块402、本地上传模块403、协同感知模块404、协同控制模块405；
所述本地感知模块401通过移动终端上接入的传感器进行数据采集，并保存为协议数据；
所述本地控制模块402用于接收所述边缘感知分析系统102发送的控制指令信息，并根据所述控制指令信息进行协同控制；
所述本地上传模块403用于将所述本地感知模块401获得数据进行存储为固定格式的感知数据发送给所述协同感知模块404和所述边缘感知分析系统102；
所述协同感知模块404，用于根据不同感知数据类型确定感知数据的置信度；
其中，所述置信度具体为感知数据置信度表，其结构形式如图5所示，感知数据置信度表可以包括不同数据来源下不同类型数据的置信度水平。
所述协同控制模块405，用于获取所述边缘感知分析系统下发的控制指令。
在本发明实施例中，所述移动终端控制系统此系统主要是一套软件+硬件设备，运行在各类智能移动终端设备上，所述的智能移动终端设备可以包括智能网联或无人驾驶汽车。该模块主要由本地感知模块、本地控制模块、数据上传模块、协同感知模块以及协同控制模块组成。本地感知模块通过终端数据采集器对移动终端接入的各类传感器数据进行数据采集或接收协同感知模块接收的边缘感知数据，即根据不同感知数据类型确定感知数据的置信度，从而确定数据在分析引擎中的计算权重，并传送到本地分析引擎进行分析，如果本地能够完成数据分析计算，便将分析产生的结果传送给本地控制模块，同时根据需要将感知数据通过数据上传模块传送给边缘感知协同系统。本地控制模块接收来自本地感知模块的分析结果、协同控制模块的控制指令，并将数据输入到本地决策控制器中，决策控制器根据不同数据来源的权重分析计算，产生执行控制指令，并发送给终端指令执行器执行。
图6是本发明一个实施例的一种基于端云融合的协同控制系统中的边缘感知分析系统的结构图。
如图6所示，在一个或多个实施例中，优选地，所述边缘感知分析系统102，具体包括：感知分析模块601和协同控制模块602；
其中，所述感知分析模块包括云端数据收发器603、深度学习引擎604、路端数据采集器605、终端数据接收器606；
其中，所述协同控制模块包括云端控制接收器607、决策控制器608、终端控制下发器609。
在本发明实施例中，边缘感知协同系统由感知分析模块及协同控制模块组成。其中感知分析模块包括终端数据接收器、路端数据采集器、深度学习引擎以及云端数据上报器，其中终端数据接收器接收来自终端需要边缘系统进行辅助分析的数据，路端数据采集器主要对路端的传感器数据进行采集，并根据实际需要将终端数据或路端数据传输到深度学习引擎中进行计算，计算得到的结果可以根据情况传送给协同控制模块，也可以下发给移动终端控制系统。同时计算的结果或者原始的感知数据也可以通过云端数据收发器发送给云平台进行算法模型训练，云端训练好的新模型也可以通过云端数据收发器下发到边缘感知协同系统的深度学习引擎中。协同控制模块主要接收感知分析模块输出结果以及云端控制平台的控制指令，输入到决策控制器中，决策控制器产生实际的控制指令，并通过终端控制下发器将控制指令下发给移动终端执行。
图7是本发明一个实施例的一种基于端云融合的协同控制系统的结构示意图。如图7所述，在本发明实施例中，确定了移动终端、边缘系统及云平台之间多层的感知数据与算法分析应用定义，并且明确了各层级之前数据及控制指令的流转过程，从而能够实现端侧、边缘侧及云侧的感知数据及控制指令协同，并且通过设置感知数据置信度表可以很好的解决在不同感知层应用时对于不同数据来源相对本层系统的可靠性的问题。与此同时，本专利方法阐明了在端、边、云环境下，如何实现算法的持续迭代更新的方法。通过上述配置方式有利于后续在实际应用过程中，能够根据场景数据不断优化系统的可靠性及精度。
图8是本发明一个实施例的一种基于端云融合的协同控制系统中的最优计算调度决策算法的流程图。
如图8所示，在一个或多个实施例中，优选地，所述最优计算调度决策算法，具体包括：
S801、获取数据输入规模和计算调度集；
S802、利用模型优化器生成历史计算数据，并利用代价估算模型计算回归损失函数的损失输出；
S803、获取所述损失输出最低时对应的模型系数；
S804、将所述模型系数发送给边缘计算模型，生成对应的目标模型；
S805、将所述目标函数发送给所述边缘感知分析系统。
在本发明实施例中，模型优化器是中枢模块，在每次迭代中，模型优化器根据代价估算模型选择性能最好的一批模型系数在边缘智能计算终端上运行，收集的数据用于更新历史数据和代价估算模型。代价估算模型生成的异构计算后端的代码和智能芯片模型一起编码为嵌入向量，然后，使用线性层为嵌入向量预测最终的代价值。目标函数通常选择回归损失函数。
图9是本发明一个实施例的一种基于端云融合的协同控制系统中的调度空间S算法的流程图。
如图9所示，在一个或多个实施例中，优选地，所述调度空间S算法，具体包括：
S901、设置输入数据，所述输入数据包括计算图中间表达量和边缘智能计算终端描述；
S902、设置输出数据，所述输出数据为调度匹配空间；
S903、初始化所述调度匹配空间；
S904、根据所述边缘智能计算终端描述对所述计算图中间表达量进行算子融合和替换，生成计算图表达；
S905、根据所述计算图中间表达量对硬件加速算子进行大小排序，生成调度配置集；
S906、获取CPU对于所述硬件加速算子进行约束分析，生成不符合限制的调度集；
S907、从所述调度配置集中三重化所述不符合限制的调度集，存储到调度匹配空间内。
在本发明实施例中，模型分发器则采用最优计算调度决策在给定智能硬件计算设备后，对计算图进行最优化计算调度，由异构计算后端并行完成各自计算子图的推理，达到全局计算延时最小。
根据本发明实施例第二方面，提供一种基于端云融合的协同控制方法。
图10是本发明一个实施例的一种基于端云融合的协同控制方法的流程图。
如图10所示，在一个或多个实施例中，所述的一种基于端云融合的协同控制方法包括：
S1001、移动终端控制系统通过手机、无人机、汽车、交通灯、摄像头进行信息采集和协调控制指令执行；
S1002、边缘感知分析系统部署通过采集信息，并对获得的所述采集数据进行信息融合；
S1003、云端协同控制平台进行数据管理、业务通信和协调控制指令生成，并根据所述边缘感知分析系统发送的数据进行在线的运算模型训练。
本发明实施例中，通过移动终端中的多类型设备进行数据的采集，并利用不同的智能设备执行不同的协调控制指令；在边缘感知分析系统对采集信息进行部署和分配，实现对于采集信息的融合和实时数据交互，在云端平台上通过实时获取的采集数据进行在线的运行模型训练，并通过实时获得的传感数据进行在线的运行，生成云端的控制指令，向下方的边缘感知协同系统和移动终端中下发，实现整个系统中的数据配合。
根据本发明实施例第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如本发明实施例第一方面中任一项所述的方法。
根据本发明实施例第四方面，提供一种电子设备。图11是本发明一个实施例中一种电子设备的结构图。图11所示的电子设备为通用端云协同控制装置，其包括通用的计算机硬件结构，其至少包括处理器1101和存储器1102。处理器1101和存储器1102通过总线1103连接。存储器1102适于存储处理器1101可执行的指令或程序。处理器1101可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器1101通过执行存储器1102所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线1103将上述多个组件连接在一起，同时将上述组件连接到显示控制器1104和显示装置以及输入/输出(I/O)装置1105。输入/输出(I/O)装置1105可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置1105通过输入/输出(I/O)控制器1106与系统相连。
本发明的实施例提供的技术方案可以包括以下有益效果：
1)本发明实施例中，通过加入边缘感知分析子系统，使车辆的智能性不用过多提升的前提下，使实现L4级智能的难度降低。
2)本发明实施例中，通过多个边缘感知与云端协同控制，弥补了单个车辆感知存在盲区的难题；
3)本发明实施例中通过多种类型传感器通过进行运行状态的判断，并结合判断结果，可实现对于有人操控与无人驾驶的混合运行场景下的高效交通管理。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于端云融合的协同控制系统，其特征在于，该系统包括云端协同控制平台、边缘感知分析系统和移动终端控制系统；其中，所述移动终端控制系统安装在智能网联汽车或者道路的技术设施上，用于采集信息和执行协调控制指令；所述边缘感知分析系统部署在道路两侧或5G服务基站，用于采集信息和信息融合，所述云端协同控制平台部署在云端平台上，用于数据管理、业务通信和协调控制指令生成。
2.如权利要求1所述的一种基于端云融合的协同控制系统，其特征在于，所述云端协同控制平台包括算法模型库、算法训练引擎、模型分发器、协同调度/控制引擎；
所述算法训练引擎，用于获取所述边缘感知分析系统上传的第一感知数据，并进行算法训练，根据最小的目标函数值生成为运算模型；
所述算法模型库，用于获取所述算法训练引擎生成的所述运算模型；
所述模型分发器，用于将所述算法模型库中的所述运算模型转到所述边缘感知分析系统；
所述协同调度/控制引擎，用于根据所述感知数据实时进行状态评估，并给出控制指令到所述边缘感知分析系统；
所述协同调度/控制引擎内配置有最优计算调度决策算法；
所述模型分发器内配置有调度空间S算法。
3.如权利要求1所述的一种基于端云融合的协同控制系统，其特征在于，所述云端协同控制平台还包括服务治理与开放接口管理模块、能力容器管理模块、基础设施与运行环境平台；
所述服务治理与开放接口管理模块包括服务接口子模块、运营管理子模块、分发调度子模块和安全管理子模块，用于与移动终端进行多源异构数据的协同管理；
所述能力容器管理模块包括数据服务子模块、智能算法及应用子模块、微服务架构子模块、多源异构设备管理子模块、端云协同子模块，共同完成跨业务应用服务和动态信息的协同；
所述基础设施与运行环境平台，用于对于整个所述云端协同控制平台进行存储、运算和数据处理的性能支撑。
4.如权利要求1所述的一种基于端云融合的协同控制系统，其特征在于，所述移动终端控制系统，具体包括：本地感知模块、本地控制模块、本地上传模块、协同感知模块、协同控制模块；
所述本地感知模块通过移动终端上接入的传感器进行数据采集，并保存为协议数据；
所述本地控制模块用于接收所述边缘感知分析系统发送的控制指令信息，并根据所述控制指令信息进行协同控制；
所述本地上传模块用于将所述本地感知模块获得数据进行存储为固定格式的感知数据发送给所述协同感知模块和所述边缘感知分析系统；
所述协同感知模块，用于根据不同感知数据类型确定感知数据的置信度；
所述协同控制模块，用于获取所述边缘感知分析系统下发的控制指令。
5.如权利要求1所述的一种基于端云融合的协同控制系统，其特征在于，所述边缘感知分析系统，具体包括：感知分析模块和协同控制模块；
其中，所述感知分析模块包括云端数据收发器、深度学习引擎、路端数据采集器、终端数据接收器；
其中，所述协同控制模块包括云端控制接收器、决策控制器、终端控制下发器。
6.如权利要求2所述的一种基于端云融合的协同控制系统，其特征在于，所述最优计算调度决策算法，具体包括：
获取数据输入规模和计算调度集；
利用模型优化器生成历史计算数据，并利用代价估算模型计算回归损失函数的损失输出；
获取所述损失输出最低时对应的模型系数；
将所述模型系数发送给边缘计算模型，生成对应的目标模型；
将所述目标函数发送给所述边缘感知分析系统。
7.如权利要求2所述的一种基于端云融合的协同控制系统，其特征在于，所述调度空间S算法，具体包括：
设置输入数据，所述输入数据包括计算图中间表达量和边缘智能计算终端描述；
设置输出数据，所述输出数据为调度匹配空间；
初始化所述调度匹配空间；
根据所述边缘智能计算终端描述对所述计算图中间表达量进行算子融合和替换，生成计算图表达；
根据所述计算图中间表达量对硬件加速算子进行大小排序，生成调度配置集；
获取CPU对于所述硬件加速算子进行约束分析，生成不符合限制的调度集；
从所述调度配置集中三重化所述不符合限制的调度集，存储到调度匹配空间内。
8.一种基于端云融合的协同控制方法，其特征在于，该方法包括：
移动终端控制系统通过手机、无人机、汽车、交通灯、摄像头进行信息采集和协调控制指令执行；
边缘感知分析系统部署通过采集信息，并对获得的所述采集数据进行信息融合；
云端协同控制平台进行数据管理、业务通信和协调控制指令生成，并根据所述边缘感知分析系统发送的数据进行在线的运算模型训练。
9.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求8中任一项所述的方法。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求8任一项所述的步骤。
CN202110483524.0A 2021-04-30 2021-04-30 一种基于端云融合的协同控制系统及方法 Active CN113327442B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110483524.0A CN113327442B (zh) 2021-04-30 2021-04-30 一种基于端云融合的协同控制系统及方法
PCT/CN2021/092325 WO2022227105A1 (zh) 2021-04-30 2021-05-08 一种基于端云融合的协同控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110483524.0A CN113327442B (zh) 2021-04-30 2021-04-30 一种基于端云融合的协同控制系统及方法

Publications (2)

Publication Number Publication Date
CN113327442A true CN113327442A (zh) 2021-08-31
CN113327442B CN113327442B (zh) 2023-04-28

Family

ID=77414002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110483524.0A Active CN113327442B (zh) 2021-04-30 2021-04-30 一种基于端云融合的协同控制系统及方法

Country Status (2)

Country Link
CN (1) CN113327442B (zh)
WO (1) WO2022227105A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113866758A (zh) * 2021-10-08 2021-12-31 深圳清航智行科技有限公司 一种场面监视方法、系统、装置及可读存储介质
CN114401285A (zh) * 2021-12-08 2022-04-26 广东电网有限责任公司 一种电力车联网智能算法模型协同下发方法及系统
CN114466043A (zh) * 2022-01-25 2022-05-10 岚图汽车科技有限公司 车联网系统、智能驾驶控制方法及其设备
CN115499477A (zh) * 2022-11-16 2022-12-20 无锡锐泰节能系统科学有限公司 一种智能化用能设备控制系统及控制方法
CN116033387A (zh) * 2022-11-30 2023-04-28 西部科学城智能网联汽车创新中心(重庆)有限公司 道路环境协同感知决策方法及装置
CN116620367A (zh) * 2023-07-24 2023-08-22 北京城建智控科技股份有限公司 云边协同的轨道控制系统
CN117251825A (zh) * 2023-11-20 2023-12-19 浙江大学 一种新能源电站多传感器数据融合平台
CN117395250A (zh) * 2023-12-12 2024-01-12 中国工业互联网研究院 一种云边端工业智能适配系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545198B (zh) * 2022-11-25 2023-05-26 成都信息工程大学 一种基于深度学习模型的边缘智能协同推断方法及系统
CN115840404B (zh) * 2022-12-21 2023-11-03 浙江大学 一种基于自动驾驶专用路网和数字孪生地图的云控自动驾驶系统
CN116013074A (zh) * 2023-01-05 2023-04-25 北京清丰智行科技有限公司 一种园区基于车路云协同的智慧出行系统
CN116405906B (zh) * 2023-01-05 2023-09-08 北京清丰智行科技有限公司 一种车路云一体化的时序数据管理系统及方法
CN116052420B (zh) * 2023-01-05 2023-09-22 北京清丰智行科技有限公司 一种用于园区的车路云协同大数据管理系统
CN116246474A (zh) * 2023-02-15 2023-06-09 珠海市思瑞达智能科技有限公司 基于云边端协同的交通信号相位配时控制方法及系统
CN116432940A (zh) * 2023-03-06 2023-07-14 河南工业大学 基于数字孪生技术的协同控制系统
CN116389256B (zh) * 2023-04-11 2023-09-19 广东云百科技有限公司 基于边缘计算的新能源汽车车联网系统
CN116214527B (zh) * 2023-05-09 2023-08-11 南京泛美利机器人科技有限公司 一种增强人机协作适应性的三体协同智能决策方法和系统
CN116366649B (zh) * 2023-06-01 2023-09-05 中电云脑(天津)科技有限公司 一种边云协同的脑电数据任务调度方法和系统
CN116542656B (zh) * 2023-07-05 2023-09-22 煤炭科学技术研究院有限公司 一种云边结合的矿用设备智能运维系统及方法
CN116680625B (zh) * 2023-08-04 2024-01-05 山东华科信息技术有限公司 基于云边端协同的配网多场景匹配数据处理方法及系统
CN116992235A (zh) * 2023-08-09 2023-11-03 哈尔滨天君科技有限公司 一种用于计算机并行化同步的大数据分析系统及方法
CN116885993B (zh) * 2023-09-05 2024-01-02 广东技术师范大学 融合云端和边缘端的伺服电机参数辨识方法、系统
CN116910161B (zh) * 2023-09-14 2023-12-15 杭州三汇数字信息技术有限公司 一种协同分析系统、方法、电子设备以及计算机可读介质
CN117149361B (zh) * 2023-10-30 2023-12-29 北京万界数据科技有限责任公司 一种训练模型多端协同优化系统
CN117527870B (zh) * 2023-12-07 2024-05-03 东莞信易电热机械有限公司 一种塑胶成型的控制方法及系统
CN117596755B (zh) * 2023-12-15 2024-04-16 广东瑞峰光电科技有限公司 一种物联网路灯智能控制方法及系统
CN117452460B (zh) * 2023-12-25 2024-03-19 武汉大学 北斗星地协同云边端弹性定位平台及方法
CN117527818A (zh) * 2024-01-08 2024-02-06 国网信息通信产业集团有限公司 一种基于分布式云平台的云边协同管理系统
CN117783795A (zh) * 2024-02-27 2024-03-29 南京中鑫智电科技有限公司 边缘分析的换流变阀侧套管绝缘状态综合分析方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857548A (zh) * 2012-04-25 2013-01-02 梁宏斌 一种移动云计算资源优化配置方法
CN107959708A (zh) * 2017-10-24 2018-04-24 北京邮电大学 一种基于云端-边缘端-车端的车联网服务协同计算方法与系统
CN110266677A (zh) * 2019-06-13 2019-09-20 广州中国科学院沈阳自动化研究所分所 一种面向工业制造的边缘计算智能网关及实现方法
CN110535700A (zh) * 2019-08-30 2019-12-03 哈尔滨工程大学 一种多用户多边缘服务器场景下的计算卸载方法
CN110928658A (zh) * 2019-11-20 2020-03-27 湖南大学 一种车边云协同架构的协同任务迁移系统及算法
CN111200528A (zh) * 2019-12-31 2020-05-26 中科智城(广州)信息科技有限公司 边云协同的智慧城市智能联动方法
CN112084030A (zh) * 2020-09-14 2020-12-15 重庆交通大学 基于云边协同的无人驾驶列车控制系统及其控制方法
CN112328380A (zh) * 2020-11-10 2021-02-05 武汉理工大学 一种基于异构计算的任务调度方法及装置
CN112394701A (zh) * 2020-12-10 2021-02-23 之江实验室 一种基于云边端混合计算环境的多机器人云控系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595175B2 (en) * 2017-06-23 2020-03-17 Veniam, Inc. Methods and systems for detecting anomalies and forecasting optimizations to improve smart city or region infrastructure management using networks of autonomous vehicles
CN109714421B (zh) * 2018-12-28 2021-08-03 国汽(北京)智能网联汽车研究院有限公司 基于车路协同的智能网联汽车运行系统
CN109448385A (zh) * 2019-01-04 2019-03-08 北京钛星科技有限公司 基于车路协同的自动驾驶车辆交叉路口调度系统及方法
CN111367292A (zh) * 2020-03-20 2020-07-03 特路（北京）科技有限公司 自动驾驶汽车智能道路系统
CN112289059A (zh) * 2020-10-22 2021-01-29 中电智能技术南京有限公司 一种车路协同道路交通系统
CN112309122A (zh) * 2020-11-19 2021-02-02 北京清研宏达信息科技有限公司 一种基于多系统协同的智慧公交分级决策系统
CN112650581A (zh) * 2020-12-21 2021-04-13 湘潭大学 一种面向智能楼宇的云边协同任务调度方法
CN112685162A (zh) * 2021-01-06 2021-04-20 华南理工大学 边缘服务器异构计算资源的高效能调度方法、系统和介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857548A (zh) * 2012-04-25 2013-01-02 梁宏斌 一种移动云计算资源优化配置方法
CN107959708A (zh) * 2017-10-24 2018-04-24 北京邮电大学 一种基于云端-边缘端-车端的车联网服务协同计算方法与系统
CN110266677A (zh) * 2019-06-13 2019-09-20 广州中国科学院沈阳自动化研究所分所 一种面向工业制造的边缘计算智能网关及实现方法
CN110535700A (zh) * 2019-08-30 2019-12-03 哈尔滨工程大学 一种多用户多边缘服务器场景下的计算卸载方法
CN110928658A (zh) * 2019-11-20 2020-03-27 湖南大学 一种车边云协同架构的协同任务迁移系统及算法
CN111200528A (zh) * 2019-12-31 2020-05-26 中科智城(广州)信息科技有限公司 边云协同的智慧城市智能联动方法
CN112084030A (zh) * 2020-09-14 2020-12-15 重庆交通大学 基于云边协同的无人驾驶列车控制系统及其控制方法
CN112328380A (zh) * 2020-11-10 2021-02-05 武汉理工大学 一种基于异构计算的任务调度方法及装置
CN112394701A (zh) * 2020-12-10 2021-02-23 之江实验室 一种基于云边端混合计算环境的多机器人云控系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王桂彬: "基于通信感知任务划分的异构系统低功耗优化方法", 《小型微型计算机系统》 *
邹萍等: "面向边缘计算的制造资源感知接入与智能网关技术研究", 《计算机集成制造系统》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113866758A (zh) * 2021-10-08 2021-12-31 深圳清航智行科技有限公司 一种场面监视方法、系统、装置及可读存储介质
CN114401285A (zh) * 2021-12-08 2022-04-26 广东电网有限责任公司 一种电力车联网智能算法模型协同下发方法及系统
CN114401285B (zh) * 2021-12-08 2023-12-05 广东电网有限责任公司 一种电力车联网智能算法模型协同下发方法及系统
CN114466043B (zh) * 2022-01-25 2023-10-31 岚图汽车科技有限公司 车联网系统、智能驾驶控制方法及其设备
CN114466043A (zh) * 2022-01-25 2022-05-10 岚图汽车科技有限公司 车联网系统、智能驾驶控制方法及其设备
CN115499477A (zh) * 2022-11-16 2022-12-20 无锡锐泰节能系统科学有限公司 一种智能化用能设备控制系统及控制方法
CN116033387B (zh) * 2022-11-30 2023-08-25 西部科学城智能网联汽车创新中心(重庆)有限公司 道路环境协同感知决策方法及装置
CN116033387A (zh) * 2022-11-30 2023-04-28 西部科学城智能网联汽车创新中心(重庆)有限公司 道路环境协同感知决策方法及装置
CN116620367B (zh) * 2023-07-24 2023-10-24 北京城建智控科技股份有限公司 云边协同的轨道控制系统
CN116620367A (zh) * 2023-07-24 2023-08-22 北京城建智控科技股份有限公司 云边协同的轨道控制系统
CN117251825A (zh) * 2023-11-20 2023-12-19 浙江大学 一种新能源电站多传感器数据融合平台
CN117251825B (zh) * 2023-11-20 2024-02-09 浙江大学 一种新能源电站多传感器数据融合平台
CN117395250A (zh) * 2023-12-12 2024-01-12 中国工业互联网研究院 一种云边端工业智能适配系统

Also Published As

Publication number Publication date
WO2022227105A1 (zh) 2022-11-03
CN113327442B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN113327442B (zh) 一种基于端云融合的协同控制系统及方法
Zhao et al. DeCAST in TransVerse for parallel intelligent transportation systems and smart cities: Three decades and beyond
EP3418996A1 (en) Real-time vehicle state trajectory prediction for vehicle energy management and autonomous drive
Cui et al. Offloading autonomous driving services via edge computing
CN110850711A (zh) 基于云端的辅助驾驶控制系统及方法
CN109501630A (zh) 一种电动汽车充电方案实时推荐方法及系统
Dai et al. Image-based traffic signal control via world models
CN113642177A (zh) 数字孪生虚实多车混行仿真方法及装置
CN111267866A (zh) 信息处理方法、装置、介质及电子设备
CN104123847A (zh) 基于acp方法的交通信号推荐系统及相应方法
Vakaruk et al. Forecasting automated guided vehicle malfunctioning with deep learning in a 5G-based industry 4.0 scenario
CN114781635A (zh) 模型部署方法、装置、设备和介质
CN112671487B (zh) 一种车辆测试的方法、服务器以及测试车辆
CN115392548A (zh) 一种针对出行站点的出行需求预测方法、装置及存储介质
CN111833074A (zh) 网约车的纠纷责任认定方法、装置和计算机可读存储介质
CN113010296B (zh) 基于形式化模型的任务解析与资源分配方法及系统
Curiel-Ramirez et al. Hardware in the loop framework proposal for a semi-autonomous car architecture in a closed route environment
CN117002530A (zh) 车辆未来运动轨迹预测方法、装置及无人驾驶设备
Armengaud et al. Development framework for longitudinal automated driving functions with off-board information integration
US20230060383A1 (en) System and method of off-board-centric autonomous driving computation
CN116403174A (zh) 一种端到端自动驾驶方法、系统、仿真系统及存储介质
US20220391558A1 (en) Multi-agent simulation system and method
CN115454082A (zh) 车辆避障方法及系统、计算机可读存储介质和电子设备
CN115514787A (zh) 用于车联网环境的智能无人机辅助决策规划方法及装置
Jiao et al. Vehicle speed prediction using a combined neural network of convolution and gated recurrent unit with attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant