CN111290381A - 基于无人车的联邦学习实验系统 - Google Patents

Abstract

本发明公开了一种基于无人车的联邦学习实验系统，所述系统包括工作站、通信装置和至少两个无人车；无人车中安装无人车开发环境，工作站中安装工作站开发环境；通信装置用于建立系统中各个设备之间的通信连接；无人车用于运行开发人员通过无人车开发环境开发的无人车AI控制算法，并将无人车AI控制算法中的模型数据上发至工作站参与联邦学习以优化无人车AI控制算法；工作站，用于运行开发人员通过工作站开发环境开发的联邦学习框架，通过联邦学习框架对各所述无人车上发的模型数据进行联邦学习优化处理。本发明通过为开发人员提供一个进行联邦学习开发和应用试验的实验系统，降低了联邦学习应用落地过程的难度，也缩短了开发人员的开发周期。

Description

基于无人车的联邦学习实验系统

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于无人车的联邦学习实验系统。

背景技术

联邦学习是一个新出现的人工智能研究方向。通过联邦学习，各个人工智能主体的模型综合起来产生更优化的模型，并保持各个主体业务数据的保密性。相比于传统的独自训练模型的方式，联邦学习存在诸多优势。例如，联邦学习通过综合不同个体和工作环境中产生的模型，可以产生更完备的更优化的模型；通过多个个体的联邦学习，学习的速度更快，能够在更短的时间内达到理想的模型结果等等。因此，在目前的人工智能应用中，联邦学习被认为在智慧金融、物联网、自动驾驶等具备分布式大数据的行业，具备很大的应用价值和前景。

但是，因为联邦学习是一个新出现的研究方向，以及它所面向的应用通常是具备分布式大数据的业务场景，具备这样条件的公司通常是具备较大规模的企事业单位，如自动驾驶公司、银行、政府机构等。因此，在联邦学习应用落地过程中，因涉及到较大体量的业务数据，需采用审慎的步骤，使得联邦学习应用落地过程复杂困难，且周期冗长。

发明内容

本发明的主要目的在于提供一种基于无人车的联邦学习实验系统，旨在解决目前存在的联邦学习应用落地过程复杂困难，且周期冗长的技术问题。

为实现上述目的，本发明提供一种基于无人车的联邦学习实验系统，所述系统包括工作站、通信装置和至少两个无人车；所述无人车中安装无人车开发环境，所述工作站中安装工作站开发环境；

所述通信装置，用于建立所述系统中各个设备之间的通信连接，以供所述系统中各个设备之间进行数据交换；

所述无人车，用于运行开发人员通过所述无人车开发环境开发的无人车人工智能AI控制算法以控制所述无人车行驶，并将所述无人车AI控制算法中的模型数据上发至所述工作站参与联邦学习以优化所述无人车AI控制算法；

所述工作站，用于运行开发人员通过所述工作站开发环境开发的联邦学习框架，通过所述联邦学习框架对各所述无人车上发的模型数据进行联邦学习优化处理。

可选地，所述工作站还安装无人车模拟驾驶的仿真环境，所述工作站开发环境包括AI算法开发环境，

所述工作站，还用于在所述仿真环境中运行开发人员通过所述AI算法开发环境开发的仿真环境AI控制算法，并通过所述联邦学习框架对所述仿真环境AI控制算法中的模型数据以及各所述无人车上发的模型数据进行联邦学习优化处理。

可选地，所述工作站，还用于在所述仿真环境中运行和优化所述仿真环境AI控制算法，并将优化后的所述仿真环境AI控制算法迁移至所述无人车中以优化所述无人车AI控制算法。

可选地，所述系统还包括用于设置在无人车驾驶场景周围的摄像设备，所述摄像设备包括摄像头装置和摄像端计算单元，

所述摄像设备，用于在所述摄像端计算单元中运行摄像端AI算法以对所述摄像头装置采集的所述无人车运动的画面数据进行处理，并将所述摄像端AI算法中的模型数据上传至所述工作站参与纵向联邦学习，以优化所述无人车AI控制算法；

相应地，所述工作站用于通过所述联邦学习框架对所述摄像设备上传的模型数据和各所述无人车上传的模型数据进行纵向联邦学习优化处理。

可选地，所述无人车包括无人车计算单元和设置在无人车中的传感器，

所述无人车，用于在所述无人车计算单元中运行所述无人车AI控制算法，根据所述传感器采集的传感器数据得出所述无人车的控制信号，根据所述控制信号控制所述无人车行驶。

可选地，所述传感器包括惯性测量单元、激光雷达和摄像头中的一个或多个。

可选地，所述系统还包括显示屏，

所述显示屏用于可视化输出实验数据，所述实验数据包括以下一项或多项：所述无人车中传感器采集的传感器数据、所述摄像设备采集的画面数据、联邦学习过程中模型数据传输和优化的可视化分析数据。

可选地，所述通信装置包括无线路由器，

所述通信装置用于通过所述无线路由器将所述系统中各个设备的无线网络配置于同一局域网内，以供所述系统中各个设备之间进行数据交换。

可选地，所述无人车开发环境包括嵌入式操作系统、机器人操作系统和深度学习库。

可选地，所述工作站开发环境还包括无人车调试环境，

所述工作站，还用于基于所述无人车调试环境连接所述无人车计算单元，将所述嵌入式操作系统下载至所述无人车中；或，

所述工作站，还用于基于所述无人车调试环境远程登录所述无人车，向所述无人车发送控制指令；或，

所述工作站，还用于基于所述无人车调试环境远程获取所述无人车的运行信息，根据所述运行信息进行分析以修改优化所述无人车中的程序。

本发明中，基于无人车的联邦学习实验系统通过无人车、工作站和通信装置，为开发人员提供了一个用于研究和开发联邦学习应用的硬件框架，并通过工作站为开发人员提供用于开发软件层面的联邦学习框架的开发环境，通过无人车为开发人员提供了用于邢无人车AI控制算法的开发环境，从而使得开发人员在实际环境中搭建和应用联邦学习框架和人工智能算法之前，可以在实验系统中先进行搭建和应用试验，从而避免开发人员在实际环境中花费较长时间进行试验，提高开发效率，降低开发难度。具体地，在应用于实际业务之前，可先在实验系统中搭建联邦学习框架，验证联邦学习算法，以保证整体框架和学习算法的有效性；在业务应用中，涉及到需要增加功能或者修改算法，可以先在实验环境进行试验，经验证有效之后，再应用于实际业务，以保证业务的正常工作。相比实际的业务应用，通过实验系统提供的实验环境，能够更快地、更灵活地进行联邦学习框架和人工智能算法的研究。

附图说明

图1是本发明第一实施例提供的一种基于无人车的联邦学习实验系统的结构示意图；

图2为本发明实施例涉及的一种无人车基于AI控制算法控制实现智能控制的示意图；

图3为本发明实施例涉及的一种横向联邦学习框架示意图；

图4为本发明实施例涉及的一种纵向联邦学习框架示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

由背景技术可知，各个人工智能主体通过联邦学习进行模型训练，相比于传统的模型训练方式，能够通过综合不同个体和工作环境中产生的模型，可以产生更完备的更优化的模型，并保持各个主体业务数据的保密性，也即，由于联邦学习存在着诸多优势，也使得联邦学习成为了一个新的人工智能研究方向，被认为在智慧金融、物联网、自动驾驶等具备分布式大数据的行业，具备很大的应用价值和前景。但是，由于联邦学习所面向的应用场景通常涉及较大体量的业务数据，因此，使得联邦学习的开发和应用落地过程变得复杂困难，且周期冗长。

因此，本发明实施例提供了一种基于无人车的联邦学习实验系统。旨在通过实验系统中的环境、设施来支持联邦学习的研究和应用试验。

参照图1，为本发明第一实施例提供的一种基于无人车的联邦学习实验系统的结构示意图。在本实施例中，所述基于无人车的联邦学习实验系统包括工作站、通信装置和至少两个无人车；所述无人车中安装无人车开发环境，所述工作站中安装工作站开发环境；

该工作站可以是远程设备，也可以是便携式设备。工作站可采用高性能的计算处理单元(CPU)和图像处理单元(GPU)。工作站中通过安装工作站开发环境，供开发人员在工作站中开发联邦学习框架或其他的应用程序。

其中，联邦学习框架可以是运作于工作站用于协调实验系统中无人车等设备进行联邦学习的软件，开发人员基于实际的任务场景利用工作站提供的开发环境开发联邦学习框架。也即，本实施例中，通过系统中的无人车、工作站和通信装置为开发人员提供了一个联邦学习的硬件框架，通过工作站为开发人员提供用于开发软件层面的联邦学习框架的开发环境，从而使得开发人员在实际环境中搭建和应用联邦学习框架之前，可以在实验系统中先进行联邦学习框架的搭建和应用试验，从而避免开发人员在实际环境中花费较长时间进行试验，提高开发效率，降低开发难度。

该无人车是一个模型车和车载计算主机等硬件集合的设备，并安装了无人车开发环境，供用户通过无人车开发环境开发无人车AI(Artificial Intelligence，人工智能)控制算法。无人车作为人工智能主体，通过车载计算主机运行无人车AI控制算法实现对无人车的行驶控制。其中，无人车AI控制算法是可以通过深度强化学习模型来实现的，深度强化学习模型可以是DQN模型或DDPG模型等，具体地，开发人员通过无人车中提供的开发环境，基于具体的任务目标如避障通行、高速通行等开发无人车AI控制算法，并在在无人车以及相应任务场景中进行AI控制算法的试验和验证。应当理解的是，AI控制算法的性质是：在运行过程中，AI控制算法通过外界的反馈不断进行训练学习，从而不断优化控制效果，完成设定的目标，如避障通行、高速通行等。也即，本实施例中通过无人车为开发人员提供用于开发无人车AI控制算法的开发环境，从而使得开发人员在实际环境中搭建和应用无人车AI控制算法之前，可以在实验系统中先进行无人车AI控制算法的搭建和应用试验，从而避免开发人员在实际环境中花费较长时间进行试验，提高开发效率，降低开发难度。

可选地，无人车开发环境可包括嵌入式操作系统、机器人操作系统、Python(一种解释型脚本语言)开发环境、GPU支持库和深度学习库等，还可包括IMU(Inertialmeasurement unit，惯性测量单元)、激光雷达、摄像头等设备的驱动程序，深度学习库为开发人员提供用于开发无人车AI控制算法的各种工具，如深度学习库可采用Tensorflow。其中，TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。通过无人车中安装的嵌入式操作系统、机器人操作系统，深度学习库和设备驱动程序等的一个工具链环境，能够支持人工智能算法和控制程序的开发。

该通信装置可以是包括无线路由器在内的装置。在具体地应用过程中，该通信装置用于建立系统中各个设备之间的通信连接，以供系统中各个设备之间进行数据交换，如供系统中的无人车与工作站进行模型数据的交换。

可选地，该实验系统还可包括场景设置，场景设置主要为无人车的运行设定的一个场景，包括车道、地面标示、障碍物等元素，为无人车提供一个通行和避障任务的场景，通过挡板、塑胶模型、贴纸等材料来实现。

可选地，无线路由器可采用千兆以上的无线路由器，在工作中，该通信装置用于通过无线路由器将系统中各个设备的无线网络配置于同一局域网内，以供系统中各个设备之间进行数据交换。具体地，各个设备可以通过TCP/IP(Transmission Control Protocol/Internet Protocol，传输控制协议/因特网互联协议)协议进行通讯。

在具体地应用过程中，该无人车用于运行开发人员通过无人车开发环境开发的无人车人工智能AI控制算法以控制无人车行驶，并将无人车AI控制算法中的模型数据上发至工作站参与联邦学习以优化无人车AI控制算法。

该工作站，用于运行开发人员通过工作站开发环境开发的联邦学习框架，通过联邦学习框架对各无人车上发的模型数据进行联邦学习优化处理。具体地，工作站对无人车上发的模型数据进行联邦学习优化处理，可以是通过横向联邦学习的方式对无人车上发的模型数据进行融合，再将融合后的模型数据返回给各个无人车，经过多轮的优化处理，不断优化无人车AI控制算法。根据联邦学习的原理，多个无人车组成学习框架能够使无人车的人工智能模型共同快速的达到优化的效果。

可选地，该无人车可包括无人车计算单元和设置在无人车中的传感器，无人车计算单元可以是嵌入式计算主机，嵌入式计算主机可以是带高性能计算处理单元(CPU)和图像处理单元(GPU)的嵌入式计算机。该无人车，用于在无人车计算单元中运行无人车AI控制算法，根据传感器采集的传感器数据得出无人车的控制信号，所述控制信号控制所述无人车行驶。具体地，设置在无人车中的传感器用于采集传感器数据，传感器的类型不同，所采集的数据类型不同，如感受周围环境的传感器用于采集环境数据，感受无人车状态的传感器用于采集无人车的状态数据。传感器与无人车计算单元连接，在无人车的运行过程中，向计算单元传递实时传感器数据。无人车通过嵌入式计算主机组成的无人车计算单元运行无人车AI控制算法，将传感器数据作为无人车AI控制算法的输入，输出无人车的控制信号，比如车速、方向等，根据控制信号驱动无人车行驶。

可选地，参照图2，为本实施例涉及的一种无人车基于AI控制算法控制实现智能控制的示意图，无人车中的传感器可包括惯性测量单元IMU、激光雷达和双目摄像头等中的一个或多个，IMU输出无人车的姿态、加速度、角速度等车辆驾驶状态相关的信息；激光雷达通过激光扫描给出圆周扫描范围内物体到雷达的距离信息，通过此信息可以辨识接近无人车的障碍物；摄像头则给出基于图像或视频的视觉信息，根据视觉信息可以进行目标(比如车道)的识别，从而执行相应的控制策略。由于无人车可包含多样的传感器，从而使得无人车可支持基于激光雷达数据的学习控制，也可以支持基于视觉信息的学习控制，开发人员可根据实际研究的需要来选择，从而扩大了实验系统的应用范围。

在本实施例中，基于无人车的联邦学习实验系统通过无人车、工作站和通信装置，为开发人员提供了一个用于研究和开发联邦学习应用的硬件框架，并通过工作站为开发人员提供用于开发软件层面的联邦学习框架的开发环境，通过无人车为开发人员提供了用于邢无人车AI控制算法的开发环境，从而使得开发人员在实际环境中搭建和应用联邦学习框架和人工智能算法之前，可以在实验系统中先进行搭建和应用试验，从而避免开发人员在实际环境中花费较长时间进行试验，提高开发效率，降低开发难度。具体地，在应用于实际业务之前，可先在实验系统中搭建联邦学习框架，验证联邦学习算法，以保证整体框架和学习算法的有效性；在业务应用中，涉及到需要增加功能或者修改算法，可以先在实验环境进行试验，经验证有效之后，再应用于实际业务，以保证业务的正常工作。相比实际的业务应用，通过实验系统提供的实验环境，能够更快地、更灵活地进行联邦学习框架和人工智能算法的研究。

进一步的，基于上述第一实施例，提出本发明基于无人车的联邦学习实验系统的第二实施例。在本实施例中，参照图3，为本实施例涉及的一种横向联邦框架示意图，所述工作站还安装无人车模拟驾驶的仿真环境，所述工作站开发环境包括AI算法开发环境。

其中，工作站安装无人车模拟驾驶的仿真环境，实现在计算机上的模拟驾驶训练，通过模拟驾驶训练可以研究和优化无人车驾驶的深度学习算法，同时得到的模型可以应用到实际的无人车上。工作站开发环境除了包括用于联邦学习框架开发的开发环境外，还可包括AI算法开发环境，供开发人员在工作站中开发无人车的仿真环境AI控制算法。具体地，工作站中的AI算法开发环境可包括Python等常用开发工具和Tensorflow等常用深度学习库，以支持开发人员基于各自实际场景任务开发仿真环境AI控制算法。仿真环境AI控制算法与无人车AI控制算法类似，但主要运行在仿真环境中，通过在仿真环境中的运行过程，不断优化控制效果。

所述工作站，还用于在仿真环境中运行开发人员通过AI算法开发环境开发的仿真环境AI控制算法，并通过联邦学习框架对仿真环境AI控制算法中的模型数据以及各无人车上发的模型数据进行联邦学习优化处理。具体地，工作站在仿真环境中运行仿真环境AI控制算法，在仿真环境中进行模型的训练，并将无人车上发的模型数据与仿真环境AI控制算法的模型数据进行联合的联邦学习优化处理，优化处理过程可以是通过横向联邦学习的方式对无人车上发的模型数据以及仿真环境AI控制算法的模型数据进行融合，再将融合后的模型数据返回给各个无人车以及仿真环境，经过多轮的优化处理，不断优化无人车AI控制算法和仿真环境AI控制算法。也即工作站通过联邦学习框架同多个无人车进行通讯，交互模型数据，也和仿真环境中的无人车进行通讯和模型数据的交互，这样就构成了由多个无人车以及仿真环境中的无人车组成的一个联邦学习实验平台。通过仿真环境提高各种无人车的模拟驾驶环境，并通过联邦学习框架联合不同仿真环境中的无人车，以及实验系统中真实的无人车进行模型的综合优化，从而得到更优化的、更完备的、能够适应更广范围业务环境的模型。

进一步地，所述工作站，还用于在仿真环境中运行和优化仿真环境AI控制算法，并将优化后的仿真环境AI控制算法迁移至无人车中以优化无人车AI控制算法。具体地，工作站可以在仿真环境中运行仿真环境AI控制算法，通过运行过程，不断优化仿真环境AI控制算法。在获得优化后的仿真环境后，工作站支持将优化后的仿真环境AI控制算法迁移至无人车中，通过这种方式来优化无人车的AI控制算法，即给予无人车一个基础的优化模型，避免过长的无人车实体的训练时间。

在本实施例中，通过工作站中的仿真环境，能够为来访人员提供更多开发功能，从而使得开发人员能够基于各自研究和开发任务，更好地进行联邦学习框架和AI控制算法的开发和应用，缩短实际业务场景中联邦学习框架和AI控制算法的开发和应用落地的时间，同时降低了开发复杂度。

可选地，所述工作站开发环境还包括无人车调试环境。其中，无人车调试系统提供了开发人员通过工作站对无人车进行调试的窗口，从而便于开发人员对无人车进行各种控制、调试，提高了开发人员的开发效率。所述工作站还用于基于无人车调试环境连接无人车计算单元，将嵌入式操作系统下载至所述无人车中；或，工作站，还用于基于无人车调试环境远程登录无人车，向无人车发送控制指令；或，工作站，还用于基于无人车调试环境远程获取无人车的运行信息，根据运行信息进行分析以修改优化无人车中的程序。具体地，工作站支持开发人员在工作站中远程登录连接无人车，并将嵌入式操作系统下载至无人车中，从而为无人车配置基本的运行环境和开发环境。工作站还支持开发人员通过无人车调试环境向无人车发送控制指令，以对无人车进行程序运行的控制，从而协调各个无人车进行联邦学习或无人车AI智能算法的优化。工作站用于远程获取无人车的运行信息，支持开发人员对运行信息进行分析并修改优化无人车中的程序。例如，工作站向无人车发送数据收集指令，收集无人车中的AI智能控制算法的运行信息，并通过无人车调试环境输出这些运行信息给开发人员，以供开发人员通过分析运行信息后，在无人车调试环境中触发修改算法、程序等调试指令，工作站基于调试指令对无人车进行调试，如修改无人车中的AI控制算法。

以下是通过本实施例实验系统中的设备，搭建一个支持横向联邦学习实验平台的步骤：

1)工作站安装准备：

a)安装操作系统，可以是多操作系统，以实现对不同仿真环境和工具链的支持；

b)安装应用程序开发环境，以支持C++/Python等程序语言的支持；

c)安装深度学习库(如Tensorflow等)；

d)安装无人车调试环境，以支持通过工作站对无人车进行系统安装；

e)安装仿真环境，以实现在计算机上进行无人车仿真驾驶，开发相应的控制策略和学习算法。

2)无人车安装准备：

a)安装嵌入式操作系统，无人车操作系统安装通过工作站进行下载；

b)安装应用程序开发环境，以支持小车应用程序的开发；

c)安装机器人操作系统，用以支持无人车控制程序框架的搭建；

d)安装IMU、激光雷达、摄像头等设备的驱动程序实现对小车的控制；

e)安装GPU支持、深度学习库等工具链；

3)建立组网环境：

a)安装设置无线路由设备；

b)配置工作站的无线网络；

c)配置无人车的无线网络；

工作站和无人车的无线网络配置在同一个局域网段，以支持无人车和工作站之间的数据交互。

在这个平台的基础上，可以进行联邦学习相关的开发和研究，整体研发的步骤可如下：

先建立单个无人车的人工智能算法研究实验：

a)在工作站开发环境开发无人车控制的仿真环境AI控制算法；

b)在仿真环境中进行无人车模拟驾驶，对仿真环境AI控制算法进行训练和优化；

c)在无人车开发环境开发无人车AI控制算法；

d)迁移工作站仿真环境训练得到的优化模型至无人车得到优化的控制效果，通过这种方式，给予无人车一个基础的优化模型，避免过长的无人车实体的训练时间；

e)在无人车结合实际的任务场景进一步训练，得到进一步优化的控制效果。

在上述步骤基础上，进行联邦学习的实验研究开发步骤如下：

a)在工作站开发环境开发联邦学习框架；

b)分别在多个无人车建立无人车AI控制算法和初始的模型；

c)在工作站建立和无人车的远程登陆连接，开发指令系统以向无人车发送指令，协调多个无人车运行；

实际的联邦学习实验运行过程如下：

a)工作站开机、启动操作系统和相关的工具环境；

b)多个无人车开机和启动操作系统，建立和工作站的连接；

c)通过工作站发送指令给多个无人车，启动无人车人工智能算法；

d)运行工作站仿真环境，在仿真环境中运行多个无人小车；

e)运行联邦学习框架，开始进行联邦学习；

联邦学习框架同多个无人车进行通讯，交互模型数据，也和仿真环境中的无人车进行通讯和模型数据的交互，这样就构成了由多个无人车以及仿真环境中的无人车组成的一个联邦学习实验平台，根据联邦学习的原理，多个无人车组成学习框架能够使无人车的人工智能模型共同快速的达到优化的效果。

进一步地，基于上述第一和第二实施例，提出本发明基于无人车的联邦学习实验系统的第三实施例。在本实施例中，参照图4，为本实施例涉及的一种纵向联邦框架示意图，所述系统还包括用于设置在无人车驾驶场景周围的摄像设备(图4所示的摄像头终端设备)，所述摄像设备包括摄像头装置和摄像端计算单元。其中，摄像端计算单元可以是嵌入式主机，嵌入式主机可为包含高性能的计算处理单元和图像处理单元的计算主机。摄像头装置用于采集无人车运动过程中的画面数据，包括图像和视频，由于摄像设备可设置于无人车驾驶场景周围，如实验系统部署于一个房间时，摄像设备可设置于房间的各个角落，使得摄像设备能够采集到无人车自身传感器无法采集的一些画面数据，从而从另一个方面补充无人车的环境数据。

所述摄像设备，用于在所述摄像端计算单元中运行摄像端AI算法以对所述摄像头装置采集的所述无人车运动的画面数据进行处理，并将所述摄像端AI算法中的模型数据上传至所述工作站参与纵向联邦学习，以优化所述摄像端AI算法。具体地，摄像端在摄像端计算单元中运行摄像端AI算法，摄像端AI算法不同于无人车中的AI控制算法，摄像端AI算法的输入为任务场景和摄像设备中摄像头装置所采集的画面数据，对摄像头装置所采集的画面数据进行处理，并将摄像端AI算法中的模型数据上传至工作站参与纵向联邦学习，通过纵向联邦学习优化无人车AI控制算法。对应地，摄像端AI算法也通过纵向联邦学习得到优化。

相应地，所述工作站用于通过所述联邦学习框架对所述摄像设备上传的模型数据和各所述无人车上传的模型数据进行纵向联邦学习优化处理。具体地，工作站接收摄像设备上传的模型数据，对摄像设备上传的模型数据和无人车上传的模型数据进行纵向联邦学习优化处理，优化处理的过程可以是通过纵向联邦学习的方式对无人车上发的模型数据和摄像设备上发的模型数据进行融合，再将融合后的模型数据返回给各个无人车和摄像设备，经过多轮的优化处理，不断优化无人车AI控制算法以及摄像端AI算法。

也即，在运行过程中，无人车运行无人车AI控制算法，与工作站进行模型数据的交互，摄像设备也运行摄像端AI算法，与工作站进行模型数据的交互。摄像设备和无人车属于不同类型的人工智能主体，运行不同的AI算法，都和工作站进行模型数据交换，整体组成一个纵向联邦学习的设备框架。

需要说明的是，有些部分如工作站和无人车的功能模块、工作站和无人车之间的连接和调试关系、仿真环境中的无人车模型等，在前面图3所示的横向联邦学习框架图，以及第二实施例中已经描述过，在本实施例的纵向联邦学习框架中同样可以包括，在图4中不再表现，图4主要用于表示纵向联邦学习的部分。

在本实施例中，通过实验系统中的无人车、摄像设备、工作站和通信装置，为开发人员提供了一个用于研究纵向联邦学习应用的硬件框架，并通过摄像设备中运行摄像端AI算法，与工作站进行模型数据的交互，工作站运行联邦学习框架对摄像设备和无人车上发的模型数据进行纵向联邦学习处理，使得实验系统不仅支持横向联邦学习框架的搭建和应用试验，还能够支持纵向联邦学习框架的研究，避免了开发人员在实际环境中花费较长时间进行试验，提高开发效率，降低开发难度。相比实际的业务应用，通过实验系统提供的实验环境，能够更快地、更灵活地进行纵向联邦学习框架和人工智能算法的研究。

进一步地，所述系统还包括显示屏，所述显示屏用于可视化输出实验数据，所述实验数据包括以下一项或多项：所述无人车中传感器采集的传感器数据、所述摄像设备采集的画面数据、联邦学习过程中模型数据传输和优化的可视化分析数据。具体地，显示屏用于对联邦学习作可视化的展示，除了展示本身还可以起到数据分析的作用，通过设计在联邦学习实验过程中，将实验数据，如无人车的摄像画面、激光雷达数据，以及摄像设备采集的画面数据，可以以分屏的方式同时显示在屏幕上，同时联邦学习过程中的模型数据传输和优化等，也可以以可视化的方式进行展示和分析。

实现方式可以是显示屏通过通信装置与系统中的其他设备连接，由其他设备将联邦学习过程中的各种实验数据发送给显示屏，由显示屏中的计算单元进行可视化处理和分析，然后输出到屏幕。也可以是将显示屏连接至工作站，由工作站对各种实验数据进行可视化处理和分析，然后输出到显示屏的屏幕中。

在本实施例中，通过实验系统中的显示屏可视化展示联邦学习过程中的各种实验数据，即能够在大屏幕中显示联邦学习的机制和原理，能够有效展示联邦学习的优势，从而使得开发人员能够更加直观地了解实验过程中的各种数据，便于开发人员的研究和开发，提高了开发效率。

本发明实施例提供的基于无人车的联邦学习实验系统，相比于联邦学习的实际业务应用，实验设施所采用的的设备主要为嵌入式计算机类设备，成本较低。无人车可包含多样的传感器，可支持基于激光雷达数据的学习控制，也可以支持基于视觉的学习控制，可根据实际研究的需要来选择。通过在四周布置摄像设备的方法，除了能够支持横向联邦学习的研究实验，也可以支持纵向联邦学习的研究。整个实验设施具有实物的展示效果，并且能够在大屏幕中显示联邦学习的机制和原理，能够有效展示联邦学习的优势。

并且，本发明各实施例中采用无人车作为人工智能算法的主体，能够通过实物的方式展示学习的效果，能够在室内完成实验设施的布置进行多种联邦学习的研究和展示。具有如下的应用价值：

1、可作为科研院校单位进行联邦学习相关学术研究的实验平台。

实验平台能够提供开发环境，包含摄像头、激光雷达等传感器的驱动程序，能够支持在无人车和工作站上进行学习算法开发。

2、可作为具备联邦学习业务场景的公司的业务实验平台。

实验设施可以提供一个环境以验证联邦学习算法和框架的有效性。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于无人车的联邦学习实验系统，其特征在于，所述系统包括工作站、通信装置和至少两个无人车；所述无人车中安装无人车开发环境，所述工作站中安装工作站开发环境；

所述通信装置，用于建立所述系统中各个设备之间的通信连接，以供所述系统中各个设备之间进行数据交换；

所述无人车，用于运行开发人员通过所述无人车开发环境开发的无人车人工智能AI制算法以控制所述无人车行驶，并将所述无人车AI控制算法中的模型数据上发至所述工作站参与联邦学习以优化所述无人车AI控制算法；

所述工作站，用于运行开发人员通过所述工作站开发环境开发的联邦学习框架，通过所述联邦学习框架对各所述无人车上发的模型数据进行联邦学习优化处理。

2.如权利要求1所述的基于无人车的联邦学习实验系统，其特征在于，所述工作站还安装无人车模拟驾驶的仿真环境，所述工作站开发环境包括AI算法开发环境，

所述工作站，还用于在所述仿真环境中运行开发人员通过所述AI算法开发环境开发的仿真环境AI控制算法，并通过所述联邦学习框架对所述仿真环境AI控制算法中的模型数据以及各所述无人车上发的模型数据进行联邦学习优化处理。

3.如权利要求2所述的基于无人车的联邦学习实验系统，其特征在于，所述工作站，还用于在所述仿真环境中运行和优化所述仿真环境AI控制算法，并将优化后的所述仿真环境AI控制算法迁移至所述无人车中以优化所述无人车AI控制算法。

4.如权利要求1所述的基于无人车的联邦学习实验系统，其特征在于，所述系统还包括用于设置在无人车驾驶场景周围的摄像设备，所述摄像设备包括摄像头装置和摄像端计算单元，

所述摄像设备，用于在所述摄像端计算单元中运行摄像端AI算法以对所述摄像头装置采集的所述无人车运动的画面数据进行处理，并将所述摄像端AI算法中的模型数据上传至所述工作站参与纵向联邦学习，以优化无人车AI控制算法；

相应地，所述工作站用于通过所述联邦学习框架对所述摄像设备上传的模型数据和各所述无人车上传的模型数据进行纵向联邦学习优化处理。

5.如权利要求4所述的基于无人车的联邦学习实验系统，其特征在于，所述无人车包括无人车计算单元和设置在无人车中的传感器，

所述无人车，用于在所述无人车计算单元中运行所述无人车AI控制算法，根据所述传感器采集的传感器数据得出所述无人车的控制信号，根据所述控制信号控制所述无人车行驶。

6.如权利要求5所述的基于无人车的联邦学习实验系统，其特征在于，所述传感器包括惯性测量单元、激光雷达和摄像头中的一个或多个。

7.如权利要求5所述的基于无人车的联邦学习实验系统，其特征在于，所述系统还包括显示屏，

所述显示屏用于可视化输出实验数据，所述实验数据包括以下一项或多项：所述无人车中传感器采集的传感器数据、所述摄像设备采集的画面数据、联邦学习过程中模型数据传输和优化的可视化分析数据。

8.如权利要求1所述的基于无人车的联邦学习实验系统，其特征在于，所述通信装置包括无线路由器，

所述通信装置用于通过所述无线路由器将所述系统中各个设备的无线网络配置于同一局域网内，以供所述系统中各个设备之间进行数据交换。

9.如权利要求1至8任一项所述的基于无人车的联邦学习实验系统，其特征在于，所述无人车开发环境包括嵌入式操作系统、机器人操作系统和深度学习库。

10.如权利要求9所述的基于无人车的联邦学习实验系统，其特征在于，所述工作站开发环境还包括无人车调试环境，

所述工作站，还用于基于所述无人车调试环境连接所述无人车计算单元，将所述嵌入式操作系统下载至所述无人车中；或，

所述工作站，还用于基于所述无人车调试环境远程登录所述无人车，向所述无人车发送控制指令；或，

所述工作站，还用于基于所述无人车调试环境远程获取所述无人车的运行信息，根据所述运行信息进行分析以修改优化所述无人车中的程序。

Images