CN112585583B - 数据处理方法、装置及智能车辆 - Google Patents

Abstract

本申请提供一种数据处理方法、装置及智能车辆，通过在数据处理装置内设置多个虚拟机，并将机器学习模型中每个传感器组对应的第一神经网络模型分别放置在一个虚拟机中，使得机器学习模型在对对应的传感器组的检测数据进行计算时，都是在一个独立的虚拟机中进行，随后所有多个虚拟机中的第一神经网络模型将多个传感器组的检测数据的输出结果共同输出到第二神经网络模型中，由第二神经网络模型根据多个输出结果最终得到可用于指示行驶参数信息的融合输出结果。本申请提供的数据处理装置，能够在保证机器学习模型安全的同时还不会过多增加机器学习模型的计算开销和时延。

Description

数据处理方法、装置及智能车辆

技术领域

本申请涉及车联网技术领域，尤其涉及一种数据处理方法、装置及智能车辆。

背景技术

随着电子技术以及汽车技术的不断的发展，越来越多的车辆都具有了辅助驾驶功能，为了实现辅助驾驶功能，通常在车辆上安装摄像头、光达、雷达等各种类型的传感器，通过这些传感器采集车辆周围的环境信息的检测数据后，由设置在车辆内的车载终端对将些检测数据作为机器学习模型，由进行进一步分析与处理后输出能够控制车辆调整行驶参数实现辅助驾驶的信息。同时，用于车载终端分析传感器数据的机器学习模型通常由车载终端的供应商提供，而供应商为了得到机器学习模型，会耗费大量的人力物力，例如由实验人员驾驶车辆在道路上行驶、并采集实际道路数据作为样本，经过大量训练计算后才得到可应用于车载终端中的机器学习模型。

现有技术中，供应商为了保证车载终端中机器学习模型的安全，防止机器学习模型被盗用而造成经济损失，以及机器学习模型被仿造后给其他车辆带来严重的安全隐患，车载终端的供应商会通过一些技术保证机器学习模型的安全。例如，在一种技术中，供应商为设置在车载终端内的机器学习模型设置加密参数，将机器学习模型加密后再部署到车载终端内，但是这种技术会造成机器学习模型在进行每一步计算都需要进行加密和解密，从而提高了机器学习模型的计算开销，带来较大的处理时延；或者，在另一种技术中，机器学习模型在专门设置的可信执行环境(trusted execution environment，简称：TEE)内存储，但是这种技术受到TEE算力与空间的限制，每次只能将机器学习模型正在进行的部分计算从TEE中取出到一般环境中进行，在计算完成之后还要将计算结果返回到TEE中去，从而增加了机器学习模型在计算时TEE与一般环境之间的交互次数，同样带来了处理时延。

因此，如何保证车载终端内机器学习模型的安全的同时，还不会增加机器学习模型的计算开销和时延，是本领域需要解决的技术问题。

发明内容

本申请提供一种数据处理方法、装置及智能车辆，用于解决现有技术中车载终端不能在保证模型安全的情况下，还不会增加时延的技术问题。

本申请第一方面提供一种数据处理装置，通过在数据处理装置内设置多个虚拟机，并将机器学习模型中每个传感器组对应的第一神经网络模型分别放置在一个虚拟机中，这样整个机器学习模型在对对应的传感器组的检测数据进行计算时，都是在一个独立的虚拟机中进行，并且互不影响，所有多个虚拟机中的第一神经网络模型将多个传感器组的检测数据的输出结果共同输出到第二神经网络模型中，由第二神经网络模型根据多个输出结果最终得到可用于指示行驶参数信息的融合输出结果。

可见，本实施例提供的数据处理装置内，通过数据处理装置内设置的多个虚拟机，将机器学习模型拆分为不同的部分分别存入多个虚拟机中，从而增加了数据处理装置被攻破、获得其中机器学习模型的难度，作为攻击者需要将所有虚拟机破解之后，才可以反向得到数据处理装置内的机器学习模型，因此一定程度上实现了对数据处理装置中机器学习模型的保护，提高了机器学习模型的安全性；同时，本申请为了保护机器学习模型所引入的时延仅仅是由虚拟机和数据处理装置之间的交互带来，而虚拟机和数据处理装置之间交互的技术较为成熟，时延相对较小，使得本申请与机器学习模型加密技术相比不会增加过多的计算开销、与机器学习模型在TEE中运行相比不会增加过多的交互，从而使得本申请的机器学习模型在提升安全的基础上，减少了所引入的计算时延。综上，本申请提供的数据处理装置，能够在保证机器学习模型安全的同时还不会过多增加机器学习模型的计算开销和时延。

在本申请第一方面一实施例中，数据处理装置除了通过多个虚拟机对传感器进行计算的第一机器学习模型进行保护，还通过融合虚拟机对用于对多个虚拟机的输出结果进行融合得到融合输出结果的第二机器学习模型进行保护。

使得本实施例中提供的数据处理装置虽然引入了虚拟机和融合虚拟机之间交互所带来的时延，但是其时延与现有的技术相比依然较小，从而通过将机器学习模型整体所划分的第一机器学习模型和第二机器学习模型都各自放入不同的虚拟机中，进一步在保证了机器学习模型整体的安全，与现有技术相比也能够减少机器学习模型计算时的时延，同时实现了数据处理装置更高安全性能与一定的计算效率。

在本申请第一方面一实施例中，进一步将数据处理装置中的整个机器学习模型拆分为多个分支神经网络以及一个融合神经网络，其中，多个分支神经网络相互独立地设置在多个虚拟机中，用于对虚拟机所连接的传感器组的检测数据进行处理得到输出结果，融合神经网络用于将所有分支神经网络计算得到的输出结果进行特征融合，得到融合输出结果。

因此，本实施例基于分支网络以及后期融合的融合网络，能够将所有传感器组的检测数据通过分支神经网络分别进行处理后，将输出结果进行融合，由于结合了多个传感器组的检测数据，从而在所有分支神经网络计算出输出结果后，通过特征融合能够得到更加准确的融合输出结果，而不是依赖于某一个传感器组对应的输出结果。同时，机器学习模型在相当于整体被拆分成了多个分支神经网络模型以及一个融合神经网络模型之后，使得攻击者想要窃取供应商存储在数据处理装置内的机器学习模型时，除了要攻破数据处理装置本身的操作系统获取融合神经网络模型，还需要进一步对数据处理装置中的多个虚拟机进行一一攻击，并只有在攻破所有虚拟机获取所有虚拟机中的分支神经网络模型之后，才可以实现盗取整个机器学习模型，当传感器数量较多时，需要攻破的虚拟机数量也将增加，无疑增加了盗取机器学习模型的难度，使得攻击者更不容易从数据装置中盗取机器学习模型，从而提高了数据处理装置中存储的机器学习模型的安全性能。

在本申请第一方面一实施例中，基于将机器学习模型拆分为多个分支神经网络以及一个融合神经网络，而每个分支神经网络仅需要处理一个传感器的检测数据，因此分支神经网络可以由传感器组的供应商提供，而融合神经网络需要将多个传感器的输出结果融合得到融合结果，因此融合神经网络可以由数据处理装置的供应商，也就是本实施例中数据处理装置的供应商训练得到。

综上，本实施例提供的数据处理装置中，机器学习模型所拆分的多个分支神经网络以及一个融合神经网络分别可以由不同的供应商提供，减少了一家供应商计算所有机器学习模型的难度，通过不同供应商的共同计算提高得到机器学习模型的效率。并且每家供应商还可以使用其传感器对应的私有训练数据进行计算，还能够保证每家供应商数据的安全。

在本申请第一方面一实施例中，在传感器的供应商和数据处理装置的供应商训练各自的网络时，可以对训练数据进行共享，例如，每个传感器组的供应商所采集的训练数据都上传至互联网中的服务器等存储空间进行存储。

综上，根据本实施例提供的训练数据，使得所有传感器组的供应商可以使用相同的数据对各自的网络进行训练，使得整个机器学习模型虽然被拆分为不同的网络，但是每个网络训练时采用的数据相同，最终保持整个训练过程的数据一致，使得最终得到的机器学习模型整体更加准确。并且由不同的供应商共享训练数据，能够丰富机器学习模型训练时的数据的数量，减少每个供应商在获取训练数据时的人力物力投入，同时，不同传感器组对应的机器学习模型的厂商之间也能够保证其机器学习模型的私密性。

本申请第二方面提供一种数据处理方法，可应用于如本申请第一方面提供的数据处理装置执行，所述方法包括：通过多个虚拟机，获取每个虚拟机对应的一组传感器的检测数据；其中，每个虚拟机包括一个第一机器学习模型；以所述每个虚拟机对应的一组传感器的检测数据为所述虚拟机中第一机器学习模型的输入，得到多个输出结果；以所述多个虚拟机中的第一机器学习模型的多个输出结果，作为第二机器学习模型的输入，得到融合输出结果；所述融合输出结果用于指示所述智能车辆的行驶参数信息。

在本申请第二方面一实施例中，所述第二机器学习模型设置在融合虚拟机内；所述以所述多个虚拟机中的第一机器学习模型的多个输出结果，作为第二机器学习模型的输入，得到融合输出结果之前，所述方法还包括：通过所述融合虚拟机获取所述多个虚拟机中的第一机器学习模型的多个输出结果。

在本申请第二方面一实施例中，所述第一机器学习模型包括：分支神经网络模型；所述第二机器学习模型包括：融合神经网络模型。

在本申请第二方面一实施例中，每个所述虚拟机包括的分支神经网络模型，由所述虚拟机对应的一组传感器的供应商根据训练数据集训练得到；所述训练数据集包括多个对应关系，在每个所述对应关系中，所述智能车辆的一组传感器的检测数据与一个行驶参数信息相对应。

在本申请第二方面一实施例中，所述融合神经网络模型，由所述数据处理装置的供应商根据所述训练数据集训练得到。

在本申请第二方面一实施例中，所述训练数据集中包括的对应关系，由所述数据处理装置的供应商和所述多组传感器的供应商提供。

本申请第三方面提供一种智能车辆，包括如本申请第一方面任一项的数据处理装置。

本申请第四方面提供一种电子设备，包括：处理器和存储器；所述存储器中存储有指令，当所述处理器运行所述指令时，所述处理器执行如本申请第二方面任一项所述的方法。

本申请第五方面提供一种存储介质，所述存储介质存储有计算机程序，当所述计算机程序在计算机上运行时，使所述计算机执行如本申请第二方面任一项所述的方法。

附图说明

图1为本申请应用场景的示意图；

图2为一种机器学习模型的结构示意图；

图3为一种早期融合的分支网络的结构示意图；

图4为一种后期融合的分支网络的结构示意图；

图5为一种中期深度融合的分支网络的结构示意图；

图6为机器学习模型生成及使用的相关场景示意图；

图7为本申请提供的数据处理装置一实施例的结构示意图；

图8为本申请提供的虚拟机的结构示意图；

图9为本申请提供的数据处理装置一实施例的结构示意图；

图10为本申请提供的数据处理装置一实施例的结构示意图；

图11为光达传感器的检测数据；

图12为前摄像机的检测数据；

图13为后置摄像机的检测数据；

图14为本申请提供的数据处理方法一实施例的流程示意图；

图15为本申请提供的电子设备一实施例的结构示意图。

具体实施方式

在正式介绍本申请之前，先结合附图，对本申请所应用的场景以及所存在的问题进行说明。

图1为本申请应用场景的示意图，具体地，在如图1所示的场景中，智能车辆1具有辅助驾驶功能，在智能车辆1上设置有多个传感器2，例如：摄像头等成像传感器、雷达传感器(radar)、光达传感器(lidar)以及红外传感器等，这些传感器2设置在智能车辆1上的不同位置处，可用于对智能车辆1周围的环境进行检测，生成检测数据。同时，智能车辆1上还设置有车载终端3，可用于通过多个传感器2的检测数据进行分析，并进一步根据分析结果，对智能车辆1进行相应的控制，从而实现对智能车辆1的驾驶员进行辅助驾驶的多种功能，例如：自动刹车、自动泊车、盲点检测、自动巡航以及车道偏移警示等。

同时，随着人工智能(artificial intelligence，AI)技术的不断发展，机器学习(machine learning，ML)模型被广泛应用于如图1所示的辅助驾驶场景中，智能车辆1中的车载终端3可以通过机器学习模型31对传感器2的检测数据进行处理。例如，图2为一种机器学习模型的结构示意图，其中，以机器学习模型中的深度学习(deep learning，DL)模型作为示例，由于其使用神经网络，又可被称为深度神经网络模型，该深度学习模型的输入层包括两个输入值X1和X2，可以将智能车辆1上设置两个不同的传感器2所获取的检测数据作为机器学习模型的输入，中间层有三个神经元h1-h3，用于对输入层的输入值进行向量内积以及非线性函数等计算后，通过输出层的两个输出值表示类型1和类型2的概率值作为机器学习模型的输出，所述概率值可用于后续对对智能车辆1进行相应的辅助驾驶控制方案的选择。需要说明的是，如图2所示的机器学习模型仅用于描述其结构，在具体实现时中间层的数量、以及每一层所包括的节点的数量可以是多个，不做限定。

更为具体地，由于智能车辆1设置了多个传感器2，每个传感器所输入的数据格式以及数据处理方式可能不同，机器学习模型31可以采用将不同的分支网络进行融合的方式，对多个传感器2的检测数据进行处理，并最终根据多个传感器2的检测数据得到输出层的概率值，用于后续对对智能车辆1进行相应的辅助驾驶控制方案的选择。本申请提供的机器学习模型31所采用的融合方式包括：早期融合、后期融合或者深度融合。

例如，图3为一种早期融合的分支网络的结构示意图，其中，机器学习模型将多个不同传感器的检测数据作为输入，首先通过融合网络对输入的所有多个传感器的检测数据进行融合，再将融合后的检测数据经过多个中间层的处理，并最终输出一个结合了所有输入的检测数据融合后经过中间层处理的输出结果。图4为一种后期融合的分支网络的结构示意图，其中，机器学习模型将接收到不同传感器的检测数据分别作为多个输入层的输入，并分别通过中间层进行处理，随后将所有检测数据的中间层输出结果通过融合网络进行融合，最终输出一个所有检测数据经过中间层处理后融合得到的输出结果。图5为一种中期深度融合的分支网络的结构示意图，其中，机器学习模型将多个不同传感器的检测数据作为输入，并将多个输入层的数据经过多次循环的中间层计算以及融合处理后，最终输出一个结合了所有输入的检测数据经过多次中间层处理以及融合后的输出结果。

在如图1所示的场景中，机器学习模型31可以由车载终端3的供应商提供，例如，图6为机器学习模型生成及使用的相关场景示意图，其中，在步骤①中，为了得到更加真实有效的训练数据，供应商的工作人员通过驾驶智能车辆在道路上行驶采集测试数据，例如采集不同路况下传感器的检测数据作为机器学习模型31的输入，并采集或者人工标注在上述不同路况下对应需要进行的辅助驾驶策略的行驶参数信息作为机器学习模型31的输出。随后，通过已知的检测数据作为输入数据和已知的行驶参数信息作为输出数据，在步骤②中，对机器学习模型31的中间层进行学习训练，得到可以使用的机器学习模型31。最终，在步骤③中，供应商可以将机器学习模型31存入智能车辆1的车载终端3中，使得存储有机器学习模型31的智能车辆可以使用该模型，将智能车辆的传感器实时获取的检测数据作为机器学习模型的输入，输出实时的检测数据对应的行驶参数信息，从而实现如图1所示场景中的辅助驾驶功能。

供应商为了提高机器学习模型31在提供辅助驾驶功能时的性能，会投入大量的人力物力，在步骤①采集大量的测试数据，以覆盖更多可能的驾驶场景，采集更加丰富的驾驶场景下的路况，并在步骤②投入大量的时间和计算成本，对步骤①采集的大量测试数据进行反复的分析与计算，最终才能得到能够部署在智能车辆1内的机器学习模型31。然而，在如图6所示的场景中，存储在智能车辆1的车载终端3内的机器学习模型31给了一些非法的攻击者盗取机器学习模型31的可能，通过车载终端3提供的各种软件系统以及硬件接口，攻击者有可能在攻破车载终端3之后，盗取其中存储的机器学习模型31，之后将盗取的机器学习模型31仿造、并复制在其他车辆上进行牟利。这种攻击者可能进行的攻击，除了盗用供应商提供的机器学习模型31给供应商造成经济利益上的损失，对于攻击者复制到其他车辆上的机器学习模型31由于缺少后续的支持与更新等服务，还可能会对车辆的正常行驶带来极大的安全隐患。因此，为了保证部署在车载终端3内的机器学习模型31不会轻易被攻击者盗用，供应商可以采用加密、设置安全环境等方式，对机器学习模型31进保护。

例如，在第一种现有技术中，供应商为设置在车载终端内的机器学习模型设置专门的加密参数，将机器学习模型整体进行加密后再部署到车载终端内，使得攻击者即使攻破了车载终端，也无法直接确定其中存储的机器学习模型的具体内容。但是，在这第一种技术中对机器学习模型所采取的加密方式通常为同态加密算法，这种算法不仅计算开销大，增大了机器学习模型本身的数据量，还影响到机器学习模型的计算精度，进而影响机器学习模型实现辅助驾驶功能的性能。

在第二种现有技术中，机器学习模型可以存储在车载终端内的可信执行环境(trusted execution environment，简称：TEE)内，从而基于成熟的TEE技术，使得攻击者即使攻破了车载终端，也无法进一步获取TEE内存储的机器学习模型。然而，由于机器学习模型的数据量较大，而同时TEE算力与存储空间又非常有限，使得机器学习模型在实际进行计算时需要在TEE之外的一般执行环境(rich execution environment，REE)中进行。在第一种计算方式中，例如，对于如图2所示机器学习模型31在进行图2中箭头对应的每一次计算时，分别将每次箭头对应的计算需要使用的数据发送到一般执行环境中，并在一般执行环境中计算出结果后返回TEE内，使得机器学习模型31得到计算结果。在第二种计算方式中，同样对于图2所示的机器学习模型，按照一定的方式，例如节点之间的前后顺序，每次将机器学习模型31中部分节点的计算发送到一般执行环境中，并在一般执行环境中计算出部分节点的结果后返回TEE内。但是，在上述第二种现有技术中，两种计算方式都会给TEE和一般执行环境之间，增加了大量的数据交互，从而增加了机器学习模型在进行计算时的时间开销，进而增大了机器学习模型在实现辅助驾驶功能时的时延。

综上，在现有的对车载终端内机器学习模型进行保护的方法中，在实现保护的基础之上，都会给机器学习模型本身的计算带来额外的时间开销，进而给机器学习模型实现辅助驾驶功能时时延，最终影响车载终端实现辅助驾驶功能的性能。因此，如何在对车载终端内机器学习模型进行保护的同时，还不增加机器学习模型本身的计算时间开销，是本领域需要解决的技术问题。

本申请提供一种数据处理方法、装置及智能车辆，通过将智能车辆的车载终端内设置的机器学习模型，拆分为多个部分，并分别存入不同的多个虚拟机中，使得不同虚拟机中存储的部分独立运行，并同时提供保护，以实现对机器学习模型进行保护的同时还不会增加机器学习模型的计算时间开销的技术效果。下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图7为本申请提供的数据处理装置一实施例的结构示意图，如图7示出了如图1所示的场景中智能车辆1、以及智能车辆1内具体设置的数据处理装置3的结构，如图7所示的智能车辆1包括：多个传感器，数据处理装置3和自动驾驶模块4。

其中，每个传感器2可以设置在智能车辆1的车体上，用于对智能车辆1当前所在位置周围的环境信息进行检测，并生成检测数据。例如，传感器包括：摄像头等成像传感器、雷达传感器、光达传感器以及红外传感器等。本申请实施例中，将智能车辆1上设置的多个传感器可以划分为不同的传感器组，例如图7中以将智能车辆1上设置的传感器划分为N个不同的传感器组作为示例，N＞1，每个传感器组中可以包括一个或多个传感器。本申请实施例对划分不同传感器组的具体依据不做限定，例如，可以将传感器按照采集数据的格式，将智能车辆1上设置的摄像头、激光雷达等用于采集图像数据的传感器划分为传感器组1，将GPS、红外雷达等用于测距得到距离数据的传感器划分为传感器组2等；或者，还可以按照传感器设置的位置，将设置在智能车辆1前方的传感器划分为传感器组1，将设置在智能车辆1后方的传感器划分为传感器组2等。

数据处理装置3可以是如图1所示的车载终端、也可以是车载终端中的装置，数据处理装置用于对N组传感器2输入的检测数据进行处理后，向自动驾驶模块4输出信息，所述信息可用于指示智能车辆的行驶参数信息。

自动驾驶模块4可用于对智能车辆1的速度、方向等行驶参数进行调整，实现辅助智能车辆1驾驶员驾驶的辅助驾驶功能，所述自动驾驶模块4可以是独立的装置、或者可以设置在数据处理装置3中的模块。最终当接收到融合结果，自动驾驶模块4可以根据接收到车载终端3发送的信息，控制智能车辆1调整行驶参数，实现辅助驾驶功能。

具体地，本实施例提供的数据处理装置3中，设置有多个虚拟机31，每个所述虚拟机31与智能车辆1中设置的多个传感器组2一一对应。例如在如图7所示的示例中，智能车辆1上设置有标号为1-N共N个传感器组2，则数据处理装置3中也设置标号为1-N共N个虚拟机31，N个传感器与N个虚拟机一一对应连接。可选地，多个虚拟机31可以运行在数据处理装置3的操作系统上，这多个虚拟机的类型、具体实现方式可以相同或者不同，本申请对虚拟机的原理及实现不做限定。每个虚拟机可用于实现不同的功能，并且这多个虚拟机之间是相互独立的，在实现不同功能时也互不影响。

对于图7所示实施例中，每个与传感器组2连接的虚拟机31，均可用于对各自所连接的传感器组2所获取的检测数据进行进一步分析与处理，并得到各自传感器2对应的输出结果。在一种具体的实现方式中，每个虚拟机31中包括一个第一机器学习模型，则虚拟机31在获取对应的一组传感器的检测数据后，具体可以将检测数据作为第一机器学习模型的输入，由第一机器学习模型对检测数据进行分析后输出检测数据，得到的检测数据作为输出结果。

例如，图8为本申请提供的虚拟机的结构示意图，如图8所示的示例在如图7所示的基础上，以数据传输装置中设置三个虚拟机31为例，这三个虚拟机31分别与标号为1-3的传感器组2连接，每个虚拟机31中包括一个第一机器学习模型，该第一机器学习模型可以是分支神经网络模型，其结构可以是图2所示的机器学习模型的基本结构，则虚拟机31获取对应的传感器组2的检测数据后，将检测数据作为分支神经网络模型的输入，经过中间层的计算后，从输出层输出的概率值可作为输出结果，对应于传感器组2的检测数据的输出结果。例如，当传感器组是摄像头时，该传感器组所获取的检测数据是摄像头拍摄的智能车辆前方的图像，则将图像作为检测数据输入到虚拟机中的分支神经网络模型后，经过中间层的计算，机器学习模型通过其输出层输出用于表示该智能车辆前方图像中存在障碍物的概率值，或者用于表示智能车辆前障碍物位置的概率值。

同时，由于智能车辆上设置了多个传感器组2，每个虚拟机31中的分支神经网络模型会根据各自连接对应的传感器组2的检测数据输出一个输出结果，为了对不同传感器组2对应的输出结果进行融合处理，本申请提供的数据处理装置3中还包括：第二机器学习模型32，用于将多个虚拟机31所计算得到的输出结果进行融合，得到可用于指示智能车辆行驶参数信息的融合输出结果，并将融合输出结果发送至自动驾驶模块4。可选地，本申请实施例中以如图3所示的早期融合的网络结构作为示例，设置特征融合模块32，可以理解的是，特征融合模块也可选用如图4或者如图5所示的中期或者后期融合网络结构。

例如，同样在如图8所示的示例中，所述第二机器学习模型32可以是融合神经网络模型，其结构也可以是如图2所示的机器学习模型的基本结构。则第二机器学习模型32在接收到同样运行在操作系统上的三个虚拟机31发送的对应标号为1-3的传感器组的输出结果之后，将这三个输出结果作为融合神经网络模型的输入，经过中间层的计算后，从输出层输出的融合输出结果可以为一个概率值，这个概率值可用于指示智能这辆的行驶参数信息。示例性地，当传感器组1、传感器组2和传感器3组分别根据车辆前方的环境信息生成检测数据，每个传感器组的检测数据经过对应的虚拟机31的特征分析后，得到三个不同的输出结果，这三个输出结果虽然都用于指示前方其他车辆的位置，但是其可能存在表达方式、准确程度之间的不同，因此通过融合神经网络模型32，可以将三个输出结果进行融合，最终得到的融合输出结果是根据三个输出结果共同得到的，因此可以较为准确地指示智能车辆的行驶参数信息。

最终，自动驾驶模块4接收到数据处理装置3发送的融合输出结果后，可以直接调整或者向驾驶员指示智能车辆的行驶参数信息，实现数据处理装置辅助智能车辆驾驶的功能。例如，自动驾驶模块4可以直接控制智能车辆的行驶方向或行驶速度等；或者，自动驾驶模块4可以通过车载终端等设备提供的可视化界面，向智能车辆的驾驶员提示根据融合输出结果所指示的行驶方向获取行驶速度等。

可选地，在如图7和图8所示的实施例中，第二机器学习模型32可以运行在数据处理装置3的操作系统内，即，数据处理装置3的操作系统内同时运行了多个虚拟机31和第二机器学习模型32，每个虚拟机与第二机器学习模型在逻辑上是平等的关系，虚拟机31与第二机器学习模型32之间的交互可以理解为虚拟机31与其所在的主机之间的交互，基于虚拟机技术中虚拟机与主机之间交互时使用平行计算结构，各虚拟机可以并行且无需交互，故没有额外效能开销，不增加计算时延，虚拟机与主机之间交互带来的时延较低甚至可以忽略不计，使得虚拟机31将输出结果发送至第二机器学习模型32模块的时延也较低。

当如图7或8所提供的数据处理装置中设置的第一机器学习模型和第二机器学习模型这样的结构，应用与如图6所示的实施例中，能够数据处理装置中所存储的机器学习模型可以相当于整体被拆分成了多个分支神经网络模型(第一机器学习模型)以及一个融合神经网络模型(第二机器学习模型)。并且，在数据处理装置中，还通过设置不同的多个虚拟机分别存储多个分支神经网络模型，使得每个分支神经网络模型只在所存储的虚拟机内进行计算。而每个虚拟机对外可见的部分只有输入的检测数据和输出的输出结果，可以理解为将数据处理装置中整个机器学习模型拆分为不同的部分(分支神经网络模型)，不同的部分分别在不同的虚拟机中运行。

可见，本申请提供的数据处理装置，能够在通过机器学习模型根据传感器的检测数据得到用于指示智能车辆的行驶参数信息，从而实现辅助驾驶功能的基础上，为了进一步保障数据处理装置中机器学习模型的安全，设置了多个相互独立的虚拟机存储多个分支神经网络模型，并通过多个虚拟机分别对对应的不同传感器组的检测数据进行特征分析并输出结果，随后多个虚拟机将得到的输出结果发送给融合神经网络模型，由融合神经网络模型将所有多个虚拟机的输出结果作为输入，并进行特征融合之后得到融合输出结果，可用于指示智能车辆的行驶参数信息。

因此，当攻击者想要窃取供应商存储在数据处理装置内的机器学习模型时，除了要攻破数据处理装置本身的操作系统获取到的融合神经网络模型，还需要进一步对数据处理装置中的多个虚拟机进行一一攻击，并只有在攻破所有虚拟机获取所有虚拟机中的分支神经网络模型之后，才可以实现盗取数据处理装置中的整个机器学习模型，当传感器组数量较多时，数据处理装置中设置的虚拟机的数量较多，攻击者需要攻破的虚拟机数量也将增加，无疑增加了盗取整个机器学习模型的难度，使得攻击者更不容易从数据装置中盗取机器学习模型，从而提高了数据处理装置中存储的机器学习模型的安全性能。

同时，本实施例提供的数据处理装置中，通过增加虚拟机的方式，对机器学习模型提供保护，由于虚拟机只是运行环境的不同，因此与现有的第一种技术中对机器学习模型进行加密保护的方式相比，没有增加机器学习模型本身的计算量，也不会影响到机器学习模型的计算精度；与现有的第二种技术中将机器学习模型整体存在TEE中进行保护的方式相比，由于虚拟机的算力和存储空间与TEE相比更大，不需要在机器学习模型计算时反复从TEE中提取数据并返回结果的过程，没有增加机器学习模型计算时的数据交互。

因此，本实施例提供的数据处理装置，能够通过将数据数据处理装置中的机器学习模型拆分成多个部分，并分别存入不同的多个虚拟机中，使得不同的多个虚拟机分别独立运行并提供保护，并且在多个虚拟机实现对机器学习模型进行保护的基础上，不会给机器学习模型本身的计算带来额外的计算开销、时间开销以及数据交互，减少了机器学习模型实现辅助驾驶功能时的时延，最终同时保证了数据处理装置的安全性能与计算效率。

进一步地，在如图7或图8所示的实施例提供的数据处理装置的基础上，第二机器学习模型也可以设置在操作系统的虚拟机中，用于存储第二机器学习模型的虚拟机可记为融合虚拟机，例如，图9为本申请提供的数据处理装置一实施例的结构示意图，在如图9所示的实施例中，数据处理装置3除了包括多个虚拟机31，还包括融合虚拟机33，在融合虚拟机33内存储有第二机器学习模型32。此时，多个虚拟机31和融合虚拟机33可以同时运行在数据处理装置3的操作系统中，相互之间逻辑上属于并列关系，并且各自独立运行，互不影响。

因此，本实施里提供的数据处理装置，除了通过多个虚拟机对分支神经网络模型进行保护，还通过融合虚拟机对融合神经网络模型进行保护，虽然引入了多个虚拟机和融合虚拟机之间交互所带来的时延，但是其时延与现有的技术相比依然较小，从而通过将机器学习模型整体所划分的分支神经网络模型和融合神经网络模型都各自放入不同的虚拟机中存储以及计算，进一步在保证了机器学习模型整体的安全，与现有技术相比也能够减少机器学习模型计算时的时延，同时实现了数据处理装置更高安全性能与一定的计算效率。

可选地，在上述如图7-9所示的数据处理装置中，机器学习模型的一种生成方式是机器学习模型的整体都由数据处理装置的供应商提供；另一种生成方式是虚拟机中的分支神经网络模型可以由不同的传感器组的供应商提供，而融合神经网络模型可以由数据处理装置的供应商结合不同传感器组的供应商提供的分支神经网络模型共同训练得到。此时，传感器的供应商以及数据处理装置的供应商可以共享用于各自训练机器学习模型的训练数据。

例如，以图8所示的机器学习模型为例，传感器组1的供应商可以驾驶智能车辆在道路上行驶，采集不同路况下传感器组中所有传感器的的检测数据，并采集或者人工标注在上述不同路况下对应需要进行的辅助驾驶策略对应的行驶参数信息，例如行驶方向和行驶速度等，将传感器1的供应商采集的数据记为训练数据集1，在训练数据集1中，包括了在不同时刻，传感器组的检测数据，以及行驶参数信息之间的对应关系。同样地，传感器组2的供应商采集的数据记为训练数据集2，传感器组3的供应商采集的数据记为训练数据集3，将数据处理装置的供应商采集的数据记为训练数据集4。上述训练数据集1-4可以通过例如上传服务器的方式，存储在同一个网络服务器中，后续每个供应商对各自的机器学习模型进行训练时，可以使用服务器中存储的所有供应商采集的训练数据集，例如，传感器组1-3的供应商均可以通过训练数据集1-4训练各自传感器组对应的虚拟机中的分支神经网络模型，数据处理装置的供应商也可以根据训练数据集1-4训练融合神经网络模型。

因此，本实施例能够丰富机器学习模型训练时的数据的数量，减少每个供应商在获取训练数据时的人力物力投入。同时，每个传感器组的供应商各自训练对应的机器学习模型，机器学习模型即使存储在一个数据处理装置的多个虚拟机中，由于不同虚拟机之间的相互独立设置，不同虚拟机之间也不能互相获取其他传感器组对应的机器学习模型，对每个传感器组对应的机器学习模型的厂商之间也能够保证其机器学习模型的私密性。

示例性地，下面结合具体的实施例，对本申请提供的数据处理装置实现辅助驾驶功能的过程进行说明，图10为本申请提供的数据处理装置一实施例的结构示意图，其中，智能车辆1上设置有三个传感器组，这三个传感器组分别包括一个传感器：光达、前摄像机和后摄像机，数据处理装置3中设置有三个虚拟机，分别连接三个传感器组，并各自通过虚拟机中的分支神经网络模型，对传感器组的检测数据作为输出，得到输出结果。例如，图11为光达传感器的检测数据，经过标号为1的虚拟机的特征分析，能够得到的输出结果为图11中存在标号为①-⑤的共五辆车以及各车辆的位置，同时，图12为前摄像机的检测数据，经过标号为2的虚拟机的特征分析，能够得到的输出结果为图12中存在标号为①-⑤的共五辆车以及各车辆的位置。图13为后置摄像机的检测数据，经过标号为3的虚拟机的特征分析，能够得到输出结果为图13也就是智能车辆后方没有其他车辆。如果仅仅依靠这三个传感器组中任一个传感器组对应的检测数据所得到的输出结果确定融合输出结果，可能会因为视线遮挡、分辨率等异常情况，影响行驶参数的准确性，进而降低辅助驾驶的性能，因此，在通过三个虚拟机分别得到三个传感器组对应的输出结果后，标号为1-3的虚拟机分别将上述图11-图13的输出结果输出到第二机器学习模型32中，由第二机器学习模型32综合三个输出结果，共同得到融合输出结果，并最终能够根据三个传感器组的输出结果融合后的融合输出结果指示智能车辆的行驶参数信息，使得数据处理装置能够更加完善地，依赖所有传感器组的融合输出结果来确定行驶参数，防止某一个传感器出现被遮挡等异常情况时，依然能够由多个传感器的输出结果融合后的融合输出结果指示更加准确的行驶参数信息。例如，第二机器学习模型32可以根据获取的如图11-图13的多个传感器组对应的输出结果，得到融合输出结果并发送至自动驾驶模块4，所述融合输出结果可用于智能车辆保持当前行驶方向、减速到40km/h的行驶参数信息。

本申请还提供一种数据处理方法，可应用于本申请前述实施例中的数据处理装置执行，具体地，图14为本申请提供的数据处理方法一实施例的流程示意图，该方法包括：

S101：通过多个虚拟机，获取每个虚拟机对应的一组传感器的检测数据；其中，每个虚拟机包括一个第一机器学习模型。

具体地，本申请提供的数据处理装置通过数据处理装置内设置的多个虚拟机，并将机器学习模型拆分为不同的部分分别存入多个虚拟机中。每个所述虚拟机与智能车辆中设置的多个传感器组一一对应，则在S101中，作为执行主体的数据处理装置首先通过多个虚拟机，分别获取对应的多组传感器的检测数据。

S102：以每个虚拟机对应的一组传感器的检测数据为虚拟机中第一机器学习模型的输入，得到多个输出结果。

随后，多个虚拟机在获取对应的多组传感器的检测数据后，对于其中的每一个虚拟机，可以将检测数据作为第一机器学习模型的输入，由第一机器学习模型对检测数据进行分析后输出检测数据，得到的检测数据作为输出结果。

S103：以多个虚拟机中的第一机器学习模型的多个输出结果，作为第二机器学习模型的输入，得到融合输出结果；融合输出结果用于指示智能车辆的行驶参数信息。

具体地，由于每个虚拟机中的第一机器学习模型会根据各自连接对应的传感器组的检测数据输出一个输出结果，为了对不同传感器组对应的输出结果进行融合处理，本申请提供的数据处理装置中还包括：第二机器学习模型，则在S103中，作为执行主体的数据处理装置，可用于将多个虚拟机所计算得到的输出结果进行融合，得到可用于指示智能车辆行驶参数信息的融合输出结果，并将融合输出结果发送至自动驾驶模块。

综上，本实施例提供的数据处理方法，由于在数据处理装置内设置了多个虚拟机，将机器学习模型拆分为不同的部分分别存入多个虚拟机中，从而增加了数据处理装置被攻破、获得其中机器学习模型的难度，作为攻击者需要将所有虚拟机破解之后，才可以反向得到数据处理装置内的机器学习模型，因此一定程度上实现了对数据处理装置中机器学习模型的保护，提高了机器学习模型的安全性；同时，本申请提供的数据处理方法，能够在保证机器学习模型安全的同时还不会过多增加机器学习模型的计算开销和时延。

可选地，第二机器学习模型可以设置在融合虚拟机内；则在如图14所示的S103之前，还包括：通过融合虚拟机获取多个虚拟机中的第一机器学习模型的多个输出结果。

因此，本实施例通过融合虚拟机对用于对多个虚拟机的输出结果进行融合得到融合输出结果的第二机器学习模型进行保护。使得本实施例中提供的数据处理方法，虽然引入了虚拟机和融合虚拟机之间交互所带来的时延，但是其时延与现有的技术相比依然较小，从而通过将机器学习模型整体所划分的第一机器学习模型和第二机器学习模型都各自放入不同的虚拟机中，进一步在保证了机器学习模型整体的安全，与现有技术相比也能够减少机器学习模型计算时的时延，同时实现了数据处理装置更高安全性能与一定的计算效率。

可选地，第一机器学习模型包括：分支神经网络模型；第二机器学习模型包括：融合神经网络模型。

可选地，在本实施例中，每个虚拟机包括的分支神经网络模型，由虚拟机对应的一组传感器的供应商根据训练数据集训练得到；训练数据集包括多个对应关系，在每个对应关系中，智能车辆的一组传感器的检测数据与一个行驶参数信息相对应。

可选地，融合神经网络模型，由数据处理装置的供应商根据训练数据集训练得到。训练数据集中包括的对应关系，由数据处理装置的供应商和多组传感器的供应商提供。

本实施例提供的数据处理方法，可以由本申请前述实施例中提供的对应的数据处理装置执行，其实现方式与原理相同，不再赘述。

此外，本申请实施例还提供另外一种可应用于实现本申请提供的数据处理装置的电子设备的结构，图15为本申请提供的电子设备一实施例的结构示意图，如图15所示，电子设备1500中可以包括通信接口1510、处理器1520。可选的，电子设备1500中还可以包括存储器1530。其中，存储器1530可以设置于电子设备内部，还可以设置于电子设备外部。

示例性地，上述图14中由数据处理装置所执行的动作均可以由处理器1520实现。处理器1520通过通信接口1510发送数据，并用于实现图14中数据处理装置执行的任一方法。在实现过程中，处理流程的各步骤可以通过处理器1520中的硬件的集成逻辑电路或者软件形式的指令完成图4-图10中所述第一本地服务器所执行的方法。为了简洁，在此不再赘述。处理器1520用于实现上述方法所执行的程序代码可以存储在存储器1530中。存储器1530和处理器1520连接，如耦合连接等。

本申请实施例的一些特征可以由处理器1520执行存储器1530中的程序指令或者软件代码来完成/支持。存储器1530上在加载的软件组件可以从功能或者逻辑上进行概括，例如，图7所示的虚拟机、第二机器学习模型，以及图9所示的融合虚拟机等。

本申请实施例中涉及到的任一通信接口可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。比如电子设备1500中的通信接口1510，示例性地，该其它装置可以是与该电子设备相连的设备，比如，其他装置可以是传感器或者自动驾驶模块等。

本申请实施例中涉及的处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本申请实施例中的耦合是装置、模块或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、模块或模块之间的信息交互。

处理器可能和存储器协同操作。存储器可以是非易失性存储器，比如硬盘(harddisk drive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

本申请实施例中不限定上述通信接口、处理器以及存储器之间的具体连接介质。比如存储器、处理器以及通信接口之间可以通过总线连接。所述总线可以分为地址总线、数据总线、控制总线等。

本申请还提供一种存储介质，所述存储介质存储有计算机程序，当所述计算机程序在计算机上运行时，使所述计算机执行如本申请实施例中数据处理装置执行的任一项所述的方法。

在本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。可以理解的是，在本申请实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围。可以理解的是，在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (15)

1.一种数据处理装置，设置在智能车辆上，所述智能车辆设置多组用于检测周围环境信息的传感器；其特征在于，所述数据处理装置，包括：

多个虚拟机，每个虚拟机包括一个第一机器学习模型；每个所述虚拟机用于获取所述多组传感器中对应的一组传感器的检测数据，并以所述检测数据为所述第一机器学习模型的输入，得到输出结果，其中，所述多个虚拟机之间是相互独立的；

第二机器学习模型，用于获取所述多个虚拟机的输出结果，并以所述多个虚拟机的输出结果为所述第二机器学习模型的输入，得到融合输出结果，所述融合输出结果用于指示所述智能车辆的行驶参数信息。

2.根据权利要求1所述的装置，其特征在于，还包括：

融合虚拟机，所述多个虚拟机分别连接所述融合虚拟机，所述融合虚拟机包括所述第二机器学习模型。

3.根据权利要求2所述的装置，其特征在于，

所述第一机器学习模型包括：分支神经网络模型；

所述第二机器学习模型包括：融合神经网络模型。

4.根据权利要求3所述的装置，其特征在于，

每个所述虚拟机包括的分支神经网络模型，由所述虚拟机对应的一组传感器的供应商根据训练数据集训练得到；

所述训练数据集包括多个对应关系，在每个所述对应关系中，所述智能车辆的一组传感器的检测数据与一个行驶参数信息相对应。

5.根据权利要求4所述的装置，其特征在于，

所述融合神经网络模型，由所述数据处理装置的供应商根据所述训练数据集训练得到。

6.根据权利要求4或5所述的装置，其特征在于，

所述训练数据集中包括的对应关系，由所述数据处理装置的供应商和所述多组传感器的供应商提供。

7.一种数据处理方法，应用于设置在智能车辆上的数据处理装置，所述智能车辆设置有多组用于检测周围环境信息的传感器，其特征在于，包括：

通过多个虚拟机，获取每个虚拟机对应的一组传感器的检测数据；其中，每个虚拟机包括一个第一机器学习模型，其中，所述多个虚拟机之间是相互独立的；

以所述每个虚拟机对应的一组传感器的检测数据为所述虚拟机中第一机器学习模型的输入，得到多个输出结果；

以所述多个虚拟机中的第一机器学习模型的多个输出结果，作为第二机器学习模型的输入，得到融合输出结果；所述融合输出结果用于指示所述智能车辆的行驶参数信息。

8.根据权利要求7所述的方法，其特征在于，

所述第二机器学习模型设置在融合虚拟机内；

所述以所述多个虚拟机中的第一机器学习模型的多个输出结果，作为第二机器学习模型的输入，得到融合输出结果之前，所述方法还包括：

通过所述融合虚拟机获取所述多个虚拟机中的第一机器学习模型的多个输出结果。

9.根据权利要求8所述的方法，其特征在于，

所述第一机器学习模型包括：分支神经网络模型；

所述第二机器学习模型包括：融合神经网络模型。

10.根据权利要求9所述的方法，其特征在于，

每个所述虚拟机包括的分支神经网络模型，由所述虚拟机对应的一组传感器的供应商根据训练数据集训练得到；

所述训练数据集包括多个对应关系，在每个所述对应关系中，所述智能车辆的一组传感器的检测数据与一个行驶参数信息相对应。

11.根据权利要求10所述的方法，其特征在于，

所述融合神经网络模型，由所述数据处理装置的供应商根据所述训练数据集训练得到。

12.根据权利要求10或11所述的方法，其特征在于，

所述训练数据集中包括的对应关系，由所述数据处理装置的供应商和所述多组传感器的供应商提供。

13.一种智能车辆，其特征在于，包括：如本申请权利要求1-6任一项所述的数据处理装置。

14.一种电子设备，包括：处理器和存储器；所述存储器中存储有指令，当所述处理器运行所述指令时，所述处理器执行如权利要求7-12任一项所述的方法。

15.一种存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序在计算机上运行时，使所述计算机执行如权利要求7-12任一项所述的方法。

Images