CN114662650A - 用于生成和训练神经网络的系统和计算机实现的方法 - Google Patents

Abstract

本公开提供了“用于生成和训练神经网络的系统和计算机实现的方法”。描述了生成和训练神经网络的技术，所述技术包括训练多个模型并且用所述模型构建多个决策树。每个决策树可以包括所述决策树的各个级别的额外决策树。由于每个决策树的唯一结构化，每个决策树具有不同的准确度指示符，并且通过经由测试数据集测试每个树，可以确定具有最高准确度的树。

Description

用于生成和训练神经网络的系统和计算机实现的方法

技术领域

本公开总体上涉及生成和训练神经网络。

背景技术

机器学习使用训练数据来改进使用训练数据的计算机算法。所述算法基于机器学习模型的输入来进行改进的决策或预测结果。输入与输出之间的关系是模型所训练的关系，并且该关系是模型在训练之后最终试图预测特定输入的关系。机器学习的基本形式是感知器，所述感知器基于从整体模型的训练中学习的预期类别来对输入进行分类。感知器可以占据神经网络的隐藏层，所述隐藏层是输入可以在神经网络传回输出之前通过的层。

由于机器学习算法可能被应用于训练数据集之外的数据，因此预期的输出结果可能会出现不准确度。存在可以用于不同的预期应用的多种不同的潜在算法。然而，关于每个预期应用，每个潜在算法可以取得不同的成功。

虽然广泛的分析可以帮助更好地理解关于特定应用的算法，但是这样做需要大量的努力和时间，这最终可能不利于从最初实施机器学习算法节省时间。在本领域中需要更好地理解模型实现方式和准确度的改进。

发明内容

神经网络使用输入和输出的树进行训练。神经网络基于神经网络的经训练的经验，使用其算法来向特定输入提供输出。确定输入导致特定输出被称为感知器。

然而，特定模型及其各种感知器可能仅具有对于特定应用不是最佳的准确度水平。可以根据运行从同一数据集导出的训练集和测试集的准确度报告来测量对哪个模型可能最合适的改进的理解。此外，利用数据集来理解准确度可以改进对隐藏趋势的理解和整个网络的决策能力的多样性。

一般而言，描述了用于生成和训练神经网络的技术。训练方法可以提供生成机器学习模型的神经网络，其中可以提供额外模型作为感知器的输出，从而形成不同模型的“树”。可以从这个“树”中将数据集分割成第一集和第二集，第一集用于训练模型的“树”，而第二集用于测试模型的准确度。可以反向传播模型的准确度，以向神经网络提供在神经网络更远的层中可以更好地采用哪些模型的更好近似值。

在一些实施例中，提供了一种方法，所述方法包括：生成多个模型；将数据集分割成第一数据集和第二数据集；使用所述第一数据集来训练所述多个模型中的每个模型以生成多个经训练模型；构建多个决策树；用所述第二数据集测试所述多个决策树中的每一者以生成所述多个决策树中的每个决策树的准确度指示符；及部署所述多个决策树中具有最高准确度指示符的决策树。所述第一数据集可以具有训练数据，并且所述第二数据集可以具有测试数据。多个决策树可以具有多个经训练模型中的一个或多个经训练模型，其中多个决策树中的每一个都是唯一的。

在一些实施例中，提供了一种系统，所述系统包括：数据集；一个或多个处理器；及系统存储器，所述系统存储器存储用于使一个或多个处理器进行以下操作的指令：生成多个模型；将数据集分割成第一数据集和第二数据集；使用第一数据集来训练多个模型中的每个模型以生成多个经训练模型；构建多个决策树；用第二数据集测试多个决策树中的每一者以生成多个决策树中的每个决策树的准确度指示符；及部署多个决策树中具有最高准确度指示符的决策树。第一数据集可以具有训练数据，并且第二数据集可以具有测试数据。多个决策树可以具有多个经训练模型中的一个或多个经训练模型，其中多个决策树中的每一者都是唯一的。

计算机实现的方法的实现方式可以包括以下特征中的一者或多者。在一些实施例中，与第二数据集相比，第一数据集可以形成数据集的较大部分。在一些实施例中，构建多个决策树包括从多个经训练模型构建最大数量的唯一决策树。在一些实施例中，多个模型至少包括线性回归模型。在一些实施例中，部署具有最高准确度指示符的决策树可以包括将具有最高准确度指示符的决策树部署到其他神经网络。在一些实施例中，构建决策树可以包括每个模型的训练的反向传播以影响多个决策树的决策树序列。在一些实施例中，与给定决策树相关联的准确度指示符指示由给定决策树作出的决策的准确度。在一些实施例中，多个模型中的每一者可以具有超参数，并且神经网络可以包括决策树的多个模型中的每一者的超参数集，其中给定模型的训练是基于与给定模型相关联的超参数。

附图说明

通过参考以下附图，可以实现对各种实施例的性质和优点的进一步理解。在附图中，类似的部件或特征可以具有相同的附图标号。此外，可通过在附图标记后面加上短划线和在相似部件之间进行区分的第二标签来区分相同类型的各种部件。如果在说明书中仅使用第一附图标记，则所述描述适用于具有相同第一附图标记的相似部件中的任一者，而与第二附图标记无关。

图1示出了根据实施例的用于生成和训练神经网络的智能系统。

图2A示出了根据实施例的由不同层中的模型构成的神经网络。

图2B示出了根据实施例的在不同层中的各个节点处包括额外模型和感知器的神经网络。

图3示出了根据实施例的训练神经网络的方法。

图4示出了根据一些实施例的车辆系统的框图。

图5示出了根据一些实施例的计算系统的框图。

图6示出了根据一些实施例的云计算系统。

具体实施方式

在实施特定神经网络模型时，可以通过建构额外模型的树来实施准确度的额外改进。对于特定应用，训练数据可能导致不完美的准确度，这通常反映在机器学习模型中。为了更好地获取准确结果，可以通过多个模型发送数据，然而，随着模型数量的增加，难以确定哪种模型组合导致最高准确度。在总体神经网络内，可以用完整模型而不是二元分类器替换神经网络的个别感知器，以形成不同模型的树。

利用反向传播、机器学习算法的特征以及不同模型的树，可以实现跨模型网络的改进的准确度。从模型训练获得的结果可以向后传递到先前层以影响特定网络的效率。通过将不同的模型实施为神经网络的输入和输出，可以针对自身验证通过的训练数据和测试数据，从而导致在特定实施模式下对模型的准确度进行分析。例如，视觉系统可以通过多组模型运行数据，以提供对传感器正在接收的内容的更准确的视觉评估。可以使用模型的神经网络来跨模型生成更好的数据集准确度。

图1是用于生成和训练神经网络的示例性智能系统100。智能系统100可以具有服务器110、模型池130和数据集160。在不同的实施例中，智能系统100虽然示出了服务器，但是可以驻留在一个或多个计算装置(诸如下面关于图5描述的计算装置500、如关于图4描述的计算系统402)、服务器(诸如，如关于图6描述的服务器630)上的同一系统存储器或任何合适形式的计算机可读介质内。

模型池130可以是在生成和训练神经网络时与服务器110交互的不同机器学习模型或算法的池。各种类型的模型可以是例如线性回归模型、逻辑回归模型、决策树、梯度下降模型或任何合适的可实施机器学习模型。在实施例中，当生成神经网络时，从模型池130中拉取的模型可以构成总体模型的子模型。在实施例中，模型池130可以具有已经基于来自数据集160的训练数据进行训练的模型。模型可以各自具有超参数，所述超参数影响模型的结构并影响模型的训练方式。可以在训练模型之前设置超参数。

数据集160可以是用于训练机器学习模型的训练示例或输入/输出对。在实施例中，数据集160内的示例可以特别适合于车辆模型，诸如自主驾驶模型、计算机视觉模型或合适的车辆相关数据集。数据集160可以经由任何合适的电子通信协议传递到服务器110。

服务器110具有模型生成模块112、数据集分割模块114、训练模块116、决策树构建模块、测试模块120和部署模块122。服务器可以是数据中心、计算机、虚拟机或用于存储本文描述的各种模块的任何合适的服务器。

模型生成模块112从模型池130生成各种模型。由模型生成模块112生成的模型集可以随机地拉取模型，诸如例如分类模型、线性回归模型、随机梯度下降模型、朴素贝叶斯(Naive Bayes)模型、k均值模型以及任何其他合适的机器学习模型。

数据集分割模块114可以将从数据集160中拉取的数据分割为两个不同的集：可以用作训练数据集的第一数据集和可以用作测试数据集的第二数据集。在实施例中，数据集分割模块114可以分割数据集，使得数据集的80％用作第一数据集中的训练样本，而数据集的20％用作第二数据集中的测试样本。在实施例中，数据集分割模块114还可以划分数据集，使得训练样本是总数据集的50％、60％、70％、90％或任何其他合适的百分比，其中数据集的剩余百分比用于所述测试样品。

训练模块116可以将模型与被分割的数据的百分比结合作为训练数据集，以便训练从模型生成模块112提供的模型。然后，训练模块116可以使训练数据集通过每个树以使用训练数据集进一步训练模型。

决策树构建模块118可以从训练模块116取得各种经训练模型并且构建不同决策树，其中决策树的每个节点是不同的经训练模型。树的每个树节点的构建可以是完全随机的，并且决策树构建模块118可以准备适合于某一目的的尽可能多的树。在实施例中，所准备的树的数量可以由操作者、处理器、预设算法或用于确定要生成的树的数量的任何其他合适的方法来决定。例如，对于给定数量的经训练模型，可以构建最大数量的唯一决策树。在一些实施例中，最大数量可以是不同经训练模型的数量与决策树中的节点数量的所有排列。同样地，决策树具有的节点和分支的数量可以类似地由操作者、处理器、预设算法或任何合适的方法决定。每个决策树可以具有影响如何构建和训练决策树的超参数。对于由许多模型构成的决策树，超参数可以是占据决策树的各个节点的每个模型的超参数集。

在实施例中，所构建的决策树可以不具有占据每个节点的模型。例如，决策树可以是在相同的隐藏层中工作以传回每个层的输出或确定的感知器、分类器和模型的组合。在实施例中，先前层中的感知器可以用于概率性地推断在感知器之后的层中所使用的其他模型。例如，如果感知器以高百分比输出特定不准确分类，则模型可使用来自该特定感知器的准确度指示符来推断什么模型可以出现在更下游以便解释不准确度。

在生成各种决策树之后，决策树构建模块118将决策树传递到测试模块120，所述测试模块获取数据集的被保留用于测试的部分并且用数据集测试每个树的准确度。每个决策树基于测试数据传回指示经测试数据集的准确度的准确度指示符，所述准确度指示符由决策树的每个节点处的每个模型的结果确定。准确度指示符是基于来自特定模型的决策的准确度而从模型获得的结果。每个模型具有源自经测试数据集的其自身的准确度指示符，并且每个树具有源自通过整个树的经测试数据集的总体准确度指示符。对于可能具有相同模型但顺序不同的两个不同决策树，两个决策树之间的总体准确度指示符可不同，树内的顺序或模型可以提供唯一准确度指示符，这取决于层内和层之间的模型、节点或分类器。

准确度指示符被传递到部署模块122，所述部署模块然后部署具有最高总体准确度指示符的决策树。部署可以通过服务器(诸如，如图6中所描述的服务器630)或者到额外决策树和模型。例如，传回最高准确度指示符的用于确定图像是猫还是狗的特定决策树可以被部署到另一个神经网络，以确定特定图像是什么类型的动物。

作为示例，图2A示出了与如上所述的训练数据集相关联的示例性决策树200。可以使用决策树构建模块(诸如决策树构建模块118)来生成决策树200。决策树200具有层270、275和280。在层270中，任何输入(诸如输入250)都通过模型A 202。在层275中，模型B 204或模型C 206的任何输出都被传递到层280。决策树200的一个或多个节点202-214可以各自与不同的模型相关联。作为示例，决策树200可以是用于神经网络的决策树，其用于确定图像是否包括具有占据每个节点的不同模型的猫或狗。

决策树200接收输入250。输入250是包括猫或狗的图像。输入250被传递到模型A202，所述模型A基于其训练来确定输入250是包括猫还是狗。然而，模型不是像正常模型那样输出确定，而是基于模型A 202的确定将输入250传递到另一个模型。例如，如果模型A202确定输入包括猫，则模型A 202可以将输入250传递到模型B 204。如果模型A 202确定输入包括狗，则模型A 202可以将输入250传递到模型C 206。同样地，基于模型B 204的确定，将输入250从模型B 204传递到模型D 208或模型E 210，且基于模型C 206的确定，将输入250从模型C 206传递到模型F 212和模型G 214。虽然示例性决策树200示出了7个模型，但是决策树可以具有适合于不同应用的更多或更少的模型。例如，决策树可以具有2个、3个、4个、5个、6个、8个、9个、10个或更多个模型。

由于训练集对每个相应模型的影响，每个模型可以具有个别准确度指示符。例如，在实施例中，模型A 202可以具有40％的准确度。模型B 204可以具有41％的准确度。模型C206可以具有42％的准确度。模型D 208可以具有68％的准确度。模型E 210可以具有71％的准确度。模型F 212可以具有63％的准确度。模型G 214可以具有48％的准确度。然而，在特定序列中，决策树可以具有比其个别模型中的每一者更高的准确度。例如，如这个实施例中所示，决策树200在确定图像是猫还是狗时可以具有86％的总体准确度。

通过将模型放置在特定序列中，可以处理并且使用数据集的隐藏性质、元数据和其他方面，以提供更准确的总体模型。由于从决策树生成的特定序列，决策树相对于每一个别模型具有提高的准确度。决策树200可以是由决策树构建模块(例如决策树构建模块118)生成的许多决策树中的一个决策树。所示的模型的特定布置可以具有比由决策树构建模块生成的其他决策树更高的准确度，并且甚至比具有相同模型但呈不同循序下游顺序的决策树更高的准确度。

虽然图2A示出了占据层270、275和280中的每一者的节点，如下文进一步讨论，但是节点不必被模型占据。例如，如图2B中可见，模型的一些实施例可以占据节点的部分而不是决策树的每个节点，如图2A的实施例示出。

图2B示出了与用于确定图像是猫还是狗的训练集相关联的示例性决策树290。决策树290具有拥有模型A 202的层270、拥有模型B 204和节点1 222的层275、拥有节点2 224和模型C 206的层280以及拥有模型D 210、模型F 212和模型G 214的层285。决策树290可以在节点处使用不同的模块，诸如变换、标量或其他数据修改器来代替模型。例如，节点1 222或节点2 224可以是输入250的映射变换，其分别直接传递到模型C 206或模型D 210。在实施例中，节点1 222或节点2 224可以是其他运算，诸如标量乘数、转置或任何其他变换运算。

因此，在操作中，输入250将被传递到模型A 202，所述模型A基于其先前训练来确定输入250是猫还是狗。如果模型A 202确定输入250是猫，则输入250被传递到模型B 204，并且如果输入250被确定为狗，则它被传递到节点222。模型B将输入250传递到节点224，所述节点然后将输入250传递到模型D 210，所述模型D输出输入250是猫还是狗的确定。节点1222将输入250传递到模型C 206，所述模型C确定输入250是猫还是狗。如果确定输入250是猫，则将其传递到模型F 212，并且如果确定输入250是狗，则将其传递到模型G 214，这两者都提供最终输出。

图3是生成和训练神经网络的方法300。在实施例中，可以通过智能系统(诸如上文关于图1描述的智能系统100)来生成和训练神经网络。

在步骤302中，生成多个模型。多个模型可以是机器学习模型，诸如分类模型、回归模型、梯度下降模型、朴素贝叶斯模型或其他合适的机器学习模型。多个模型可以由模型生成模块(诸如模型生成模块112)从模型池(诸如模型池130)生成。

在步骤304中，将数据集(诸如数据集160)分割成训练数据集和测试数据集。例如，在实施例中，数据集160可以被分割使得训练数据集构成数据集的80％，并且测试数据构成数据集的20％。在实施例中，训练数据可以由数据集的50％、60％、70％、90％或其他组成，其中测试数据集是由数据集的未用于训练数据的剩余部分组成。

在步骤306中，用训练数据集训练多个模型中的每个模型。模型可以通过训练模块(诸如训练模块116)进行训练。训练集通过每个模型，以便针对数据集所旨在的特定任务训练模型。例如，对于旨在确定图像是包括猫还是狗的数据集，如在上文图2A至图2B中，将在反映包括猫或狗的图像的数据上训练模型。

在步骤308中，构建多个决策树。多个决策树中的每一者含有步骤306的经训练模型中的一者或多者，并且多个决策树中的每一者在所述多个决策树内都是唯一的。在实施例中，决策树可以不同序列使用与另一决策树相同的经训练模型，并且仍然是唯一的。在实施例中，决策树在一个决策树与另一个决策树之间可以具有完全不同的模型。

在步骤310中，用数据集的如上文在步骤304中所述经分割以用于测试的部分来测试在步骤308中构建的多个决策树。基于对每个决策树的测试，获得准确度指示符。在实施例中，准确度指示符可以是用于决策树的每一个别模型的准确度指示符。在实施例中，准确度指示符还包括整个决策树的总体准确度，如上文关于图2所描述。

在步骤312中，使用在步骤310中获得的准确度指示符来部署具有最高准确度指示符的决策树。部署可以通过服务器(诸如，如图6中所描述的服务器630)、系统存储器、计算机可读介质或以其他方式适合于与处理器对接。例如，可以通过意在与车辆对接的加密狗来部署被认为具有最高准确度的决策树。

任何合适的计算系统或计算系统群组可以用于执行本文描述的操作或方法。例如，图4示出了车辆系统，所述车辆系统包括计算系统402以及可以执行本文所述的功能中的一些或全部的多个ECU。图5还描绘了可以是计算系统402的至少一部分的计算装置500的示例。

图4示出了根据一些实施例的车辆系统400的框图。车辆系统400可以包括被配置为通过车辆内网络414进行通信的计算系统402。计算系统402包括处理器404和存储装置406。虽然图4中示出了车辆系统400，但是如所示的示例性部件不意在限制。实际上，车辆系统400可以具有更多或更少的部件，并且可以使用额外或替代的部件和/或实现方式。应注意，车辆系统400环境的使用是说明性的，因为部件和/或功能性可以用于其他类型的系统，诸如飞机中的飞行控制系统、或医疗装置或工业机器。

车辆系统400可以包括各种类型的汽车、跨界多功能车辆(CUV)、运动型多功能车辆(SUV)、卡车、休闲车辆(RV)、船、飞机或用于运输人或货物的其他移动机器。在许多情况下，车辆系统400可以由内燃发动机提供动力。作为另一种可能性，车辆系统400可以是由内燃发动机和一个或多个电动马达两者提供动力的混合动力电动车辆(HEV)，诸如串联式混合动力电动车辆(SHEV)、并联式混合动力电动车辆(PHEV)或并联/串联式混合动力电动车辆(PSHEV)。由于车辆系统400的类型和配置可以变化，因此车辆系统的能力可以相应地变化。作为一些其他可能性，车辆系统400在载客量、牵引能力和容量以及存储量方面可以具有不同能力。

计算系统402可以包括人机界面(HMI)412和用于与计算系统402进行用户交互的显示器428。示例性计算系统402可以是由密歇根州迪尔伯恩市的FORD MOTOR COMPANY^TM提供的SYNC^TM系统。在一些示例中，显示器428可以包括车辆信息娱乐系统，所述车辆信息娱乐系统包括一个或多个显示器。HMI 412可以被配置为支持语音命令和与驾驶员和驾驶员携带的装置的BLUETOOTH^TM接口，经由各种按钮或其他控件接收用户输入，以及向驾驶员或其他车辆系统400乘员提供车辆状态信息。例如，计算系统402可以与被配置为调用计算系统402上的功能的一个或多个按钮或其他HMI 412(例如，方向盘音频按钮、通话按钮、仪表板控件等)对接。计算系统402还可以驱动显示器428或以其他方式与其进行通信，所述显示器被配置为例如通过视频控制器向车辆乘员提供视觉输出。在一些情况下，显示器428可以是触摸屏，所述触摸屏还被配置为经由视频控制器接收用户触摸输入，而在其他情况下，显示器428可以是仅显示器而没有触摸输入能力。在示例中，显示器428可以是包括在车辆系统400的中央控制台区域中的主机单元显示器。在另一个示例中，显示器428可以是车辆系统400的仪表组的屏幕。

计算系统402还可以包括支持本文所述的计算系统402的功能的执行的各种类型的计算设备。在示例中，计算系统402可以包括被配置为执行计算机指令的一个或多个处理器404以及其上可以保存计算机可执行指令和/或数据的存储装置406介质。计算机可读介质(也称为处理器可读介质或存储装置406)包括参与提供可以由计算机(例如，由一个或多个处理器404)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。通常，处理器404接收例如从存储装置406等到存储器的指令和/或数据并且使用数据执行指令，从而执行一个或多个过程，包括本文所描述的过程中的一者或多者。计算机可执行指令可以根据使用多种编程语言和/或技术创建的计算机程序来编译或解译，所述多种编程语言和/或技术单独地或组合地包括但不限于：Java、C、C++、C#、Fortran、Pascal、Visual Basic、Python、Java Script、Perl、PL/SQL等。存储装置406可以包括用于数据408和应用程序410的分部。数据408可以存储诸如数据库的信息和其他此类信息。应用程序410可以存储计算机可执行指令或处理器404可执行的其他此类指令。

计算系统402可以被配置为与车辆系统400的乘员的移动装置通信。移动装置可以是各种类型的便携式计算装置中的任一者，诸如蜂窝电话、平板计算机、智能手表、膝上型计算机、便携式音乐播放器或能够与计算系统402通信的其他装置。与计算系统402一样，移动装置可以包括被配置为执行计算机指令的一个或多个处理器，以及其上可以保存计算机可执行指令和/或数据的存储介质。在一些示例中，计算系统402可以包括被配置为与移动装置的兼容无线收发器通信的无线收发器(例如，BLUETOOTH^TM控制器、ZIGBEE^TM收发器、Wi-Fi收发器等)。另外或替代地，计算系统402可以通过有线连接(诸如经由移动装置与计算系统402的通用串行总线(USB)子系统之间的USB连接)与移动装置通信。

计算系统402还可以被配置为经由一个或多个车辆内网络414与车辆系统400的其他部件通信。作为一些示例，车辆内网络414可以包括车辆控制器局域网(CAN)、以太网或面向媒体的系统传输(MOST)中的一者或多者。车辆内网络414可以允许计算系统402与车辆系统400的其他单元(诸如ECU A 420、ECU B 422、ECU C 424和ECU D426)通信。ECU 420、422、424和426可以包括车辆系统400的各种电气或机电系统，或者控制车辆系统400的各种子系统。ECU的一些非限制性示例包括：动力传动系统控制模块，所述动力传动系统控制模块被配置为提供对发动机操作部件(例如，怠速控制部件、燃料输送部件、排放控制部件等)的控制和对发动机操作部件的监测(例如，发动机诊断代码的状态)；主体控制模块，所述主体控制模块被配置为管理各种电力控制功能，诸如外部照明、内部照明、无钥匙进入、远程起动和进入点状态验证(例如，车辆系统400的发动机罩、门和/或行李厢的关闭状态)；无线电收发器模块，所述无线电收发器模块被配置为与钥匙扣或其他车辆系统400装置通信；气候控制管理模块，所述气候控制管理模块被配置为提供对加热和冷却系统部件的控制和监测(例如，压缩机离合器和鼓风机风扇控制、温度传感器信息等)；以及变速器控制模块、制动器控制模块、中央计时模块、悬架控制模块、车辆调制解调器(其在一些配置中可能不存在)、被配置为提供车辆系统400位置和航向信息的全球定位系统(GPS)模块和被配置为与计算系统402协作的各种其他车辆ECU。由各种ECU控制的子系统可以包括车辆系统400的功能部件416，所述功能部件包括诸如动力传动系统、引擎、制动器、灯、转向部件等元件。另外，功能部件416中的一些或全部可以包括传感器418以及装备到车辆系统400的额外传感器，以用于检测车辆系统400及其子系统的各种状态、位置、接近度、温度等。ECU 420、422、424、426可以通过车辆内网络414与计算系统402以及功能部件416和传感器418通信。尽管图4中仅描绘了四个ECU，但是车辆系统400中可以包括任何数量(更多或更少)的ECU。

图5示出了计算装置500的示例的框图。计算装置500可以是本文描述的计算机中的任一者，包括例如图4的车辆系统400内的计算系统402以及ECU 420、422、424、426。计算装置500可以是或包括例如集成计算机、膝上型计算机、台式计算机、平板计算机、服务器或其他电子装置。

计算装置500可以包括经由总线505与其他硬件对接的处理器540。可以包括任何合适的有形(和非暂时性)计算机可读介质(诸如RAM、ROM、EEPROM等)的存储器510可以体现配置计算装置500的操作的程序部件(例如，程序代码515)。存储器510可以存储程序代码515、程序数据517或以上两者。在一些示例中，计算装置500可以包括输入/输出(“I/O”)接口部件525(例如，用于与显示器545、键盘、鼠标等介接)和额外存储装置530。

计算装置500执行程序代码515，所述程序代码将处理器540配置为执行本文描述的操作中的一者或多者。在各种实施例中，程序代码515的示例包括上文关于图1描述的逻辑流程图。程序代码515可以驻留在存储器510或任何合适的计算机可读介质中，并且可以由处理器540或任何其他合适的处理器执行。

计算装置500可以借助执行程序代码515来生成或接收程序数据517。例如，传感器数据、行程计数器、认证消息、行程标志和本文所述的其他数据都是可以由计算装置500在执行程序代码515期间使用的程序数据517的示例。

计算装置500可以包括网络部件520。网络部件520可以表示促进网络连接的任何部件中的一者或多者。在一些示例中，网络部件520可以促进无线连接，并且包括无线接口，诸如IEEE 802.11、BLUETOOTH^TM或用于访问蜂窝电话网络的无线电接口(例如，用于访问CDMA、GSM、UMTS或其他移动通信网络的收发器/天线)。在其他示例中，网络部件520可以是有线的，并且可以包括诸如以太网、USB或IEEE 1394的接口。

虽然图5描绘了具有处理器540的计算装置500，但所述系统可以包括任何数量的计算装置500和任何数量的处理器540。例如，多个计算装置500或多个处理器540可以分布在有线或无线网络(例如，广域网、局域网或互联网)上。多个计算装置500或多个处理器540可以单独地或彼此协作地执行本公开的步骤中的任一者。

在一些实施例中，由计算装置600提供的功能性可以由云服务提供商作为云服务提供。例如，图6描绘了供应智能服务的云计算系统600的示例，许多用户订阅者可以使用用户装置625a、625b和625c跨数据网络620来使用所述智能服务。用户装置625a、625b和625c可以是上述车辆系统400的示例。在示例中，可在软件即服务(SaaS)模型下提供智能服务。一个或多个用户可以订阅智能服务，并且云计算系统执行处理以向订阅者提供智能服务。云计算系统可以包括一个或多个远程服务器计算机605。

远程服务器计算机605包括用于存储由云计算系统600使用来提供云服务的程序代码(例如，服务器630)和程序数据610或两者的任何合适的非暂时性计算机可读介质。计算机可读介质可以包括能够向处理器提供计算机可读指令或其他程序代码的任何电子、光学、磁性或其他存储装置。计算机可读介质的非限制性示例包括磁盘、存储器芯片、ROM、RAM、ASIC、光学存储装置、磁带或其他磁性存储装置、或者处理装置可以从中读取指令的任何其他介质。所述指令可以包括由编译器或解译器从通过任何合适的计算机编程语言编写的代码生成的处理器专有指令，所述计算机编程语言包括(例如)C、C++、C#、Visual Basic、Java、Python、Perl、JavaScript和ActionScript。在各种示例中，服务器计算机605可以包括易失性存储器、非易失性存储器或其组合。

服务器计算机605中的一者或多者执行程序数据610，所述程序数据配置服务器计算机605的一个或多个处理器以执行确定交互元件的位置并且操作基于自适应规则的系统的操作中的一者或多者。如图6中的实施例所描绘，一个或多个服务器计算机605提供服务以经由服务器630来执行基于自适应规则的系统。执行本文描述的一个或多个操作的任何其他合适的系统或子系统(例如，用于配置交互式用户接口的一个或多个开发系统)也可由云计算系统600实施。

在某些实施例中，云计算系统600可以通过执行程序代码和/或使用程序数据610来实施服务，所述程序数据可以驻留在服务器计算机605的存储器装置或任何合适的计算机可读介质中，并且可由服务器计算机605的处理器或任何其他合适的处理器执行。

在一些实施例中，程序数据610包括本文描述的一个或多个数据集和模型。这些数据集的示例包括经销店数据、分类数据等。在一些实施例中，数据集、模型和函数中的一者或多者存储在同一存储器装置中。在额外或替代实施例中，本文描述的程序、数据集、模型和函数中的一者或多者存储在可经由数据网络620访问的不同存储器装置中。

云计算系统600还包括网络接口装置615，所述网络接口装置实现往返于云计算系统600的通信。在某些实施例中，网络接口装置615包括适合于建立至数据网络620的有线或无线数据连接的任何装置或装置群组。网络接口装置615的非限制性示例包括以太网网络适配器、调制解调器等。服务器630能够使用网络接口装置615经由数据网络620与用户装置625a、625b和625c通信。

虽然已经关于本主题的具体方面对本主题进行了详细描述，但是应理解，本领域技术人员在理解前述内容后，可以很容易产生这些方面的变更、变化和等效物。本文阐述了许多具体细节，以提供对所要求保护的主题的透彻理解。然而，本领域技术人员将理解，可在没有这些具体细节的情况下实践所要求保护的主题。在其他实例中，未详细描述本领域普通技术人员已知的方法、设备或系统，以免模糊所要求保护的主题。因此，已出于示例而非限制的目的呈现了本公开，并且不排除包括对本主题的此类修改、变化和/或添加，这对于本领域的普通技术人员来说是显而易见的。

除非另有特别说明，否则应理解，在整个说明书中，利用诸如“处理”、“计算(computing/calculating)”、“确定”和“识别”等术语进行的论述指代计算装置的动作或过程，所述计算装置诸如一个或多个计算机或类似的电子计算装置，或者操纵或转换表示为计算平台的存储器、寄存器或其他信息存储装置、传输装置或显示装置内的物理电子或磁性量的数据的装置。本文中“适于”或“配置为”的使用意指开放和包容性语言，其不排除适于或被配置为执行额外任务或步骤的装置。另外，“基于”的使用意味着是开放和包容性的，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可基于超出所述的条件或值的额外条件或值。本文所包括的标头、列表和编号仅是为了便于解释，并不意味着进行限制。

可在此类计算装置的操作中执行本文公开的方法的各方面。本文讨论的一个或多个系统不限于任何特定的硬件架构或配置。计算装置可以包括提供以一个或多个输入为条件的结果的任何合适的部件布置。合适的计算装置包括基于多用途微处理器的计算机系统，所述计算机系统访问存储的软件，所述软件将计算系统从通用计算设备编程或配置为实施本主题的一个或多个方面的专用计算设备。可使用任何合适的编程、脚本或其他类型的语言或语言组合来实施本文所包含的在用于对计算装置进行编程或配置的软件中的教示。在以上示例中呈现的框的次序可能有所变化，例如各框可被重新排序、组合和/或分成子框。可并行地执行某些框或过程。

已经描述了几个示例性配置，在不脱离本公开的精神的情况下，可以使用各种修改，替代构造和等效物。例如，以上元件可以是较大系统的部件，其中其他规则可以优先于或以其他方式修改本发明的应用。而且，在考虑以上元件之前、期间或之后可以采取许多步骤。

根据本发明，提供了一种用于生成和训练神经网路的计算机实现的方法，所述计算机实现的方法包括：生成多个模型；将数据集分割成第一数据集和第二数据集，其中所述第一数据集包括训练数据并且所述第二数据集包括测试数据；使用所述第一数据集来训练所述多个模型中的每个模型以生成多个经训练模型；构建多个决策树，所述多个决策树包括所述多个经训练模型中的一个或多个经训练模型，其中所述多个决策树中的每一者都是唯一的；用所述第二数据集测试所述多个决策树中的每一者以生成所述多个决策树中的每个决策树的准确度指示符；及部署所述多个决策树中具有最高准确度指示符的决策树。

在本发明的一个方面，与所述第二数据集相比，所述第一数据集形成所述数据集的较大部分。

在本发明的一个方面，所述构建所述多个决策树包括从所述多个经训练模型构建最大数量的唯一决策树。

在本发明的一个方面，所述多个模型至少包括线性回归模型。

在本发明的一个方面，所述部署具有所述最高准确度指示符的所述决策树包括将具有所述最高准确度指示符的所述决策树部署到其他神经网络。

在本发明的一个方面，所述构建所述决策树包括每个模型的所述训练的反向传播以影响所述多个决策树的决策树序列。

在本发明的一个方面，与给定决策树相关联的准确度指示符指示由所述给定决策树作出的决策的准确度。

根据本发明，提供了一种用于生成和训练神经网路的系统，所述系统具有：数据集；一个或多个处理器；及系统存储器，所述系统存储器存储用于使所述一个或多个处理器进行以下操作的指令：生成多个模型；将所述数据集分割成第一数据集和第二数据集，其中所述第一数据集包括训练数据并且所述第二数据集包括测试数据；使用所述第一数据集来训练所述多个模型中的每个模型以生成多个经训练模型；构建多个决策树，所述多个决策树包括所述多个经训练模型中的一个或多个经训练模型，其中所述多个决策树中的每一者都是唯一的；用所述第二数据集测试所述多个决策树中的每一者以生成所述多个决策树中的每个决策树的准确度指示符；及部署所述多个决策树中具有最高准确度指示符的决策树。

根据实施例，与所述第二数据集相比，所述第一数据集形成所述数据集的较大部分。

根据实施例，所述构建所述多个决策树包括构建最大数量的决策树。

根据实施例，所述多个模型中的每一者都具有超参数，并且所述神经网络包括超参数集，包括所述决策树的所述多个模型中的每一者的所述超参数，其中给定模型的训练是基于与所述给定模型相关联的超参数。

根据实施例，所述神经网络包括超参数集，所述超参数集包括所述决策树中的所述多个模型之间的连接，其中所述决策树是基于所述超参数集构建。

根据实施例，所述多个模型至少包括线性回归模型。

根据实施例，所述部署具有所述最高准确度指示符的所述决策树包括将具有所述最高准确度指示符的所述决策树部署到其他神经网络。

根据实施例，与给定决策树相关联的准确度指示符指示由所述给定决策树作出的决策的准确度。

根据实施例，通过基于每个模型的训练结果进行反向传播来构建所述多个决策树。

根据本发明，提供了一种包括指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器进行以下操作：生成多个模型；将数据集分割成第一数据集和第二数据集，其中所述第一数据集包括训练数据并且所述第二数据集包括测试数据；使用所述第一数据集来训练所述多个模型中的每个模型以创建多个经训练模型；构建多个决策树，所述多个决策树包括所述多个经训练模型中的一个或多个经训练模型，其中所述多个决策树中的每一者都是唯一的；用所述第二数据集测试所述多个决策树中的每一者以生成所述多个决策树中的每个决策树的准确度指示符；及部署所述多个决策树中具有最高准确度指示符的决策树。

根据实施例，与所述第二数据集相比，所述第一数据集形成所述数据集的较大部分。

根据实施例，所述构建所述多个决策树包括构建最大数量的决策树。

Claims (15)

1.一种用于生成和训练神经网络的计算机实现的方法，所述方法包括：

生成多个模型；

将数据集分割成第一数据集和第二数据集，其中所述第一数据集包括训练数据，并且所述第二数据集包括测试数据；

使用所述第一数据集来训练所述多个模型中的每个模型以生成多个经训练模型；

构建多个决策树，所述多个决策树包括所述多个经训练模型中的一个或多个经训练模型，其中所述多个决策树中的每一个都是唯一的；

用所述第二数据集测试所述多个决策树中的每一个以生成所述多个决策树中的每个决策树的准确度指示符；以及

部署所述多个决策树中具有最高准确度指示符的决策树。

2.如权利要求1所述的方法，其中与所述第二数据集相比，所述第一数据集形成所述数据集的较大部分。

3.如权利要求1所述的方法，其中所述多个模型至少包括线性回归模型。

4.如权利要求1所述的方法，其中所述部署具有所述最高准确度指示符的所述决策树包括将具有所述最高准确度指示符的所述决策树部署到其他神经网络。

5.如权利要求1所述的方法，其中所述构建所述决策树包括每个模型的所述训练的反向传播以影响所述多个决策树的决策树序列。

6.一种用于生成和训练神经网络的系统，所述系统包括：

数据集；

一个或多个处理器；以及

系统存储器，所述系统存储器存储用于使所述一个或多个处理器进行以下操作的指令：

生成多个模型；

将所述数据集分割成第一数据集和第二数据集，其中所述第一数据集包括训练数据，并且所述第二数据集包括测试数据；

使用所述第一数据集来训练所述多个模型中的每个模型以创建多个经训练模型；

构建多个决策树，所述多个决策树包括所述多个经训练模型中的一个或多个经训练模型，其中所述多个决策树中的每一个都是唯一的；

用所述第二数据集测试所述多个决策树中的每一个以生成所述多个决策树中的每个决策树的准确度指示符；以及

部署所述多个决策树中具有最高准确度指示符的决策树。

7.如权利要求6所述的系统，其中与所述第二数据集相比，所述第一数据集形成所述数据集的较大部分。

8.如权利要求6所述的系统，其中所述多个模型中的每一个都具有超参数，并且所述神经网络包括超参数集，包括所述决策树的所述多个模型中的每一个的所述超参数，其中给定模型的所述训练是基于与所述给定模型相关联的所述超参数。

9.如权利要求8所述的系统，其中所述神经网络包括超参数集，包括所述决策树中的所述多个模型之间的连接，其中所述决策树是基于所述超参数集来构建的。

10.如权利要求6所述的系统，其中所述多个模型至少包括线性回归模型。

11.如权利要求6所述的系统，其中所述部署具有所述最高准确度指示符的所述决策树包括将具有所述最高准确度指示符的所述决策树部署到其他神经网络。

12.如权利要求6所述的系统，其中所述多个决策树是基于每个模型的所述训练的结果而通过反向传播构建。

13.一种包括指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器进行以下操作：

生成多个模型；

将数据集分割成第一数据集和第二数据集，其中所述第一数据集包括训练数据，并且所述第二数据集包括测试数据；

使用所述第一数据集来训练所述多个模型中的每个模型以创建多个经训练模型；

构建多个决策树，所述多个决策树包括所述多个经训练模型中的一个或多个经训练模型，其中所述多个决策树中的每一个都是唯一的；

用所述第二数据集测试所述多个决策树中的每一个以生成所述多个决策树中的每个决策树的准确度指示符；以及

部署所述多个决策树中具有最高准确度指示符的决策树。

14.如权利要求13所述的非暂时性计算机可读介质，其中与所述第二数据集相比，所述第一数据集形成所述数据集的较大部分。

15.如权利要求13所述的非暂时性计算机可读介质，其中所述构建所述多个决策树包括构建最大数量的决策树。

Images