CN115730205A - 一种配置决策装置的方法、装置及相关设备 - Google Patents

Abstract

本申请提供了一种配置决策装置的方法，先获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果，并且第一推理模型推理第一类样本的精度低于第一推理模型推理第二类样本的精度；根据第一推理结果以及第二推理结果，配置决策装置中的决策参数。如此，决策装置基于配置的决策参数通常能够准确识别出规格较小的第一推理模型难以准确推理的第一类样本，并将其传输给第二设备集合，以便利用规格更大的第二推理模型进行推理，以此可以使得推理模型输入样本的精度能够保持在较高水平。此外，本申请还提供了对应的装置及相关设备。

Description

一种配置决策装置的方法、装置及相关设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种配置决策装置的方法、装置及相关设备。

背景技术

在人工智能(artificial intelligence，AI)领域中，机器学习技术作为AI领域一种重要的方法和手段，旨在通过机器学习算法对训练数据集进行规律分析得到模型，并利用该模型持续对未知的样本数据进行推理。

目前，可以根据部署推理模型的环境的资源量设置两级的推理机制。比如，在边云协同的推理场景中，可以在边缘侧以及云端分别设置不同规格的推理模型，并且，由于边缘侧的计算资源通常少于云端的计算资源，因此，部署于在边缘侧的推理模型可以是通过对云端的推理模型进行压缩所得到的规格较小的模型。相应的，针对相同的模型输入样本，云端的推理模型对于该模型输入样本的推理效果(如推理精度、效率等)，通常优于边缘侧的推理模型对于该模型输入样本的推理效果。同时，在边缘侧部署决策装置，该决策装置可以在边缘侧的推理模型难以对模型输入样本进行有效性推理时(如推理结果的置信度较低等)，确定将该模型输入样本发送至云端，以便利用云端的规格更大的推理模型对该模型输入样本进行推理，以此提高最终得到的推理结果的精度。

但是，实际应用时，推理系统的精度可能难以保持在较高的水平，比如，在部分时间段内，推理系统针对模型输入样本所确定的推理结果的准确度较低等。因此，目前亟需一种推理方案，以使得推理系统推理模型输入样本的精度保持在较高水平。

发明内容

本申请提供了一种配置决策装置的方法，用于使得推理系统针对模型输入样本的推理准确度保持在较高的水平。此外，本申请还提供了一种配置决策装置的装置、计算机设备、计算机可读存储介质以及计算机程序产品。

第一方面，本申请提供了一种配置决策装置的方法，该方法应用于包括第一设备集合、第二设备集合以及决策装置的推理系统，其中，第一设备集合以及第二设备集合均包括至少一个计算设备，并且，第一设备集合中的第一推理模型的规格小于第二设备集合中的第二推理模型的规格。在执行该方法时，先获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果，并且第一推理模型推理第一类样本的精度低于第一推理模型推理第二类样本的精度，实际应用时，该第一类型样本可以称之为难例样本，第二类样本可以称之为简单例样本；并根据第一推理结果以及第二推理结果，配置决策装置中的决策参数，该决策参数用于将第一推理模型推理的模型输入样本识别为传输给第二设备集合的模型输入样本。

由于决策装置的决策参数是通过第一推理模型能够较为准确推理的第一类样本的推理结果以及第一推理模型难以准确推理的第二类样本的推理结果进行配置，因此，决策装置基于该决策参数通常能够准确识别出第一推理模型难以准确推理的第二类样本。这样，推理系统可以利用规格更大的第二推理模型对该类样本进行推理，以此可以使得推理系统推理模型输入样本的精度能够保持在较高水平。

在一种可能的实施方式中，在获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果时，具体可以是指示第一设备集合利用第一推理模型分别对第一类样本以及第二类样本进行推理，得到第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果。如此，可以通过第一推理模型分别对两类样本进行推理，得到两类样本对应的推理结果，以便后续基于该推理结果对决策装置中的决策参数进行配置。

在一种可能的实施方式中，获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果时，具体可以是指示第一设备集合利用所述第一推理模型对第一类样本进行推理，得到第一类样本对应的第一推理结果；同时，还指示第二设备集合利用第二推理模型对第二类样本进行推理，得到第二类样本对应的第二推理结果。如此，可以通过第一推理模型以及第二推理模型，得到两类样本分别对应的推理结果，以便后续基于该推理结果对决策装置中的决策参数进行配置。

在一种可能的实施方式中，在获取推理结果之前，还可以先获取多个样本，并进一步获取该多个样本对应的推理结果，该多个样本对应的推理结果通过第一推理模型分别对多个样本进行推理得到；然后，根据该多个样本对应的推理结果，可以确定多个样本中的第一类样本以及第二类样本。如此，可以根据第一推理模型对多个样本的推理结果，从多个样本中确定出第一推理模型能够更准确识别的第一类样本以及第一推理模型难以准确识别的第二类样本。

在一种可能的实施方式中，根据多个样本对应的推理结果，确定多个样本中的第一类样本以及第二类样本时，具体可以是先呈现标注界面，该标注界面包括多个样本对应的推理结果，从而可以根据标注人员针对该多个样本对应的推理结果的标注操作，确定多个样本中的第一类样本以及第二类样本。如此，可以通过标注人员的人工标注结果，从多个样本中确定出第一类样本以及第二类样本，以此提高确定第一类型样本以及第二类样本的准确度。

在一种可能的实施方式中，在获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果之前，还可以为第一设备集合配置第一推理模型，以及为第二设备集合配置第二推理模型，以便后续能够利用配置的第一推理模型和/或第二推理模型确定决策参数，其中，第一推理模型是通过对第二推理模型进行模型压缩得到。例如，可以先通过强化学习算法对第二推理模型进行结构化搜索，以确定第一推理模型的网络结构；再通过对第二推理模型进行知识蒸馏的方式，确定第一推理模型的网络参数，以此得到第一推理模型。

在一种可能的实施方式中，推理系统可以采用端边协同的方式进行部署，即第一设备集合部署于本地网络，第二设备集合部署于边缘网络；或，推理系统可以采用边云协同的方式进行部署，即第一设备集合部署于边缘网络，第二设备集合部署于云端。

第二方面，本申请提供一种配置决策装置的方法，该方法应用于包括第一设备集合、第二设备集合以及决策装置的推理系统，该第一设备集合以及第二设备集合均包括至少一个计算设备，并且，第一设备集合中的第一推理模型的规格小于第二设备集合中的第二推理模型的规格。在执行该方法时，可以先获取第一类样本以及第二类样本，第一推理模型推理第一类样本的精度低于第一推理模型推理第二类样本的精度；然后，根据第一类样本以及第二类样本，配置决策装置中的决策参数，该决策参数用于将所述第一推理模型推理的模型输入样本识别为传输给第二设备集合的模型输入样本。

由于决策装置的决策参数是通过第一推理模型能够较为准确推理的第一类样本以及第一推理模型难以准确推理的第二类样本进行配置，因此，决策装置基于该决策参数通常能够准确识别出第一推理模型难以准确推理的第一类样本。这样，推理系统可以利用规格更大的第二推理模型对该类样本进行推理，以此可以使得推理系统推理模型输入样本的精度能够保持在较高水平。

第三方面，本申请提供一种配置装置，所述配置装置包括用于实现第一方面中的配置决策装置的方法的各个模块。

第四方面，本申请提供一种配置装置，所述配置装置应用于推理系统，所述推理系统包括第一设备集合、第二设备集合以及决策装置，所述第一设备集合以及所述第二设备集合均包括至少一个计算设备，所述第一设备集合中的第一推理模型的规格小于所述第二设备集合中的第二推理模型的规格，配置装置包括：样本获取模块，用于获取第一类样本以及第二类样本，所述第一推理模型推理所述第一类样本的精度低于所述第一推理模型推理所述第二类样本的精度；配置模块，用于根据所述第一类样本以及所述第二类样本，配置所述决策装置中的决策参数，所述决策参数用于将所述第一推理模型推理的模型输入样本识别为传输给所述第二设备集合的模型输入样本。

第五方面，本申请提供一种计算机设备，所述计算机设备包括处理器和存储器；该存储器用于存储指令，当该计算机设备运行时，该处理器执行该存储器存储的该指令，以使该计算机设备执行上述第一方面或第一方面任一种可能实现方式中的配置决策装置的方法。需要说明的是，该存储器可以集成于处理器中，也可以是独立于处理器之外。计算机设备还可以包括总线。其中，处理器通过总线连接存储器。其中，存储器可以包括可读存储器以及随机存取存储器。

第六方面，本申请提供一种计算机设备，所述计算机设备包括处理器和存储器；该存储器用于存储指令，当该计算机设备运行时，该处理器执行该存储器存储的该指令，以使该计算机设备执行上述第二方面中的配置决策装置的方法。需要说明的是，该存储器可以集成于处理器中，也可以是独立于处理器之外。计算机设备还可以包括总线。其中，处理器通过总线连接存储器。其中，存储器可以包括可读存储器以及随机存取存储器。

第七方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机设备上运行时，使得计算机设备执行上述第一方面或第一方面的任一种实现方式所述的方法。

第八方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机设备上运行时，使得计算机设备执行上述第二方面所述的方法。

第九方面，本申请提供了一种包含指令的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行上述第一方面或第一方面的任一种实现方式所述的方法。

第十方面，本申请提供了一种包含指令的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行上述第二方面所述的方法。

本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种推理系统的架构示意图；

图2为本申请实施例提供的另一种推理系统的架构示意图；

图3为本申请实施例提供的一种配置决策装置的方法流程示意图；

图4为本申请实施例提供的一示例性标注界面示意图；

图5为本申请实施例提供的一种计算机设备500的结构示意图；

图6为本申请实施例提供的一种计算机设备600的结构示意图。

具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解，这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。

参见图1，为一种推理系统的架构示意图。如图1所示，该推理系统100包括第一设备集合101、第二设备集合102以及决策装置103。其中，第一设备集合101以及第二设备集合102均包括至少一个计算设备，图1中以第一设备集合101以及第二设备集合102分别包括多个服务器为例。实际应用时，构成第一设备集合101以及第二设备集合102的计算设备也可以是其它具有计算能力的设备，并不局限于图1所示的服务器。第一设备集合101以及第二设备集合102可以部署于不同的环境中。示例性地，如图1所示，第一设备集合101可以部署于边缘网络，用于在边缘侧执行相应的计算过程，如下述基于第一推理模型的推理过程等；第二设备集合102可以部署于云端，用于在云端执行相应的计算过程，如下述基于第二推理模型的推理过程等。而在其它示例中，第一设备集合101可以部署于用户侧的本地网络，如本地的终端或者服务器等；第二设备集合102可以部署于边缘网络。本实施例中，对于第一设备集合101以及第二设备集合102的具体部署方式并不进行限定。

决策装置103可以与第一设备集合101部署于相同的环境中，比如，决策装置103可以与第一设备集合101部署于如图所示的边缘侧网络，或者也可以是与第一设备集合101部署于本地网络等。其中，决策装置103可以通过软件或者硬件实现。当通过软件实现时，决策装置103可以是应用于计算设备上的应用程序，该计算设备与第一设备集合101部署于相同的环境。当通过硬件实现时，决策装置103可以是与第一设备集合101位于相同环境的计算设备，如服务器；或者，决策装置103可以是利用专用集成电路(application-specificintegrated circuit，ASIC)实现、或可编程逻辑器件(programmable logic device，PLD)实现的设备等。其中，上述PLD可以是复杂程序逻辑器件(complex programmable logicaldevice，CPLD)、现场可编程门阵列(field-programmable gate array，FPGA)、通用阵列逻辑(generic array logic，GAL)或其任意组合实现。

其中，第一设备集合101以及第二设备集合102中均可以配置有推理模型，为便于描述，以下将配置在第一设备集合101中的推理模型称之为第一推理模型，将配置在第二设备集合102中的推理模型称之为第二推理模型。实际应用场景中，基于第一设备集合101与第二设备集合102的部署环境中的物理资源差异，第一推理模型的规格与第二推理模型的规格不同，例如，当第一设备集合部署于边缘网络而第二设备集合部署于云端时，第一推理模型的规格为400KB(千字节)，而第二推理模型的规格是40000KB。本申请中以第一推理模型的规格小于第二推理模型的规格为例进行示例性说明。

推理系统100在推理模型输入样本时，如图1所示，第一设备集合101可以接收用户侧的终端设备104发送的模型输入样本，该模型输入样本例如可以是终端设备104拍摄(或者通过其它设备拍摄)得到的图像等。然后，第一设备集合101可以利用预先配置的第一推理模型对获取的模型输入样本进行推理，并得到推理结果。然后，决策装置103可以基于预先配置的决策参数以及第一推理模型输出的推理结果，判定该模型输入样本是否为第一类样本，即判定第一推理模型对该模型输入样本进行的推理是否准确。当判定该模型输入样本为第一类样本时，表征决策装置103确定第一推理模型对于该模型输入样本的推理不准确，则决策装置103可以指示第一设备集合101将该模型输入样本发送至第二设备集合102，以便第二设备集合102利用规格更大的第二推理模型对该模型输入样本进行准确推理并反馈。而当判定该模型输入样本为第二类样本时，表征决策装置103确定第一推理模型能够准确推理该模型输入样本，则决策装置103可以指示第一设备集合101直接向终端设备104反馈该模型输入样本对应的推理结果。如此，可以使得推理系统100针对该模型输入样本的推理准确性达到较高水平。

但是，实际应用场景中，决策装置103中的决策参数，通常是由技术人员根据经验进行人工设定，这使得决策装置103在基于人工设定的决策参数判定模型输入样本是否为第一类样本时，判定准确性较低。这样，实际上属于第一类样本的模型输入样本，因为决策装置103的错误判定而被误识别为第二类样本，从而导致该模型输入样本未被传输至第二设备集合102中进行推理，同时第一推理模型针对第一类样本的推理准确性较低。如此，降低了推理系统100对于模型输入样本的推理准确性。而若将所有的模型输入样本均传输给第二设备集合102，并利用第二设备集合102中的第二推理模型进行推理，则会占用第一设备集合101与第二设备集合102之间的大量传输带宽。

基于此，本申请实施例提供了一种配置决策装置的方法，以提高决策装置103判定第一类样本的准确性，从而提高推理系统100对于模型输入样本的推理准确性。该配置决策装置的方法可以应用于图2所示的推理系统200中。在图1所示的推理系统100的基础上，图2所示的推理系统200中新增有配置装置105，该配置装置105可以用于对决策装置103中的决策参数进行配置。具体实现时，配置装置105先获取第一推理模型难以准确识别的第一类样本对应的第一推理结果以及第一推理模型能够准确识别的第二类样本对应的第二推理结果，即第一推理模型推理第一类样本的精度低于第一推理模型推理第二类样本的精度。然后，配置装置105根据该第一推理结果以及第二推理结果，配置决策装置103中的决策参数。由于决策装置103的决策参数是通过第一推理模型分别对应的第一类样本对应的推理结果以及第二类样本对应的推理结果进行配置，因此，决策装置103基于该决策参数通常能够准确识别出第一推理模型难以准确推理的第一类样本。这样，推理系统100可以利用规格更大的第二推理模型对该第一类样本进行推理，以此可以提高推理系统100推理模型输入样本的准确性。

其中，配置装置105可以与第一设备集合101部署于相同的环境中，或者可以与第二设备集合102部署于相同的环境中。并且，配置装置105可以通过软件或者硬件的方式实现。当通过软件实现时，配置装置105可以是应用于推理系统200中的计算设备上的应用程序，如可以是应用于第一设备集合101中任意计算设备上的程序，或者应用于第二设备集合102中任意计算设备上的程序，或者是应用于推理系统200中单独部署的计算设备上的程序等。而当通过硬件实现时，配置装置105可以是推理系统200中单独部署的计算设备，如具有配置功能的服务器等。

需要说明的是，图2所示的推理系统仅作为一种示例性说明，并不用于限定推理系统的具体实现。例如，在其它可能的实施方式中，推理系统200可以包括更多的功能模块以支持推理系统具有更多其它的功能；或者，当推理系统200中的第一设备集合101部署于用户侧的本地网络时，第一设备集合101中的设备具体可以是终端设备104等。

为便于理解，下面结合附图，对本申请提供的配置决策装置的实施例进行描述。

参见图3，图3为本申请实施例提供的一种配置决策装置的方法流程示意图。其中，图3所示的推理方法可以应用于图2所示的推理系统200，或者应用于其它可适用的推理系统中。为便于说明，本实施例中以应用于图2所示的推理系统200，并且由推理系统200中的配置装置105进行执行为例进行示例性说明。

基于图2所示的推理系统200，图3所示的配置决策装置的方法具体可以包括：

S301：配置装置105分别在第一设备集合101以及第二设备集合102中配置第一推理模型以及第二推理模型，其中，第一推理模型的规格小于第二推理模型的规格。

本实施例中，推理系统200可以采用两级的推理机制对模型输入样本进行推理。具体实现时，推理系统200可以是优先利用部署在边缘网络的第一设备集合中的第一推理模型对模型输入样本进行推理。若第一推理模型的推理结果较为准确，则推理系统100可以将第一推理模型输出的推理结果作为反馈给终端设备104的推理结果。而若第一推理模型的推理结果不准确，则第一设备集合101可以将模型输入样本传输至部署于云端的第二设备集合102，以便利用云端的规格更大的第二模型推理对该模型输入样本进行精确推理，从而推理系统200向终端设备104反馈的推理结果即为该第二推理模型输出的推理结果。其中，是否将模型输入样本传输至第二设备集合102，可以由决策装置103进行判定。

在一种可能的实施方式中，第二设备集合102中的第二推理模型，可以预先在技术人员的干预下，完成模型构建以及训练过程，以使得第二推理模型达到较高的推理精度。并且，在生成该第二推理模型后，配置装置105中的配置模块1052可以将其配置于第二设备集合102中。而在生成第一推理模型时，配置模块1052可以通过模型压缩的方式，基于第二推理模型生成规格较小的第一推理模型。例如，配置模块1052可以基于强化学习(reinforcement learning，RL)算法对第二推理模型进行结构搜索，以确定出第一推理模型的网络结构；然后，配置模块1052可以通过知识蒸馏的方式，对已确定网络结构的第一推理模型进行训练，以此确定出第一推理模型中的网络参数。此时，第一推理模型可以称之为学生模型，而第二推理模型可以称之为教师模型。由于基于教师模型生成学生模型的具体实现过程，在相关技术中已有应用，在此不做赘述。或者，配置模块1052也可以通过与生成第二推理模型类似的方式，构建并训练得到第一推理模型。然后，配置模块1052可以将生成的第一推理模型部署于第一设备集合101中。

S302：配置装置105获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果，其中，第一推理模型推理第一类样本的精度低于第一推理模型推理第二类样本的精度。

其中，第一类样本，是指第一推理模型难以准确推理的样本，实际应用时，这类样本也可以是称之为第一推理模型对应的难例样本。比如，第一推理模型针对样本进行推理所得到的推理结果的置信度小于第一预设值时，可以将该样本确定为第一类样本(也即难例样本)等。相应的，第二类样本，是指第一推理模型能够较为准确推理的样本，实际应用时，这类样本也可以是称之为第一推理模型对应的简单样本。比如，可以将推理结果的置信度大于第二预设值的样本确定为第二类样本(也即简单例样本)等，该第二预设值大于前述第一预设值。本实施例中，配置装置105可以通过获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果，对决策装置103进行配置，以便配置后的决策装置103能够识别出第一推理模型难以准确推理的第一类样本以及第一推理模型能够准确识别的第二类样本。

在一种可能的实施方式中，如图2所示，配置装置105中可以包括推理结果获取模块1051以及配置模块1052。其中，推理结果获取模块1051可以获取多个样本，该多个样本例如可以是由技术人员提供。然后，推理结果获取模块1051可以将该多个样本发送给第一设备集合101。同时，配置模块1052可以指示第一设备集合101利用第一推理模型分别对该多个样本中的各个样本进行推理，得到每个样本对应的推理结果。这样，推理结果获取模块1051可以根据多个样本对应的推理结果，进一步确定该多个样本中相对于第一推理模型的第一类样本以及第二类样本，例如可以将多个样本中推理结果的置信度小于第一预设值的样本确定为第一类样本，将该多个样本中推理结果的置信度大于第二预设值的样本确定为第二类样本，该第二预设值不小于第一预设值。如此，推理结果获取模块1051可以从多个样本对应的推理结果中，确定第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果。

作为一种确定第一类样本的实现示例，推理结果获取模块1051具体可以根据人工标记结果确定第一类样本。具体的，推理结果获取模块1051可以向标注人员呈现标注界面，例如可以呈现如图4所示的标注界面，该标注界面中可以包括第一推理模型针对多个样本对应的推理结果。这样，标注人员可以在标注界面上为各个样本对应的推理结果进行推理正确以及推理错误的标注，从而推理结果获取模块1051可以根据标注人员的标注操作，从多个样本中确定出第一类样本以及第二类样本，例如，推理结果获取模块1051可以将标注“推理正确”的推理结果所对应的样本确定为第二类样本，将标注“推理错误”的推理结果所对应的样本确定为第一类样本等。

值得注意的是，第一推理模型能够准确识别的第二类样本以及难以准确识别的第一类样本的数量差异可能较大，比如，实际应用场景中，第一类样本的数量可能远小于第二类样本的数量。因此，在一些可能的实施方式中，推理结果获取模块1051可以基于已确定的第一类样本或者第二类样本，通过委员会投票(query-by-committee，QBC)的方式获得数量相当的第一类样本以及第二类样本。或者，推理结果获取模块1051也可以是通过有放回抽样的方式，从已确定的第一类样本或者第二类样本中获得数量相当的第一类样本以及第二类样本等。本实施例中，对于推理结果获取模块1051获取足够数量的第一类样本以及第二类样本的具体实现方式并不进行限定。

S303：配置装置105根据第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果，配置决策装置103中的决策参数，该决策参数用于将第一推理模型推理的模型输入样本识别为传输给第二设备集合102的模型输入样本。

作为一种示例，决策装置103中的决策参数，例如可以是置信度阈值，从而决策装置103可以通过比较该置信度阈值与推理结果的置信度，确定该推理结果对应的模型输入样本是否为第一推理模型难以准确推理的第一类样本。具体的，当第一推理模型输出的推理结果的置信度小于该置信度阈值时，决策装置103可以确定该推理结果对应的模型输入样本为第一类样本，并可以进一步指示第一设备集合101将该模型输入样本传输至第二设备集合102。而当第一推理模型输出的推理结果的置信度大于该置信度阈值时，决策装置103可以确定该推理结果对应的模型输入样本为第一推理模型能够准确识别的第二类样本，从而决策装置103可以指示第一设备集合101将第一推理模型针对该模型输入样本的推理结果反馈给终端设备104。

而在另一种示例中，决策装置103中的决策参数，例如可以是神经网络模型中的网络参数。具体实现时，决策装置103中可以包括神经网络模型，该神经网络模型的输入为模型输入样本或者第一推理模型针对该模型输入样本所输出的推理结果，神经网络模型的输出为该模型输入样本为第一类样本或者为第二类样本的判定结果，从而配置装置105所确定的决策参数，即为该神经网络模型中的网络参数。

相应的，配置装置105在确定决策装置103中的决策参数时，具体可以是利用获取的第一类样本以及第二类样本进行确定。

在一种可能的实施方式中，配置模块1052可以指示第一设备集合101利用第一推理模型对第一类样本以及第二类样本进行推理，得到该第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果，从而配置模块1052可以根据该第一推理结果以及第二推理结果，确定决策装置103中的决策参数。

例如，当决策参数具体为置信度阈值时，第一类样本对应的第一推理结果中可以包括第一置信度，该第一置信度例如可以是多个第一类样本分别对应的推理结果的置信度的平均值等，第二类样本对应的第二推理结果中可以包括第二置信度，该第二置信度例如可以是多个第二类样本分别对应的推理结果的置信度的平均值等，从而配置模块1052可以根据该第一置信度与第二置信度的取值，确定决策参数的置信度阈值的取值，并基于所确定的取值为决策装置103配置决策参数。

又例如，当决策参数具体为神经网络模型中的网络参数时，配置模块1052可以将部分第一类样本对应的第一推理结果以及部分第二类样本对应的第二推理结果，作为决策装置103中的神经网络模型的输入，将样本属于第一类样本还是第二类样本的标注结果作为该神经网络模型的输出，以此对该神经网络模型中的网络参数进行训练。然后，配置模块1052可以利用剩余部分的第一类样本对应的第一推理结果以及剩余部分的第二类样本对应的第二推理结果作为测试集，对训练得到的神经网络模型进行测试，以测试该神经网络模型对于第一类样本与第二类样本的分类准确性，示例性地，该神经网络模型例如可以是二分类模型。当神经网络模型通过测试时，该神经网络模型中的网络参数即为配置模块1052最终所确定的决策参数。

上述实施方式中，第一推理结果以及第二推理结果均为第一推理模型输出的推理结果，而在另一种可能的实施方式中，第一推理结果以及第二推理结果是由不同推理模型输出的推理结果。具体的，配置模块1052可以指示第一设备集合101利用第一推理模型对第二类样本进行推理，得到第二类样本对应的第二推理结果。同时，配置模块1052还可以指示第二设备集合102利用第二推理模型对第一类样本进行推理，得到第一类样本对应的第一推理结果，从而配置模块1052可以根据该第一推理结果以及第二推理结果，确定决策装置103中的决策参数。其中，配置模块1052根据第一推理结果以及第二推理结果确定决策参数的具体过程，可以参见前述实施方式中根据第一推理结果以及第二推理结果确定决策参数的具体过程描述，在此不做赘述。

值得注意的是，上述确定决策参数的具体实现方式仅作为一些示例性说明，实际应用时，决策参数也可以是其它类型的参数，从而配置模块1052可以通过其它可能的实现方式确定决策参数，本实施例对此并不进行限定。

这样，在确定出决策参数后，决策装置103可以根据该决策参数分析第一推理模型后续所推理的各个模型输入样本是否属于第一类样本，以便在确定其属于第一类样本时，指示第一设备集合101将该第一类样本发送至第二设备集合102中进行推理，以此提高针对第一类样本的推理精度，从而可以使得推理系统200针对模型输入样本的推理精度保持在较高水平。同时，对于第二类样本，利用第一设备集合101中的第一推理模型即可完成准确推理，从而可以无需将其传输至第二设备集合102，以此可以减少第一设备集合101与第二设备集合102之间的传输带宽的资源消耗。

需要说明的是，本实施例中，是以配置装置105根据两类样本对应的推理结果确定决策参数为例进行示例性说明，在其它可能的实施例中，配置装置105也可以是直接根据两类样本确定决策参数。比如，在一种可能的实施方式中，当决策参数具体为神经网络模型中的网络参数时，配置装置105中的配置模块1052可以将部分第一类样本以及部分第二类样本，作为决策装置103中的神经网络模型的输入，将样本属于第一类样本还是第二类样本的标注结果作为该神经网络模型的输出，以此对该神经网络模型中的网络参数进行训练。然后，配置模块1052可以利用剩余部分的第一类样本以及剩余部分的第二类样本作为测试集，对训练得到的神经网络模型进行测试，以测试该神经网络模型识别第一类与第二类的准确性。例如，神经网络模型可以根据测试集中的样本的特征，与第一类样本以及第二类样本中的样本特征(如图像特征等)进行差异性分析，以确定测试集中的样本属于第一类样本或者第二类样本。如此，当神经网络模型通过测试时，该神经网络模型中的网络参数即为配置模块1052最终所确定的决策参数。

本实施例中，通过在MNIST、SVHN、CIFAR-10等公开数据集上进行测，可以确定在决策装置103利用决策参数对模型输入样本进行第一类样本或者第二类样本的判断后，可以使得推理系统200的推理准确度达到较高的水平(近似于全部利用第二推理模型进行推理的精度)，如下表1所示：

表1

具体的，本实施例在确定出决策参数后，还可以包括以下对模型输入样本进行推理的步骤：

S304：第一设备集合101接收模型输入样本。

例如，用户侧的终端设备104可以向第一设备集合101发送模型输入样本，该模型输入样本例如可以是拍摄图像，如在安全帽场景中针对施工工地的拍摄图像等，或者可以是其它用于作为第一推理模型的输入的样本。

S305：第一设备集合101利用预先配置的规格较小的第一推理模型对模型输入样本进行推理，得到推理结果。

S306：决策装置103根据已确定的决策参数以及第一推理模型针对该模型输入样本的推理结果，判定该模型输入样本是否为第一类样本。

举例来说，假设决策参数具体为置信度阈值时，若第一推理模型针对该模型输入样本的推理结果的置信度大于该置信度阈值，表征第一推理模型输出的推理结果为正确的可信程度较高，也即可以视为该推理结果的准确度较高。此时，决策装置103可以确定该模型输入样本为第二类样本，并可以进一步指示第一设备集合101可以将第一推理模型输出的推理结果反馈给终端设备104。

反之，若第一推理模型针对该模型输入样本的推理结果的置信度小于该置信度阈值，则可以视为第一推理模型输出的推理结果不准确。此时，决策装置103可以判定该模型输入样本为第一类样本，并可以进一步指示第一设备集合101将该模型输入样本发送至第二设备集合102，以便利用第二设备集合102上的规格更大的第二推理模型对该模型输入样本进行更加准确的推理。

需要说明的是，当决策装置103中的决策参数根据第一类样本以及第二类样本进行确定时，在其它可能的实施例中，决策装置103根据已确定的决策参数以及第一推理模型当前所推理的模型输入样本，判定该模型输入样本是否为第一类样本。

S307：决策装置103在确定模型输入样本为第一类样本的情况下，指示第一设备集合101将模型输入样本上传至第二设备集合102。

S308：第一设备集合101将模型输入样本发送给第二设备集合102。

S309：第二设备集合102利用预先配置的规格较大的第二推理模型对接收到的模型输入样本进行推理，得到推理结果。

S310：第二设备集合102将推理结果发送给终端设备104。

值得注意的是，本实施例是以第一设备集合101部署于边缘网络、第二设备集合102部署于云端为例进行示例性说明，在其它实现方式中，第一设备集合101也可以部署于本地网络，而第二设备集合102部署于边缘网络，此时，推理系统200对于模型输入样本的推理过程以及更新置信度阈值与模型的过程，与上述过程类似，具体可参见前述实施例的相关之处描述，在此不做赘述。

上述各实施例中，配置决策装置的过程中所涉及到的配置装置105可以以单独的硬件设备实现，而在其它可能的实现方式中，其也可以是配置于计算机设备上的软件，并且，通过在计算机设备上运行该软件，可以使得计算机设备分别实现上述配置装置105所具有的功能。下面，基于硬件设备实现的角度，对配置决策装置的过程中所涉及的配置装置105分别进行详细介绍。

图5示出了一种计算机设备。图5所示的计算机设备500具体可以用于实现上述图3所示实施例中配置装置105的功能。

计算机设备500包括总线501、处理器502、通信接口503和存储器504。处理器502、存储器504和通信接口503之间通过总线501通信。总线501可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extendedindustry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口503用于与外部通信，例如指示第一设备集合利用第一推理模型进行推理等。

其中，处理器502可以为中央处理器(central processing unit，CPU)。存储器504可以包括易失性存储器(volatile memory)，例如随机存取存储器(random accessmemory，RAM)。存储器504还可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器，HDD或SSD。

存储器504中存储有可执行代码，处理器502执行该可执行代码以执行前述配置装置105所执行的方法。

具体地，在实现图3所示实施例的情况下，且图3所示实施例中所描述的配置装置105为通过软件实现的情况下，执行图3中的配置装置105的功能所需的软件或程序代码存储在存储器504中，配置装置105与其它设备的交互通过通信接口503实现，处理器用于执行存储器504中的指令，实现配置装置105所执行的方法。

图6示出了另一种计算设备，图6所示的计算机设备600包括总线601、处理器602、通信接口603和存储器604。处理器602、存储器604和通信接口603之间通过总线601通信。总线601可以是PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口603用于与外部通信，例如指示第一设备集合利用第一推理模型进行推理等。

其中，处理器602可以为CPU。存储器604可以包括易失性存储器(volatilememory)，例如RAM。存储器604还可以包括非易失性存储器(non-volatile memory)，例如ROM，快闪存储器，HDD或SSD。

存储器604中存储有可执行代码，处理器602执行该可执行代码以执行如下步骤：

获取第一类样本以及第二类样本，所述第一推理模型推理所述第一类样本的精度低于所述第一推理模型推理所述第二类样本的精度；

根据所述第一类样本以及所述第二类样本，配置所述决策装置中的决策参数，所述决策参数用于将所述第一推理模型推理的模型输入样本识别为传输给所述第二设备集合的模型输入样本。

此外，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机设备上运行时，使得计算机设备执行上述实施例配置装置105所执行的方法。

此外，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品被计算机执行时，所述计算机执行前述配置决策装置的方法的任一方法。该计算机程序产品可以为一个软件安装包，在需要使用前述配置决策装置的方法的任一方法的情况下，可以下载该计算机程序产品并在计算机上执行该计算机程序产品。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (20)

1.一种配置决策装置的方法，其特征在于，所述方法应用于推理系统，所述推理系统包括第一设备集合、第二设备集合以及决策装置，所述第一设备集合以及所述第二设备集合均包括至少一个计算设备，所述第一设备集合中的第一推理模型的规格小于所述第二设备集合中的第二推理模型的规格，所述方法包括：

获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果，所述第一推理模型推理所述第一类样本的精度低于所述第一推理模型推理所述第二类样本的精度；

根据所述第一推理结果以及所述第二推理结果，配置所述决策装置中的决策参数，所述决策参数用于将所述第一推理模型推理的模型输入样本识别为传输给所述第二设备集合的模型输入样本。

2.根据权利要求1所述的方法，其特征在于，所述获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果，包括：

指示所述第一设备集合利用所述第一推理模型分别对所述第一类样本以及所述第二类样本进行推理，得到所述第一类样本对应的第一推理结果以及所述第二类样本对应的第二推理结果。

3.根据权利要求1所述的方法，其特征在于，所述获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果，包括：

指示所述第一设备集合利用所述第一推理模型对所述第一类样本进行推理，得到所述第一类样本对应的第一推理结果；

指示所述第二设备集合利用所述第二推理模型对所述第二类样本进行推理，得到所述第二类样本对应的第二推理结果。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

获取多个样本；

获取所述多个样本对应的推理结果，所述多个样本对应的推理结果通过所述第一推理模型分别对所述多个样本进行推理得到；

根据所述多个样本对应的推理结果，确定所述多个样本中的第一类样本以及第二类样本。

5.根据权利要求4所述的方法，其特征在于，所述根据所述多个样本对应的推理结果，确定所述多个样本中的第一类样本以及第二类样本，包括：

呈现标注界面，所述标注界面包括所述多个样本对应的推理结果；

根据针对所述多个样本对应的推理结果的标注操作，确定所述多个样本中的第一类样本以及第二类样本。

6.根据权利要求1至5任一项所述的方法，其特征在于，在获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果之前，所述方法还包括：

为所述第一设备集合配置所述第一推理模型，以及为所述第二设备集合配置所述第二推理模型，所述第一推理模型是通过对所述第二推理模型进行模型压缩得到。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一设备集合部署于本地网络，所述第二设备集合部署于边缘网络；

或，所述第一设备集合部署于边缘网络，所述第二设备集合部署于云端。

8.一种配置决策装置的方法，其特征在于，所述方法应用于推理系统，所述推理系统包括第一设备集合、第二设备集合以及决策装置，所述第一设备集合以及所述第二设备集合均包括至少一个计算设备，所述第一设备集合中的第一推理模型的规格小于所述第二设备集合中的第二推理模型的规格，所述方法包括：

获取第一类样本以及第二类样本，所述第一推理模型推理所述第一类样本的精度低于所述第一推理模型推理所述第二类样本的精度；

根据所述第一类样本以及所述第二类样本，配置所述决策装置中的决策参数，所述决策参数用于将所述第一推理模型推理的模型输入样本识别为传输给所述第二设备集合的模型输入样本。

9.一种配置装置，其特征在于，所述配置装置应用于推理系统，所述推理系统包括第一设备集合、第二设备集合以及决策装置，所述第一设备集合以及所述第二设备集合均包括至少一个计算设备，所述第一设备集合中的第一推理模型的规格小于所述第二设备集合中的第二推理模型的规格，所述配置装置包括：

推理结果获取模块，用于获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果，所述第一推理模型推理所述第一类样本的精度低于所述第一推理模型推理所述第二类样本的精度；

配置模块，用于根据所述第一推理结果以及所述第二推理结果，配置所述决策装置中的决策参数，所述决策参数用于将所述第一推理模型推理的模型输入样本识别为传输给所述第二设备集合的模型输入样本。

10.根据权利要求9所述的配置装置，其特征在于，所述推理结果获取模块，具体用于：

指示所述第一设备集合利用所述第一推理模型分别对所述第一类样本以及所述第二类样本进行推理，得到所述第一类样本对应的第一推理结果以及所述第二类样本对应的第二推理结果。

11.根据权利要求9所述的配置装置，其特征在于，所述推理结果获取模块，具体用于：

指示所述第一设备集合利用所述第一推理模型对所述第一类样本进行推理，得到所述第一类样本对应的第一推理结果；

指示所述第二设备集合利用所述第二推理模型对所述第二类样本进行推理，得到所述第二类样本对应的第二推理结果。

12.根据权利要求9至11任一项所述的配置装置，其特征在于，所述推理结果获取模块，还用于：

获取多个样本；

获取所述多个样本对应的推理结果，所述多个样本对应的推理结果通过所述第一推理模型分别对所述多个样本进行推理得到；

根据所述多个样本对应的推理结果，确定所述多个样本中的第一类样本以及第二类样本。

13.根据权利要求12所述的配置装置，其特征在于，所述推理结果获取模块，具体用于：

呈现标注界面，所述标注界面包括所述多个样本对应的推理结果；

根据针对所述多个样本对应的推理结果的标注操作，确定所述多个样本中的第一类样本以及第二类样本。

14.根据权利要求9至13任一项所述的配置装置，其特征在于，在获取第一类样本对应的第一推理结果以及第二类样本对应的第二推理结果之前，所述配置装置还用于：

为所述第一设备集合配置所述第一推理模型，以及为所述第二设备集合配置所述第二推理模型，所述第一推理模型是通过对所述第二推理模型进行模型压缩得到。

15.根据权利要求9至14任一项所述的配置装置，其特征在于，所述第一设备集合部署于本地网络，所述第二设备集合部署于边缘网络；

或，所述第一设备集合部署于边缘网络，所述第二设备集合部署于云端。

16.一种配置装置，其特征在于，所述配置装置应用于推理系统，所述推理系统包括第一设备集合、第二设备集合以及决策装置，所述第一设备集合以及所述第二设备集合均包括至少一个计算设备，所述第一设备集合中的第一推理模型的规格小于所述第二设备集合中的第二推理模型的规格，所述配置装置包括：

样本获取模块，用于获取第一类样本以及第二类样本，所述第一推理模型推理所述第一类样本的精度低于所述第一推理模型推理所述第二类样本的精度；

配置模块，用于根据所述第一类样本以及所述第二类样本，配置所述决策装置中的决策参数，所述决策参数用于将所述第一推理模型推理的模型输入样本识别为传输给所述第二设备集合的模型输入样本。

17.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器；

所述处理器用于执行所述存储器中存储的指令，以使得所述计算机设备执行权利要求1至7中任一项所述的方法。

18.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器；

所述处理器用于执行所述存储器中存储的指令，以使得所述计算机设备执行权利要求8所述的方法。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算设备上运行时，使得所述计算设备执行如权利要求1至7中任一项所述的方法。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算设备上运行时，使得所述计算设备执行如权利要求8所述的方法。

Images