CN109598250A - 特征提取方法、装置、电子设备和计算机可读介质 - Google Patents

Abstract

本发明提供了一种特征提取方法、装置、电子设备和计算机可读介质，涉及计算处理的技术领域，包括：获取计算模型，并对计算模型进行计算资源划分，得到划分结果，划分结果用于确定计算模型在设备端进行特征计算的第一组计算层，以及计算模型在服务器进行特征计算的第二组计算层；利用第一组计算层对目标视频流进行处理，得到中间计算结果；将中间计算结果发送至服务器，以使第二组计算层对中间计算结果进行特征计算，得到目标计算结果。本发明解决了现有技术中存在的在实际使用中设备端存在的大量冗余计算能力被浪费的技术问题。

Description

特征提取方法、装置、电子设备和计算机可读介质

技术领域

本发明涉及计算处理技术领域，尤其是涉及一种特征提取方法、装置、电子设备和计算机可读介质。

背景技术

随着以深度神经网络的基础方法的人工智能(Artificial Intelligence，简称AI)技术的普及，基于深度学习的应用也在人脸识别，安防等各种实际场景中进行了广泛的应用，深度神经网络的模型推断(inference)依赖于高密度的计算处理单元的计算。

目前，在人脸识别过程中，通常是由智能摄像机等前端设备进行图像采集，将图像采集结果发送至后端服务器，再由服务器基于接收到的图像进行人脸识别等工作过程。

但是，实际运行中的智能摄像机等设备端一般都具备图形处理器(GraphicsProcessing Unit，简称GPU)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)等高性能处理器，因此，设备端还存在着大量的冗余计算能力，在实际使用中被浪费。

发明内容

有鉴于此，本发明的目的在于提供一种特征提取方法、装置、电子设备和计算机可读介质，以缓解了现有技术中存在的在实际使用中设备端存在的大量冗余计算能力被浪费的技术问题。

第一方面，本发明实施例提供了一种特征提取方法，应用于设备端，所述方法包括：获取计算模型，并对所述计算模型进行计算资源划分，得到划分结果，所述划分结果用于确定所述计算模型在设备端进行特征计算的第一组计算层，以及所述计算模型在服务器进行特征计算的第二组计算层；利用所述第一组计算层对目标视频流进行处理，得到中间计算结果；将所述中间计算结果发送至所述服务器，以使所述第二组计算层对所述中间计算结果进行特征计算，得到目标计算结果。

进一步地，对所述计算模型进行计算资源划分，得到划分结果包括：利用第一目标参数对所述计算模型进行计算资源划分，得到划分结果，其中，所述第一目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述设备端的计算性能参数、所述计算模型的计算复杂程度。

进一步地，对所述计算模型进行计算资源划分，得到划分结果还包括：确定所述计算模型的计算游标，其中，所述计算游标用于确定所述计算模型在所述设备端中用于执行特征计算的第一组计算层的计算层数；按照所述计算游标在所述计算模型中确定所述第一组计算层和所述第二组计算层。

进一步地，按照所述计算游标在所述计算模型中确定所述第一组计算层和所述第二组计算层包括：确定所述计算游标在所述计算模型中所对应的目标计算层；将所述计算模型中所述目标计算层及其之前的计算层作为所述第一组计算层；并将所述计算模型中位于所述目标计算层之后的计算层作为所述第二组计算层。

进一步地，确定所述计算模型的计算游标包括：利用第一目标参数计算所述计算模型的计算游标；第一目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述设备端的计算性能参数、所述计算模型的计算复杂程度；或者，获取所述服务器基于第二目标参数计算出的计算游标，其中，所述第二目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述服务器的性能参数、所述计算模型的计算复杂程度。

进一步地，所述方法还包括：在利用第一目标参数计算所述计算模型的计算游标之后，将所述计算游标发送至所述服务器中进行存储。

进一步地，所述方法还包括：若所述第一目标参数发生了变化，且变化阈值大于第一预设阈值，则利用变化之后的第一目标参数对所述计算模型重新进行计算资源划分，得到重新划分之后的划分结果。

进一步地，将所述中间计算结果发送至所述服务器包括：对所述中间计算结果进行Protobuf序列化处理，得到目标Protobuf序列，并将所述目标Protobuf序列发送至所述服务器中。

第二方面，本发明实施例还提供另一种特征提取方法，应用于服务器，所述方法包括：获取设备端发送的中间计算结果，其中，所述中间计算结果为所述设备端基于计算模型的第一组计算层对目标视频流进行特征计算得到的计算结果，所述第一组计算层为所述计算模型中用于在所述设备端进行特征计算的计算层；在所述计算模型中确定用于在所述服务器进行特征计算的第二组计算层，并利用所述第二组计算层对所述中间计算结果进行特征计算，得到目标计算结果。

进一步地，在所述计算模型中确定用于在所述服务器进行特征计算的第二组计算层包括：确定计算游标；利用所述计算游标确定所述第二组计算层。

进一步地，确定计算游标包括：利用第二目标参数计算性能参数，确定所述计算模型的计算游标；所述第二目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述服务器的性能参数、所述计算模型的计算复杂程度；或者，获取所述设备端基于第一目标参数计算出的计算游标，其中，所述第一目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述设备端的计算性能参数、所述计算模型的计算复杂程度。

进一步地，所述方法还包括：若所述第二目标参数发生了变化，且变化阈值大于第一预设阈值，则利用变化之后的第二目标参数重新确定计算游标，并将重新确定出的计算游标发送至所述设备端。

第三方面，本发明实施例还提供一种特征提取装置，设置于设备端，所述装置包括：设备端获取和资源划分单元，用于获取计算模型，并对所述计算模型进行计算资源划分，得到划分结果，所述划分结果用于确定所述计算模型在设备端进行计算的第一组计算层，以及所述计算模型在服务器进行特征计算的第二组计算层；设备端处理单元，用于利用所述第一组计算层对目标视频流进行处理，得到中间计算结果；设备端发送单元，用于将所述中间计算结果发送至所述服务器，以使所述第二组计算层对所述中间计算结果进行计算，得到目标计算结果。

第四方面，本发明实施例还提供一种特征提取装置，设置于服务器，所述装置包括：服务器获取单元，用于获取设备端发送的中间计算结果，其中，所述中间计算结果为所述设备端基于计算模型的第一组计算层对目标视频流进行处理得到的计算结果，所述第一组计算层为所述计算模型中用于在所述设备端进行特征计算的计算层；服务器确定单元，用于在所述计算模型中确定用于在所述服务器进行特征计算的第二组计算层，并利用所述第二组计算层对所述中间计算结果进行特征计算，得到目标计算结果。

第五方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述如第一方面或第二方面所述的方法。

第六方面，本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，所述计算机运行所述计算机程序时执行上述如第一方面或第二方面所述的方法的步骤。

在本发明实施例中，首先，获取计算模型，然后对计算模型进行计算资源划分，进而得到划分结果，其中，划分结果用于确定计算模型在设备端进行特征计算的第一组计算层，以及计算模型在服务器进行特征计算的第二组计算层；之后，利用第一组计算层对目标视频流进行处理，从而得到中间计算结果；然后，将中间计算结果发送至服务器，以使第二组计算层对中间计算结果进行特征计算，进而得到目标计算结果。

相对于现有的特征计算方式，通过上述处理方式对计算模型的计算资源进行划分，使计算资源能够在设备端与服务器之间得到均衡且灵活的分配，便能够实现将计算过程尽量前置到设备端，实现了对前端设备端的计算能力达到充分利用，进而解决了现有技术中存在的在实际使用中设备端存在的大量冗余计算能力被浪费的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1根据本发明实施例提供的一种电子设备的示意图；

图2是根据本发明实施例提供的一种特征提取方法的流程图；

图3是根据本发明实施例提供的另一种特征提取方法的流程图；

图4为是根据本发明实施例提供的一种特征提取装置的结构示意图；

图5为是根据本发明实施例提供的另一种特征提取装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的特征提取方法。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108，这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

处理器102可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器102中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器104，处理器102读取存储器104中的信息，结合其硬件完成上述方法的步骤。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像机110用于进行图像采集，其中，摄像机所采集的数据经过特征提取方法进行处理之后得到目标计算结果，例如，摄像机可以拍摄用户期望的图像(例如照片、视频等)，然后，将该图像经过所述特征提取方法进行处理之后得到目标计算结果，摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的特征提取方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端。

实施例2：

根据本发明实施例，提供了一种特征提取方法的实施例，应用于设备端，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种特征提取方法的流程图，应用于设备端，如图2所示，该方法包括如下步骤：

步骤S202，获取计算模型，并对计算模型进行计算资源划分，得到划分结果，划分结果用于确定计算模型在设备端进行特征计算的第一组计算层，以及计算模型在服务器进行特征计算的第二组计算层；

步骤S204，利用第一组计算层对目标视频流进行处理，得到中间计算结果；

步骤S206，将中间计算结果发送至服务器，以使第二组计算层对中间计算结果进行特征计算，得到目标计算结果。

在本发明实施例中，首先，获取计算模型，然后对计算模型进行计算资源划分，从而得到划分结果，其中，划分结果用于确定计算模型在设备端进行特征计算的第一组计算层，以及计算模型在服务器进行特征计算的第二组计算层；之后，用第一组计算层对目标视频流进行处理，进而得到中间计算结果；然后，将中间计算结果发送至服务器，以使第二组计算层对中间计算结果进行特征计算，进而得到目标计算结果。

相对于现有的特征计算方式，通过上述处理方式对计算模型的计算资源进行划分，使计算资源能够在设备端与服务器之间得到均衡且灵活的分配，便能够实现将计算过程尽量前置到设备端，实现了对前端设备端的计算能力达到充分利用，进而解决了现有技术中存在的在实际使用中设备端存在的大量冗余计算能力被浪费的技术问题，下面将介绍特征提取的具体过程。

首先，设备端获取计算模型。具体的，设备端首先加载完整的模型结构到内存，例如，在计算过程中，可以利用FPGA、ASIC、海思SOC等芯片实现在系统中加载完整的算法模型。本实施例中，设备端可以为摄像机、手机、平板电脑等智能设备，本实施例不做具体限定。

然后，对计算模型进行计算资源划分，从而得到划分结果，其中，该划分结果用于确定计算模型在设备端进行特征计算的第一组计算层，以及计算模型在服务器进行特征计算的第二组计算层。因此，通过该过程可以在计算处理上进行灵活的资源划分，进而实现全局计算资源分配的最优效果。

在一个可选的实施方式中，可以利用第一目标参数对计算模型进行计算资源划分，得到划分结果，其中，第一目标参数包括以下至少之一：目标视频流接入设备端的接入路数、设备端的计算性能参数、计算模型的计算复杂程度。

在一个可选的实施方式中，可以利用计算游标对计算模型进行计算资源划分，具体过程如下：

首先，确定计算模型的计算游标，其中，计算游标用于确定计算模型在设备端中用于执行特征计算的第一组计算层的计算层数。也就是说，在本实施例中，计算游标指的是计算模型的计算深度。针对模型结构进行序列化表示并针对计算的层数进行标记，保证计算点可在服务端继续。

对于该计算游标的确定过程：

在一种实现方式中，计算游标是在设备端配置的，即在设备端处便配置完成计算游标，并将该计算游标同步到服务器侧。具体的，设备端利用第一目标参数确定计算模型的计算游标，其中，第一目标参数包括以下至少之一：目标视频流接入设备端的接入路数、设备端的计算性能参数、计算模型的计算复杂程度。

举例而言，可以预先将把计算模型的计算过程定义生成一个计算图，例如，包含求卷积，求Max Pooling，偏置加，计算Sigmoid等，从而形成一个计算图。在此过程中，可以根据计算模型的类型不同单独定义计算序号(即计算游标)。例如，不同计算模型的第一目标参数可能不同，此时，可以根据第一目标参数设置该计算模型的计算游标。具体地，可以根据经验选择相应的计算游标。在选择出计算游标之后，可以在计算模型的训练过程中，可以通过检验设备端和服务器的计算性能来确定选择的计算游标是否合适。若不合适，则需要重新调整该计算游标，直至设备端和服务器的计算性能满足要求。

需要说明的是，在本实施例中，接入路数是指接入到设备端的视频流的路数。接入到设备端的视频流越多，则消耗的设备端的计算资源则越多。对于模型计算游标和设备端支持的接入路数这两个参数，本实施例以一个50层的深度神经网络为例进行说明。当设备端的接入路数为1时，设备端剩余计算能力较多，设备端可以用来进行人脸属性等更多的特征计算。

再例如，若设备端的接入路数为9时，则设备端的剩余计算能力便较小了，设备端只能进行较少的特征计算了。因此，在本实施例中，可以根据前端的设备端的不同情况而灵活配置计算游标的具体位置。即当设备端的接入路数较少时，可以扩增设备端对计算模型的计算深度，缩减服务器的计算量；当设备端的接入路数较多时，可以利用计算设备端的计算量，扩增服务器的计算量。

需要说明的是，在本实施例中，计算游标可以根据计算模型的计算复杂程度及设备端的计算性能参数进行灵活的网络配置。

对计算游标的确定过程可以包括：加载计算游标，并根据深度神经网络中的输入层、隐层、卷积层、通道和激活函数等进行相关推断计算，从而确定计算游标的设置位置。例如，在对人脸进行识别的过程中，需要进行人脸图像采集、人脸特征向量提取、特征向量计算、计算结果检测等较为复杂的处理过程，若根据设备端的计算能力能够处理较为复杂的计算模型，则可以通过计算游标的配置，实现人脸图像采集、人脸特征向量提取、特征向量计算等过程都可以由前端的设备端来完成，仅将最后一步的计算结果检测交由后端的服务器完成。若根据设备端的计算能力仅能处理较为简单的计算模型，也可以通过计算游标的配置，仅将人脸图像采集的过程交由前端的设备端完成，而剩下的人脸特征向量提取、特征向量计算、计算结果检测等过程都交由后端的服务器来完成。因此，实现了根据设备端的计算复杂程度处理能力(即设备端的计算性能参数)，以及需要设备端与服务器共同处理的计算模型的计算复杂程度(即计算模型的计算复杂程度)，来灵活配置计算游标的具体位置。

在设备端利用第一目标参数计算计算模型的计算游标之后，设备端再将计算游标发送至服务器中进行存储。服务器能够记录计算游标、设备端信息等具体信息至数据库中，设备端通过将计算游标传递到服务端，来使服务端进行剩余的计算过程，以实现设备端与服务端共同完成整个计算模型过程。

在另一种实现方式中，计算游标也可以由服务器来配置，再由服务器发送至设备端。具体的，设备端获取服务器基于第二目标参数计算出的计算游标，其中，第二目标参数包括以下至少之一：目标视频流接入设备端的接入路数、服务器的性能参数、计算模型的计算复杂程度。

接下来，在计算游标的确定过程完成后，便可以按照所述计算游标在所述计算模型中确定所述第一组计算层和所述第二组计算层。在利用计算游标对计算模型进行计算资源划分的具体过程中，可以先确定计算游标在计算模型中所对应的目标计算层，然后再将计算模型中目标计算层及其之前的计算层作为第一组计算层，并将计算模型中位于目标计算层之后的计算层作为第二组计算层。

例如，一个50层的神经网络Resnet-50，若计算游标在计算模型中所对应的目标计算层为10层，则将计算模型中的第10层及其之前的计算层作为第一组计算层，并将计算模型中位于第10层之后的计算层作为第二组计算层。

在以上过程中，如果第一目标参数发生了变化，且变化阈值大于第一预设阈值，则利用变化之后的第一目标参数对计算模型重新进行计算资源划分，得到重新划分之后的划分结果。

例如，当目标视频流接入设备端的接入路数、设备端的计算性能参数、计算模型的计算复杂程度中的任意一个参数发生了变化，并且变化阈值大于第一预设阈值，则利用变化了之后的第一目标参数，重新对计算模型进行计算资源的划分，得到重新划分之后的划分结果。

需要说明的是，接入路数、计算性能参数和计算复杂程度对应不同的预设阈值。

在得到划分结果之后，利用第一组计算层对目标视频流进行处理，得到中间计算结果。具体的，通过将计算模型进行分割，按照层来分组，保存中间计算结果，并以标记来记录当前计算的层和中间计算结果。例如上述的Resnet-50，其中的第10层计算结果则为第一组的中间计算结果。

最后，将中间计算结果发送至服务器，以使服务器中部署的计算模型中的第二组计算层对中间计算结果进行特征计算，得到目标计算结果。具体的，设备端通过计算得到第一组的中间计算结果后，将中间计算结果传输至传输通道，通过网络协议将其发送至服务器端，以便服务器端接收到中间计算结果后，能够根据这个中间计算结果，完成剩余的计算模型(即第二组计算层)的判别计算过程。例如，上述的Resnet-50，由设备端先计算处理第1至10层的神经网络后得到第10层的中间计算结果，设备端再将该第10层中间计算结果发送至服务器，由服务器以第10层中间计算结果作为模型输入值继续计算，处理第11至50层的神经网络，最终由设备端与服务器共同计算完成整个50层的神经网络。

其中，对于将中间计算结果发送至服务器的过程，具体的步骤可以为：对中间计算结果进行Protobuf序列化处理，得到目标Protobuf序列，并将目标Protobuf序列发送至服务器中。具体的，当设备端计算到计算游标的配置位置后，将当前层(即计算游标的位置层)的中间计算结果序列化为Protobuf序列，设备端再将该Protobuf序列发送至服务器。其中，Protobuf指Protocol buffer，是一种二进制的序列化格式，属于通用的数据结构。

对于现有技术而言，很多的智能拍照设备具备了智能检测人脸、扣取人脸抓拍图等功能。在实际应用中，智能拍照设备还可以针对人脸进行年龄、性别等属性的分析。这种技术以抓拍检测为单位边界，而在实际人脸识别过程中，在人脸检测之外还需要通过Resnet等深度神经网络进行人脸特征值的抽取，实际运行中的智能摄像机往往具备GPU或FPGA等高性能处理器，在进行人脸检测之外还存在大量的冗余计算能力，没有被充分利用。

通过加载完整模型和计算游标的配置，可以针对计算负载灵活的划分深度神经网络的判别过程，而无需改变设备端的底层结构。具体的，根据前端边缘设备的实际计算能力切分深度学习计算模型，能够灵活的把握特征计算的分布，实现将计算过程尽量前置，充分利用了前端设备的计算能力，从而能够节约后端服务器的工作量。而且，设备端的发行量远大于服务器端，其单位计算成本远低于服务器端，通过本实施例提供的方法还最大程度的节约了后端服务器的计算成本，同时在成本和大规模处理能力上也能够得到本质的提升。

本实施例中，充分利用了边缘计算资源的划分，能够适用于多路规模的智能视频解析集群，在不同路数和规模下达到全局计算资源分布最优，使更多的智能计算发生在设备端的计算边缘而不是服务器侧，则既可以节约大量的计算成本，又可以提升智能解析的能力。

实施例3：

根据本发明实施例，提供了一种特征提取方法的实施例，应用于服务器，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图3是根据本发明实施例的一种特征提取方法的流程图，应用于服务器，如图3所示，该方法包括如下步骤：

步骤S302，获取设备端发送的中间计算结果，其中，中间计算结果为设备端基于计算模型的第一组计算层对目标视频流进行特征计算得到的计算结果，第一组计算层为计算模型中用于在设备端进行特征计算的计算层；

步骤S304，在计算模型中确定用于在服务器进行特征计算的第二组计算层，并利用第二组计算层对中间计算结果进行特征计算，得到目标计算结果。

在本发明实施例中，首先，服务器获取设备端发送的中间计算结果，其中，中间计算结果为设备端基于计算模型的第一组计算层对目标视频流进行特征计算得到的计算结果，第一组计算层为计算模型中用于在设备端进行特征计算的计算层；之后，服务器在计算模型中确定用于在服务器进行特征计算的第二组计算层，并利用第二组计算层对中间计算结果进行特征计算，进而得到目标计算结果。

相对于现有的特征计算方式，通过上述处理方式对计算模型的计算资源进行划分，使计算资源能够在设备端与服务器之间得到均衡且灵活的分配，便能够实现将计算过程尽量前置到设备端，实现了对前端设备端的计算能力达到充分利用，进而解决了现有技术中存在的在实际使用中设备端存在的大量冗余计算能力被浪费的技术问题，下面将介绍特征提取的具体过程。

首先，服务器获取设备端发送的中间计算结果，其中，中间计算结果为设备端基于计算模型的第一组计算层对目标视频流进行特征计算得到的计算结果，第一组计算层为计算模型中用于在设备端进行特征计算的计算层。

然后，服务器在计算模型中确定用于在服务器进行特征计算的第二组计算层，具体过程如下：

首先，确定计算游标。

在一种实现方式中，计算游标是在设备端配置的，即在设备端处便配置完成计算游标，服务器接收设备端配置完成的计算游标。具体的，服务器获取设备端基于第一目标参数计算出的计算游标，其中，第一目标参数包括以下至少之一：目标视频流接入设备端的接入路数、设备端的计算性能参数、计算模型的计算复杂程度。

在另一种实现方式中，由服务器来配置计算游标，服务器再将其发送至设备端。具体的，服务器利用第二目标参数计算性能参数，确定计算模型的计算游标；第二目标参数包括以下至少之一：目标视频流接入设备端的接入路数、服务器的性能参数、计算模型的计算复杂程度。在此过程中，如果其中的第二目标参数发生了变化，且变化阈值大于第一预设阈值，则利用变化之后的第二目标参数重新确定计算游标，并将重新确定出的计算游标发送至设备端。

接下来，在确定计算游标之后，利用计算游标确定第二组计算层。之后，利用第二组计算层对中间计算结果进行特征计算，得到目标计算结果。即根据计算游标的配置位置，对中间计算结果进计算，以完成剩余的计算模型判别工作。

具体的，服务器侧加载完整模型结构到内存；然后提取传输的智能设备信息，如抓拍图、全景图、属性、人脸特征等中间计算结果；之后根据计算游标的记录，以中间计算结果作为第二组计算层的输入，继续完成剩余的特征计算，并写入特征库。例如，人脸解析服务器能够针对中间计算结果，进行进一步的特征提取，以获取最终人脸的尺度不变特征变换(Scale-invariant feature transform，简称SIFT)特征值。

因此，服务器接收到设备端发送的计算游标与中间计算结果后，能够根据该计算游标，以该中间计算结果为输入值，继续完成剩余的计算模型判别工作，以实现设备端与服务端一起按照计算游标的划分结果，共同完成整个的计算模型过程。

实施例4：

本发明实施例还提供了一种特征提取装置，设置于设备端，该特征提取装置主要用于执行本发明上述实施例二的内容所提供的特征提取方法，以下对本发明实施例提供的特征提取装置做具体介绍。

图4是根据本发明实施例的一种特征提取装置的示意图，设置于设备端，如图4所示，该特征提取装置主要包括设备端获取和资源划分单元42、设备端处理单元44以及设备端发送单元46。

设备端获取和资源划分单元42，用于获取计算模型，并对计算模型进行计算资源划分，得到划分结果，划分结果用于确定计算模型在设备端进行计算的第一组计算层，以及计算模型在服务器进行特征计算的第二组计算层。

设备端处理单元44，用于利用第一组计算层对目标视频流进行处理，得到中间计算结果。

设备端发送单元46，用于将中间计算结果发送至服务器，以使第二组计算层对中间计算结果进行计算，得到目标计算结果。

在本发明实施例中，首先，获取计算模型，然后对计算模型进行计算资源划分，进而得到划分结果，其中，划分结果用于确定计算模型在设备端进行特征计算的第一组计算层，以及计算模型在服务器进行特征计算的第二组计算层；之后，利用第一组计算层对目标视频流进行处理，从而得到中间计算结果；然后，将中间计算结果发送至服务器，以使服务器中部署的计算模型中的第二组计算层对中间计算结果进行特征计算，进而得到目标计算结果。

相对于现有的特征计算方式，通过上述处理方式对计算模型的计算资源进行划分，使计算资源能够在设备端与服务器之间得到均衡且灵活的分配，便能够实现将计算过程尽量前置到设备端，实现了对前端设备端的计算能力达到充分利用，进而解决了现有技术中存在的在实际使用中设备端存在的大量冗余计算能力被浪费的技术问题。

可选地，设备端获取和资源划分单元包括：第一划分模块，用于利用第一目标参数对所述计算模型进行计算资源划分，得到划分结果，其中，所述第一目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述设备端的计算性能参数、所述计算模型的计算复杂程度。

可选地，设备端获取和资源划分单元还包括：确定模块，用于确定所述计算模型的计算游标，其中，所述计算游标用于确定所述计算模型在所述设备端中用于执行特征计算的第一组计算层的计算层数；第二划分模块，用于按照所述计算游标在所述计算模型中确定所述第一组计算层和所述第二组计算层。

可选地，第二划分模块用于：确定所述计算游标在所述计算模型中所对应的目标计算层；将所述计算模型中所述目标计算层及其之前的计算层作为所述第一组计算层；并将所述计算模型中位于所述目标计算层之后的计算层作为所述第二组计算层。

可选地，确定模块用于：利用第一目标参数计算所述计算模型的计算游标；第一目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述设备端的计算性能参数、所述计算模型的计算复杂程度；或者，获取所述服务器基于第二目标参数计算出的计算游标，其中，所述第二目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述服务器的性能参数、所述计算模型的计算复杂程度。

可选地，所述装置还用于：在利用第一目标参数计算所述计算模型的计算游标之后，将所述计算游标发送至所述服务器中进行存储。

可选地，所述装置还用于：若所述第一目标参数发生了变化，且变化阈值大于第一预设阈值，则利用变化之后的第一目标参数对所述计算模型重新进行计算资源划分，得到重新划分之后的划分结果。

可选地，设备端发送单元用于：对所述中间计算结果进行Protobuf序列化处理，得到目标Protobuf序列，并将所述目标Protobuf序列发送至所述服务器中。

实施例5：

本发明实施例还提供了一种特征提取装置，设置于服务器，该特征提取装置主要用于执行本发明上述实施例3的内容所提供的特征提取方法，以下对本发明实施例提供的特征提取装置做具体介绍。

图5是根据本发明实施例的一种特征提取装置的示意图，设置于服务器，如图5所示，该特征提取装置主要包括服务器获取单元52、服务器确定单元54。

服务器获取单元52，用于获取设备端发送的中间计算结果，其中，中间计算结果为设备端基于计算模型的第一组计算层对目标视频流进行处理得到的计算结果，第一组计算层为计算模型中用于在设备端进行特征计算的计算层。

服务器确定单54，用于在计算模型中确定用于在服务器进行特征计算的第二组计算层，并利用第二组计算层对中间计算结果进行特征计算，得到目标计算结果。

在本发明实施例中，首先，服务器获取设备端发送的中间计算结果，其中，中间计算结果为设备端基于计算模型的第一组计算层对目标视频流进行特征计算得到的计算结果，第一组计算层为计算模型中用于在设备端进行特征计算的计算层；之后，服务器在计算模型中确定用于在服务器进行特征计算的第二组计算层，并利用第二组计算层对中间计算结果进行特征计算，进而得到目标计算结果。

相对于现有的特征计算方式，通过上述处理方式对计算模型的计算资源进行划分，使计算资源能够在设备端与服务器之间得到均衡且灵活的分配，便能够实现将计算过程尽量前置到设备端，实现了对前端设备端的计算能力达到充分利用，进而解决了现有技术中存在的在实际使用中设备端存在的大量冗余计算能力被浪费的技术问题，下面将介绍特征提取的具体过程。

可选地，服务器确定单元包括：第一确定模块，用于确定计算游标；第二确定模块，用于利用所述计算游标确定所述第二组计算层。

可选地，第一确定模块用于：利用第二目标参数计算性能参数，确定所述计算模型的计算游标；所述第二目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述服务器的性能参数、所述计算模型的计算复杂程度；或者，获取所述设备端基于第一目标参数计算出的计算游标，其中，所述第一目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述设备端的计算性能参数、所述计算模型的计算复杂程度。

可选地，所述装置还用于：若所述第二目标参数发生了变化，且变化阈值大于第一预设阈值，则利用变化之后的第二目标参数重新确定计算游标，并将重新确定出的计算游标发送至所述设备端。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例提供的特征提取装置，与上述实施例提供的特征提取方法、装置、电子设备具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明实施例所提供的进行特征提取方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种特征提取方法，其特征在于，应用于设备端，所述方法包括：

获取计算模型，并对所述计算模型进行计算资源划分，得到划分结果，所述划分结果用于确定所述计算模型在设备端进行特征计算的第一组计算层，以及所述计算模型在服务器进行特征计算的第二组计算层；

利用所述第一组计算层对目标视频流进行处理，得到中间计算结果；

将所述中间计算结果发送至所述服务器，以使所述第二组计算层对所述中间计算结果进行特征计算，得到目标计算结果。

2.根据权利要求1所述的方法，其特征在于，对所述计算模型进行计算资源划分，得到划分结果包括：

利用第一目标参数对所述计算模型进行计算资源划分，得到划分结果，其中，所述第一目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述设备端的计算性能参数、所述计算模型的计算复杂程度。

3.根据权利要求1所述的方法，其特征在于，对所述计算模型进行计算资源划分，得到划分结果还包括：

确定所述计算模型的计算游标，其中，所述计算游标用于确定所述计算模型在所述设备端中用于执行特征计算的第一组计算层的计算层数；

按照所述计算游标在所述计算模型中确定所述第一组计算层和所述第二组计算层。

4.根据权利要求3所述的方法，其特征在于，按照所述计算游标在所述计算模型中确定所述第一组计算层和所述第二组计算层包括：

确定所述计算游标在所述计算模型中所对应的目标计算层；

将所述计算模型中所述目标计算层及其之前的计算层作为所述第一组计算层；并将所述计算模型中位于所述目标计算层之后的计算层作为所述第二组计算层。

5.根据权利要求3所述的方法，其特征在于，确定所述计算模型的计算游标包括：

利用第一目标参数计算所述计算模型的计算游标；第一目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述设备端的计算性能参数、所述计算模型的计算复杂程度；或者

获取所述服务器基于第二目标参数计算出的计算游标，其中，所述第二目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述服务器的性能参数、所述计算模型的计算复杂程度。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在利用第一目标参数计算所述计算模型的计算游标之后，将所述计算游标发送至所述服务器中进行存储。

7.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所述第一目标参数发生了变化，且变化阈值大于第一预设阈值，则利用变化之后的第一目标参数对所述计算模型重新进行计算资源划分，得到重新划分之后的划分结果。

8.根据权利要求1所述的方法，其特征在于，将所述中间计算结果发送至所述服务器包括：

对所述中间计算结果进行Protobuf序列化处理，得到目标Protobuf序列，并将所述目标Protobuf序列发送至所述服务器中。

9.一种特征提取方法，其特征在于，应用于服务器，所述方法包括：

获取设备端发送的中间计算结果，其中，所述中间计算结果为所述设备端基于计算模型的第一组计算层对目标视频流进行特征计算得到的计算结果，所述第一组计算层为所述计算模型中用于在所述设备端进行特征计算的计算层；

在所述计算模型中确定用于在所述服务器进行特征计算的第二组计算层，并利用所述第二组计算层对所述中间计算结果进行特征计算，得到目标计算结果。

10.根据权利要求9所述的方法，其特征在于，在所述计算模型中确定用于在所述服务器进行特征计算的第二组计算层包括：

确定计算游标；

利用所述计算游标确定所述第二组计算层。

11.根据权利要求10所述的方法，其特征在于，确定计算游标包括：

利用第二目标参数计算性能参数，确定所述计算模型的计算游标；所述第二目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述服务器的性能参数、所述计算模型的计算复杂程度；或者

获取所述设备端基于第一目标参数计算出的计算游标，其中，所述第一目标参数包括以下至少之一：所述目标视频流接入所述设备端的接入路数、所述设备端的计算性能参数、所述计算模型的计算复杂程度。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

若所述第二目标参数发生了变化，且变化阈值大于第一预设阈值，则利用变化之后的第二目标参数重新确定计算游标，并将重新确定出的计算游标发送至所述设备端。

13.一种特征提取装置，其特征在于，设置于设备端，所述装置包括：

设备端获取和资源划分单元，用于获取计算模型，并对所述计算模型进行计算资源划分，得到划分结果，所述划分结果用于确定所述计算模型在设备端进行计算的第一组计算层，以及所述计算模型在服务器进行特征计算的第二组计算层；

设备端处理单元，用于利用所述第一组计算层对目标视频流进行处理，得到中间计算结果；

设备端发送单元，用于将所述中间计算结果发送至所述服务器，以使所述第二组计算层对所述中间计算结果进行计算，得到目标计算结果。

14.一种特征提取装置，其特征在于，设置于服务器，所述装置包括：

服务器获取单元，用于获取设备端发送的中间计算结果，其中，所述中间计算结果为所述设备端基于计算模型的第一组计算层对目标视频流进行处理得到的计算结果，所述第一组计算层为所述计算模型中用于在所述设备端进行特征计算的计算层；

服务器确定单元，用于在所述计算模型中确定用于在所述服务器进行特征计算的第二组计算层，并利用所述第二组计算层对所述中间计算结果进行特征计算，得到目标计算结果。

15.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一项所述的方法；或者上述权利要求9至12中任一项所述的方法。

16.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至8任一项所述的方法；或者上述权利要求9至12中任一项所述的方法。