CN111104954B - 一种对象分类的方法与装置 - Google Patents
一种对象分类的方法与装置 Download PDFInfo
- Publication number
- CN111104954B CN111104954B CN201811259704.5A CN201811259704A CN111104954B CN 111104954 B CN111104954 B CN 111104954B CN 201811259704 A CN201811259704 A CN 201811259704A CN 111104954 B CN111104954 B CN 111104954B
- Authority
- CN
- China
- Prior art keywords
- layer
- model
- feature vector
- neural network
- vector output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 239000013598 vector Substances 0.000 claims abstract description 140
- 238000012549 training Methods 0.000 claims abstract description 93
- 238000013145 classification model Methods 0.000 claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 claims description 230
- 230000006870 function Effects 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 abstract description 29
- 238000010586 diagram Methods 0.000 description 15
- 230000003044 adaptive effect Effects 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种对象分类的方法，在训练过程中，构建端云结合对象分类模型，所述端云结合对象分类模型包括端模型和云模型；根据至少一个训练对象训练所述端云结合对象分类模型；存储训练完毕的所述云模型和所述端模型。在推理过程中，端计算设备运行端模型获得端模型推理结果，当所述端模型推理结果的置信度小于或等于阈值时，将所述端模型输出的特征向量发送至云计算设备上运行的云模型，在云计算设备上根据云模型对所述端计算设备发送的端模型输出的特征向量进行推理，获得云模型推理结果；当所述端模型推理结果的置信度大于阈值时，端模型输出所述端模型推理结果。通过该端云结合对象分类的方法，提升了对象分类的精度。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及对象分类的方法与装置。
背景技术
近年来，随着云计算、大数据和深度学习的快速发展，人工智能新一轮浪潮来袭。音频、图像、视频等对象的分类作为计算机听觉和视觉的重点研究领域，吸引了学术界和工业界的大量投入。目前，卷积神经网络用于音频、图像、视频等对象的分类取得了良好的进展，并使得这些数据的分类在很多领域得到了广泛应用，例如：音频鉴黄、人脸检测、车牌识别、相册归类、视频审核等。
云计算时代的到来也使得各种服务快速发展，各种智能应用随之而来。众多行业向数字化迈进，存储、计算都越来越依赖于云，终端与云结合共同完成一项任务成为一种计算新方式。现有技术中，端云结合实现对象分类的方法精度较低、响应速度慢。
发明内容
本申请提供了一种对象分类的方法，该方法提升了对象分类的精度和响应速度。
第一方面，本申请提供了一种对象分类的方法，该方法由计算设备执行，所述方法包括：将至少一个对象输入端模型，根据所述端模型对所述至少一个对象进行推理，获得端模型推理结果，所述端模型推理结果包括每个对象所属的分类或每个对象属于不同分类的概率；确定所述端模型推理结果的置信度小于或等于阈值，将所述端模型输出的特征向量发送至云计算设备上运行的云模型；确定所述端模型推理结果的置信度大于阈值，输出所述端模型推理结果。在执行一些分类任务时，端计算设备通过将所述端模型输出的特征向量发送至云计算设备上运行的云模型，实现端云结合对象分类，提升了对象分类的精度。
第一方面的一种可能的实现方式中，所述端模型包括：重量级神经网络第1层至第n层、编码层、第一解码层和轻量级神经网络。
其中，所述重量级神经网络相比所述轻量级神经网络占用内存大，或在相同条件下训练所述重量级神经网络所需的时间长于训练所述轻量级神经网络所需的时间，或所述重量级神经网络的结构中权重参数的个数多于所述轻量级神经网络的结构中权重参数的个数。
第一方面的一种可能的实现方式中，所述编码层接收所述重量级神经网络第n层输出的特征向量，根据所述重量级神经网络第n层输出的特征向量输出所述编码层输出的特征向量，所述编码层的输出的特征向量的通道数目低于所述重量级神经网络第n层输出的特征向量的通道数目。所述第一解码层接收所述编码层输出的特征向量，根据所述编码层输出的特征向量输出所述第一解码层输出的特征向量，所述第一编码层输出的特征向量的通道数目等于轻量级神经网络的输入层可输入的特征向量的通道数目。所述第一解码层是适配轻量级神经网络输入层的解码层。
所述编码层减少了所述端模型的编码层输出的特征向量的通道数目，降低了将所述端模型的编码层输出的特征向量发送至云计算设备上运行的云模型所需的时间，提升了端云结合对象分类模型的推理效率。
第一方面的一种可能的实现方式中，所述端模型输出的特征向量包括所述端模型的编码层输出的特征向量。
第二方面，本申请提供了一种对象分类的方法，该方法由计算设备执行，所述方法包括：接收端计算设备发送的端模型输出的特征向量，所述端模型输出的特征向量是由所述端模型根据接收到的至少一个对象获取的；将所述端模型输出的特征向量输入云模型；根据所述云模型对所述端计算设备发送的端模型输出的特征向量进行推理，获得云模型推理结果；输出所述云模型推理结果，所述云模型推理结果包括每个对象所属的分类或每个对象属于不同分类的概率。利用云模型推理获得的云模型推理结果保证了端云结合对象分类的精度。
第二方面的一种可能的实现方式中，所述云模型包括：第二解码层和重量级神经网络的第n+1至第N层，所述重量级神经网络包括N层。
第二方面的一种可能的实现方式中，所述第二解码层接收所述端计算设备发送的端模型输出的特征向量，根据所述端计算设备发送的端模型输出的特征向量输出所述第二解码层输出的特征向量，所述第二解码层输出的特征向量的通道数目等于端计算设备上端模型中重量级神经网络第n层输出的特征向量的通道数目。所述第二解码层是适配重量级神经网络第n+1层的解码层。通过所述第二解码层恢复了所述编码层输出的特征向量的通道数目，使重量级神经网络有效地用于对象分类。
第三方面，本申请提供了一种训练端云结合对象分类模型的方法，该方法由包括至少一个计算设备的计算设备系统执行，所述方法包括：构建端云结合对象分类模型，所述端云结合对象分类模型包括端模型和云模型；根据至少一个训练对象训练所述端云结合对象分类模型；存储训练完毕的所述云模型和所述端模型。所述端云结合对象分类模型的构建综合了重量级神经网络和轻量级神经网络的优点，有利于对象分类的方法在不同分类任务中保证分类的准确性。
第三方面的一种可能的实现方式中，所述构建端云结合对象分类模型包括：确定重量级神经网络的拆分层为所述重量级神经网络的第n层；获取编码层、第一解码层、第二解码层；将重量级神经网络第1层至第n层、编码层、第一解码层和轻量级神经网络连接，构成所述端模型；将所述第二解码层和所述重量级神经网络的第n+1层连接，构成所述云模型。所述编码层、第一解码层和第二解码层使重量级神经网络和轻量级神经网络有效连接起来，实现端云结合对象分类。
可选的，在确定重量级神经网络的拆分层之前，可利用对象数据集训练重量级神经网络和轻量级神经网络，以便节省训练端云结合对象分类模型的时间。
第三方面的一种可能的实现方式中，所述训练所述端云结合对象分类模型包括：输入至少一个训练对象至所述端云结合对象分类模型，直至整体损失函数输出值收敛，其中，所述整体损失函数输出值为端模型损失函数输出值与云模型损失函数输出值的加权平均值。对端云结合对象分类模型的训练弥补了特征向量经过编码层和解码层可能带来的信息的损失，保证了对象分类的精度。
第四方面，本申请提供了一种对象分类的装置，该装置包括第二推理模块和置信度判定模块，用于实现第一方面或第一方面的任意一种可能的实现方式提供的方法。所述第二推理模块即推理模块B。
本申请提供了另一种对象分类的装置，该装置包括通信模块和第一推理模块，用于实现第二方面或第二方面的任意一种可能的实现方式提供的方法。所述第一推理模块即推理模块A
本申请还提供了一种训练端云结合对象分类模型的装置，该装置包括训练模块、存储模块，用于实现第三方面或第三方面的任意一种可能的实现方式提供的方法。
第五方面，本申请提供了一种计算设备，包括存储器和处理器，所述存储器，用于存储计算机指令；所述处理器执行所述存储器的计算机指令，以执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
本申请提供了一种计算设备系统，该计算设备系统包括至少一个计算设备。每个计算设备包括存储器和处理器。至少一个计算设备的处理器用于访问所述存储器中的代码以执行第二方面或第二方面的任意一种可能的实现方式提供的方法。本申请还提供了一种计算设备系统。该计算设备系统包括至少一个计算设备。每个计算设备包括存储器和处理器。至少一个计算设备的处理器用于访问所述存储器中的代码以执行第三方面或第三方面的任意一种可能的实现方式提供的方法。
第六方面，本申请提供了一种非瞬态的可读存储介质，所述非瞬态的可读存储介质被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意可能的实现方式中提供的方法。该存储介质中存储了程序。该存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(英文：hard disk drive，缩写：HDD)、固态硬盘(英文：solid state drive，缩写：SSD)。
本申请提供了另一种非瞬态的可读存储介质，所述非瞬态的可读存储介质被计算设备执行时，所述计算设备执行前述第二方面或第二方面的任意可能的实现方式中提供的方法。该存储介质中存储了程序。该存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(英文：hard disk drive，缩写：HDD)、固态硬盘(英文：solid state drive，缩写：SSD)。
本申请还提供了另一种非瞬态的可读存储介质，所述非瞬态的可读存储介质被计算设备执行时，所述计算设备执行前述第三方面或第三方面的任意可能的实现方式中提供的方法。该存储介质中存储了程序。该存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(英文：hard disk drive，缩写：HDD)、固态硬盘(英文：solid state drive，缩写：SSD)。
第七方面，本申请提供了一种计算设备程序产品，所述计算设备程序产品包括计算机指令，在被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意可能的实现方式中提供的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第一方面或第一方面的任意可能的实现方式中提供的方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
本申请提供了另一种计算设备程序产品，所述计算设备程序产品包括计算机指令，在被计算设备执行时，所述计算设备执行前述第二方面或第二方面的任意可能的实现方式中提供的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第二方面或第二方面的任意可能的实现方式中提供的方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
本申请还提供了另一种计算设备程序产品，所述计算设备程序产品包括计算机指令，在被计算设备执行时，所述计算设备执行前述第三方面或第三方面的任意可能的实现方式中提供的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第三方面或第三方面的任意可能的实现方式中提供的方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
附图说明
图1为本申请实施例提供的一种对象分类系统的结构示意图；
图2为本申请实施例提供的一种端模型和云模型部署的示意图；
图3为本申请实施例提供的一种端云结合对象分类模型训练的流程示意图；
图4为本申请实施例提供的一种重量级神经网络和一种轻量级神经网络的结构示意图；
图5为本申请实施例提供的一种端云结合对象分类模型的结构示意图；
图6为本申请实施例提供的编码层和解码层的结构示意图；
图7为本申请实施例提供的一种端云结合对象分类模型推理的流程示意图；
图8为本申请实施例提供的一种装置300的结构示意图；
图9为本申请实施例提供的另一种装置400的结构示意图；
图10为本申请实施例提供的又一种装置500的结构示意图；
图11为本申请实施例提供的一种计算设备600的结构示意图；
图12为本申请实施例提供的另一种计算设备700的结构示意图。
具体实施方式
术语简介
对象：可被计算机识别并转化为数据的信号，例如：音频、图像、视频。
对象分类：以对象作为输入数据的分类任务，输出为分类类别或每个对象分别属于某一类别的概率等。
云计算设备系统：提供计算资源、存储资源、网络资源的计算设备集群。该计算设备集群可以由云服务厂商提供并由客户租用。
端计算设备：终端计算设备，例如：智能手机、智能相机、摄像头、便携式电脑等，或者边缘计算设备，例如边缘服务器。
端云结合(device/cloud collaboration)：指某一系统或装置的运行需利用端计算设备和云计算设备系统的资源。
神经网络(neural network，NN)：一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型。
重量级神经网络：具有较复杂的网络结构和较多参数的神经网络，占用内存大，训练和推理消耗的计算资源多、时间长。
轻量级神经网络：能保持较快推理速度的神经网络，结构较简单，占用内存小。
重量级神经网络和轻量级神经网络的划分可根据神经网络占用的内存大小、相同条件下两个神经网络训练完成所需的时间长短、神经网络的结构中权重参数的个数等要素。可选择任意一个或多个要素作为划分重量级神经网络和轻量级神经网络的标准。
例如，以占用内存大小作为划分重量级神经网络和轻量级神经网络的标准，重量级神经网络占用的内存大于轻量级神经网络占用的内存，或重量级神经网络占用的内存大于预设的内存阈值，轻量级神经网络占用的内存小于或等于预设的内存阈值。例如，内存阈值设为20MB，占用内存超过20MB的神经网络为重量级神经网络。如：视觉几何组模型(visual geometry group，VGG)，残差网络模型(residual network，ResNet)中的一些模型(如：ResNet-34，ResNet-101，ResNet-152)，谷歌网络模型(google network，GoogleNet)，这类神经网络通常需要部署在服务器上。占用内存小于或等于20MB的神经网络，如：移动网络模型(mobile network，MobileNet),洗牌网络模型(shuffle network，ShuffleNet)，压缩网络模型(squeeze network，SqueezeNet)等，划分为轻量级神经网络，这类神经网络可部署在终端设备上。
例如，以相同条件下两个神经网络训练完成所需的时间长短作为划分重量级神经网络和轻量级神经网络的标准，重量级神经网络训练完成所需的时间比轻量级神经网络训练完成所需时间长，或重量级神经网络训练完成所需时间大于预设的时间阈值，轻量级神经网络训练完成所需时间小于或等于预设的时间阈值。
例如，以神经网络的结构中权重参数的个数作为划分重量级神经网络和轻量级神经网络的标准，重量级神经网络的结构中权重参数的个数比轻量级神经网络的结构中权重参数的个数多，或重量级神经网络的结构中权重参数的个数大于预设的个数阈值，轻量级神经网络的结构中权重参数的个数小于或等于预设的个数阈值。
损失函数：表示神经网络输出结果和标签之间误差的函数，损失函数输出值越大表示误差越大，损失函数输出值越小表示误差越小。
置信度：本申请中置信度表示对推理结果信任程度的参数，置信度越高，表示推理结果越具有确定性，越值得信任；置信度越低，表示推理结果越具有不确定性，越不值得信任。
下面结合本申请实施例的附图，对本申请实施例中的技术方案进行描述。
一种对象分类系统的结构示意图如图1所示，云服务供应商拥有大量基础资源(包括计算资源、存储资源和网络资源等)，所述基础资源是分布在不同物理地域的设备集群，例如数据中心，即云计算设备系统。云服务供应商基于这些基础资源建立云服务平台，由所述云服务平台向客户提供服务。云服务平台上提供各类云服务，例如基于计算资源(例如服务器)建立的计算服务，如虚拟机，例如基于存储资源(例如服务器中的硬盘或固态硬盘或存储阵列)建立的存储服务，如块存储，对象存储，再例如基于网络资源(例如各种网关设备、交换设备)建立的网络服务，如内容分发网络。为执行对象分类任务，云服务供应商自身或云服务的客户通过云服务平台获取计算和存储等资源，即使用一定量的基础资源，形成训练模块、存储模块和推理模块A。训练模块和推理模块A可以为服务器，或服务器上运行的虚拟机，或虚拟机中运行的软件模块。存储模块可以为云服务平台分配的存储资源的集合，其物理上可以分布在一台或多台服务器，或一个或多个存储阵列中。
在云计算设备系统中，训练模块生成端云结合对象分类模型，端云结合对象分类模型包括云模型和端模型。端模型和云模型部署的示意图如图2所示，训练模块将云模型和端模型作为一个整体执行训练操作，训练完成后，训练模块通过与存储模块的通信，存储模块将云模型和端模型分别存储在相同或不同的存储模块中。推理模块A从存储模块获取云模型；存储模块中的端模型被至少一个端计算设备获取，被部署在推理模块B中。(例如：存储模块中的端模型被应用开发者下载并被使用成为应用程序的一部分，应用程序经发布后被智能手机或平板等终端计算设备下载并安装)。推理模块B可以为端计算设备，或端计算设备上运行的软件模块，或端计算设备上运行的虚拟机。
云模型和端模型分别部署至推理模块A和推理模块B后，在执行端云结合对象分类的推理操作时，端计算设备的应用程序接收待分类的对象，根据推理模块B中的端模型获得端模型推理结果，或结合推理模块B中的端模型和推理模块A中的云模型共同对待分类的对象进行推理，获得云模型推理结果。例如：端计算设备为智能手机，待分类的对象为图像，所述智能手机的某应用程序包含对图像清晰度判定，并有决定是否提醒用户删除并重新拍摄此图像的功能。这一过程为：智能手机拍摄一张图像，应用程序读取所拍摄图像并利用所述智能手机推理模块B中的端模型或结合所述端模型和云计算设备系统的推理模块A中的云模型对图像清晰度进行分类，其中所述端模型在端计算设备(即智能手机)对图像进行推理，得到图像的端模型推理结果以及对端模型推理结果的置信度，当端模型推理结果的置信度大于预设定的阈值时所述端模型直接输出端模型推理结果(图像清晰度分类结果)。应用程序根据所述推理结果确定图像存档的价值，给予用户优化建议。当端模型推理结果的置信度小于或等于预设定的阈值时，应用程序调用云计算设备系统的推理模块A中的云模型，所述端模型结合所述云模型共同对图像进行推理，得到云模型推理结果，端计算设备的应用程序同样根据云模型推理结果确定图像存档的价值，给予用户优化建议。
本申请中，实现端云结合对象分类的方法主要包括端云结合对象分类模型的训练和推理两大过程。训练过程和推理过程具有时序上的前后关系，训练过程在推理过程之前，经训练过程训练完的端云结合对象分类模型可用于对象分类推理，在推理过程可对待分类的对象实现端云结合对象分类。
图3为一种端云结合对象分类模型训练的流程示意图。
图4为一种重量级神经网络和一种轻量级神经网络的结构示意图，如图4所示，重量级神经网络共有N层，每一层包含一定数量的函数，每一层的函数包含一定数量的权重参数，每一层的输入值经过所述函数输出每一层的输出值。轻量级神经网络包括输入层和输出层以及若干隐含层，每一层也包含一定数量的函数，每一层的函数包含一定数量的权重参数，每一层的输入值经过所述函数输出每一层的输出值。
下面结合图3和图4具体描述本申请实施例提供的端云结合对象分类模型的生成和训练过程。
S101，分别训练重量级神经网络和轻量级神经网络。
选择一个重量级神经网络和一个轻量级神经网络，利用已预先设置好标签的对象数据集分别对神经网络进行训练，直到两个神经网络的损失函数输出值收敛。在训练的过程中，重量级神经网络和轻量级神经网络分别学习对象数据集中的训练对象到相应预设标签的映射关系，以便两个神经网络用于对象的分类。通过S101分别训练重量级神经网络和轻量级神经网络可缩短后续步骤S104对端云结合对象分类模型进行训练的训练时间。
本申请中，在重量级神经网络和轻量级神经网络的训练过程中，这两个神经网络训练所需的对象数据集可以是同一个对象数据集，也可以是两个不同的对象数据集，但两个对象数据集中的训练对象都需依照同一种分类设置标签。例如：对象分类任务为图像的清晰度分类，用于轻量级神经网络训练的图像数据集1中的所有训练图像根据清晰度分类都被设置了标签，标签类型分为6类，分别为：十分清晰、清晰、较清晰、可辨认、辨认较困难、无法辨认。则用于重量级神经网络训练的图像数据集2中每个训练图像也被设置以上6种分类的标签中的一种。
S102，确定重量级神经网络的拆分层。对于重量级神经网络拆分层的确定，在不同应用中，可有不同拆分准则，但不同拆分准则均需要保证重量级神经网络的拆分层输出值为特征向量，以保证后续重量级神经网络和轻量级神经网络可进行连接形成端云结合对象分类模型。确定重量级神经网络拆分层还需要考虑的因素有：端云结合对象分类方法的所适用的端计算设备的可用内存和计算能力、重量级神经网络的结构及轻量级神经网络的结构等。可考虑前述任意一个或多个因素以及保证重量级神经网络的拆分层输出值为特征向量这一条件确定拆分准则。根据拆分准则确定重量级神经网络的拆分层为重量级神经网络的第n层。
S103，根据重量级神经网络的拆分层，获取预设定的编码层，且根据预设定的编码层和重量级神经网络第n+1层输入特征向量的通道数选择适配重量级神经网络的解码层，根据预设定的编码层和轻量级神经网络输入层输入特征向量的通道数选择适配轻量级神经网络的解码层。利用所述编码层和解码层与重量级神经网络和轻量级神经网络连接，生成端云结合对象分类模型。
确定了重量级神经网络的拆分层为第n层之后，通过预设定的编码层和适配轻量级神经网络输入层的解码层将重量级神经网络前n层和轻量级神经网络进行连接，共同形成端云结合对象分类模型的一部分，即端模型。通过适配重量级神经网络第n+1层的解码层与重量级神经网络后N-n层连接形成端云结合对象分类模型的另一部分，即云模型。端模型和云模型共同构成端云结合对象分类模型。图5为端云结合对象分类模型的结构示意图。
图6为本申请实施例中编码层和解码层的关系示意图。如图6所示，编码层和解码层所进行的操作互为相逆，主要用于调整和恢复拆分层输出的特征向量的通道数，以加快端云结合对象分类模型在推理过程中的响应速度。
所述编码层，主要用于提取重量级神经网络第n层输出的多通道特征向量中较有效的特征，经编码层后输出特征向量通道数变少，降低了需要传输的特征向量的数据量，便于在推理过程中特征向量从端计算设备向云计算设备系统的传输，提高了整个神经网络推理过程的响应效率。
所述适配轻量级神经网络输入层的解码层，主要用于将编码层输出的特征向量调整为轻量级神经网络输入层可输入的特征向量通道数。所述适配重量级神经网络第n+1层的解码层，主要用于将编码层输出的特征向量恢复为重量级神经网络第n+1层输入的特征向量通道数。经过适配重量级神经网络的解码层后输出的特征向量与重量级神经网络第n层输出的特征向量的大小和通道数相同。经过适配轻量级神经网络的解码层后输出的特征向量与重量级神经网络第n层输出的特征向量的大小相同，通道数可能不同，主要由轻量级神经网络输入层决定。
例如，重量级神经网络为ResNet34，轻量级神经网络为MobileNet。两个神经网络经训练后，假设在本例中端计算设备为智能手机，根据端计算设备的计算资源(即可分配的内存的大小)和ResNet34模型以及MobileNet模型的结构确定ResNet34的第1层为拆分层。ResNet34的第1层为卷积层，其输出为64通道的大小为56×56的特征向量，预设定的编码层中的卷积核为8通道的1×1卷积核，所述编码层的输出为8通道的56×56的特征向量。根据ResNet34的编码层和重量级神经网络第2层的输入通道数，选择适配重量级神经网络第2层的解码层为64通道1×1卷积核的卷积层，根据ResNet34的编码层和MobileNet输入层的输入通道数，选择适配轻量级神经网络输入层的解码层同样为64通道1×1卷积核的卷积层。
例如，重量级神经网络为ResNet34，轻量级神经网络为SqueezeNet。两个神经网络经训练后，假设在本例中端计算设备为智能手机，根据端计算设备的计算资源(即可分配的内存的大小)和ResNet34模型以及SqueezeNet模型的结构确定ResNet34的第1层为拆分层。ResNet34的第1层为卷积层，其输出为64通道的大小为56×56的特征向量，预设定的编码层中的卷积核为8通道的1×1卷积核，所述编码层的输出为8通道的56×56的特征向量。根据ResNet34的编码层和重量级神经网络第2层的输入通道数，选择适配重量级神经网络第2层的解码层为64通道1×1卷积核的卷积层，根据ResNet34的编码层和SqueezeNet输入层的输入通道数，选择适配轻量级神经网络输入层的解码层为96通道1×1卷积核的卷积层。
S104，对生成的端云结合对象分类模型进行训练，直到整体损失函数输出值收敛。
端云结合对象分类模型的训练在云计算设备系统进行，训练过程即是神经网络中各层的权重参数不断更新的过程。端模型中的重量级神经网络输入层读取对象数据集中的训练对象，重量级神经网络前n层对训练对象进行特征提取和映射，编码层对重量级神经网络第n层(即拆分层)输出的特征向量进行进一步提取，减少特征向量的通道数。编码层输出的特征向量继续发送给端模型中适配轻量级神经网络输入层的解码层，适配轻量级神经网络输入层的解码层输出的特征向量作为轻量级神经网络输入层的输入值，由轻量级神经网络进行计算和映射。编码层输出的特征向量也发送给云模型中适配重量级神经网络第n+1层的解码层，适配重量级神经网络第n+1层的解码层输出的特征向量作为重量级神经网络第n+1层的输入值，由重量级神经网络后N-n层进行计算和映射。
在训练过程中，端模型和云模型分别输出预测结果，端模型向轻量级神经网络损失函数输入预测结果和训练对象的标签，获得轻量级神经网络损失函数输出值，云模型向重量级神经网络输入预测结果和训练对象的标签，获得重量级神经网络损失函数的输出值。所述轻量级神经网络损失函数输出值和重量级神经网络损失函数输出值经过加权平均得到端云结合对象分类模型的整体损失函数输出值，其中两项权值由重量级神经网络结构和轻量级神经网络结构以及重量级神经网络拆分层预先确定。当整体损失函数输出值收敛时，端云结合对象分类模型的训练完成，否则继续训练，即端模型和云模型中各层的权重参数继续更新，直到整体损失函数输出值收敛。
本申请中，用于端云结合对象分类模型训练的对象数据集可以与训练重量级神经网络或训练轻量级神经网络时所用的对象数据集为同一个，也可以为依照同一种分类设置设置了标签的不同对象数据集。
执行上述步骤S101-S104，即完成了端云结合对象分类模型的训练过程。端云结合对象分类模型中端模型和云模型分别存储并分别被部署在端计算设备和云计算设备系统中，以用于完成端云结合对象分类的推理过程。
可选的，本申请中，端云结合对象分类的训练过程也可仅执行步骤S102-S104，即不执行S101，即不预先训练重量级神经网络模型和轻量级神经网络模型，在进行重量级神经网络拆分层确定和端云结合对象分类模型构建完成后，再进行整体的模型训练。
上述对端云结合对象分类模型进行训练，端云结合对象分类模型中经训练的适配重量级神经网络n+1层的解码层和适配轻量级神经网络输入层的解码层补偿了编码层减少特征向量通道数可能带来的信息损失，保证了在推理过程中对象分类的精度。进一步地，端云结合对象分类模型结合重量级神经网络和轻量级神经网络结构的优良性能，大大提高了对象分类的精度。
图7为本申请实施例提供的一种端云结合对象分类模型推理的流程示意图；下面结合图7描述端云结合对象分类模型的推理过程。
S201，读取待分类的对象，通过端模型进行推理。在端计算设备中，读取待分类的对象，由推理模块B执行端模型推理。端模型中重量级神经网络前n层对待分类的对象进行特征提取和映射，重量级神经网络第n层输出为多通道的特征向量，所述特征向量经编码层和适配轻量级神经网络输入层的解码层得到变化后的特征向量，所述变化后的特征向量的通道数与轻量级神经网络的输入通道数相适应，变化后的特征向量经轻量级神经网络得到端模型推理结果(即对象分类结果)。
S202，对端模型推理结果进行置信度判定。通过预设定的置信度判断函数对端模型推理结果进行置信度计算，根据预设定的阈值判断是否调用云计算设备系统的云模型。当所述置信度大于阈值时，执行步骤S203；当所述置信度小于阈值时，执行步骤S204。
本申请中，置信度表示推理结果的可信度，例如，可以计算推理结果的熵衡量置信度，当推理结果的熵值越大，表示推理结果不确定性越高；当推理结果的熵值越小，表示推理结果不确定性越低。
S203，输出端模型推理结果，对象分类完成。
S204，端模型向云模型传输特征向量。置信度小于预设定的阈值，则表示端模型推理结果具有不确定性，需调用云计算设备系统的云模型进行更准确地推理。端计算设备与云计算设备通过通信通路建立通信，端模型的编码层输出的特征向量通过通信通路传输给云计算设备系统作为云模型的输入特征向量。
本申请中，由于端模型中重量级神经网络第n层的输出特征向量经过编码层后，使得端模型向云模型传输的特征向量的通道数减少，减少了对通信通路中传输带宽的要求，缩短了云模型进行推理的响应时间，提升了整体端云结合对象分类模型的推理效率。
S205，云模型接收端模型发送的特征向量，进行云模型推理，并输出云模型推理结果。接收的特征向量经云模型中适配重量级神经网络第n+1层的解码层，通道数发生变化，可用于重量级神经网络第n+1层的输入，变化的特征向量再经过重量级神经网络后N-n层，得到云模型推理结果(即对象分类结果)。输出云模型推理结果。
执行上述步骤S201-S205即完成了端云结合对象分类的推理过程，输出的推理结果可用于端计算设备或云计算设备系统的其他任务，例如：对于图像清晰度分类任务，端模型或云模型输出的推理结果为图像清晰度类别，图像清晰度类别传输给端计算设备的存档模块，存档模块根据所述图像清晰度类别确定是否执行存档操作。
本申请提供一种装置300，该装置部署在本申请的云计算设备系统。如图8所示，装置300包括训练模块301、存储模块302。训练模块301、存储模块302可以为运行在计算设备上的软件模块。
其中，训练模块301执行端云结合对象分类模型的训练操作，并与存储模块302建立通信，具体执行前述步骤S101-S104或S102-S104。将训练好的端云结合对象分类模型中的云模型和端模型分别发送给存储模块302，所述云模型和端模型分别存储在存储模块302中。
本申请还提供一种装置400，该装置部署在本申请的端计算设备。如图9所示，装置400包括推理模块B401和置信度判定模块402，所述推理模块B401执行前述步骤S201和S203或执行S201和S204，所述置信度判定模块402执行步骤S202。
本申请还提供一种装置500，该装置部署在本申请的云计算设备系统。如图10所示，装置500包括推理模块A501、通信模块502。所述通信模块可以是云计算设备的通信接口，用于接收端计算设备或其他计算设备发送的信息，所述推理模块A501用于执行前述步骤S205。
本申请提供一种计算机设备系统。计算设备系统中包括至少一个如图11所示的计算设备600，计算设备600包括总线601、处理器602、通信接口603和存储器604。处理器602、存储器604和通信接口603之间通过总线601通信。通信接口603用于与外部通信，例如在推理过程接收来自端计算设备的特征向量或与端计算设备及所述计算设备系统中的其他计算设备进行通信。存储器604中存储有可执行代码，处理器601执行该可执行代码以执行前述端云结合对象分类模型的训练的全部或部分方法，也可执行前述端云结合对象分类模型的推理的部分方法。
其中，处理器602可以为中央处理器(英文：central processing unit，缩写：CPU)。存储器604可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random access memory，缩写：RAM)。存储器604还可以包括非易失性存储器(英文：non-volatile memory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器，HDD或SSD。
存储器604中存储有可执行代码。具体的，存储器604中存储有前述训练模块、存储模块、推理模块A中的任意一个或任意多个。存储器604中还可以存储训练模块在训练过程所需的对象数据集，存储器604中除了存储前述任意一个或任意多个模块，还可以包括操作系统等其他运行进程所需的软件模块。操作系统可以为LINUXTM,UNIX TM,WINDOWSTM等。
所述计算设备系统中的至少一个计算设备600之间通过通信网络互相建立通信，每个计算设备上运行训练模块、存储模块、推理模块A中的任意一个或者任意多个。共同执行前述端云结合对象分类模型的训练、存储和推理。
如图12所示，本申请还提供一种计算设备700，包括：总线701、处理器702、通信接口703和存储器704。处理器702、存储器704和通信接口703之间通过总线701通信。通信接口703用于与外部通信，例如向云计算设备系统发送编码层输出的特征向量。存储器704中存储有可执行代码，处理器701执行该可执行代码以执行前述端云结合对象分类模型的推理过程的部分方法。
其中，处理器702可以为中央处理器(英文：central processing unit，缩写：CPU)。存储器704可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random access memory，缩写：RAM)。存储器704还可以包括非易失性存储器(英文：non-volatile memory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器，HDD或SSD。
存储器704中存储有可执行代码。具体的，存储器704中存储有推理模块B和置信度判定模块，存储器704还存储有待分类的对象。此外，存储器704中还可以包括操作系统等其他运行进程所需的软件模块。操作系统可以为Android，iOS，BlackBerry OS等。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
Claims (17)
1.一种对象分类的方法，其特征在于，所述方法包括：
将至少一个对象输入端模型，根据所述端模型对所述至少一个对象进行推理，获得端模型推理结果，所述端模型推理结果包括每个对象所属的分类或每个对象属于不同分类的概率，所述端模型包括：重量级神经网络第1层至第n层、编码层、第一解码层和轻量级神经网络；
确定所述端模型推理结果的置信度小于或等于阈值，将所述端模型输出的特征向量发送至云计算设备上运行的云模型，所述端模型输出的特征向量包括所述端模型的编码层输出的特征向量，所述编码层接收所述重量级神经网络第n层输出的特征向量，根据所述重量级神经网络第n层输出的特征向量输出所述编码层输出的特征向量，所述编码层的输出的特征向量的通道数目低于所述重量级神经网络第n层输出的特征向量的通道数目；
确定所述端模型推理结果的置信度大于阈值，输出所述端模型推理结果。
2.根据权利要求1所述的方法，其特征在于，所述重量级神经网络相比所述轻量级神经网络占用内存大，或在相同条件下训练所述重量级神经网络所需的时间长于训练所述轻量级神经网络所需的时间，或所述重量级神经网络的结构中权重参数的个数多于所述轻量级神经网络的结构中权重参数的个数。
3.根据权利要求2所述的方法，其特征在于，所述方法包括：
所述第一解码层接收所述编码层输出的特征向量，根据所述编码层输出的特征向量输出所述第一解码层输出的特征向量，所述第一解码层输出的特征向量的通道数目等于轻量级神经网络的输入层可输入的特征向量的通道数目。
4.一种对象分类的方法，其特征在于，所述方法包括：
接收端计算设备发送的端模型输出的特征向量，其中，所述端模型输出的特征向量是由所述端模型根据接收到的至少一个对象获取的，所述端模型包括：重量级神经网络第1层至第n层、编码层、第一解码层和轻量级神经网络；
将所述端模型输出的特征向量输入云模型，所述端模型输出的特征向量包括所述端模型的编码层输出的特征向量，所述编码层接收所述重量级神经网络第n层输出的特征向量，根据所述重量级神经网络第n层输出的特征向量输出所述编码层输出的特征向量，所述编码层的输出的特征向量的通道数目低于所述重量级神经网络第n层输出的特征向量的通道数目；
根据所述云模型对所述端计算设备发送的端模型输出的特征向量进行推理，获得云模型推理结果；
输出所述云模型推理结果，所述云模型推理结果包括每个对象所属的分类或每个对象属于不同分类的概率。
5.根据权利要求4所述的方法，其特征在于，所述云模型包括：
第二解码层和重量级神经网络的第n+1至第N层，所述重量级神经网络包括N层。
6.根据权利要求5所述的方法，其特征在于，所述方法包括:
所述第二解码层接收所述端计算设备发送的端模型输出的特征向量，根据所述端计算设备发送的端模型输出的特征向量输出所述第二解码层输出的特征向量，所述第二解码层输出的特征向量的通道数目等于端计算设备上端模型中重量级神经网络第n层输出的特征向量的通道数目。
7.一种训练端云结合对象分类模型的方法，其特征在于，所述方法包括：
构建端云结合对象分类模型，所述端云结合对象分类模型包括端模型和云模型；
根据至少一个训练对象训练所述端云结合对象分类模型；
存储训练完毕的所述云模型和所述端模型；
所述构建端云结合对象分类模型包括：
确定重量级神经网络的拆分层为所述重量级神经网络的第n层；
获取编码层、第一解码层、第二解码层；
将重量级神经网络第1层至第n层、编码层、第一解码层和轻量级神经网络连接，构成所述端模型；
将所述第二解码层和所述重量级神经网络的第n+1层连接，构成所述云模型；
所述训练所述端云结合对象分类模型包括：
输入所述至少一个训练对象至所述端云结合对象分类模型，直至整体损失函数输出值收敛，其中，所述整体损失函数输出值为端模型损失函数输出值与云模型损失函数输出值的加权平均值；
所述输入所述至少一个训练对象至所述端云结合对象分类模型，包括：
将至少一个对象输入所述端模型；
将所述端模型输出的特征向量输入所述云模型，所述端模型输出的特征向量包括所述端模型的编码层输出的特征向量，所述编码层接收所述重量级神经网络第n层输出的特征向量，根据所述重量级神经网络第n层输出的特征向量输出所述编码层输出的特征向量，所述编码层的输出的特征向量的通道数目低于所述重量级神经网络第n层输出的特征向量的通道数目。
8.一种对象分类的装置，其特征在于，所述装置包括第二推理模块和置信度判定模块：
所述第二推理模块用于将至少一个对象输入端模型，根据所述端模型对所述至少一个对象进行推理，获得端模型推理结果，所述端模型推理结果包括每个对象所属的分类或每个对象属于不同分类的概率，所述端模型包括：重量级神经网络第1层至第n层、编码层、第一解码层和轻量级神经网络；
所述置信度判定模块用于确定所述端模型推理结果的置信度小于或等于阈值，所述第二推理模块还用于将所述端模型输出的特征向量发送至云计算设备上运行的云模型，所述端模型输出的特征向量包括所述端模型的编码层输出的特征向量，所述编码层接收所述重量级神经网络第n层输出的特征向量，根据所述重量级神经网络第n层输出的特征向量输出所述编码层输出的特征向量，所述编码层的输出的特征向量的通道数目低于所述重量级神经网络第n层输出的特征向量的通道数目；
所述置信度判定模块还用于确定所述端模型推理结果的置信度大于阈值，所述第二推理模块还用于输出所述端模型推理结果。
9.根据权利要求8所述的装置，其特征在于，：
所述重量级神经网络相比所述轻量级神经网络占用内存大，或在相同条件下训练所述重量级神经网络所需的时间长于训练所述轻量级神经网络所需的时间，或所述重量级神经网络的结构中权重参数的个数多于所述轻量级神经网络的结构中权重参数的个数。
10.根据权利要求9所述的装置，其特征在于，所述第一解码层接收所述编码层输出的特征向量，根据所述编码层输出的特征向量输出所述第一解码层输出的特征向量，所述第一解码层输出的特征向量的通道数目等于轻量级神经网络的输入层可输入的特征向量的通道数目。
11.一种对象分类的装置，其特征在于，所述装置包括通信模块和第一推理模块：
所述通信模块用于接收端计算设备发送的端模型输出的特征向量，所述端模型输出的特征向量是由所述端模型根据接收到的至少一个对象获取的，所述端模型包括：重量级神经网络第1层至第n层、编码层、第一解码层和轻量级神经网络；
所述第一推理模块用于将所述端模型输出的特征向量输入云模型，所述端模型输出的特征向量包括所述端模型的编码层输出的特征向量，所述编码层接收所述重量级神经网络第n层输出的特征向量，根据所述重量级神经网络第n层输出的特征向量输出所述编码层输出的特征向量，所述编码层的输出的特征向量的通道数目低于所述重量级神经网络第n层输出的特征向量的通道数目；
根据所述云模型对所述端计算设备发送的端模型输出的特征向量进行推理，获得云模型推理结果；输出所述云模型推理结果，所述云模型推理结果包括每个对象所属的分类或每个对象属于不同分类的概率。
12.根据权利要求11所述的装置，其特征在于，所述云模型包括：
第二解码层和重量级神经网络的第n+1至第N层，所述重量级神经网络包括N层。
13.根据权利要求12所述的装置，其特征在于，所述第二解码层接收所述端计算设备发送的端模型输出的特征向量，根据所述端计算设备发送的端模型输出的特征向量输出所述第二解码层输出的特征向量，所述第二解码层输出的特征向量的通道数目等于端计算设备上端模型中重量级神经网络第n层输出的特征向量的通道数目。
14.一种训练端云结合对象分类模型的装置，其特征在于，所述装置包括训练模块、存储模块：
所述训练模块用于构建端云结合对象分类模型，所述端云结合对象分类模型包括端模型和云模型；根据至少一个训练对象训练所述端云结合对象分类模型；
所述存储模块用于存储训练完毕的所述云模型和所述端模型；
所述构建端云结合对象分类模型包括：
确定重量级神经网络的拆分层为所述重量级神经网络的第n层；
获取编码层、第一解码层、第二解码层；
将重量级神经网络第1层至第n层、编码层、第一解码层和轻量级神经网络连接，构成所述端模型；
将所述第二解码层和所述重量级神经网络的第n+1层连接，构成所述云模型；
所述训练所述端云结合对象分类模型包括：
输入所述至少一个训练对象至所述端云结合对象分类模型，直至整体损失函数输出值收敛，其中，所述整体损失函数输出值为端模型损失函数输出值与云模型损失函数输出值的加权平均值；
所述输入所述至少一个训练对象至所述端云结合对象分类模型，包括：
将至少一个对象输入所述端模型；
将所述端模型输出的特征向量输入所述云模型，所述端模型输出的特征向量包括所述端模型的编码层输出的特征向量，所述编码层接收所述重量级神经网络第n层输出的特征向量，根据所述重量级神经网络第n层输出的特征向量输出所述编码层输出的特征向量，所述编码层的输出的特征向量的通道数目低于所述重量级神经网络第n层输出的特征向量的通道数目。
15.一种计算设备，其特征在于，包括存储器和处理器，所述存储器，用于存储计算机指令；所述处理器执行所述存储器存储的计算机指令，以执行上述权利要求1至3中任一所述的方法。
16.一种计算设备系统，包括至少一台计算设备，其特征在于，每台计算设备包括存储器和处理器，所述至少一台计算设备的存储器，用于存储计算机指令；
所述至少一台计算设备的处理器执行所述存储器存储的计算机指令，以执行上述权利要求4至8中任一所述的方法。
17.一种计算设备系统，包括至少一台计算设备，其特征在于，每台计算设备包括存储器和处理器，所述至少一台计算设备的存储器，用于存储计算机指令；所述至少一台计算设备的处理器执行所述存储器存储的计算机指令，以执行上述权利要求7所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811259704.5A CN111104954B (zh) | 2018-10-26 | 2018-10-26 | 一种对象分类的方法与装置 |
| PCT/CN2019/086685 WO2020082724A1 (zh) | 2018-10-26 | 2019-05-13 | 一种对象分类的方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811259704.5A CN111104954B (zh) | 2018-10-26 | 2018-10-26 | 一种对象分类的方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111104954A CN111104954A (zh) | 2020-05-05 |
| CN111104954B true CN111104954B (zh) | 2023-11-14 |
Family
ID=70330388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811259704.5A Active CN111104954B (zh) | 2018-10-26 | 2018-10-26 | 一种对象分类的方法与装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111104954B (zh) |
| WO (1) | WO2020082724A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101529A (zh) * | 2020-10-14 | 2020-12-18 | 杭州海康威视数字技术股份有限公司 | 一种用于神经网络模型推理跨平台的部署方法及架构 |
| CN112328822B (zh) * | 2020-10-15 | 2024-04-02 | 深圳市优必选科技股份有限公司 | 图片预标注方法、装置及终端设备 |
| CN112528775A (zh) * | 2020-11-28 | 2021-03-19 | 西北工业大学 | 一种水下目标的分类方法 |
| CN113240036B (zh) * | 2021-05-28 | 2023-11-07 | 北京达佳互联信息技术有限公司 | 一种对象分类方法和装置、电子设备、存储介质 |
| CN113642586A (zh) * | 2021-07-29 | 2021-11-12 | 深圳市捷顺科技实业股份有限公司 | 一种车牌类型的识别方法及装置 |
| CN114330722B (zh) * | 2021-11-25 | 2023-07-11 | 达闼科技（北京）有限公司 | 推理实现方法、网络、电子设备及存储介质 |
| CN116384452B (zh) * | 2023-05-16 | 2023-12-15 | 北京爱芯科技有限公司 | 动态网络模型构建方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897746A (zh) * | 2017-02-28 | 2017-06-27 | 北京京东尚科信息技术有限公司 | 数据分类模型训练方法和装置 |
| CN107197384A (zh) * | 2017-05-27 | 2017-09-22 | 北京光年无限科技有限公司 | 应用于视频直播平台的虚拟机器人多模态交互方法和系统 |
| CN107223261A (zh) * | 2016-12-07 | 2017-09-29 | 深圳前海达闼云端智能科技有限公司 | 人机混合决策方法和装置 |
| CN107239203A (zh) * | 2016-03-29 | 2017-10-10 | 北京三星通信技术研究有限公司 | 一种图像管理方法和装置 |
| CN107508866A (zh) * | 2017-08-08 | 2017-12-22 | 重庆大学 | 减小移动设备端神经网络模型更新的传输消耗的方法 |
| CN108229674A (zh) * | 2017-02-21 | 2018-06-29 | 北京市商汤科技开发有限公司 | 聚类用神经网络的训练方法和装置、聚类方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9390378B2 (en) * | 2013-03-28 | 2016-07-12 | Wal-Mart Stores, Inc. | System and method for high accuracy product classification with limited supervision |
| CN106874921B (zh) * | 2015-12-11 | 2020-12-04 | 清华大学 | 图像分类方法和装置 |
| CN106340297A (zh) * | 2016-09-21 | 2017-01-18 | 广东工业大学 | 一种基于云计算与置信度计算的语音识别方法与系统 |
| CN106611193A (zh) * | 2016-12-20 | 2017-05-03 | 太极计算机股份有限公司 | 一种基于特征变量算法的图像内容信息分析方法 |
-
2018
- 2018-10-26 CN CN201811259704.5A patent/CN111104954B/zh active Active
-
2019
- 2019-05-13 WO PCT/CN2019/086685 patent/WO2020082724A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239203A (zh) * | 2016-03-29 | 2017-10-10 | 北京三星通信技术研究有限公司 | 一种图像管理方法和装置 |
| CN107223261A (zh) * | 2016-12-07 | 2017-09-29 | 深圳前海达闼云端智能科技有限公司 | 人机混合决策方法和装置 |
| CN108229674A (zh) * | 2017-02-21 | 2018-06-29 | 北京市商汤科技开发有限公司 | 聚类用神经网络的训练方法和装置、聚类方法和装置 |
| CN106897746A (zh) * | 2017-02-28 | 2017-06-27 | 北京京东尚科信息技术有限公司 | 数据分类模型训练方法和装置 |
| CN107197384A (zh) * | 2017-05-27 | 2017-09-22 | 北京光年无限科技有限公司 | 应用于视频直播平台的虚拟机器人多模态交互方法和系统 |
| CN107508866A (zh) * | 2017-08-08 | 2017-12-22 | 重庆大学 | 减小移动设备端神经网络模型更新的传输消耗的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020082724A1 (zh) | 2020-04-30 |
| CN111104954A (zh) | 2020-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111104954B (zh) | 一种对象分类的方法与装置 | |
| CN110288049B (zh) | 用于生成图像识别模型的方法和装置 | |
| CN111144937A (zh) | 广告素材确定方法、装置、设备及存储介质 | |
| CN111382868A (zh) | 神经网络结构搜索方法和神经网络结构搜索装置 | |
| CN111523640A (zh) | 神经网络模型的训练方法和装置 | |
| CN109961032B (zh) | 用于生成分类模型的方法和装置 | |
| CN109743311A (zh) | 一种WebShell检测方法、装置及存储介质 | |
| CN113128419B (zh) | 一种障碍物识别方法和装置、电子设备及存储介质 | |
| CN111382270A (zh) | 基于文本分类器的意图识别方法、装置、设备及存储介质 | |
| CN113139660A (zh) | 模型推理方法、装置、电子设备及存储介质 | |
| EP4343616A1 (en) | Image classification method, model training method, device, storage medium, and computer program | |
| US11201789B1 (en) | Coordinated device grouping in fog computing | |
| US11366984B1 (en) | Verifying a target object based on confidence coefficients generated by trained models | |
| CN114979267B (zh) | 面向多服务需求的语义通信方法及装置 | |
| CN111444364A (zh) | 一种图像检测方法和装置 | |
| CN110750295A (zh) | 一种信息处理方法，装置，电子设备和存储介质 | |
| CN114241253A (zh) | 违规内容识别的模型训练方法、系统、服务器及存储介质 | |
| CN114611698A (zh) | 模型的部署方法、装置、电子设备及存储介质 | |
| CN114677584A (zh) | 一种双注意力机制配电站水浸识别方法及系统 | |
| EP3683733A1 (en) | A method, an apparatus and a computer program product for neural networks | |
| CN109101992B (zh) | 图像匹配方法、装置和计算机可读存储介质 | |
| CN112132120A (zh) | 用于视频结构化的方法及装置 | |
| CN116778534B (zh) | 图像处理方法、装置、设备和介质 | |
| US20230128346A1 (en) | Method, device, and computer program product for task processing | |
| CN113140012B (zh) | 图像处理方法、装置、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220215 Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province Applicant after: Huawei Cloud Computing Technology Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |