CN108830288A - 图像处理方法、神经网络的训练方法、装置、设备及介质 - Google Patents

图像处理方法、神经网络的训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN108830288A
CN108830288A CN201810380453.XA CN201810380453A CN108830288A CN 108830288 A CN108830288 A CN 108830288A CN 201810380453 A CN201810380453 A CN 201810380453A CN 108830288 A CN108830288 A CN 108830288A
Authority
CN
China
Prior art keywords
neural network
network model
image
student
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810380453.XA
Other languages
English (en)
Inventor
韦祎
秦红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810380453.XA priority Critical patent/CN108830288A/zh
Publication of CN108830288A publication Critical patent/CN108830288A/zh
Priority to SG11201912721YA priority patent/SG11201912721YA/en
Priority to KR1020207016931A priority patent/KR102478000B1/ko
Priority to PCT/CN2018/116574 priority patent/WO2019205604A1/zh
Priority to JP2020533824A priority patent/JP2021507397A/ja
Priority to US16/700,348 priority patent/US11334763B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请的实施方式公开了一种图像处理方法、神经网络的训练方法、装置、电子设备及计算机可读存储介质，其中的图像处理方法包括：将待处理图像输入神经网络模型；经由所述神经网络模型形成所述待处理图像的离散特征图；其中，所述神经网络模型是基于指导信息训练而成的，且所述神经网络模型在训练过程中，被作为学生神经网络模型，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图与学生神经网络模型针对所述图像样本形成的离散特征图之间的差异。本申请提供的技术方案有利于在缩小神经网络模型的规模，并提升神经网络模型的运行速度的基础上，提高神经网络模型输出结果的准确性，即有利于提高神经网络模型的性能。

Description

图像处理方法、神经网络的训练方法、装置、设备及介质
技术领域
本申请涉及计算机视觉技术，尤其是涉及一种图像处理方法、图像处理装置、神经网络的训练方法、神经网络的训练装置、电子设备以及计算机可读存储介质。
背景技术
神经网络(例如，卷积神经网络等)，在很多计算机视觉任务中，得到了较为广泛的应用。
目前，一些神经网络由于其计算量以及参数量较大等因素，而无法直接应用在智能移动电话以及数码相机等电子设备中。模型压缩技术通常可以缩小神经网络的规模，并提升神经网络的运行速度，然而，模型压缩技术通常会使神经网络的准确性变差。
如何在缩小神经网络的规模，提升神经网络的运行速度的基础上，保证神经网络具有一定的准确性，是一个值得关注的技术问题。
发明内容
本申请实施方式提供一种图像处理以及训练神经网络的技术方案。
根据本申请实施方式其中一个方面，提供一种图像处理方法，所述方法包括：将待处理图像输入神经网络模型；经由所述神经网络模型形成所述待处理图像的离散特征图；其中，所述神经网络模型是基于指导信息训练而成的，且所述神经网络模型在训练过程中，被作为学生神经网络模型，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图与学生神经网络模型针对所述图像样本形成的离散特征图之间的差异。
在本申请一实施方式中，所述神经网络模型包括：大小不超过2M的神经网络模型。
在本申请又一实施方式中，所述经由所述神经网络模型形成所述待处理图像的离散特征图包括：经由所述神经网络模型形成所述待处理图像的浮点特征图，并将所述浮点特征图量化为所述待处理图像的离散特征图。
在本申请再一实施方式中，所述经由所述神经网络模型形成所述待处理图像的浮点特征图包括：经由所述神经网络模型针对所述待处理图像，进行浮点特征图提取，并将提取出的浮点特征图转换为符合预定要求的浮点特征图，以形成所述待处理图像的浮点特征图。
在本申请再一实施方式中，所述将提取出的浮点特征图转换为符合预定要求的浮点特征图包括：将所述浮点特征图转换为具有预定通道数的浮点特征图；和/或者，将所述浮点特征图转换为具有预定大小的浮点特征图。
在本申请再一实施方式中，所述方法还包括：经由所述神经网络模型，根据所述待处理图像的离散特征图，对所述待处理图像进行相应视觉任务处理。
在本申请再一实施方式中，所述指导信息还包括：学生神经网络模型针对图像样本输出的视觉任务处理结果与图像样本的标注信息之间的差异。
在本申请再一实施方式中，所述经由所述神经网络模型，根据所述待处理图像的离散特征图，对所述待处理图像进行相应视觉任务处理包括：经由所述神经网络模型，根据所述待处理图像的离散特征图，对所述待处理图像进行分类处理；或者，经由所述神经网络模型，根据所述待处理图像的离散特征图，对所述待处理图像进行物体检测处理。
在本申请再一实施方式中，所述指导信息还包括：所述学生神经网络模型针对图像样本输出的分类处理结果，与图像样本的分类标注信息之间的差异；或，所述学生神经网络模型针对图像样本输出的物体检测处理结果，与图像样本的检测框标注信息之间的差异。
在本申请再一实施方式中，所述神经网络模型的训练过程包括：将图像样本分别输入学生神经网络模型以及教师神经网络模型；经由学生神经网络模型以及教师神经网络模型，分别形成所述图像样本的离散特征图；根据指导信息，对所述学生神经网络模型进行监督学习；其中，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图，与所述学生神经网络模型针对图像样本形成的离散特征图之间的差异。
在本申请再一实施方式中，所述神经网络模型的训练过程还包括：经由所述学生神经网络模型，根据所述图像样本的离散特征图，对图像样本进行视觉任务处理；所述根据指导信息，对所述学生神经网络模型进行监督学习包括：以教师神经网络模型针对图像样本形成的离散特征图，与所述学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及学生神经网络模型输出的视觉任务处理结果与图像样本的标注信息之间的差异，为指导信息，对所述学生神经网络模型进行监督学习。
在本申请再一实施方式中，所述教师神经网络包括：已成功训练的浮点教师神经网络，该已成功训练的浮点教师神经网络用于针对输入图像形成浮点特征图，并根据该浮点特征图，对输入图像进行视觉任务处理；以及，量化辅助单元，用于将浮点教师神经网络形成的浮点特征图转换为离散特征图，并将该离散特征图提供给浮点教师神经网络，使浮点教师神经网络根据该离散特征图，对输入图像进行视觉任务处理。
在本申请再一实施方式中，所述教师神经网络的训练过程包括：将图像样本输入已成功训练的浮点教师神经网络；经由已成功训练的浮点教师神经网络提取图像样本的浮点特征图，经由量化辅助单元将浮点特征图转换为离散特征图，并经由已成功训练的浮点教师神经网络根据所述离散特征图，对图像样本进行视觉任务处理；以视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对已成功训练的浮点教师神经网络进行网络参数调整。
在本申请再一实施方式中，所述浮点教师神经网络的训练过程包括：将图像样本输入待训练的浮点教师神经网络；经由待训练的浮点教师神经网络提取所述图像样本的浮点特征图，并根据所述浮点特征图，对图像样本进行视觉任务处理；以所述视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对所述待训练的浮点教师神经网络模型进行监督学习。
根据本申请实施方式的其中再一方面，提供一种神经网络的训练方法，待训练的神经网络模型在训练过程中，被作为学生神经网络模型，所述训练方法包括下述步骤：将图像样本分别输入学生神经网络模型以及教师神经网络模型；经由学生神经网络模型以及教师神经网络模型，分别形成所述图像样本的离散特征图；根据指导信息，对所述学生神经网络模型进行监督学习；其中，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图，与所述学生神经网络模型针对图像样本形成的离散特征图之间的差异。
在本申请一实施方式中，所述神经网络模型作为学生神经网络模型的训练过程还包括：经由所述学生神经网络模型，根据所述图像样本的离散特征图，对图像样本进行视觉任务处理；所述根据指导信息，对所述学生神经网络模型进行监督学习包括：以教师神经网络模型针对图像样本形成的离散特征图，与所述学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及学生神经网络模型输出的视觉任务处理结果与图像样本的标注信息之间的差异，为指导信息，对所述学生神经网络模型进行监督学习。
在本申请又一实施方式中，所述教师神经网络包括：已成功训练的浮点教师神经网络，该已成功训练的浮点教师神经网络用于针对输入图像形成浮点特征图，并根据该浮点特征图，对输入图像进行视觉任务处理；以及，量化辅助单元，用于将浮点教师神经网络形成的浮点特征图转换为离散特征图，并将该离散特征图提供给浮点教师神经网络，使浮点教师神经网络根据该离散特征图，对输入图像进行视觉任务处理。
在本申请再一实施方式中，所述教师神经网络的训练过程包括：将图像样本输入已成功训练的浮点教师神经网络；经由已成功训练的浮点教师神经网络提取图像样本的浮点特征图，经由量化辅助单元将浮点特征图转换为离散特征图，并经由已成功训练的浮点教师神经网络根据所述离散特征图，对图像样本进行视觉任务处理；以视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对已成功训练的浮点教师神经网络进行网络参数调整。
在本申请再一实施方式中，所述浮点教师神经网络的训练过程包括：将图像样本输入待训练的浮点教师神经网络；经由待训练的浮点教师神经网络提取所述图像样本的浮点特征图，并根据所述浮点特征图，对图像样本进行视觉任务处理；以所述视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对所述待训练的浮点教师神经网络模型进行监督学习。
根据本申请实施方式其中再一方面，提供一种图像处理装置，所述装置包括：输入图像模块，用于将待处理图像输入神经网络模型；神经网络模型，用于形成所述待处理图像的离散特征图；其中，所述神经网络模型是基于指导信息训练而成的，且所述神经网络模型在训练过程中，被作为学生神经网络模型，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图与学生神经网络模型针对所述图像样本形成的离散特征图之间的差异。
在本申请一实施方式中，所述神经网络模型包括：大小不超过2M的神经网络模型。
在本申请又一实施方式中，所述神经网络模型进一步用于：形成所述待处理图像的浮点特征图，并将所述浮点特征图量化为所述待处理图像的离散特征图。
在本申请再一实施方式中，所述神经网络模型针对所述待处理图像，进行浮点特征图提取，并将提取出的浮点特征图转换为符合预定要求的浮点特征图，以形成所述待处理图像的浮点特征图。
在本申请再一实施方式中，所述神经网络模型将所述浮点特征图转换为具有预定通道数的浮点特征图；和/或，所述神经网络模型将所述浮点特征图转换为具有预定大小的浮点特征图。
在本申请再一实施方式中，所述神经网络模型还用于：根据所述待处理图像的离散特征图，对所述待处理图像进行相应视觉任务处理。
在本申请再一实施方式中，所述指导信息还包括：学生神经网络模型针对图像样本输出的视觉任务处理结果与图像样本的标注信息之间的差异。
在本申请再一实施方式中，所述神经网络模型根据所述待处理图像的离散特征图，对所述待处理图像进行分类处理；或者，所述神经网络模型根据所述待处理图像的离散特征图，对所述待处理图像进行物体检测处理。
在本申请再一实施方式中，所述指导信息还包括：所述学生神经网络模型针对图像样本输出的分类处理结果，与图像样本的分类标注信息之间的差异；或，所述学生神经网络模型针对图像样本输出的物体检测处理结果，与图像样本的检测框标注信息之间的差异。
在本申请再一实施方式中，所述装置还包括：输入图像样本模块，用于将图像样本分别输入学生神经网络模型以及教师神经网络模型，以经由学生神经网络模型以及教师神经网络模型，分别形成所述图像样本的离散特征图；监督模块，用于根据指导信息，对所述学生神经网络模型进行监督学习；其中，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图，与所述学生神经网络模型针对图像样本形成的离散特征图之间的差异。
在本申请再一实施方式中，在所述学生神经网络模型用于，根据所述图像样本的离散特征图，对图像样本进行视觉任务处理的情况下，所述监督模块进一步用于：以教师神经网络模型针对图像样本形成的离散特征图，与所述学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及学生神经网络模型输出的视觉任务处理结果与图像样本的标注信息之间的差异，为指导信息，对所述学生神经网络模型进行监督学习。
在本申请再一实施方式中，所述教师神经网络包括：已成功训练的浮点教师神经网络，该已成功训练的浮点教师神经网络用于针对输入图像形成浮点特征图，并根据该浮点特征图，对输入图像进行视觉任务处理；以及，量化辅助单元，用于将浮点教师神经网络形成的浮点特征图转换为离散特征图，并将该离散特征图提供给浮点教师神经网络，使浮点教师神经网络根据该离散特征图，对输入图像进行视觉任务处理。
在本申请再一实施方式中，所述装置还包括：用于训练所述教师神经网络的教师训练模块，所述教师训练模块包括：第一单元，用于将图像样本输入已成功训练的浮点教师神经网络，以经由已成功训练的浮点教师神经网络提取图像样本的浮点特征图，经由量化辅助单元将浮点特征图转换为离散特征图，并经由已成功训练的浮点教师神经网络根据所述离散特征图，对图像样本进行视觉任务处理；第一监督单元，用于以视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对已成功训练的浮点教师神经网络进行网络参数调整。
在本申请再一实施方式中，所述教师训练模块还包括：第二单元，用于将图像样本输入待训练的浮点教师神经网络，以经由待训练的浮点教师神经网络提取所述图像样本的浮点特征图，并根据所述浮点特征图，对图像样本进行视觉任务处理；第二监督单元，用于以所述视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对所述待训练的浮点教师神经网络模型进行监督学习。
根据本申请实施方式的其中再一方面，提供一种神经网络的训练装置，待训练的神经网络模型被作为学生神经网络模型，所述装置包括：输入图像样本模块，用于将图像样本分别输入学生神经网络模型以及教师神经网络模型，以经由学生神经网络模型以及教师神经网络模型，分别形成所述图像样本的离散特征图；监督模块，用于根据指导信息，对所述学生神经网络模型进行监督学习；其中，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图，与所述学生神经网络模型针对图像样本形成的离散特征图之间的差异。
在本申请一实施方式中，在所述学生神经网络模型用于，根据所述图像样本的离散特征图，对图像样本进行视觉任务处理的情况下，所述监督模块进一步用于：以教师神经网络模型针对图像样本形成的离散特征图，与所述学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及学生神经网络模型输出的视觉任务处理结果与图像样本的标注信息之间的差异，为指导信息，对所述学生神经网络模型进行监督学习。
在本申请又一实施方式中，所述教师神经网络包括：已成功训练的浮点教师神经网络，该已成功训练的浮点教师神经网络用于针对输入图像形成浮点特征图，并根据该浮点特征图，对输入图像进行视觉任务处理；以及，量化辅助单元，用于将浮点教师神经网络形成的浮点特征图转换为离散特征图，并将该离散特征图提供给浮点教师神经网络，使浮点教师神经网络根据该离散特征图，对输入图像进行视觉任务处理。
在本申请再一实施方式中，所述装置还包括：用于训练所述教师神经网络的教师训练模块，所述教师训练模块包括：第一单元，用于将图像样本输入已成功训练的浮点教师神经网络，以经由已成功训练的浮点教师神经网络提取图像样本的浮点特征图，经由量化辅助单元将浮点特征图转换为离散特征图，并经由已成功训练的浮点教师神经网络根据所述离散特征图，对图像样本进行视觉任务处理；第一监督单元，用于以视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对已成功训练的浮点教师神经网络进行网络参数调整。
在本申请再一实施方式中，所述教师训练模块还包括：第二单元，用于将图像样本输入待训练的浮点教师神经网络，以经由待训练的浮点教师神经网络提取所述图像样本的浮点特征图，并根据所述浮点特征图，对图像样本进行视觉任务处理；第二监督单元，用于以所述视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对所述待训练的浮点教师神经网络模型进行监督学习。
根据本申请实施方式再一方面，提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本申请任一方法实施方式。
根据本申请实施方式再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本申请任一方法实施方式。
根据本申请实施方式的再一个方面，提供一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本申请任一方法实施方式。
基于本申请提供的图像处理方法、图像处理装置、神经网络训练方法、神经网络训练装置、电子设备、计算机可读存储介质及计算机程序，本申请通过在训练神经网络模型的过程中，将待训练的神经网络模型作为学生神经网络模型，并使指导信息包括：教师神经网络模型形成的离散特征图与学生神经网络模型形成的离散特征图之间的差异，有利于提高教师神经网络模型和学生神经网络模型分别形成的离散特征图的匹配概率，从而有利于促使教师神经网络模型的知识迁移到学生神经网络模型中。由于本申请并不限制学生神经网络模型的网络参数必须为定点网络参数，因此，本申请的神经网络模型可以不受到特定指令集以及特定设备的限制。由此可知，本申请提供的技术方案有利于在缩小神经网络模型的规模，并提升神经网络模型的运行速度的基础上，提高神经网络模型输出结果的准确性，即有利于提高神经网络模型的性能。另外，本申请提供的技术方案也有利于提高神经网络模型的适用范围。
下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请的图像处理方法一个实施方式的流程图；
图2为本申请的图像处理方法又一个实施方式的流程图；
图3为本申请的图像处理方法另一个实施方式的流程图；
图4为本申请的图像处理方法再一个实施方式的流程图；
图5为本申请的神经网络的训练方法一个实施方式的流程图；
图6为本申请的神经网络的训练方法又一个实施方式的流程图；
图7为本申请的神经网络的训练方法再一个实施方式的流程图；
图8为本申请的教师神经网络的训练方法一个实施方式的流程图；
图9为本申请的浮点教师神经网络的训练方法一个实施方式的流程图；
图10为本申请的图像处理装置一个实施方式的结构示意图；
图11为本申请的神经网络的训练装置一个实施方式的结构示意图；
图12为实现本申请实施方式的一示例性设备的框图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法以及设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应当注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于终端设备、计算机系统及服务器等电子设备，其可与众多其它通用或者专用的计算系统环境或者配置一起操作。适于与终端设备、计算机系统以及服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子，包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统以及服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性实施例
图1为本申请图像处理方法一个实施例的流程图。如图1所示，该实施例方法包括：步骤S100以及步骤S110。下面对图1中的各步骤分别进行详细说明。
S100、将待处理图像输入神经网络模型。
在一个可选示例中，本申请中的待处理图像可以为呈现静态的图片或照片等图像，也可以为呈现动态的视频中的视频帧，例如，摄像装置所摄取到的视频中的视频帧等。该待处理图像可以是待处理原始图像中的一部分(即从待处理原始图像中切分出的、包括待处理原始图像部分内容的图像块)，该待处理图像也可以包括完整的待处理原始图像。当然，该待处理图像也可以是待处理原始图像在进行了一定处理之后的图像中的一部分，该待处理图像也可以包括待处理原始图像在进行了一定处理之后的图像的完整内容。本申请不限制待处理图像的具体表现形式。
在一个可选示例中，本申请中的待处理图像的大小通常与神经网络模型对输入图像的尺寸要求相关，例如，待处理图像的大小可以为256×256等。为了获得具有预定大小的待处理图像，本申请可以对待处理图像进行相应比例的缩放处理。本申请对待处理图像的大小及缩放处理的具体实现方式不作限制。
在一个可选示例中，本申请中的神经网络模型可以为大小不超过2M的神经网络模型。也就是说，该神经网络模型的存储空间可以不超过2M。相较于现有的大小为几十兆，甚至上百兆的神经网络模型而言，本申请中的神经网络模型可以称为极小神经网络模型。
在一个可选示例中，本申请的神经网络模型可以包括但不限于卷积层、非线性Relu层、池化层以及全连接层等。该神经网络模型可以为深度神经网络模型，该神经网络模型所包含的层数越多，则网络越深。本申请的神经网络模型可以为卷积神经网络模型。本申请的神经网络模型的网络结构可以根据实际视觉任务需求，而灵活设计，本申请实施例并不限制该神经网络模型的具体网络结构；例如，本申请的神经网络模型的网络结构可以采用但不限于ALexNet、深度残差网络(Deep Residual Network，ResNet)或VGGnet(VisualGeometry Group Network，视觉几何组网络)等神经网络模型所采用的网络结构。
在一个可选示例中，本申请中的神经网络模型是基于知识迁移的方式，训练而成的。也就是说，本申请中的神经网络模型在训练过程中，被作为学生神经网络模型。另外，在训练该神经网络模型的过程中，所使用的指导信息通常包括：教师神经网络模型针对图像样本形成的离散特征图与学生神经网络模型针对图像样本形成的离散特征图之间的差异。也就是说，教师神经网络模型针对图像样本形成的离散特征图，被作为训练学生神经网络模型的监督信号。训练神经网络模型所采用的损失函数可以包括L2损失函数等。该神经网络模型的训练过程可以参见下述针对图5至图7的描述，在此不再重复说明。另外需要说明的是，本申请中的离散特征图可以称为定点特征图。
在一个可选示例中，本申请中的教师神经网络模型的网络参数并不需要一定为定点网络参数，也就是说，本申请的教师神经网络模型的网络参数可以为浮点网络参数，教师神经网络模型可以进行浮点运算，然而，教师神经网络模型最终形成的特征图为离散特征图，即教师神经网络模型针对图像提取出的浮点特征图在被量化处理后，形成离散特征图。由此可知，本申请的教师神经网络模型可以称为量化教师神经网络模型。利用量化教师神经网络模型来训练学生神经网络模型，可以使量化教师神经网络模型的知识迁移到学生神经网络模型中，且学生神经网络模型的网络参数也并不需要一定为定点网络参数，也就是说，本申请的学生神经网络模型的网络参数可以为浮点网络参数，学生神经网络模型可以进行浮点运算，从而在学生神经网络模型在成功训练后，可以不受到特定指令集以及特定设备的限制，有利于提高神经网络模型的适用范围。
S110、经由神经网络模型形成待处理图像的离散特征图。
在一个可选示例中，本申请中的神经网络模型可以先形成待处理图像的浮点特征图，然后，该神经网络模型将该浮点特征图量化为离散特征图，量化后的离散特征图即为神经网络模型所形成的待处理图像的离散特征图。本申请中的神经网络模型形成待处理图像的浮点特征图的一个可选例子可以为：神经网络模型针对待处理图像，进行浮点特征图提取，从而获得一浮点特征图(下述称为初始浮点特征图)，通常情况下，该初始浮点特征图并不符合预先针对浮点特征图规定的预定要求，因此，神经网络模型可以将其获得的初始浮点特征图转换为符合预定要求的浮点特征图，该符合预定要求的浮点特征图即为神经网络模型形成的待处理图像的浮点特征图。
在一个可选示例中，本申请中的神经网络模型将浮点特征图量化为离散特征图的方式可以包括：将特征图中的浮点数转换为相应的定点数，例如，将特征图中的位于[k-0.5，k+0.5]区间的浮点数都转换为k，其中的k为整数。本申请不限制神经网络模型将浮点特征图量化为离散特征图的具体实现方式。
在一个可选示例中，本申请中的预定要求可以根据实际需求灵活设计，例如，预定要求可以包括：针对通道数的要求以及针对特征图的大小的要求等中的至少一个。具体的，预定要求可以规定特征图应具有预定通道数，且预定要求可以规定特征图应具有预定大小，即特征图的长和宽应符合要求。
在一个可选示例中，本申请的神经网络模型所形成的初始浮点特征图的通道数可以根据实际需求设置，例如，本申请的神经网络模型所形成的初始浮点特征图的通道数可以为VGG(Visual Geometry Group，视觉几何组)神经网络模型的通道数的三十二分之一，而转换后的离散特征图的通道数可以为VGG神经网络模型的通道数。本申请可以利用卷积层等技术，将初始浮点特征图转换为具有预定通道数的浮点特征图。本申请不限制将初始浮点特征图转换为具有预定通道数的浮点特征图的具体实现方式。
在一个可选示例中，本申请可以利用上采样等技术，将初始浮点特征图转换为具有预定大小的浮点特征图。其中的上采样可以通过反卷积层来实现。本申请不限制将初始浮点特征图转换为具有预定大小的浮点特征图的具体实现方式。
在一个可选示例中，本申请的神经网络模型不仅用于形成待处理图像的离散特征图，还用于根据待处理图像的离散特征图，对待处理图像进行相应视觉任务处理。本申请中的视觉任务处理可以根据实际需求灵活设置，例如，视觉任务处理可以具体为分类处理或者物体检测处理等。也就是说，本申请中的神经网络模型可以根据其形成的待处理图像的离散特征图，对待处理图像进行分类处理，以确定待处理图像所属的类别(如猫或者狗或者人或者车辆等类别)；本申请中的神经网络模型可以根据其形成的待处理图像的离散特征图，对待处理图像进行物体检测处理，以确定待处理图像中的检测框的位置以及类别(例如，检测框的对角线上的两个顶点的坐标以及检测框的类别)。本申请中的检测框也可以称为外接框等。本申请不限制视觉任务处理的具体表现形式。
在一个可选示例中，在本申请的神经网络模型对待处理图像进行相应视觉任务处理的情况下，本申请训练神经网络模型所使用的指导信息通常包括：神经网络模型输出的视觉任务处理结果与图像样本的标注信息之间的差异。也就是说，教师神经网络模型针对图像样本形成的离散特征图，被作为训练学生神经网络模型的监督信号，与此同时，图像样本的标注信息同样被作为训练学生神经网络模型的监督信号。
在一个可选示例中，在本申请的神经网络模型不仅用于形成待处理图像的离散特征图，还用于根据待处理图像的离散特征图，对待处理图像进行分类处理的情况下，在训练神经网络模型的过程中，教师神经网络模型针对图像样本形成的离散特征图以及图像样本的分类标注信息，均被作为训练学生神经网络模型的监督信号。也就是说，学生神经网络模型输出的分类处理结果与图像样本的分类标注信息之间的差异，以及教师神经网络模型针对图像样本形成的离散特征图与学生神经网络模型针对图像样本形成的离散特征图之间的差异，均被作为训练学生神经网络模型的指导信息。
在一个可选示例中，在本申请的神经网络模型不仅用于形成待处理图像的离散特征图，还用于根据待处理图像的离散特征图，对待处理图像进行物体检测处理的情况下，在训练神经网络模型的过程中，教师神经网络模型针对图像样本形成的离散特征图以及图像样本的检测框标注信息，均被作为训练学生神经网络模型的监督信号。也就是说，学生神经网络模型输出的物体检测处理结果(如检测框的位置以及分类信息)与图像样本的检测框标注信息(如检测框的位置标注信息以及分类标注信息)之间的差异，以及教师神经网络模型针对图像样本形成的离散特征图与学生神经网络模型针对图像样本形成的离散特征图之间的差异，均被作为训练学生神经网络模型的指导信息。
图2为本申请图像处理方法又一个实施例的流程图。如图2所示，该实施例方法包括：步骤S200、步骤S210以及步骤S220。下面对图2中的各步骤分别进行详细说明。
S200、将待处理图像输入神经网络模型。
在一个可选示例中，本申请的神经网络模型通常包括：大小不超过2M的神经网络模型。该神经网络模型在训练过程中，被作为学生神经网络模型。在训练该神经网络模型的过程中，所使用的指导信息通常包括：教师神经网络模型针对图像样本形成的离散特征图与学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及学生神经网络模型针对图像样本进行视觉任务处理的视觉任务处理结果与图像样本的标注信息之间的差异。也就是说，教师神经网络模型针对图像样本形成的离散特征图以及图像样本的标注信息，被作为训练学生神经网络模型的监督信号。训练神经网络模型所采用的损失函数可以包括L2损失函数等。该步骤所涉及到的网络结构以及待处理图像等的具体内容可以参见上述方法实施方式中针对S100的描述，在此不再详细说明。
S210、经由神经网络模型形成待处理图像的离散特征图。
在一个可选示例中，该神经网络模型可以先形成该待处理图像的浮点特征图，具体的，该神经网络模型针对待处理图像，进行浮点特征图提取，并将提取出的浮点特征图转换为符合预定要求的浮点特征图(例如，将浮点特征图转换为具有预定通道数的浮点特征图，再例如，将浮点特征图转换为具有预定大小的浮点特征图)，从而形成待处理图像的浮点特征图。神经网络模型在形成待处理图像的浮点特征图之后，再将该浮点特征图量化为待处理图像的离散特征图，如将浮点特征图中的浮点数转换为相应的定点数等。该步骤的具体内容可以参见上述方法实施方式中针对S110的相关描述，在此不再详细说明。
S220、经由神经网络模型，根据待处理图像的离散特征图，对待处理图像进行相应视觉任务处理。该视觉任务处理可以根据实际需求灵活设置，该步骤的具体内容可以参见上述方法实施方式中针对S110的相关描述，在此不再详细说明。
图3为本申请图像处理方法另一个实施例的流程图。如图3所示，该实施例方法包括：步骤S300、步骤S310以及步骤S320。下面对图3中的各步骤分别进行详细说明。
S300、将待处理图像输入神经网络模型。
在一个可选示例中，本申请的神经网络模型通常包括：大小不超过2M的神经网络模型。该神经网络模型在训练过程中，被作为学生神经网络模型。在训练该神经网络模型的过程中，所使用的指导信息通常包括：教师神经网络模型针对图像样本形成的离散特征图与学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及学生神经网络模型针对图像样本进行分类处理的分类处理结果与图像样本的分类标注信息之间的差异。也就是说，教师神经网络模型针对图像样本形成的离散特征图以及图像样本的分类标注信息，被作为训练学生神经网络模型的监督信号。训练神经网络模型所采用的损失函数可以包括L2损失函数等。该步骤所涉及到的网络结构以及待处理图像等的具体内容可以参见上述方法实施方式中针对S100的描述，在此不再详细说明。
S310、经由神经网络模型形成待处理图像的离散特征图。
在一个可选示例中，该神经网络模型可以先形成该待处理图像的浮点特征图，具体的，该神经网络模型针对待处理图像，进行浮点特征图提取，并将提取出的浮点特征图转换为符合预定要求的浮点特征图(例如，将浮点特征图转换为具有预定通道数的浮点特征图，再例如，将浮点特征图转换为具有预定大小的浮点特征图)，从而形成待处理图像的浮点特征图。神经网络模型在形成待处理图像的浮点特征图之后，再将该浮点特征图量化为待处理图像的离散特征图，如将浮点特征图中的浮点数转换为相应的定点数等。该步骤的具体内容可以参见上述方法实施方式中针对S110的相关描述，在此不再详细说明。
S320、经由神经网络模型，根据待处理图像的离散特征图，对待处理图像进行分类处理。该分类处理的类别数量以及类别的具体内容可以根据实际需求灵活设置。
图4为本申请图像处理方法另一个实施例的流程图。如图4所示，该实施例方法包括：步骤S400、步骤S410以及步骤S420。下面对图4中的各步骤分别进行详细说明。
S400、将待处理图像输入神经网络模型。
在一个可选示例中，本申请的神经网络模型通常包括：大小不超过2M的神经网络模型。该神经网络模型在训练过程中，被作为学生神经网络模型。在训练该神经网络模型的过程中，所使用的指导信息通常包括：教师神经网络模型针对图像样本形成的离散特征图与学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及学生神经网络模型针对图像样本进行物体检测处理的物体检测处理结果与图像样本的检测框标注信息(如检测框的位置标注信息和检测框的类别标注信息等)之间的差异。也就是说，教师神经网络模型针对图像样本形成的离散特征图以及图像样本的检测框标注信息，均被作为训练学生神经网络模型的监督信号。训练神经网络模型所采用的损失函数可以包括L2损失函数等。该步骤所涉及到的网络结构以及待处理图像等的具体内容可以参见上述方法实施方式中针对S100的描述，在此不再详细说明。
S410、经由神经网络模型形成待处理图像的离散特征图。
在一个可选示例中，该神经网络模型可以先形成该待处理图像的浮点特征图，具体的，该神经网络模型针对待处理图像，进行浮点特征图提取，并将提取出的浮点特征图转换为符合预定要求的浮点特征图(例如，将浮点特征图转换为具有预定通道数的浮点特征图，再例如，将浮点特征图转换为具有预定大小的浮点特征图)，从而形成待处理图像的浮点特征图。神经网络模型在形成待处理图像的浮点特征图之后，再将该浮点特征图量化为待处理图像的离散特征图，如将浮点特征图中的浮点数转换为相应的定点数等。该步骤的具体内容可以参见上述方法实施方式中针对S110的相关描述，在此不再详细说明。
S420、经由神经网络模型，根据待处理图像的离散特征图，对待处理图像进行物体检测处理。该物体检测处理所涉及到的检测框类别数量以及检测框类别的具体内容可以根据实际需求灵活设置。
图5为本申请的神经网络的训练方法的一个实施例的流程图。待训练的神经网络模型在训练过程中，被作为学生神经网络模型。如图5所示，该实施例方法包括：步骤S500、步骤S510以及步骤S520。下面对图5中的各步骤分别进行详细说明。
S500、将图像样本分别输入学生神经网络模型以及教师神经网络模型。
在一个可选示例中，本申请可以从训练数据集中获取图像样本。本申请中的训练数据集中包括多条用于训练神经网络模型的图像样本，通常情况下，每一个图像样本均设置有与相应视觉任务相关的标注信息。例如，图像样本的标注信息可以包括：图像样本的分类标注信息。再例如，图像样本的标注信息也可以包括：图像样本的检测框位置标注信息以及检测框分类标注信息等。本申请可以按照随机读取方式或者按照图像样本排列次序顺序读取方式，一次从训练数据集中读取一个或者多个图像样本。
在一个可选示例中，本申请提供给学生神经网络模型以及教师神经网络模型的图像样本的大小通常与神经网络模型对输入图像的尺寸要求相关，如图像样本的大小可以为256×256等。为了获得具有预定大小的图像样本，本申请可以对读取出的图像样本进行缩放处理，从而使提供给学生神经网络模型以及教师神经网络模型的每一个图像样本分别具有预定大小。本申请对图像样本的大小以及缩放处理的具体实现方式不作限制。
在一个可选示例中，本申请中的教师神经网络模型的网络参数并不需要一定为定点网络参数，也就是说，本申请的教师神经网络模型的网络参数可以为浮点网络参数，教师神经网络模型可以进行浮点运算，然而，教师神经网络模型最终形成的特征图为离散特征图，即教师神经网络模型针对图像样本提取出的浮点特征图在被量化处理后，形成离散特征图。本申请通过利用形成离散特征图的教师神经网络模型来训练学生神经网络模型，可以使教师神经网络模型的知识迁移到学生神经网络模型中，且学生神经网络模型的网络参数也并不需要一定为定点网络参数，也就是说，本申请的学生神经网络模型的网络参数可以为浮点网络参数，学生神经网络模型可以进行浮点运算，从而在学生神经网络模型在成功训练后，一方面可以不受到特定指令集以及特定设备的限制，有利于提高神经网络模型的适用范围，另一方面，浮点运算获得的浮点特征图在通过量化转换为离散特征图后，不但可以使离散特征图保持较好的准确性，而且有利于教师神经网络模型输出的离散特征图与学生神经网络模型输出的离散特征图的匹配，因此，有利于将教师神经网络模型的知识较好的迁移到学生神经网络模型中，从而有利于提高神经网络模型的性能。
S510、经由学生神经网络模型以及教师神经网络模型，分别形成图像样本的离散特征图。
在一个可选示例中，学生神经网络模型可以先形成该图像样本的浮点特征图，具体的，该学生神经网络模型针对图像样本，进行浮点特征图提取，并将提取出的浮点特征图转换为符合预定要求的浮点特征图(例如，将浮点特征图转换为具有预定通道数的浮点特征图，再例如，将浮点特征图转换为具有预定大小的浮点特征图)，从而形成图像样本的浮点特征图。学生神经网络模型在形成图像样本的浮点特征图之后，再将该浮点特征图量化为图像样本的离散特征图，如将浮点特征图中的浮点数转换为相应的定点数等。同样的，教师神经网络模型可以先形成该图像样本的浮点特征图，具体的，该教师神经网络模型针对图像样本，进行浮点特征图提取，并将提取出的浮点特征图转换为符合预定要求的浮点特征图(例如，将浮点特征图转换为具有预定通道数的浮点特征图，再例如，将浮点特征图转换为具有预定大小的浮点特征图)，从而形成图像样本的浮点特征图。教师神经网络模型在形成图像样本的浮点特征图后，再将该浮点特征图量化为图像样本的离散特征图，如将浮点特征图中的浮点数转换为相应的定点数等。
S520、根据指导信息，对学生神经网络模型进行监督学习。
在一个可选示例中，本申请的指导信息通常包括：教师神经网络模型针对图像样本形成的离散特征图，与学生神经网络模型针对图像样本形成的离散特征图之间的差异。另外，本申请的指导信息还通常包括：学生神经网络模型输出的相应视觉任务处理结果与图像样本的标注信息之间的差异。也就是说，教师神经网络模型针对图像样本形成的离散特征图，被作为训练学生神经网络模型的监督信号，与此同时，图像样本的标注信息同样被作为训练学生神经网络模型的监督信号。本申请可以以减小教师神经网络模型针对图像样本形成的离散特征图，与学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及减小学生神经网络模型输出的视觉任务处理结果与图像样本的标注信息之间的差异为目的，利用相应的损失函数(如L2损失函数)，对学生神经网络模型进行监督学习。
在一个可选示例中，在针对学生神经网络模型的训练达到预定迭代条件时，本次训练过程结束。本申请中的预定迭代条件可以包括：学生神经网络模型输出的离散特征图与教师神经网络模型输出的离散特征图之间的差异，以及学生神经网络模型输出的视觉任务处理结果与图像样本的标注信息之间的差异均满足预定差异要求。在差异满足该预定差异要求的情况下，本次对学生神经网络模型成功训练完成。本申请中的预定迭代条件也可以包括：对学生神经网络模型进行训练，所使用的图像样本的数量达到预定数量要求等。在使用的图像样本的数量达到预定数量要求，然而，差异未满足预定差异要求的情况下，本次对学生神经网络模型并未训练成功。成功训练完成的学生神经网络模型可以用于形成待处理图像的离散特征图以及视觉任务处理。
图6为本申请训练神经网络的方法又一个实施例的流程图。待训练的神经网络模型在训练过程中，被作为学生神经网络模型。如图6所示，该实施例方法包括：步骤S600、步骤S610、步骤S620以及步骤S630。下面对图6中的各步骤分别进行详细说明。
S600、将图像样本分别输入学生神经网络模型以及教师神经网络模型。该步骤的具体内容可以参见上述方法实施方式中针对S500的相关描述，在此不再详细说明。
S610、经由学生神经网络模型以及教师神经网络模型，分别形成图像样本的离散特征图。该步骤的具体内容可以参见上述方法实施方式中针对S510的相关描述，在此不再详细说明。
S620、经由学生神经网络模型，根据学生神经网络模型形成的图像样本的离散特征图，对图像样本进行分类处理。
S630、以教师神经网络模型针对图像样本形成的离散特征图，与学生神经网络模型针对图像样本形成的离散特征图之间的差异、以及学生神经网络模型输出的分类处理结果与图像样本的分类标注信息之间的差异，为指导信息，对学生神经网络模型进行监督学习。
在一个可选示例中，本申请可以以减小教师神经网络模型针对图像样本形成的离散特征图，与学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及减小学生神经网络模型输出的分类处理结果与图像样本的分类标注信息之间的差异为目的，利用相应的损失函数(如L2损失函数)，对学生神经网络模型进行监督学习。
在一个可选示例中，在针对学生神经网络模型的训练达到预定迭代条件时，本次训练过程结束。本申请中的预定迭代条件可以包括：学生神经网络模型输出的离散特征图与教师神经网络模型输出的离散特征图之间的差异，以及学生神经网络模型输出的分类处理结果与图像样本的分类标注信息之间的差异均满足预定差异要求。在差异满足该预定差异要求的情况下，本次对学生神经网络模型成功训练完成。本申请中的预定迭代条件也可以包括：对学生神经网络模型进行训练，所使用的图像样本的数量达到预定数量要求等。在使用的图像样本的数量达到预定数量要求，而差异未满足预定差异要求的情况下，本次对学生神经网络模型并未训练成功。成功训练完成的学生神经网络模型可以用于形成待处理图像的离散特征图以及分类处理。
图7为本申请训练神经网络的方法再一个实施例的流程图。待训练的神经网络模型在训练过程中，被作为学生神经网络模型。如图7所示，该实施例方法包括：步骤S700、步骤S710、步骤S720以及步骤S730。下面对图7中的各步骤分别进行详细说明。
S700、将图像样本分别输入学生神经网络模型以及教师神经网络模型。该步骤的具体内容可以参见上述方法实施方式中针对S500的相关描述，在此不再详细说明。
S710、经由学生神经网络模型以及教师神经网络模型，分别形成图像样本的离散特征图。该步骤的具体内容可以参见上述方法实施方式中针对S510的相关描述，在此不再详细说明。
S720、经由学生神经网络模型，根据学生神经网络模型形成的图像样本的离散特征图，对图像样本进行物体检测处理。
S730、以教师神经网络模型针对图像样本形成的离散特征图，与学生神经网络模型针对图像样本形成的离散特征图之间的差异、以及学生神经网络模型输出的物体检测处理结果与图像样本的检测框标注信息之间的差异，为指导信息，对学生神经网络模型进行监督学习。
在一个可选示例中，学生神经网络模型所输出的物体检测处理结果可以包括：检测框的位置信息(如位于检测框的对角线上的两个顶点的坐标)以及检测框的类别等。本申请可以以减小教师神经网络模型针对图像样本形成的离散特征图，与学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及减小学生神经网络模型输出的物体检测处理结果与图像样本的检测框标注信息之间的差异为目的，利用相应的损失函数(如L2损失函数)，对学生神经网络模型进行监督学习。本申请的图像样本的检测框标注信息可以包括：检测框的位置标注信息(如位于检测框的对角线上的两个顶点的坐标标注)以及检测框的类别标注等。
在一个可选示例中，在针对学生神经网络模型的训练达到预定迭代条件时，本次训练过程结束。本申请中的预定迭代条件可以包括：学生神经网络模型输出的离散特征图与教师神经网络模型输出的离散特征图之间的差异，以及学生神经网络模型输出的物体检测处理结果与图像样本的检测框标注信息之间的差异均满足预定差异要求。在差异满足该预定差异要求的情况下，本次对学生神经网络模型成功训练完成。本申请中的预定迭代条件也可以包括：对学生神经网络模型进行训练，所使用的图像样本的数量达到预定数量要求等。在使用的图像样本的数量达到预定数量要求，而差异未满足预定差异要求的情况下，本次对学生神经网络模型并未训练成功。成功训练完成的学生神经网络模型可以用于形成待处理图像的离散特征图以及物体检测处理。
在一个可选示例中，本申请中的用于知识迁移的教师神经网络模型主要包括两部分，其中一部分为：已成功训练的浮点教师神经网络，该已成功训练的浮点教师神经网络通常用于针对输入图像形成浮点特征图，并根据该浮点特征图，对输入图像进行相应的视觉任务处理(例如，分类处理或者物体检测处理等)；其中的另一部分为：量化辅助单元，量化辅助单元主要用于将浮点教师神经网络输出的浮点特征图转换为离散特征图，并将离散特征图提供给浮点教师神经网络。量化辅助单元的输入是浮点教师神经网络中的相应层(如第N层)的输出，量化辅助单元的输出是浮点教师神经网络中的相应层(如第N+1层)的输入。由此可知，本申请中的量化辅助单元可以看作是在浮点教师神经网络中插入的一层。对教师神经网络模型的训练过程其实是对浮点教师神经网络的网络参数的微调过程。
本申请的教师神经网络模型的训练过程的一个实施例的流程图，如图8所示。
图8中，该训练过程包括：步骤S800、步骤S810以及步骤S820。下面对图8中的各步骤分别进行详细说明。
S800、将图像样本输入已成功训练的浮点教师神经网络。该已成功训练的浮点教师神经网络是预先利用图像样本成功训练的用于实现相应的视觉任务的神经网络。该浮点教师神经网络的训练过程的一个实施例如图9所示。
S810、经由已成功训练的浮点教师神经网络，提取输入的图像样本的浮点特征图，经由量化辅助单元将浮点特征图转换为离散特征图，并经由已成功训练的浮点教师神经网络根据图像样本的离散特征图，对图像样本进行视觉任务处理。例如，已成功训练的浮点教师神经网络根据图像样本的离散特征图，对图像样本进行分类处理或者物体检测处理等。
S820、以视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对已成功训练的浮点教师神经网络进行网络参数调整(即网络参数的微调)。
在一个可选示例中，该步骤也可以认为是，以视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对已成功训练的浮点教师神经网络进行监督学习。本申请可以以减小已成功训练的浮点教师神经网络根据离散特征图而输出的视觉任务处理结果与图像样本的标注信息之间的差异为目的，利用相应的损失函数(例如，L2损失函数等)，对已成功训练的浮点教师神经网络的网络参数进行微调。网络参数微调的收敛条件通常包括：已成功训练的浮点教师神经网络根据离散特征图而输出的视觉任务处理结果与图像样本的标注信息之间的差异，满足预定差异要求。
本申请通过对已成功训练的浮点教师神经网络进行网络参数微调，可以使浮点教师神经网络(即教师神经网络模型)根据离散特征图而输出的视觉任务处理结果更准确，从而通过知识迁移，可以使本申请的神经网络模型所形成的离散特征图更有利于准确的完成视觉任务处理。
本申请的浮点教师神经网络模型的训练过程的一个实施例的流程图，如图9所示。图9中，该训练过程包括：步骤S900、步骤S910以及步骤S920。下面对图9中的各步骤分别进行详细说明。
S900、将图像样本输入待训练的浮点教师神经网络。该待训练的浮点教师神经网络的网络参数通常为浮点网络参数，该浮点教师神经网络通常为卷积神经网络等。
S910、经由待训练的浮点教师神经网络提取图像样本的浮点特征图，并根据浮点特征图，对图像样本进行视觉任务处理。例如，待训练的浮点教师神经网络根据浮点特征图，对图像样本进行分类处理或者物体检测处理等。
S920、以视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对待训练的浮点教师神经网络模型进行监督学习。
在一个可选示例中，图像样本的标注信息可以为图像样本的分类标注信息或者图像样本的检测框标注信息等。本申请可以以减小待训练的浮点教师神经网络根据浮点特征图而输出的视觉任务处理结果与图像样本的标注信息之间的差异为目的，利用相应的损失函数(例如，L2损失函数等)，对待训练的浮点教师神经网络进行监督学习。训练的预定迭代条件通常包括：待训练的浮点教师神经网络根据浮点特征图而输出的视觉任务处理结果与图像样本的标注信息之间的差异，满足预定差异要求。
图10为本申请的图像处理装置一个实施例的结构示意图。图10所示的图像处理装置包括：输入图像模块1000和神经网络模型1010。可选的，该装置还可以包括：输入图像样本模块1020、监督模块1030、教师训练模块1040。
输入图像模块1000用于将待处理图像输入神经网络模型1010。
神经网络模型1010用于形成待处理图像的离散特征图。
本申请中的神经网络模型是基于指导信息训练而成的，且神经网络模型在训练过程中，被作为学生神经网络模型，用于训练神经网络模型的指导信息通常包括：教师神经网络模型针对图像样本形成的离散特征图与学生神经网络模型针对图像样本形成的离散特征图之间的差异。
在一个可选示例中，本申请的神经网络模型包括：大小不超过2M的神经网络模型。
在一个可选示例中，本申请的神经网络模型进一步用于：形成待处理图像的浮点特征图，并将浮点特征图量化为待处理图像的离散特征图。例如，神经网络模型针对待处理图像，进行浮点特征图提取，并将提取出的浮点特征图转换为符合预定要求的浮点特征图，以形成待处理图像的浮点特征图。
在一个可选示例中，神经网络模型可以将浮点特征图转换为具有预定通道数的浮点特征图；在另一个可选示例中，神经网络模型可以将浮点特征图转换为具有预定大小的浮点特征图。
在一个可选示例中，神经网络模型还可以对待处理图像的离散特征图继续进行处理，例如，根据待处理图像的离散特征图，对待处理图像进行相应视觉任务处理。在神经网络模型还需要继续执行视觉任务处理的情况下，用于训练该神经网络模型的指导信息还包括：学生神经网络模型针对图像样本输出的视觉任务处理结果与图像样本的标注信息之间的差异。
在一个可选示例中，神经网络模型继续执行的视觉任务处理可以为：分类处理，也可以为物体检测处理等。也就是说，神经网络模型可以根据待处理图像的离散特征图，对待处理图像进行分类处理；神经网络模型也可以根据待处理图像的离散特征图，对待处理图像进行物体检测处理。
在神经网络模型需要根据待处理图像的离散特征图，对待处理图像进行分类处理的情况下，用于训练该神经网络模型的指导信息还可以包括：学生神经网络模型针对图像样本输出的分类处理结果，与图像样本的分类标注信息之间的差异。
在神经网络模型需要根据待处理图像的离散特征图，对待处理图像进行物体检测处理的情况下，用于训练该神经网络模型的知道信息还可以包括：学生神经网络模型针对图像样本输出的物体检测处理结果，与图像样本的检测框标注信息之间的差异。
输入图像模块1000以及神经网络模型1010所执行的具体操作，可以参见上述方法实施方式中针对图1至图4的描述。而输入图像样本模块1020、监督模块1030以及教师训练模块1040所执行的具体操作可以参见下述针对图11的描述。在此均不再重复说明。
图11为本申请的神经网络的训练装置一个实施例的结构示意图。图11所示的训练装置包括：输入图像样本模块1020、监督模块1030以及教师训练模块1040。
输入图像样本模块1020用于将图像样本分别输入学生神经网络模型以及教师神经网络模型，以经由学生神经网络模型以及教师神经网络模型，分别形成图像样本的离散特征图。
监督模块1030用于根据指导信息对学生神经网络模型进行监督学习。其中的指导信息包括：教师神经网络模型针对图像样本形成的离散特征图，与学生神经网络模型针对图像样本形成的离散特征图之间的差异。
在一个可选示例中，在学生神经网络模型用于根据图像样本的离散特征图，对图像样本进行视觉任务处理的情况下，监督模块1030进一步用于以教师神经网络模型针对图像样本形成的离散特征图，与学生神经网络模型针对图像样本形成的离散特征图之间的差异，以及学生神经网络模型输出的视觉任务处理结果与图像样本的标注信息之间的差异，为指导信息，对学生神经网络模型进行监督学习。
在一个可选示例中，本申请中的教师神经网络包括：已成功训练的浮点教师神经网络以及量化辅助单元。其中的已成功训练的浮点教师神经网络用于针对输入图像形成浮点特征图，并根据该浮点特征图，对输入图像进行视觉任务处理。其中的量化辅助单元用于将浮点教师神经网络形成的浮点特征图转换为离散特征图，并将该离散特征图提供给浮点教师神经网络，使浮点教师神经网络根据该离散特征图，对输入图像进行视觉任务处理。
在一个可选示例中，本申请中的教师训练模块1040用于训练教师神经网络，该教师训练模块1040包括：第一单元和第一监督单元。其中的第一单元用于将图像样本输入已成功训练的浮点教师神经网络，以经由已成功训练的浮点教师神经网络提取图像样本的浮点特征图，经由量化辅助单元将浮点特征图转换为离散特征图，并经由已成功训练的浮点教师神经网络根据离散特征图，对图像样本进行视觉任务处理。其中的第一监督单元用于以视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对已成功训练的浮点教师神经网络进行网络参数调整。
在一个可选示例中，该教师训练模块1040还可以包括：第二单元以及第二监督单元。其中的第二单元用于将图像样本输入待训练的浮点教师神经网络，以经由待训练的浮点教师神经网络提取图像样本的浮点特征图，并根据浮点特征图，对图像样本进行视觉任务处理。其中的第二监督单元用于以视觉任务处理结果与图像样本的标注信息之间的差异为指导信息，对待训练的浮点教师神经网络模型进行监督学习。
输入图像样本模块1020、监督模块1030以及教师训练模块1040所执行的具体操作，可以参见上述方法实施方式中针对图5至图9的描述。在此不再重复说明。
示例性设备
图12示出了适于实现本申请的示例性设备1200，设备1200可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图12中，设备1200包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)1201，和/或，一个或者多个利用神经网络进行图像处理的图像处理器(GPU)1213等，处理器可以根据存储在只读存储器(ROM)1202中的可执行指令或者从存储部分1208加载到随机访问存储器(RAM)1203中的可执行指令而执行各种适当的动作和处理。通信部1212可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器1202和/或随机访问存储器1203中通信以执行可执行指令，通过总线1204与通信部1212相连、并经通信部1212与其他目标设备通信，从而完成本申请中的相应步骤。
上述各指令所执行的操作可以参见上述方法实施例中的相关描述，在此不再详细说明。此外，在RAM 1203中，还可以存储有装置操作所需的各种程序以及数据。CPU1201、ROM1202以及RAM1203通过总线1204彼此相连。
在有RAM1203的情况下，ROM1202为可选模块。RAM1203存储可执行指令，或在运行时向ROM1202中写入可执行指令，可执行指令使中央处理单元1201执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口1205也连接至总线1204。通信部1212可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。
以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装在存储部分1208中。
需要特别说明的是，如图12所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图12的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU和CPU可分离设置，再如理，可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。
特别地，根据本申请的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本申请实施方式包括一种计算机程序产品，其包含有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本申请提供的方法中的步骤对应的指令。
在这样的实施方式中，该计算机程序可以通过通信部分1209从网络上被下载及安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请中记载的实现上述相应步骤的指令。
在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任意实施例中所述的图像处理方法或者神经网络的训练方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
在一个或多个可选实施方式中，本公开实施例还提供了另一种图像处理方法和神经网络的训练方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中的方法包括：第一装置向第二装置发送图像处理指示或者训练神经网络指示，该指示使得第二装置执行上述任一可能的实施例中的图像处理方法或者训练神经网络方法；第一装置接收第二装置发送的图像处理结果或者神经网络训练结果。
在一些实施例中，该图像处理指示或者训练神经网络指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行图像处理操作或者训练神经网络操作，相应地，响应于接收到调用指令，第二装置可以执行上述图像处理方法或者训练神经网络的方法中的任意实施例中的步骤和/或流程。
应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述，是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言，是显然的。选择和描述实施方式是为了更好说明本申请的原理以及实际应用，并且使本领域的普通技术人员能够理解本申请实施例可以从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
将待处理图像输入神经网络模型；
经由所述神经网络模型形成所述待处理图像的离散特征图；
其中，所述神经网络模型是基于指导信息训练而成的，且所述神经网络模型在训练过程中，被作为学生神经网络模型，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图与所述学生神经网络模型针对所述图像样本形成的离散特征图之间的差异。
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括：大小不超过2M的神经网络模型。
3.根据权利要求1至2中任一项所述的方法，其特征在于，所述经由所述神经网络模型形成所述待处理图像的离散特征图包括：
经由所述神经网络模型形成所述待处理图像的浮点特征图，并将所述浮点特征图量化为所述待处理图像的离散特征图。
4.根据权利要求3所述的方法，其特征在于，所述经由所述神经网络模型形成所述待处理图像的浮点特征图包括：
经由所述神经网络模型针对所述待处理图像，进行浮点特征图提取，并将提取出的浮点特征图转换为符合预定要求的浮点特征图，以形成所述待处理图像的浮点特征图。
5.根据权利要求4所述的方法，其特征在于，所述将提取出的浮点特征图转换为符合预定要求的浮点特征图包括：
将所述浮点特征图转换为具有预定通道数的浮点特征图；和/或者
将所述浮点特征图转换为具有预定大小的浮点特征图。
6.一种神经网络的训练方法，其特征在于，待训练的神经网络模型在训练过程中，被作为学生神经网络模型，所述训练方法包括下述步骤：
将图像样本分别输入学生神经网络模型以及教师神经网络模型；
经由学生神经网络模型以及教师神经网络模型，分别形成所述图像样本的离散特征图；
根据指导信息，对所述学生神经网络模型进行监督学习；
其中，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图与所述学生神经网络模型针对图像样本形成的离散特征图之间的差异。
7.一种图像处理装置，其特征在于，包括：
输入图像模块，用于将待处理图像输入神经网络模型；
神经网络模型，用于形成所述待处理图像的离散特征图；
其中，所述神经网络模型是基于指导信息训练而成的，且所述神经网络模型在训练过程中，被作为学生神经网络模型，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图与所述学生神经网络模型针对所述图像样本形成的离散特征图之间的差异。
8.一种神经网络的训练装置，其特征在于，待训练的神经网络模型被作为学生神经网络模型，所述装置包括：
输入图像样本模块，用于将图像样本分别输入学生神经网络模型以及教师神经网络模型，以经由学生神经网络模型以及教师神经网络模型，分别形成所述图像样本的离散特征图；
监督模块，用于根据指导信息，对所述学生神经网络模型进行监督学习；
其中，所述指导信息包括：教师神经网络模型针对图像样本形成的离散特征图与所述学生神经网络模型针对图像样本形成的离散特征图之间的差异。
9.一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-6中任一项所述的方法。
CN201810380453.XA 2018-04-25 2018-04-25 图像处理方法、神经网络的训练方法、装置、设备及介质 Pending CN108830288A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810380453.XA CN108830288A (zh) 2018-04-25 2018-04-25 图像处理方法、神经网络的训练方法、装置、设备及介质
SG11201912721YA SG11201912721YA (en) 2018-04-25 2018-11-21 Image processing methods, training methods, apparatuses, devices, media, and programs
KR1020207016931A KR102478000B1 (ko) 2018-04-25 2018-11-21 이미지 처리 방법, 훈련 방법, 장치, 기기, 매체 및 프로그램
PCT/CN2018/116574 WO2019205604A1 (zh) 2018-04-25 2018-11-21 图像处理方法、训练方法、装置、设备、介质及程序
JP2020533824A JP2021507397A (ja) 2018-04-25 2018-11-21 画像処理方法、訓練方法、装置、機器、媒体及びプログラム
US16/700,348 US11334763B2 (en) 2018-04-25 2019-12-02 Image processing methods, training methods, apparatuses, devices, media, and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810380453.XA CN108830288A (zh) 2018-04-25 2018-04-25 图像处理方法、神经网络的训练方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN108830288A true CN108830288A (zh) 2018-11-16

Family

ID=64155627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810380453.XA Pending CN108830288A (zh) 2018-04-25 2018-04-25 图像处理方法、神经网络的训练方法、装置、设备及介质

Country Status (6)

Country Link
US (1) US11334763B2 (zh)
JP (1) JP2021507397A (zh)
KR (1) KR102478000B1 (zh)
CN (1) CN108830288A (zh)
SG (1) SG11201912721YA (zh)
WO (1) WO2019205604A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583576A (zh) * 2018-12-17 2019-04-05 上海联影智能医疗科技有限公司 一种医学图像处理装置及方法
CN109800821A (zh) * 2019-01-31 2019-05-24 北京市商汤科技开发有限公司 训练神经网络的方法、图像处理方法、装置、设备和介质
CN110009052A (zh) * 2019-04-11 2019-07-12 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110363297A (zh) * 2019-07-05 2019-10-22 上海商汤临港智能科技有限公司 神经网络训练及图像处理方法、装置、设备和介质
WO2019205604A1 (zh) * 2018-04-25 2019-10-31 北京市商汤科技开发有限公司 图像处理方法、训练方法、装置、设备、介质及程序
CN111383157A (zh) * 2018-12-29 2020-07-07 北京市商汤科技开发有限公司 图像处理方法、装置、车载运算平台、电子设备及系统
CN111383156A (zh) * 2018-12-29 2020-07-07 北京市商汤科技开发有限公司 图像处理方法、装置、智能驾驶系统和车载运算平台
CN111382870A (zh) * 2020-03-06 2020-07-07 商汤集团有限公司 训练神经网络的方法以及装置
CN111488476A (zh) * 2020-04-03 2020-08-04 北京爱芯科技有限公司 图像推送方法、模型训练方法及对应装置
CN111598793A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种用于输电线路图像去雾的方法、系统及存储介质
CN111967597A (zh) * 2020-08-18 2020-11-20 上海商汤临港智能科技有限公司 神经网络训练及图像分类方法、装置、存储介质、设备
CN112784978A (zh) * 2019-11-08 2021-05-11 佳能株式会社 训练神经网络的方法、装置和系统及存储指令的存储介质
CN113052868A (zh) * 2021-03-11 2021-06-29 奥比中光科技集团股份有限公司 一种抠图模型训练、图像抠图的方法及装置
CN113052768A (zh) * 2019-12-27 2021-06-29 武汉Tcl集团工业研究院有限公司 一种处理图像的方法、终端及计算机可读存储介质
CN113065638A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种神经网络压缩方法及其相关设备
CN113128661A (zh) * 2020-01-15 2021-07-16 富士通株式会社 信息处理装置和信息处理方法
WO2023078134A1 (zh) * 2021-11-05 2023-05-11 上海商汤智能科技有限公司 生成神经网络的方法、装置、设备、存储介质和计算机程序产品

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN110598840B (zh) * 2018-06-13 2023-04-18 富士通株式会社 知识迁移方法、信息处理设备以及存储介质
WO2020125806A1 (en) 2018-12-17 2020-06-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image segmentation
CN111027551B (zh) * 2019-12-17 2023-07-07 腾讯科技（深圳）有限公司 图像处理方法、设备和介质
CN111144417B (zh) * 2019-12-27 2023-08-01 创新奇智(重庆)科技有限公司 基于教师学生网络的智能货柜小目标检测方法及检测系统
CN111340964B (zh) * 2020-03-05 2023-03-24 长春中国光学科学技术馆 一种基于迁移学习的3d模型图像的构建方法
CN113627456B (zh) * 2020-05-09 2024-03-19 杭州海康威视数字技术股份有限公司 生成基准数据的方法和装置
CN111724306B (zh) * 2020-06-19 2022-07-08 福州大学 一种基于卷积神经网络的图像缩小方法及系统
CN111767711B (zh) * 2020-09-02 2020-12-08 之江实验室 基于知识蒸馏的预训练语言模型的压缩方法及平台
CN112801298B (zh) * 2021-01-20 2023-09-01 北京百度网讯科技有限公司 异常样本检测方法、装置、设备和存储介质
CN112819050B (zh) * 2021-01-22 2023-10-27 北京市商汤科技开发有限公司 知识蒸馏和图像处理方法、装置、电子设备和存储介质
CN115082690B (zh) * 2022-07-12 2023-03-28 北京百度网讯科技有限公司 目标识别方法、目标识别模型训练方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107578453A (zh) * 2017-10-18 2018-01-12 北京旷视科技有限公司 压缩图像处理方法、装置、电子设备及计算机可读介质
CN107743235A (zh) * 2017-10-27 2018-02-27 厦门美图之家科技有限公司 图像处理方法、装置及电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6364387B2 (ja) * 2015-08-17 2018-07-25 日本電信電話株式会社 特徴量生成装置、方法、及びプログラム
US10579923B2 (en) * 2015-09-15 2020-03-03 International Business Machines Corporation Learning of classification model
KR102492318B1 (ko) * 2015-09-18 2023-01-26 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법
US10755172B2 (en) * 2016-06-22 2020-08-25 Massachusetts Institute Of Technology Secure training of multi-party deep neural network
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
WO2018126213A1 (en) * 2016-12-30 2018-07-05 Google Llc Multi-task learning using knowledge distillation
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
US11195093B2 (en) * 2017-05-18 2021-12-07 Samsung Electronics Co., Ltd Apparatus and method for student-teacher transfer learning network using knowledge bridge
CN107358293B (zh) * 2017-06-15 2021-04-02 北京图森智途科技有限公司 一种神经网络训练方法及装置
KR102570278B1 (ko) * 2017-07-31 2023-08-24 삼성전자주식회사 교사 모델로부터 학생 모델을 트레이닝하는데 사용되는 학습 데이터를 생성하는 장치 및 방법
US10885900B2 (en) * 2017-08-11 2021-01-05 Microsoft Technology Licensing, Llc Domain adaptation in speech recognition via teacher-student learning
JP7022195B2 (ja) * 2018-02-28 2022-02-17 富士フイルム株式会社 機械学習装置、方法およびプログラム並びに記録媒体
US10643602B2 (en) * 2018-03-16 2020-05-05 Microsoft Technology Licensing, Llc Adversarial teacher-student learning for unsupervised domain adaptation
CN108830288A (zh) * 2018-04-25 2018-11-16 北京市商汤科技开发有限公司 图像处理方法、神经网络的训练方法、装置、设备及介质
KR20200129639A (ko) * 2019-05-09 2020-11-18 삼성전자주식회사 모델 학습 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107578453A (zh) * 2017-10-18 2018-01-12 北京旷视科技有限公司 压缩图像处理方法、装置、电子设备及计算机可读介质
CN107743235A (zh) * 2017-10-27 2018-02-27 厦门美图之家科技有限公司 图像处理方法、装置及电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ADRIANA ROMERO等: "FITNETS: HINTS FOR THIN DEEP NETS", 《ICLR 2015》 *
ASIT MISHRA等: "Apprentice: Using KD Techniques to Improve Low-Precision Network Accuracy", 《ARXIV》 *
DIPANKAR DAS等: "MIXED PRECISION NEURAL NETWORKS TRAINING OF CONVOLUTIONAL USING INTEGER OPERATIONS", 《ARXIV》 *
JIAXIANG WU等: "Quantized Convolutional Neural Networks for Mobile Devices", 《IEEE》 *
PETE WARDEN: "How to Quantize Neural Networks with TensorFlow", 《PETE WARDEN"S BLOG》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11334763B2 (en) 2018-04-25 2022-05-17 Beijing Sensetime Technology Development Co., Ltd. Image processing methods, training methods, apparatuses, devices, media, and programs
WO2019205604A1 (zh) * 2018-04-25 2019-10-31 北京市商汤科技开发有限公司 图像处理方法、训练方法、装置、设备、介质及程序
CN109583576A (zh) * 2018-12-17 2019-04-05 上海联影智能医疗科技有限公司 一种医学图像处理装置及方法
CN111383157B (zh) * 2018-12-29 2023-04-14 北京市商汤科技开发有限公司 图像处理方法、装置、车载运算平台、电子设备及系统
CN111383156B (zh) * 2018-12-29 2022-08-02 北京市商汤科技开发有限公司 图像处理方法、装置、智能驾驶系统和车载运算平台
CN111383157A (zh) * 2018-12-29 2020-07-07 北京市商汤科技开发有限公司 图像处理方法、装置、车载运算平台、电子设备及系统
CN111383156A (zh) * 2018-12-29 2020-07-07 北京市商汤科技开发有限公司 图像处理方法、装置、智能驾驶系统和车载运算平台
CN109800821A (zh) * 2019-01-31 2019-05-24 北京市商汤科技开发有限公司 训练神经网络的方法、图像处理方法、装置、设备和介质
CN110009052B (zh) * 2019-04-11 2022-11-18 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110009052A (zh) * 2019-04-11 2019-07-12 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110363297A (zh) * 2019-07-05 2019-10-22 上海商汤临港智能科技有限公司 神经网络训练及图像处理方法、装置、设备和介质
CN112784978A (zh) * 2019-11-08 2021-05-11 佳能株式会社 训练神经网络的方法、装置和系统及存储指令的存储介质
CN113052768B (zh) * 2019-12-27 2024-03-19 武汉Tcl集团工业研究院有限公司 一种处理图像的方法、终端及计算机可读存储介质
CN113052768A (zh) * 2019-12-27 2021-06-29 武汉Tcl集团工业研究院有限公司 一种处理图像的方法、终端及计算机可读存储介质
CN113128661A (zh) * 2020-01-15 2021-07-16 富士通株式会社 信息处理装置和信息处理方法
CN111382870A (zh) * 2020-03-06 2020-07-07 商汤集团有限公司 训练神经网络的方法以及装置
CN111488476A (zh) * 2020-04-03 2020-08-04 北京爱芯科技有限公司 图像推送方法、模型训练方法及对应装置
CN111598793A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种用于输电线路图像去雾的方法、系统及存储介质
CN111967597A (zh) * 2020-08-18 2020-11-20 上海商汤临港智能科技有限公司 神经网络训练及图像分类方法、装置、存储介质、设备
CN113065638A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种神经网络压缩方法及其相关设备
CN113052868A (zh) * 2021-03-11 2021-06-29 奥比中光科技集团股份有限公司 一种抠图模型训练、图像抠图的方法及装置
CN113052868B (zh) * 2021-03-11 2023-07-04 奥比中光科技集团股份有限公司 一种抠图模型训练、图像抠图的方法及装置
WO2023078134A1 (zh) * 2021-11-05 2023-05-11 上海商汤智能科技有限公司 生成神经网络的方法、装置、设备、存储介质和计算机程序产品

Also Published As

Publication number Publication date
KR20200087807A (ko) 2020-07-21
SG11201912721YA (en) 2020-01-30
JP2021507397A (ja) 2021-02-22
WO2019205604A1 (zh) 2019-10-31
US20200104642A1 (en) 2020-04-02
KR102478000B1 (ko) 2022-12-15
US11334763B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
CN108830288A (zh) 图像处理方法、神经网络的训练方法、装置、设备及介质
CN111444340B (zh) 文本分类方法、装置、设备及存储介质
CN110232689A (zh) 语义类别定位数字环境
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
JP2021501382A (ja) 自動コード生成
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN109800821A (zh) 训练神经网络的方法、图像处理方法、装置、设备和介质
CN109299716A (zh) 神经网络的训练方法、图像分割方法、装置、设备及介质
CN109328362A (zh) 渐进式神经网络
CN111160350B (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
CN108229303A (zh) 检测识别和检测识别网络的训练方法及装置、设备、介质
CN108027885A (zh) 空间变换器模块
CN108229651A (zh) 神经网络模型迁移方法和系统、电子设备、程序和介质
CN110363084A (zh) 一种上课状态检测方法、装置、存储介质及电子
CN107273458A (zh) 深度模型训练方法及装置、图像检索方法及装置
CN108280451A (zh) 语义分割及网络训练方法和装置、设备、介质、程序
CN108257144A (zh) 基于神经网络的抠图方法、装置、设备、存储介质及程序
CN111311480B (zh) 图像融合方法和装置
CN112989085B (zh) 图像处理方法、装置、计算机设备及存储介质
CN116029273A (zh) 文本处理方法、装置、计算机设备和存储介质
CN115222845A (zh) 样式字体图片生成方法、装置、电子设备和介质
CN108154153A (zh) 场景分析方法和系统、电子设备
CN110472673B (zh) 参数调整方法、眼底图像处理方法、装置、介质及设备
CN110457325B (zh) 用于输出信息的方法和装置
CN108229680A (zh) 神经网络系统、遥感图像识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination