CN111178503A - 面向移动终端的去中心化目标检测模型训练方法及系统 - Google Patents

面向移动终端的去中心化目标检测模型训练方法及系统 Download PDF

Info

Publication number
CN111178503A
CN111178503A CN201911292204.6A CN201911292204A CN111178503A CN 111178503 A CN111178503 A CN 111178503A CN 201911292204 A CN201911292204 A CN 201911292204A CN 111178503 A CN111178503 A CN 111178503A
Authority
CN
China
Prior art keywords
data
training
picture
model
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911292204.6A
Other languages
English (en)
Inventor
欧中洪
于培华
宋美娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201911292204.6A priority Critical patent/CN111178503A/zh
Publication of CN111178503A publication Critical patent/CN111178503A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向移动终端的去中心化目标检测模型训练方法及系统，其中，方法包括以下步骤：获取当前设备产生图片以及其中标注的目标信息；对当前设备产生图片以及其中标注的目标信息进行预处理，得到处理后的数据；利用处理后的数据训练SSD模型，并通过基于K‑L散度衡量模型间的差异性对SSD模型进行联合优化。该方法可以在保护数据隐私的前提下，充分利用用户数据及用户设备的计算能力，进行模型优化，降低目标检测模型的训练成本，并且获得与在集中式数据使用传统训练方式获得的模型具有同等精度。

Description

面向移动终端的去中心化目标检测模型训练方法及系统
技术领域
本发明涉及模型训练技术领域，特别涉及一种面向移动终端的去中心化目标检测模型训练方法及系统。
背景技术
随着深度学习技术的高速发展，基于深度学习的目标检测方法精度不断提升，目标检测模型广泛应用与各个领域，支撑着大量具体场景业务的开展。现有的方法均基于卷积神经网络进行特征提取，大规模目标检测数据集和强大的计算能力是模型取得良好效果的重要保障。现有方法多通过构建中心化的大规模数据集来解决数据问题，通过分布式机器学习来进行训练。现有技术方案如下所示：
(1)中心化数据集。目前目标检测模型训练多基于集中存储的公开数据集，通过对图像进行采集和标注，构建了PascalVOC、coco等通用目标检测数据集，以及一些特定领域数据集。利用公开数据集或采集数据训练模型是常见的做法。
(2)分布式训练机制。现有的深度学习框架，如Tensorflow、Pytorch等，均支持训练过程的模型并行和数据并行。模型的训练基于中心化的数据集，均匀分布到多组设备上，整合利用多台设备的计算能力，基于异步随机梯度下降等算法实时更新参数服务器上的模型参数，实现模型有效训练。
(3)联邦学习算法，利用去中心化的数据集训练模型。为保护数据安全及数据隐私，数据不离开本地，利用这些存在差异且分布不均衡的数据，不同设备上独立训练模型，通过FederatedAveraging等算法进行聚合，最终优化整体模型，这类训练方法在图像分类、文本生成等方面有了不少应用。
然而，如上所述，目前目标检测模型训练过程中存在两个问题：一是数据组织方式，在真实的应用场景中，数据集中在数据中心的情况较为少见，公开数据集覆盖的领域、场景十分有限，而为训练特定任务的模型而重复采集数据代价高昂。在移动设备不断普及以及信息化程度不断提升的今天，海量的数据分布在不同设备甚至不同地点，但由于数据安全和用户隐私越来越重要，数据的合规性是发展一切应用的前提，数据壁垒会严重影响目标检测模型的精度和泛化能力。如何充分利用分散而又不互通的数据创造更大的价值，推动目标检测算法更广泛的应用，是目前面临的重要问题；二是现有分布式训练方式的参数更新需要实时进行，每组设备利用数据进行训练之后，将求得的梯度通过网络发送给参数服务器，深度学习模型有较大的参数量，频繁的训练和更新更加适合于较为稳定的设备集群，在移动环境下，极大的加重了终端设备计算负担和数据传输过程中的网络负担。
而3)中所述的联邦学习方法，实现了让涉及用户隐私安全的数据不离开本地，以分散、去中心化的方式组织数据，通过Federated Averaging等算法实现模型的训练及优化，在图像分类及自然语言领域的一些任务上取得了很好的效果，不逊色于利用集中式的数据集训练模型的效果。但是这种方法仍然面临着很多问题，去中心化的数据组织方式不可避免的会造成设备间数据不均衡及非独立同分布问题，而目标检测由于其模型复杂程度更高、参数量更大，对这两个问题更加敏感，通过常见的联邦学习方法无法取得很好的成绩。
发明内容
本申请是基于发明人对以下问题的认识和发现做出的：
当前的目标检测方法主要基于深度学习方法，具有较强的鲁棒性，但是其泛化能力依赖于大量标注数据和较强的计算能力。因此，以往的方法都受限于高昂的数据成本，对用户数据利用不充分、不合理，没有合理调动计算设备计算能力的问题。
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种面向移动终端的去中心化目标检测模型训练方法，该方法可以在保护数据隐私的前提下，充分利用用户数据及用户设备的计算能力，进行模型优化，降低目标检测模型的训练成本，并且获得与在集中式数据使用传统训练方式获得的模型具有同等精度。
本发明的另一个目的在于提出一种面向移动终端的去中心化目标检测模型训练系统。
为达到上述目的，本发明一方面实施例提出了一种面向移动终端的去中心化目标检测模型训练方法，包括以下步骤：获取当前设备产生图片以及其中标注的目标信息；对所述当前设备产生图片以及其中标注的目标信息进行预处理，得到处理后的数据；利用所述处理后的数据训练SSD模型，并通过基于K-L散度衡量模型间的差异性对所述SSD模型进行联合优化。
本发明实施例的面向移动终端的去中心化目标检测模型训练方法，解决现有目标检测模型训练过程中数据不足，无法充分保护用户隐私的问题，同时在一定程度上降低分布式训练过程中的通信负担，在移动终端实现高效的分布式训练；基于现有深度学习目标检测方法，通过联邦学习算法，以保证用户隐私安全为前提，在去中心化的数据上提取特征，多台设备联合优化目标检测模型；同时，针对不均衡的、非独立同分布的数据带来的模型训练效果不稳定的问题，提出基于K-L散度(Kullback-Leibler Divergence)的差异化模型聚合方法，使得联合训练效果更加稳定，在不同的数据分布状况下，均能取得较好的效果。
另外，根据本发明上述实施例的面向移动终端的去中心化目标检测模型训练方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述对所述当前设备产生图片以及其中标注的目标信息进行预处理，包括：通过预设操作进行图像数据增强；将所述图像数据的尺寸处理成预设的尺寸；对所述图像数据进行归一化处理；利用数据集中预先计算好的均值和方差将所述图片数据的像素的范围调整到[-1，1]。
进一步地，在本发明的一个实施例中，所述像素的范围的计算公式为：
Figure BDA0002319425470000031
其中，channel指原始图片中R、G、B三个颜色通道，mean，std为基于数据计算出的每个通道的均值和方差。
进一步地，在本发明的一个实施例中，所述利用所述处理后的数据训练SSD模型，包括：通过卷积神经网络提取图像的特征，并通过多层神经网络提取多尺度特征，通过在不同尺度的特征图作卷积，以计算目标类别和边框特征。
进一步地，在本发明的一个实施例中，所述差异性衡量公式：
Figure BDA0002319425470000032
其中，其中P(i)和Q(i)分别代表两个不同模型的参数分布。
为达到上述目的，本发明另一方面实施例提出了一种面向移动终端的去中心化目标检测模型训练系统，包括：数据获取模块，用于获取当前设备产生图片以及其中标注的目标信息；数据预处理模块，用于对所述当前设备产生图片以及其中标注的目标信息进行预处理，得到处理后的数据；分布式训练模块，用于利用所述处理后的数据训练SSD模型；联合优化模块，用于并通过基于K-L散度衡量模型间的差异性对所述SSD模型进行联合优化。
本发明实施例的面向移动终端的去中心化目标检测模型训练系统，解决现有目标检测模型训练过程中数据不足，无法充分保护用户隐私的问题，同时在一定程度上降低分布式训练过程中的通信负担，在移动终端实现高效的分布式训练；基于现有深度学习目标检测方法，通过联邦学习算法，以保证用户隐私安全为前提，在去中心化的数据上提取特征，多台设备联合优化目标检测模型；同时，针对不均衡的、非独立同分布的数据带来的模型训练效果不稳定的问题，提出基于K-L散度的差异化模型聚合方法，使得联合训练效果更加稳定，在不同的数据分布状况下，均能取得较好的效果。
另外，根据本发明上述实施例的面向移动终端的去中心化目标检测模型训练系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述数据预处理模块进一步用于通过预设操作进行图像数据增强，将所述图像数据的尺寸处理成预设的尺寸，对所述图像数据进行归一化处理，利用数据集中预先计算好的均值和方差将所述图片数据的像素的范围调整到[-1，1]。
进一步地，在本发明的一个实施例中，所述像素的范围的计算公式为：
Figure BDA0002319425470000041
其中，channel指原始图片中R、G、B三个颜色通道，mean，std为基于数据计算出的每个通道的均值和方差。
进一步地，在本发明的一个实施例中，所述数据训练模块进一步用于通过卷积神经网络提取图像的特征，并通过多层神经网络提取多尺度特征，通过在不同尺度的特征图作卷积，以计算目标类别和边框特征。
进一步地，在本发明的一个实施例中，所述差异性衡量公式：
Figure BDA0002319425470000042
其中，其中P(i)和Q(i)分别代表两个不同模型的参数分布。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的面向移动终端的去中心化目标检测模型训练方法的流程图；
图2为根据本发明实施例的联合优化结构示意图；
图3为根据本发明实施例的面向移动终端的去中心化目标检测模型训练系统的结构示意图；
图4为根据本发明一个实施例的面向移动终端的去中心化目标检测模型训练系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的面向移动终端的去中心化目标检测模型训练方法及系统，首先将参照附图描述根据本发明实施例提出的面向移动终端的去中心化目标检测模型训练方法。
图1是本发明一个实施例的面向移动终端的去中心化目标检测模型训练方法的流程图。
如图1所示，该面向移动终端的去中心化目标检测模型训练方法包括以下步骤：
在步骤S101中，获取当前设备产生图片以及其中标注的目标信息。
可以理解的是，获取当前设备产生图片以及其中标注的目标信息，目标记为T＝{T1,T2,...Tm}，T中包含目标的位置和类别信息，m为当前图片中含有目标总数。其中，当前设备可以为移动终端等设备，在此不做具体限定。
在步骤S102中，对当前设备产生图片以及其中标注的目标信息进行预处理，得到处理后的数据。
在本发明的一个实施例中，对当前设备产生图片以及其中标注的目标信息进行预处理，包括：通过预设操作进行图像数据增强；将图像数据的尺寸处理成预设的尺寸；对图像数据进行归一化处理；利用数据集中预先计算好的均值和方差将图片数据的像素的范围调整到[-1，1]。
具体而言，(1)通过旋转、切片、扭曲等操作进行图像数据增强，提高模型的泛化能力；
(2)将图像resize到相同的尺寸(如300*300)；
(3)对采集到的图像数据进行归一化处理；
(4)利用数据集中预先计算好的均值和方差将图片像素的范围调整到[-1,1]，其计算方式如下：
Figure BDA0002319425470000051
其中，channel指原始图片中R、G、B三个颜色通道，mean，std为基于数据计算出的每个通道的均值和方差。
在步骤S103中，利用处理后的数据训练SSD模型，并通过基于K-L散度衡量模型间的差异性对SSD模型进行联合优化。
可以理解的是，步骤S103包括分布式训练和联合优化，下面将分别进行详细阐述，具体如下：
1、分布式训练
利用当前设备采集并预处理好的数据对SSD(Single Shot MultiBox Detector)模型分别进行训练，分别训练过程与经典的SSD类似。
训练模块接收预处理好的图片输入，通过轻量化的卷积神经网络MobileNet提取图像的特征，其大小为(W*H*C)。通过多层神经网络提取多尺度特征，通过在不同尺度的特征图做卷积，来计算目标类别和边框特征。
2、联合优化
通过基于K-L散度改进的FederatedAveraging对分散训练的模型进行联合优化。在分散在各个设备的数据上达到最好效果的模型经过一段时间后，将参数发送给联合优化服务器，服务器通过K-L散度衡量模型间的差异性，以此为依据进行加权平均，将多个模型聚合成一个具有全局最优效果的模型，联合优化结构如图2所示，具体如下：
(1)模型间差异衡量：
本发明实施例使用K-L散度来衡量模型的差异性，然后根据差异性生成mask，对于与其他模型差异较大的部分进行抛弃，其中，
差异性衡量公式：
Figure BDA0002319425470000061
其中P(i)和Q(i)分别代表两个不同模型的参数分布。
进一步地，本发明实施例在卷积层的粒度上生成mask，对不同数据上获得的模型舍弃其中与其他模型差异较大的层，生成mask的具体步骤如下：
步骤1：获取所有模型参数wlist和模型舍弃率R；
步骤2：模型之间两两计算每层的差异性；
步骤3：根据差异性生成mask，对于每层参数，差异性较大的(模型数目*R)个模型的mask值设置为1，其他设置为0。
(2)聚合算法如下：
模型聚合基于FederatedAveraging算法及之前方法得到的mask。
FederatedAveraging算法公式如下所示：
Figure BDA0002319425470000062
其中nk表示第k个设备上的数据量，
Figure BDA0002319425470000063
表示第k个设备上训练到第t+1步的参数，最终得到Wt+1为t+1步的聚合后的全局模型。
具体步骤如下所示：
步骤S1：各个设备基于上一轮分发的全局最优网络分别训练，基于本地数据利用梯度下降算法优化当前模型；
步骤S2：模型更新到聚合服务器；
步骤S3：根据K-L散度计算获得mask值；
步骤S4：以与mask中值为1的层的参数差异性最小的参数替代原有参数；
步骤S5：使用公式(2)进行模型聚合。
综上，(1)本发明实施例利用去中心化数据对目标检测模型进行训练，利用多台终端设备协同计算优化目标检测模型，达到与在高质量集中数据集上训练达到同样的效果，使得可用的数据范围更加广泛，在不侵犯用户隐私的状况下，极大的提高了数据使用率；(2)本发明实施例利用K-L散度衡量不同本地数据集上训练模型的差异性，改良FederatedAveraging降低了不均衡、非独立同分布的去中心化数据给模型精度带来的影响。
根据本发明实施例提出的面向移动终端的去中心化目标检测模型训练方法，基于去中心化的目标检测模型训练方法相较于当前广泛使用的利用集中数据集训练模型的方法适用范围更加广泛，降低了获取数据的成本，训练数据不离开本地机器，很好的保护了用户的数据隐私安全，保证数据的合规性，极大地提高了数据的使用率，使得训练所得模型能够覆盖更多的场景，具有更好的泛化能力，同时实现了对移动终端计算能力的充分利用；常见的联邦学习算法如FederatdAveraging受限于不均衡、非独立同分布的局部数据的影响，最终模型不容易达到与集中数据训练得到的相同良好的结果，基于K-L散度衡量模型之间的差异性，根据差异性生成最终的模型聚合的策略，最终在各设备间数据差异较大的情况下，依然能取得很好效果。
其次参照附图描述根据本发明实施例提出的面向移动终端的去中心化目标检测模型训练系统。
图3是本发明一个实施例的面向移动终端的去中心化目标检测模型训练系统的结构示意图。
如图3所示，该面向移动终端的去中心化目标检测模型训练系统10包括：数据获取模块100、数据预处理模块200、分布式训练模块300和联合优化模块400。
其中，数据获取模块100用于获取当前设备产生图片以及其中标注的目标信息；数据预处理模块200用于对当前设备产生图片以及其中标注的目标信息进行预处理，得到处理后的数据；分布式训练模块300用于利用处理后的数据训练SSD模型；联合优化模块400用于并通过基于K-L散度衡量模型间的差异性对SSD模型进行联合优化。本发明实施例的系统10在保护数据隐私的前提下，充分利用用户数据及用户设备的计算能力，进行模型优化，降低目标检测模型的训练成本，并且获得与在集中式数据使用传统训练方式获得的模型具有同等精度。
具体而言，如图4所示，本发明实施例的系统10包括，数据获取模块100、数据预处理模块200、分布式训练模块300、联合优化模块400和参数同步模块。其中，数据获取模块100分布在多个移动终端输入设备上(如手机、摄像头等)，该模块为整个系统的数据输入模块；分布式训练模块300同样分布在不同的终端设备上；参数同步模块负责将全局最优效果的模型分发给不同设备，使得每个设备上的模型达到当前最优，进入下一步训练。
进一步地，在本发明的一个实施例中，数据预处理模块进一步用于通过预设操作进行图像数据增强，将图像数据的尺寸处理成预设的尺寸，对图像数据进行归一化处理，利用数据集中预先计算好的均值和方差将图片数据的像素的范围调整到[-1，1]。
进一步地，在本发明的一个实施例中，像素的范围的计算公式为：
Figure BDA0002319425470000081
其中，channel指原始图片中R、G、B三个颜色通道，mean，std为基于数据计算出的每个通道的均值和方差。
进一步地，在本发明的一个实施例中，数据训练模块进一步用于通过卷积神经网络提取图像的特征，并通过多层神经网络提取多尺度特征，通过在不同尺度的特征图作卷积，以计算目标类别和边框特征。
进一步地，在本发明的一个实施例中，差异性衡量公式：
Figure BDA0002319425470000082
其中，其中P(i)和Q(i)分别代表两个不同模型的参数分布。
需要说明的是，前述对面向移动终端的去中心化目标检测模型训练方法实施例的解释说明也适用于该实施例的面向移动终端的去中心化目标检测模型训练系统，此处不再赘述。
根据本发明实施例提出的面向移动终端的去中心化目标检测模型训练系统，基于去中心化的目标检测模型训练方法相较于当前广泛使用的利用集中数据集训练模型的方法适用范围更加广泛，降低了获取数据的成本，训练数据不离开本地机器，很好的保护了用户的数据隐私安全，保证数据的合规性，极大地提高了数据的使用率，使得训练所得模型能够覆盖更多的场景，具有更好的泛化能力，同时实现了对移动终端计算能力的充分利用；常见的联邦学习算法如FederatdAveraging受限于不均衡、非独立同分布的局部数据的影响，最终模型不容易达到与集中数据训练得到的相同良好的结果，基于K-L散度衡量模型之间的差异性，根据差异性生成最终的模型聚合的策略，最终在各设备间数据差异较大的情况下，依然能取得很好效果。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种面向移动终端的去中心化目标检测模型训练方法，其特征在于，包括以下步骤：
获取当前设备产生图片以及其中标注的目标信息；
对所述当前设备产生图片以及其中标注的目标信息进行预处理，得到处理后的数据；
利用所述处理后的数据训练SSD模型，并通过基于K-L散度衡量模型间的差异性对所述SSD模型进行联合优化。
2.根据权利要求1所述的方法，其特征在于，所述对所述当前设备产生图片以及其中标注的目标信息进行预处理，包括：
通过预设操作进行图像数据增强；
将所述图像数据的尺寸处理成预设的尺寸；
对所述图像数据进行归一化处理；
利用数据集中预先计算好的均值和方差将所述图片数据的像素的范围调整到[-1，1]。
3.根据权利要求2所述的方法，其特征在于，所述像素的范围的计算公式为：
Figure FDA0002319425460000011
其中，channel指原始图片中R、G、B三个颜色通道，mean，std为基于数据计算出的每个通道的均值和方差。
4.根据权利要求1所述的方法，其特征在于，所述利用所述处理后的数据训练SSD模型，包括：
通过卷积神经网络提取图像的特征，并通过多层神经网络提取多尺度特征，通过在不同尺度的特征图作卷积，以计算目标类别和边框特征。
5.根据权利要求1所述的方法，其特征在于，所述差异性衡量公式：
Figure FDA0002319425460000012
其中，其中P(i)和Q(i)分别代表两个不同模型的参数分布。
6.一种面向移动终端的去中心化目标检测模型训练系统，其特征在于，包括：
数据获取模块，用于获取当前设备产生图片以及其中标注的目标信息；
数据预处理模块，用于对所述当前设备产生图片以及其中标注的目标信息进行预处理，得到处理后的数据；
分布式训练模块，用于利用所述处理后的数据训练SSD模型；
联合优化模块，用于并通过基于K-L散度衡量模型间的差异性对所述SSD模型进行联合优化。
7.根据权利要求6所述的系统，其特征在于，所述数据预处理模块进一步用于通过预设操作进行图像数据增强，将所述图像数据的尺寸处理成预设的尺寸，对所述图像数据进行归一化处理，利用数据集中预先计算好的均值和方差将所述图片数据的像素的范围调整到[-1，1]。
8.根据权利要求7所述的系统，其特征在于，所述像素的范围的计算公式为：
Figure FDA0002319425460000021
其中，channel指原始图片中R、G、B三个颜色通道，mean，std为基于数据计算出的每个通道的均值和方差。
9.根据权利要求6所述的系统，其特征在于，所述数据训练模块进一步用于通过卷积神经网络提取图像的特征，并通过多层神经网络提取多尺度特征，通过在不同尺度的特征图作卷积，以计算目标类别和边框特征。
10.根据权利要求6所述的系统，其特征在于，所述差异性衡量公式：
Figure FDA0002319425460000022
其中，其中P(i)和Q(i)分别代表两个不同模型的参数分布。
CN201911292204.6A 2019-12-16 2019-12-16 面向移动终端的去中心化目标检测模型训练方法及系统 Pending CN111178503A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911292204.6A CN111178503A (zh) 2019-12-16 2019-12-16 面向移动终端的去中心化目标检测模型训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911292204.6A CN111178503A (zh) 2019-12-16 2019-12-16 面向移动终端的去中心化目标检测模型训练方法及系统

Publications (1)

Publication Number Publication Date
CN111178503A true CN111178503A (zh) 2020-05-19

Family

ID=70657234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911292204.6A Pending CN111178503A (zh) 2019-12-16 2019-12-16 面向移动终端的去中心化目标检测模型训练方法及系统

Country Status (1)

Country Link
CN (1) CN111178503A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738438A (zh) * 2020-07-17 2020-10-02 支付宝(杭州)信息技术有限公司 图神经网络模型训练方法、装置及系统
CN111967667A (zh) * 2020-08-17 2020-11-20 交控科技股份有限公司 一种轨道交通分布式运维方法及系统
CN113935390A (zh) * 2020-06-29 2022-01-14 中兴通讯股份有限公司 数据处理方法、系统、设备及存储介质
CN114650288A (zh) * 2020-12-02 2022-06-21 中国科学院深圳先进技术研究院 分布式训练方法及系统、终端设备、计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844627A (zh) * 2016-03-21 2016-08-10 华中科技大学 一种基于卷积神经网络的海面目标图像背景抑制方法
CN109492753A (zh) * 2018-11-05 2019-03-19 中山大学 一种去中心化的随机梯度下降的方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844627A (zh) * 2016-03-21 2016-08-10 华中科技大学 一种基于卷积神经网络的海面目标图像背景抑制方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN109492753A (zh) * 2018-11-05 2019-03-19 中山大学 一种去中心化的随机梯度下降的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PEIHUA YU ET AL. *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935390A (zh) * 2020-06-29 2022-01-14 中兴通讯股份有限公司 数据处理方法、系统、设备及存储介质
CN111738438A (zh) * 2020-07-17 2020-10-02 支付宝(杭州)信息技术有限公司 图神经网络模型训练方法、装置及系统
CN111967667A (zh) * 2020-08-17 2020-11-20 交控科技股份有限公司 一种轨道交通分布式运维方法及系统
CN111967667B (zh) * 2020-08-17 2024-03-01 交控科技股份有限公司 一种轨道交通分布式运维方法及系统
CN114650288A (zh) * 2020-12-02 2022-06-21 中国科学院深圳先进技术研究院 分布式训练方法及系统、终端设备、计算机可读存储介质
CN114650288B (zh) * 2020-12-02 2024-03-08 中国科学院深圳先进技术研究院 分布式训练方法及系统、终端设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111178503A (zh) 面向移动终端的去中心化目标检测模型训练方法及系统
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN109886997B (zh) 基于目标检测的识别框确定方法、装置及终端设备
CN106157307B (zh) 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN109360178B (zh) 基于融合图像的无参考立体图像质量评价方法
CN111199214B (zh) 一种残差网络多光谱图像地物分类方法
CN107886507B (zh) 一种基于图像背景和空间位置的显著区域检测方法
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
US9064309B2 (en) Automatic rectification of distortions in images
CN110399820B (zh) 一种公路路边景物视觉识别分析方法
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN109766896B (zh) 一种相似度度量方法、装置、设备和存储介质
CN108334831A (zh) 一种监测图像处理方法、监测终端及系统
CN111192206A (zh) 一种提高图像清晰度的方法
CN111310821A (zh) 多视图特征融合方法、系统、计算机设备及存储介质
Li et al. Recent advances and challenges in video quality assessment
Jeong et al. Visual comfort assessment of stereoscopic images using deep visual and disparity features based on human attention
CN110866453B (zh) 基于卷积神经网络的实时人群稳定状态识别方法及装置
CN115147705A (zh) 人脸翻拍检测方法、装置、电子设备及存储介质
Pang et al. Federated learning for crowd counting in smart surveillance systems
CN114782714A (zh) 一种基于上下文信息融合的图像匹配方法及装置
CN117392508A (zh) 一种基于坐标注意力机制的目标检测方法和装置
CN111126177A (zh) 人数统计的方法及装置
CN113705304A (zh) 一种图像处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200519

WD01 Invention patent application deemed withdrawn after publication