CN112163635B - 基于深度学习的图像分类方法、装置、服务器及介质 - Google Patents
基于深度学习的图像分类方法、装置、服务器及介质 Download PDFInfo
- Publication number
- CN112163635B CN112163635B CN202011099982.6A CN202011099982A CN112163635B CN 112163635 B CN112163635 B CN 112163635B CN 202011099982 A CN202011099982 A CN 202011099982A CN 112163635 B CN112163635 B CN 112163635B
- Authority
- CN
- China
- Prior art keywords
- classification model
- server
- classification
- image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000013145 classification model Methods 0.000 claims abstract description 313
- 238000012549 training Methods 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及智能决策，揭露一种基于深度学习的图像分类方法，包括：构建第一分类模型，训练第一分类模型得到调整后的第一分类模型，将第一样本输入调整后的第一分类模型得到第一特征数据；对第一分类模型的结构进行压缩处理得到第二分类模型，将第一特征数据及第二分类模型发送给各个第二服务器，接收各个第二服务器反馈的第二参数，基于第二参数得到更新后的第一分类模型，训练更新后的第一分类模型得到目标分类模型；将待分类图像输入目标分类模型得到图像分类结果。本发明还提供一种图像分类装置、服务器及介质。本发明提高了模型训练效率、提升了图像分类准确度。
Description
技术领域
本发明涉及智能决策领域，尤其涉及一种基于深度学习的图像分类方法、装置、服务器及介质。
背景技术
随着人工智能的发展，深度学习的应用愈加广泛。例如，某大型银行联合多家小型银行通过深度学习训练一个公用分类模型以实现对图像分类，各家银行本地数据库以图像形式存储了用户数据(用户办理业务时留存的证件图像、现场采集的图像、业务内容图像、回执图像等)。
深度学习时，由于每个小型银行对应的模型都比较庞大，从而对小型银行的算力要求较高，而大型银行潜在的算力又得不到充分的利用，从而使得模型训练效率低、训练得到的模型参数不准确，导致公有分类模型的图像分类准确度不高。因此，亟需一种基于深度学习的图像分类方法，以提高模型训练效率、提升图像分类准确度。
发明内容
鉴于以上内容，有必要提供一种基于深度学习的图像分类方法，旨在提高模型训练效率、提升图像分类准确度。
本发明提供的基于深度学习的图像分类方法，应用于第一服务器，所述第一服务器与多个第二服务器通信连接，所述方法包括：
获取各个所述第二服务器的公有图像数据，将所述公有图像数据作为第一样本，将各个所述第二服务器的私有图像数据作为第二样本；
构建第一分类模型，利用所述第一样本对所述第一分类模型进行训练，确定所述第一分类模型的第一参数，得到调整后的第一分类模型，将所述第一样本输入所述调整后的第一分类模型得到第一特征数据；
对所述第一分类模型的结构进行压缩处理得到第二分类模型，将所述第一特征数据及所述第二分类模型发送给各个所述第二服务器，接收各个所述第二服务器基于所述第一特征数据及所述第二样本训练所述第二分类模型得到的第二参数，基于所述第一参数及所述第二参数确定所述调整后的第一分类模型的第三参数，得到更新后的第一分类模型，利用所述第一样本训练所述更新后的第一分类模型得到目标分类模型；
解析用户基于客户端发出的图像分类请求，获取所述图像分类请求携带的待分类图像，将所述待分类图像输入所述目标分类模型得到图像分类结果；
其中，所述第一分类模型包括特征提取区和图像分类区，所述特征提取区包括多层网络，每层所述网络包括多个通道，所述对所述第一分类模型的结构进行压缩处理得到第二分类模型包括：按照所述第二服务器的数量对所述第一分类模型中每层所述网络的通道数进行压缩，得到所述第二分类模型；
所述将所述第一样本输入所述调整后的第一分类模型得到第一特征数据包括：将所述第一样本输入所述调整后的第一分类模型的所述特征提取区，得到第一特征图，对所述第一特征图进行降维处理得到第二特征图；将所述调整后的第一分类模型的所述特征提取区中输出同样尺寸特征图的网络的集合作为第一网络集，将所述第一网络集中的所述网络两两组合，得到多个第一组合对，基于所述第一特征图计算每个所述第一组合对中两层网络的各个通道的第一相关系数值，得到各个所述第一组合对对应的第一相关系数矩阵；将所述第二特征图及所述第一相关系数矩阵作为第一特征数据。
本发明还提供一种应用于第二服务器的基于深度学习的图像分类方法，所述第一服务器用于实现上述的基于深度学习的图像分类方法，所述第二服务器与第一服务器通信连接，所述应用于第二服务器的基于深度学习的图像分类方法包括：
接收第一特征数据及第二分类模型，所述第一特征数据包括第二特征图及第一相关系数矩阵；
将第二样本输入所述第二分类模型的特征提取区得到第三特征图，求解所述第二特征图与所述第三特征图的相似度损失值；
将所述第三特征图输入所述第二分类模型的图像分类区得到所述第二样本的预测类别，基于所述第二样本的标注信息获取所述第二样本的真实类别，求解所述预测类别与真实类别的误差损失值；
依照第一网络集及第一组合对的分组方式，对所述第二分类模型的特征提取区进行划分得到多个第二网络集及各个所述第二网络集对应的多个第二组合对，基于所述第三特征图计算每个所述第二组合对中两层网络的各个通道的第二相关系数值，得到各个所述第二组合对对应的第二相关系数矩阵，基于所述第一相关系数矩阵及所述第二相关系数矩阵求解相关系数损失值；
通过最小化所述相似度损失值、所述误差损失值及所述相关系数损失值确定所述第二分类模型的第二参数，得到训练后的第二分类模型，并将所述第二参数发送给所述第一服务器。
为了解决上述问题，本发明还提供一种图像分类装置，用于实现上述的基于深度学习的图像分类方法，所述装置包括：
获取模块，用于获取各个所述第二服务器的公有图像数据，将所述公有图像数据作为第一样本，将各个所述第二服务器的私有图像数据作为第二样本；
构建模块，用于构建第一分类模型，利用所述第一样本对所述第一分类模型进行训练，确定所述第一分类模型的第一参数，得到调整后的第一分类模型，将所述第一样本输入所述调整后的第一分类模型得到第一特征数据；
训练模块，用于对所述第一分类模型的结构进行压缩处理得到第二分类模型，将所述第一特征数据及所述第二分类模型发送给各个所述第二服务器，接收各个所述第二服务器基于所述第一特征数据及所述第二样本训练所述第二分类模型得到的第二参数，基于所述第一参数及所述第二参数确定所述调整后的第一分类模型的第三参数，得到更新后的第一分类模型，利用所述第一样本训练所述更新后的第一分类模型得到目标分类模型；
分类模块，用于解析用户基于客户端发出的图像分类请求，获取所述图像分类请求携带的待分类图像，将所述待分类图像输入所述目标分类模型得到图像分类结果。
为了解决上述问题，本发明还提供一种服务器，所述服务器包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的图像分类程序，所述图像分类程序被所述至少一个处理器执行时实现如下步骤：
获取各个所述第二服务器的公有图像数据，将所述公有图像数据作为第一样本，将各个所述第二服务器的私有图像数据作为第二样本；
构建第一分类模型，利用所述第一样本对所述第一分类模型进行训练，确定所述第一分类模型的第一参数，得到调整后的第一分类模型，将所述第一样本输入所述调整后的第一分类模型得到第一特征数据；
对所述第一分类模型的结构进行压缩处理得到第二分类模型，将所述第一特征数据及所述第二分类模型发送给各个所述第二服务器，接收各个所述第二服务器基于所述第一特征数据及所述第二样本训练所述第二分类模型得到的第二参数，基于所述第一参数及所述第二参数确定所述调整后的第一分类模型的第三参数，得到更新后的第一分类模型，利用所述第一样本训练所述更新后的第一分类模型得到目标分类模型；
解析用户基于客户端发出的图像分类请求，获取所述图像分类请求携带的待分类图像，将所述待分类图像输入所述目标分类模型得到图像分类结果；
其中，所述第一分类模型包括特征提取区和图像分类区，所述特征提取区包括多层网络，每层所述网络包括多个通道，所述对所述第一分类模型的结构进行压缩处理得到第二分类模型包括：按照所述第二服务器的数量对所述第一分类模型中每层所述网络的通道数进行压缩，得到所述第二分类模型；
所述将所述第一样本输入所述调整后的第一分类模型得到第一特征数据包括：将所述第一样本输入所述调整后的第一分类模型的所述特征提取区，得到第一特征图，对所述第一特征图进行降维处理得到第二特征图；将所述调整后的第一分类模型的所述特征提取区中输出同样尺寸特征图的网络的集合作为第一网络集，将所述第一网络集中的所述网络两两组合，得到多个第一组合对，基于所述第一特征图计算每个所述第一组合对中两层网络的各个通道的第一相关系数值，得到各个所述第一组合对对应的第一相关系数矩阵；将所述第二特征图及所述第一相关系数矩阵作为第一特征数据。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像分类程序，所述图像分类程序被一个或者多个处理器执行时实现如下步骤：
获取各个所述第二服务器的公有图像数据，将所述公有图像数据作为第一样本，将各个所述第二服务器的私有图像数据作为第二样本；
构建第一分类模型，利用所述第一样本对所述第一分类模型进行训练，确定所述第一分类模型的第一参数，得到调整后的第一分类模型，将所述第一样本输入所述调整后的第一分类模型得到第一特征数据；
对所述第一分类模型的结构进行压缩处理得到第二分类模型，将所述第一特征数据及所述第二分类模型发送给各个所述第二服务器，接收各个所述第二服务器基于所述第一特征数据及所述第二样本训练所述第二分类模型得到的第二参数，基于所述第一参数及所述第二参数确定所述调整后的第一分类模型的第三参数，得到更新后的第一分类模型，利用所述第一样本训练所述更新后的第一分类模型得到目标分类模型；
解析用户基于客户端发出的图像分类请求，获取所述图像分类请求携带的待分类图像，将所述待分类图像输入所述目标分类模型得到图像分类结果；
其中，所述第一分类模型包括特征提取区和图像分类区，所述特征提取区包括多层网络，每层所述网络包括多个通道，所述对所述第一分类模型的结构进行压缩处理得到第二分类模型包括：按照所述第二服务器的数量对所述第一分类模型中每层所述网络的通道数进行压缩，得到所述第二分类模型；
所述将所述第一样本输入所述调整后的第一分类模型得到第一特征数据包括：将所述第一样本输入所述调整后的第一分类模型的所述特征提取区，得到第一特征图，对所述第一特征图进行降维处理得到第二特征图；将所述调整后的第一分类模型的所述特征提取区中输出同样尺寸特征图的网络的集合作为第一网络集，将所述第一网络集中的所述网络两两组合，得到多个第一组合对，基于所述第一特征图计算每个所述第一组合对中两层网络的各个通道的第一相关系数值，得到各个所述第一组合对对应的第一相关系数矩阵；将所述第二特征图及所述第一相关系数矩阵作为第一特征数据。
相较现有技术，本发明首先构建第一分类模型，利用第一样本训练第一分类模型得到调整后的第一分类模型，将第一样本输入调整后的第一分类模型得到第一特征数据，将第一特征数据和对第一分类模型压缩处理得到的第二分类模型发送给各个第二服务器，本步骤为第一服务器和第二服务器分别构建了结构不同的分类模型，使得各自的算力可以充分发挥，可使后续的训练效率更高；接着，接收各个第二服务器基于第一特征数据及第二样本训练第二分类模型得到的第二参数，基于第一参数及第二参数确定调整后的第一分类模型的第三参数，得到更新后的第一分类模型，本步骤中各个第二服务器利用其本地数据训练模型得到各自的第二参数并反馈给第一服务器，第一服务器根据各个第二参数更新第一分类模型，因参与训练的数据更为丰富，得到的更新后的第一分类模型的分类准确度更高；最后，利用第一样本训练更新后的第一分类模型得到目标分类模型。因此，本发明提高了模型训练效率、提升了图像分类准确度。
附图说明
图1为本发明一实施例提供的基于深度学习的图像分类方法的流程示意图；
图2为本发明另一实施例提供的基于深度学习的图像分类方法的流程示意图；
图3为本发明一实施例提供的图像分类装置的模块示意图；
图4为本发明另一实施例提供的图像分类装置的模块示意图；
图5为本发明一实施例提供的包括第一服务器和第二服务器的图像分类系统；
图6为本发明一实施例提供的第一服务器的结构示意图；
图7为本发明一实施例提供的第二服务器的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种基于深度学习的图像分类方法。参照图1所示，为本发明一实施例提供的基于深度学习的图像分类方法的流程示意图。
本实施例中，基于深度学习的图像分类方法，应用于第一服务器，所述第一服务器与多个第二服务器通信连接，所述基于深度学习的图像分类方法包括：
S1、获取各个所述第二服务器的公有图像数据，将所述公有图像数据作为第一样本，将各个所述第二服务器的私有图像数据作为第二样本。
本实施例中，第一服务器对应大型银行，第二服务器对应小型银行，为实现对用户办理业务时所产生的图像数据进行分类，第一服务器与各个第二服务器联合建模，共同训练得到一个公有图像分类模型。
所述获取各个所述第二服务器的公有图像数据，包括：
A1、接收各个所述第二服务器发送的其本地存储的各个图像标识的哈希值集合；
A2、求解所述哈希值集合的交集，得到公有图像标识的哈希值，将所述公有图像标识的哈希值发送给各个所述第二服务器；
A3、接收各个所述第二服务器基于所述公有图像标识的哈希值反馈的采用RSA密钥对中的私钥加密的公有图像数据密文，采用所述RSA密钥对中的公钥解密所述数据密文得到所述公有图像数据。
本实施例中，所述图像标识对应用户ID，每个用户在办理业务时所产生的图像数据标注有用户ID，所述用户ID可以是用户的手机号码，也可以是用户的身份证号码。确定公有图像数据时，通过对各个图像标识进行哈希运算实现了对图像标识的重新编码，增加了图像标识的安全性。
所述哈希函数的计算公式为：
yij＝axij+b
其中，xij为第i个第二服务器中第j个图像标识的key值，a、b为常数，yij为第i个第二服务器中第j个图像标识的哈希值。
各个第二服务器将公有图像数据加密后传输给第一服务器，保证了传输安全性。
S2、构建第一分类模型，利用所述第一样本对所述第一分类模型进行训练，确定所述第一分类模型的第一参数，得到调整后的第一分类模型，将所述第一样本输入所述调整后的第一分类模型得到第一特征数据；
S3、对所述第一分类模型的结构进行压缩处理得到第二分类模型，将所述第一特征数据及所述第二分类模型发送给各个所述第二服务器，接收各个所述第二服务器基于所述第一特征数据及所述第二样本训练所述第二分类模型得到的第二参数，基于所述第一参数及所述第二参数确定所述调整后的第一分类模型的第三参数，得到更新后的第一分类模型，利用所述第一样本训练所述更新后的第一分类模型得到目标分类模型。
本实施例中，所述第一分类模型为重量级的深度神经网络模型，包括特征提取区和图像分类区，特征提取区包括多层网络，每层网络包括多个通道。所述第二分类模型为轻量级的深度神经网络模型。
所述对所述第一分类模型的结构进行压缩处理得到第二分类模型包括：按照第二服务器的数量对所述第一分类模型中每层网络的通道数进行压缩，得到第二分类模型。
第二分类模型中每层网络的通道数为Cn：
Cn＝Ct/n
其中，Ct为第一分类模型中每层网络的通道数，n为第二服务器的数量。
通过为第一服务器配置重量级的深度神经网络模型、对第二服务器配置轻量级的深度神经网络模型，充分考虑到了各个服务器的算力，使得后续的训练更为通畅，训练效率更高。
采用第一样本训练第一分类模型直到模型收敛得到调整后的第一分类模型。
本实施例中，所述将所述第一样本输入所述调整后的第一分类模型得到第一特征数据包括：
B1、将所述第一样本输入所述调整后的第一分类模型的所述特征提取区，得到第一特征图，对所述第一特征图进行降维处理得到第二特征图；
为降低通信开销，本实施例对第一特征图进行降维处理得到第二特征图，本实施例通过1*1的卷积核对第一特征图进行卷积操作实现对第一特征图的降维。
B2、将所述调整后的第一分类模型的所述特征提取区中输出同样尺寸特征图的网络的集合作为第一网络集，将所述第一网络集中的所述网络两两组合，得到多个第一组合对，基于所述第一特征图计算每个所述第一组合对中两层网络的各个通道的第一相关系数值，得到各个所述第一组合对对应的第一相关系数矩阵；
特征图经过卷积核计算后通常是越变越小的，有的网络层未进行卷积计算，这些网络层的输出和输入是同样大小的，本实施例中，将输出相同大小特征图的网络层作为一个网络集，所述网络集中的每两层网络形成一个组合对。
所述相关系数值的计算公式为：
其中，Fij1(x,y,a)为第一分类模型的第i个第一网络集中第j个第一组合对中第1个网络层对应的第一特征图中第x行第y列像素点的第a个通道的特征值，Fij2(x,y,a)为第一分类模型的第i个第一网络集中第j个第一组合对中第2个网络层对应的第一特征图中第x行第y列像素点的第b个通道的特征值，r(Fij1,Fij2,a,b)为第一分类模型的第i个第一网络集中第j个第一组合对中第1个网络层对应的第一特征图中第x行第y列像素点的第a个通道与第i个第一网络集中第j个第一组合对中第2个网络层对应的第一特征图中第x行第y列像素点的第b个通道的第一相关系数值。
求解每个第一组合对中两层网络的各个通道对应的第一相关系数值，得到每个第一组合对对应的第一相关系数矩阵。
B3、将所述第二特征图及所述第一相关系数矩阵作为第一特征数据。
本实施例中，所述第三参数的计算公式为：
其中，Z为第三参数，Q为第一参数，a为第二分类模型对应的权重参数，W1*1为1*1的卷积操作，Ri为第i个第二服务器对应的第二参数，r为第二服务器的数量。
本实施例中，所述基于所述第一样本训练所述更新后的第一分类模型得到目标分类模型，包括：
将所述第一样本输入所述更新后的第一分类模型，得到所述第一样本的预测类别，基于所述第一样本的标注信息获取所述第一样本的真实类别，通过最小化所述第一样本的预测类别与真实类别之间的损失值确定所述第一分类模型的目标参数，得到目标分类模型。
所述第一样本的预测类别与真实类别之间的损失值的计算公式为：
其中，qmn为第一样本中第m个子样本的预测类别，pmn为第一样本中第m个子样本的真实类别，loss(qmn,pmn)为第一样本中第m个子样本的预测类别和真实类别之间的损失值，c为第一样本中子样本的总数量。
S4、解析用户基于客户端发出的图像分类请求，获取所述图像分类请求携带的待分类图像，将所述待分类图像输入所述目标分类模型得到图像分类结果。
由上述实施例可知，本发明提出的基于深度学习的图像分类方法，首先，构建第一分类模型，利用第一样本训练第一分类模型得到调整后的第一分类模型，将第一样本输入调整后的第一分类模型得到第一特征数据，将第一特征数据和对第一分类模型压缩处理得到的第二分类模型发送给各个第二服务器，本步骤为第一服务器和第二服务器分别构建了结构不同的分类模型，使得各自的算力可以充分发挥，可使后续的训练效率更高；接着，接收各个第二服务器基于第一特征数据及第二样本训练第二分类模型得到的第二参数，基于第一参数及第二参数确定调整后的第一分类模型的第三参数，得到更新后的第一分类模型，本步骤中各个第二服务器利用其本地数据训练模型得到各自的第二参数并反馈给第一服务器，第一服务器根据各个第二参数更新第一分类模型，因参与训练的数据更为丰富，得到的更新后的第一分类模型的分类准确度更高；最后，利用第一样本训练更新后的第一分类模型得到目标分类模型。因此，本发明提高了模型训练效率、提升了图像分类准确度。
参照图2所示，为本发明另一实施例提供的基于深度学习的图像分类方法的流程示意图。
本实施例中，基于深度学习的图像分类方法，应用于第二服务器，所述第二服务器与第一服务器通信连接，所述方法包括：
S11、接收第一特征数据及第二分类模型，所述第一特征数据包括第二特征图及第一相关系数矩阵；
S12、将第二样本输入所述第二分类模型的特征提取区得到第三特征图，求解所述第二特征图与所述第三特征图的相似度损失值；
所述相似度损失值的计算公式为：
其中，tk(x,y)为第二分类模型的第k层网络对应的第三特征图第x行第y列像素点的特征值，sk(x,y)为调整后的第一分类模型的第k层网络对应的第二特征图第x行第y列像素点的特征值，||||2为求解L2范数，Lsim为第二特征图与第三特征图的相似度损失值。
S13、将所述第三特征图输入所述第二分类模型的图像分类区得到所述第二样本的预测类别，基于所述第二样本的标注信息获取所述第二样本的真实类别，求解所述预测类别与真实类别的误差损失值；
其中，Pi为第二样本中第i个子样本的真实类别，Qi为第二样本中第i个子样本的预测类别，s为第二样本中子样本的数量，Ltask为第二样本的误差损失值。
S14、依照第一网络集及第一组合对的分组方式，对所述第二分类模型的特征提取区进行划分得到多个第二网络集及各个所述第二网络集对应的多个第二组合对，基于所述第三特征图计算每个所述第二组合对中两层网络的各个通道的第二相关系数值，得到各个所述第二组合对对应的第二相关系数矩阵，基于所述第一相关系数矩阵及所述第二相关系数矩阵求解相关系数损失值；
所述相关系数损失值的计算公式为：
其中，Gij为第二分类模型的第i个第二网络集中第j个第二组合对对应的第二相关系数矩阵，Tij为第一分类模型的第i个第一网络集中第j个第一组合对对应的第一相关系数矩阵，m为第一或第二组合对的数量，n为第一或第二网络的数量，λj为第j个第一或第二网络集对应的权重参数，LFSP为相关系数损失值。
因第一分类模型和第二分类模型的网络层数相同，只是通道数不同，而本实施例仅对网络层进行分组，故而分组后得到的第一网络集的数量与第二网络集的数量相同，各个网络集对应的组合对的数量也相同。
S15、通过最小化所述相似度损失值、所述误差损失值及所述相关系数损失值确定所述第二分类模型的第二参数，得到训练后的第二分类模型，并将所述第二参数发送给所述第一服务器。
如图3所示，为本发明一实施例提供的图像分类装置的模块示意图。
本发明所述图像分类装置100安装于第一服务器中。根据实现的功能，所述图像分类装置100可以包括获取模块110、构建模块120、训练模块130及分类模块140。本发明所述模块也可以称之为单元，是指一种能够被第一服务器的处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在第一服务器的存储器中。
在本实施例中，关于各模块/单元的功能如下：
获取模块110，用于获取各个所述第二服务器的公有图像数据，将所述公有图像数据作为第一样本，将各个所述第二服务器的私有图像数据作为第二样本。
本实施例中，第一服务器对应大型银行，第二服务器对应小型银行，为实现对用户办理业务时所产生的图像数据进行分类，第一服务器与各个第二服务器联合建模，共同训练得到一个公有图像分类模型。
所述获取各个所述第二服务器的公有图像数据，包括：
A1、接收各个所述第二服务器发送的其本地存储的各个图像标识的哈希值集合；
A2、求解所述哈希值集合的交集，得到公有图像标识的哈希值，将所述公有图像标识的哈希值发送给各个所述第二服务器；
A3、接收各个所述第二服务器基于所述公有图像标识的哈希值反馈的采用RSA密钥对中的私钥加密的公有图像数据密文，采用所述RSA密钥对中的公钥解密所述数据密文得到所述公有图像数据。
本实施例中，所述图像标识对应用户ID，每个用户在办理业务时所产生的图像数据标注有用户ID，所述用户ID可以是用户的手机号码，也可以是用户的身份证号码。确定公有图像数据时，通过对各个图像标识进行哈希运算实现了对图像标识的重新编码，增加了图像标识的安全性。
所述哈希函数的计算公式为：
yij＝axij+b
其中，xij为第i个第二服务器中第j个图像标识的key值，a、b为常数，yij为第i个第二服务器中第j个图像标识的哈希值。
各个第二服务器将公有图像数据加密后传输给第一服务器，保证了传输安全性。
构建模块120，用于构建第一分类模型，利用所述第一样本对所述第一分类模型进行训练，确定所述第一分类模型的第一参数，得到调整后的第一分类模型，将所述第一样本输入所述调整后的第一分类模型得到第一特征数据；
训练模块130，用于对所述第一分类模型的结构进行压缩处理得到第二分类模型，将所述第一特征数据及所述第二分类模型发送给各个所述第二服务器，接收各个所述第二服务器基于所述第一特征数据及所述第二样本训练所述第二分类模型得到的第二参数，基于所述第一参数及所述第二参数确定所述调整后的第一分类模型的第三参数，得到更新后的第一分类模型，利用所述第一样本训练所述更新后的第一分类模型得到目标分类模型。
本实施例中，所述第一分类模型为重量级的深度神经网络模型，包括特征提取区和图像分类区，特征提取区包括多层网络，每层网络包括多个通道。所述第二分类模型为轻量级的深度神经网络模型。
所述对所述第一分类模型的结构进行压缩处理得到第二分类模型包括：按照第二服务器的数量对所述第一分类模型中每层网络的通道数进行压缩，得到第二分类模型。
第二分类模型中每层网络的通道数为Cn：
Cn＝Ct/n
其中，Ct为第一分类模型中每层网络的通道数，n为第二服务器的数量。
通过为第一服务器配置重量级的深度神经网络模型、对第二服务器配置轻量级的深度神经网络模型，充分考虑到了各个服务器的算力，使得后续的训练更为通畅，训练效率更高。
采用第一样本训练第一分类模型直到模型收敛得到调整后的第一分类模型。
本实施例中，所述将所述第一样本输入所述调整后的第一分类模型得到第一特征数据包括：
B1、将所述第一样本输入所述调整后的第一分类模型的所述特征提取区，得到第一特征图，对所述第一特征图进行降维处理得到第二特征图；
为降低通信开销，本实施例对第一特征图进行降维处理得到第二特征图，本实施例通过1*1的卷积核对第一特征图进行卷积操作实现对第一特征图的降维。
B2、将所述调整后的第一分类模型的所述特征提取区中输出同样尺寸特征图的网络的集合作为第一网络集，将所述第一网络集中的所述网络两两组合，得到多个第一组合对，基于所述第一特征图计算每个所述第一组合对中两层网络的各个通道的第一相关系数值，得到各个所述第一组合对对应的第一相关系数矩阵；
特征图经过卷积核计算后通常是越变越小的，有的网络层未进行卷积计算，这些网络层的输出和输入是同样大小的，本实施例中，将输出相同大小特征图的网络层作为一个网络集，所述网络集中的每两层网络形成一个组合对。
所述相关系数值的计算公式为：
其中，Fij1(x,y,a)为第一分类模型的第i个第一网络集中第j个第一组合对中第1个网络层对应的第一特征图中第x行第y列像素点的第a个通道的特征值，Fij2(x,y,a)为第一分类模型的第i个第一网络集中第j个第一组合对中第2个网络层对应的第一特征图中第x行第y列像素点的第b个通道的特征值，r(Fij1,Fij2,a,b)为第一分类模型的第i个第一网络集中第j个第一组合对中第1个网络层对应的第一特征图中第x行第y列像素点的第a个通道与第i个第一网络集中第j个第一组合对中第2个网络层对应的第一特征图中第x行第y列像素点的第b个通道的第一相关系数值。
求解每个第一组合对中两层网络的各个通道对应的第一相关系数值，得到每个第一组合对对应的第一相关系数矩阵。
B3、将所述第二特征图及所述第一相关系数矩阵作为第一特征数据。
本实施例中，所述第三参数的计算公式为：
其中，Z为第三参数，Q为第一参数，a为第二分类模型对应的权重参数，W1*1为1*1的卷积操作，Ri为第i个第二服务器对应的第二参数，r为第二服务器的数量。
本实施例中，所述基于所述第一样本训练所述更新后的第一分类模型得到目标分类模型，包括：
将所述第一样本输入所述更新后的第一分类模型，得到所述第一样本的预测类别，基于所述第一样本的标注信息获取所述第一样本的真实类别，通过最小化所述第一样本的预测类别与真实类别之间的损失值确定所述第一分类模型的目标参数，得到目标分类模型。
所述第一样本的预测类别与真实类别之间的损失值的计算公式为：
其中，qmn为第一样本中第m个子样本的预测类别，pmn为第一样本中第m个子样本的真实类别，loss(qmn,pmn)为第一样本中第m个子样本的预测类别和真实类别之间的损失值，c为第一样本中子样本的总数量。
分类模块140，用于解析用户基于客户端发出的图像分类请求，获取所述图像分类请求携带的待分类图像，将所述待分类图像输入所述目标分类模型得到图像分类结果。
如图4所示，为本发明另一实施例提供的图像分类装置的模块示意图。
本发明所述图像分类装置200安装于第二服务器中。根据实现的功能，所述图像分类装置200可以包括接收模块210、第一求解模块220、第二求解模块230、第三求解模块240及确定模块250。本发明所述模块也可以称之为单元，是指一种能够被第一服务器的处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在第一服务器的存储器中。
在本实施例中，关于各模块/单元的功能如下：
接收模块210，用于接收第一特征数据及第二分类模型，所述第一特征数据包括第二特征图及第一相关系数矩阵；
第一求解模块220，用于将第二样本输入所述第二分类模型的特征提取区得到第三特征图，求解所述第二特征图与所述第三特征图的相似度损失值；
所述相似度损失值的计算公式为：
其中，tk(x,y)为第二分类模型的第k层网络对应的第三特征图第x行第y列像素点的特征值，sk(x,y)为调整后的第一分类模型的第k层网络对应的第二特征图第x行第y列像素点的特征值，||||2为求解L2范数，Lsim为第二特征图与第三特征图的相似度损失值。
第二求解模块230，用于将所述第三特征图输入所述第二分类模型的图像分类区得到所述第二样本的预测类别，基于所述第二样本的标注信息获取所述第二样本的真实类别，求解所述预测类别与真实类别的误差损失值；
其中，Pi为第二样本中第i个子样本的真实类别，Qi为第二样本中第i个子样本的预测类别，s为第二样本中子样本的数量，Ltask为第二样本的误差损失值。
第三求解模块240，用于依照第一网络集及第一组合对的分组方式，对所述第二分类模型的特征提取区进行划分得到多个第二网络集及各个所述第二网络集对应的多个第二组合对，基于所述第三特征图计算每个所述第二组合对中两层网络的各个通道的第二相关系数值，得到各个所述第二组合对对应的第二相关系数矩阵，基于所述第一相关系数矩阵及所述第二相关系数矩阵求解相关系数损失值；
所述相关系数损失值的计算公式为：
其中，Gij为第二分类模型的第i个第二网络集中第j个第二组合对对应的第二相关系数矩阵，Tij为第一分类模型的第i个第一网络集中第j个第一组合对对应的第一相关系数矩阵，m为第一或第二组合对的数量，n为第一或第二网络的数量，λj为第j个第一或第二网络集对应的权重参数，LFSP为相关系数损失值。
因第一分类模型和第二分类模型的网络层数相同，只是通道数不同，而本实施例仅对网络层进行分组，故而分组后得到的第一网络集的数量与第二网络集的数量相同，各个网络集对应的组合对的数量也相同。
确定模块250，用于通过最小化所述相似度损失值、所述误差损失值及所述相关系数损失值确定所述第二分类模型的第二参数，得到训练后的第二分类模型，并将所述第二参数发送给所述第一服务器。
如图5所示，为本发明一实施例提供的包括第一服务器和第二服务器的图像分类系统。本实施例中，第一服务器1与多个第二服务器2通信连接。
第一服务器1和第二服务器2可以是机架式服务器、刀片式服务器、塔式服务器或者机柜式服务器等计算设备，第一服务器1和第二服务器2可以是独立的服务器，也可以是多个服务器所组成的服务器集群。
在本发明的一个实施例中，第一服务器1用于：
获取各个所述第二服务器2的公有图像数据，将所述公有图像数据作为第一样本，将各个所述第二服务器2的私有图像数据作为第二样本；
构建第一分类模型，利用所述第一样本对所述第一分类模型进行训练，确定所述第一分类模型的第一参数，得到调整后的第一分类模型，将所述第一样本输入所述调整后的第一分类模型得到第一特征数据；
对所述第一分类模型的结构进行压缩处理得到第二分类模型，将所述第一特征数据及所述第二分类模型发送给各个所述第二服务器2，接收各个所述第二服务器2基于所述第一特征数据及所述第二样本训练所述第二分类模型得到的第二参数，基于所述第一参数及所述第二参数确定所述调整后的第一分类模型的第三参数，得到更新后的第一分类模型，利用所述第一样本训练所述更新后的第一分类模型得到目标分类模型；
解析用户基于客户端发出的图像分类请求，获取所述图像分类请求携带的待分类图像，将所述待分类图像输入所述目标分类模型得到图像分类结果。
所述第二服务器2用于：
接收第一特征数据及第二分类模型，所述第一特征数据包括第二特征图及第一相关系数矩阵；
将第二样本输入所述第二分类模型的特征提取区得到第三特征图，求解所述第二特征图与所述第三特征图的相似度损失值；
将所述第三特征图输入所述第二分类模型的图像分类区得到所述第二样本的预测类别，基于所述第二样本的标注信息获取所述第二样本的真实类别，求解所述预测类别与真实类别的误差损失值；
依照第一网络集及第一组合对的分组方式，对所述第二分类模型的特征提取区进行划分得到多个第二网络集及各个所述第二网络集对应的多个第二组合对，基于所述第三特征图计算每个所述第二组合对中两层网络的各个通道的第二相关系数值，得到各个所述第二组合对对应的第二相关系数矩阵，基于所述第一相关系数矩阵及所述第二相关系数矩阵求解相关系数损失值；
通过最小化所述相似度损失值、所述误差损失值及所述相关系数损失值确定所述第二分类模型的第二参数，得到训练后的第二分类模型，并将所述第二参数发送给所述第一服务器1。
如图6所示，为本发明一实施例提供的实现基于深度学习的图像分类方法的第一服务器1的结构示意图。
在本实施例中，第一服务器1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有图像分类程序10，所述图像分类程序10可被所述处理器12执行。图6仅示出了具有组件11-13以及图像分类程序10的第一服务器1，本领域技术人员可以理解的是，图6示出的结构并不构成对第一服务器1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为第一服务器1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是第一服务器1的内部存储单元，例如该第一服务器1的硬盘；在另一些实施例中，该非易失性存储介质也可以是第一服务器1的外部存储设备，例如第一服务器1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于第一服务器1的操作系统和各类应用软件，例如存储本发明一实施例中的图像分类程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述第一服务器1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行图像分类程序10等。
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述第一服务器1与客户端(图中未画出)之间建立通信连接。
可选的，所述第一服务器1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在第一服务器1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述第一服务器1中的所述存储器11存储的图像分类程序10是多个指令的组合，在所述处理器12中运行时，可以实现：
获取各个所述第二服务器2的公有图像数据，将所述公有图像数据作为第一样本，将各个所述第二服务器2的私有图像数据作为第二样本；
构建第一分类模型，利用所述第一样本对所述第一分类模型进行训练，确定所述第一分类模型的第一参数，得到调整后的第一分类模型，将所述第一样本输入所述调整后的第一分类模型得到第一特征数据；
对所述第一分类模型的结构进行压缩处理得到第二分类模型，将所述第一特征数据及所述第二分类模型发送给各个所述第二服务器2，接收各个所述第二服务器2基于所述第一特征数据及所述第二样本训练所述第二分类模型得到的第二参数，基于所述第一参数及所述第二参数确定所述调整后的第一分类模型的第三参数，得到更新后的第一分类模型，利用所述第一样本训练所述更新后的第一分类模型得到目标分类模型；
解析用户基于客户端发出的图像分类请求，获取所述图像分类请求携带的待分类图像，将所述待分类图像输入所述目标分类模型得到图像分类结果。
具体地，所述处理器12对上述图像分类程序10的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。需要强调的是，为进一步保证上述待分类图像的私密和安全性，上述待分类图像还可以存储于一区块链的节点中。
如图7所示，为本发明一实施例提供的实现基于深度学习的图像分类方法的第二服务器2的结构示意图。
在本实施例中，第二服务器2包括，但不仅限于，可通过系统总线相互通信连接的存储器21、处理器22、网络接口23，该存储器21中存储有图像分类程序20，所述图像分类程序20可被所述处理器22执行。
所述第二服务器2中的所述存储器21存储的图像分类程序20是多个指令的组合，在所述处理器22中运行时，可以实现：
接收第一特征数据及第二分类模型，所述第一特征数据包括第二特征图及第一相关系数矩阵；
将第二样本输入所述第二分类模型的特征提取区得到第三特征图，求解所述第二特征图与所述第三特征图的相似度损失值；
将所述第三特征图输入所述第二分类模型的图像分类区得到所述第二样本的预测类别，基于所述第二样本的标注信息获取所述第二样本的真实类别，求解所述预测类别与真实类别的误差损失值；
依照第一网络集及第一组合对的分组方式，对所述第二分类模型的特征提取区进行划分得到多个第二网络集及各个所述第二网络集对应的多个第二组合对，基于所述第三特征图计算每个所述第二组合对中两层网络的各个通道的第二相关系数值，得到各个所述第二组合对对应的第二相关系数矩阵，基于所述第一相关系数矩阵及所述第二相关系数矩阵求解相关系数损失值；
通过最小化所述相似度损失值、所述误差损失值及所述相关系数损失值确定所述第二分类模型的第二参数，得到训练后的第二分类模型，并将所述第二参数发送给所述第一服务器1。
进一步地，所述第一服务器1和/或第二服务器2集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以是非易失性的，也可以是非易失性的。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
所述计算机可读存储介质上存储有图像分类程序10，所述图像分类程序10可被一个或者多个处理器执行，本发明计算机可读存储介质具体实施方式与上述图1所述的基于深度学习的图像分类方法各实施例基本相同。
进一步的，所述计算机可读存储介质上也可以存储图像分类程序20，所述图像分类程序20可被一个或者多个处理器执行，本发明计算机可读存储介质具体实施方式与上述图2所述的基于深度学习的图像分类方法各实施例基本相同，在此不作赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (8)
1.一种基于深度学习的图像分类方法，应用于第一服务器，所述第一服务器与多个第二服务器通信连接，其特征在于，所述方法包括：
获取各个所述第二服务器的公有图像数据，将所述公有图像数据作为第一样本，将各个所述第二服务器的私有图像数据作为第二样本；
构建第一分类模型，利用所述第一样本对所述第一分类模型进行训练，确定所述第一分类模型的第一参数，得到调整后的第一分类模型，将所述第一样本输入所述调整后的第一分类模型得到第一特征数据；
对所述第一分类模型的结构进行压缩处理得到第二分类模型，将所述第一特征数据及所述第二分类模型发送给各个所述第二服务器，接收各个所述第二服务器基于所述第一特征数据及所述第二样本训练所述第二分类模型得到的第二参数，基于所述第一参数及所述第二参数确定所述调整后的第一分类模型的第三参数，得到更新后的第一分类模型，利用所述第一样本训练所述更新后的第一分类模型得到目标分类模型；
解析用户基于客户端发出的图像分类请求，获取所述图像分类请求携带的待分类图像，将所述待分类图像输入所述目标分类模型得到图像分类结果；
其中，所述第一分类模型包括特征提取区和图像分类区，所述特征提取区包括多层网络，每层所述网络包括多个通道，所述对所述第一分类模型的结构进行压缩处理得到第二分类模型包括：按照所述第二服务器的数量对所述第一分类模型中每层所述网络的通道数进行压缩，得到所述第二分类模型；
所述将所述第一样本输入所述调整后的第一分类模型得到第一特征数据包括：将所述第一样本输入所述调整后的第一分类模型的所述特征提取区，得到第一特征图，对所述第一特征图进行降维处理得到第二特征图；将所述调整后的第一分类模型的所述特征提取区中输出同样尺寸特征图的网络的集合作为第一网络集，将所述第一网络集中的所述网络两两组合，得到多个第一组合对，基于所述第一特征图计算每个所述第一组合对中两层网络的各个通道的第一相关系数值，得到各个所述第一组合对对应的第一相关系数矩阵；将所述第二特征图及所述第一相关系数矩阵作为第一特征数据。
2.如权利要求1所述的基于深度学习的图像分类方法，其特征在于，所述第三参数的计算公式为：
其中，Z为第三参数，Q为第一参数，a为第二分类模型对应的权重参数，W1*1为1*1的卷积操作，Ri为第i个第二服务器对应的第二参数，r为第二服务器的数量。
3.如权利要求1所述的基于深度学习的图像分类方法，其特征在于，所述获取各个所述第二服务器的公有图像数据包括：
接收各个所述第二服务器发送的其本地存储的各个图像标识的哈希值集合；
求解所述哈希值集合的交集，得到公有图像标识的哈希值，将所述公有图像标识的哈希值发送给各个所述第二服务器；
接收各个所述第二服务器基于所述公有图像标识的哈希值反馈的采用RSA密钥对中的私钥加密的公有图像数据密文，采用所述RSA密钥对中的公钥解密所述数据密文得到所述公有图像数据。
4.一种应用于第二服务器的基于深度学习的图像分类方法，所述第二服务器与第一服务器通信连接，所述第一服务器用于实现如权利要求1至3任一项所述的基于深度学习的图像分类方法，其特征在于，所述应用于第二服务器的基于深度学习的图像分类方法包括：
接收第一特征数据及第二分类模型，所述第一特征数据包括第二特征图及第一相关系数矩阵；
将第二样本输入所述第二分类模型的特征提取区得到第三特征图，求解所述第二特征图与所述第三特征图的相似度损失值；
将所述第三特征图输入所述第二分类模型的图像分类区得到所述第二样本的预测类别，基于所述第二样本的标注信息获取所述第二样本的真实类别，求解所述预测类别与真实类别的误差损失值；
依照第一网络集及第一组合对的分组方式，对所述第二分类模型的特征提取区进行划分得到多个第二网络集及各个所述第二网络集对应的多个第二组合对，基于所述第三特征图计算每个所述第二组合对中两层网络的各个通道的第二相关系数值，得到各个所述第二组合对对应的第二相关系数矩阵，基于所述第一相关系数矩阵及所述第二相关系数矩阵求解相关系数损失值；
通过最小化所述相似度损失值、所述误差损失值及所述相关系数损失值确定所述第二分类模型的第二参数，得到训练后的第二分类模型，并将所述第二参数发送给所述第一服务器。
5.如权利要求4所述的应用于第二服务器的基于深度学习的图像分类方法，其特征在于，所述相似度损失值的计算公式为：
其中，tk(x,y)为第二分类模型的第k层网络对应的第三特征图第x行第y列像素点的特征值，sk(x,y)为调整后的第一分类模型的第k层网络对应的第二特征图第x行第y列像素点的特征值，||||2为求解L2范数，Lsim为第二特征图与第三特征图的相似度损失值；
所述预测类别与真实类别的误差损失值的计算公式为：
其中，Pi为第二样本中第i个子样本的真实类别，Qi为第二样本中第i个子样本的预测类别，s为第二样本中子样本的数量，Ltask为第二样本的误差损失值；
所述相关系数损失值的计算公式为：
其中，Gij为第二分类模型的第i个第二网络集中第j个第二组合对对应的第二相关系数矩阵，Tij为第一分类模型的第i个第一网络集中第j个第一组合对对应的第一相关系数矩阵，m为第一或第二组合对的数量，n为第一或第二网络集的数量，λj为第j个第一或第二网络集对应的权重参数，LFSP为相关系数损失值。
6.一种图像分类装置，用于实现如权利要求1至3任一项所述的基于深度学习的图像分类方法，其特征在于，所述装置包括：
获取模块，用于获取各个所述第二服务器的公有图像数据，将所述公有图像数据作为第一样本，将各个所述第二服务器的私有图像数据作为第二样本；
构建模块，用于构建第一分类模型，利用所述第一样本对所述第一分类模型进行训练，确定所述第一分类模型的第一参数，得到调整后的第一分类模型，将所述第一样本输入所述调整后的第一分类模型得到第一特征数据；
训练模块，用于对所述第一分类模型的结构进行压缩处理得到第二分类模型，将所述第一特征数据及所述第二分类模型发送给各个所述第二服务器，接收各个所述第二服务器基于所述第一特征数据及所述第二样本训练所述第二分类模型得到的第二参数，基于所述第一参数及所述第二参数确定所述调整后的第一分类模型的第三参数，得到更新后的第一分类模型，利用所述第一样本训练所述更新后的第一分类模型得到目标分类模型；
分类模块，用于解析用户基于客户端发出的图像分类请求，获取所述图像分类请求携带的待分类图像，将所述待分类图像输入所述目标分类模型得到图像分类结果。
7.一种服务器，其特征在于，所述服务器包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的图像分类程序，所述图像分类程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至3中任一项所述的基于深度学习的图像分类方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像分类程序，所述图像分类程序可被一个或者多个处理器执行，以实现如权利要求1至3任一项所述的基于深度学习的图像分类方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011099982.6A CN112163635B (zh) | 2020-10-14 | 2020-10-14 | 基于深度学习的图像分类方法、装置、服务器及介质 |
| PCT/CN2020/131988 WO2021189908A1 (zh) | 2020-10-14 | 2020-11-27 | 基于深度学习的图像分类方法、装置、服务器及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011099982.6A CN112163635B (zh) | 2020-10-14 | 2020-10-14 | 基于深度学习的图像分类方法、装置、服务器及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112163635A CN112163635A (zh) | 2021-01-01 |
| CN112163635B true CN112163635B (zh) | 2024-05-28 |
Family
ID=73867010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011099982.6A Active CN112163635B (zh) | 2020-10-14 | 2020-10-14 | 基于深度学习的图像分类方法、装置、服务器及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112163635B (zh) |
| WO (1) | WO2021189908A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515999A (zh) * | 2021-01-13 | 2021-10-19 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、装置、设备及可读存储介质 |
| CN113220918A (zh) * | 2021-03-09 | 2021-08-06 | 十堰时风达工贸有限公司 | 基于区块技术的电商大数据分类方法及系统 |
| CN113837488B (zh) * | 2021-10-14 | 2023-12-26 | 南京国铁电气有限责任公司 | 能源消耗数据预测方法、系统、设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805160A (zh) * | 2018-04-17 | 2018-11-13 | 平安科技（深圳）有限公司 | 迁移学习方法、装置、计算机设备和存储介质 |
| CN110399742A (zh) * | 2019-07-29 | 2019-11-01 | 深圳前海微众银行股份有限公司 | 一种联邦迁移学习模型的训练、预测方法及装置 |
| CN111091200A (zh) * | 2019-12-20 | 2020-05-01 | 深圳前海微众银行股份有限公司 | 训练模型的更新方法、系统、智能体、服务器及存储介质 |
| CN111598160A (zh) * | 2020-05-14 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 图像分类模型的训练方法、装置、计算机设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10579923B2 (en) * | 2015-09-15 | 2020-03-03 | International Business Machines Corporation | Learning of classification model |
| US20180300653A1 (en) * | 2017-04-18 | 2018-10-18 | Distributed Systems, Inc. | Distributed Machine Learning System |
| CN110909803B (zh) * | 2019-11-26 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 图像识别模型训练方法、装置和计算机可读存储介质 |
| CN110929807B (zh) * | 2019-12-06 | 2021-04-06 | 腾讯科技（深圳）有限公司 | 图像分类模型的训练方法、图像分类方法及装置 |
| CN111160448B (zh) * | 2019-12-26 | 2023-09-26 | 北京达佳互联信息技术有限公司 | 一种图像分类模型的训练方法及装置 |
-
2020
- 2020-10-14 CN CN202011099982.6A patent/CN112163635B/zh active Active
- 2020-11-27 WO PCT/CN2020/131988 patent/WO2021189908A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805160A (zh) * | 2018-04-17 | 2018-11-13 | 平安科技（深圳）有限公司 | 迁移学习方法、装置、计算机设备和存储介质 |
| CN110399742A (zh) * | 2019-07-29 | 2019-11-01 | 深圳前海微众银行股份有限公司 | 一种联邦迁移学习模型的训练、预测方法及装置 |
| CN111091200A (zh) * | 2019-12-20 | 2020-05-01 | 深圳前海微众银行股份有限公司 | 训练模型的更新方法、系统、智能体、服务器及存储介质 |
| CN111598160A (zh) * | 2020-05-14 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 图像分类模型的训练方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021189908A1 (zh) | 2021-09-30 |
| CN112163635A (zh) | 2021-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112163635B (zh) | 基于深度学习的图像分类方法、装置、服务器及介质 | |
| WO2021179720A1 (zh) | 基于联邦学习的用户数据分类方法、装置、设备及介质 | |
| CN110084377B (zh) | 用于构建决策树的方法和装置 | |
| CN112417096B (zh) | 问答对匹配方法、装置、电子设备及存储介质 | |
| CN111681091B (zh) | 基于时间域信息的金融风险预测方法、装置及存储介质 | |
| CN111652280B (zh) | 基于行为的目标物数据分析方法、装置及存储介质 | |
| CN110929806B (zh) | 基于人工智能的图片处理方法、装置及电子设备 | |
| CN113127633B (zh) | 智能会议管理方法、装置、计算机设备及存储介质 | |
| CN114462412B (zh) | 实体识别方法、装置、电子设备及存储介质 | |
| WO2022160442A1 (zh) | 答案生成方法、装置、电子设备及可读存储介质 | |
| CN115130711A (zh) | 一种数据处理方法、装置、计算机及可读存储介质 | |
| CN115063589A (zh) | 基于知识蒸馏的车辆部件分割方法及相关设备 | |
| CN117114901A (zh) | 基于人工智能的投保数据处理方法、装置、设备及介质 | |
| CN116681045A (zh) | 报表生成方法、装置、计算机设备及存储介质 | |
| CN116150185A (zh) | 基于人工智能的数据标准提取方法、装置、设备及介质 | |
| CN113343970B (zh) | 文本图像检测方法、装置、设备及存储介质 | |
| CN113850260B (zh) | 关键信息抽取方法、装置、电子设备及可读存储介质 | |
| CN113269179B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN114998001A (zh) | 业务类别识别方法、装置、设备、存储介质和程序产品 | |
| WO2022217784A1 (zh) | 数据处理方法、装置、设备以及介质 | |
| CN114020687B (zh) | 用户留存分析方法、装置、设备及存储介质 | |
| CN113283421B (zh) | 信息识别方法、装置、设备及存储介质 | |
| CN113918526B (zh) | 日志处理方法、装置、计算机设备和存储介质 | |
| CN114726541B (zh) | 电子证照读取方法、装置、设备及存储介质 | |
| CN113434895B (zh) | 文本解密方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |