CN110569911B - 图像识别方法、装置、系统、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像识别方法、装置、系统、电子设备及存储介质，所述方法包括：用户端接收服务器端下发的基础模型；以本地存储的已识别图像作为训练样本，对所述基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据；将所述用户端的训练数据上传至所述服务器端，使得所述服务器端根据不同用户端的训练数据对所述基础模型进行云端模型训练；接收所述服务器端通过云端模型训练得到的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。采用本发明所提供的图像识别方法、装置、系统、电子设备及存储介质解决了现有技术中基于图像识别模型的图像识别准确率不高的问题。

Description

图像识别方法、装置、系统、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像识别方法、装置、系统、电子设备及存储介质。

背景技术

随着计算机技术的发展，机器学习模型已广泛地应用于各种用户场景。例如，智能家居场景中，摄像头被布设于用户家中，基于在该摄像头内运行的图像识别模型，对采集到的待识别图像进行图像识别，以实时监控用户家中是否出现异常，譬如，识别到家庭成员之外的人员进入了用户家中。

目前，包括图像识别模型在内的机器学习模型，都是基于大量训练样本训练得到的，训练样本的来源主要是人工标注的图像，发明人意识到，此种做法不仅过分依赖于人工标注，而且考虑到用户隐私等原因，训练样本通常不能够很好地贴近各种用户场景。例如，智能家居场景中，用户家中采集到的图像便不能作为训练样本被收集。

由上可知，基于图像识别模型的图像识别，由于训练样本的来源缺乏多样性，而导致以此训练得到的图像识别模型的准确率不高，进而使得图像识别仍存在准确率不高的缺陷。

发明内容

为了解决相关技术中存在的基于图像识别模型的图像识别准确率不高的问题，本发明各实施例提供一种图像识别方法、装置、系统、电子设备及存储介质。

其中，本发明所采用的技术方案为：

根据本发明的一方面，一种图像识别方法，包括：用户端接收服务器端下发的基础模型；以本地存储的已识别图像作为训练样本，对所述基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的；将所述用户端的训练数据上传至所述服务器端，使得所述服务器端根据不同用户端的训练数据对所述基础模型进行云端模型训练；接收所述服务器端通过云端模型训练得到的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

根据本发明的一方面，一种图像识别方法，包括：用户端以本地存储的已识别图像作为训练样本，对服务器端下发的基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的；所述服务器端接收多个用户端上传的训练数据，并根据多个用户端的训练数据对所述基础模型进行云端模型训练，得到图像识别模型；所述用户端接收所述服务器端下发的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

根据本发明的一方面，一种图像识别装置，包括：模型接收模块，用于用户端接收服务器端下发的基础模型；本地训练模块，用于以本地存储的已识别图像作为训练样本，对所述基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的；数据上传模块，用于将所述用户端的训练数据上传至所述服务器端，使得所述服务器端根据不同用户端的训练数据对所述基础模型进行云端模型训练；图像识别模块，用于接收所述服务器端通过云端模型训练得到的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

根据本发明的一方面，一种图像识别系统，所述系统包括用户端和服务器端，其中，用户端，用于以本地存储的已识别图像作为训练样本，对服务器端下发的基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的；所述服务器端，用于接收多个用户端上传的训练数据，并根据多个用户端的训练数据对所述基础模型进行云端模型训练，得到图像识别模型；所述用户端，还用于接收所述服务器端下发的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

根据本发明的一方面，一种电子设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的图像识别方法。

根据本发明的一方面，一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像识别方法。

在上述技术方案中，结合本地模型训练和云端模型训练，对基于人工标注的图像训练得到的基础模型再次进行训练，以使由此得到的图像识别模型具有更高的准确率，有效地解决了图像识别仍存在准确率不高的缺陷。

具体地，根据本地存储的已识别图像作为训练样本，对基础模型进行本地模型训练，得到用户端关于基础模型的训练数据，进而将用户端的训练数据上传至服务器端，通过服务器端根据不同用户端的训练数据对该基础模型进行云端模型训练，得到图像识别模型，以更新本地图像模型对采集到的待识别图像进行图像识别，从而提高图像识别的准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据本发明所涉及的实施环境的示意图。

图2是根据一示例性实施例示出的一种电子设备的硬件结构框图。

图3是根据一示例性实施例示出的一种图像识别方法的流程图。

图4是图3对应实施例中步骤330在一个实施例的流程图。

图5是图4对应实施例中步骤335在一个实施例的流程图。

图6是根据一示例性实施例示出的另一种图像识别方法的流程图。

图7是图6对应实施例中步骤410在一个实施例的流程图。

图8是图6对应实施例中步骤410在另一个实施例的流程图。

图9是图3对应实施例中步骤370在一个实施例的流程图。

图10是根据一示例性实施例示出的另一种图像识别方法的流程图。

图11是根据一示例性实施例示出的一种图像识别装置的框图。

图12是根据一示例性实施例示出的一种图像识别装置的框图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1为一种图像识别方法所涉及的实施环境的示意图。该实施环境为一智能家居场景，该智能家居场景中包括网关110、部署在网关110中的用户端130、以及服务器端150。

具体地，用户端130预先部署在网关110中，并通过其自身所配置的通信模块与网关110通信，进而受控于网关110。在一种实施方式中，用户端130通过局域网络接入网关110，从而部署于网关110中。用户端130通过局域网络接入网关110的过程包括，由网关110首先建立一个局域网络，用户端130通过连接该网关110，从而加入该网关110建立的局域网络中。所称局域网络包括：ZIGBEE或者蓝牙。

用户端130可以是智能摄像机等具有图像采集、识别功能的电子设备，在此不进行限定。该图像识别可应用于不同的智能家居场景，包括但不限于：人脸识别、物体检测、物体分类等等。

服务器端150与网关110之间建立网络连接，在一种实施方式中，服务器端150与网关110之间通过2G/3G/4G/5G、WIFI等建立网络连接。通过该网络连接与网关110交互，进而实现服务器端150与用户端130之间的数据传输，例如，传输的数据包括但不限于基础模型、训练数据、图像识别模型等。

其中，服务器端150可以是一台服务器，还可以是多台服务器构成的服务器集群，又或者是多台服务器构成的云计算中心。该服务器是向用户提供后台服务的计算机设备，例如，后台服务包括但不限于模型训练服务等。

基于服务器端150与用户端130之间的数据传输，用户端130便可针对服务器端150下发的基础模型，以本地存储的已识别图像作为训练样本，进行本地模型训练，并将由此得到的关于该基础模型的训练数据上传至服务器端150。

对于服务器端150而言，在一种实施方式中，便能够在基于人工标注的图像进行第一次模型训练的前提下，基于不同用户端的训练数据进行第二次模型训练，从而得到准确率更高的图像识别模型，并下发至用户端130。

此时，用户端130便可将服务器端150下发的图像识别模型更新为本地图像识别模型，并以此对本地采集到的待识别图像进行图像识别，从而有效地提高图像识别的准确率。

图2是根据一示例性实施例示出的一种电子设备的硬件结构框图。该种电子设备适用于图1所示出实施环境的用户端130。

需要说明的是，该种电子设备只是一个适配于本发明的示例，不能认为是提供了对本发明的使用范围的任何限制。该种电子设备也不能解释为需要依赖于或者必须具有图2中示出的示例性的电子设备200中的一个或者多个组件。

电子设备200的硬件结构可因配置或者性能的不同而产生较大的差异，如图2所示，电子设备200包括：电源210、接口230、至少一存储器250、以及至少一中央处理器(CPU,Central Processing Units)270。

具体地，电源210用于为电子设备200上的各硬件设备提供工作电压。

接口230包括至少一有线或无线网络接口，用于与外部设备交互。例如，进行图1所示出实施环境中用户端130与服务器端150之间的数据传输。

当然，在其余本发明适配的示例中，接口230还可以进一步包括至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等，如图2所示，在此并非对此构成具体限定。

存储器250作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统251、应用程序253及数据255等，存储方式可以是短暂存储或者永久存储。

其中，操作系统251用于管理与控制电子设备200上的各硬件设备以及应用程序253，以实现中央处理器270对存储器250中海量数据255的运算与处理，其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等。

应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图2中未示出)，每个模块都可以分别包含有对电子设备200的一系列计算机可读指令。例如，图像识别装置可视为部署于电子设备200的应用程序253。

数据255可以是存储于磁盘中的照片、图片等，还可以是本地图像识别模型等，存储于存储器250中。

中央处理器270可以包括一个或多个以上的处理器，并设置为通过至少一通信总线与存储器250通信，以读取存储器250中存储的计算机可读指令，进而实现对存储器250中海量数据255的运算与处理。例如，通过中央处理器270读取存储器250中存储的一系列计算机可读指令的形式来完成图像识别方法。

此外，通过硬件电路或者硬件电路结合软件也能同样实现本发明，因此，实现本发明并不限于任何特定硬件电路、软件以及两者的组合。

请参阅图3，在一示例性实施例中，一种图像识别方法适用于图1所示实施环境的用户端，该用户端的结构可以如图2所示。

该种图像识别方法可以由用户端执行，也可以理解为由用户端中运行的图像识别装置执行。在下述方法实施例中，为了便于描述，以各步骤的执行主体为图像识别装置加以说明，但是并不对此构成限定。

该种图像识别方法可以包括以下步骤：

步骤310，用户端接收服务器端下发的基础模型。

在一种实施方式中，所述基础模型是所述服务器端基于人工标注的图像训练得到的。

如前所述，发明人意识到，在图像识别模型的训练过程中，训练样本的来源不仅过分依赖于人工标注，而且考虑到用户隐私等原因，尚不能够很好地贴近用户场景，导致训练过程效率低下且准确率不高。

为此，本实施例中，就服务器端而言，将基于人工标注的图像训练得到的图像识别模型，视为基础模型，下发至用户端，以进一步地进行后续的模型训练，即执行步骤330。

换而言之，依赖于人工标注的图像训练得到的基础模型，用于用户端中进行图像识别，可以基于用户端中贴近用户场景的图像再次进行模型训练，以此避免过分依赖于人工标注，且使得图像识别能够很好地贴近用户场景。

在此补充说明的是，基础模型，在服务器端以模型文件的格式进行存储，如果用户端中支持的模型文件的格式不同于服务器端，对于服务器端而言，在下发该基础模型至用户端之前，还需要进行模型文件的格式转换，以使用户端接收到该基础模型后可直接使用。

步骤330，以本地存储的已识别图像作为训练样本，对所述基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据。

首先，用户端是具有图像采集功能的电子设备，随着该用户端布设于用户环境的四周，便可对用户环境进行拍摄生成并采集到与用户环境有关的图像。例如，在智能家居场景中，用户环境既可以指酒店房间、卧室、卫生间等较为私密的场景，也可以指电影院、会议室等较为开放的场景，本实施例并未对此作出具体限定。

可以理解，拍摄可以是单次拍摄，还可以是连续性拍摄，相应地，对于连续性拍摄而言，得到的是包含若干连续图像帧的一段视频，而就单次拍摄来说，得到的则是包含独立图像帧的图片。基于此，本实施例中进行图像识别可以是基于包含若干连续图像帧的一段视频进行，也可以基于包含若干独立图像帧的多张图片进行。

换而言之，图像可以是一段视频，还可以是若干张图片，本实施例并未对此加以限定。应当说明的是，无论是包含若干连续图像帧的一段视频，还是包含若干独立图像帧的若干张图片，后续的图像识别均是以图像帧为单位执行的。

其次，用户端还是具有图像识别功能的电子设备，也即是，该用户端在本地部署了图像识别模型(后续称为本地图像识别模型)，以基于该本地图像识别模型对待识别图像进行图像识别，得到已识别图像，即所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的。

由上可知，已识别图像实质是基于本地图像识别模型完成了自动标注的图像，而且，已识别图像与用户环境密切相关，被视为能够很好地贴近用户场景，那么，以该已识别图像作为训练样本，对基础模型加以本地模型训练，不仅能够避免过分依赖于人工标注，而且有利于增强训练样本的多样性，进而有利于提高图像识别的准确率。

在此补充说明的是，就进行图像识别的待识别图像而言，可以是来源于预先存储于用户端的图像，也可以是来源于用户端实时采集的图像，本实施例对此并未加以限定。

在基于已识别图像进行基础模型的本地模型训练过程中，便能够得到用户端关于该基础模型的训练数据。该训练数据包括但不限于已识别图像的特征数据、由基础模型的参数构建的损失函数的局部损失值等。

其中，由基础模型的参数构建的损失函数进一步地包括：交叉熵函数、类内分布函数、类间分布函数、激活分类函数等等。

通过如此设置，与用户环境密切相关的已识别图像，仅用于本地模型训练，而不会对外输出，以此充分地保护了用户隐私，有利于提高图像识别的安全性，并在不侵害用户隐私的前提下极大程度地利用了用户场景的相关图像，进而有利于提高图像识别的准确率。

步骤350，将所述用户端的训练数据上传至所述服务器端，使得所述服务器端根据不同用户端的训练数据对所述基础模型进行云端模型训练。

为了实现用户隐私保护，对于每一个用户端而言，都仅会将该用户端关于基础模型的训练数据上传至服务器端，而不会对外输出该用户端采集、识别的图像。那么，对于服务器端而言，便能够接收到海量用户端上传的训练数据。

发明人意识到，就每一个用户端的训练数据而言，仅代表了该用户端所布设的用户环境，而不同用户端的训练数据，方能够代表不同的用户环境。因此，在服务器端获得海量用户端的训练数据之后，将基于该些用户端的训练数据，对基础模型进行再一次的云端模型训练，以进一步地增强训练样本的多样性，使得更好地贴近用户场景。

应当说明的是，云端模型训练，是指基础模型在服务器端进行的模型训练，以区别于基础模型在用户端进行的本地模型训练，该基础模型的第一次云端模型训练，可以是基于人工标注的图像进行的，在该基础模型下发至用户端之前完成云端模型训练。

步骤370，接收所述服务器端通过云端模型训练得到的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

待服务器端针对基础模型完成第二次云端模型训练得到图像识别模型之后，用户端便能够接收到服务器端下发的该图像识别模型，此时，用户端便以此更新本地图像识别模型，并利用更新的本地图像模型进行待识别图像的图像识别，从而提高图像识别的准确率。

通过如上所述的过程，实现了图像识别模型的多次模型训练，不仅有效地避免了过分依赖于人工标注，提高训练效率，而且更加贴合各种用户场景，有利于提高图像识别的准确率。

请参阅图4，在一示例性实施例中，步骤330可以包括以下步骤：

步骤331，将作为所述训练样本的已识别图像输入所述基础模型。

步骤333，基于所述基础模型，从所述已识别图像中提取得到所述已识别图像的特征数据。

如前所述，图像识别包括但不限于：人脸识别、物体检测、物体分类等。基于此，基础模型对应不同类型的图像识别，其所对应的模型结构有所差别。

例如，在人脸识别中，基础模型对应的模型结构包括输入层、卷积层、全连接层、分类层和输出层。其中，卷积层可以由多层卷积神经网络(CNN)、循环神经网络(RNN)、或者深度神经网络(DNN)构建，而全连接层则可以由多层双向长短期记忆神经网络、或者长短期记忆神经网络构建，本实施例并非对此构成具体限定。

相应地，将已识别图像输入基础模型的卷积层，并经全连接层进行全连接，即得到已识别图像的特征数据，该特征数据是通过数字形式对已识别图像的特征的准确描述，进而实现对已识别图像的唯一表示。应当理解，已识别图像不同，则提取得到的特征数据也各不相同。

步骤335，获取由所述基础模型的参数构建的损失函数，并根据所述已识别图像的特征数据计算所述损失函数的局部损失值。

其中，损失函数包括但不限于：交叉熵函数、类内分布函数、类间分布函数等等。相应地，损失函数的局部损失值包括但不限于：交叉熵、类内分布、类间分布。

具体而言，如图5所示，步骤335中所述根据所述已识别图像的特征数据计算所述损失函数的局部损失值的步骤，可以包括以下步骤：

步骤3351，以类内样本分布函数作为所述损失函数，采用所述类内样本分布函数对所述已识别图像的特征数据进行类内样本分布计算。

步骤3353，将计算得到的类内分布作为所述损失函数的局部损失值。

也就是说，对于每一个用户端而言，已识别图像来源于同一个用户环境，被视为同一类样本，即类内样本，由此，该局部损失值，实质表示了该用户端中关于该同一类样本的类内分布。

步骤337，将所述特征数据和/或所述损失函数的局部损失值，作为所述用户端关于所述基础模型的训练数据。

在上述实施例的作用下，实现了基础模型的本地模型训练，为后续基础模型的第二次云端模型训练提供了依据，以此避免过分依赖于人工标注。也可以理解为，基础模型基于人工标注的图像作为训练样本的第一次云端模型训练可以简化，从而提高训练效率。

基于上述，在一示例性实施例中，步骤350可以包括以下步骤：

向所述服务器发送所述特征数据和/或所述类内分布，使得所述服务器端执行：根据不同用户端的所述特征数据和/或所述类内分布对所述基础模型进行云端模型训练；当所述云端模型训练完成，则由所述基础模型收敛得到所述图像识别模型。

发明人意识到，类内分布由于完全不能恢复出原始图像，更能够实现用户隐私保护，而有的特征数据仍然可以恢复出原始图像，对用户隐私保护程度相对较低，但是也存在部分特征数据对用户隐私保护程度较高，无法恢复出原始图像。

为此，对于用户端而言，既可以向服务器端仅发送类内分布，也可以将类内分布和无法恢复出原始图像的特征数据同时发送至服务器端，本实施例对此并未加以限定。

而就服务器端来说，在接收到不同用户端上传的特征数据和/或类内分布之后，便能够基于该些特征数据和/或类内分布进行基础模型的云端模型训练，进而由基础模型收敛得到图像识别模型。

进一步地，请参阅图6，在一示例性实施例中，所述根据不同用户端的所述特征数据和/或所述类内分布对所述基础模型进行云端模型训练的步骤，可以包括以下步骤：

步骤410，所述服务器端根据不同用户端的所述特征数据和/或所述类内分布，进行类间样本分布计算。

如前所述，对于用户端而言，既可以向服务器端仅发送类内分布，也可以将类内分布和无法恢复出原始图像的特征数据同时发送至服务器端，相应地，对于服务器端而言，既可以根据不同用户端的类内分布，进行类间样本分布计算，也可以根据不同用户端的类内分布和无法恢复出原始图像的特征数据，进行类间样本分布计算。

此处，类间样本分布计算，实质是以类间样本分布函数作为损失函数，计算该损失函数的局部损失值，以此表示来自于不同用户端的类间样本的类间分布。其中，对于不同用户端而言，不同用户端之间的特征数据和类内分布，分别来源于不同的用户环境，被视为不同类样本，即类间样本。

步骤430，根据所述类内分布和计算得到的类间分布，计算所述损失函数的全局损失值。

具体地，argmin Lface()＝Dwithin/Dbetween。

其中，Lface()表示损失函数的全局损失值，Dwithin表示不同用户端的类内分布的加权和，Dbetween表示不同用户端的类间分布的加权和。

argmin表示使Dwithin/Dbetween最小，也即是，使不同用户端的类内分布最小，而不同用户端的类间分布最大，即使得损失函数的全局损失值Lface()达到最小。

如果所述损失函数的全局损失值达到最小，即所述基础模型收敛，即视为所述云端模型训练已完成，则执行步骤450。

反之，如果损失函数的全局损失值未达到最小，即未能使得基础模型收敛，则继续进行云端模型训练，即执行步骤470。

步骤450，由所述基础模型收敛得到所述图像识别模型。

步骤470，基于所述全局损失值进行所述基础模型的反向梯度计算，以更新所述基础模型的参数。

根据所述基础模型更新的参数重新构建损失函数，并将重新构建的损失函数与更新参数的基础模型下发至所述用户端，即返回执行步骤310。

由此，随着损失函数的重新构建和基础模型的参数的更新，基础模型方能够逐渐收敛，得到图像识别模型。

当然，在其他实施例中，考虑云端模型训练的效率，可以设置迭代次数，那么，当损失函数的全局损失值未能达到最小，但迭代次数已达到最大值，则停止更新基础模型的参数，视为基础模型已收敛，本实施例对此并非构成具体限定。

其中，迭代次数可以根据实际的应用场景进行灵活地设置，例如，对图像识别的准确率要求较高的应用场景，则设置较大的迭代次数。

通过上述过程，实现了基础模型的第二次云端模型训练，使得图像识别模型的识别能力随着不同用户端的训练数据的增加，而不断地增强，并且无需人工维护，不仅避免依赖于人工实现，有利于提高训练效率，而且有利于提高图像识别的准确率。

请参阅图7，在一示例性实施例中，步骤410可以包括以下步骤：

步骤411，获取不同用户端的所述类内分布。

本实施例中，每一个用户端仅发送了类内分布至服务器端，相应地，对于服务器端而言，便可获得不同用户端的类内分布。

步骤413，针对每一个用户端的所述类内分布的均值，将不同用户端的所述类内分布的均值之间距离，作为所述类间分布。

由此，如果不同用户端的类内分布的均值之间的距离尽量小，而不同用户端的类内分布的方差所覆盖范围之间的间隔尽量大，则计算得到基础模型的反向梯度。

请参阅图8，在另一示例性实施例中，步骤410可以包括以下步骤：

步骤412，获取不同用户端的所述特征数据，并根据不同用户端的所述特征数据构建若干多元数组。

本实施例中，每一个用户端同时发送了类内分布和特征数据至服务器端，相应地，对于服务器端而言，便可获得不同用户端的类内分布和特征数据，并以此构建多元数组。

其中，所述多元数组至少包括来自相同用户端的两个同类特征数据、以及来自区别于该相同用户端的不同用户端的一个异类特征数据。

以多元数组为三元数组举例说明如下。

假设，用户端a上报的特征数据为a1、a2，用户端b上报的特征数据为b1、b2。

则，特征数据a1、a2视为来自相同用户端a的同类特征数据，特征数据b1、b2视为来自相同用户端b的同类特征数据。特征数据a1、a2视为来自区别于用户端b的不同用户端a的异类特征数据，特征数据b1、b2视为来自区别于用户端a的不同用户端b的异类特征数据。

此时，根据上述同类特征数据、异类特征数据构建的三元数组包括：[a1,a2,b1]、[a1,a2,b2]、[b1,b2,a1]、[b1,b2,a2]。

步骤414，针对每一个多元数组，将该多元数组中同类特征数据与异类特征数据之间的距离，作为所述类间分布。

仍以上述例子进行说明，例如，特征数据a1、a2之间的距离，视为类内分布；而特征数据a1、b1之间的距离，则视为类间分布。

由此，如果多元数组中同类特征数据之间的距离尽量小，而多元数组中同类特征数据与异类特征数据之间的距离尽量大，则计算得到基础模型的反向梯度。

通过上述实施例的配合，实现了类间分布的统计，为基础模型的反向梯度的计算提供了依据。

请参阅图9，在一示例性实施例中，步骤370中所述基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别的步骤，可以包括以下步骤：

步骤371，将本地采集到的待识别图像输入更新的本地图像识别模型进行特征提取，得到所述待识别图像的特征数据。

更新的本地图像识别模型，实质是由经过第二次云端模型训练的基础模型得到的，其所对应的模型结构与基础模型基本一致，例如，更新的本地图像识别模型对应的模型结构包括输入层、卷积层、全连接层、分类层和输出层等等。

因此，基于更新的本地图像识别模型对待识别图像进行特征提取的过程，与前述基于基础模型进行已识别图像进行特征提取的过程基本一致，在此不重复赘述。

步骤373，基于更新的本地图像识别模型，对所述待识别图像的特征数据进行分类预测，得到所述待识别图像的分类结果。

具体而言，分类预测，通过softmax分类器实现，即利用softmax分类器计算待识别图像的特征数据属于不同类别的概率，由此预测出待识别图像的所属类别。

例如，在人脸识别中，假设待识别图像包含人脸，人脸的类别为家庭成员，例如，爸爸、妈妈、儿子。

假设待识别图像的特征数据属于爸爸的概率为P0，待识别图像的特征数据属于妈妈的概率为P1，待识别图像的特征数据属于儿子的概率为P2，如果P0最大，则分类结果指示待识别图像的特征数据属于爸爸，即表示待识别图像包含的人脸为爸爸的人脸。以此类推，如果P1最大，则分类结果表示待识别图像包含的人脸为妈妈的人脸，如果P2最大，则分类结果表示待识别图像包含的人脸为儿子的人脸。

步骤375，将所述分类结果作为所述待识别图像的图像识别结果。

在上述实施例的作用下，实现了图像识别模型的本地运行，使得图像识别得以实现。

此外，随着本地图像识别模型的不断更新，图像识别模型的识别能力将不断地增强，从而有利于提高图像识别的准确率。

请参阅图10，在一示例性实施例中，一种图像识别方法，应用于图像识别系统，该图像识别系统包括用户端和服务器端。

其中，用户端和服务器端分别用于实现以下功能，以此实现图像识别方法：

步骤510，用户端以本地存储的已识别图像作为训练样本，对服务器端下发的基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的。

步骤530，所述服务器端接收多个用户端上传的训练数据，并根据多个用户端的训练数据对所述基础模型进行云端模型训练，得到图像识别模型。

步骤550，所述用户端接收所述服务器端下发的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

通过上述过程，基于用户端和服务器端的相互配合，图像识别模型不仅基于私密性较强的已识别图像在用户端进行了一次本地模型训练，而且分别先后基于私密性较弱的人工标注的图像和私密性较强的已识别图像相关的训练数据在服务器端进行了两次云端模型训练，不仅能够避免过分地依赖于人工标注，有利于提高训练效率，而且使得图像识别模型能够更加准确地地贴近各种用户场景，有利于提高图像识别的准确率。

下述为本发明装置实施例，可以用于执行本发明所涉及的图像识别方法。对于本发明装置实施例中未披露的细节，请参照本发明所涉及的图像识别方法的方法实施例。

请参阅图11，在一示例性实施例中，一种图像识别装置900包括但不限于：模型接收模块910、本地训练模块930、数据上传模块950和图像识别模块970。

其中，模型接收模块910，用于用户端接收服务器端下发的基础模型。

本地训练模块930，用于以本地存储的已识别图像作为训练样本，对所述基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的。

数据上传模块950，用于将所述用户端的训练数据上传至所述服务器端，使得所述服务器端根据不同用户端的训练数据对所述基础模型进行云端模型训练。

图像识别模块970，用于接收所述服务器端通过云端模型训练得到的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

在一示例性实施例中，一种图像识别系统包括但不限于：用户端和服务器端。

其中，用户端，用于以本地存储的已识别图像作为训练样本，对服务器端下发的基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的。

所述服务器端，用于接收多个用户端上传的训练数据，并根据多个用户端的训练数据对所述基础模型进行云端模型训练，得到图像识别模型。

所述用户端，还用于接收所述服务器端下发的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

在一示例性实施例中，对于图像识别系统而言，所述用户端中的图像识别装置900还将基于不同的功能模块，实现各种功能，包括但不限于：

其中，将作为所述训练样本的已识别图像输入所述基础模型。

基于所述基础模型，从所述已识别图像中提取得到所述已识别图像的特征数据。

获取由所述基础模型的参数构建的损失函数，并根据所述已识别图像的特征数据计算所述损失函数的局部损失值。

将所述特征数据和/或所述损失函数的局部损失值，作为所述用户端关于所述基础模型的训练数据。

在一示例性实施例中，对于图像识别系统而言，所述用户端中的图像识别装置900还将基于不同的功能模块，实现各种功能，包括但不限于：

其中，以类内样本分布函数作为所述损失函数，采用所述类内样本分布函数对所述已识别图像的特征数据进行类内样本分布计算。

将计算得到的类内分布作为所述损失函数的局部损失值。

在一示例性实施例中，对于图像识别系统而言，所述用户端中的图像识别装置900还将基于不同的功能模块，实现各种功能，包括但不限于：

其中，向所述服务器端发送所述特征数据和/或所述类内分布，使得所述服务器端执行：根据不同用户端的所述特征数据和/或所述类内分布对所述基础模型进行云端模型训练。当所述云端模型训练完成，则由所述基础模型收敛得到所述图像识别模型。

在一示例性实施例中，对于图像识别系统而言，所述用户端中的图像识别装置900还将基于不同的功能模块，实现各种功能，包括但不限于：

其中，所述服务器端根据不同用户端的所述特征数据和/或所述类内分布，进行类间样本分布计算。

根据所述类内分布和计算得到的类间分布，计算所述损失函数的全局损失值。

如果所述损失函数的全局损失值达到最小，则确定所述云端模型训练已完成。

在一示例性实施例中，对于图像识别系统而言，所述用户端中的图像识别装置900还将基于不同的功能模块，实现各种功能，包括但不限于：

其中，如果所述损失函数的全局损失值未达到最小，则基于所述全局损失值进行所述基础模型的反向梯度计算，以更新所述基础模型的参数。

根据所述基础模型更新的参数重新构建损失函数，并将重新构建的损失函数与更新参数的基础模型下发至所述用户端。

在一示例性实施例中，对于图像识别系统而言，所述用户端中的图像识别装置900还将基于不同的功能模块，实现各种功能，包括但不限于：

其中，获取不同用户端的所述类内分布。

针对每一个用户端的所述类内分布的均值，将不同用户端的所述类内分布的均值之间距离，作为所述类间分布。

在一示例性实施例中，对于图像识别系统而言，所述用户端中的图像识别装置900还将基于不同的功能模块，实现各种功能，包括但不限于：

其中，获取不同用户端的所述特征数据，并根据不同用户端的所述特征数据构建若干多元数组，所述多元数组至少包括来自相同用户端的两个同类特征数据、以及来自区别于该相同用户端的不同用户端的一个异类特征数据。

针对每一个多元数组，将该多元数组中同类特征数据与异类特征数据之间的距离，作为所述类间分布。

在一示例性实施例中，对于图像识别系统而言，所述用户端中的图像识别装置900还将基于不同的功能模块，实现各种功能，包括但不限于：

其中，将本地采集到的待识别图像输入更新的本地图像识别模型进行特征提取，得到所述待识别图像的特征数据。

基于更新的本地图像识别模型，对所述待识别图像的特征数据进行分类预测，得到所述待识别图像的分类结果。

将所述分类结果作为所述待识别图像的图像识别结果。

需要说明的是，上述实施例所提供的图像识别装置、系统在进行图像识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即图像识别装置、系统的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。

另外，上述实施例所提供的图像识别装置、系统与图像识别方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

请参阅图12，在一示例性实施例中，一种电子设备1000，包括至少一处理器1001、至少一存储器1002、以及至少一通信总线1003。

其中，存储器1002上存储有计算机可读指令，处理器1001通过通信总线1003读取存储器1002中存储的计算机可读指令。

该计算机可读指令被处理器1001执行时实现上述各实施例中的图像识别方法。

在一示例性实施例中，一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例中的图像识别方法。

上述内容，仅为本发明的较佳示例性实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (14)

1.一种图像识别方法，其特征在于，包括：

用户端接收服务器端下发的基础模型；

以本地存储的已识别图像作为训练样本，对所述基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的，所述用户端的训练数据包括从所述已识别图像中提取得到的特征数据；

将所述用户端的训练数据上传至所述服务器端，使得所述服务器端根据不同用户端的训练数据对所述基础模型进行云端模型训练，所述基础模型的收敛与类间分布有关，所述类间分布至少用于表示同类特征数据与异类特征数据之间的距离，所述同类特征数据是指相同用户端的特征数据，所述异类特征数据是指区别于该相同用户端的不同用户端的特征数据；

接收所述服务器端通过云端模型训练得到的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

2.如权利要求1所述的方法，其特征在于，所述以本地存储的已识别图像作为训练样本，对所述基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，包括：

将作为所述训练样本的已识别图像输入所述基础模型；

基于所述基础模型，从所述已识别图像中提取得到所述已识别图像的特征数据；

获取由所述基础模型的参数构建的损失函数，并根据所述已识别图像的特征数据计算所述损失函数的局部损失值；

将所述特征数据和/或所述损失函数的局部损失值，作为所述用户端关于所述基础模型的训练数据。

3.如权利要求2所述的方法，其特征在于，所述根据所述已识别图像的特征数据计算所述损失函数的局部损失值，包括：

以类内样本分布函数作为所述损失函数，采用所述类内样本分布函数对所述已识别图像的特征数据进行类内样本分布计算；

将计算得到的类内分布作为所述损失函数的局部损失值。

4.如权利要求3所述的方法，其特征在于，所述将所述用户端的训练数据上传至所述服务器端，使得所述服务器端根据不同用户端的训练数据对所述基础模型进行云端模型训练，包括：

向所述服务器端发送所述特征数据和/或所述类内分布，使得所述服务器端执行：根据不同用户端的所述特征数据和/或所述类内分布对所述基础模型进行云端模型训练；当所述云端模型训练完成，则由所述基础模型收敛得到所述图像识别模型。

5.如权利要求4所述的方法，其特征在于，所述根据不同用户端的所述特征数据和/或所述类内分布对所述基础模型进行云端模型训练，包括：

所述服务器端根据不同用户端的所述特征数据和/或所述类内分布，进行类间样本分布计算；

根据所述类内分布和计算得到的类间分布，计算所述损失函数的全局损失值；

如果所述损失函数的全局损失值达到最小，则确定所述云端模型训练已完成。

6.如权利要求5所述的方法，其特征在于，所述根据不同用户端的所述特征数据和/或所述类内分布对所述基础模型进行云端模型训练，还包括：

如果所述损失函数的全局损失值未达到最小，则基于所述全局损失值进行所述基础模型的反向梯度计算，以更新所述基础模型的参数；

根据所述基础模型更新的参数重新构建损失函数，并将重新构建的损失函数与更新参数的基础模型下发至所述用户端。

7.如权利要求5所述的方法，其特征在于，所述服务器端根据不同用户端的所述特征数据和/或所述类内分布，进行类间样本分布计算，包括：

获取不同用户端的所述类内分布；

针对每一个用户端的所述类内分布的均值，将不同用户端的所述类内分布的均值之间距离，作为所述类间分布。

8.如权利要求5所述的方法，其特征在于，所述服务器端根据不同用户端的所述特征数据和/或所述类内分布，进行类间样本分布计算，包括：

获取不同用户端的所述特征数据，并根据不同用户端的所述特征数据构建若干多元数组，所述多元数组至少包括来自相同用户端的两个同类特征数据、以及来自区别于该相同用户端的不同用户端的一个异类特征数据；

针对每一个多元数组，将该多元数组中同类特征数据与异类特征数据之间的距离，作为所述类间分布。

9.如权利要求1至8任一项所述的方法，其特征在于，所述基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别，包括：

将本地采集到的待识别图像输入更新的本地图像识别模型进行特征提取，得到所述待识别图像的特征数据；

基于更新的本地图像识别模型，对所述待识别图像的特征数据进行分类预测，得到所述待识别图像的分类结果；

将所述分类结果作为所述待识别图像的图像识别结果。

10.一种图像识别方法，其特征在于，包括：

用户端以本地存储的已识别图像作为训练样本，对服务器端下发的基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的，所述用户端的训练数据包括从所述已识别图像中提取得到的特征数据；

所述服务器端接收多个用户端上传的训练数据，并根据多个用户端的训练数据对所述基础模型进行云端模型训练，得到图像识别模型，所述基础模型的收敛与类间分布有关，所述类间分布至少用于表示同类特征数据与异类特征数据之间的距离，所述同类特征数据是指相同用户端的特征数据，所述异类特征数据是指区别于该相同用户端的不同用户端的特征数据；

所述用户端接收所述服务器端下发的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

11.一种图像识别装置，其特征在于，包括：

模型接收模块，用于用户端接收服务器端下发的基础模型；

本地训练模块，用于以本地存储的已识别图像作为训练样本，对所述基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的，所述用户端的训练数据包括从所述已识别图像中提取得到的特征数据；

数据上传模块，用于将所述用户端的训练数据上传至所述服务器端，使得所述服务器端根据不同用户端的训练数据对所述基础模型进行云端模型训练，所述基础模型的收敛与类间分布有关，所述类间分布至少用于表示同类特征数据与异类特征数据之间的距离，所述同类特征数据是指相同用户端的特征数据，所述异类特征数据是指区别于该相同用户端的不同用户端的特征数据；

图像识别模块，用于接收所述服务器端通过云端模型训练得到的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

12.一种图像识别系统，其特征在于，所述系统包括用户端和服务器端，其中，

用户端，用于以本地存储的已识别图像作为训练样本，对服务器端下发的基础模型进行本地模型训练，得到所述用户端关于所述基础模型的训练数据，所述已识别图像是所述用户端基于本地图像识别模型的图像识别得到的，所述用户端的训练数据包括从所述已识别图像中提取得到的特征数据；

所述服务器端，用于接收多个用户端上传的训练数据，并根据多个用户端的训练数据对所述基础模型进行云端模型训练，得到图像识别模型，所述基础模型的收敛与类间分布有关，所述类间分布至少用于表示同类特征数据与异类特征数据之间的距离，所述同类特征数据是指相同用户端的特征数据，所述异类特征数据是指区别于该相同用户端的不同用户端的特征数据；

所述用户端，还用于接收所述服务器端下发的图像识别模型并更新为本地图像识别模型，基于更新的本地图像识别模型对本地采集到的待识别图像进行图像识别。

13.一种电子设备，其特征在于，包括：

处理器；及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至10中任一项所述的图像识别方法。

14.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的图像识别方法。

Images