CN109934194A - 图片分类方法、边缘设备、系统及存储介质 - Google Patents

Abstract

本发明公开了一种图片分类方法，包括：使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果；输出所述第一分类结果；接收用户对所述第一分类结果进行变更后的变更结果；根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。本发明还公开了一种边缘设备、图片分类系统及存储介质。本发明能够提高针对用户个人数据预测分类的准确度。

Description

图片分类方法、边缘设备、系统及存储介质

技术领域

本发明涉及图片处理技术领域，尤其涉及一种图片分类方法、边缘设备、系统及存储介质。

背景技术

边缘设备是向企业或者服务商核心网络提供入口点的设备。边缘设备包括各种城域网和广域网接入设备，例如家庭及个人的一些移动设备。随着用户对于个人隐私重视程度的提高，越来越多的用户选择将个人数据从云端转移到家庭或者个人的边缘设备中。同时，用户对于存储于边缘设备中的个人数据的整理、搜索和按照类别呈现的需要日益增加。

虽然，边缘设备具有一定的计算能力，可以给用户提供本地的分类服务。但是由于其自身硬件条件的限制，边缘设备很难支持分类准确率高但同时对计算力与内存容量具有极高要求的分类模型。

此外，边缘设备使用的分类模型往往是由边缘设备使用同样的训练数据集预先训练好后推送至边缘设备的。这种情况下获得的分类模型一般是对边缘设备中的测试数据拟合最好的模型，而用户的数据往往有自己的分布，大多数情况下与边缘设备的测试数据的分布并不完全一致，因此这类泛化的模型在应用到单个用户数据时，并不一定是最优的分类解决方案。

可见，目前边缘设备上的分类模型对用户个人数据的分类效果不好，分类准确度较低。

发明内容

本发明的主要目的在于提供一种图片分类方法、边缘设备、系统及存储介质，旨在解决边缘设备上的分类模型对用户个人数据的分类效果不好，分类准确度较低的技术问题。

为实现上述目的，本发明提供一种图片分类方法，包括：

使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果；

输出所述第一分类结果；

接收用户对所述第一分类结果进行变更后的变更结果；

根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。

可选地，若所述第一图片类别预测模型为图片分类模型，所述接收用户对所述第一分类结果进行变更后的变更结果包括：

接收用户对所述第一分类结果中的目标图片的分类结果进行编辑所输入的编辑指令；

响应所述编辑指令，对所述目标图片的分类结果进行变更，获得变更结果。

可选地，若所述第一图片类别预测模型为图片聚类模型，所述接收用户对所述第一分类结果进行变更后的变更结果包括：

接收用户对所述第一分类结果中被聚类为多个类别的多个同类图片输入的合并指令；

响应所述合并指令，对多个所述同类图片进行类别合并，并变更多个所述同类图片的类别信息，获得变更结果。

可选地，所述根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型包括：

若所述第一图片类别预测模型为图片分类模型或图片聚类模型，根据所述变更结果，对所述第一图片类别预测模型的参数进行微调，获得第二图片类别预测模型。

可选地，所述方法还包括：

当检测到新增的第二图片时，使用所述第二图片类型预测模型对所述第二图片进行预测，获得第二分类结果。

可选地，所述检测新增的第一图片之前，所述方法还包括：

接收服务器推送的第一图片类别预测模型；或

接收服务器推送的基础图片类别预测模型；对所述基础图片类别预测模型进行优化，获得第一图片类别预测模型。

为实现上述目的，本发明进一步提供一种边缘设备，所述边缘设备包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的图片分类程序，所述图片分类程序被所述处理器执行时实现所述的图片分类方法。

可选地，所述边缘设备为组成内容分发网络或者区块链网络的节点。

为实现上述目的，本发明进一步提供一种图片分类系统，包括：

预测模块，用于使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果；

输出模块，用于输出所述第一分类结果；

接收模块，用于接收用户对所述第一分类结果进行变更后的变更结果；

优化模块，用于根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。

为实现上述目的，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图片分类程序，所述图片分类程序可被一个或者多个处理器执行，以实现所述的图片分类方法。

为实现上述目的，本发明进一步提供一种计算机程序产品，包括计算机指令，当其在计算机上运行时，使得计算机可以执行所述的图片分类方法。

本发明所实现的有益效果：

本发明中，当检测到有新增的第一图片时，可以使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果，并输出所述第一分类结果；进一步地，还可以接收用户对所述第一分类结果进行变更后的变更结果，并根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。可见，本发明中，利用变更后更加精确的图片分类结果对第一图片类别预测模型进行个性化优化，获得分类效果更好的第二图片类别预测模型，可以提高针对用户个人数据预测分类的准确度。

附图说明

图1为本发明一实施例公开的一种图片分类方法的流程示意图；

图2为本发明一实施例公开的一种边缘设备的内部结构示意图；

图3为本发明一实施例公开的一种图片分类系统的功能模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提供一种图片分类方法，可以提高针对用户个人数据预测分类的准确度。

其中，边缘设备是向企业或者服务商核心网络提供入口点的设备。边缘设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络VPN等，边缘设备可以包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA、游戏机、交互式网络电视IPTV、智能式穿戴式设备以及各种家用NAS类型的电子设备。

其中，服务器可以是指能对网络中其它设备(如边缘设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol，简称FTP)服务，也可以叫服务器。从狭义范围上讲，服务器专指某些高性能计算机，能通过网络，对外提供服务，其相对于普通的个人电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。

参照图1，图1为本发明一实施例公开的一种图片分类方法的流程示意图。如图1所示，该图片分类方法包括：

S11，边缘设备使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果。

本发明实施例中，用户可以在边缘设备上存储各种类型的图片，比如：场景图片，人物图片，物体图片等等。这些图片可以来自于边缘设备自身拍摄的，也可以来自于其他设备拍摄并发送给边缘设备存储的，还可以来自于云端网络传输的，本发明实施例不做限定。

边缘设备可以实时检测是否有新增加的第一图片，或者，可以以预设周期(比如每星期)检测是否有新增加的第一图片，其中，所述第一图片可以为一张图片，也可以为多张图片，所述第一图片的类型不受限制。

其中，所述第一图片类别预测模型可以是预先服务器定期推送的模型，也可以是边缘设备对服务器推送的模型进行优化后生成的新模型。

其中，所述第一图片类别预测模型为神经网络模型。

具体的，边缘设备可以将所述第一图片输入所述第一图片类别预测模型，经过所述第一图片类别预测模型的一系列矩阵计算，由所述第一图片类别预测模型预测并给每张所述第一图片标注一个或多个不同类别的标签(比如场景标签、物体标签、人物特征标签等)，并根据标签所属类别对所述第一图片进行分类，即可输出所述第一图片的第一分类结果，即第一分类结果中包括所述第一图片的一个或多个类别，每个类别中包括至少一张第一图片。从所述第一分类结果中，可以很直观地看到每个所述第一图片属于什么类别，以及每个类别中都包括些什么图片。

其中，类别可以包括但不限于人物，美食，风景，文档，城市，室内，汽车几个大类。

其中，若一张图片具有多个标签且分属不同类别的范畴，则该图片可能同时出现在多个类别的结果中。由于图片数据本身具有多种特征，也就有可能具有多个标签。本发明并不限制单个图片数据的标签数量，其标签数量仅由其本身特征的丰富程度所决定。

S12，边缘设备输出所述第一分类结果。

其中，边缘设备获得第一分类结果后，边缘设备可以通过用户界面将所述第一分类结果展示给用户，其中，所述边缘设备可以通过内置的用户界面输出所述第一分类结果，或者，所述边缘设备可以通过其他设备的用户界面输出所述第一分类结果。

S13，边缘设备接收用户对所述第一分类结果进行变更后的变更结果。

本发明实施例中，当边缘设备输出所述第一分类结果之后，用户可以核对所述第一分类结果，如果所述第一分类结果存在预测分类错误的图片，或者，所述第一分类结果存在被聚类为两个或多个类别的同一类别的图片，用户可以对所述第一分类结果进行变更。

可选的，若所述第一图片类别预测模型为图片分类模型，所述接收用户对所述第一分类结果进行变更后的变更结果包括：

接收用户对所述第一分类结果中的目标图片的分类结果进行编辑所输入的编辑指令；

响应所述编辑指令，对所述目标图片的分类结果进行变更，获得变更结果。

在该可选的实施方式中，图片类别预测模型可以分为图片分类模型或者图片聚类模型，其中，图片分类模型主要用于识别图片中的物体及其所在的场景，即对物体与场景进行分类；图片聚类模型主要用于识别图片中出现的人的身份，即对人脸进行识别。

当所述第一图片类别预测模型为图片分类模型时，边缘设备通过所述第一图片类别预测模型可以对所述第一图片进行分类，如果所述第一分类结果中存在分类错误的目标图片，即针对目标图片的分类结果是错误的，用户可以编辑所述目标图片的分类结果，边缘设备即可根据用户的操作来对所述目标图片的分类结果进行变更，获得变更结果，其中，所述变更结果包括所述目标图片以及所述目标图片所属的类别。其中，在边缘设备的用户个人数据库中可以记录用户移除的错误标签以及所述目标图片的相关信息。

可选的，若所述第一图片类别预测模型为图片聚类模型，所述接收用户对所述第一分类结果进行变更后的变更结果包括：

接收用户对所述第一分类结果中被聚类为多个类别的多个同类图片输入的合并指令；

响应所述合并指令，对多个所述同类图片进行类别合并，并变更多个所述同类图片的类别信息，获得变更结果。

在该可选的实施方式中，图片类别预测模型可以分为图片分类模型或者图片聚类模型，其中，图片分类模型主要用于识别图片中的物体及其所在的场景，即对物体与场景进行分类；图片聚类模型主要用于识别图片中出现的人的身份，即对人脸进行识别。

当所述第一图片类别预测模型为图片聚类模型时，边缘设备通过所述第一图片类别预测模型可以对所述第一图片进行聚类，如果所述第一分类结果中存在将多个同类图片聚类为两个或多个类别，比如针对同一个小孩在不同年龄段的多张图片，被聚类为不同类别，即被预测为不同的人，但本质上是同一个人，用户可以对所述第一分类结果中被聚类为多个类别的多个同类图片进行编辑，触发输入合并指令，边缘设备即可响应所述合并指令对多个所述同类图片进行类别合并，并变更多个所述同类图片的类别信息，获得变更结果。其中，所述变更结果包括多个所述同类图片以及多个所述同类图片所属的类别。其中，在边缘设备的用户个人数据库中可以记录用户合并的错误标签以及多个所述同类图片的相关信息。此外，为了保护用户个人隐私数据，所有的记录存储的数据仅在边缘设备中进行。

S14，边缘设备根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。

具体的，所述根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型包括：

若所述第一图片类别预测模型为图片分类模型或图片聚类模型，根据所述变更结果，对所述第一图片类别预测模型的参数进行微调，获得第二图片类别预测模型。

本发明实施例中，当使用第一图片类别预测模型对第一图片进行预测分类存在错误的情况下，边缘设备需要根据用户变更的变更结果了，来对所述第一图片类别预测模型进行优化，使得优化后获得的第二图片类别预测模型更加符合用户数据的分布方式，以提高图片分类的准确度。

具体的，可以将用户反馈的预测错误的目标图片或被聚类为多个类别的多个同类图片确定为负样本，将用户未反馈的图片确定为正样本。将携带有标签的正样本以及负样本输入所述第一图片类别预测模型，通过该正样本以及负样本的训练，对所述第一图片类别预测模型的参数进行微调，可以更新得到更加拟合用户数据的第二图片类别预测模型。

作为一种可选的实施方式，所述方法还包括：

当检测到新增的第二图片时，使用所述第二图片类型预测模型对所述第二图片进行预测，获得第二分类结果。

在该可选的实施方式中，在后续检测到有新增加的第二图片时，即可使用优化后的所述第二图片类型预测模型对所述第二图片进行预测，获得第二分类结果，其中，使用优化后的第二图片类型预测模型对所述第二图片进行分类预测，获得的第二分类结果更加符合所述第二图片的分布方式，分类效果更好，分类准确度也较高。

作为一种可选的实施方式，所述检测新增的第一图片之前，所述方法还包括：

接收服务器推送的第一图片类别预测模型；或

接收服务器推送的基础图片类别预测模型；对所述基础图片类别预测模型进行优化，获得第一图片类别预测模型。

在该可选的实施方式中，所述第一图片类别预测模型可以是预先服务器定期推送的模型，也可以是边缘设备对服务器推送的基础图片类别预测模型进行优化后生成的新模型。

其中，服务器可以收集带有标注的公开数据集以及网络公开数据，经过数据标注等处理后，进行神经网络模型训练。之后，即可将训练完成的神经网络模型推送至边缘设备。其中，服务器推送的模型通常适用于大多数图片的分类，分类准确度较高。

边缘设备接收到服务器推送的模型后，可以直接使用推送的模型进行预测分类，也可以先对推送的模型进行优化后，在使用优化后的模型进行预测分类。

在图1所描述的方法流程中，当检测到有新增的第一图片时，可以使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果，并输出所述第一分类结果；进一步地，还可以接收用户对所述第一分类结果进行变更后的变更结果，并根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。可见，本发明中，利用变更后更加精确的图片分类结果对第一图片类别预测模型进行个性化优化，获得分类效果更好的第二图片类别预测模型，可以提高针对用户个人数据预测分类的准确度。

参照图2，图2为本发明一实施例公开的一种边缘设备的内部结构示意图，如图2所示，所述边缘设备1可以包括存储器11、处理器12和总线13。

在本实施例中，所述边缘设备1可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、矿机、网络存储设备终端设备。

该边缘设备1可以是组成内容分发网络或者区块链网络的节点。

该所述边缘设备1可以包括存储器11、处理器12和总线13。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是边缘设备1的内部存储单元，例如该边缘设备1的硬盘。存储器11在另一些实施例中也可以是边缘设备1的外部存储设备，例如边缘设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括边缘设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于边缘设备1的应用软件及各类数据，例如图片分类程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行图片分类程序等。

该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。进一步地，边缘设备还可以包括网络接口，网络接口可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该边缘设备1与服务器之间建立通信连接。

可选地，该边缘设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在边缘设备1中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11至13以及图片分类程序的边缘设备1，本领域技术人员可以理解的是，图2示出的结构并不构成对边缘设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

结合图1，所述边缘设备1中的所述存储器11存储多个指令以实现一种图片分类方法，所述处理器12可执行所述多个指令从而实现：

使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果；

输出所述第一分类结果；

接收用户对所述第一分类结果进行变更后的变更结果；

根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。

本发明实施例中，用户可以在边缘设备上存储各种类型的图片，比如：场景图片，人物图片，物体图片等等。这些图片可以来自于边缘设备自身拍摄的，也可以来自于其他设备拍摄并发送给边缘设备存储的，还可以来自于云端网络传输的，本发明实施例不做限定。

边缘设备可以实时检测是否有新增加的第一图片，或者，可以以预设周期(比如每星期)检测是否有新增加的第一图片，其中，所述第一图片可以为一张图片，也可以为多张图片，所述第一图片的类型不受限制。

其中，所述第一图片类别预测模型可以是预先服务器定期推送的模型，也可以是边缘设备对服务器推送的模型进行优化后生成的新模型。

其中，所述第一图片类别预测模型为神经网络模型。

具体的，边缘设备可以将所述第一图片输入所述第一图片类别预测模型，经过所述第一图片类别预测模型的一系列矩阵计算，由所述第一图片类别预测模型预测并给每张所述第一图片标注一个或多个不同类别的标签(比如场景标签、物体标签、人物特征标签等)，并根据标签所属类别对所述第一图片进行分类，即可输出所述第一图片的第一分类结果，即第一分类结果中包括所述第一图片的一个或多个类别，每个类别中包括至少一张第一图片。从所述第一分类结果中，可以很直观地看到每个所述第一图片属于什么类别，以及每个类别中都包括些什么图片。

其中，类别可以包括但不限于人物，美食，风景，文档，城市，室内，汽车几个大类。

其中，若一张图片具有多个标签且分属不同类别的范畴，则该图片可能同时出现在多个类别的结果中。由于图片数据本身具有多种特征，也就有可能具有多个标签。本发明并不限制单个图片数据的标签数量，其标签数量仅由其本身特征的丰富程度所决定。

其中，边缘设备获得第一分类结果后，边缘设备可以通过用户界面将所述第一分类结果展示给用户，其中，所述边缘设备可以通过内置的用户界面输出所述第一分类结果，或者，所述边缘设备可以通过其他设备的用户界面输出所述第一分类结果。

本发明实施例中，当边缘设备输出所述第一分类结果之后，用户可以核对所述第一分类结果，如果所述第一分类结果存在预测分类错误的图片，或者，所述第一分类结果存在被聚类为两个或多个类别的同一类别的图片，用户可以对所述第一分类结果进行变更，并根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。

在一种可选的实施方式中，若所述第一图片类别预测模型为图片分类模型，所述接收用户对所述第一分类结果进行变更后的变更结果包括：

接收用户对所述第一分类结果中的目标图片的分类结果进行编辑所输入的编辑指令；

响应所述编辑指令，对所述目标图片的分类结果进行变更，获得变更结果。

在该可选的实施方式中，图片类别预测模型可以分为图片分类模型或者图片聚类模型，其中，图片分类模型主要用于识别图片中的物体及其所在的场景，即对物体与场景进行分类；图片聚类模型主要用于识别图片中出现的人的身份，即对人脸进行识别。

当所述第一图片类别预测模型为图片分类模型时，边缘设备通过所述第一图片类别预测模型可以对所述第一图片进行分类，如果所述第一分类结果中存在分类错误的目标图片，即针对目标图片的分类结果是错误的，用户可以编辑所述目标图片的分类结果，边缘设备即可根据用户的操作来对所述目标图片的分类结果进行变更，获得变更结果，其中，所述变更结果包括所述目标图片以及所述目标图片所属的类别。其中，在边缘设备的用户个人数据库中可以记录用户移除的错误标签以及所述目标图片的相关信息。

在一种可选的实施方式中，若所述第一图片类别预测模型为图片聚类模型，所述接收用户对所述第一分类结果进行变更后的变更结果包括：

接收用户对所述第一分类结果中被聚类为多个类别的多个同类图片输入的合并指令；

响应所述合并指令，对多个所述同类图片进行类别合并，并变更多个所述同类图片的类别信息，获得变更结果。

在该可选的实施方式中，图片类别预测模型可以分为图片分类模型或者图片聚类模型，其中，图片分类模型主要用于识别图片中的物体及其所在的场景，即对物体与场景进行分类；图片聚类模型主要用于识别图片中出现的人的身份，即对人脸进行识别。

当所述第一图片类别预测模型为图片聚类模型时，边缘设备通过所述第一图片类别预测模型可以对所述第一图片进行聚类，如果所述第一分类结果中存在将多个同类图片聚类为两个或多个类别，比如针对同一个小孩在不同年龄段的多张图片，被聚类为不同类别，即被预测为不同的人，但本质上是同一个人，用户可以对所述第一分类结果中被聚类为多个类别的多个同类图片进行编辑，触发输入合并指令，边缘设备即可响应所述合并指令对多个所述同类图片进行类别合并，并变更多个所述同类图片的类别信息，获得变更结果。其中，所述变更结果包括多个所述同类图片以及多个所述同类图片所属的类别。其中，在边缘设备的用户个人数据库中可以记录用户合并的错误标签以及多个所述同类图片的相关信息。此外，为了保护用户个人隐私数据，所有的记录存储的数据仅在边缘设备中进行。

在一种可选的实施方式中，所述根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型包括：

若所述第一图片类别预测模型为图片分类模型或图片聚类模型，根据所述变更结果，对所述第一图片类别预测模型的参数进行微调，获得第二图片类别预测模型。

本发明实施例中，当使用第一图片类别预测模型对第一图片进行预测分类存在错误的情况下，边缘设备需要根据用户变更的变更结果了，来对所述第一图片类别预测模型进行优化，使得优化后获得的第二图片类别预测模型更加符合用户数据的分布方式，以提高图片分类的准确度。

具体的，可以将用户反馈的预测错误的目标图片或被聚类为多个类别的多个同类图片确定为负样本，将用户未反馈的图片确定为正样本。将携带有标签的正样本以及负样本输入所述第一图片类别预测模型，通过该正样本以及负样本的训练，对所述第一图片类别预测模型的参数进行微调，可以更新得到更加拟合用户数据的第二图片类别预测模型。

在一种可选的实施方式中，所述方法还包括：

当检测到新增的第二图片时，使用所述第二图片类型预测模型对所述第二图片进行预测，获得第二分类结果。

在该可选的实施方式中，在后续检测到有新增加的第二图片时，即可使用优化后的所述第二图片类型预测模型对所述第二图片进行预测，获得第二分类结果，其中，使用优化后的第二图片类型预测模型对所述第二图片进行分类预测，获得的第二分类结果更加符合所述第二图片的分布方式，分类效果更好，分类准确度也较高。

在一种可选的实施方式中，所述检测新增的第一图片之前，所述方法还包括：

接收服务器推送的第一图片类别预测模型；或

接收服务器推送的基础图片类别预测模型；对所述基础图片类别预测模型进行优化，获得第一图片类别预测模型。

在该可选的实施方式中，所述第一图片类别预测模型可以是预先服务器定期推送的模型，也可以是边缘设备对服务器推送的基础图片类别预测模型进行优化后生成的新模型。

其中，服务器可以收集带有标注的公开数据集以及网络公开数据，经过数据标注等处理后，进行神经网络模型训练。之后，即可将训练完成的神经网络模型推送至边缘设备。其中，服务器推送的模型通常适用于大多数图片的分类，分类准确度较高。

边缘设备接收到服务器推送的模型后，可以直接使用推送的模型进行预测分类，也可以先对推送的模型进行优化后，在使用优化后的模型进行预测分类。

在图2所描述的边缘设备中，当检测到有新增的第一图片时，可以使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果，并输出所述第一分类结果；进一步地，还可以接收用户对所述第一分类结果进行变更后的变更结果，并根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。可见，本发明中，利用变更后更加精确的图片分类结果对第一图片类别预测模型进行个性化优化，获得分类效果更好的第二图片类别预测模型，可以提高针对用户个人数据预测分类的准确度。

参照图3，图3为本发明一实施例公开的一种图片分类系统的功能模块示意图。

在一些实施例中，所述图片分类系统运行于边缘设备中。所述图片分类系统可以包括多个由程序代码段所组成的功能模块。所述图片分类系统中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的图片分类系统方法中的部分或全部步骤。

本实施例中，所述图片分类系统根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：预测模块301、输出模块302、接收模块303以及优化模块304。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在一些实施例中，关于各模块的功能将在后续的实施例中详述。

如图3所示，图片分类系统包括：

预测模块301，用于使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果；

本发明实施例中，用户可以在边缘设备上存储各种类型的图片，比如：场景图片，人物图片，物体图片等等。这些图片可以来自于边缘设备自身拍摄的，也可以来自于其他设备拍摄并发送给边缘设备存储的，还可以来自于云端网络传输的，本发明实施例不做限定。

边缘设备可以实时检测是否有新增加的第一图片，或者，可以以预设周期(比如每星期)检测是否有新增加的第一图片，其中，所述第一图片可以为一张图片，也可以为多张图片，所述第一图片的类型不受限制。

其中，所述第一图片类别预测模型可以是预先服务器定期推送的模型，也可以是边缘设备对服务器推送的模型进行优化后生成的新模型。

其中，所述第一图片类别预测模型为神经网络模型。

具体的，边缘设备可以将所述第一图片输入所述第一图片类别预测模型，经过所述第一图片类别预测模型的一系列矩阵计算，由所述第一图片类别预测模型预测并给每张所述第一图片标注一个或多个不同类别的标签(比如场景标签、物体标签、人物特征标签等)，并根据标签所属类别对所述第一图片进行分类，即可输出所述第一图片的第一分类结果，即第一分类结果中包括所述第一图片的一个或多个类别，每个类别中包括至少一张第一图片。从所述第一分类结果中，可以很直观地看到每个所述第一图片属于什么类别，以及每个类别中都包括些什么图片。

其中，类别可以包括但不限于人物，美食，风景，文档，城市，室内，汽车几个大类。

其中，若一张图片具有多个标签且分属不同类别的范畴，则该图片可能同时出现在多个类别的结果中。由于图片数据本身具有多种特征，也就有可能具有多个标签。本发明并不限制单个图片数据的标签数量，其标签数量仅由其本身特征的丰富程度所决定。

输出模块302，用于输出所述第一分类结果；

其中，边缘设备获得第一分类结果后，边缘设备可以通过用户界面将所述第一分类结果展示给用户，其中，所述边缘设备可以通过内置的用户界面输出所述第一分类结果，或者，所述边缘设备可以通过其他设备的用户界面输出所述第一分类结果。

接收模块303，用于接收用户对所述第一分类结果进行变更后的变更结果；

本发明实施例中，当边缘设备输出所述第一分类结果之后，用户可以核对所述第一分类结果，如果所述第一分类结果存在预测分类错误的图片，或者，所述第一分类结果存在被聚类为两个或多个类别的同一类别的图片，用户可以对所述第一分类结果进行变更。

可选的，若所述第一图片类别预测模型为图片分类模型，所述接收模块303接收用户对所述第一分类结果进行变更后的变更结果包括：

接收用户对所述第一分类结果中的目标图片的分类结果进行编辑所输入的编辑指令；

响应所述编辑指令，对所述目标图片的分类结果进行变更，获得变更结果。

在该可选的实施方式中，图片类别预测模型可以分为图片分类模型或者图片聚类模型，其中，图片分类模型主要用于识别图片中的物体及其所在的场景，即对物体与场景进行分类；图片聚类模型主要用于识别图片中出现的人的身份，即对人脸进行识别。

当所述第一图片类别预测模型为图片分类模型时，边缘设备通过所述第一图片类别预测模型可以对所述第一图片进行分类，如果所述第一分类结果中存在分类错误的目标图片，即针对目标图片的分类结果是错误的，用户可以编辑所述目标图片的分类结果，边缘设备即可根据用户的操作来对所述目标图片的分类结果进行变更，获得变更结果，其中，所述变更结果包括所述目标图片以及所述目标图片所属的类别。其中，在边缘设备的用户个人数据库中可以记录用户移除的错误标签以及所述目标图片的相关信息。

可选的，若所述第一图片类别预测模型为图片聚类模型，所述接收模块303接收用户对所述第一分类结果进行变更后的变更结果包括：

接收用户对所述第一分类结果中被聚类为多个类别的多个同类图片输入的合并指令；

响应所述合并指令，对多个所述同类图片进行类别合并，并变更多个所述同类图片的类别信息，获得变更结果。

在该可选的实施方式中，图片类别预测模型可以分为图片分类模型或者图片聚类模型，其中，图片分类模型主要用于识别图片中的物体及其所在的场景，即对物体与场景进行分类；图片聚类模型主要用于识别图片中出现的人的身份，即对人脸进行识别。

当所述第一图片类别预测模型为图片聚类模型时，边缘设备通过所述第一图片类别预测模型可以对所述第一图片进行聚类，如果所述第一分类结果中存在将多个同类图片聚类为两个或多个类别，比如针对同一个小孩在不同年龄段的多张图片，被聚类为不同类别，即被预测为不同的人，但本质上是同一个人，用户可以对所述第一分类结果中被聚类为多个类别的多个同类图片进行编辑，触发输入合并指令，边缘设备即可响应所述合并指令对多个所述同类图片进行类别合并，并变更多个所述同类图片的类别信息，获得变更结果。其中，所述变更结果包括多个所述同类图片以及多个所述同类图片所属的类别。其中，在边缘设备的用户个人数据库中可以记录用户合并的错误标签以及多个所述同类图片的相关信息。此外，为了保护用户个人隐私数据，所有的记录存储的数据仅在边缘设备中进行。

优化模块304，用于根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。

具体的，所述根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型包括：

若所述第一图片类别预测模型为图片分类模型或图片聚类模型，根据所述变更结果，对所述第一图片类别预测模型的参数进行微调，获得第二图片类别预测模型。

本发明实施例中，当使用第一图片类别预测模型对第一图片进行预测分类存在错误的情况下，边缘设备需要根据用户变更的变更结果了，来对所述第一图片类别预测模型进行优化，使得优化后获得的第二图片类别预测模型更加符合用户数据的分布方式，以提高图片分类的准确度。

具体的，可以将用户反馈的预测错误的目标图片或被聚类为多个类别的多个同类图片确定为负样本，将用户未反馈的图片确定为正样本。将携带有标签的正样本以及负样本输入所述第一图片类别预测模型，通过该正样本以及负样本的训练，对所述第一图片类别预测模型的参数进行微调，可以更新得到更加拟合用户数据的第二图片类别预测模型。

可选的，所述预测模块301还用于当检测到新增的第二图片时，使用所述第二图片类型预测模型对所述第二图片进行预测，获得第二分类结果。

在该可选的实施方式中，在后续检测到有新增加的第二图片时，即可使用优化后的所述第二图片类型预测模型对所述第二图片进行预测，获得第二分类结果，其中，使用优化后的第二图片类型预测模型对所述第二图片进行分类预测，获得的第二分类结果更加符合所述第二图片的分布方式，分类效果更好，分类准确度也较高。

可选的，所述接收模块303还用于在所述预测模块301使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果之前，接收服务器推送的第一图片类别预测模型；或

接收服务器推送的基础图片类别预测模型；对所述基础图片类别预测模型进行优化，获得第一图片类别预测模型。

在该可选的实施方式中，所述第一图片类别预测模型可以是预先服务器定期推送的模型，也可以是边缘设备对服务器推送的基础图片类别预测模型进行优化后生成的新模型。

其中，服务器可以收集带有标注的公开数据集以及网络公开数据，经过数据标注等处理后，进行神经网络模型训练。之后，即可将训练完成的神经网络模型推送至边缘设备。其中，服务器推送的模型通常适用于大多数图片的分类，分类准确度较高。

边缘设备接收到服务器推送的模型后，可以直接使用推送的模型进行预测分类，也可以先对推送的模型进行优化后，在使用优化后的模型进行预测分类。

在图3所描述的图片分类系统中，当检测到有新增的第一图片时，可以使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果，并输出所述第一分类结果；进一步地，还可以接收用户对所述第一分类结果进行变更后的变更结果，并根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。可见，本发明中，利用变更后更加精确的图片分类结果对第一图片类别预测模型进行个性化优化，获得分类效果更好的第二图片类别预测模型，可以提高针对用户个人数据预测分类的准确度。

本申请各个实施例中描述的第一图片、第二图片等图片的序号仅表示对检测到的图片进行区分，第一图片类型预测模型与第二图片类型预测模型表示对图片类型预测模型的更新升级，图片序号与图片类型预测模型之间没有必然的关联，可根据实际需求选择对应的图片类型预测模型对检测到的各个图片进行相应的预测。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读存储介质中。其中，该计算机可读存储介质可以存储计算机程序，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、边缘设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、边缘设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的边缘设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，边缘设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图片分类方法，其特征在于，所述方法包括：

使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果；

输出所述第一分类结果；

接收用户对所述第一分类结果进行变更后的变更结果；

根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。

2.根据权利要求1所述的方法，其特征在于，若所述第一图片类别预测模型为图片分类模型，所述接收用户对所述第一分类结果进行变更后的变更结果包括：

接收用户对所述第一分类结果中的目标图片的分类结果进行编辑所输入的编辑指令；

响应所述编辑指令，对所述目标图片的分类结果进行变更，获得变更结果。

3.根据权利要求1所述的方法，其特征在于，若所述第一图片类别预测模型为图片聚类模型，所述接收用户对所述第一分类结果进行变更后的变更结果包括：

接收用户对所述第一分类结果中被聚类为多个类别的多个同类图片输入的合并指令；

响应所述合并指令，对多个所述同类图片进行类别合并，并变更多个所述同类图片的类别信息，获得变更结果。

4.根据权利要求1所述的方法，其特征在于，所述根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型包括：

若所述第一图片类别预测模型为图片分类模型或图片聚类模型，根据所述变更结果，对所述第一图片类别预测模型的参数进行微调，获得第二图片类别预测模型。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

当检测到新增的第二图片时，使用所述第二图片类型预测模型对所述第二图片进行预测，获得第二分类结果。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果之前，所述方法还包括：

接收服务器推送的第一图片类别预测模型；或

接收服务器推送的基础图片类别预测模型；对所述基础图片类别预测模型进行优化，获得第一图片类别预测模型。

7.一种边缘设备，其特征在于，所述边缘设备包括存储器和处理器，所述存储器上存储有可由所述处理器执行的图片分类程序，所述图片分类程序被所述处理器执行时实现如权利要求1至6任一项所述的图片分类方法。

8.根据权利要求7所述的边缘设备，其特征在于，所述边缘设备为组成内容分发网络或者区块链网络的节点。

9.一种图片分类系统，其特征在于，所述系统包括：

预测模块，用于使用第一图片类别预测模型，对新增的第一图片进行预测，获得第一分类结果；

输出模块，用于输出所述第一分类结果；

接收模块，用于接收用户对所述第一分类结果进行变更后的变更结果；

优化模块，用于根据所述变更结果，对所述第一图片类别预测模型进行优化，获得第二图片类别预测模型。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图片分类程序，所述图片分类程序可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的图片分类方法。