CN111209423A - 一种基于电子相册的图像管理方法、装置以及存储介质 - Google Patents

一种基于电子相册的图像管理方法、装置以及存储介质 Download PDF

Info

Publication number
CN111209423A
CN111209423A CN202010016075.4A CN202010016075A CN111209423A CN 111209423 A CN111209423 A CN 111209423A CN 202010016075 A CN202010016075 A CN 202010016075A CN 111209423 A CN111209423 A CN 111209423A
Authority
CN
China
Prior art keywords
image
recognition model
image recognition
trained
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010016075.4A
Other languages
English (en)
Other versions
CN111209423B (zh
Inventor
郭梓铿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010016075.4A priority Critical patent/CN111209423B/zh
Publication of CN111209423A publication Critical patent/CN111209423A/zh
Application granted granted Critical
Publication of CN111209423B publication Critical patent/CN111209423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于电子相册的图像管理方法、装置以及存储介质,用于人工智能领域。本申请方法包括:从存储至少一个图像的电子相册中获取待识别图像;调用第一图像识别模型,以获取待识别图像所对应的类别概率值;若类别概率值大于或等于类别概率阈值,则调用第二图像识别模型,以获取待识别图像所对应的类别概率值分布;根据类别概率值分布确定待识别图像所对应的图像识别结果;根据图像识别结果,在电子相册的目标分类区域中展示待识别图像。本申请中先后采用不同的图像识别模型,对电子相册中某个类别的图像进行展示,由此节省用户查找特定类别图像的时间,提升图像筛选的效率,有效地减少漏选或者错选的情况。

Description

一种基于电子相册的图像管理方法、装置以及存储介质
技术领域
本申请涉及人工智能领域,尤其涉及一种基于电子相册的图像管理方法、装置以及存储介质。
背景技术
随着计算机技术和多媒体技术的发展,人们接触到的多媒体资源日益丰富。现如今,人们习惯于使用手机以及平板电脑等终端设备拍摄照片,或者自己制作图片,又或者下载其他图片,然后将这些图像都存储与电子相册中,便于后续使用和查看。
目前,电子相册中存储的图像通常是按照时间顺序进行排序。当用户查找某一个类别的图像(比如宠物猫图像或宠物狗图像等)时,需要用户按照时间顺序从头到尾浏览电子相册中的图像,然后手动选择出同一类的图像。
然而,电子相册中往往存储了大量的图像,如果用户从电子相册中手动选择某一个类型的图像,则需要消耗大量的时间,而且还有可能出现漏选或者错选的情况,从而降低了图像筛选的效率。
发明内容
本申请实施例提供了一种基于电子相册的图像管理方法、装置以及存储介质,能够先后采用不同的图像识别模型,对电子相册中某个类别的图像进行展示,在该类别指定的区域中展示图像,由此节省了用户查找特定类别图像的时间,提升了图像筛选的效率,有效地减少了漏选或者错选的情况。
有鉴于此,本申请第一方面提供一种基于电子相册的图像管理方法,包括:
从存储至少一个图像的电子相册中获取待识别图像;
调用第一图像识别模型,以获取待识别图像所对应的类别概率值;
若类别概率值大于或等于类别概率阈值,则调用第二图像识别模型,以获取待识别图像所对应的类别概率值分布,其中,类别概率值分布包括至少两个概率值;
根据类别概率值分布确定待识别图像所对应的图像识别结果,其中,图像识别结果对应于目标概率值,目标概率值为至少两个概率值中的最大值;
根据图像识别结果,在电子相册的目标分类区域中展示待识别图像,其中,电子相册包括至少一个分类区域,目标分类区域属于至少一个分类区域中的一个分类区域,且目标分类区域与待识别图像具有对应关系。
本申请第二方面提供一种图像管理装置,包括:
获取模块,用于从存储至少一个图像的电子相册中获取待识别图像;
获取模块,还用于调用第一图像识别模型,以获取待识别图像所对应的类别概率值;
获取模块,还用于若类别概率值大于或等于类别概率阈值,则调用第二图像识别模型,以获取待识别图像所对应的类别概率值分布,其中,类别概率值分布包括至少两个概率值;
确定模块,用于根据类别概率值分布确定待识别图像所对应的图像识别结果,其中,图像识别结果对应于目标概率值,目标概率值为至少两个概率值中的最大值;
展示模块,用于根据图像识别结果,在电子相册的目标分类区域中展示待识别图像,其中,电子相册包括至少一个分类区域,目标分类区域属于至少一个分类区域中的一个分类区域,且目标分类区域与待识别图像具有对应关系。
在一种可能的设计中,在本申请实施例的第二方面的一种实现方式中,图像管理装置还包括接收模块,
展示模块,还用于在电子相册的第一分类区域中展示分类结果集合,其中,分类结果集合包括至少一个分类结果,且每个分类结果对应于类别概率值大于或等于类别概率阈值的图像,类别概率值为图像调用第一图像识别模型获取到的;
接收模块,用于接收针对于分类结果集合的第一选择指令,其中,第一选择指令携带第一类别标识,第一类别标识对应于目标分类结果,目标分类结果属于分类结果集合中的一个分类结果;
展示模块,还用于响应于第一选择指令,在电子相册的第二分类区域中展示目标分类结果所对应的分类子结果集合,其中,分类子结果集合包括至少一个分类子结果,且每个分类子结果对应于类别概率值分布中最大值所对应的图像,类别概率值分布为图像调用第二图像识别模型获取到的;
接收模块,还用于接收针对于分类子结果集合的第二选择指令,其中,第二选择指令携带第二类别标识,第二类别标识对应于图像识别结果;
展示模块,还用于响应于第二选择指令,在电子相册中展示第二类别标识所对应的待识别图像。
在一种可能的设计中,在本申请实施例的第二方面的另一实现方式中,
获取模块,具体用于:
从存储有至少一张图像的电子相册中获取第一待处理图像,其中,第一待处理图像对应于第一尺寸;
对第一待处理图像进行缩放处理,得到第二待处理图像,其中,第二待处理图像对应于第二尺寸;
对第二待处理图像进行归一化处理,得到在类别判定阶段的待识别图像,其中,类别判定阶段表示调用第一图像识别模型进行图像识别的阶段。
在一种可能的设计中,在本申请实施例的第二方面的另一实现方式中,
获取模块,具体用于:
基于待识别图像,调用第一图像识别模型所包含的第一网络获取第一特征图,其中,第一图像识别模型所包含的第一网络包括至少一个第一卷积层;
基于第一特征图,调用第一图像识别模型所包含的第二网络获取第二特征图,其中,第一图像识别模型所包含的第二网络包括至少一个第二卷积层;
基于第二特征图,调用第一图像识别模型所包含的第三网络获取第三特征图,其中,第一图像识别模型所包含的第三网络包括至少一个第三卷积层;
基于第三特征图,调用第一图像识别模型所包含的第四网络获取第四特征图,其中,第一图像识别模型所包含的第四网络包括至少一个第四卷积层;
基于第四特征图,调用第一图像识别模型所包含的第五网络获取第五特征图,其中,第一图像识别模型所包含的第五网络包括至少一个第五卷积层;
基于第五特征图,调用第一图像识别模型所包含的第一全连接层获取类别概率值。
在一种可能的设计中,在本申请实施例的第二方面的另一实现方式中,第一图像识别模型所包含的第一网络包括1个第一卷积层,其中,第一卷积层包括M个卷积核,M为大于1的整数;
第一图像识别模型所包含的第二网络包括7个第二卷积层,其中,第二卷积层包括(2×M)个卷积核;
第一图像识别模型所包含的第三网络包括10个第三卷积层,其中,第三卷积层包括(4×M)个卷积核;
第一图像识别模型所包含的第四网络包括15个第四卷积层,其中,第四卷积层包括(8×M)个卷积核;
第一图像识别模型所包含的第五网络包括1个第五卷积层,其中,第五卷积层包括(16×M)个卷积核。
在一种可能的设计中,在本申请实施例的第二方面的另一实现方式中,
获取模块,具体用于:
从存储有至少一张图像的电子相册中获取第一待处理图像,其中,第一待处理图像对应于第一尺寸;
对第一待处理图像进行缩放处理,得到第三待处理图像,其中,第三待处理图像对应于第三尺寸;
对第三待处理图像进行归一化处理以及像素值变换处理,得到在类别生成阶段的待识别图像,其中,类别生成阶段表示调用第二图像识别模型进行图像识别的阶段。
在一种可能的设计中,在本申请实施例的第二方面的另一实现方式中,
获取模块,具体用于:
基于待识别图像,调用第二图像识别模型所包含的第一网络获取第一特征图,其中,第二图像识别模型所包含的第一网络包括至少一个第一卷积层;
基于第一特征图,调用第二图像识别模型所包含的第二网络获取第二特征图,其中,第二图像识别模型所包含的第二网络包括至少一个第二卷积层;
基于第二特征图,调用第二图像识别模型所包含的第三网络获取第三特征图,其中,第二图像识别模型所包含的第三网络包括至少一个第三卷积层;
基于第三特征图,调用第二图像识别模型所包含的第四网络获取第四特征图,其中,第二图像识别模型所包含的第四网络包括至少一个第四卷积层;
基于第四特征图,调用第二图像识别模型所包含的第五网络获取第五特征图,其中,第二图像识别模型所包含的第五网络包括至少一个第五卷积层;
基于第五特征图,调用第二图像识别模型所包含的第二全连接层获取类别概率值分布。
在一种可能的设计中,在本申请实施例的第二方面的另一实现方式中,第二图像识别模型所包含的第一网络包括1个第一卷积层,其中,第一卷积层包括N个卷积核,N为大于1的整数;
第二图像识别模型所包含的第二网络包括3个第二卷积层,其中,第二卷积层包括(2×N)个卷积核;
第二图像识别模型所包含的第三网络包括5个第三卷积层,其中,第三卷积层包括(4×N)个卷积核;
第二图像识别模型所包含的第四网络包括6个第四卷积层,其中,第四卷积层包括(8×N)个卷积核;
第二图像识别模型所包含的第五网络包括3个第五卷积层,其中,第五卷积层包括(16×N)个卷积核。
在一种可能的设计中,在本申请实施例的第二方面的另一实现方式中,图像管理装置还包括更新模块以及生成模块,
获取模块,还用于获取第一待训练图像集合,其中,第一待训练图像集合包括至少一个第一待训练图像,每个第一待训练图像对应于一个第一真实标签,第一真实标签表示对第一待训练图像进行标注后得到的分类结果;
获取模块,还用于基于第一待训练图像集合,通过第一待训练图像识别模型获取每个第一待训练图像所对应的第一预测概率,其中,第一预测概率表示对第一待训练图像进行预测后得到的分类概率;
更新模块,用于基于第一预测概率以及第一真实标签,根据第一损失函数更新第一待训练图像识别模型的模型参数;
生成模块,用于若满足模型训练条件,则根据更新后的第一待训练图像识别模型所对应的模型参数,生成第一图像识别模型。
在一种可能的设计中,在本申请实施例的第二方面的另一实现方式中,图像管理装置还包括处理模块,
获取模块,还用于获取第一原始图像;
处理模块,用于对第一原始图像进行剪裁处理,得到至少一个第一剪裁图像;
处理模块,还用于对第一原始图像进行旋转处理,得到至少一个第一旋转图像;
处理模块,还用于对第一原始图像进行噪声添加处理,得到至少一个第一噪声图像;
获取模块,具体用于从至少一个第一剪裁图像、至少一个第一旋转图像以及至少一个第一噪声图像中,获取第一待训练图像集合,其中,第一剪裁图像、第一旋转图像以及第一噪声图像均对应于第二尺寸。
在一种可能的设计中,在本申请实施例的第二方面的另一实现方式中,
获取模块,还用于获取第二待训练图像集合,其中,第二待训练图像集合包括至少一个第二待训练图像,每个第二待训练图像对应于第二真实标签,第二真实标签表示对第二待训练图像进行标注后得到的子分类结果;
获取模块,还用于基于第二待训练图像集合,通过第二待训练图像识别模型获取每个第一待训练图像所对应的第二预测概率以及第三预测概率,其中,第二预测概率为根据第一预测特征图生成的,第三预测概率为根据第二预测特征图生成的,且第一预测特征图与第二预测特征图分别对应于不同卷积层的输出;
更新模块,还用于基于第二真实标签、第二预测概率以及第三预测概率,根据第二损失函数更新第二待训练图像识别模型的模型参数;
生成模块,还用于若满足模型训练条件,则根据更新后的第二待训练图像识别模型所对应的模型参数,生成第二图像识别模型。
在一种可能的设计中,在本申请实施例的第二方面的另一实现方式中,
获取模块,还用于获取第二原始图像;
处理模块,还用于对第二原始图像进行剪裁处理,得到至少一个第二剪裁图像;
处理模块,还用于对第二原始图像进行旋转处理,得到至少一个第二旋转图像;
处理模块,还用于对第二原始图像进行噪声添加处理,得到至少一个第二噪声图像;
获取模块,具体用于从至少一个第二剪裁图像、至少一个第二旋转图像以及至少一个第二噪声图像中,获取第二待训练图像集合,其中,第二剪裁图像、第二旋转图像以及第二噪声图像均对应于第三尺寸。
本申请的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出,本申请实施例包括以下优点:
本申请实施例中,提供了一种基于电子相册的图像管理方法,通过先后采用不同的图像识别模型,对电子相册中某个类别的图像进行展示,即先采用第一图像识别模型对图像进行粗略分类,在确定该图像满足分类条件的情况下,进一步采用第二图像识别模型对图像进行精细分类,得到图像的具体类别,从而在该类别指定的区域中展示图像,由此节省了用户查找特定类别图像的时间,提升了图像筛选的效率,有效地减少了漏选或者错选的情况。
附图说明
图1为本申请实施例中图像管理系统的一个架构示意图;
图2为本申请实施例中基于电子相册的图像管理方法一个实施例示意图;
图3为本申请实施例中电子相册的一个界面示意图;
图4为本申请实施例中目标分类区域的一个界面示意图;
图5为本申请实施例中电子相册的另一界面示意图;
图6为本申请实施例中图像展示方法的一个实施例示意图;
图7为本申请实施例中第一分类区域的一个界面示意图;
图8为本申请实施例中第二分类区域的一个界面示意图;
图9为本申请实施例中电子相册的另一界面示意图;
图10为本申请实施例中获取类别概率值的一个流程示意图;
图11为本申请实施例中第一图像识别模型的一个结构示意图;
图12为本申请实施例中获取类别概率值分布的一个流程示意图;
图13为本申请实施例中第二图像识别模型的一个结构示意图;
图14为本申请实施例中第一图像识别模型训练的一个流程示意图;
图15为本申请实施例中第一待训练图像集合获取的一个流程示意图;
图16为本申请实施例中剪裁处理的一个实施例示意图;
图17为本申请实施例中剪裁处理的另一实施例示意图;
图18为本申请实施例中旋转处理的一个实施例示意图;
图19为本申请实施例中噪声添加处理的一个实施例示意图;
图20为本申请实施例中第二图像识别模型训练的一个流程示意图;
图21为本申请实施例中图像管理装置一个实施例示意图;
图22为本申请实施例中终端设备一个实施例示意图。
具体实施方式
本申请实施例提供了一种基于电子相册的图像管理方法、装置以及存储介质,能够先后采用不同的图像识别模型,对电子相册中某个类别的图像进行展示,在该类别指定的区域中展示图像,由此节省了用户查找特定类别图像的时间,提升了图像筛选的效率,有效地减少了漏选或者错选的情况。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本实施例可以应用于基于电子相册对某个类别的图像进行展示的场景,前述类别可以但不限于为“宠物”,“植物”,“建筑”,“人像”,“美食”以及“风景”。具体地,以展示人像类别图像作为示例进行说明,人像类别中的图像相较于其他类别的图像具有身份,姿态,年龄以及表情等各种信息,因此可以通过人像图像中的各种特征信息对类别进行区分,而进一步地,还可以对人像类别中的图像进行进一步地分类,例如,基于年龄对人像类别中的图像进行幼年,少年,中年以及老年等不同年龄段进行划分,或者基于表情对人像类别中的图像进行快乐,悲伤以及生气等不同情绪进行划分。在对类别划分之后,还可以进行精细划分,得到人像图像的具体类别,并展示精细划分的类别图像,便于用户查找人像类别图像。以展示宠物类别作为另一个示例进行说明,宠物类别中的图像相较于于其他类别的图像,包含但不限于毛发,形态以及五官等各种信息,因此可以通过宠物图像中的各种特征信息将该类别与其他类别区分开来。
以展示宠物类别图像作为示例进行说明,基于毛发对宠物类别中的图像进行长毛,短毛以及无毛等不同毛发程度的划分,或者根据形态对宠物类别中的图像进行猫,狗以及兔等不同宠物类别的的划分。在对类别划分之后,进行进一步的精细划分,得到宠物图像的具体类别,并展示精细划分后的类别图像,便于用户查找宠物类别图像,并且更准确地查找具体类别。
基于上述场景,本申请提出了一种图像管理的方法,该方法应用于图1所示的图像管理系统,请参阅图1,图1为本申请实施例中图像管理系统的一个架构示意图,如图所示,图像管理系统中包括服务器和终端设备。而图像管理装置可以部署于终端设备,也可以将模型部分部署于服务器,下面将以图像管理装置部署于终端设备为例进行介绍。
具体地,用户可以使用终端设备拍摄照片,拍摄之后该照片会自动存储在电子相册中。电子相册在后台调用第一图像识别模型,以获取该照片所对应的类别概率值,当类别概率值大于或等于类别概率阈值时,则调用第二图像识别模型,以获取该照片所对应的类别概率值分布,进一步地,根据类别概率值分布确定该照片所对应的图像识别结果(比如柯基犬),于是在电子相册的柯基犬分类区域中展示该照片。当用户再次打开电子相册时,就会看到这张照片出现在柯基犬分类区域。
若本申请提供的第一图像识别模型和第二图像识别模型均部署于终端设备,那么在离线的情况下,终端设备可以自动对电子相册中的图像进行识别和分类。若本申请提供的第一图像识别模型和第二图像识别模型均部署于服务器,那么在联网的情况下,终端设备需要将图像上传至服务器,由服务器采用模型对图像进行识别和分类,再将识别结果下发至终端设备,由终端设备进行展示。
可以理解的是,图1中的服务器可以是一台服务器或多台服务器组成的服务器集群或云计算中心等,具体此处均不限定。终端设备可以为图1中示出的平板电脑、笔记本电脑、掌上电脑、手机、个人电脑(personal computer,PC)及语音交互设备,此次不做限定。
虽然图1中仅示出了五个终端设备和一个服务器,但应当理解,图1中的示例仅用于理解本方案,具体终端设备和服务器的数量均应当结合实际情况灵活确定。
本申请实施例提供的图像展示方法和图像识别方法均应用于人工智能领域,下面将对人工智能(Artificial Intelligence,AI)领域的一些基础概念进行介绍。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步,人工智能技术在多种方向展开研究,计算机视觉技术(Computer Vision,CV)就是人工智能技术的多种研究方向中研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像识别技术,结合上述介绍,下面将对本申请中基于电子相册的图像管理方法进行介绍,请参阅图2,图2为本申请实施例中基于电子相册的图像管理方法一个实施例示意图,如图所示,本申请实施例中基于电子相册的图像管理方法一个实施例包括:
101、从存储至少一个图像的电子相册中获取待识别图像;
本实施例中,终端设备可以从存储有至少一个图像的电子相册中获取待识别图像。为了便于理解,请参阅图3,图3为本申请实施例中电子相册的一个界面示意图,如图所示,电子相册中存储有多个图像,多个图像中包括待识别图像D,由此,终端设备可以从该电子相册中获取到待识别图像D。
需要说明的是,终端设备可以部署于服务器,也可以部署于终端设备,本申请中以终端设备部署于终端设备为例进行说明,然而这不应理解为对本申请的限定。
102、调用第一图像识别模型,以获取待识别图像所对应的类别概率值;
本实施例中,终端设备获取到待识别图像后,可以将该待识别图像作为第一图像识别模型输入,由第一图像识别模型输出待识别图像所对应的类别概率值。其中,类别概率值可以为一个单独数值,例如0.2,0.5或者0.8。
103、若类别概率值大于或等于类别概率阈值,则调用第二图像识别模型,以获取待识别图像所对应的类别概率值分布,其中,类别概率值分布包括至少两个概率值;
本实施例中,当获取的类别概率值大于或等于类别概率阈值时,终端设备可以将该待识别图像作为第二图像识别模型的输入,由第二图像识别模型输出待识别图像所对应的类别概率值分布,该类别概率值分布包括至少两个概率值。
具体地,假设类别概率阈值设置为0.9,那么如果类别概率值大于或等于0.9,则待识别图像就是属于特定类别,例如属于宠物、建筑、风景以及人像等,前述示例仅用于理解本方案,具体类别概率阈值以及类别应当结合实际情况灵活确定。若有3个类别可进行分类,则类别概率值分布中就可以有3个值,若有5个类别可进行分类,则类别概率值分布中就可以有5个值,其中,类别概率值分布是进行归一化处理后得到的。为了便于理解,以宠物类别的图像为例进行说明,该宠物类别下可以包括波斯猫、松狮犬以及中华田园猫三种分类,若待识别图像所对应的类别概率值大于类别概率阈值0.9时,则表示该待识别图像属于宠物类别,且第二图像识别模型输出待识别图像所对应的类别概率值分布可以表示为(0.1,0.7,0.2)。
104、根据类别概率值分布确定待识别图像所对应的图像识别结果,其中,图像识别结果对应于目标概率值,目标概率值为至少两个概率值中的最大值;
本实施例中,终端设备可以根据类别概率值分布确定待识别图像所对应的图像识别结果,该图像识别结果对应于目标概率值,而目标概率值为至少两个概率值中的最大值。为了便于理解,以宠物类别的图像为例进行说明,宠物类别下还可以包括波斯猫、松狮犬以及中华田园猫三种分类,假设类别概率值分布为(0.1,0.7,0.2),其中,0.7为类别概率值分布中最大的值,而0.7所对应的分类为松狮犬,因此可以得到待识别图像所对应的图像识别结果为松狮犬。
105、根据图像识别结果,在电子相册的目标分类区域中展示待识别图像,其中,电子相册包括至少一个分类区域,目标分类区域属于至少一个分类区域中的一个分类区域,且目标分类区域与待识别图像具有对应关系。
本实施例中,终端设备可以图像识别结果,在电子相册的目标分类区域中展示待识别图像,该电子相册可以包括至少一个分类区域,目标分类区域属于至少一个分类区域中的一个分类区域。
为了便于理解,请参阅图4,图4为本申请实施例中目标分类区域的一个界面示意图,如图所示,以图像识别结果为松狮犬作为示例进行说明,图4中(A)所示出的为展示于松狮犬分类区域中的待识别图像E1。以图像识别结果为中式古建筑作为示例进行说明,图4中(B)所示出的为展示于中式古建筑分类区域中的待识别图像D1。
以图像识别结果为松狮犬,且松狮犬属于宠物分类作为示例进行说明,请参阅图5,图5为本申请实施例中电子相册的另一界面示意图,如图所示,图5中(A)所示出的为松狮犬分类集合F1,若点选了该松狮犬分类集合F1,即可进入图5中(B)所示出的展示界面,该展示界面所展示的为松狮犬分类区域,而待识别图像F2即可以展示于该松狮犬分类区域中。
本申请实施例中,提供了一种图像识别方法,通过上述方式,先采用第一图像识别模型对待识别图像进行粗略分类,在确定该待识别图像满足分类条件的情况下,进一步采用第二图像识别模型对该待识别图像进行精细分类,得到图像的具体类别,从而在该类别对应的目标分类区域展示该待识别图像,由此提升图像筛选的效率,还可以节省用户查找特定类别图像的时间。
可选地,下面将对本申请中基于电子相册的展示方法进行介绍,根据图像识别结果,在电子相册的目标分类区域中展示待识别图像之后,还可以进一步地基于电子相册的进行图像展示,请参阅图6,图6为本申请实施例中图像展示方法的一个实施例示意图,如图所示,本申请实施例中基于电子相册的图像展示方法一个实施例包括:
201、从存储至少一个图像的电子相册中获取待识别图像;
202、调用第一图像识别模型,以获取待识别图像所对应的类别概率值;
203、若类别概率值大于或等于类别概率阈值,则调用第二图像识别模型,以获取待识别图像所对应的类别概率值分布,其中,类别概率值分布包括至少两个概率值;
204、根据类别概率值分布确定待识别图像所对应的图像识别结果,其中,图像识别结果对应于目标概率值,目标概率值为至少两个概率值中的最大值;
205、根据图像识别结果,在电子相册的目标分类区域中展示待识别图像,其中,电子相册包括至少一个分类区域,目标分类区域属于至少一个分类区域中的一个分类区域,且目标分类区域与待识别图像具有对应关系;
需要说明的是,步骤201至步骤205与步骤101至步骤105类似,此处不做赘述。
206、在电子相册的第一分类区域中展示分类结果集合,其中,分类结果集合包括至少一个分类结果,且每个分类结果对应于类别概率值大于或等于类别概率阈值的图像,类别概率值为图像调用第一图像识别模型获取到的;
本实施例中,终端设备可以在电子相册的第一分类区域中展示包括至少一个分类结果的分类结果集合,每个分类结果对应于类别概率值大于或等于类别概率阈值的图像。具体地,分类结果可以包括但不限于为宠物、建筑、美食以及人像。而类别概率值为一个单独数值,例如0.2,0.5或者0.8,本实施例中类别概率阈值可以设置为0.9,即类别概率值大于0.9的图像即可属于前述分类结果,应当理解,前述示例仅用于理解本方案,具体类别概率阈值应当结合实际情况灵活确定。
为了便于理解,请参阅图7,图7为本申请实施例中第一分类区域的一个界面示意图,如图所示,电子相册上可以展示第一分类区域,而第一分类区域有分类结果集合A1、A2和A3,分类结果集合A1为宠物类别图像的集合,即分类结果集合A1中包括类别概率值大于(宠物图像对应的)类别概率阈值的宠物图像,分类结果集合A2为植物类别图像的集合,即分类结果集合A2中包括类别概率值大于(植物图像对应的)类别概率阈值的植物图像,分类结果集合A3为建筑类别图像的集合,即分类结果集合A3中包括类别概率值大于(建筑图像对应的)类别概率阈值的建筑图像。
207、接收针对于分类结果集合的第一选择指令,其中,第一选择指令携带第一类别标识,第一类别标识对应于目标分类结果,目标分类结果属于分类结果集合中的一个分类结果;
本实施例中,终端设备可以接收针对于分类结果集合的第一选择指令,该第一选择指令携带第一类别标识,并且第一类别标识对应于目标分类结果,且目标分类结果属于分类结果集合中的一个分类结果。例如,分类结果集合中包括宠物、植物以及建筑三种分类结果,而宠物对应的第一类别标识为000,植物对应的第一类别标识为001以及建筑对应的第一类别标识为002。若第一选择指令携带的第一类别标识为000,则目标分类结果为宠物,若第一选择指令携带的第一类别标识为001,则目标分类结果为植物,若第一选择指令携带的第一类别标识为002,则目标分类结果为建筑。
208、响应于第一选择指令,在电子相册的第二分类区域中展示目标分类结果所对应的分类子结果集合,其中,分类子结果集合包括至少一个分类子结果,且每个分类子结果对应于类别概率值分布中最大值所对应的图像,类别概率值分布为图像调用第二图像识别模型获取到的;
本实施例中,终端设备可以响应于第一选择指令,然后在电子相册的第二分类区域中展示目标分类结果所对应的分类子结果集合,其中,分类子结果集合包括至少一个分类子结果,且每个分类子结果对应于类别概率值分布中最大值所对应的图像,类别概率值分布为图像调用第二图像识别模型获取到的。
为了便于理解,请参阅图8,图8为本申请实施例中第二分类区域的一个界面示意图,如图所示,假设第一选择指令携带的第一类别标识为000,且假设第一类别标识000所对应的目标分类结果为宠物,则图8中(A)所示出的为宠物所对应的分类子结果集合,该分类子结果集合包括有三个分类子结果,分别为B11所指示的波斯猫,B12所指示的松狮犬以及B13所指示的中华田园猫。假设第一选择指令携带的第一类别标识为002,且假设第一类别标识002所对应的目标分类结果为建筑,则图8中(B)所示出的为建筑所对应的分类子结果集合,该分类子结果集合包括有两个分类子结果,分别为B21所指示的西式建筑以及B22所指示的中式古建筑。
209、接收针对于分类子结果集合的第二选择指令,其中,第二选择指令携带第二类别标识,第二类别标识对应于图像识别结果;
本实施例中,终端设备可以接收针对于分类子结果集合的第二选择指令,该第二选择指令携带第二类别标识,并且第二类别标识对应于图像识别结果。例如分类子结果集合中包括波斯猫,松狮犬以及中华田园猫这三类识别结果,而波斯猫对应的第二类别标识为100,松狮犬对应的第二类别标识为300以及中华田园猫对应的第二类别标识为200,并且第二类别标识100,200以及300与第一类别标识000具有对应关系。假设第二选择指令携带的第二类别标识为100,则可以确定图像识别结果为波斯猫,假设第二选择指令携带的第二类别标识为200,则可以确定图像识别结果为松狮犬,假设第二选择指令携带的第二类别标识为300,则可以确定图像识别结果为中华田园猫。
210、响应于第二选择指令,在电子相册中展示第二类别标识所对应的待识别图像。
本实施例中,终端设备可以响应于第二选择指令,并且在电子相册中展示第二类别标识所对应的待识别图像。
为了便于理解,以第一类别标识为000为示例进行说明,请参阅图9,图9为本申请实施例中电子相册的一个界面示意图,如图所示,假设第二选择指令携带的第二类别标识为100,且假设第二类别标识100所对应的图像识别结果为波斯猫,那么图9中(A)示出的为波斯猫所对应的待识别图像,包括有图像C11,图像C12以及图像C13,如图9中(A)可知图像C11,图像C12以及图像13均为波斯猫的图像。假设第二选择指令携带的第二类别标识为200,且假设第二类别标识200所对应的图像识别结果为松狮犬,因此图9中(B)示出的为松狮犬所对应的图像即为待识别图像,待识别图像包括图像C21,图像C22以及图像C23,如图9中(A)可知图像C21,图像C22以及图像23均为松狮犬的图像。
本申请实施例中,提供了一种基于电子相册的图像展示方法,通过上述方式,先后采用不同的图像识别模型,对电子相册中某个类别的图像进行展示,即先采用第一图像识别模型对图像进行粗略分类,在确定该图像满足分类条件的情况下,进一步采用第二图像识别模型对图像进行精细分类,得到图像的具体类别,从而在该类别指定的区域中展示图像,由此节省了用户查找特定类别图像的时间,提升了图像筛选的效率,有效地减少了漏选或者错选的情况。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的基于电子相册的图像管理方法一个可选实施例中,从存储至少一个图像的电子相册中获取待识别图像,可以包括:
从电子相册中获取第一待处理图像,其中,第一待处理图像对应于第一尺寸;
对第一待处理图像进行缩放处理,得到第二待处理图像,其中,第二待处理图像对应于第二尺寸;
对第二待处理图像进行归一化处理,得到在类别判定阶段的待识别图像,其中,类别判定阶段表示调用第一图像识别模型进行图像识别的阶段。
本实施例中,终端设备从电子相册中获取第一待处理图像,该第一待处理图像对应于第一尺寸,然后对第一待处理图像进行缩放处理,得到第二待处理图像,该第二待处理图像对应于第二尺寸,其中第一尺寸与第二尺寸可以相同的尺寸,也可以为不相同的尺寸,进一步地,对第二待处理图像进行归一化处理,得到在类别判定阶段的待识别图像,该类别判定阶段表示调用第一图像识别模型进行图像识别的阶段。为了便于理解,以第一尺寸为1080×720作为示例进行说明,进行缩小后得到的第二尺寸可以为224×224,应当理解,前述示例仅用于理解本方案,具体第一尺寸以及第二尺寸的取值应当结合实际情况灵活确定。进一步地,将第二待处理图像像素值除以255,以实现归一化处理。
本申请实施例中,提供了一种获取待识别图像的方法,通过上述方式,对待处理图像进行缩放以及归一化处理,能得到多个尺寸固定,并且可靠性较高的待识别图像,该待识别图像输入第一图像识别模型,能够提升所输出的类别概率值的可靠性,从而提升图像识别结果的准确度以及可靠性。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的基于电子相册的图像管理方法另一可选实施例中,调用第一图像识别模型获取待识别图像所对应的类别概率值,可以包括:
基于待识别图像,调用第一图像识别模型所包含的第一网络获取第一特征图,其中,第一图像识别模型所包含的第一网络包括至少一个第一卷积层;
基于第一特征图,调用第一图像识别模型所包含的第二网络获取第二特征图,其中,第一图像识别模型所包含的第二网络包括至少一个第二卷积层;
基于第二特征图,调用第一图像识别模型所包含的第三网络获取第三特征图,其中,第一图像识别模型所包含的第三网络包括至少一个第三卷积层;
基于第三特征图,调用第一图像识别模型所包含的第四网络获取第四特征图,其中,第一图像识别模型所包含的第四网络包括至少一个第四卷积层;
基于第四特征图,调用第一图像识别模型所包含的第五网络获取第五特征图,其中,第一图像识别模型所包含的第五网络包括至少一个第五卷积层;
基于第五特征图,调用第一图像识别模型所包含的第一全连接层获取类别概率值。
本实施例中,介绍了一种获取类别概率值的方法。具体地,假设第一卷积层为32×3×3的卷积网络,第二卷积层为64×3×3的卷积网络,第三卷积层为128×3×3的卷积网络,第四卷积层为256×3×3的卷积网络,第五卷积层为512×3×3的卷积网络。为了便于理解,请参阅图10,图10为本申请实施例中获取类别概率值的一个流程示意图,如图所示,在步骤G1中,将待识别图像作为第一网络的输入,通过第一网络对待识别图像进行特征采样,特征采样指的是对待识别图像进行局部采样,例如采样大小为2×2,并且根据最大值采样的采样策略对待识别图像进行采样,可以表示的是在每个不重叠的2×2的特征图区域保留最大值,其他值舍弃的特征采样,例如一张100×100的待识别图像经过上述2×2采样后会变成50×50的第一特征图,即对待识别图像做了4倍的压缩,然后第一网络可以输出经过特征采样后的第一特征图。在步骤G2中,将第一特征图作为第二网络的输入,由第二网络对第一特征图进行特征采样得到第二特征图,然后第二网络输出第二特征图,在步骤G3中将第二特征图作为第三网络的输入,第三网络可以对第二特征图进行特征采样得到第三特征图,然后第三网络输出第三特征图,在步骤G4中,将第三特征图作为第四网络的输入,第四网络可以对第三特征图进行特征采样得到第四特征图,然后第四网络输出第四特征图,在步骤G5中,将第四特征图作为第五网络的输入,第五网络可以对第四特征图进行特征采样得到第五特征图,然后第五网络输出第二特征图,在步骤G6中,将通过步骤F5得到的第五特征图的特征作为第一全连接层的输入,第一全连接层通过Flatten函数将第五特征图的特征平铺展开,并取最大值融合得到类别概率值,然后第一全连接层即可输出类别概率值。
本申请实施例中,提供了一种获取类别概率值的方法,通过上述方式,待识别图像通过多个网络中的卷积层得到第五特征图,并且基于该第五特征图通过全连接层经过特征的平铺以及最大值融合后获取类别概率值,第五特征图的特征能够准确的反映待识别图像的深度特征,由此所获得的类别概率值能够更为准确的指示待识别图像的类别,从而提升图像识别的准确度。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的基于电子相册的图像管理方法另一可选实施例中,
第一图像识别模型所包含的第一网络包括1个第一卷积层,其中,第一卷积层包括M个卷积核,M为大于1的整数;
第一图像识别模型所包含的第二网络包括7个第二卷积层,其中,第二卷积层包括(2×M)个卷积核;
第一图像识别模型所包含的第三网络包括10个第三卷积层,其中,第三卷积层包括(4×M)个卷积核;
第一图像识别模型所包含的第四网络包括15个第四卷积层,其中,第四卷积层包括(8×M)个卷积核;
第一图像识别模型所包含的第五网络包括1个第五卷积层,其中,第五卷积层包括(16×M)个卷积核。
本实施例中,下面将以第一图像识别模型的具体结构为例进行介绍,且具体可以将M设置为32。为了便于理解,请参阅图11,图11为本申请实施例中第一图像识别模型的一个结构示意图,如图所示,将尺寸为224×224的待识别图像输入至第一层卷积层,该第一层卷积层属于第一卷积层,尺寸为3×3,步长(stride)为1,填充(padding)为1,且卷积核为32,第一层卷积层可以将待识别图像的特征输入至最大池化层,最大池化层对该特征进行最大池化,从而得到第一特征图,再将第一特征图输入至第二层卷积层。
第二层卷积层属于第二卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为64,第二层卷积层可以输出特征至最大池化层,最大池化层对该特征进行最大池化,然后将得到的特征输入至第三层卷积层。
第三层至第八层卷积层也属于第二卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为64,第八层卷积层可以输出第二特征图,然后将第二特征图输入至第九层卷积层,第九层卷积层为第三卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为128,第九层卷积层可以输出特征至最大池化层,最大池化层对该特征进行最大池化,然后将得到的特征输入至第十层卷积层。
第十层至第十八层卷积层属于第三卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为128,第十八层卷积层可以输出第三特征图,然后将第三特征图输入至第十九层卷积层,第十九层卷积层属于第四卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为256,第十九层卷积层可以输出特征至最大池化层,最大池化层对该特征进行最大池化,再将得到的特征输入至第二十层卷积层。
第二十层至第二十六层卷积层也属于第四卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为256,第二十六层卷积层可以将得到的特征输入至第二十七层卷积层,第二十七层至第三十三层卷积层也属于第四卷积层,尺寸为3×3,步长为1,填充为0,且卷积核为256,第三十三层卷积层可以输出第四特征图,然后将第四特征图输入至第三十四层卷积层,第三十四层卷积层属于第五卷积层,尺寸为3×3,步长为1,填充为0,且卷积核为512,由第三十四层卷积层输出第五特征图,该第五特征图作为第一全连接层的输入,使得第一全连接层基于该第五特征图,通过Flatten函数将第五特征图的特征平铺展开,并取最大值融合得到类别概率值,然后第一全连接层即可输出类别概率值。
本申请实施例中,提供了一种第一图像识别模型架构,通过上述方式,待识别图像输入至该第一图像识别模型后,可以进行多次卷积以及最大池化得到第五特征图,由此提升第五特征图的准确度以及稳定性,而由基于该第五特征图得到的类别概率值能够更为准确的指示待识别图像的类别,从而提升图像识别的准确度。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的基于电子相册的图像管理方法另一可选实施例中,从存储至少一个图像的电子相册中获取待识别图像,可以包括:
从电子相册中获取第一待处理图像,其中,第一待处理图像对应于第一尺寸;
对第一待处理图像进行缩放处理,得到第三待处理图像,其中,第三待处理图像对应于第三尺寸;
对第三待处理图像进行归一化处理以及像素值变换处理,得到在类别生成阶段的待识别图像,其中,类别生成阶段表示调用第二图像识别模型进行图像识别的阶段。
本实施例中,终端设备可以电子相册中获取第一待处理图像,该第一待处理图像对应于第一尺寸,然后对第一待处理图像进行缩放处理,得到第三待处理图像,该第三待处理图像对应于第三尺寸,第一尺寸与第三尺寸可以相同的尺寸,也可以为不相同的尺寸,进一步地对第二待处理图像进行归一化处理以及像素值变换处理,得到在类别判定阶段的待识别图像,该类别判定阶段表示调用第二图像识别模型进行图像识别的阶段。为了便于理解,假设第一尺寸为1080×720,进行缩小后得到的第三尺寸可以为448×448,应当理解,前述示例仅用于理解本方案,具体第一尺寸以及第三尺寸的取值应当结合实际情况灵活确定。进一步地,将第三待处理图像像素值除以255即可得到待识别图像,而第三待处理图像在像素值除以255后,还可以再将像素值减去0.5,并且再除以0.5得到待识别图像,通过将像素值减去0.5的方法可以提升待识别图像稳定性,由此可以提升第二图像识别模型的稳定性,而将像素值再除以0.5的方法可以使得像素值在-1到1之间。
本申请实施例中,提供了另一种获取待识别图像的方法,通过上述方式,对待处理图像进行缩放以及归一化处理以及像素值变换处理,能得到多个尺寸固定且像素值稳定的待识别图像,由此得到的待识别图像可靠性以及稳定性较高,因此将该待识别图像输入第一图像识别模型,能够提升所输出的类别概率值的可靠性以及稳定性,从而提升成图像识别结果的准确度。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的基于电子相册的图像管理方法另一可选实施例中,调用第二图像识别模型获取待识别图像所对应的类别概率值分布,可以包括:
基于待识别图像,调用第二图像识别模型所包含的第一网络获取第一特征图,其中,第二图像识别模型所包含的第一网络包括至少一个第一卷积层;
基于第一特征图,调用第二图像识别模型所包含的第二网络获取第二特征图,其中,第二图像识别模型所包含的第二网络包括至少一个第二卷积层;
基于第二特征图,调用第二图像识别模型所包含的第三网络获取第三特征图,其中,第二图像识别模型所包含的第三网络包括至少一个第三卷积层;
基于第三特征图,调用第二图像识别模型所包含的第四网络获取第四特征图,其中,第二图像识别模型所包含的第四网络包括至少一个第四卷积层;
基于第四特征图,调用第二图像识别模型所包含的第五网络获取第五特征图,其中,第二图像识别模型所包含的第五网络包括至少一个第五卷积层;
基于第五特征图,调用第二图像识别模型所包含的第二全连接层获取类别概率值分布。
本实施例中,介绍了一种获取类别概率值分布的方法。应理解,终端设备还可以将前述经过归一化处理得到的待识别图像,作为第二图像识别模型所的输入,根据该待识别图像进行类别概率值分布的分布,可以节省归一化处理以及像素值变换处理的时间,节省处理资源,提升图像识别效率,因此本实施例中待识别图像可以为经过归一化处理得到的,还可以为经过归一化处理以及像素值变换处理得到的,在此不做限定。
具体地,假设第一卷积层为32×3×3的卷积网络,第二卷积层为64×3×3的卷积网络,第三卷积层为128×3×3的卷积网络,第四卷积层为256×3×3的卷积网络,第五卷积层为512×3×3的卷积网络。为了便于理解,请参阅图12,图12为本申请实施例中获取类别概率值分布的一个流程示意图,如图所示,在步骤H1中,将待识别图像作为第一网络的输入,通过第一网络可以对待识别图像进行特征采样,特征采样指的是对待识别图像进行局部采样,局部采样与前述实施例介绍类似,在此再赘述。然后在步骤H2中将第一特征图作为第二网络的输入,第二网络可以对第一特征图进行特征采样得到第二特征图,然后第二网络输出第二特征图,在步骤H3中将第二特征图作为第三网络的输入,第三网络可以对第二特征图进行特征采样得到第三特征图,然后第三网络输出第三特征图,在步骤H4中将第三特征图作为第四网络的输入,第四网络可以对第三特征图进行特征采样得到第四特征图,然后第四网络输出第四特征图,在步骤H5中将第四特征图作为第五网络的输入,第五网络可以对第四特征图进行特征采样得到第五特征图,然后第五网络输出第二特征图,最后步骤H6将通过步骤F5得到的第五特征图的特征作为第二全连接层的输入,第二全连接层通过Flatten函数将第五特征图的特征平铺展开,并取最大值融合得到类别概率值分布,然后第一全连接层即可输出类别概率值分布。
本申请实施例中,提供了一种获取类别概率值分布的方法,通过上述方式,待识别图像通过多个网络中的卷积层得到第五特征图,第五特征图的特征能够准确的反映待识别图像的深度特征,并且基于该第五特征图通过全连接层经过特征的平铺以及最大值融合后获取类别概率值分布,该类别概率值能够更为准确的指示待识别图像的类别,从而提升图像识别的精准度。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的基于电子相册的图像管理方法另一可选实施例中,
第二图像识别模型所包含的第一网络包括1个第一卷积层,其中,第一卷积层包括N个卷积核,N为大于1的整数;
第二图像识别模型所包含的第二网络包括3个第二卷积层,其中,第二卷积层包括(2×N)个卷积核;
第二图像识别模型所包含的第三网络包括5个第三卷积层,其中,第三卷积层包括(4×N)个卷积核;
第二图像识别模型所包含的第四网络包括6个第四卷积层,其中,第四卷积层包括(8×N)个卷积核;
第二图像识别模型所包含的第五网络包括3个第五卷积层,其中,第五卷积层包括(16×N)个卷积核。
本实施例中,下面将以第二图像识别模型的具体结构为例进行介绍,且具体可以将N设置为32。为了便于理解,请参阅图13,图13为本申请实施例中第二图像识别模型的一个结构示意图,如图所示,将尺寸为448×448的待识别图像输入至第一层卷积层,该第一层卷积层为第一卷积层,且尺寸为3×3,步长为1,填充为1,且卷积核为32,第一层卷积层可以输出待识别图像的特征至最大池化层,最大池化层对该特征进行最大池化,然后得到第一特征图,再将第一特征图输入至第二层卷积层。
第二层卷积层属于第二卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为64,第二层卷积层可以输出得到的特征至最大池化层,最大池化层对该特征进行最大池化提升该特征的准确度,然后将得到的特征输入至第三层卷积层。
第三层卷积层以及第四层卷积层也属于第二卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为64,第四层卷积层可以输出第二特征图,然后将第二特征图输入至第五层卷积层,第五层卷积层属于第三卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为128,第五层卷积层可以输出特征至最大池化层,最大池化层对该特征进行最大池化,然后将得到的特征输入至第六层卷积层。
第六层至第九层卷积层属于第三卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为128,第九层卷积层可以得到第三特征图,然后将第三特征图输入至第十层卷积层,第十层卷积层为第四卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为256,第十层卷积层可以输出特征至最大池化层,最大池化层对该特征进行最大池化,然后将得到的特征输入至第十一层卷积层。
第十一层至第十五层卷积层属于第四卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为256,第十五层卷积层可以将得到的特征输入至第十六层卷积层,而第十五层卷积层还可以将得到的特征至另一全连接层。第十六层卷积层属于第五卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为256,第十六层卷积层可以得到第四特征图,然后将第四特征图输入至最大池化层,最大池化层对该特征进行最大池化,然后将特征输入至第十七层卷积层。第十七四层卷积层以及第十八层卷积层也属于第五卷积层,尺寸为3×3,步长为1,填充为1,且卷积核为512,最后第十八层卷积层输出第五特征图,并且该第五特征图作为第二全连接层的输入,使得第二全连接层基于该第五特征图,通过Flatten函数将第五特征图的特征平铺展开,并取最大值融合得到类别概率值,然后第二全连接层即可输出类别概率值分布。
本申请实施例中,提供了一种第二图像识别模型架构,通过上述方式,待识别图像输入至该第一图像识别模型后,可以进行多次卷积以及最大池化得到第五特征图,由此提升第五特征图的准确度以及稳定性,而由基于该第五特征图得到的类别概率值分布能够更为准确,而由该类别概率值分布得到的图像识别结果的准确度较高,因此可以提升图像识别的准确度。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的基于电子相册的图像管理方法另一可选实施例中,调用第一图像识别模型获取待识别图像所对应的类别概率值之前,基于电子相册的图像管理方法还包括:
获取第一待训练图像集合,其中,第一待训练图像集合包括至少一个第一待训练图像,每个第一待训练图像对应于一个第一真实标签,第一真实标签表示对第一待训练图像进行标注后得到的分类结果;
基于第一待训练图像集合,通过第一待训练图像识别模型获取每个第一待训练图像所对应的第一预测概率,其中,第一预测概率表示对第一待训练图像进行预测后得到的分类概率;
基于第一预测概率以及第一真实标签,根据第一损失函数更新第一待训练图像识别模型的模型参数;
若满足模型训练条件,则根据更新后的第一待训练图像识别模型所对应的模型参数,生成第一图像识别模型。
本实施例中,介绍了一种训练第一图像识别模型的方法。具体地,第一真实标签对应于分类结果,例如第一待训练图像为宠物图像,则第一真实标签为1,而第一待训练图像为非宠物图像,则第一真实标签为0,而第一预测概率为一个0至1的值。然后基于第一预测概率以及第一真实标签,通过softmax函数对计算第一预测概率与第一真实标签的差距情况,该差距值即为损失函数值,根据该损失函数值结合梯度下降算法对第一待训练图像识别模型进行梯度更新并优化,然后根据反向传播的梯度对第一待训练图像识别模型的参数进行更新。当第一损失函数的损失函数值收敛时,则根据更新后的第一待训练图像识别模型所对应的模型参数,生成第一图像识别模型,或者,当第一待训练图像识别模型达到训练次数,例如10万次,则也可以根据更新后的第一待训练图像识别模型所对应的模型参数,生成第一图像识别模型,还可以为设置一个容忍值,若第一预测概率以及第一真实标签的准确率达到98%,则停止对模型参数进行更新,并根据更新后的第一待训练图像识别模型所对应的模型参数,生成第一图像识别模型。但应当理解,前述示例仅用于理解本方案,在实际应用中,具体模型训练条件均应当结合实际情况灵活确定。
进一步地,第一损失函数可以为Softmax函数,且Softmax函数可以根据下式进行计算,应理解,在实际应用中,第一损失函数还可以为Cross Entropy函数,在此不做限定:
为了便于理解,请参阅图14,图14为本申请实施例中第一图像识别模型训练的一个流程示意图,如图所示,步骤I1可以将获取到的第一待训练图像集合输入至第一待训练图像识别模型,由于第一待训练图像集合包括至少一个第一待训练图像,因此通过步骤I2可以通过第一待训练图像识别模型输出第一预测概率集合,该第一预测概率与第一待训练图像对应。其次,一个第一待训练图像对应于一个第一真实标签,因此通过步骤I3可以获取到第一真实标签标签集合,然后通过步骤I41将第一真实标签标签集合输入至第一损失函数,还通过步骤I42将第一预测概率集合输入至第一损失函数,进而通过步骤I5基于第一预测概率集合以及第一真实标签集合,通过第一损失函数更新模型参数,当满足模型训练条件时,则在步骤I6中根据更新后的模型参数,生成第一图像识别模型。
本申请实施例中,提供了一种训练第一图像识别模型的方法,通过上述方式,基于第一预测概率以及第一真实标签对第一待训练图像识别模型进行训练,并在满足模型训练条件时,生成第一图像识别模型。提升第一图像识别模型的可靠性以及稳定度,从而提升图像识别的准确性。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的基于电子相册的图像管理方法另一可选实施例中,基于电子相册的图像管理方法还包括:
获取第一原始图像;
对第一原始图像进行剪裁处理,得到至少一个第一剪裁图像;
对第一原始图像进行旋转处理,得到至少一个第一旋转图像;
对第一原始图像进行噪声添加处理,得到至少一个第一噪声图像;
获取第一待训练图像集合,可以包括:
从至少一个第一剪裁图像、至少一个第一旋转图像以及至少一个第一噪声图像中,获取第一待训练图像集合,其中,第一剪裁图像、第一旋转图像以及第一噪声图像均对应于第二尺寸。
本实施例中,终端设备可以获取到获取第一原始图像,然后对第一原始图像进行剪裁、旋转以及噪声添加处理,得到至少一个第一剪裁图像,至少一个第一旋转图像以及至少一个第一噪声图像,其中第一剪裁图像、第一旋转图像以及第一噪声图像均对应于第二尺寸,即第一剪裁图像、第一旋转图像以及第一噪声图像均为第一原始图像预先缩放至固定尺寸224×224,且缩放后像素都除以255的图像。然后从至少一个第一剪裁图像、至少一个第一旋转图像以及至少一个第一噪声图像中,获取第一待训练图像集合。具体地,例如对第一原始图像进行剪裁、旋转以及噪声添加处理能够之后得到100张图像,但是在实际训练的时候可以只取出100张图像的部分图像作为训练集,所以可以100张图像中获取至少一张图像作为第一待训练图像集合中的图像。
为了便于理解,请参阅图15,图15为本申请实施例中第一待训练图像集合获取的一个流程示意图,如图所示,通过步骤J11可以对第一原始图像进行剪裁处理,得到第一剪裁图像,而通过步骤J12可以对第一原始图像进行旋转处理,得到第一旋转图像,通过步骤J13可以对第一原始图像进行噪声添加处理,得到第一噪声图像,然后根据第一剪裁图像、第一旋转图像以及第一噪声图像获取第一待训练图像集合。
具体地,剪裁处理可以包括但不限于居中剪裁以及随机剪裁,居中裁剪可以是围绕第一原始图像中心设定一个裁剪比例范围,例如裁剪比例为0.5,表示裁剪出长宽为第一原始图像长宽的0.5倍的区域,且裁剪区域的中心与第一原始图像中心重合,本实施例中裁剪比例可以包括为0.3,0.5以及0.7,应理解,在实际应用中,裁剪比例还可以为0.4-0.9的任意数值,在此不作限定。而随机裁剪可以是设定一个固定尺寸大小,在第一原始图像上安装固定大小的模板进行随机切割,保留下来的图片尺寸和设定的固定尺寸一样,例如设定裁剪长度为680,宽度为560,那么会在第一原始图像随机裁剪下680×560的区域,本实施例中裁剪长度以及宽度可以包括680×560、1280×960、640×480、480×320、720×640、560×680、960×1280、480×640、320×480以及640×720,但应当理解,前述示例仅用于理解本方案,具体裁剪长度以及宽度均应当结合实际情况灵活确定。
请参阅图16,图16为本申请实施例中剪裁处理的一个实施例示意图,如图所示,图16中(A)所示出的为第一原始图像,图16中(B)所示出的为第一原始图像经过裁剪比例为0.7的剪裁后,所得到的第一剪裁图像,图16中(C)所示出的为第一原始图像经过裁剪比例为0.5的剪裁后,所得到的第一剪裁图像,图16中(D)所示出的为第一原始图像经过裁剪比例为0.3的剪裁后,所得到的第一剪裁图像。请参阅图17,图17为本申请实施例中剪裁处理的另一实施例示意图,如图所示,图17中(A)所示出的为第一原始图像,图17中(B)所示出的为第一原始图像经过固定尺寸为680×560的剪裁后,所得到的第一剪裁图像,图17中(C)所示出的为第一原始图像经过固定尺寸为640×480的剪裁后,所得到的第一剪裁图像,图17中(D)所示出的为第一原始图像经过固定尺寸为560×680的剪裁后,所得到的第一剪裁图像。
旋转处理可以对第一原始图像进行顺时针旋转或者逆时针旋转,可以以第一原始图像中心为原点,围绕第一原始图像中心旋转0-30度范围内选择,应理解,旋转之后是不是连黑色部分(背景)也作为第一旋转图像的一部分,黑色部分的像素是(255,255,255)。为了便于理解,请参阅图18,图18为本申请实施例中旋转处理的一个实施例示意图,如图所示,图18中(A)所示出的为第一原始图像,图18中(B)所示出的为第一原始图像经过逆时针旋转5度后所得到的第一旋转图像,图18中(C)所示出的为第一原始图像经过逆时针旋转30度后,所得到的第一旋转图像,图18中(D)所示出的为第一原始图像经过顺时针旋转5度后所得到的第一旋转图像。但应当理解,前述示例仅用于理解本方案,具体旋转角度均应当结合实际情况灵活确定。
而噪声添加处理就是采用高斯噪声对第一原始图像进行随机扰动,并且按照随机概率0.1的方式进行随机采样,能够提升训练第一图像识别模型训练效率,本实施例选用均值为0,且方差为0.1的高斯白噪声,该高斯白噪声对第一原始图像的干扰较小,可以较好的保留第一原始图像中主要内容。具体地,可以在第一原始图像所设定的位置上产生一个0到1的随机数字,若如果随机数字大于或者等于0.1,那么该位置保持不变。若随机数字小于0.1,则该位置的图片像素需要添加扰动,扰动大小范围为-13到13,此时随机抽取数字,例如抽到8,那么在第一原始图像的原始像素基础上增加8像素,如果抽到-7,那么在第一原始图像的原始像素基础上减少7像素,最后需要保证所有位置像素不能小于0,也不能大于255。为了便于理解,请参阅图19,图19为本申请实施例中噪声添加处理的一个实施例示意图,如图所示,图19中(A)所示出的为第一原始图像,图19中(B)至(D)所示出的为第一原始图像经过噪声添加处理后所得到的第一噪声图像。
本申请实施例中,提供了一种获取第一待训练图像集合的方法,通过上述方式,通过对第一原始图像进行数据增强处理,得到包括数据增强处理后图像的第一待训练图像集合,能够提升第一待训练图像的多样性,提升第一训练图像识别模型训练效率,从而提升第一图像识别模型的可靠性。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的基于电子相册的图像管理方法另一可选实施例中,调用第二图像识别模型获取待识别图像所对应的类别概率值分布之前,基于电子相册的图像管理方法还包括:
获取第二待训练图像集合,其中,第二待训练图像集合包括至少一个第二待训练图像,每个第二待训练图像对应于第二真实标签,第二真实标签表示对第二待训练图像进行标注后得到的子分类结果;
基于第二待训练图像集合,通过第二待训练图像识别模型获取每个第一待训练图像所对应的第二预测概率以及第三预测概率,其中,第二预测概率为根据第一预测特征图生成的,第三预测概率为根据第二预测特征图生成的,且第一预测特征图与第二预测特征图分别对应于不同卷积层的输出;
基于第二真实标签、第二预测概率以及第三预测概率,根据第二损失函数更新第二待训练图像识别模型的模型参数;
若满足模型训练条件,则根据更新后的第二待训练图像识别模型所对应的模型参数,生成第二图像识别模型。
本实施例中,介绍了一种训练第二图像识别模型的方法。具体地,第二损失函数可以为交叉熵(Cross Entropy)函数,应理解,在实际应用中,第二损失函数还可以为Softmax函数,在此不做限定。
为了便于理解,请参阅图20,图20为本申请实施例中第二图像识别模型训练的一个流程示意图,如图所示,在步骤K1中将获取到的第二待训练图像集合输入至第二待训练图像识别模型中,然后第二待训练图像识别模型中的卷积层(例如第十五层卷积层)得到的特征通过输出为第一预测特征图集合,由于第一预测特征图可以生成第二预测概率,因此通过步骤K2可以获取到第二预测概率集合,卷积层(例如第十五层卷积层)还可以将得到的特征继续向第二待训练图像识别模型中的下一卷积层进行输出,通过卷积层(例如第十八层卷积层)输出的第二预测特征图集合生成第三预测概率,通过步骤K3可以获取到第三预测概率集合。由于第二待训练图像集合中的每个第二待训练图像对应于第二真实标签,因此通过步骤K4可以获取到第二真实标签合集,然后通过步骤K51将第二真实标签合集以及步骤K52将第二预测概率合集输入至第二损失函数,通过步骤K61将第二真实标签合集以及步骤K62将第三预测概率合集输入至第二损失函数,由此可以得到两个对应的损失函数值,将两个对应的损失函数值叠加得到最终损失值,然后步骤K7即可根据该最终损失值结合梯度下降算法对第二待训练图像识别模型进行梯度更新并优化,然后根据反向传播的梯度对第二待训练图像识别模型的参数进行更新。当满足模型训练条件时,则通过步骤K8根据更新后的模型参数,生成第二图像识别模型。
应理解,模型训练条件可以为第二损失函数的损失值收敛,也可以为第二待训练图像识别模型达到训练次数,前述实施例已对此进行介绍,在此不再赘述。
本申请实施例中,提供了一种训练第二图像识别模型的方法,通过上述方式,基于第二预测概率,第三预测概率以及第二真实标签对第二待训练图像识别模型进行训练,并在满足模型训练条件时,生成第二图像识别模型。由此提升第二图像识别模型的可靠性以及稳定度,从而提升图像识别的准确性。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的基于电子相册的图像管理方法另一可选实施例中,基于电子相册的图像管理方法还包括:
获取第二原始图像;
对第二原始图像进行剪裁处理,得到至少一个第二剪裁图像;
对第二原始图像进行旋转处理,得到至少一个第二旋转图像;
对第二原始图像进行噪声添加处理,得到至少一个第二噪声图像;
获取第二待训练图像,可以包括:
从至少一个第二剪裁图像、至少一个第二旋转图像以及至少一个第二噪声图像中,获取第二待训练图像集合,其中,第二剪裁图像、第二旋转图像以及第二噪声图像均对应于第三尺寸。
本实施例中,终端设备可以获取到获取第二原始图像,然后对第二原始图像进行剪裁、旋转以及噪声添加处理,得到至少一个第二剪裁图像,至少一个、第二旋转图像以及至少一个第二噪声图像,其中,第二剪裁图像、第二旋转图像以及第二噪声图像均对应于第二尺寸,即第二剪裁图像、第二旋转图像以及第二噪声图像均为第二原始图像预先缩放至固定尺寸448×448,且缩放后像素都除以255的图像。然后从至少一个第二剪裁图像、至少一个第二旋转图像以及至少一个第二噪声图像中,获取第二待训练图像集合。具体地,例如对第二原始图像进行剪裁、旋转以及噪声添加处理能够之后得到100张图像,但是在实际训练的时候可以只取出100张图像的部分图像作为训练集,所以可以100张图像中获取至少一张图像作为第二待训练图像集合中的图像。而获取第二剪裁图像、第二旋转图像以及第二噪声图像的方法与前述第一剪裁图像、第一旋转图像以及第一噪声图像的方法类似,在此不再赘述。
本申请实施例中,提供了一种获取第二待训练图像集合的方法,通过上述方式,通过对第二原始图像进行数据增强处理,得到包括数据增强处理后图像的第二待训练图像集合,能够提升第二待训练图像的多样性以及可选择性,从而提升第二训练图像识别模型训练效率,并且提升第二图像识别模型的可靠性。
下面对本申请中的图像管理装置进行详细描述,请参阅图21,图21为本申请实施例中图像管理装置一个实施例示意图,如图所示,图像管理装置300包括:
获取模块301,用于从存储至少一个图像的电子相册中获取待识别图像;
获取模块301,还用于调用第一图像识别模型,以获取待识别图像所对应的类别概率值;
获取模块301,还用于若类别概率值大于或等于类别概率阈值,则调用第二图像识别模型,以获取待识别图像所对应的类别概率值分布,其中,类别概率值分布包括至少两个概率值;
确定模块302,用于根据类别概率值分布确定待识别图像所对应的图像识别结果,其中,图像识别结果对应于目标概率值,目标概率值为至少两个概率值中的最大值;
展示模块303,用于根据图像识别结果,在电子相册的目标分类区域中展示待识别图像,其中,电子相册包括至少一个分类区域,目标分类区域属于至少一个分类区域中的一个分类区域,且目标分类区域与待识别图像具有对应关系。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,图像管理装置300还包括接收模块304,
展示模块303,还用于在电子相册的第一分类区域中展示分类结果集合,其中,分类结果集合包括至少一个分类结果,且每个分类结果对应于类别概率值大于或等于类别概率阈值的图像,类别概率值为图像调用第一图像识别模型获取到的;
接收模块304,用于接收针对于分类结果集合的第一选择指令,其中,第一选择指令携带第一类别标识,第一类别标识对应于目标分类结果,目标分类结果属于分类结果集合中的一个分类结果;
展示模块303,还用于响应于第一选择指令,在电子相册的第二分类区域中展示目标分类结果所对应的分类子结果集合,其中,分类子结果集合包括至少一个分类子结果,且每个分类子结果对应于类别概率值分布中最大值所对应的图像,类别概率值分布为图像调用第二图像识别模型获取到的;
接收模块304,还用于接收针对于分类子结果集合的第二选择指令,其中,第二选择指令携带第二类别标识,第二类别标识对应于图像识别结果;
展示模块303,还用于响应于第二选择指令,在电子相册中展示第二类别标识所对应的待识别图像。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,
获取模块301,具体用于:
从存储有至少一张图像的电子相册中获取第一待处理图像,其中,第一待处理图像对应于第一尺寸;
对第一待处理图像进行缩放处理,得到第二待处理图像,其中,第二待处理图像对应于第二尺寸;
对第二待处理图像进行归一化处理,得到在类别判定阶段的待识别图像,其中,类别判定阶段表示调用第一图像识别模型进行图像识别的阶段。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,
获取模块301,具体用于:
基于待识别图像,调用第一图像识别模型所包含的第一网络获取第一特征图,其中,第一图像识别模型所包含的第一网络包括至少一个第一卷积层;
基于第一特征图,调用第一图像识别模型所包含的第二网络获取第二特征图,其中,第一图像识别模型所包含的第二网络包括至少一个第二卷积层;
基于第二特征图,调用第一图像识别模型所包含的第三网络获取第三特征图,其中,第一图像识别模型所包含的第三网络包括至少一个第三卷积层;
基于第三特征图,调用第一图像识别模型所包含的第四网络获取第四特征图,其中,第一图像识别模型所包含的第四网络包括至少一个第四卷积层;
基于第四特征图,调用第一图像识别模型所包含的第五网络获取第五特征图,其中,第一图像识别模型所包含的第五网络包括至少一个第五卷积层;
基于第五特征图,调用第一图像识别模型所包含的第一全连接层获取类别概率值。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,
第一图像识别模型所包含的第一网络包括1个第一卷积层,其中,第一卷积层包括M个卷积核,M为大于1的整数;
第一图像识别模型所包含的第二网络包括7个第二卷积层,其中,第二卷积层包括(2×M)个卷积核;
第一图像识别模型所包含的第三网络包括10个第三卷积层,其中,第三卷积层包括(4×M)个卷积核;
第一图像识别模型所包含的第四网络包括15个第四卷积层,其中,第四卷积层包括(8×M)个卷积核;
第一图像识别模型所包含的第五网络包括1个第五卷积层,其中,第五卷积层包括(16×M)个卷积核。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,
获取模块301,具体用于:
从存储有至少一张图像的电子相册中获取第一待处理图像,其中,第一待处理图像对应于第一尺寸;
对第一待处理图像进行缩放处理,得到第三待处理图像,其中,第三待处理图像对应于第三尺寸;
对第三待处理图像进行归一化处理以及像素值变换处理,得到在类别生成阶段的待识别图像,其中,类别生成阶段表示调用第二图像识别模型进行图像识别的阶段。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,
获取模块301,具体用于:
基于待识别图像,调用第二图像识别模型所包含的第一网络获取第一特征图,其中,第二图像识别模型所包含的第一网络包括至少一个第一卷积层;
基于第一特征图,调用第二图像识别模型所包含的第二网络获取第二特征图,其中,第二图像识别模型所包含的第二网络包括至少一个第二卷积层;
基于第二特征图,调用第二图像识别模型所包含的第三网络获取第三特征图,其中,第二图像识别模型所包含的第三网络包括至少一个第三卷积层;
基于第三特征图,调用第二图像识别模型所包含的第四网络获取第四特征图,其中,第二图像识别模型所包含的第四网络包括至少一个第四卷积层;
基于第四特征图,调用第二图像识别模型所包含的第五网络获取第五特征图,其中,第二图像识别模型所包含的第五网络包括至少一个第五卷积层;
基于第五特征图,调用第二图像识别模型所包含的第二全连接层获取类别概率值分布。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,
第二图像识别模型所包含的第一网络包括1个第一卷积层,其中,第一卷积层包括N个卷积核,N为大于1的整数;
第二图像识别模型所包含的第二网络包括3个第二卷积层,其中,第二卷积层包括(2×N)个卷积核;
第二图像识别模型所包含的第三网络包括5个第三卷积层,其中,第三卷积层包括(4×N)个卷积核;
第二图像识别模型所包含的第四网络包括6个第四卷积层,其中,第四卷积层包括(8×N)个卷积核;
第二图像识别模型所包含的第五网络包括3个第五卷积层,其中,第五卷积层包括(16×N)个卷积核。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,图像管理装置300还包括更新模块305以及生成模块306,
获取模块301,还用于获取第一待训练图像集合,其中,第一待训练图像集合包括至少一个第一待训练图像,每个第一待训练图像对应于一个第一真实标签,第一真实标签表示对第一待训练图像进行标注后得到的分类结果;
获取模块301,还用于基于第一待训练图像集合,通过第一待训练图像识别模型获取每个第一待训练图像所对应的第一预测概率,其中,第一预测概率表示对第一待训练图像进行预测后得到的分类概率;
更新模块305,用于基于第一预测概率以及第一真实标签,根据第一损失函数更新第一待训练图像识别模型的模型参数;
生成模块306,用于若满足模型训练条件,则根据更新后的第一待训练图像识别模型所对应的模型参数,生成第一图像识别模型。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,图像管理装置300还包括处理模块307,
获取模块301,还用于获取第一原始图像;
处理模块307,用于对第一原始图像进行剪裁处理,得到至少一个第一剪裁图像;
处理模块307,还用于对第一原始图像进行旋转处理,得到至少一个第一旋转图像;
处理模块307,还用于对第一原始图像进行噪声添加处理,得到至少一个第一噪声图像;
获取模块301,具体用于从至少一个第一剪裁图像、至少一个第一旋转图像以及至少一个第一噪声图像中,获取第一待训练图像集合,其中,第一剪裁图像、第一旋转图像以及第一噪声图像均对应于第二尺寸。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,
获取模块301,还用于获取第二待训练图像集合,其中,第二待训练图像集合包括至少一个第二待训练图像,每个第二待训练图像对应于第二真实标签,第二真实标签表示对第二待训练图像进行标注后得到的子分类结果;
获取模块301,还用于基于第二待训练图像集合,通过第二待训练图像识别模型获取每个第一待训练图像所对应的第二预测概率以及第三预测概率,其中,第二预测概率为根据第一预测特征图生成的,第三预测概率为根据第二预测特征图生成的,且第一预测特征图与第二预测特征图分别对应于不同卷积层的输出;
更新模块305,还用于基于第二真实标签、第二预测概率以及第三预测概率,根据第二损失函数更新第二待训练图像识别模型的模型参数;
生成模块306,还用于若满足模型训练条件,则根据更新后的第二待训练图像识别模型所对应的模型参数,生成第二图像识别模型。
可选地,在上述图21所对应的实施例的基础上,本申请实施例提供的图像管理装置300的另一实施例中,
获取模块301,还用于获取第二原始图像;
处理模块307,还用于对第二原始图像进行剪裁处理,得到至少一个第二剪裁图像;
处理模块307,还用于对第二原始图像进行旋转处理,得到至少一个第二旋转图像;
处理模块307,还用于对第二原始图像进行噪声添加处理,得到至少一个第二噪声图像;
获取模块301,具体用于从至少一个第二剪裁图像、至少一个第二旋转图像以及至少一个第二噪声图像中,获取第二待训练图像集合,其中,第二剪裁图像、第二旋转图像以及第二噪声图像均对应于第三尺寸。
本申请实施例还提供了另一种图像展示装置和图像管理装置,图像展示装置和图像管理装置可以部署于电子设备上,该电子设备可以是终端设备,如图22所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal DigitalAssistant,PDA)、销售终端设备(Point of Sales,POS)、车载电脑等任意终端设备,以终端设备为手机为例:
图22示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图22,手机包括:射频(Radio Frequency,RF)电路510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、无线保真(wireless fidelity,WiFi)模块570、处理器580、以及电源590等部件。本领域技术人员可以理解,图22中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图22对手机的各个构成部件进行具体的介绍:
RF电路510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器580处理;另外,将设计上行的数据发送给基站。通常,RF电路510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器520可用于存储软件程序以及模块,处理器580通过运行存储在存储器520的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元530可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元530可包括触控面板531以及其他输入设备532。触控面板531,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板531附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板531可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器580,并能接收处理器580发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531,输入单元530还可以包括其他输入设备532。具体地,其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元540可包括显示面板541,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板541。进一步的,触控面板531可覆盖显示面板541,当触控面板531检测到在其上或附近的触摸操作后,传送给处理器580以确定触摸事件的类型,随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图22中,触控面板531与显示面板541是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板531与显示面板541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器550,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板541的亮度,接近传感器可在手机移动到耳边时,关闭显示面板541和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路560、扬声器561,传声器562可提供用户与手机之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号,传输到扬声器561,由扬声器561转换为声音信号输出;另一方面,传声器562将收集的声音信号转换为电信号,由音频电路560接收后转换为音频数据,再将音频数据输出处理器580处理后,经RF电路510以发送给比如另一手机,或者将音频数据输出至存储器520以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图22示出了WiFi模块570,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器520内的软件程序和/或模块,以及调用存储在存储器520内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器580可包括一个或多个处理单元;可选的,处理器580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器580中。
手机还包括给各个部件供电的电源590(比如电池),可选的,电源可以通过电源管理系统与处理器580逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
上述实施例中由终端设备所执行的步骤可以基于该图22所示的终端设备结构。
在本申请实施例中,该终端设备所包括的处理器580用于执行如图2对应的各个实施例。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种基于电子相册的图像管理方法,其特征在于,包括:
从存储至少一个图像的电子相册中获取待识别图像;
调用第一图像识别模型,以获取所述待识别图像所对应的类别概率值;
若所述类别概率值大于或等于类别概率阈值,则调用第二图像识别模型,以获取所述待识别图像所对应的类别概率值分布,其中,所述类别概率值分布包括至少两个概率值;
根据所述类别概率值分布确定所述待识别图像所对应的图像识别结果,其中,所述图像识别结果对应于目标概率值,所述目标概率值为所述至少两个概率值中的最大值;
根据所述图像识别结果,在所述电子相册的目标分类区域中展示所述待识别图像,其中,所述电子相册包括至少一个分类区域,所述目标分类区域属于所述至少一个分类区域中的一个分类区域,且所述目标分类区域与所述待识别图像具有对应关系。
2.根据权利要求1所述的方法,其特征在于,所述根据所述图像识别结果,在所述电子相册的目标分类区域中展示所述待识别图像之后,所述方法还包括:
在所述电子相册的第一分类区域中展示分类结果集合,其中,所述分类结果集合包括至少一个分类结果,且每个分类结果对应于类别概率值大于或等于所述类别概率阈值的图像,所述类别概率值为图像调用所述第一图像识别模型获取到的;
接收针对于所述分类结果集合的第一选择指令,其中,所述第一选择指令携带第一类别标识,所述第一类别标识对应于目标分类结果,所述目标分类结果属于所述分类结果集合中的一个分类结果;
响应于所述第一选择指令,在所述电子相册的第二分类区域中展示所述目标分类结果所对应的分类子结果集合,其中,所述分类子结果集合包括至少一个分类子结果,且每个分类子结果对应于类别概率值分布中最大值所对应的图像,所述类别概率值分布为图像调用所述第二图像识别模型获取到的;
接收针对于所述分类子结果集合的第二选择指令,其中,所述第二选择指令携带第二类别标识,所述第二类别标识对应于所述图像识别结果;
响应于所述第二选择指令,在所述电子相册中展示所述第二类别标识所对应的所述待识别图像。
3.根据权利要求1所述的方法,其特征在于,所述从存储至少一个图像的电子相册中获取待识别图像,包括:
从存储有至少一张图像的所述电子相册中获取第一待处理图像,其中,所述第一待处理图像对应于第一尺寸;
对所述第一待处理图像进行缩放处理,得到第二待处理图像,其中,所述第二待处理图像对应于第二尺寸;
对所述第二待处理图像进行归一化处理,得到在类别判定阶段的所述待识别图像,其中,所述类别判定阶段表示调用所述第一图像识别模型进行图像识别的阶段。
4.根据权利要求1或3所述的方法,其特征在于,所述调用第一图像识别模型,以获取所述待识别图像所对应的类别概率值,包括:
基于所述待识别图像,调用所述第一图像识别模型所包含的第一网络获取第一特征图,其中,所述第一图像识别模型所包含的第一网络包括至少一个第一卷积层;
基于所述第一特征图,调用所述第一图像识别模型所包含的第二网络获取第二特征图,其中,所述第一图像识别模型所包含的第二网络包括至少一个第二卷积层;
基于所述第二特征图,调用所述第一图像识别模型所包含的第三网络获取第三特征图,其中,所述第一图像识别模型所包含的第三网络包括至少一个第三卷积层;
基于所述第三特征图,调用所述第一图像识别模型所包含的第四网络获取第四特征图,其中,所述第一图像识别模型所包含的第四网络包括至少一个第四卷积层;
基于所述第四特征图,调用所述第一图像识别模型所包含的第五网络获取第五特征图,其中,所述第一图像识别模型所包含的第五网络包括至少一个第五卷积层;
基于所述第五特征图,调用所述第一图像识别模型所包含的第一全连接层获取所述类别概率值。
5.根据权利要求4所述的方法,其特征在于,所述第一图像识别模型所包含的第一网络包括1个第一卷积层,其中,所述第一卷积层包括M个卷积核,所述M为大于1的整数;
所述第一图像识别模型所包含的第二网络包括7个第二卷积层,其中,所述第二卷积层包括(2×M)个卷积核;
所述第一图像识别模型所包含的第三网络包括10个第三卷积层,其中,所述第三卷积层包括(4×M)个卷积核;
所述第一图像识别模型所包含的第四网络包括15个第四卷积层,其中,所述第四卷积层包括(8×M)个卷积核;
所述第一图像识别模型所包含的第五网络包括1个第五卷积层,其中,所述第五卷积层包括(16×M)个卷积核。
6.根据权利要求1所述的方法,其特征在于,所述从存储至少一个图像的电子相册中获取待识别图像,包括:
从存储有至少一张图像的所述电子相册中获取第一待处理图像,其中,所述第一待处理图像对应于第一尺寸;
对所述第一待处理图像进行缩放处理,得到第三待处理图像,其中,所述第三待处理图像对应于第三尺寸;
对所述第三待处理图像进行归一化处理以及像素值变换处理,得到在类别生成阶段的所述待识别图像,其中,所述类别生成阶段表示调用所述第二图像识别模型进行图像识别的阶段。
7.根据权利要求1或6所述的方法,其特征在于,所述调用第二图像识别模型,以获取所述待识别图像所对应的类别概率值分布,包括:
基于所述待识别图像,调用所述第二图像识别模型所包含的第一网络获取第一特征图,其中,所述第二图像识别模型所包含的第一网络包括至少一个第一卷积层;
基于所述第一特征图,调用所述第二图像识别模型所包含的第二网络获取第二特征图,其中,所述第二图像识别模型所包含的第二网络包括至少一个第二卷积层;
基于所述第二特征图,调用所述第二图像识别模型所包含的第三网络获取第三特征图,其中,所述第二图像识别模型所包含的第三网络包括至少一个第三卷积层;
基于所述第三特征图,调用所述第二图像识别模型所包含的第四网络获取第四特征图,其中,所述第二图像识别模型所包含的第四网络包括至少一个第四卷积层;
基于所述第四特征图,调用所述第二图像识别模型所包含的第五网络获取第五特征图,其中,所述第二图像识别模型所包含的第五网络包括至少一个第五卷积层;
基于所述第五特征图,调用所述第二图像识别模型所包含的第二全连接层获取所述类别概率值分布。
8.根据权利要求7所述的方法,其特征在于,所述第二图像识别模型所包含的第一网络包括1个第一卷积层,其中,所述第一卷积层包括N个卷积核,所述N为大于1的整数;
所述第二图像识别模型所包含的第二网络包括3个第二卷积层,其中,所述第二卷积层包括(2×N)个卷积核;
所述第二图像识别模型所包含的第三网络包括5个第三卷积层,其中,所述第三卷积层包括(4×N)个卷积核;
所述第二图像识别模型所包含的第四网络包括6个第四卷积层,其中,所述第四卷积层包括(8×N)个卷积核;
所述第二图像识别模型所包含的第五网络包括3个第五卷积层,其中,所述第五卷积层包括(16×N)个卷积核。
9.根据权利要求1所述的方法,其特征在于,所述调用第一图像识别模型,以获取所述待识别图像所对应的类别概率值之前,所述方法还包括:
获取第一待训练图像集合,其中,所述第一待训练图像集合包括至少一个第一待训练图像,每个第一待训练图像对应于一个第一真实标签,所述第一真实标签表示对第一待训练图像进行标注后得到的分类结果;
基于所述第一待训练图像集合,通过第一待训练图像识别模型获取每个第一待训练图像所对应的第一预测概率,其中,所述第一预测概率表示对第一待训练图像进行预测后得到的分类概率;
基于所述第一预测概率以及所述第一真实标签,根据第一损失函数更新所述第一待训练图像识别模型的模型参数;
若满足模型训练条件,则根据更新后的所述第一待训练图像识别模型所对应的模型参数,生成所述第一图像识别模型。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
获取第一原始图像;
对所述第一原始图像进行剪裁处理,得到至少一个第一剪裁图像;
对所述第一原始图像进行旋转处理,得到至少一个第一旋转图像;
对所述第一原始图像进行噪声添加处理,得到至少一个第一噪声图像;
所述获取第一待训练图像集合,包括:
从所述至少一个第一剪裁图像、所述至少一个第一旋转图像以及所述至少一个第一噪声图像中,获取所述第一待训练图像集合,其中,所述第一剪裁图像、所述第一旋转图像以及所述第一噪声图像均对应于第二尺寸。
11.根据权利要求1所述的方法,其特征在于,所述调用第二图像识别模型,以获取所述待识别图像所对应的类别概率值分布之前,所述方法还包括:
获取第二待训练图像集合,其中,所述第二待训练图像集合包括至少一个第二待训练图像,每个第二待训练图像对应于第二真实标签,所述第二真实标签表示对所述第二待训练图像进行标注后得到的子分类结果;
基于所述第二待训练图像集合,通过第二待训练图像识别模型获取每个第一待训练图像所对应的第二预测概率以及第三预测概率,其中,所述第二预测概率为根据第一预测特征图生成的,所述第三预测概率为根据第二预测特征图生成的,且所述第一预测特征图与所述第二预测特征图分别对应于不同卷积层的输出;
基于所述第二真实标签、所述第二预测概率以及所述第三预测概率,根据所述第二损失函数更新所述第二待训练图像识别模型的模型参数;
若满足模型训练条件,则根据更新后的所述第二待训练图像识别模型所对应的模型参数,生成所述第二图像识别模型。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
获取第二原始图像;
对所述第二原始图像进行剪裁处理,得到至少一个第二剪裁图像;
对所述第二原始图像进行旋转处理,得到至少一个第二旋转图像;
对所述第二原始图像进行噪声添加处理,得到至少一个第二噪声图像;
所述获取第二待训练图像,包括:
从所述至少一个第二剪裁图像、所述至少一个第二旋转图像以及所述至少一个第二噪声图像中,获取所述第二待训练图像集合,其中,所述第二剪裁图像、所述第二旋转图像以及所述第二噪声图像均对应于第三尺寸。
13.一种图像管理装置,其特征在于,包括:
获取模块,用于从存储至少一个图像的电子相册中获取待识别图像,其中,所述电子相册存储至少一个图像,所述待识别图像属于所述至少一个图像中任意一个图像;
所述获取模块,还用于调用第一图像识别模型,以获取所述待识别图像所对应的类别概率值;
所述获取模块,还用于若所述类别概率值大于或等于类别概率阈值,则调用第二图像识别模型,以获取所述待识别图像所对应的类别概率值分布,其中,所述类别概率值分布包括至少两个概率值;
确定模块,用于根据所述获取模块获取的所述类别概率值分布确定所述待识别图像所对应的图像识别结果,其中,所述图像识别结果对应于目标概率值,所述目标概率值为所述至少两个概率值中的最大值;
展示模块,用于根据所述确定模块确定的所述图像识别结果,在所述电子相册的目标分类区域中展示所述待识别图像,其中,所述电子相册包括至少一个分类区域,所述目标分类区域属于所述至少一个分类区域中的一个分类区域,且所述目标分类区域与所述待识别图像具有对应关系。
14.一种终端设备,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括执行如上述权利要求1至12中任一项所述的方法;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
15.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至12中任一项所述的方法。
CN202010016075.4A 2020-01-07 2020-01-07 一种基于电子相册的图像管理方法、装置以及存储介质 Active CN111209423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010016075.4A CN111209423B (zh) 2020-01-07 2020-01-07 一种基于电子相册的图像管理方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010016075.4A CN111209423B (zh) 2020-01-07 2020-01-07 一种基于电子相册的图像管理方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN111209423A true CN111209423A (zh) 2020-05-29
CN111209423B CN111209423B (zh) 2023-04-07

Family

ID=70788455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010016075.4A Active CN111209423B (zh) 2020-01-07 2020-01-07 一种基于电子相册的图像管理方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN111209423B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709480A (zh) * 2020-06-17 2020-09-25 北京百度网讯科技有限公司 用于识别图像类别的方法及装置
CN111951217A (zh) * 2020-07-07 2020-11-17 上海鹰瞳医疗科技有限公司 模型训练方法、医疗图像处理方法及电子设备
CN112069338A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图片处理方法、装置、电子设备及存储介质
CN114065826A (zh) * 2020-07-28 2022-02-18 紫东信息科技(苏州)有限公司 图像分类模型的构建方法、分类方法、装置及电子设备
CN114978707A (zh) * 2022-05-24 2022-08-30 深圳市前海研祥亚太电子装备技术有限公司 设备的注册方法及其系统
CN115331062A (zh) * 2022-08-29 2022-11-11 北京达佳互联信息技术有限公司 图像识别方法、装置、电子设备和计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294514A1 (en) * 2011-05-19 2012-11-22 Xerox Corporation Techniques to enable automated workflows for the creation of user-customized photobooks
WO2015200120A1 (en) * 2014-06-27 2015-12-30 Amazon Technologies, Inc. System, method and apparatus for organizing photographs stored on a mobile computing device
CN107122393A (zh) * 2017-03-09 2017-09-01 北京小度互娱科技有限公司 电子相册生成方法以及装置
CN108038161A (zh) * 2017-12-06 2018-05-15 北京奇虎科技有限公司 基于相册的信息推荐方法、装置及计算设备
CN108537283A (zh) * 2018-04-13 2018-09-14 厦门美图之家科技有限公司 一种图像分类方法及卷积神经网络生成方法
CN109447981A (zh) * 2018-11-12 2019-03-08 平安科技(深圳)有限公司 图像识别方法及相关产品
CN109598286A (zh) * 2018-10-25 2019-04-09 努比亚技术有限公司 一种图片分类方法、终端及计算机可读存储介质
WO2019154262A1 (zh) * 2018-02-07 2019-08-15 腾讯科技(深圳)有限公司 一种图像分类方法及服务器、用户终端、存储介质
CN110309856A (zh) * 2019-05-30 2019-10-08 华为技术有限公司 图像分类方法、神经网络的训练方法及装置
CN110555481A (zh) * 2019-09-06 2019-12-10 腾讯科技(深圳)有限公司 一种人像风格识别方法、装置和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294514A1 (en) * 2011-05-19 2012-11-22 Xerox Corporation Techniques to enable automated workflows for the creation of user-customized photobooks
WO2015200120A1 (en) * 2014-06-27 2015-12-30 Amazon Technologies, Inc. System, method and apparatus for organizing photographs stored on a mobile computing device
CN107122393A (zh) * 2017-03-09 2017-09-01 北京小度互娱科技有限公司 电子相册生成方法以及装置
CN108038161A (zh) * 2017-12-06 2018-05-15 北京奇虎科技有限公司 基于相册的信息推荐方法、装置及计算设备
WO2019154262A1 (zh) * 2018-02-07 2019-08-15 腾讯科技(深圳)有限公司 一种图像分类方法及服务器、用户终端、存储介质
CN108537283A (zh) * 2018-04-13 2018-09-14 厦门美图之家科技有限公司 一种图像分类方法及卷积神经网络生成方法
CN109598286A (zh) * 2018-10-25 2019-04-09 努比亚技术有限公司 一种图片分类方法、终端及计算机可读存储介质
CN109447981A (zh) * 2018-11-12 2019-03-08 平安科技(深圳)有限公司 图像识别方法及相关产品
CN110309856A (zh) * 2019-05-30 2019-10-08 华为技术有限公司 图像分类方法、神经网络的训练方法及装置
CN110555481A (zh) * 2019-09-06 2019-12-10 腾讯科技(深圳)有限公司 一种人像风格识别方法、装置和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
V. NAYDENOVA等: "Forest dynamics study using aerial photos and satellite images with very high spatial resolution" *
邵曦等: "基于情感的家庭音乐相册自动生成研究" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709480A (zh) * 2020-06-17 2020-09-25 北京百度网讯科技有限公司 用于识别图像类别的方法及装置
CN111709480B (zh) * 2020-06-17 2023-06-23 北京百度网讯科技有限公司 用于识别图像类别的方法及装置
CN111951217A (zh) * 2020-07-07 2020-11-17 上海鹰瞳医疗科技有限公司 模型训练方法、医疗图像处理方法及电子设备
CN114065826A (zh) * 2020-07-28 2022-02-18 紫东信息科技(苏州)有限公司 图像分类模型的构建方法、分类方法、装置及电子设备
CN112069338A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图片处理方法、装置、电子设备及存储介质
CN114978707A (zh) * 2022-05-24 2022-08-30 深圳市前海研祥亚太电子装备技术有限公司 设备的注册方法及其系统
CN115331062A (zh) * 2022-08-29 2022-11-11 北京达佳互联信息技术有限公司 图像识别方法、装置、电子设备和计算机可读存储介质
CN115331062B (zh) * 2022-08-29 2023-08-08 北京达佳互联信息技术有限公司 图像识别方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111209423B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111209423B (zh) 一种基于电子相册的图像管理方法、装置以及存储介质
CN110009052B (zh) 一种图像识别的方法、图像识别模型训练的方法及装置
CN111260665B (zh) 图像分割模型训练方法和装置
CN112232425B (zh) 图像处理方法、装置、存储介质及电子设备
CN106919918B (zh) 一种人脸跟踪方法和装置
CN110704661B (zh) 一种图像分类方法和装置
CN112820299B (zh) 声纹识别模型训练方法、装置及相关设备
CN112990390B (zh) 一种图像识别模型的训练方法、图像识别的方法及装置
CN110766081B (zh) 一种界面图像检测的方法、模型训练的方法以及相关装置
CN112203115B (zh) 一种视频识别方法和相关装置
CN113723378B (zh) 一种模型训练的方法、装置、计算机设备和存储介质
CN113822427A (zh) 一种模型训练的方法、图像匹配的方法、装置及存储介质
CN110347858B (zh) 一种图片的生成方法和相关装置
CN110544287B (zh) 一种配图处理方法及电子设备
CN113269279B (zh) 一种多媒体内容分类方法和相关装置
CN111241815A (zh) 文本增量方法、装置及终端设备
CN112270238A (zh) 一种视频内容识别方法和相关装置
CN108459813A (zh) 一种搜索方法及移动终端
CN107885887B (zh) 一种文件存储方法和移动终端
CN110717486A (zh) 文本检测方法、装置、电子设备和存储介质
CN113536876A (zh) 一种图像识别方法和相关装置
CN113569043A (zh) 一种文本类别确定方法和相关装置
CN116580268B (zh) 图像目标定位模型的训练方法、图像处理方法及相关产品
CN114943639B (zh) 图像获取方法、相关装置及存储介质
CN117011649B (zh) 一种模型训练方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant