CN110717058A - 信息推荐方法及装置、存储介质 - Google Patents

信息推荐方法及装置、存储介质 Download PDF

Info

Publication number
CN110717058A
CN110717058A CN201910901015.8A CN201910901015A CN110717058A CN 110717058 A CN110717058 A CN 110717058A CN 201910901015 A CN201910901015 A CN 201910901015A CN 110717058 A CN110717058 A CN 110717058A
Authority
CN
China
Prior art keywords
picture
pictures
initial
category
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910901015.8A
Other languages
English (en)
Other versions
CN110717058B (zh
Inventor
钟瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910901015.8A priority Critical patent/CN110717058B/zh
Publication of CN110717058A publication Critical patent/CN110717058A/zh
Application granted granted Critical
Publication of CN110717058B publication Critical patent/CN110717058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种信息推荐方法及装置、存储介质,该方法包括:接收到目标用户的推荐指令时,基于推荐指令和预设图片库,获取初始图片和目标数量;利用预设分类网络,对初始图片进行分类,得到初始图片各自对应的类别;预设分类网络表征图片和类别的对应关系;获取目标图片类别;从初始图片中选出类别和目标图片类别一致的待选图片;利用预设质量评估网络,对待选图片中每个图片进行评估,得到待选图片各自对应的质量值;预设质量评估网络表征图片和质量值的对应关系;基于待选图片各自对应的质量值,从待选图片中确定出目标数量个的目标图片,并推荐目标图片。

Description

信息推荐方法及装置、存储介质
技术领域
本申请实施例涉及智能控制技术,尤其涉及一种信息推荐方法及装置、存储介质。
背景技术
通常用户在拍摄多张图片后,会从多张图片中选出质量较好的图片,将其发布在社交平台上进行展示、或者将其打印出来,为了选出质量较好的图片,用户需要翻阅和对比多张图片,耗费用户较多的时间,进一步地,在旅游或聚会等场景下,用户拍摄的图片数量更多,并且,多张图片中还可能存在重复度较高的图片,用户要反复对比才能从重复的图片中选出质量较好的图片,耗费更多的时间;可以知道,上述选择质量较好的图片的方案,存在效率低和智能程度低的问题。
发明内容
本申请提供一种信息推荐方法及装置、存储介质,能够提高选择高质量图片的效率和智能程度。
本申请的技术方案是这样实现的:
本申请实施例提供一种信息推荐方法,所述方法包括:
接收到目标用户的推荐指令时,基于所述推荐指令和预设图片库,获取初始图片和目标数量,所述初始图片的数量大于所述目标数量;
利用预设分类网络,对所述初始图片进行分类,得到所述初始图片各自对应的类别;所述预设分类网络表征图片和类别的对应关系;
获取目标图片类别;
从所述初始图片中选出类别和所述目标图片类别一致的待选图片;
利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值;所述预设质量评估网络表征图片和质量值的对应关系;
基于所述待选图片各自对应的质量值,从所述待选图片中确定出所述目标数量个的目标图片,并推荐所述目标图片。
上述方案中,在所述从所述初始图片中选出类别和所述目标图片类别一致的待选图片之后,所述方法还包括:
计算所述待选图片中每个图片的图片指纹,所述图片指纹表征图片像素的灰度值的分布情况;
根据预设差异度阈值和所述待选图片中每个图片的图片指纹,将所述初始图片划分成至少一组相似图片集合;
统计所述至少一组相似图片集合各自对应的相似图片数量;
利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值;所述预设质量评估网络表征图片和质量值的对应关系;
根据所述相似图片数量和所述待选图片各自对应的质量值,从所述待选图片中确定出所述目标数量个的目标图片,并推荐所述目标图片。
上述方案中,所述根据所述相似图片数量和所述待选图片各自对应的质量值,从所述待选图片中确定出所述目标数量个的目标图片,包括:
按照所述相似图片数量,对所述至少一组相似图片集合进行排序,得到排序后的至少一个组相似图片集合;
从所述排序后的至少一组相似图片集合中的相似图片数量最大的相似图片集合开始,依次从所述排序后的至少一组相似图片集合中,获取质量值最高的相似图片;
直至获取到的相似图片的个数等于所述目标数量个;
将所述获取到的相似图片,作为所述目标图片。
上述方案中,所述计算所述待选图片中每个图片的图片指纹,包括:
对所述待选图片中每个图片进行尺寸缩小和色彩简化,得到简化后的待选图片;
计算所述简化后的待选图片中每个图片对应的灰度均值;
利用所述灰度均值,对所述简化后的待选图片中每个图片的像素灰度值进行二值化,得到所述待选图片中每个图片的图片指纹。
上述方案中,所述根据预设差异度阈值和所述待选图片中每个图片的图片指纹,将所述初始图片划分成至少一组相似图片集合,包括:
针对所述待选图片中每两个图片,对所述每两个图片的图片指纹进行异或运算,得到所述每两个图片之间的差异度;
当所述差异度小于或等于所述预设差异度阈值,将所述每两个图片加入一组相似图片集合;
当所述差异度大于所述预设差异度阈值,将所述每两个图片分别加入两组相似图片集合;
直至对待选图片中的图片均已加入,进而得到所述至少一组相似图片集合。
上述方案中,所述根据预设差异度阈值和所述待选图片中每个图片的图片指纹,将所述初始图片划分成至少一组相似图片集合,包括:
按照所述待选图片中每个图片的图片指纹,对所述待选图片进行排序,得到排序后的待选图片;
从所述排序后的待选图片中取出第i个图片和第i+1个图片,i为大于0的正整数;
对所述第i个图片的图片指纹和所述第i+1个图片的图片指纹进行异或运算,得到所述第i个图片和所述第i+1个图片之间的差异度;
当所述差异度小于或等于所述预设差异度阈值时,将所述第i个图片和所述第i+1个图片加入一组相似图片集合,从所述排序后的待选图片中取出第i+2个图片;
当所述差异度大于所述预设差异度阈值时,将所述第i个图片和所述第i+1个图片加入不同的相似图片集合,从所述排序后的待选图片中取出第i+2个图片;
继续对所述第i+1个图片的图片指纹和所述第i+2个图片的图片指纹进行异或运算,直至对待选图片中的图片均已取出,进而得到所述至少一组相似图片集合。
上述方案中,在所述利用预设分类网络,对所述初始图片进行分类,得到所述初始图片各自对应的类别之后,且所述获取目标图片类别之前,所述方法还包括:
统计所述初始图片各自对应的类别,得到至少一个待选类别;
显示所述至少一个待选类别;
相应地,所述获取目标图片类别,包括:
在显示所述至少一个待选类别的界面中,接收针对所述至少一个待选类别中的至少一个类别的选择指令,响应于所述选择指令,将所述至少一个类别作为所述目标图片类别。
上述方案中,所述预设分类网络表征的类别包括以下至少一个:按照拍摄方式划分的至少一个第一类别,按照拍摄场景划分的至少一个第二类别,以及按照拍摄内容划分的至少一个第三类别。
上述方案中,在所述利用预设分类网络,对所述初始图片进行分类,得到所述初始图片各自对应的类别之前,所述方法还包括:
从预设可视化数据库中获取第一图片类别集合;所述第一图片类别集合表征一一对应的图片和拍摄对象类别;
基于所述预设分类网络表征的类别,获取第二图片类别集合;所述第二图片类别集合表征一一对应的图片和类别;
获取由至少一层卷积层组成的初始第一特征提取模型、以及由全连接层和分类器组成的初始类别判断模型;
利用所述第一图片类别集合,对初始第一卷积神经网络进行训练,得到所述第一卷积神经网络;其中,所述初始第一卷积神经网络是由所述初始第一特征提取模型和所述初始类别判断模型组成的;
利用所述第二图片类别集合,对所述第一卷积神经网络进行微调,得到所述预设分类网络。
上述方案中,所述第一卷积神经网络包括第一特征提取模型和类别判断模型;所述利用所述第二图片类别集合,对所述第一卷积神经网络进行微调,得到所述预设分类网络,包括:
利用所述第二图片类别集合,对所述类别判断模型进行微调,得到微调后的类别判断模型;
利用所述第二图片类别集合,对初始分类网络进行全局微调,得到所述预设分类网络;其中,所述初始分类网络是由所述第一特征提取模型和所述微调后的类别判断模型组成的。
上述方案中,在所述利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值之前,所述方法还包括:
获取图片质量集合,所述图片质量集合表征一一对应的图片和质量值;
获取由至少一层卷积层组成的初始第二特征提取模型、以及由全连接层和分类器组成的初始质量判断模型;
利用所述图片质量集合,对初始第二卷积神经网络进行训练,得到所述第二卷积神经网络;其中,所述初始第二卷积神经网络是由所述初始第二特征提取模型和所述初始质量判断模型组成的;
利用所述图片质量集合,对所述第二卷积神经网络进行微调,得到所述预设质量评估网络。
上述方案中,所述第二卷积神经网络包括第二特征提取模型和质量判断模型;所述利用所述图片质量集合,对所述第二卷积神经网络进行微调,得到所述预设质量评估网络,包括:
利用所述图片质量集合,对所述质量判断模型进行微调,得到微调后的质量判断模型;
利用所述图片质量集合,对初始质量评估网络进行全局微调,得到所述预设质量评估网络;其中,所述初始质量评估网络是由所述第二特征提取模型和所述微调后的质量判断模型组成的。
本申请实施例提供一种信息推荐装置,所述装置包括:
推荐单元,用于接收到目标用户的推荐指令时,基于所述推荐指令和预设图片库,获取初始图片和目标数量;
分类单元,用于利用预设分类网络,对所述初始图片进行分类,得到所述初始图片各自对应的类别;所述预设分类网络表征图片和类别的对应关系;
所述推荐单元,还用于获取目标图片类别;以及从所述初始图片中选出类别和所述目标图片类别一致的待选图片;
评估单元,用于利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值;所述预设质量评估网络表征图片和质量值的对应关系;
所述推荐单元,还用于基于所述待选图片各自对应的质量值,从所述待选图片中确定出所述目标数量个的目标图片,并推荐所述目标图片。
上述方案中,所述装置还包括:
相似处理单元,用于在所述从所述初始图片中选出类别和所述目标图片类别一致的待选图片之后,计算所述待选图片中每个图片的图片指纹,所述图片指纹表征图片像素的灰度值的分布情况;及根据预设差异度阈值和所述待选图片中每个图片的图片指纹,将所述初始图片划分成至少一组相似图片集合;及统计所述至少一组相似图片集合各自对应的相似图片数量;及利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值;所述预设质量评估网络表征图片和质量值的对应关系;以及根据所述相似图片数量和所述待选图片各自对应的质量值,从所述待选图片中确定出所述目标数量个的目标图片,并推荐所述目标图片。
上述方案中,所述相似处理单元,具体用于按照所述相似图片数量,对所述至少一组相似图片集合进行排序,得到排序后的至少一个组相似图片集合;及从所述排序后的至少一组相似图片集合中的相似图片数量最大的相似图片集合开始,依次从所述排序后的至少一组相似图片集合中,获取质量值最高的相似图片;及直至获取到的相似图片的个数等于所述目标数量个;以及将所述获取到的相似图片,作为所述目标图片。
上述方案中,所述相似处理单元,具体用于对所述待选图片中每个图片进行尺寸缩小和色彩简化,得到简化后的待选图片;及计算所述简化后的待选图片中每个图片对应的灰度均值;以及利用所述灰度均值,对所述简化后的待选图片中每个图片的像素灰度值进行二值化,得到所述待选图片中每个图片的图片指纹。
上述方案中,所述相似处理单元,具体用于针对所述待选图片中每两个图片,对所述每两个图片的图片指纹进行异或运算,得到所述每两个图片之间的差异度;及当所述差异度小于或等于所述预设差异度阈值,将所述每两个图片加入一组相似图片集合;及当所述差异度大于所述预设差异度阈值,将所述每两个图片分别加入两组相似图片集合;以及直至对待选图片中的图片均已加入,进而得到所述至少一组相似图片集合。
上述方案中,所述相似处理单元,具体用于按照所述待选图片中每个图片的图片指纹,对所述待选图片进行排序,得到排序后的待选图片;及从所述排序后的待选图片中取出第i个图片和第i+1个图片,i为大于0的正整数;及对所述第i个图片的图片指纹和所述第i+1个图片的图片指纹进行异或运算,得到所述第i个图片和所述第i+1个图片之间的差异度;及当所述差异度小于或等于所述预设差异度阈值时,将所述第i个图片和所述第i+1个图片加入一组相似图片集合,从所述排序后的待选图片中取出第i+2个图片;及当所述差异度大于所述预设差异度阈值时,将所述第i个图片和所述第i+1个图片加入不同的相似图片集合,从所述排序后的待选图片中取出第i+2个图片;以及继续对所述第i+1个图片的图片指纹和所述第i+2个图片的图片指纹进行异或运算,直至对待选图片中的图片均已取出,进而得到所述至少一组相似图片集合。
上述方案中,所述推荐单元,还用于在所述利用预设分类网络,对所述初始图片进行分类,得到所述初始图片各自对应的类别之后,且所述获取目标图片类别之前,统计所述初始图片各自对应的类别,得到至少一个待选类别;以及显示所述至少一个待选类别;
相应地,所述推荐单元,具体用于在显示所述至少一个待选类别的界面中,接收针对所述至少一个待选类别中的至少一个类别的选择指令,响应于所述选择指令,将所述至少一个类别作为所述目标图片类别。
上述方案中,所述预设分类网络表征的类别包括以下至少一个:按照拍摄方式划分的至少一个第一类别,按照拍摄场景划分的至少一个第二类别,以及按照拍摄内容划分的至少一个第三类别。
上述方案中,所述装置还包括:
生成分类网络单元,用于在所述利用预设分类网络,对所述初始图片进行分类,得到所述初始图片各自对应的类别之前,从预设可视化数据库中获取第一图片类别集合;所述第一图片类别集合表征一一对应的图片和拍摄对象类别;及基于所述预设分类网络表征的类别,获取第二图片类别集合;所述第二图片类别集合表征一一对应的图片和类别;及获取由至少一层卷积层组成的初始第一特征提取模型、以及由全连接层和分类器组成的初始类别判断模型;及利用所述第一图片类别集合,对初始第一卷积神经网络进行训练,得到所述第一卷积神经网络;其中,所述初始第一卷积神经网络是由所述初始第一特征提取模型和所述初始类别判断模型组成的;以及利用所述第二图片类别集合,对所述第一卷积神经网络进行微调,得到所述预设分类网络。
上述方案中,所述第一卷积神经网络包括第一特征提取模型和类别判断模型;
所述生成分类网络单元,具体用于利用所述第二图片类别集合,对所述类别判断模型进行微调,得到微调后的类别判断模型;
利用所述第二图片类别集合,对初始分类网络进行全局微调,得到所述预设分类网络;其中,所述初始分类网络是由所述第一特征提取模型和所述微调后的类别判断模型组成的。
上述方案中,所述装置还包括:
生成评估网络单元,用于在所述利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值之前,获取图片质量集合,所述图片质量集合表征一一对应的图片和质量值;及获取由至少一层卷积层组成的初始第二特征提取模型、以及由全连接层和分类器组成的初始质量判断模型;及利用所述图片质量集合,对初始第二卷积神经网络进行训练,得到所述第二卷积神经网络;其中,所述初始第二卷积神经网络是由所述初始第二特征提取模型和所述初始质量判断模型组成的;以及利用所述图片质量集合,对所述第二卷积神经网络进行微调,得到所述预设质量评估网络。
上述方案中,所述第二卷积神经网络包括第二特征提取模型和质量判断模型;
所述生成评估网络单元,具体用于利用所述图片质量集合,对所述质量判断模型进行微调,得到微调后的质量判断模型;以及利用所述图片质量集合,对初始质量评估网络进行全局微调,得到所述预设质量评估网络;其中,所述初始质量评估网络是由所述第二特征提取模型和所述微调后的质量判断模型组成的。
本申请实施例提供了一种信息推荐方法及装置、存储介质,采用上述技术实现方案,先对初始图片进行分类,得到初始图片各自对应的类别,再从初始图片中选出类别和目标图片类别一致的待选图片,然后对待选图片中每个图片进行评估,得到待选图片各自对应的质量值,最后,基于质量值确定出目标图片;先利用预设分类网络,选出类别和目标图片类别一致的待选图片,再利用预设质量评估网络,得到待选图片的质量值,进而可以确定出质量高的目标图片,如此,无需人工参与,自动选择出质量高的图片,提高了效率和智能程度。
附图说明
图1为本申请实施例提供的一种信息推荐系统的结构示意图;
图2为本申请实施例提供的一种信息推荐方法的流程图一;
图3为本申请实施例提供的一种信息推荐方法的流程图二;
图4为本申请实施例提供的一种图片指纹的计算方法的流程图;
图5为本申请实施例提供的一种信息推荐方法的流程图三;
图6为本申请实施例提供的一种预设分类网络的训练示意图;
图7为本申请实施例提供的一种预设分类网络的分类示意图;
图8为本申请实施例提供的一种信息推荐方法的流程图四;
图9为本申请实施例提供的一种信息推荐装置的结构示意图一;
图10为本申请实施例提供的一种信息推荐装置的结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
如图1所示,其为实现本申请各个实施例的一种信息推荐系统的结构示意图,信息推荐系统1包括:信息推荐装置11、服务器12和数据库13;其中,信息推荐装置11为可交互的、包括显示模块的装置,用户在信息推荐装置11上进行操作,发出推荐指令,信息推荐装置11响应于针对图片的推荐指令,执行信息推荐方法,得到目标图片,在显示模块上显示目标图片,以向用户展示目标图片;服务器12用于维护、发布和管理信息推荐装置所需的信息,并将信息保存在数据库13中,信息推荐装置11在接收到推荐请求时,通过网络从服务器12上下载与信息推荐方法相关的信息,以完成信息推荐方法。
需要说明的是,信息推荐装置可以以各种形式来实施,例如,可以为包括诸如手机、平板电脑、笔记本电脑、掌上电脑等移动终端,以及诸如台式计算机等固定终端。
本领域技术人员可以理解,图1中示出的信息推荐系统的结构并不构成对信息推荐系统的限定,信息推荐系统可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
需要说明的是,本申请实施例可以基于图1所示的信息推荐系统所实现,下面基于图1进行信息推荐具体实施例的说明。
实施例一
本申请实施例提供了一种信息推荐方法,如图2所示,该信息推荐方法包括以下步骤:
S101、接收到目标用户的推荐指令时,基于推荐指令和预设图片库,获取初始图片和目标数量;
信息推荐装置提供有输入功能,受用户控制进入功能界面时,在功能界面中显示输入功能,当用户通过输入功能发出推荐指令,信息推荐装置响应于推荐指令,从推荐指令中获用户输入的目标数量,从预设图片库中获取初始图片;其中,输入推荐指令的用户就是目标用户。
在一些实施例中,预设图片库为存储在信息推荐装置的本地存储器中的图片集合、或者信息推荐装置中的相机采集到的图片集合,预设图片库记录一一对应的图片和图片信息,图片信息包括图片采集时间;本申请实施例不做限制。
进一步地,信息推荐装置还从推荐指令中获取时间范围,进而从预设图片库中,获取图片采集时间属于该时间范围内的图片,并将其作为初始图片;其中,初始图片为存在信息推荐装置的本地存储器中的图片、或者信息推荐装置中的相机采集到的图片。
在一些实施例中,输入功能包括语音输入功能和操作输入功能;当用户开启语音输入功能时,信息推荐装置采集用户发出的表征推荐指令的推荐语音,从推荐语音中获取推荐指令;当用户开启操作输入功能时,信息推荐装置检测图片选择操作,根据图片选择操作生成推荐指令。
示例性地,用户开启语音输入功能后,信息推荐装置采集第一个推荐语音,对第一个推荐语音检测时间范围和目标数量;当未检测到时间范围和/或目标数量时,显示表征缺少时间范围和/或目标数量的提示信息,并继续采集第二个推荐语音,直至检测到时间范围和目标数量;生成携带有时间范围和目标数量的推荐指令。
示例性地,用户打开信息推荐装置中的社交应用,社交应用提供有表征发布图片的操作输入功能;当用户开启该操作输入功能时,信息推荐装置确定检测到图片选择操作,并将当天作为时间范围;将社交应用中发布图片的图片最大值,作为目标数量;生成携带有时间范围和目标数量的推荐指令。
在一些实施例中,信息推荐装置统计初始图片的数量,判断初始图片的数量是否大于目标数量;当初始图片的数量大于目标数量时,继续执行步骤S102,否则,将初始图片作为目标图片,并推荐目标图片。
S102、利用预设分类网络,对初始图片进行分类,得到初始图片各自对应的类别;预设分类网络表征图片和类别的对应关系;
信息推荐装置将初始图片中每个图片,作为预设分类网络的输入,得到初始图片中每种图片对应的类别。
在一些实施例中,分类网络表征的类别包括以下至少一个:按照拍摄方式划分的至少一个第一类别,按照拍摄场景划分的至少一个第二类别,以及按照拍摄内容划分的至少一个第三类别,本申请实施例不做限制。
示例性地,按照拍摄方式划分的至少一个第一类别包括:自拍和合影。
示例性地,按照拍摄场景划分的至少一个第二类别包括:日落、沙滩和夜景。
示例性地,按照拍摄内容划分的至少一个第三类别包括:建筑、美食、蓝天、剪影、运动、草地和文字。
在一些实施例中,信息推荐装置在步骤S102之前,将图片作为输入,将图片对应的类别作为输出,对卷积神经网络进行训练,得到预设分类网络;
或者,信息推荐装置从服务器中下载预设分类网络,预设分类网络为服务器训练得到的。
S103、获取目标图片类别;
信息推荐装置通过输入功能,继续获取符合目标用户喜好的目标图片类别,目标图片类别为预设分类网络表征的类别中的一个或多个。
在一些实施例中,信息推荐装置在步骤S102之后,且步骤S103之前,统计初始图片各自对应的类别,得到至少一个待选类别,至少一个待选类别属于预设分类网络表征的类别;显示至少一个待选类别,供目标用户基于个人喜好进行选择;相应地,信息推荐装置在显示至少一个待选类别的界面中,接收针对至少一个待选类别中的至少一个类别的选择指令,响应于选择指令,将至少一个类别作为目标图片类别。
信息推荐装置获取初始图片中所有图片对应的所有类别,将所有类别中的每一种类别作为一个待选类别,进而获得至少一个待选类别;在功能界面上弹出使能状态的至少一个待选类别;当在功能界面中,接收到针对至少一个待选类别中的至少一个类别的选择指令,响应于选择指令,将至少一个类别作为目标图片类别。
示例性地,预设分类网络表征的类别包括g个类别,至少一个待选类别包括g个类别中的h个类别,目标图片类别包括h个类别中的k中类别,g大于或等于h,h大于或等于k。
S104、从初始图片中选出类别和目标图片类别一致的待选图片;
信息推荐装置将初始图片中的类别属于目标图片类别的图片,作为待选图片。
S105、利用预设质量评估网络,对待选图片中每个图片进行评估,得到待选图片各自对应的质量值;预设质量评估网络表征图片和质量值的对应关系;
信息推荐装置将待选图片中每个图片,作为预设质量评估网络的输入,得到待选图片中每个图片对应的质量值。
在一些实施例中,信息推荐装置在步骤S105之前,将图片作为输入,将图片对应的质量值作为输出,对卷积神经网络进行训练,得到预设质量评估网络;
或者,信息推荐装置从服务器中下载预设质量评估网络,预设质量评估网络为服务器训练得到的。
S106、基于待选图片各自对应的质量值,从待选图片中确定出目标数量个的目标图片,并推荐目标图片。
信息推荐装置从待选图片中,选出目标数量个的、质量值较高的目标图片,从功能界面跳转至推荐界面,在推荐界面上显示目标图片。
在一些实施例中,如图3所示的信息推荐方法,在步骤S104之后,该方法还包括:
S201、计算待选图片中每个图片的图片指纹,图片指纹表征图片像素的灰度值的分布情况;
信息推荐装置针对待选图片中每个图片,计算得到图片指纹;进而利用图片指纹,计算待选图片中的两个图片之间的相似度。
在一些实施例中,信息推荐装置对待选图片中每个图片进行尺寸缩小和色彩简化,得到简化后的待选图片;计算简化后的待选图片中每个图片对应的灰度均值;利用灰度均值,对简化后的待选图片中每个图片的像素灰度值进行二值化,得到待选图片中每个图片的图片指纹。
信息推荐装置对待选图片中每一个图片进行尺寸缩小,得到一个缩小后的图片,再对缩小后的图片进行色彩简化,得到一个简化后的图片;计算简化后的图片对应的灰度均值;比较简化后的图片中的所有像素灰度值是否大于灰度均值,进而对所有像素灰度值进行二值化,得到图片指纹,图片指纹为位数等于像素总个数的整数,整数中每位数为0或1。
示例性地,如图4所示的一种图片指纹的计算方法,该计算方法包括:
A1、信息推荐装置对待选图片中每个图片进行尺寸缩小,得到大小为8*8(像素)的缩小后的图片;
A2、信息推荐装置将缩小后的图片,转化为64级灰度图片;
A3、信息推荐装置计算64级灰度图片中所有像素点(64个像素点)的灰度值,对所有像素点的灰度值求平均值,得到64级灰度图片对应的灰度均值;
A4、信息推荐装置将64级灰度图片中的每个像素点的灰度值和灰度均值进行比较,如果64级灰度图片中的一个像素点的灰度值大于等于灰度均值,将该像素点记为1,如果64级灰度图片中的一个像素点的灰度值小于灰度均值,将该像素点记为0,得到所有像素点对应的1或0;
A5、信息推荐装置将所有像素点对应的1或0进行组合,得到一个64位的整数,就是待选图片中每个图片的图片指纹。
在一些实施例中,按照保留图片结构和明暗等基本信息的原则,设置缩小尺寸,缩小尺寸可以为8*8、16*16或32*32等;色彩简化对应的灰度等级小于256,可以为64、128等;本申请实施例均不做限制。
需要说明的是,通过尺寸缩小,去除图片的细节,只保留图片的结构和明暗等基本信息,使得待选图片中所有图片的图片指纹,记录相同大小的区域的信息,保证了所有图片的图片指纹具有可比性。
S202、根据预设差异度阈值和待选图片中每个图片的图片指纹,将初始图片划分成至少一组相似图片集合;
信息推荐装置对待选图片中的任意两个图片的图片指纹进行异或运算,得到这两个图片的差异度;比较这两个图片的差异度是否大于预设差异度阈值,当大于时,确定这两个图片为相似的图片,否则,确定这两个图片为不相似的图片;直到对待选图片中的所有图片执行异或运算后,得到至少一组相似图片集合;其中,异或运算是指当a、b两个值不相同,则异或结果为1,如果a、b两个值相同,异或结果为0。
在一些实施例中,每个图片的图片指纹为位数等于像素总个数的整数,信息推荐装置对任意两个图片的图片指纹进行异或运算,得到异或值,异或至为由0和1表示的、位数等于像素总个数的整数;将异或值中的所有数相加,得到任意两个图片的差异度。
在一些实施例中,对于由64位的整数表示的图片指纹,预设差异度阈值的取值范围为0至64,例如,可以为5,本申请实施例不做限制。
例如,对于由9位的整数表示的图片指纹,任意两个图片的图片指纹为111000111和011011011,对任意两个图片的图片指纹进行异或运算,得到异或值为100011100,对异或值中的9个数相加,得到任意两个图片的差异度为4。
在一些实施例中,信息推荐装置针对待选图片中每两个图片,对每两个图片的图片指纹进行异或运算,得到每两个图片之间的差异度;当差异度小于或等于预设差异度阈值,将每两个图片加入一组相似图片集合;当差异度大于预设差异度阈值,将每两个图片分别加入两组相似图片集合;直至对待选图片中的图片均已加入,进而得到至少一组相似图片集合。
在一些实施例中,信息推荐装置按照待选图片中每个图片的图片指纹,对待选图片进行排序,得到排序后的待选图片;从排序后的待选图片中取出第i个图片和第i+1个图片,i为大于0的正整数;对第i个图片的图片指纹和第i+1个图片的图片指纹进行异或运算,得到第i个图片和第i+1个图片之间的差异度;当差异度小于或等于预设差异度阈值时,将第i个图片和第i+1个图片加入一组相似图片集合,从排序后的待选图片中取出第i+2个图片;当差异度大于预设差异度阈值时,将第i个图片和第i+1个图片加入不同的相似图片集合,从排序后的待选图片中取出第i+2个图片;继续对第i+1个图片的图片指纹和第i+2个图片的图片指纹进行异或运算,直至对待选图片中的图片均已取出,进而得到至少一组相似图片集合。
信息推荐装置按照待选图片中每个图片的图片指纹表征的数值大小,对待选图片进行排序,得到排序后的待选图片,排序后的待选图片中的每相邻两个图片为各自的最相似的图片;信息推荐装置从排序后的待选图片中取出第1个图片,由第1个图片组成第1组相似图片集合;再从排序后的待选图片中取出第2个图片,对第1个图片的图片指纹和第2个图片的图片指纹进行异或运算,得到差异度;比较差异度是否大于预设差异度阈值;当大于时,将第2个图片加入第1组相似图片集合,并继续从排序后的待选图片中取出第3个图片,否则,由第2个图片组成第2组相似图片集合,并从排序后的待选图片中取出第3个图片,对第2个图片的图片指纹和第3个图片的图片指纹进行异或运算,得到差异度;直至取出排序后的待选图片中的所有图片。
需要说明的是,第1个图片、第2个图片和第3个图片等中的数字,均表征图片在排序后的待选图片中的排列位置。
在一些实施例中,信息推荐装置当差异度小于或等于预设差异度阈值时,将第i个图片和第i+1个图片加入一组相似图片集合,从排序后的待选图片中取出第i+2个图片之后,也可以继续对第i个图片的图片指纹和第i+2个图片的图片指纹进行异或运算,得到第i个图片和第i+2个图片之间的差异度;当第i个图片和第i+2个图片之间的差异度小于或等于预设差异度阈值时,将第i+2个图片加入和第i个图片一样的相似图片集合中,否则将第i+2图片加入和第i个图片不同的相似图片集合中;从排序后的待选图片中取出第i+3个图片,继续对第i个图片的图片指纹和第i+3个图片的图片指纹进行异或运算。
可以理解的是,由于一组相似图片集合中的图片都是相似的,一组相似图片集合中的所有图片记录的图片内容是相似的,也就是说,一组相似图片集合反映一类内容,进而,一组相似图片集合中的图片数量越高,表示用户对该组相似图片集合反映的一类内容的喜好度越高。
需要说明的是,两组相似图片集合各自反映的一类内容,可以属于同一个类别,例如,一组相似图片集合反映的一类内容为包括人物的沙滩,另一组相似图片集合反映的另一类内容为不包括人物的沙滩,但是这两组相似图片集合属于同一个类别,即沙滩。
S203、统计至少一组相似图片集合各自对应的相似图片数量;
信息推荐装置对至少一组相似图片集合中每组相似图片集合的图片总数进行统计,得到相似图片数量。
S204、利用预设质量评估网络,对待选图片中每个图片进行评估,得到待选图片各自对应的质量值;预设质量评估网络表征图片和质量值的对应关系;
需要说明的是,步骤S204和步骤S105的具体实施方式相同,步骤S204还可以在步骤S201至步骤S203之前执行,本申请实施例不做限制。
S205、基于相似图片数量和待选图片各自对应的质量值,从待选图片中确定出目标数量个的目标图片。
在一些实施例中,信息推荐装置按照相似图片数量,对至少一组相似图片集合进行排序,得到排序后的至少一个组相似图片集合;从排序后的至少一组相似图片集合中的相似图片数量最大的相似图片集合开始,依次从排序后的至少一组相似图片集合中,获取质量值最高的相似图片;直至获取到的相似图片的个数等于目标数量个;将获取到的相似图片,作为目标图片。
信息推荐装置按照相似图片数量的大小,对至少一组相似图片集合进行排序,得到排序后的至少一组相似图片集合;先从相似图片数量最大的相似图片集合中,获取一个质量值最高的相似图片;继续从相似图片数量次大的相似图片集合中,获取下一个质量值最高的相似图片,直至获取到目标数量个的相似图片;将获取到的相似图片,作为目标图片。
在一些实施例中,至少一组相似图片集合对应的总组数为M,目标数量为N,M和N为大于0的正整数;当M大于等于N时,信息推荐装置分别从至少一组相似图片集合中的相似图片数量最大的N组相似图片集合中,获取N个质量值最高的相似图片;将N个质量值最高的相似图片,作为目标图片。
进一步地,当M小于N时,信息推荐装置分别从至少一组相似图片集合中,获取M个质量值最高的相似图片;再分别从至少一组相似图片集合中的相似图片数量最大的N-M组相似图片集合中,获取与M个质量值最高的相似图片不同的N-M个质量值最高的相似图片;将M个质量值最高的相似图片和N-M个质量值最高的相似图片,作为目标图片。
可以理解的是,由于多组相似图片集合反映的内容不同,信息推荐装置从多组相似图片集合中取出的质量值最高的相似图片,内容互不相同,由内容互不相同的相似图片组成目标图片,提高了目标图片的多样性;其次,用户在旅游或聚会等场景中,拍摄不同对象的多张图片,例如,风景、人物合影、美食、动物和建筑等等,用户对多张图片进行选择时,可能遗漏某几类内容的图片;如果将多张图片按照相似分类后,将反映不同内容的目标图片告知用户,则可以使用户更清楚地规划和选择想要展示的图片,避免遗漏某几类内容的图片。
在一些实施例中,如图5所示的信息推荐方法,在步骤S102之前,该方法还包括:
S301、从预设可视化数据库中获取第一图片类别集合;第一图片类别集合表征一一对应的图片和拍摄对象类别;
信息推荐装置从预设可视化数据库Imagenet中取出多张图片,组成第一图片类别集合,Imagenet存储有100多种拍摄对象类别各自对应的图片,100多种拍摄对象类别包括动物、物体和水果等所有实体对象,例如,狗、猫、草莓。
S302、基于预设分类网络表征的类别,获取第二图片类别集合;第二图片类别集合表征一一对应的图片和类别;
信息推荐装置以预设分类网络表征的类别中每个类别为搜索对象,对预设网站进行搜索引擎爬取,得到每个类别对应的图片,进而得到由预设分类网络表征的类别各自对应的图片,组成的第二图片类别集合。
S303、获取由至少一层卷积层组成的初始第一特征提取模型、以及由全连接层和分类器组成的初始类别判断模型;
信息推荐装置获取初始第一特征提取模型和初始类别判断模型,由初始第一特征提取模型和初始类别判断模型,组成初始第一卷积神经网络。
在一些实施例中,信息推荐装置采用的初始第一卷积神经网络为Mobilenet_V1,Mobilenet_V1的网络结构如下表1所示:
表1
Figure BDA0002211822110000191
表1的第一列为网络层的类型(Type)和步长(Stride),网络层的类型包括:卷积层(convolution layer)、深度卷积层(depthwise convolution layer)、平均池化层(AvgPool)、全连接层(FC,Fully connected layer)和Softmax函数,表1中的Conv表示卷积层,Conv dw表示深度卷积层,s1表示步长为1,s2表示步长为2;表1的第二列包括卷积层和深度卷积层对应的滤波器样式(Filter Shape)、Avg Pool对应的滤波器样式,FC对应的滤波器样式、以及Softmax函数对应的滤波器样式为分类器(Classifier);其中,卷积层和深度卷积层对应的滤波器样式的具体含义为{卷积核的高度,卷积核的宽度,图像通道数,卷积核的个数},或者,当卷积核的个数等于1时,卷积层和深度卷积层对应的滤波器样式的表示含义为{卷积核的高度,卷积核的宽度,图像通道数,dw},例如,1*1*512*512表示卷积核的高度等于1、卷积核的宽度等于1、图像通道数等于512、卷积核的个数等于512;7*7表示卷积核的高度等于7、卷积核的宽度等于7;表1的第三列为输入图像大小。
在一些实施例中,Mobilenet_V1包括:由多个卷积层、多个深度卷积层和池化层组成的初始第一特征提取模型,由全连接层和Softmax函数组成的初始类别判断模型;其中,初始第一特征提取模型用于提取图片的多样化特征,初始类别判断模型用于获取图片的多样化特征,并利用多样化特征判断图片的类别。
S304、利用第一图片类别集合,对初始第一卷积神经网络进行训练,得到第一卷积神经网络;其中,初始第一卷积神经网络是由初始第一特征提取模型和初始类别判断模型组成的;
信息推荐装置利用第一图片类别集合,对初始第一卷积神经网络中的初始第一特征提取模型和初始类别判断模型进行同时训练,得到第一特征提取模型和类别判断模型,由第一特征提取模型和类别判断模型组成第一卷积神经网络,第一卷积神经网络表示图片和拍摄对象类别的对应关系。
需要说明的是,由于采用100多种拍摄对象类别,对初始第一卷积神经网络进行训练,得到第一卷积神经网络中的第一特征提取模型较为完善,第一卷积神经网络中的类别判断模型的输出类别为100多种拍摄对象类别,不是预设分类网络表征的类别,需要对类别判断模型进行进一步微调。
S305、利用第二图片类别集合,对第一卷积神经网络进行微调,得到预设分类网络。
信息推荐装置对第一卷积神经网络进行微调(Finetune),得到预设分类网络,预设分类网络表征图片和类别的对应关系。
在一些实施例中,第一卷积神经网络包括第一特征提取模型和类别判断模型;信息推荐装置利用第二图片类别集合,对类别判断模型进行微调,得到微调后的类别判断模型;利用第二图片类别集合,对初始分类网络进行全局微调,得到预设分类网络;其中,初始分类网络是由第一特征提取模型和微调后的类别判断模型组成的。
信息推荐装置利用第二图片类别集合,对类别判断模型进行微调,得到微调后的类别判断模型;由第一特征提取模型和微调后的类别判断模型组成初始分类网络;再对初始分类网络进行全局微调,得到预设分类网络。
在一些实施例中,信息推荐装置使用网络优化器为Adam,设置网络学习率(Learning rate)为0.01,设置训练集大小(batch size)为64,基于此,对Mobilenet_V1进行训练,得到由第一特征提取模型和类别判断模型组成的第一卷积神经网络,再对该类别判断模型进行4000步微调,得到微调后的类别判断模型,由第一特征提取模型和该微调后的类别判断模型,组成初始分类网络,其中,4000步只是可以采取的一个网络微调步数,本申请实施例对网络微调步数不做限制。
进一步地,信息推荐装置对该初始分类网络进行1000步全局微调,得到预设分类网络,其中,1000步只是可以采取的一个网络全局微调步数,本申请实施例对网络全局微调步数不做限制。
在一些实施例中,信息推荐装置使用网络优化器为Adam,设置网络学习率(Learning rate)为0.01,设置训练集大小(batch size)为64,基于此,执行上述和预设分类网络相关的训练、微调或全局微调的过程,本申请实施例不做限制。
需要说明的是,通过对Mobilenet_V1进行训练和微调,得到预设分类网络,由于Mobilenet_V1是一种轻量级的神经网络,且计算量小,信息推荐装置使用预设分类网络的计算量也较小,因此,不需要将图片上传至服务器,通过服务器利用预设分类网络对图片进行处理,如此,降低了图片被盗取的可能性。
在一些实施例中,在步骤S305之后,信息推荐装置还对预设分类网络进行量化,得到量化后的预设分类网络;相应地,利用量化后的预设分类网络,对初始图片进行分类,得到初始图片各自对应的类别。
示例性地,信息推荐装置将预设分类网络的参数量化到8bit。
示例性地,如图6所示的预设分类网络的训练示意图,利用第一图片类别集合和第二图片类别集合,对初始第一卷积神经网络61经过训练、微调和全局微调后,得到预设分类网络62,初始第一卷积神经网络61包括初始第一特征提取模型61-1和初始类别判断模型61-2组成的;再对预设分类网络62进行量化后,得到量化后的预设分类网络63。
示例性地,如图7所示的预设分类网络的分类示意图,将一个图片输入至预设分类网络71中,依次经过预设分类网络71中的第一特征提取模型71-1和类别判断模型71-2的处理后,得到该图片的类别。
在一些实施例中,如图8所示,在步骤S105之前,该方法还包括:
S401、获取图片质量集合,图片质量集合表征一一对应的图片和质量值;
信息推荐装置获取图片质量集合,图片质量集合中的每个图片对应的质量值。
在一些实施例中,质量值为喜爱分值,针对多张图片中每个图片,由至少一个用户按照个人喜好程度给出范围为1至10的喜爱分值,将多张图片中每个图片和分数进行对应保存,得到图片指令集合。
在一些实施例中,质量值还可以为清晰程度,清晰程度范围为1至10,数值越大表示图片越清晰,本申请实施例对质量值不做限制。
S402、获取由至少一层卷积层组成的初始第二特征提取模型、以及由全连接层和分类器组成的初始质量判断模型;
信息推荐装置获取初始第二特征提取模型和初始质量判断模型,由初始第二特征提取模型和初始质量判断模型,组成初始第二卷积神经网络。
在一些实施例中,信息推荐装置采用的初始第二卷积神经网络也可以为Mobilenet_V1。
S403、利用图片质量集合,对初始第二卷积神经网络进行训练,得到第二卷积神经网络;其中,初始第二卷积神经网络是由初始第二特征提取模型和初始质量判断模型组成的;
信息推荐装置对初始第二卷积神经网络中的初始第二特征提取模型和初始质量判断模型进行同时训练,得到第二特征提取模型和质量判断模型,由第二特征提取模型和质量判断模型组成第二卷积神经网络,第二卷积神经网络表征图片和质量值的对应关系。
S404、利用图片质量集合,对第二卷积神经网络进行微调,得到预设质量评估网络。
信息推荐装置训练得到的预设质量评估网络表征网片和质量值的对应关系。
在一些实施例中,第二卷积神经网络包括第二特征提取模型和质量判断模型;信息推荐装置利用图片质量集合,对质量判断模型进行微调,得到微调后的质量判断模型;利用图片质量集合,对初始质量评估网络进行全局微调,得到预设质量评估网络;其中,初始质量评估网络是由第二特征提取模型和微调后的质量判断模型组成的。
信息推荐装置利用图片质量集合,对质量判断模型进行微调,得到微调后的质量判断模型;由第二特征提取模型和微调后的质量判断模型组成初始质量评估网络;再对初始质量评估网络进行全局微调,得到预设质量评估网络。
在一些实施例中,信息推荐装置使用网络优化器为RMSprop,设置RMSprop的超参数γ为0.9,网络学习率(Learning rate)为0.001,设置训练集大小为64,基于此,对Mobilenet_V1进行训练,得到由第二特征提取模型和质量判断模型组成的第二卷积神经网络,再对该质量判断模型进行2000步微调,得到微调后的质量判断模型,由第二特征提取模型和该微调后的质量判断模型,组成初始分类网络;其中,2000步只是可以采取的一个网络微调步数,本申请实施例对网络微调步数不做限制。
进一步地,信息推荐装置对该初始质量评估网络进行1000步全局微调,得到预设质量评估网络,其中,1000步只是可以采取的一个网络全局微调步数,本申请实施例对网络全局微调步数不做限制。
在一些实施例中,信息推荐装置使用网络优化器为RMSprop,设置RMSprop的超参数γ为0.9,网络学习率(Learning rate)为0.001,设置训练集大小为64,基于此,执行上述和预设质量评估网络相关的训练、微调或全局微调的过程,本申请实施例不做限制。
可以理解的是,信息推荐装置先对初始图片进行分类,得到初始图片各自对应的类别,再从初始图片中选出类别和目标图片类别一致的待选图片,然后对待选图片中每个图片进行评估,得到待选图片各自对应的质量值,最后,基于质量值确定出目标图片;先利用预设分类网络,选出类别和目标图片类别一致的待选图片,再利用预设质量评估网络,得到待选图片的质量值,进而可以确定出质量高的目标图片,如此,无需人工参与,自动选择出质量高的图片,提高了效率和智能程度。
实施例二
基于实施例一的同一发明构思,进行进一步的说明。
本申请实施例提供了一种信息推荐装置,如图9所示,信息推荐装置8包括:
推荐单元81,用于接收到目标用户的推荐指令时,基于推荐指令和预设图片库,获取初始图片和目标数量;
分类单元82,用于利用预设分类网络,对初始图片进行分类,得到初始图片各自对应的类别;预设分类网络表征图片和类别的对应关系;
推荐单元81,还用于获取目标图片类别;以及从初始图片中选出类别和目标图片类别一致的待选图片;
评估单元83,用于利用预设质量评估网络,对待选图片中每个图片进行评估,得到待选图片各自对应的质量值;预设质量评估网络表征图片和质量值的对应关系;
推荐单元81,还用于基于待选图片各自对应的质量值,从待选图片中确定出目标数量个的目标图片,并推荐目标图片。
在一些实施例中,信息推荐装置8还包括:
相似处理单元84,用于在从初始图片中选出类别和目标图片类别一致的待选图片之后,且基于待选图片各自对应的质量值,从待选图片中确定出目标数量个的目标图片,并推荐目标图片之前,计算待选图片中每个图片的图片指纹,图片指纹表征图片像素的灰度值的分布情况;及根据预设差异度阈值和待选图片中每个图片的图片指纹,将初始图片划分成至少一组相似图片集合;及统计至少一组相似图片集合各自对应的相似图片数量;及利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值;所述预设质量评估网络表征图片和质量值的对应关系;以及根据所述相似图片数量和所述待选图片各自对应的质量值,从所述待选图片中确定出所述目标数量个的目标图片,并推荐所述目标图片。
在一些实施例中,相似处理单元84,具体用于按照相似图片数量,对至少一组相似图片集合进行排序,得到排序后的至少一个组相似图片集合;及从排序后的至少一组相似图片集合中的相似图片数量最大的相似图片集合开始,依次从排序后的至少一组相似图片集合中,获取质量值最高的相似图片;及直至获取到的相似图片的个数等于目标数量个;以及将获取到的相似图片,作为目标图片。
在一些实施例中,相似处理单元84,具体用于对待选图片中每个图片进行尺寸缩小和色彩简化,得到简化后的待选图片;及计算简化后的待选图片中每个图片对应的灰度均值;以及利用灰度均值,对简化后的待选图片中每个图片的像素灰度值进行二值化,得到待选图片中每个图片的图片指纹。
在一些实施例中,相似处理单元84,具体用于针对待选图片中每两个图片,对每两个图片的图片指纹进行异或运算,得到每两个图片之间的差异度;及当差异度小于或等于预设差异度阈值,将每两个图片加入一组相似图片集合;及当差异度大于预设差异度阈值,将每两个图片分别加入两组相似图片集合;以及直至对待选图片中的图片均已加入,进而得到至少一组相似图片集合。
在一些实施例中,相似处理单元84,具体用于按照待选图片中每个图片的图片指纹,对待选图片进行排序,得到排序后的待选图片;及从排序后的待选图片中取出第i个图片和第i+1个图片,i为大于0的正整数;及对第i个图片的图片指纹和第i+1个图片的图片指纹进行异或运算,得到第i个图片和第i+1个图片之间的差异度;及当差异度小于或等于预设差异度阈值时,将第i个图片和第i+1个图片加入一组相似图片集合,从排序后的待选图片中取出第i+2个图片;及当差异度大于预设差异度阈值时,将第i个图片和第i+1个图片加入不同的相似图片集合,从排序后的待选图片中取出第i+2个图片;以及继续对第i+1个图片的图片指纹和第i+2个图片的图片指纹进行异或运算,直至对待选图片中的图片均已取出,进而得到至少一组相似图片集合。
在一些实施例中,推荐单元81,还用于在利用预设分类网络,对初始图片进行分类,得到初始图片各自对应的类别之后,且获取目标图片类别之前,统计初始图片各自对应的类别,得到至少一个待选类别;以及显示至少一个待选类别;
相应地,推荐单元81,具体用于在显示至少一个待选类别的界面中,接收针对至少一个待选类别中的至少一个类别的选择指令,响应于选择指令,将至少一个类别作为目标图片类别。
在一些实施例中,预设分类网络表征的类别包括以下至少一个:按照拍摄方式划分的至少一个第一类别,按照拍摄场景划分的至少一个第二类别,以及按照拍摄内容划分的至少一个第三类别。
在一些实施例中,信息推荐装置8还包括:
生成分类网络单元85,用于在利用预设分类网络,对初始图片进行分类,得到初始图片各自对应的类别之前,从预设可视化数据库中获取第一图片类别集合;第一图片类别集合表征一一对应的图片和拍摄对象类别;及基于预设分类网络表征的类别,获取第二图片类别集合;第二图片类别集合表征一一对应的图片和类别;及获取由至少一层卷积层组成的初始第一特征提取模型、以及由全连接层和分类器组成的初始类别判断模型;及利用第一图片类别集合,对初始第一卷积神经网络进行训练,得到第一卷积神经网络;其中,初始第一卷积神经网络是由初始第一特征提取模型和初始类别判断模型组成的;以及利用第二图片类别集合,对第一卷积神经网络进行微调,得到预设分类网络。
在一些实施例中,第一卷积神经网络包括第一特征提取模型和类别判断模型;
生成分类网络单元85,具体用于利用第二图片类别集合,对类别判断模型进行微调,得到微调后的类别判断模型;
利用第二图片类别集合,对初始分类网络进行全局微调,得到预设分类网络;其中,初始分类网络是由第一特征提取模型和微调后的类别判断模型组成的。
在一些实施例中,信息推荐装置8还包括:
生成评估网络单元86,用于在利用预设质量评估网络,对待选图片中每个图片进行评估,得到待选图片各自对应的质量值之前,获取图片质量集合,图片质量集合表征一一对应的图片和质量值;及获取由至少一层卷积层组成的初始第二特征提取模型、以及由全连接层和分类器组成的初始质量判断模型;及利用图片质量集合,对初始第二卷积神经网络进行训练,得到第二卷积神经网络;其中,初始第二卷积神经网络是由初始第二特征提取模型和初始质量判断模型组成的;以及利用图片质量集合,对第二卷积神经网络进行微调,得到预设质量评估网络。
在一些实施例中,第二卷积神经网络包括第二特征提取模型和质量判断模型;
生成评估网络单元86,具体用于利用图片质量集合,对质量判断模型进行微调,得到微调后的质量判断模型;以及利用图片质量集合,对初始质量评估网络进行全局微调,得到预设质量评估网络;其中,初始质量评估网络是由第二特征提取模型和微调后的质量判断模型组成的。
需要说明的是,在实际应用中,上述推荐单元81、分类单元82、评估单元83、相似处理单元84、生成分类网络单元85和生成评估网络单元86,可由位于信息推荐装置8上的处理器87实现,具体为CPU(Central Processing Unit,中央处理器)、MPU(MicroprocessorUnit,微处理器)、DSP(Digital Signal Processing,数字信号处理器)或现场可编程门阵列(FPGA,Field Programmable Gate Array)等实现。
本申请实施例还提供了一种信息推荐装置,如图10所示,信息推荐装置8包括:处理器87、存储器88和通信总线89,存储器88通过通信总线89与处理器87进行通信,存储器88存储处理器87可执行的一个或者多个程序,当一个或者多个程序被执行时,通过处理器87执行如实施例一所述的任意一种信息推荐方法。
本申请实施例提供了一种存储介质,所述存储介质存储有程序,当所述程序被处理器87执行时,以实现如实施例一的信息推荐方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。

Claims (15)

1.一种信息推荐方法,其特征在于,所述方法包括:
接收到目标用户的推荐指令时,基于所述推荐指令和预设图片库,获取初始图片和目标数量;
利用预设分类网络,对所述初始图片进行分类,得到所述初始图片各自对应的类别;所述预设分类网络表征图片和类别的对应关系;
获取目标图片类别;
从所述初始图片中选出类别和所述目标图片类别一致的待选图片;
利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值;所述预设质量评估网络表征图片和质量值的对应关系;
基于所述待选图片各自对应的质量值,从所述待选图片中确定出所述目标数量个的目标图片,并推荐所述目标图片。
2.根据权利要求1所述的方法,其特征在于,在所述从所述初始图片中选出类别和所述目标图片类别一致的待选图片之后,所述方法还包括:
计算所述待选图片中每个图片的图片指纹,所述图片指纹表征图片像素的灰度值的分布情况;
根据预设差异度阈值和所述待选图片中每个图片的图片指纹,将所述初始图片划分成至少一组相似图片集合;
统计所述至少一组相似图片集合各自对应的相似图片数量;
利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值;所述预设质量评估网络表征图片和质量值的对应关系;
根据所述相似图片数量和所述待选图片各自对应的质量值,从所述待选图片中确定出所述目标数量个的目标图片,并推荐所述目标图片。
3.根据权利要求2所述的方法,其特征在于,所述根据所述相似图片数量和所述待选图片各自对应的质量值,从所述待选图片中确定出所述目标数量个的目标图片,包括:
按照所述相似图片数量,对所述至少一组相似图片集合进行排序,得到排序后的至少一个组相似图片集合;
从所述排序后的至少一组相似图片集合中的相似图片数量最大的相似图片集合开始,依次从所述排序后的至少一组相似图片集合中,获取质量值最高的相似图片;
直至获取到的相似图片的个数等于所述目标数量个;
将所述获取到的相似图片,作为所述目标图片。
4.根据权利要求2所述的方法,其特征在于,所述计算所述待选图片中每个图片的图片指纹,包括:
对所述待选图片中每个图片进行尺寸缩小和色彩简化,得到简化后的待选图片;
计算所述简化后的待选图片中每个图片对应的灰度均值;
利用所述灰度均值,对所述简化后的待选图片中每个图片的像素灰度值进行二值化,得到所述待选图片中每个图片的图片指纹。
5.根据权利要求2所述的方法,其特征在于,所述根据预设差异度阈值和所述待选图片中每个图片的图片指纹,将所述初始图片划分成至少一组相似图片集合,包括:
针对所述待选图片中每两个图片,对所述每两个图片的图片指纹进行异或运算,得到所述每两个图片之间的差异度;
当所述差异度小于或等于所述预设差异度阈值,将所述每两个图片加入一组相似图片集合;
当所述差异度大于所述预设差异度阈值,将所述每两个图片分别加入两组相似图片集合;
直至对待选图片中的图片均已加入,进而得到所述至少一组相似图片集合。
6.根据权利要求2所述的方法,其特征在于,所述根据预设差异度阈值和所述待选图片中每个图片的图片指纹,将所述初始图片划分成至少一组相似图片集合,包括:
按照所述待选图片中每个图片的图片指纹,对所述待选图片进行排序,得到排序后的待选图片;
从所述排序后的待选图片中取出第i个图片和第i+1个图片,i为大于0的正整数;
对所述第i个图片的图片指纹和所述第i+1个图片的图片指纹进行异或运算,得到所述第i个图片和所述第i+1个图片之间的差异度;
当所述差异度小于或等于所述预设差异度阈值时,将所述第i个图片和所述第i+1个图片加入一组相似图片集合,从所述排序后的待选图片中取出第i+2个图片;
当所述差异度大于所述预设差异度阈值时,将所述第i个图片和所述第i+1个图片加入不同的相似图片集合,从所述排序后的待选图片中取出第i+2个图片;
继续对所述第i+1个图片的图片指纹和所述第i+2个图片的图片指纹进行异或运算,直至对待选图片中的图片均已取出,进而得到所述至少一组相似图片集合。
7.根据权利要求1至6中任一项所述的方法,其特征在于,在所述利用预设分类网络,对所述初始图片进行分类,得到所述初始图片各自对应的类别之后,且所述获取目标图片类别之前,所述方法还包括:
统计所述初始图片各自对应的类别,得到至少一个待选类别;
显示所述至少一个待选类别;
相应地,所述获取目标图片类别,包括:
在显示所述至少一个待选类别的界面中,接收针对所述至少一个待选类别中的至少一个类别的选择指令,响应于所述选择指令,将所述至少一个类别作为所述目标图片类别。
8.根据权利要求1至6中任一项所述的方法,其特征在于,所述预设分类网络表征的类别包括以下至少一个:按照拍摄方式划分的至少一个第一类别,按照拍摄场景划分的至少一个第二类别,以及按照拍摄内容划分的至少一个第三类别。
9.根据权利要求1至6中任一项所述的方法,其特征在于,在所述利用预设分类网络,对所述初始图片进行分类,得到所述初始图片各自对应的类别之前,所述方法还包括:
从预设可视化数据库中获取第一图片类别集合;所述第一图片类别集合表征一一对应的图片和拍摄对象类别;
基于所述预设分类网络表征的类别,获取第二图片类别集合;所述第二图片类别集合表征一一对应的图片和类别;
获取由至少一层卷积层组成的初始第一特征提取模型、以及由全连接层和分类器组成的初始类别判断模型;
利用所述第一图片类别集合,对初始第一卷积神经网络进行训练,得到所述第一卷积神经网络;其中,所述初始第一卷积神经网络是由所述初始第一特征提取模型和所述初始类别判断模型组成的;
利用所述第二图片类别集合,对所述第一卷积神经网络进行微调,得到所述预设分类网络。
10.根据权利要求9所述的方法,其特征在于,所述第一卷积神经网络包括第一特征提取模型和类别判断模型;所述利用所述第二图片类别集合,对所述第一卷积神经网络进行微调,得到所述预设分类网络,包括:
利用所述第二图片类别集合,对所述类别判断模型进行微调,得到微调后的类别判断模型;
利用所述第二图片类别集合,对初始分类网络进行全局微调,得到所述预设分类网络;其中,所述初始分类网络是由所述第一特征提取模型和所述微调后的类别判断模型组成的。
11.根据权利要求1至6中任一项所述的方法,其特征在于,在所述利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值之前,所述方法还包括:
获取图片质量集合,所述图片质量集合表征一一对应的图片和质量值;
获取由至少一层卷积层组成的初始第二特征提取模型、以及由全连接层和分类器组成的初始质量判断模型;
利用所述图片质量集合,对初始第二卷积神经网络进行训练,得到所述第二卷积神经网络;其中,所述初始第二卷积神经网络是由所述初始第二特征提取模型和所述初始质量判断模型组成的;
利用所述图片质量集合,对所述第二卷积神经网络进行微调,得到所述预设质量评估网络。
12.根据权利要求11所述的方法,其特征在于,所述第二卷积神经网络包括第二特征提取模型和质量判断模型;所述利用所述图片质量集合,对所述第二卷积神经网络进行微调,得到所述预设质量评估网络,包括:
利用所述图片质量集合,对所述质量判断模型进行微调,得到微调后的质量判断模型;
利用所述图片质量集合,对初始质量评估网络进行全局微调,得到所述预设质量评估网络;其中,所述初始质量评估网络是由所述第二特征提取模型和所述微调后的质量判断模型组成的。
13.一种信息推荐装置,其特征在于,所述装置包括:
推荐单元,用于接收到目标用户的推荐指令时,基于所述推荐指令和预设图片库,获取初始图片和目标数量,所述初始图片的数量大于所述目标数量;
分类单元,用于利用预设分类网络,对所述初始图片进行分类,得到所述初始图片各自对应的类别;所述预设分类网络表征图片和类别的对应关系;
所述推荐单元,还用于获取目标图片类别;以及从所述初始图片中选出类别和所述目标图片类别一致的待选图片;
评估单元,用于利用预设质量评估网络,对所述待选图片中每个图片进行评估,得到所述待选图片各自对应的质量值;所述预设质量评估网络表征图片和质量值的对应关系;
所述推荐单元,还用于基于所述待选图片各自对应的质量值,从所述待选图片中确定出所述目标数量个的目标图片,并推荐所述目标图片。
14.一种信息推荐装置,其特征在于,所述装置包括:处理器、存储器和通信总线,所述存储器通过所述通信总线与所述处理器进行通信,所述存储器存储所述处理器可执行的一个或者多个程序,当所述一个或者多个程序被执行时,通过所述处理器执行如权利要求1-12任一项所述的方法。
15.一种存储介质,其特征在于,所述存储介质存储有程序,当所述程序被处理器执行时,以实现权利要求1-12任一项所述的方法。
CN201910901015.8A 2019-09-23 2019-09-23 信息推荐方法及装置、存储介质 Active CN110717058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910901015.8A CN110717058B (zh) 2019-09-23 2019-09-23 信息推荐方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910901015.8A CN110717058B (zh) 2019-09-23 2019-09-23 信息推荐方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN110717058A true CN110717058A (zh) 2020-01-21
CN110717058B CN110717058B (zh) 2023-06-09

Family

ID=69210012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910901015.8A Active CN110717058B (zh) 2019-09-23 2019-09-23 信息推荐方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN110717058B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291829A (zh) * 2020-03-03 2020-06-16 支付宝(杭州)信息技术有限公司 一种精选图片的自动确定方法和系统
CN111695036A (zh) * 2020-06-11 2020-09-22 北京百度网讯科技有限公司 内容推荐方法及装置
CN112084356A (zh) * 2020-09-15 2020-12-15 口碑(上海)信息技术有限公司 图片推荐方法、装置及设备
CN112256907A (zh) * 2020-11-17 2021-01-22 携程计算机技术(上海)有限公司 基于照片库的旅游攻略编辑方法、系统、设备及存储介质
WO2024037585A1 (zh) * 2022-08-18 2024-02-22 北京数慧时空信息技术有限公司 基于内容理解的遥感影像统筹推荐方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090296122A1 (en) * 2008-05-29 2009-12-03 Dirk Broddin Multilevel clustered dot screening method with improved detail and reduced image noise
CN105631457A (zh) * 2015-12-17 2016-06-01 小米科技有限责任公司 选择图片的方法及装置
CN107679109A (zh) * 2017-09-14 2018-02-09 维沃移动通信有限公司 一种图片分享方法及移动终端
CN108509466A (zh) * 2017-04-14 2018-09-07 腾讯科技(深圳)有限公司 一种信息推荐方法和装置
CN108563769A (zh) * 2018-04-20 2018-09-21 青岛海信移动通信技术股份有限公司 移动终端的图片显示方法、装置、设备及存储介质
WO2018191889A1 (zh) * 2017-04-19 2018-10-25 广东欧珀移动通信有限公司 照片处理方法、装置及计算机设备
CN109344884A (zh) * 2018-09-14 2019-02-15 腾讯科技(深圳)有限公司 媒体信息分类方法、训练图片分类模型的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090296122A1 (en) * 2008-05-29 2009-12-03 Dirk Broddin Multilevel clustered dot screening method with improved detail and reduced image noise
CN105631457A (zh) * 2015-12-17 2016-06-01 小米科技有限责任公司 选择图片的方法及装置
CN108509466A (zh) * 2017-04-14 2018-09-07 腾讯科技(深圳)有限公司 一种信息推荐方法和装置
WO2018191889A1 (zh) * 2017-04-19 2018-10-25 广东欧珀移动通信有限公司 照片处理方法、装置及计算机设备
CN107679109A (zh) * 2017-09-14 2018-02-09 维沃移动通信有限公司 一种图片分享方法及移动终端
CN108563769A (zh) * 2018-04-20 2018-09-21 青岛海信移动通信技术股份有限公司 移动终端的图片显示方法、装置、设备及存储介质
CN109344884A (zh) * 2018-09-14 2019-02-15 腾讯科技(深圳)有限公司 媒体信息分类方法、训练图片分类模型的方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291829A (zh) * 2020-03-03 2020-06-16 支付宝(杭州)信息技术有限公司 一种精选图片的自动确定方法和系统
CN111695036A (zh) * 2020-06-11 2020-09-22 北京百度网讯科技有限公司 内容推荐方法及装置
CN111695036B (zh) * 2020-06-11 2024-03-08 北京百度网讯科技有限公司 内容推荐方法及装置
CN112084356A (zh) * 2020-09-15 2020-12-15 口碑(上海)信息技术有限公司 图片推荐方法、装置及设备
CN112084356B (zh) * 2020-09-15 2024-03-08 口碑(上海)信息技术有限公司 图片推荐方法、装置及设备
CN112256907A (zh) * 2020-11-17 2021-01-22 携程计算机技术(上海)有限公司 基于照片库的旅游攻略编辑方法、系统、设备及存储介质
CN112256907B (zh) * 2020-11-17 2024-04-16 携程计算机技术(上海)有限公司 基于照片库的旅游攻略编辑方法、系统、设备及存储介质
WO2024037585A1 (zh) * 2022-08-18 2024-02-22 北京数慧时空信息技术有限公司 基于内容理解的遥感影像统筹推荐方法

Also Published As

Publication number Publication date
CN110717058B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN110717058B (zh) 信息推荐方法及装置、存储介质
CN108305240B (zh) 图像质量检测方法及装置
CN111738357B (zh) 垃圾图片的识别方法、装置及设备
US8953895B2 (en) Image classification apparatus, image classification method, program, recording medium, integrated circuit, and model creation apparatus
US8238615B2 (en) Method for comparing photographer aesthetic quality
US8311364B2 (en) Estimating aesthetic quality of digital images
US8594385B2 (en) Predicting the aesthetic value of an image
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
US8330826B2 (en) Method for measuring photographer's aesthetic quality progress
AU2021201933B2 (en) Hierarchical multiclass exposure defects classification in images
WO2022121485A1 (zh) 图像的多标签分类方法、装置、计算机设备及存储介质
CN111325271B (zh) 图像分类方法及装置
CN103353881B (zh) 一种应用程序搜索方法及装置
CN111935479B (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
JP2010504593A (ja) 分類手法を用いて画像からドミナントカラーを抽出する方法
WO2006055514A1 (en) Variance-based event clustering
CN108960260B (zh) 一种分类模型生成方法、医学影像图像分类方法及装置
CN103546803A (zh) 一种图像处理的方法、客户端和图像处理的系统
CN104361357B (zh) 基于图片内容分析的相片集分类系统及分类方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN111183630B (zh) 一种智能终端的照片处理方法及处理装置
CN113887410A (zh) 一种基于深度学习的多类别食材识别系统及方法
CN106056138A (zh) 照片处理装置及方法
CN108052918A (zh) 一种笔迹比对系统及方法
CN112100427A (zh) 视频处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant