CN110766052A - 图像展示方法、评估模型生成方法、装置及电子设备 - Google Patents
图像展示方法、评估模型生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110766052A CN110766052A CN201910895345.0A CN201910895345A CN110766052A CN 110766052 A CN110766052 A CN 110766052A CN 201910895345 A CN201910895345 A CN 201910895345A CN 110766052 A CN110766052 A CN 110766052A
- Authority
- CN
- China
- Prior art keywords
- image
- candidate images
- feature
- candidate
- evaluation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Finance (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例提供了一种图像展示方法、评估模型生成方法、装置、电子设备及存储介质。所述方法包括:获取与业务方关联的多幅候选图像;利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分;其中,在利用所述目标图像质量评估模型对所述多幅候选图像进行评估处理的过程中,每次是将两幅候选图像输入至所述目标图像质量评估模型进行评估处理,以得到所述两幅候选图像对应的相对质量评分;根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为所述业务方在指定平台的展示首图。本公开无需人工审核,可以减少人力成本的投入,提高了图像质量评估的准确性和效率。
Description
技术领域
本公开的实施例涉及图像处理技术领域,尤其涉及一种图像展示方法、评估模型生成方法、装置、电子设备及计算机可读存储介质。
背景技术
O2O(Online To Offline,线上到线下)互联网服务,即,Online线上网店Offline线下消费,商家通过免费开网店将商家信息、商品信息等展现给消费者,消费者在线上进行服务筛选,并完成支付,然后线下进行消费验证和消费体验。O2O服务业领域覆盖面广、企业数量庞大、地域性强,很难在电视、互联网门户做广告,而O2O电子商务模式完全可以满足市场需要。
在O2O场景下的结果列表页中,首图的面积占比通常会超过整个展示面积的30%,首图质量的好坏会直接影响用户体验。同时有数据显示,首图质量的提升,不仅会带来较好的用户体验,同时也会带来更高流量转化效率。
目前,商户首图的选取方式主要是采用商家指定首图的方式,此种方式需要图像展示平台的运营方安排人员对商家指定的首图进行审核,而在商家较多时,则会导致审核人员的增多,势必会造成人力成本的增加,则人工审核比较耗时。
发明内容
本公开实施例提供了一种图像展示方法、评估模型生成方法、装置、电子设备及计算机可读存储介质,用以在短时间内为商家选取商户首图,且能够减少运营审核的人力成本。
根据本公开实施例的第一方面,提供了一种图像展示方法,包括:
获取与业务方关联的多幅候选图像;
利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分;其中,在利用所述目标图像质量评估模型对所述多幅候选图像进行评估处理的过程中,每次是将两幅候选图像输入至所述目标图像质量评估模型进行评估处理,以得到所述两幅候选图像对应的相对质量评分;
根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为所述业务方在指定平台的展示首图。
可选地,在所述利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分之前,还包括:
对所述多幅候选图像进行图像预处理。
可选地,所述对所述多幅候选图像进行图像预处理,包括:
对所述多幅候选图像进行缩放处理,生成多幅缩放候选图像;
将所述多幅缩放候选图像均转换为三通道的转换候选图像;
获取每幅转换候选图像的多个像素值,及所述多个像素值的像素均值;
基于每幅转换候选图像对应的多个像素值和像素均值,计算得到每幅转换候选图像的目标像素值。
可选地,所述目标图像质量评估模型包括特征提取层和概率输出层;所述利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分,包括:
确定基准图像;
获取所述基准图像对应的基准目标像素值,及所述多幅候选图像对应的基础目标像素值;
将所述基准目标像素值和所述基础目标像素值输入至所述目标图像质量评估模型;
调用所述特征提取层,提取所述基准目标像素值对应的基准像素特征,及所述基础目标像素值对应的基础像素特征;
调用所述概率输出层,对所述基准像素特征和所述基础像素特征进行卷积运算,获取所述基准图像和所述多幅候选图像之间的相对质量评分;
根据所述相对质量评分,确定所述多幅候选图像对应的质量评分。
可选地,所述特征提取层包括高阶特征提取层、单维度全局质量评分网络层、图像特征提取网络层、基础特征提取网络层和特征合并层,
所述调用所述特征提取层,提取所述基准目标像素值对应的基准像素特征,及所述基础目标像素值对应的基础像素特征,包括:
调用所述高阶特征提取层,提取并输出所述基准目标像素值中的基准高阶特征,及所述基础目标像素值中的基础高阶特征;
调用所述单维度全局质量评分网络层,提取并输出所述基准高阶特征中的第一维基准特征,及所述基础高阶特征中的第一维基础特征;
调用所述图像特征提取网络层,提取并输出所述基准高阶特征中的第二维基准特征,及所述基础高阶特征中的第二维基础特征;
调用所述基础特征提取网络层,提取并输出所述基准目标像素值中的第三维基准特征,及所述基础目标像素值中的第三维基础特征;
调用所述特征合并层,对所述第一维基准特征、所述第二维基准特征和所述第三维基准特征进行合并处理,生成并输出所述基准像素特征;
调用所述特征合并层,对所述第一维基础特征、所述第二维基础特征和所述第三维基础特征进行合并处理,生成并输出所述基础像素特征。
可选地,所述概率输出层包括特征差值输出层和全连接层,
所述调用所述概率输出层,对所述基准像素特征和所述基础像素特征进行卷积运算,获取所述基准图像和所述多幅候选图像之间的相对质量评分,包括:
调用所述特征差值输出层,计算并输出所述基准像素特征和所述基准像素特征之间的像素特征差值;
调用所述全连接层,对所述像素特征差值进行卷积运算,得到并输出所述相对质量评分。
可选地,在所述根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为所述业务方在指定平台的展示首图之前,还包括:
获取所述业务方关联的业务特性和产品特性;
根据所述业务特性和所述产品特性,获取所述多幅候选图像对应的评分权重;
根据所述评分权重和所述质量评分,确定所述多幅候选图像对应的目标质量评分;
所述根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将所述筛选出的候选图像作为所述业务方在指定平台的展示首图,包括:
根据所述目标质量评分从所述多幅候选图像中筛选出评分大于设定评分阈值的至少一幅候选图像,并将所述至少一幅候选图像作为所述业务方在指定平台的展示首图。
可选地,所述利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分,包括:
从所述多幅候选图像中获取任意两幅候选图像;
将所述任意两幅候选图像输入至所述目标图像质量评估模型,得到所述任意两幅候选图像对应的相对质量评分;
从所述多幅候选图像中获取除所述任意两幅候选图像之外的一幅候选图像;
将所述一幅候选图像和所述任意两幅候选图像中评分较高的候选图像,输入至所述目标图像质量评估模型,得到所述一幅候选图像和所述评分较高的候选图像对应的相对质量评分;
直至将所述多幅候选图像中所有候选图像比对完成之后,输出所述多幅候选图像中质量评分最高的一幅候选图像。
根据本公开实施例的第二方面,提供了一种评估模型生成方法,包括:
将多对训练样本输入初始图像质量评估模型;其中,所述初始图像质量评估模型包括特征提取层和概率输出层,每对所述训练样本包括第一图像对应的第一像素值和第二图像对应的第二图像值,及所述第一图像相对于所述第二图像的初始图像质量概率;
调用所述特征提取层,提取所述第一像素值对应的第一像素特征;
调用所述特征提取层,提取所述第二像素值对应的第二像素特征;
调用所述概率输出层对所述第一像素特征和所述第二像素特征进行卷积运算,生成预测图像质量概率;
基于各所述预测图像质量概率和各所述初始图像质量概率,获取所述初始图像质量评估模型的损失值;
在所述损失值处于预设范围内的情况下,将所述初始图像质量评估模型作为目标图像质量评估模型。
根据本公开实施例的第三方面,提供了一种图像展示装置,包括:
候选图像获取模块,用于获取与业务方关联的多幅候选图像;
质量评分获取模块,用于利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分;其中,在利用所述目标图像质量评估模型对所述多幅候选图像进行评估处理的过程中,每次是将两幅候选图像输入至所述目标图像质量评估模型进行评估处理,以得到所述两幅候选图像对应的相对质量评分;
展示首图获取模块,用于根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为所述业务方在指定平台的展示首图。
可选地,还包括:
图像处理模块,用于对所述多幅候选图像进行图像预处理。
可选地,所述图像处理模块包括:
缩放处理子模块,用于对所述多幅候选图像进行缩放处理,生成多幅缩放候选图像;
转换处理子模块,用于将所述多幅缩放候选图像均转换为三通道的转换候选图像;
像素均值获取子模块,用于获取每幅转换候选图像的多个像素值,及所述多个像素值的像素均值;
目标像素计算子模块,用于基于每幅转换候选图像对应的多个像素值和像素均值,计算得到每幅转换候选图像的目标像素值。
可选地,所述目标图像质量评估模型包括特征提取层和概率输出层;所述质量评分获取模块包括:
基准图像确定子模块,用于确定基准图像;
目标像素获取子模块,用于获取所述基准图像对应的基准目标像素值,及所述多幅候选图像对应的基础目标像素值;
目标像素输入子模块,用于将所述基准目标像素值和所述基础目标像素值输入至所述目标图像质量评估模型;
像素特征提取子模块,用于调用所述特征提取层,提取所述基准目标像素值对应的基准像素特征,及所述基础目标像素值对应的基础像素特征;
相对质量评分获取子模块,用于调用所述概率输出层,对所述基准像素特征和所述基础像素特征进行卷积运算,获取所述基准图像和所述多幅候选图像之间的相对质量评分;
质量评分确定子模块,用于根据所述相对质量评分,确定所述多幅候选图像对应的质量评分。
可选地,所述特征提取层包括高阶特征提取层、单维度全局质量评分网络层、图像特征提取网络层、基础特征提取网络层和特征合并层,
所述像素特征提取子模块包括:
高阶特征提取子模块,用于调用所述高阶特征提取层,提取并输出所述基准目标像素值中的基准高阶特征,及所述基础目标像素值中的基础高阶特征;
一维特征提取子模块,用于调用所述单维度全局质量评分网络层,提取并输出所述基准高阶特征中的第一维基准特征,及所述基础高阶特征中的第一维基础特征;
二维特征提取子模块,用于调用所述图像特征提取网络层,提取并输出所述基准高阶特征中的第二维基准特征,及所述基础高阶特征中的第二维基础特征;
三维特征提取子模块,用于调用所述基础特征提取网络层,提取并输出所述基准目标像素值中的第三维基准特征,及所述基础目标像素值中的第三维基础特征;
基准特征生成子模块,用于调用所述特征合并层,对所述第一维基准特征、所述第二维基准特征和所述第三维基准特征进行合并处理,生成并输出所述基准像素特征;
基础特征生成子模块,用于调用所述特征合并层,对所述第一维基础特征、所述第二维基础特征和所述第三维基础特征进行合并处理,生成并输出所述基础像素特征。
可选地,所述概率输出层包括特征差值输出层和全连接层,
所述相对质量评分获取子模块包括:
特征差值计算子模块,用于调用所述特征差值输出层,计算并输出所述基准像素特征和所述基准像素特征之间的像素特征差值;
相对质量评分输出子模块,用于调用所述全连接层,对所述像素特征差值进行卷积运算,得到并输出所述相对质量评分。
可选地,还包括:
业务产品特征获取模块,用于获取所述业务方关联的业务特性和产品特性;
评分权重获取模块,用于根据所述业务特性和所述产品特性,获取所述多幅候选图像对应的评分权重;
目标评分确定模块,用于根据所述评分权重和所述质量评分,确定所述多幅候选图像对应的目标质量评分;
所述展示首图获取模块包括:
展示首图获取子模块,用于根据所述目标质量评分从所述多幅候选图像中筛选出评分大于设定评分阈值的至少一幅候选图像,并将所述至少一幅候选图像作为所述业务方在指定平台的展示首图。
可选地,所述质量评分获取模块包括:
任意图像获取子模块,用于从所述多幅候选图像中获取任意两幅候选图像;
任意图像输入子模块,用于将所述任意两幅候选图像输入至所述目标图像质量评估模型,得到所述任意两幅候选图像对应的相对质量评分;
任一图像获取子模块,用于从所述多幅候选图像中获取除所述任意两幅候选图像之外的一幅候选图像;
任一图像输入子模块,用于将所述一幅候选图像和所述任意两幅候选图像中评分较高的候选图像,输入至所述目标图像质量评估模型,得到所述一幅候选图像和所述评分较高的候选图像对应的相对质量评分;
质量评分获取子模块,用于直至将所述多幅候选图像中所有候选图像比对完成之后,输出所述多幅候选图像中质量评分最高的一幅候选图像。
根据本公开实施例的第四方面,提供了一种评估模型生成装置,包括:
多对训练样本输入模块,用于将多对训练样本输入初始图像质量评估模型;其中,所述初始图像质量评估模型包括特征提取层和概率输出层,每对所述训练样本包括第一图像对应的第一像素值和第二图像对应的第二图像值,及所述第一图像相对于所述第二图像的初始图像质量概率;
第一像素特征提取模块,用于调用所述特征提取层,提取所述第一像素值对应的第一像素特征;
第二像素特征提取模块,用于调用所述特征提取层,提取所述第二像素值对应的第二像素特征;
图像质量概率生成模块,用于调用所述概率输出层对所述第一像素特征和所述第二像素特征进行卷积运算,生成预测图像质量概率;
损失值获取模块,用于基于各所述预测图像质量概率和各所述初始图像质量概率,获取所述初始图像质量评估模型的损失值;
目标评估模型获取模块,用于在所述损失值处于预设范围内的情况下,将所述初始图像质量评估模型作为目标图像质量评估模型。
根据本公开实施例的第五方面,提供了一种电子设备,包括:
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一项的图像展示方法,或上述评估模型生成方法。
根据本公开实施例的第六方面,提供了一种计算机可读存储介质,存储有计算机指令,当所述计算机指令由电子设备的处理器执行时,使得电子设备能够执行上述任一项的图像展示方法,或上述评估模型生成方法。
本公开的实施例提供了一种图像展示方法、评估模型生成方法、装置、电子设备及计算机存储介质,通过获取与业务方关联的多幅候选图像,利用目标图像质量评估模型对多幅候选图像进行评估处理,得到多幅候选图像对应的质量评分多幅候选图像,根据质量评分从多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为业务方在指定平台的展示首图。本公开实施例相较于现有技术,无需人工审核,减少了人力成本的投入,提高了图像质量评估的准确性和效率。
附图说明
为了更清楚地说明本公开的实施例的技术方案,下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例一提供的一种图像展示方法的步骤流程图;
图2是本公开实施例二提供的一种图像展示方法的步骤流程图;
图3是本公开实施例提供的一种图像质量评估模型的结构示意图
图4是本公开实施例三提供的一种评估模型生成方法的步骤流程图;
图5是本公开实施例四提供的一种图像展示装置的结构示意图;
图6是本公开实施例五提供的一种图像展示装置的结构示意图;
图7是本公开实施例提供的一种质量评分获取模块的结构示意图;
图8是本公开实施例六提供的一种评估模型生成装置的结构示意图。
具体实施方式
下面将结合本公开的实施例中的附图,对本公开的实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开的实施例一部分实施例,而不是全部的实施例。基于本公开的实施例中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开的实施例保护的范围。
参照图1,示出了本公开实施例提供的一种图像展示方法的步骤流程图,如图1所示,该图像展示方法可以包括如下步骤:
步骤101:获取与业务方关联的多幅候选图像。
在本公开实施例中,业务方是指需要在业务平台(如美团平台、大众点评等)展示首图的一方,例如,以美团平台为例,业务方即为在美团平台上展示图像及产品的商户,商户可以在美团平台(如美团外卖APP(Application,应用程序)等)上展示商户的产品图、门头图等。
候选图像是指与业务方关联的图像,例如,在业务方为餐饮门店时,与餐饮门店关联的候选图像可以是餐饮门店的门头图,也可以是餐饮门店的招牌菜图等。
在某些示例中,多幅候选图像可以是由业务方上传至业务平台上的图像,例如,在业务方采集业务方关联的多幅图像(如业务方的门头图、招牌菜图等)之后,可以由业务方将采集的多幅图像上传至业务平台,以作为候选图像。
在某些示例中,多幅候选图像可以是由业务平台一方安排的工作人员,采集的与业务方关联的图像,例如,美团平台方可以安排工作人员采集业务方的门头图、招牌菜图等,以作为业务方的候选图像。
当然,在具体实现中,还可以采用其它方式获取与业务方关联的多幅候选图像,如业务平台方的工作人员可以从业务方的网站上,获取业务方上传的图像,以作为候选图像等,或者,从业务方的网站上由消费者上传的图像等,不一一罗列。在实际应用中,可以根据业务需求而定,本公开实施例对此不加以限制。
在获取与业务方关联的多幅候选图像之后,执行步骤102。
步骤102:对所述多幅候选图像进行图像预处理。
在获取与业务方关联的多幅候选图像之后,可以对多幅候选图像进行预处理,预处理可以包括统一图像尺寸的处理、通道转换等处理,具体地,可以结合下述具体实现方式进行详细描述。
在本公开的一种具体实现中,上述步骤102可以包括:
子步骤B1:对所述多幅候选图像进行缩放处理,生成多幅缩放候选图像。
在本公开实施例中,缩放候选图像是指对候选图像进行缩放处理之后,生成的图像。
图像缩放是指对数字图像的大小进行调整的过程。图像缩放是一种非平凡的过程,需要在处理效率以及结果的平滑度和清晰度上做一个权衡,当一幅图像的大小增加之后,组成图像的像素的可见度将会变得更高,相反地,缩小一幅图像将会增强它的平滑度和清晰度。
在本公开中,在获取多幅候选图像之后,可以采用增加候选图像的平滑度和清晰度的方式对候选图像进行缩放处理,如将图像统一缩放至宽224像素高224像素的大小等,以生成多幅缩放候选图像。
在生成多幅缩放候选图像之后,执行子步骤B2。
子步骤B2:将所述多幅缩放候选图像均转换为三通道的转换候选图像。
转换候选图像是指将单通道的缩放候选图像进行通道转换处理,生成的三通道的图像。
单通道图即灰度图,每个像素点只能有一个值表示颜色,它的像素值在0到255之间,0是黑色,255是白色,中间值是一些不同等级的灰色。
三通道图中每个像素点都有三个值表示,三通道图像的灰度值即是三个单通道的灰度值的组合。
在上述子步骤B2中得到的缩放候选图像为单通道图像时,可以对缩放候选图像进行转换处理,以将缩放候选图像转换为三通道的转换候选图像,具体地,三通道即为R(Red,红色)、G(Green,绿)、B(Blue,蓝)三个通道,可以采用复制的方式实现单通道向三通道的转换,即将缩放候选图像复制为三份,然后将复制的三份图像进行合并,从而可以得到三通道的转换候选图像。
在将多幅缩放候选图像均转换为三通道的转换候选图像之后,执行子步骤B3。
子步骤B3:获取每幅转换候选图像的多个像素值,及所述多幅像素值的像素均值。
像素值是原稿图像被数字化时由计算机赋予的值,它代表了原稿图像中某一小方块的平均亮度信息,或者说是该小方块的平均反射(透射)密度信息。
在生成多幅转换候选图像之后,可以分别提取出每幅转换候选图像中的多个像素值,根据每幅转换候选图像对应的多个像素值,可以计算得到该转换候选图像的像素均值。
子步骤B4:基于每幅转换候选图像对应的多个像素值和像素均值,计算得到每幅转换候选图像的目标像素值。
目标像素值是指将转换候选图像上的所有像素值均减去像素均值之后,得到的像素值。
在得到每幅转换候选图像的多个像素值和像素均值之后,可以对每幅转换候选图像进行归一化处理,即将三个通道的每一个像素值均减去像素均值,从而可以得到每幅转换候选图像所对应的多个目标像素值。
可以理解地,上述具体实现方式仅是为了更好地理解本公开实施例的技术方案列举的一种,在实际应用中,还可以采用其它预处理方式,如图像降噪等,具体地,可以根据业务需求而定。
在对多幅候选图像进行预处理之后,执行步骤103。
步骤103:确定基准图像。
基准图像是指用于与多幅候选图像进行质量评估的图像。
在某些示例中,基准图像可以是从多幅候选图像中选择一幅候选图像。例如,候选图像包括图像1、图像2和图像3,那么,可以从这三幅候选图像中选择一幅图像作为基准图像。在某些实施例中,可以选取图像1作为基准图像。在某些实施例中,可以选取图像2作为基准图像。在某些实施例中,可以选取图像3作为基准图像。
在某些示例中,基准图像可以是从多幅候选图像之外选取的图像。此种情况下,一般地,可选取与多幅候选图像相似的图像作为基准图像,例如,在多幅候选图像为餐饮门店的招牌菜图像时,可以选取以菜为对象的图像作为基准图像等。
在确定基准图像之后,执行步骤104。
步骤104:获取所述基准图像对应的基准目标像素值,及所述多幅候选图像对应的基础目标像素值。
基准目标像素值是指基准图像中的目标像素值,而基准目标像素值的获取方式可以参照上述子步骤B1至子步骤B5描述的方式获取,本公开实施例在此不再加以赘述。
基础目标像素值是指候选图像对应的目标像素值。
在确定基准图像之后,可以获取基准图像对应的基准目标像素值,以及每幅候选图像的基础目标像素值,进而,执行步骤105。
步骤105:将所述基准图像对应的基准目标像素值和所述基准图像对应的基础目标像素值输入至目标图像质量评估模型。
其中,所述目标图像质量评估模型是指用于评估图像质量评分的评估模型。
在目标图像质量评估模型的使用过程中,可以直接将两幅图像输入至该评估模型中,如将图像A和图像B输入至评估模型中,进而由该评估模型输出图像A相对于图像B的相对质量评分,以此来评估图像A和图像B的质量优劣关系。
在获取基准图像对应的基准目标像素值,以及每幅候选图像的基础目标像素值,可以将基准目标像素值和基础目标像素值输入至目标图像质量评估模型。具体地,在进行两幅图像的质量评估时,可以将一幅待评估的候选图像对应的基础目标像素值和基准图像对应的基准目标像素值输入至目标质量评估模型,以获取基准图像与一幅待评估的候选图像的相对质量评分。进而,继续从多幅候选图像中获取下一幅待评估的候选图像,将该下一幅待评估的候选图像对应的基础目标像素值和基准图像对应的基准目标像素值输入至目标质量评估模型,以获取下一幅待评估的候选图像与基准图像相对质量评分。以此类推,直至将多幅候选图像中所有候选图像逐一与基准图像比对完毕。
当然,在基准图像为从多幅候选图像中选取的图像时,可以将基准图像的目标像素值和多幅候选图像中除基准图像之外的其它任一幅候选图像的目标像素值,依次输入至目标图像质量评估模型,例如,候选图像为图像1、图像2、...、图像10,在将图像1作为基准图像时,可以先将图像1的目标像素值和图像2的目标像素值输入至目标图像质量评估模型,输出图像1和图像2的相对质量评分;然后将图像1的目标像素值和图像3的目标像素值输入至目标图像质量评估模型,输出图像1和图像3的相对质量评分;以此类推,直至多幅候选图像中除基准图像外的其它所有候选图像均与基准图像比对完成,此过程中需要比对9次,即可输出所有候选图像的质量评分。
而在基准图像为从多幅候选图像之外选取的图像时,可以基准图像的目标像素值和多幅候选图像中所有图像的目标像素值,依次输入至目标图像质量评估模型,例如,候选图像为图像1、图像2、...、图像10,可以先将图像1的目标像素值和基准图像的目标像素值输入至目标图像质量评估模型,以输出图像1与基准图像的相对质量评分;然后,将图像2的目标像素值和基准图像的目标像素值输入至目标图像质量评估模型,以输出图像2与基准图像的相对质量评分;依次类推,直至将所有候选图像与基准图像比对完成,此过程需要比对10次,即可输出所有候选图像的质量评分。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案,而列举的两种图像质量评分比对方式,在具体实现中,可以选取任一种方式,本公开实施例对此不加以限制。
在将基准目标像素值和基础目标像素值输入至目标图像质量评估模型之后,执行步骤106。
步骤106:调用所述特征提取层,提取所述基准目标像素值对应的基准像素特征,及所述基础目标像素值对应的基础像素特征。
目标图像质量评估模型可以包括特征提取层(Bi-Feature Net)和概率输出层(Pairwise)。
接下来结合图3对特征提取层进行如下描述。
参照图3,示出了本公开实施例提供的一种图像质量评估模型的结构示意图,如图3所示,图像质量评估模型可以包括特征提取层和概率输出层,特征提取层(Bi-FeatureNet)可以包括:高阶特征提取层(ResNet50)、单维度全局质量评分网络层(ScoreNet)、图像特征提取网络层(VecNet)、基础特征提取网络层(BasicFeatureNet)和特征合并层(Concat),pic1可以作为基准图像的基准像素特征,作为输入;pic2可以作为候选图像的基础像素特征,作为输入。
基准像素特征是指对基准图像的基准目标像素值进行特征提取之后,得到的像素特征。
基础像素特征是指对候选图像的基础目标像素值进行特征提取之后,得到的像素特征。
在基准目标像素值和基础目标像素值输入至目标图像质量评估模型之后,可以调用特征提取层,提取基准目标像素值对应的基准像素特征,及基础目标像素值对应的基础像素特征,对于该过程,可以结合下述具体实现方式进行详细描述。
在本公开的一种具体实现中,上述步骤106可以包括:
子步骤C1:调用所述高阶特征提取层,提取并输出所述基准目标像素值中的基准高阶特征,及所述基础目标像素值中的基础高阶特征。
在本公开实施例中,图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。
本公开中,高阶特征为2048维的图像特征。
基准高阶特征是指从基准图像的基准目标像素值中提取的2048维图像特征。
基础高阶特征是指从候选图像的基础目标像素值中提取的2048维图像特征。
在将基准目标像素值和基础目标像素值输入至目标图像质量评估模型之后,可以调用高阶特征提取层(即ResNet50)提取出基准目标像素值中的基准高阶特征,及基础目标像素值中的基础高阶特征。
在提取基准高阶特征和基础高阶特征之后,执行子步骤C2。
子步骤C2:调用所述单维度全局质量评分网络层,提取并输出所述基准高阶特征中的第一维基准特征,及所述基础高阶特征中的第一维基础特征。
第一维基准特征是指从基准高阶特征中提取的1维的特征。
第一维基础特征是指从基础高阶特征中提取的1维的特征。
在提取基准高阶特征和基础高阶特征之后,可以将2048维的基准高阶特征和基础高阶特征输入至单维度全局质量评分网络层(即ScoreNet),由图3可知,ScoreNet接收2048维的高阶特征后,可以经过64维的全连接层(激活函数为relu)、DropOut层,从而可以输出1维的第一维基准特征和第一维基础特征。
子步骤C3:调用所述图像特征提取网络层,提取并输出所述基准高阶特征中的第二维基准特征,及所述基础高阶特征中的第二维基础特征。
第二维基准特征是指从基准高阶特征中提取的128维的特征。
第二维基础特征是指从基础高阶特征中提取的128维的特征。
在提取基准高阶特征和基础高阶特征之后,可以将2048维的基准高阶特征和基础高阶特征输入至图像特征提取网络层(VecNet),VecNet可以对2048维的高阶特征进行降维操作,如图3所示,VecNet可以包括DropOut(丢弃层)和128维的全连接层(激活函数为relu),在基准高阶特征和基础高阶特征依次经过DropOut和128维的全连接层,由DropOut和128维的全连接层进行处理,可以分别输出一个128维的第二维基准特征和一个128维的第二维基础特征,其中,DropOut层可以防止模型过拟合。
子步骤C4:调用所述基础特征提取网络层,提取并输出所述基准目标像素值中的第三维基准特征,及所述基础目标像素值中的第三维基础特征。
第三维基准特征是指从基准目标像素值中提取的64维的特征。
第三维基础特征是指从基础目标像素值中提取的64维的特征。
在获取基准图像的基准目标像素值和候选图像的基础目标像素值之后,可以调用基础特征提取网络层(BasicFeatureNet),BasicFeatureNet的网络结构依次为:BasicFeature(基础特征提取层)、Conv2D(二维卷积层,卷积核数16,卷积核大小3*3,步长宽高各1单位,无边缘填充)、BN(批归一化层失)、Pooling(均值池化层)、Conv2D(二维卷积层,卷积核数4,卷积核大小3*3,步长宽高各1单位,无边缘填充)、BN(批归一化层)、Conv2D(二维卷积层,卷积核数64,卷积核大小1*1,步长宽高各1单位,无边缘填充)、Pooling(均值池化层)和全局均值归一化层,其中,Conv2D相当于一个特征提取器,提供了位置信息,通过图像局部感知减少参数个数;BN可以防止梯度消失;Pooling可以对图像特征下采样,提取出最重要的特征,减小模型参数;其中,Basic Feature的提取方式可以为:针对每个大小为224*224的输入图像,在空间上将其划分为8*8个尺寸为28*28的像素块,在每一个像素块中对若干种图像基础统计特征进行提取,基础统计特征包括但不限于饱和度、对比度、色彩复杂度等,基础统计特征的统计值可以为最大值、最小值、平均值、方差值等数值,每个像素块即可组成一个k维特征向量,由此,每幅224*224*3的图像输入,能得到一个8*8*k的低阶特征输出,然后将输出的低阶特征依次经过上述各层的处理,从而可以得到基准目标像素值中的第三维基准特征,及基础目标像素值中的第三维基础特征。
子步骤C5:调用所述特征合并层,对所述第一维基准特征、所述第二维基准特征和所述第三维基准特征进行合并处理,生成并输出所述基准像素特征。
子步骤C6:调用所述特征合并层,对所述第一维基础特征、所述第二维基础特征和所述第三维基础特征进行合并处理,生成并输出所述基础像素特征。
基准像素特征是指将第一维基准特征、第二维基准特征和第三维基准特征合并之后,生成的像素特征。
基础像素特征是指将第一维基础特征、第二维基础特征和第三维基础特征合并之后,生成的像素特征。
特征合并层(Concat)可以接收单维度全局质量评分网络层、图像特征提取网络层和基础特征提取网络层,分别输出的基准图像的第一维基准特征、第二维基准特征和第三维基准特征,以及候选图像的第一维基础特征、第二维基础特征和第三维基础特征。
进而由Concat对第一维基准特征、第二维基准特征和第三维基准特征进行合并处理,得到基准像素特征,并对第一维基础特征、第二维基础特征和第三维基础特征进行合并处理,得到基础像素特征,具体地,可以由Concat将基准图像对应的三个基准特征进行横向合并,并由Concat将候选图像对应的三个基础特征进行横向合并。
在调用特征提取层提取基准目标像素值对应的基准像素特征,及基础目标像素值对应的基础像素特征之后,执行步骤107。
步骤107:调用所述概率输出层,对所述基准像素特征和所述基础像素特征进行卷积运算,获取所述基准图像和所述多幅候选图像之间的相对质量评分。
相对质量评分是指基准图像与候选图像之间的相对质量评分,在本公开中,相对质量评分可以为一个评分概率,如0.5,0.8等。
概率输出层(如图3所示的Pairwise)可以输出两幅输入图像的相对质量评分,
在得到基准图像的基准像素特征和候选图像的基础像素特征后,可以由概率输出层接收基准像素特征和基础像素特征,并对基准像素特征和基础像素特征进行卷积运算,以获取基准图像和候选图像之间的相对质量评分。对于该过程,可以结合下述具体实现方式进行详细描述。
在本公开的一种具体实现中,概率输出层可以包括特征差值输出层和全连接层,上述步骤107可以包括:
子步骤D1:调用所述特征差值输出层,计算并输出所述基准像素特征和所述基准像素特征之间的像素特征差值。
结合图3可知,概率输出层(Pairwise)可以包括特征差值输出层(Subtract)和全连接层(FC1)。
像素特征差值是指基准像素特征和基础像素特征之间的差值。
Pic1Vec和Pic2Vec可以分别接收基准像素特征和基础像素特征,以作为基准图像和基础图像的输入,在特征差值输出层Subtract接收到基准像素特征和基础像素特征之后,可以由特征差值输出层Subtract计算基准像素特征和基础像素特征之间的差值,以得到像素特征差值。
子步骤D2:调用所述全连接层,对所述像素特征差值进行卷积运算,得到并输出所述相对质量评分。
然后经过dropout层(丢弃层,丢弃因子为0.2)和FC1(一维的全连接层,激活函数为Sigmoid),可以由FC1对基准图像和候选图像对应的像素特征差值进行卷积运算,以获取基准图像和候选图像的相对质量评分。
在Pairwise层还具有Score(分值输出层),在得到基准图像和候选图像的相对质量评分,可以通过Score层输出基准图像和候选图像的相对质量评分。即Pairwise部分的输出可以当做基准图像好于候选图像的概率,例如,在概率小于等于0.5时,表示候选图像的质量较好,而在概率大于0.5时,表示基准图像的质量较好。
在调用概率输出层对基准像素特征和基础像素特征进行卷积运算,获取基准图像和多幅候选图像之间的相对质量评分之后,执行步骤108。
步骤108:根据所述相对质量评分,确定所述多幅候选图像对应的质量评分。
质量评分是指候选图像的图像质量对应的评分。
在获取每幅候选图像与基准图像的相对质量评分之后,可以根据各相对质量评分确定出每幅候选图像对应的质量评分。
例如,在某些实施例中,候选图像为图像1、图像2和图像3,采用的是从这三幅候选图像中选择一幅图像作为基准图像,比如说选取图像1为基准图像,在以单次两幅图像进行质量评估所得到的结果为:图像2相比图像1质量高的概率为0.6,图像3相比图像1质量高的概率为0.8,则图像质量排名为:图像3>图像2>图像1,可以设置图像3的质量评分为8,图像2的质量评分为6,图像1的质量评分为5。当然,上述对各个候选图像所设置的质量评分仍可作其他变化。
在某些实施例中,候选图像包括图像4、图像5和图像6,采用的是以候选图像之外的一幅图像作为基准图像,比如说选取候选图像之外的图像7作为基准图像,在以单次两幅图像进行质量评估所得到的结果为:图像4比图像7质量高的概率为0.7,图像5比图像7质量高的概率为0.4,图像6比图像7质量高的概率为0.5,则候选图像的质量排名为:图像4>图像6>图像5,可以设置图像4的质量评分为7,图像5的质量评分为4,图像6的质量评分为5。当然,上述对各个候选图像所设置的质量评分仍可作其他变化。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
步骤109:获取所述业务方关联的业务特性和产品特性。
业务特性是指业务方的业务相关联的特性,例如,业务方的主营业务等。
产品特性是指业务方主营产品的特性,例如,业务方主营的美食、饮品等。
本公开实施例中,可以根据业务方在指定平台上传的基本资料信息获知业务方的业务特性和产品特性。
在获取业务方关联的业务特性和产品特性之后,执行步骤110。
步骤110:根据所述业务特性和所述产品特性,获取所述多幅候选图像对应的评分权重。
在获取业务方关联的业务特性和产品特性之后,可以根据业务特性和产品特性,对包含业务特征和产品特性设置相应的评分权重,例如,在业务方为餐饮门店时,对候选图像中包含该门店招牌菜的,可以设置较高的评分权重;而对候选图像中包含该门店普通菜品的,可以设置稍微低些的评分权重;而对于候选图像为商户门头图时,可以设置更低的评分权重等。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
在根据业务特性和产品特性,获取多幅候选图像对应的评分权重之后,执行步骤111。
步骤111:根据所述评分权重和所述质量评分,确定所述多幅候选图像对应的目标质量评分。
目标质量评分是指在候选图像的质量评分的基础上,结合候选图像对应的评分权重计算得到的最终评分。
在得到多幅候选图像分别对应的质量评分和评分权重之后,可以依据评分权重和质量评分计算得到每幅候选图像的目标质量评分,例如,候选图像中包括图像a,图像a的质量评分为80,评分权重为0.8,那么图像a的目标质量评分=质量评分*评分权重=80*0.8=64。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
在根据评分权重和质量评分确定出多幅候选图像对应的目标质量评分之后,执行步骤112。
步骤112:根据所述目标质量评分从所述多幅候选图像中筛选出评分大于设定评分阈值的至少一幅候选图像,并将所述至少一幅候选图像作为所述业务方在指定平台的展示首图。
设定评分阈值是指由业务人员预先设置的用于筛选出展示首图的评分阈值,而对于设定评分阈值的数值可以根据业务需求而定,本公开实施例对此不加以限制。
在得到每幅候选图像的目标质量评分之后,可以根据目标质量评分从多幅候选图像中筛选出评分大于设定评分阈值的至少一幅候选图像,并将评分大于设定评分阈值的至少一幅候选图像作为业务方在指定业务平台上的展示首图,例如,设定评分阈值为55,候选图像1的目标质量评分为50,候选图像2的目标质量评分为60,候选图像3的目标质量评分为80,则将候选图像2和候选图像3作为业务方的展示首图。
本公开实施例通过图像质量评估模型评估多幅候选图像中任意两幅图像的相对质量评分,能有效评估多张候选图像中的质量优劣关系。
本公开实施例提供的图像展示方法,通过获取与业务方关联的多幅候选图像,利用目标图像质量评估模型对多幅候选图像进行评估处理,得到多幅候选图像对应的质量评分,根据质量评分从多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为业务方在指定平台的展示首图。本公开实施例相较于现有技术,无需人工审核,减少了人力成本的投入,提高了图像质量评估的准确性和效率。
参照图2,示出了本公开实施例提供的一种图像展示方法的步骤流程图,如图2所示,该图像展示方法可以包括如下步骤:
步骤201:获取与业务方关联的多幅候选图像。
在本公开实施例中,业务方是指需要在业务平台(如美团平台、大众点评等)展示首图的一方,例如,以美团平台为例,业务方即为在美团平台上展示图像及产品的商户,商户可以在美团平台(如美团外卖APP(Application,应用程序)等)上展示商户的产品图、门头图等。
候选图像是指与业务方关联的图像,例如,在业务方为餐饮门店时,与餐饮门店关联的候选图像可以是餐饮门店的门头图,也可以是餐饮门店的招牌菜图等。
在某些示例中,多幅候选图像可以是由业务方上传至业务平台上的图像,例如,在业务方采集业务方关联的多幅图像(如业务方的门头图、招牌菜图等)之后,可以由业务方将采集的多幅图像上传至业务平台,以作为候选图像。
在某些示例中,多幅候选图像可以是由业务平台一方安排的工作人员,采集的与业务方关联的图像,例如,美团平台方可以安排工作人员采集业务方的门头图、招牌菜图等,以作为业务方的候选图像。
当然,在具体实现中,还可以采用其它方式获取与业务方关联的多幅候选图像,如业务平台方的工作人员可以从业务方的网站上,获取业务方上传的图像,以作为候选图像等,或者,从业务方的网站上由消费者上传的图像等,不一一罗列。在实际应用中,可以根据业务需求而定,本公开实施例对此不加以限制。
在获取与业务方关联的多幅候选图像之后,执行步骤202。
步骤202:利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分。
目标图像质量评估模型是指用于评估图像质量评分的评估模型。
在目标图像质量评估模型的使用过程中,可以直接将两幅图像输入至该评估模型中,如将图像A和图像B输入至评估模型中,进而由该评估模型输出图像A相对于图像B的相对质量评分,以此来评估图像A和图像B的质量优劣关系。
在获取与业务方关联的多幅候选图像之后,可以利用目标图像质量评估模型对多幅候选图像进行评估处理,在每次评估时,可以将两幅候选图像输入至目标图像质量评估模型进行评估,以输出两幅候选图像的相对质量评分。
在一种具体实现中,可以从多幅候选图像中获取任意两幅候选图像输入至目标图像质量评估模型,然后选取评分较高的一幅候选图像作为下一次的输入,并从其它候选图像再获取任一幅候选图像作为下一次的输入,具体地,以下述具体实现方式进行详细描述。
在本公开的一种具体实现中,上述步骤202可以包括:
子步骤A1:从所述多幅候选图像中获取任意两幅候选图像。
在本公开实施例中,可以首先从多幅候选图像中获取任意两幅候选图像作为输入,例如,多幅候选图像分别为图像1、图像2、...、图像10,可以选取这10幅图像中的任意两幅(如图像1和图像2,或图像3和图像7等)作为第一次的输入。
在从多幅候选图像中获取任意两幅候选图像之后,执行子步骤A2。
子步骤A2:将所述任意两幅候选图像输入至所述目标图像质量评估模型,得到所述任意两幅候选图像对应的相对质量评分。
在从多幅候选图像中获取任意两幅候选图像之后,可以将任意两幅候选图像输入至目标图像质量评估模型,由目标图像质量评估模型评估这任意两幅候选图像的相对质量评分,例如,承接上述子步骤A1中的示例,任意两幅候选图像为图像1和图像2,可以由目标图像质量评估模型输出图像1相对于图像2的相对质量评分,在相对质量评分小于等于0.5时,可以表示图像1的质量低于图像2的质量,而在相对质量评分大于0.5时,可以表示图像1的质量高于图像2的质量。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
在将任意两幅候选图像输入至目标图像质量评估模型,由目标图像质量评估模型输出任意两幅候选图像对应的相对质量评分之后,执行子步骤A3。
子步骤A3:从所述多幅候选图像中获取除所述任意两幅候选图像之外的一幅候选图像。
在获取任意两幅候选图像的质量评分之后,可以再从多幅候选图像中获取除任意两幅候选图像之外的一幅候选图像,例如,承接上述子步骤A1中的示例,在将图像1和图像2作为任意两幅候选图像,并获取图像1和图像2的质量评分之后,可以再从图像3至图像10中选取一幅候选图像。
在从多幅候选图像中获取除任意两幅候选图像之外的一幅候选图像之后,执行子步骤A4。
子步骤A4:将所述一幅候选图像和所述任意两幅候选图像中评分较高的候选图像,输入至所述目标图像质量评估模型,得到所述一幅候选图像和所述评分较高的候选图像对应的相对质量评分。
在得到任意两幅候选图像的质量评分之后,可以从任意两幅候选图像中选取一幅评分较高的候选图像,并将从多幅候选图像中获取除任意两幅候选图像之外的一幅候选图像,和任意两幅候选图像中评分较高的候选图像,输入至目标图像质量评估模型,从而由目标图像质量评估模型输出这两幅候选图像的相对质量评分。
子步骤A5:直至将所述多幅候选图像中所有候选图像比对完成之后,输出所述多幅候选图像中质量评分最高的一幅候选图像。
在由目标图像质量评估模型输出多幅候选图像中获取除任意两幅候选图像之外的一幅候选图像,与任意两幅候选图像中评分较高的候选图像的相对质量评分之后,可以从这两幅候选图像选取一幅评分较高的候选图像,然后从多幅候选图像中再获取未进行评估的一幅候选图像,然后输入至目标质量评估模型中,并输出这两幅候选图像的相对质量评分,以此类推,直至将多幅候选图像中的所有候选图像全部比对完成,多幅候选图像可以输出一幅质量评分最高的候选图像,该候选图像即为多幅候选图像中质量评分最高的图像。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的一种获取所有候选图像的质量评分的方式,而在具体实现中,还可以采用其它方式进行图像之间的质量评分的评估,如,首选选取一张基准图像,然后以该基准图像为准,依次与多幅候选图像中任一幅候选图像进行质量评估,具体地,将在下述实施例中进行详细描述,本公开实施例在此不再加以赘述。
在利用目标图像质量评估模型对多幅候选图像进行评估处理,得到多幅候选图像对应的质量评分之后,执行步骤203。
步骤203:根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为所述业务方在指定平台的展示首图。
预设条件是指由业务人员预先设置的图像选取条件,预设条件可以是候选图像选取数目的条件。在本公开实施例中,是将质量评分最高的候选图像作为展示首图。
在获取多幅候选图像对应的质量评分之后,可以根据质量评分,从多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为业务方在指定平台(即上述步骤中提及的业务平台)上的展示首图。
而在采用上述子步骤A1至子步骤A5的方式进行多幅候选图像的质量评分评估时,最终输出的即为一幅评分较高的候选图像,那么,在本公开中即选定这幅评分较高的候选图像作为业务方的展示首图。
本公开实施例通过图像质量评估模型评估多幅候选图像中任意两幅图像的相对质量评分,能有效评估多张候选图像中的质量优劣关系。
本公开实施例提供的图像展示方法,通过获取与业务方关联的多幅候选图像,利用目标图像质量评估模型对多幅候选图像进行评估处理,得到多幅候选图像对应的质量评分多幅候选图像,根据质量评分从多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为业务方在指定平台的展示首图。本公开实施例多幅候选图像相较于现有技术,无需人工审核,减少了人力成本的投入,提高了图像质量评估的准确性和效率。
参照图4,示出了本公开实施例提供的一种评估模型生成方法的步骤流程图,如图4所示,该评估模型生成方法可以包括如下步骤:
步骤301:将多对训练样本输入初始图像质量评估模型。
在本公开实施例中,初始图像质量评估模型是指还未进行训练的,用于评估两幅图像之间的相对质量评分的评估模型。
训练样本是指用于对初始图像质量评估模型进行训练的图像样本。
在本公开中,训练样本均是成对出现的,即两幅图像作为一组训练样本。
在成对的训练样本中,可以将一幅图像样本作为第一图像,并将另一幅图像样本作为第二图像。
初始图像质量概率是指第一图像相对于第二图像的质量概率,可以理解地,初始图像质量概率可以是在业务人员获取一对训练样本时,根据两幅图像的业务方及图像清晰度等特性,为两幅图像设置的质量概率。
在获取一对训练样本之后,可以提取出第一图像对应的第一像素值和第二图像对应的第二像素值,并将第一像素值和第二像素值作为初始图像质量评估模型的输入。
在将多对训练样本输入初始图像质量评估模型之后,执行步骤302。
步骤302:调用所述特征提取层,提取所述第一像素值对应的第一像素特征。
步骤303:调用所述特征提取层,提取所述第二像素值对应的第二像素特征。
初始图像质量评估模型包含有特征提取层,在将一对训练样本输入至初始图像质量评估模型之后,可以调用特征提取层提取第一像素值对应的第一像素特征,并调用特征提取层提取第二像素值对应的第二像素特征。
对于提取像素值对应的像素特征的过程,可以参照上述方法实施例中步骤206的描述,本公开实施例在此不再加以赘述。
在提取出第一像素值对应的第一像素特征和第二像素值对应的第二像素特征之后,执行步骤304。
步骤304:调用所述概率输出层对所述第一像素特征和所述第二像素特征进行卷积运算,生成预测图像质量概率。
预测图像质量概率是指由初始图像质量评估模型输出的一对训练样本中,第一图像好于第二图像的概率。
初始图像质量评估模型中还包含有概率输出层,在调用特征提取层提取出第一像素特征和第二像素特征之后,可以由概率输出层接收第一像素特征和第二像素特征,并对第一像素特征和第二像素特征进行卷积运算,以得到对应的第一图像相对于第二图像的预测图像质量概率。
对于调用概率输出层对两个像素特征进行卷积运算的过程,可以参照上述方法实施例步骤207的描述,本公开实施例在此不再加以赘述。
在调用概率输出层对第一像素特征和第二像素特征进行卷积运算,生成预测图像质量概率之后,执行步骤305。
步骤305:基于各所述预测图像质量概率和各所述初始图像质量概率,获取所述初始图像质量评估模型的损失值。
损失值可以用于表示一对训练样本的预测图像质量概率和初始图像质量概率的偏差程度。例如,一对训练样本的预测图像质量概率为0.8,初始图像质量概率为0.5,可以根据两个质量概率计算得到初始图像质量评估模型的损失值。
可以理解地,上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
在计算得到损失值之后,执行步骤306。
步骤306:在所述损失值处于预设范围内的情况下,将所述初始图像质量评估模型作为目标图像质量评估模型。
本公开实施例中,预设范围可以根据实际应用场景和实际需求由研发人员预先设定,本发明实施例对于预设范围的具体数值不加以限制。
而如果损失值在预设范围内时,则可以认为一对训练样本的预测图像质量概率和初始图像质量概率的偏差非常小,此时,可以认为该初始图像质量评估模型能够准确的预测出两幅图像的相对质量概率,相应的,可以将该初始图像质量评估模型作为目标图像质量评估模型,目标图像质量评估可以用于后续评估两幅图像的相对质量概率。
而如果损失值在预设范围外时,则可以认为一对训练样本的预测图像质量概率和初始图像质量概率的偏差较大,此时,可以增加训练样本的数量,继续对初始图像质量评估模型进行训练,以使得最终得到的损失值在预设范围内。
本公开实施例训练得到的目标图像质量评估模型可以评估多幅候选图像中任意两幅图像的相对质量评分,能有效评估多张候选图像中的质量优劣关系。
本公开实施例提供的评估模型生成方法,通过将多对训练样本输入初始图像质量评估模型,其中,初始图像质量评估模型包括特征提取层和概率输出层,每对训练样本包括第一图像对应的第一像素值和第二图像对应的第二图像值,及第一图像相对于第二图像的初始图像质量概率,调用特征提取层,提取第一像素值对应的第一像素特征,调用特征提取层,提取第二像素值对应的第二像素特征,调用概率输出层对第一像素特征和第二像素特征进行卷积运算,生成预测图像质量概率,基于各预测图像质量概率和各初始图像质量概率,获取初始图像质量评估模型的损失值,在损失值处于预设范围内的情况下,将初始图像质量评估模型作为目标图像质量评估模型。本公开实施例生成的图像质量评估模型可以评估多幅候选图像中任意两幅图像的相对质量评分,向,无需人工审核,减少了人力成本的投入,提高了图像质量评估的准确性和效率。
参照图5,示出了本公开实施例提供的一种图像展示装置的结构示意图,如图5所示,该图像展示装置400可以包括:候选图像获取模块410、图像处理模块420、质量评分获取模块430、业务产品特征获取模块440、评分权重获取模块450、目标评分确定模块460和展示首图获取模块470。
候选图像获取模块410可以用于获取与业务方关联的多幅候选图像。
在本公开实施例中,业务方是指需要在业务平台(如美团平台、大众点评等)展示首图的一方,例如,以美团平台为例,业务方即为在美团平台上展示图像及产品的商户,商户可以在美团平台(如美团外卖APP(Application,应用程序)等)上展示商户的产品图、门头图等。
候选图像是指与业务方关联的图像,例如,在业务方为餐饮门店时,与餐饮门店关联的候选图像可以是餐饮门店的门头图,也可以是餐饮门店的招牌菜图等。
在某些示例中,多幅候选图像可以是由业务方上传至业务平台上的图像,例如,在业务方采集业务方关联的多幅图像(如业务方的门头图、招牌菜图等)之后,可以由业务方将采集的多幅图像上传至业务平台,以作为候选图像。
在某些示例中,多幅候选图像可以是由业务平台一方安排的工作人员,采集的与业务方关联的图像,例如,美团平台方可以安排工作人员采集业务方的门头图、招牌菜图等,以作为业务方的候选图像。
当然,在具体实现中,还可以由候选图像获取模块410采用其它方式获取与业务方关联的多幅候选图像,如业务平台方的工作人员可以从业务方的网站上,获取业务方上传的图像,以作为候选图像等,或者,从业务方的网站上由消费者上传的图像等,不一一罗列。在实际应用中,可以根据业务需求而定,本公开实施例对此不加以限制。
在候选图像获取模块410获取与业务方关联的多幅候选图像之后,执行图像处理模块420。
图像处理模块420可以用于对所述多幅候选图像进行图像预处理。
在候选图像获取模块410获取与业务方关联的多幅候选图像之后,可以由图像处理模块420对多幅候选图像进行预处理,预处理可以包括统一图像尺寸的处理、通道转换等处理,具体地,可以结合下述具体实现方式进行详细描述。
在本公开的一种具体实现中,图像处理模块420可以包括:缩放处理子模块、转换处理子模块、像素均值获取子模块和目标像素计算子模块,其中,
缩放处理子模块可以用于对所述多幅候选图像进行缩放处理,生成多幅缩放候选图像。
在本公开实施例中,缩放候选图像是指对候选图像进行缩放处理之后,生成的图像。
图像缩放是指对数字图像的大小进行调整的过程。图像缩放是一种非平凡的过程,需要在处理效率以及结果的平滑度和清晰度上做一个权衡,当一幅图像的大小增加之后,组成图像的像素的可见度将会变得更高,相反地,缩小一幅图像将会增强它的平滑度和清晰度。
在本公开中,在获取多幅候选图像之后,可以由缩放处理子模块采用增加候选图像的平滑度和清晰度的方式对候选图像进行缩放处理,如将图像统一缩放至宽224像素高224像素的大小等,以生成多幅缩放候选图像。
在生成多幅缩放候选图像之后,执行转换处理子模块。
转换处理子模块可以用于将所述多幅缩放候选图像均转换为三通道的转换候选图像。
转换候选图像是指将单通道的缩放候选图像进行通道转换处理,生成的三通道的图像。
单通道图即灰度图,每个像素点只能有一个值表示颜色,它的像素值在0到255之间,0是黑色,255是白色,中间值是一些不同等级的灰色。
三通道图中每个像素点都有三个值表示,三通道图像的灰度值即是三个单通道的灰度值的组合。
上述得到的缩放候选图像为单通道图像时,可以由转换处理子模块对缩放候选图像进行转换处理,以将缩放候选图像转换为三通道的转换候选图像,具体地,三通道即为R(Red,红色)、G(Green,绿)、B(Blue,蓝)三个通道,可以采用复制的方式实现单通道向三通道的转换,即将缩放候选图像复制为三份,然后将复制的三份图像进行合并,从而可以得到三通道的转换候选图像。
在转换处理子模块将多幅缩放候选图像均转换为三通道的转换候选图像之后,执行像素均值获取子模块。
像素均值获取子模块可以用于获取每幅转换候选图像的多个像素值,及所述多个像素值的像素均值。
像素值是原稿图像被数字化时由计算机赋予的值,它代表了原稿图像中某一小方块的平均亮度信息,或者说是该小方块的平均反射(透射)密度信息。
在生成多幅转换候选图像之后,可以由像素均值获取子模块分别提取出每幅转换候选图像中的多个像素值,根据每幅转换候选图像对应的多个像素值,可以计算得到该转换候选图像的像素均值。
目标像素计算子模块可以用于基于每幅转换候选图像对应的多个像素值和像素均值,计算得到每幅转换候选图像的目标像素值。
目标像素值是指将转换候选图像上的所有像素值均减去像素均值之后,得到的像素值。
在得到每幅转换候选图像的多个像素值和像素均值之后,可以由目标像素计算子模块对每幅转换候选图像进行归一化处理,即将三个通道的每一个像素值均减去像素均值,从而可以得到每幅转换候选图像所对应的多个目标像素值。
可以理解地,上述具体实现方式仅是为了更好地理解本公开实施例的技术方案列举的一种,在实际应用中,还可以采用其它预处理方式,如图像降噪等,具体地,可以根据业务需求而定。
在图像处理模块420对多幅候选图像进行图像预处理之后,执行质量评分获取模块430。
质量评分获取模块430可以用于利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分;其中,在利用所述目标图像质量评估模型对所述多幅候选图像进行评估处理的过程中,每次是将两幅候选图像输入至所述目标图像质量评估模型进行评估处理,以得到所述两幅候选图像对应的相对质量评分。
目标图像质量评估模型是指用于评估两幅图像的相对质量评分的评估模型。
在目标图像质量评估模型的使用过程中,可以直接将两幅图像输入至该评估模型中,如将图像A和图像B输入至评估模型中,进而由该评估模型输出图像A相对于图像B的相对质量评分,以此来评估图像A和图像B的质量优劣关系。
在候选图像获取模块410获取与业务方关联的多幅候选图像之后,可以由质量评分获取模块430利用目标图像质量评估模型对多幅候选图像进行评估处理,在每次评估时,可以将两幅候选图像输入至目标图像质量评估模型进行评估,以输出两幅候选图像的相对质量评分。
在一种具体实现中,可以从多幅候选图像中获取任意两幅候选图像输入至目标图像质量评估模型,然后选取评分较高的一幅候选图像作为下一次的输入,并从其它候选图像再获取任一幅候选图像作为下一次的输入,具体地,以下述具体实现方式进行详细描述。
在本公开的一种具体实现中,如图6所示,目标图像质量评估模型包括特征提取层和概率输出层,质量评分获取模块430可以包括:基准图像确定子模块431、目标像素获取子模块432、目标像素输入子模块433、像素特征提取子模块434、相对质量评分获取子模块435和质量评分确定子模块436,其中,
基准图像确定子模块431可以用于确定基准图像。
基准图像是指用于与多幅候选图像进行质量评估的图像。
在某些示例中,基准图像可以是从多幅候选图像中选择一幅候选图像,例如,候选图像包括图像1、图像2和图像3,那么,可以从这三幅候选图像中选择一幅图像作为基准图像。在某些实施例中,可以选取图像1作为基准图像。在某些实施例中,可以选取图像2作为基准图像。在某些实施例中,可以选取图像3作为基准图像。
在某些示例中,基准图像可以是从多幅候选图像之外选取的图像,此种情况下,需要选取与多幅候选图像相似的图像作为基准图像,例如,在多幅候选图像为餐饮门店的招牌菜图像时,可以选取以菜为对象的图像作为基准图像等。
在基准图像确定子模块431确定基准图像之后,执行目标像素获取子模块432。
目标像素获取子模块432可以用于获取所述基准图像对应的基准目标像素值,及所述多幅候选图像对应的基础目标像素值。
基准目标像素值是指基准图像中的目标像素值,而基准目标像素值的获取方式可以参照上述过程中描述的方式获取,本公开实施例在此不再加以赘述。
基础目标像素值是指候选图像中的目标像素值。
在确定基准图像之后,可以由目标像素获取子模块432获取基准图像对应的基准目标像素值,以及每幅候选图像的基础目标像素值,进而,执行目标像素输入子模块433。
目标像素输入子模块433可以用于将所述基准目标像素值和所述基础目标像素值输入至所述目标图像质量评估模型。
目标图像质量评估模型是指用于评估两幅图像的相对质量评分的评估模型。
在目标图像质量评估模型的使用过程中,可以直接将两幅图像输入至该评估模型中,如将图像A和图像B输入至评估模型中,进而由该评估模型输出图像A相对于图像B的相对质量评分,以此来评估图像A和图像B的质量优劣关系。
在获取基准图像对应的基准目标像素值,以及每幅候选图像的基础目标像素值,可以由目标像素输入子模块433将基准目标像素值和基础目标像素值输入至目标图像质量评估模型,具体地,在进行两幅图像的质量评估时,可以将基准图像对应的基准目标像素值,和待评估的候选图像对应的基础目标像素值输入至目标质量评估模型,以获取基准图像和待评估的候选图像的相对质量评分,进而,从多幅候选图像获取下一幅待评估的候选图像,将基准图像对应的基准目标像素值,和下一幅待评估的候选图像对应的基础目标像素值输入至目标质量评估模型,以获取基准图像和下一幅待评估的候选图像的相对质量评分,以此类推,直至将多幅候选图像中所有候选图像均与基准图像比对完毕。
当然,在基准图像为从多幅候选图像中选取的图像时,可以将基准图像的目标像素值和多幅候选图像中除基准图像之外的其它任一幅候选图像的目标像素值,依次输入至目标图像质量评估模型,例如,候选图像为图像1、图像2、...、图像10,在将图像1作为基准图像时,可以先将图像1的目标像素值和图像2的目标像素值输入至目标图像质量评估模型,输出图像1和图像2的相对质量评分;然后将图像1的目标像素值和图像3的目标像素值输入至目标图像质量评估模型,输出图像1和图像3的相对质量评分;以此类推,直至多幅候选图像中除基准图像外的其它所有候选图像均与基准图像比对完成,此过程中需要比对9次,即可输出所有候选图像的质量评分。
而在基准图像为从多幅候选图像之外选取的图像时,可以基准图像的目标像素值和多幅候选图像中所有图像的目标像素值,依次输入至目标图像质量评估模型,例如,候选图像为图像1、图像2、...、图像10,可以先将图像1的目标像素值和基准图像的目标像素值输入至目标图像质量评估模型,以输出图像1和基准图像的相对质量评分;然后,将图像2的目标像素值和基准图像的目标像素值输入至目标图像质量评估模型,以输出图像2和基准图像的相对质量评分;依次类推,直至将所有候选图像与基准图像比对完成,此过程需要比对10次,即可输出所有候选图像的质量评分。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案,而列举的两种图像质量评分比对方式,在具体实现中,可以选取任一种方式,本公开实施例对此不加以限制。
在由目标像素输入子模块433将基准目标像素值和基础目标像素值输入至目标图像质量评估模型之后,执行像素特征提取子模块434。
像素特征提取子模块434可以用于调用所述特征提取层,提取所述基准目标像素值对应的基准像素特征,及所述基础目标像素值对应的基础像素特征。
目标图像质量评估模型可以包括特征提取层(Bi-Feature Net)和概率输出层(Pairwise)。
接下来结合图3对特征提取层进行如下描述。
参照图3,示出了本公开实施例提供的一种图像质量评估模型的结构示意图,如图3所示,图像质量评估模型可以包括特征提取层和概率输出层,特征提取层(Bi-FeatureNet)可以包括:高阶特征提取层(ResNet50)、单维度全局质量评分网络层(ScoreNet)、图像特征提取网络层(VecNet)、基础特征提取网络层(BasicFeatureNet)和特征合并层(Concat)。
基准像素特征是指对基准图像的基准目标像素值进行特征提取之后,得到的像素特征。
基础像素特征是指对候选图像的基础目标像素值进行特征提取之后,得到的像素特征。
在基准目标像素值和基础目标像素值输入至目标图像质量评估模型之后,可以由像素特征提取子模块434调用特征提取层,提取基准目标像素值对应的基准像素特征,及基础目标像素值对应的基础像素特征,对于该过程,可以结合下述具体实现方式进行详细描述。
在本公开的另一种具体实现中,像素特征提取子模块434可以包括:高阶特征提取子模块、一维特征提取子模块、二维特征提取子模块、三维特征提取子模块、基准特征生成子模块和基础特征生成子模块,其中,
高阶特征提取子模块可以用于调用所述高阶特征提取层,提取并输出所述基准目标像素值中的基准高阶特征,及所述基础目标像素值中的基础高阶特征。
在本公开实施例中,图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。
本公开中,高阶特征为2048维的图像特征。
基准高阶特征是指从基准图像的基准目标像素值中提取的2048维图像特征。
基础高阶特征是指从候选图像的基础目标像素值中提取的2048维图像特征。
在将基准目标像素值和基础目标像素值输入至目标图像质量评估模型之后,可以由高阶特征提取子模块调用高阶特征提取层(即ResNet50)提取出基准目标像素值中的基准高阶特征,及基础目标像素值中的基础高阶特征。
在高阶特征提取子模块提取基准高阶特征和基础高阶特征之后,执行一维特征提取子模块。
一维特征提取子模块可以用于调用所述单维度全局质量评分网络层,提取并输出所述基准高阶特征中的第一维基准特征,及所述基础高阶特征中的第一维基础特征。
第一维基准特征是指从基准高阶特征中提取的1维的特征。
第一维基础特征是指从基础高阶特征中提取的1维的特征。
在高阶特征提取子模块提取基准高阶特征和基础高阶特征之后,可以将2048维的基准高阶特征和基础高阶特征输入至单维度全局质量评分网络层(即ScoreNet),由图3可知,ScoreNet接收2048维的高阶特征后,可以经过64维的全连接层(激活函数为relu)、DropOut层,从而由一维特征提取子模块可以输出1维的第一维基准特征和第一维基础特征。
二维特征提取子模块可以用于调用所述图像特征提取网络层,提取并输出所述基准高阶特征中的第二维基准特征,及所述基础高阶特征中的第二维基础特征。
第二维基准特征是指从基准高阶特征中提取的128维的特征。
第二维基础特征是指从基础高阶特征中提取的128维的特征。
在高阶特征提取子模块提取基准高阶特征和基础高阶特征之后,可以将2048维的基准高阶特征和基础高阶特征输入至图像特征提取网络层(VecNet),如图3所示,VecNet可以包括DropOut和128维的全连接层(激活函数为relu),在基准高阶特征和基础高阶特征依次经过DropOut和128维的全连接层,由DropOut和128维的全连接层进行处理,可以由二维特征提取子模块分别输出一个128维的第二维基准特征和一个128维的第二维基础特征。
三维特征提取子模块可以用于调用所述基础特征提取网络层,提取并输出所述基准目标像素值中的第三维基准特征,及所述基础目标像素值中的第三维基础特征。
第三维基准特征是指从基准目标像素值中提取的64维的特征。
第三维基础特征是指从基础目标像素值中提取的64维的特征。
在获取基准图像的基准目标像素值和候选图像的基础目标像素值之后,可以调用基础特征提取网络层(BasicFeatureNet),BasicFeatureNet的网络结构依次为:BasicFeature(基础特征提取层)、Conv2D(二维卷积层,卷积核数16,卷积核大小3*3,步长宽高各1单位,无边缘填充)、BN(批归一化层)、Pooling(均值池化层)、Conv2D(二维卷积层,卷积核数4,卷积核大小3*3,步长宽高各1单位,无边缘填充)、BN(批归一化层)、Conv2D(二维卷积层,卷积核数64,卷积核大小1*1,步长宽高各1单位,无边缘填充)、Pooling(均值池化层)和全局均值归一化层;其中,Basic Feature的提取方式可以为:针对每幅大小为224*224的输入图像,在空间上将其划分为8*8个尺寸为28*28的像素块,在每一个像素块中对若干种图像基础统计特征进行提取,基础统计特征包括但不限于饱和度、对比度、色彩复杂度等,基础统计特征的统计值可以为最大值、最小值、平均值、方差值等数值,每个像素块即可组成一个k维特征向量,由此,每幅224*224*3的图像输入,能得到一个8*8*k的低阶特征输出,然后将输出的低阶特征依次经过上述各层的处理,从而可以得到基准目标像素值中的第三维基准特征,及基础目标像素值中的第三维基础特征。
基准特征生成子模块可以用于调用所述特征合并层,对所述第一维基准特征、所述第二维基准特征和所述第三维基准特征进行合并处理,生成并输出所述基准像素特征。
基础特征生成子模块可以用于调用所述特征合并层,对所述第一维基础特征、所述第二维基础特征和所述第三维基础特征进行合并处理,生成并输出所述基础像素特征。
基准像素特征是指将第一维基准特征、第二维基准特征和第三维基准特征合并之后,生成的像素特征。
基础像素特征是指将第一维基础特征、第二维基础特征和第三维基础特征合并之后,生成的像素特征。
特征合并层(Concat)可以接收单维度全局质量评分网络层、图像特征提取网络层和基础特征提取网络层,分别输出的基准图像的第一维基准特征、第二维基准特征和第三维基准特征,以及候选图像的第一维基础特征、第二维基础特征和第三维基础特征。
进而由Concat对第一维基准特征、第二维基准特征和第三维基准特征进行合并处理,得到基准像素特征,并对第一维基础特征、第二维基础特征和第三维基础特征进行合并处理,得到基础像素特征,具体地,可以由Concat将基准图像对应的三个基准特征进行横向合并,并由Concat将候选图像对应的三个基础特征进行横向合并。
在调用特征提取层提取基准目标像素值对应的基准像素特征,及基础目标像素值对应的基础像素特征之后,执行相对质量评分获取子模块435。
相对质量评分获取子模块435可以用于调用所述概率输出层,对所述基准像素特征和所述基础像素特征进行卷积运算,获取所述基准图像和所述多幅候选图像之间的相对质量评分。
相对质量评分是指基准图像与候选图像之间的相对质量评分,在本公开中,相对质量评分可以为一个评分概率,如0.5,0.8等。
概率输出层(如图3所示的Pairwise)可以输出两幅输入图像的相对质量评分,
在得到基准图像的基准像素特征和候选图像的基础像素特征后,可以由概率输出层接收基准像素特征和基础像素特征,并对基准像素特征和基础像素特征进行卷积运算,以获取基准图像和候选图像之间的相对质量评分。对于该过程,可以结合下述具体实现方式进行详细描述。
在本公开的一种具体实现中,所述概率输出层包括特征差值输出层和全连接层,相对质量评分获取子模块435可以包括:特征差值计算子模块和相对质量评分输出子模块,其中,
特征差值计算子模块可以用于调用所述特征差值输出层,计算并输出所述基准像素特征和所述基准像素特征之间的像素特征差值。
结合图3可知,概率输出层(Pairwise)可以包括特征差值输出层(Subtract)和全连接层(FC1,即一维全连接层)。
像素特征差值是指基准像素特征和基础像素特征之间的差值。
在Subtract接收到基准像素特征和基础像素特征之后,可以由Subtract计算基准像素特征和基础像素特征之间的差值,以得到像素特征差值。
相对质量评分输出子模块可以用于调用所述全连接层,对所述像素特征差值进行卷积运算,得到并输出所述相对质量评分。
然后经过dropout层(丢弃因子为0.2)和FC1(一维的全连接层,激活函数为Sigmoid),可以由FC1对基准图像和候选图像对应的像素特征差值进行卷积运算,以获取基准图像和候选图像的相对质量评分。
在Pairwise层还具有Score(分值输出层),在得到基准图像和候选图像的相对质量评分,可以通过Score层输出基准图像和候选图像的相对质量评分。即Pairwise部分的输出可以当做基准图像好于候选图像的概率,例如,在概率小于等于0.5时,表示候选图像的质量较好,而在概率大于0.5时,表示基准图像的质量较好。
在调用概率输出层对基准像素特征和基础像素特征进行卷积运算,获取基准图像和多幅候选图像之间的相对质量评分之后,执行质量评分确定子模块436。
质量评分确定子模块436可以用于根据所述相对质量评分,确定所述多幅候选图像对应的质量评分。
质量评分是指候选图像的图像质量对应的评分。
在获取每幅候选图像与基准图像的相对质量评分之后,可以根据各相对质量评分确定出每幅候选图像对应的质量评分。
例如,在某些实施例中,候选图像为图像1、图像2和图像3,采用的是从这三幅候选图像中选择一幅图像作为基准图像,比如说选取图像1为基准图像,在以单次两幅图像进行质量评估所得到的结果为:图像2相比图像1质量高的概率为0.6,图像3相比图像1质量高的概率为0.8,则图像质量排名为:图像3>图像2>图像1,可以设置图像3的质量评分为8,图像2的质量评分为6,图像1的质量评分为5。当然,上述对各个候选图像所设置的质量评分仍可作其他变化。
在某些实施例中,候选图像包括图像4、图像5和图像6,采用的是以候选图像之外的一幅图像作为基准图像,比如说选取候选图像之外的图像7作为基准图像,在以单次两幅图像进行质量评估所得到的结果为:图像4比图像7质量高的概率为0.7,图像5比图像7质量高的概率为0.4,图像6比图像7质量高的概率为0.5,则候选图像的质量排名为:图像4>图像6>图像5,可以设置图像4的质量评分为7,图像5的质量评分为4,图像6的质量评分为5。当然,上述对各个候选图像所设置的质量评分仍可作其他变化。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
业务产品特征获取模块440可以用于获取所述业务方关联的业务特性和产品特性。
业务特性是指业务方的业务相关联的特性,例如,业务方的主营业务等。
产品特性是指业务方主营产品的特性,例如,业务方主营的美食、饮品等。
本公开实施例中,可以由业务产品特征获取模块440根据业务方在指定平台上传的基本资料信息获知业务方的业务特性和产品特性。
在业务产品特征获取模块440获取业务方关联的业务特性和产品特性之后,执行评分权重获取模块450。
评分权重获取模块450可以用于根据所述业务特性和所述产品特性,获取所述多幅候选图像对应的评分权重。
在业务产品特征获取模块440获取业务方关联的业务特性和产品特性之后,可以由评分权重获取模块450根据业务特性和产品特性,对包含业务特征和产品特性设置相应的评分权重,例如,在业务方为餐饮门店时,对候选图像中包含该门店招牌菜的,可以设置较高的评分权重;而对候选图像中包含该门店普通菜品的,可以设置稍微低些的评分权重;而对于候选图像为商户门头图时,可以设置更低的评分权重等。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
在评分权重获取模块450根据业务特性和产品特性,获取多幅候选图像对应的评分权重之后,执行目标评分确定模块460。
目标评分确定模块460可以用于根据所述评分权重和所述质量评分,确定所述多幅候选图像对应的目标质量评分。
目标质量评分是指在候选图像的质量评分的基础上,结合候选图像对应的评分权重计算得到的最终评分。
在得到多幅候选图像分别对应的质量评分和评分权重之后,可以由目标评分确定模块460依据评分权重和质量评分计算得到每幅候选图像的目标质量评分,例如,候选图像中包括图像a,图像a的质量评分为80,评分权重为0.8,那么图像a的目标质量评分=质量评分*评分权重=80*0.8=64。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
在目标评分确定模块460根据评分权重和质量评分确定出多幅候选图像对应的目标质量评分之后,执行展示首图获取模块470。
展示首图获取模块470可以用于根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为所述业务方在指定平台的展示首图。
预设条件是指由业务人员预先设置的图像选取条件,预设条件可以是候选图像选取数目的条件。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
在获取多幅候选图像对应的质量评分之后,可以由展示首图获取模块470根据质量评分,从多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为业务方在指定平台(即上述步骤中提及的业务平台)上的展示首图。对于上述过程,可以结合下述具体实现方式进行描述。
在本公开的一种具体实现中,展示首图获取模块470可以包括:展示首图获取子模块。
展示首图获取子模块可以用于根据所述目标质量评分从所述多幅候选图像中筛选出评分大于设定评分阈值的至少一幅候选图像,并将所述至少一幅候选图像作为所述业务方在指定平台的展示首图。
设定评分阈值是指由业务人员预先设置的用于筛选出展示首图的评分阈值,而对于设定评分阈值的数值可以根据业务需求而定,本公开实施例对此不加以限制。
在得到每幅候选图像的目标质量评分之后,可以由展示首图获取子模块根据目标质量评分从多幅候选图像中筛选出评分大于设定评分阈值的至少一幅候选图像,并将评分大于设定评分阈值的至少一幅候选图像作为业务方在指定业务平台上的展示首图,例如,设定评分阈值为55,候选图像1的目标质量评分为50,候选图像2的目标质量评分为60,候选图像3的目标质量评分为80,则将候选图像2和候选图像3作为业务方的展示首图。
本公开实施例通过图像质量评估模型评估多幅候选图像中任意两幅图像的相对质量评分,能有效评估多张候选图像中的质量优劣关系。
本公开实施例提供的图像展示装置,通过获取与业务方关联的多幅候选图像,利用目标图像质量评估模型对多幅候选图像进行评估处理,得到多幅候选图像对应的质量评分,根据质量评分从多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为业务方在指定平台的展示首图。本公开实施例相较于现有技术,无需人工审核,减少了人力成本的投入,提高了图像质量评估的准确性和效率。
参照图7,示出了本公开实施例提供的一种图像展示装置的结构示意图,如图7所示,该图像展示装置500可以包括:候选图像获取模块510、质量评分获取模块520和展示首图获取模块530。
候选图像获取模块510可以用于获取与业务方关联的多幅候选图像。
在本公开实施例中,业务方是指需要在业务平台(如美团平台、大众点评等)展示首图的一方,例如,以美团平台为例,业务方即为在美团平台上展示图像及产品的商户,商户可以在美团平台(如美团外卖APP(Application,应用程序)等)上展示商户的产品图、门头图等。
候选图像是指与业务方关联的图像,例如,在业务方为餐饮门店时,与餐饮门店关联的候选图像可以是餐饮门店的门头图,也可以是餐饮门店的招牌菜图等。
在某些示例中,多幅候选图像可以是由业务方上传至业务平台上的图像,例如,在业务方采集业务方关联的多幅图像(如业务方的门头图、招牌菜图等)之后,可以由业务方将采集的多幅图像上传至业务平台,以作为候选图像。
在某些示例中,多幅候选图像可以是由业务平台一方安排的工作人员,采集的与业务方关联的图像,例如,美团平台方可以安排工作人员采集业务方的门头图、招牌菜图等,以作为业务方的候选图像。
当然,在具体实现中,候选图像获取模块510还可以采用其它方式获取与业务方关联的多幅候选图像,如业务平台方的工作人员可以从业务方的网站上,获取业务方上传的图像,以作为候选图像等,或者,从业务方的网站上由消费者上传的图像等,不一一罗列。在实际应用中,可以根据业务需求而定,本公开实施例对此不加以限制。
在候选图像获取模块510获取与业务方关联的多幅候选图像之后,执行质量评分获取模块520。
质量评分获取模块520可以用于利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分;其中,在利用所述目标图像质量评估模型对所述多幅候选图像进行评估处理的过程中,每次是将两幅候选图像输入至所述目标图像质量评估模型进行评估处理,以得到所述两幅候选图像对应的相对质量评分。
目标图像质量评估模型是指用于评估图像质量评分的评估模型。
在目标图像质量评估模型的使用过程中,可以直接将两幅图像输入至该评估模型中,如将图像A和图像B输入至评估模型中,进而由该评估模型输出图像A相对于图像B的相对质量评分,以此来评估图像A和图像B的质量优劣关系。
在候选图像获取模块510获取与业务方关联的多幅候选图像之后,可以由质量评分获取模块520利用目标图像质量评估模型对多幅候选图像进行评估处理,在每次评估时,可以将两幅候选图像输入至目标图像质量评估模型进行评估,以输出两幅候选图像的相对质量评分。
在一种具体实现中,可以从多幅候选图像中获取任意两幅候选图像输入至目标图像质量评估模型,然后选取评分较高高的一幅候选图像作为下一次的输入,并从其它候选图像再获取任一幅候选图像作为下一次的输入,具体地,以下述具体实现方式进行详细描述。
在本公开的一种具体实现中,质量评分获取模块520可以包括:任意图像获取子模块、任意图像输入子模块、任一图像获取子模块、任一图像输入子模块和质量评分获取子模块,其中,
任意图像获取子模块可以用于从所述多幅候选图像中获取任意两幅候选图像。
在本公开实施例中,可以由任意图像获取子模块首先从多幅候选图像中获取任意两幅候选图像作为输入,例如,多幅候选图像分别为图像1、图像2、...、图像10,可以选取这10幅图像中的任意两幅(如图像1和图像2,或图像3和图像7等)作为第一次的输入。
在任意图像获取子模块从多幅候选图像中获取任意两幅候选图像之后,执行任意图像输入子模块。
任意图像输入子模块可以用于将所述任意两幅候选图像输入至所述目标图像质量评估模型,得到所述任意两幅候选图像对应的相对质量评分。
在任意图像获取子模块从多幅候选图像中获取任意两幅候选图像之后,可以由任意图像输入子模块将任意两幅候选图像输入至目标图像质量评估模型,由目标图像质量评估模型评估这任意两幅候选图像的相对质量评分,例如,承接上述示例,任意两幅候选图像为图像1和图像2,可以由目标图像质量评估模型输出图像1相对于图像2的相对质量评分,在相对质量评分小于等于0.5时,可以表示图像1的质量低于图像2的质量,而在相对质量评分大于0.5时,可以表示图像1的质量高于图像2的质量。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
在任意图像输入子模块将任意两幅候选图像输入至目标图像质量评估模型,由目标图像质量评估模型输出任意两幅候选图像的相对质量评分之后,执行任一图像获取子模块。
任一图像获取子模块可以用于从所述多幅候选图像中获取除所述任意两幅候选图像之外的一幅候选图像。
在获取任意两幅候选图像的相对质量评分之后,可以由任一图像获取子模块再从多幅候选图像中获取除任意两幅候选图像之外的一幅候选图像,例如,承接上述示例,在将图像1和图像2作为任意两幅候选图像,并获取图像1和图像2的相对质量评分之后,可以再从图像3至图像10中选取一幅候选图像。
在任一图像获取子模块从多幅候选图像中获取除任意两幅候选图像之外的一幅候选图像之后,执行任一图像输入子模块。
任一图像输入子模块可以用于将所述一幅候选图像和所述任意两幅候选图像中评分较高的候选图像,输入至所述目标图像质量评估模型,得到所述一幅候选图像和所述评分较高的候选图像对应的相对质量评分。
在得到任意两幅候选图像的质量评分之后,可以由任一图像输入子模块从任意两幅候选图像中选取一幅评分较高的候选图像,并将从多幅候选图像中获取除任意两幅候选图像之外的一幅候选图像,和任意两幅候选图像中评分较高的候选图像,输入至目标图像质量评估模型,从而由目标图像质量评估模型输出这两幅候选图像的相对质量评分。
质量评分获取子模块可以用于直至将所述多幅候选图像中所有候选图像比对完成之后,输出所述多幅候选图像中质量评分最高的一幅候选图像。
在由目标图像质量评估模型输出多幅候选图像中获取除任意两幅候选图像之外的一幅候选图像,与任意两幅候选图像中评分较高的候选图像的相对质量评分之后,可以从这两幅候选图像选取一幅评分较高的候选图像,然后从多幅候选图像中再获取未进行评估的一幅候选图像,然后输入至目标质量评估模型中,并输出这两幅候选图像的相对质量评分,以此类推,直至将多幅候选图像中的所有候选图像全部比对完成,从而可以由目标质量评估模型输出多幅候选图像对应的质量评分,可以输出一幅质量评分最高的候选图像,该候选图像即为多幅候选图像中质量评分最高的图像。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的一种获取所有候选图像的质量评分的方式,而在具体实现中,还可以采用其它方式进行图像之间的质量评分的评估,如,首选选取一张基准图像,然后以该基准图像为准,依次与多幅候选图像中任一幅候选图像进行质量评估,具体地,将在下述实施例中进行详细描述,本公开实施例在此不再加以赘述。
在质量评分获取模块520利用目标图像质量评估模型对多幅候选图像进行评估处理,得到多幅候选图像对应的质量评分之后,执行展示首图获取模块530。
展示首图获取模块530可以用于根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为所述业务方在指定平台的展示首图。
预设条件是指由业务人员预先设置的图像选取条件,预设条件可以是候选图像选取数目的条件。在本公开实施例中,是将质量评分最高的候选图像作为展示首图。
可以理解地,上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
在获取多幅候选图像对应的质量评分之后,可以由展示首图获取模块530根据质量评分,从多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为业务方在指定平台(即上述步骤中提及的业务平台)上的展示首图。
本公开实施例通过图像质量评估模型评估多幅候选图像中任意两幅图像的相对质量评分,能有效评估多张候选图像中的质量优劣关系。
本公开实施例提供的图像展示装置,通过获取与业务方关联的多幅候选图像,利用目标图像质量评估模型对多幅候选图像进行评估处理,得到多幅候选图像对应的质量评分,根据质量评分从多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为业务方在指定平台的展示首图。本公开实施例通相较于现有技术,无需人工审核,减少了人力成本的投入,提高了图像质量评估的准确性和效率。
参照图8,示出了本公开实施例提供的一种评估模型生成装置的结构示意图,如图8所示,该评估模型生成装置600可以包括:多对训练样本输入模块610、第一像素特征提取模块620、第二像素特征提取模块630、图像质量概率生成模块640、损失值获取模块650和目标评估模型获取模块660。
多对训练样本输入模块610可以用于将多对训练样本输入初始图像质量评估模型;其中,所述初始图像质量评估模型包括特征提取层和概率输出层,每对所述训练样本包括第一图像对应的第一像素值和第二图像对应的第二图像值,及所述第一图像相对于所述第二图像的初始图像质量概率。
在本公开实施例中,初始图像质量评估模型是指还未进行训练的,用于评估两幅图像之间的相对质量评分的评估模型。
训练样本是指用于对初始图像质量评估模型进行训练的图像样本。
在本公开中,训练样本均是成对出现的,即两幅图像作为一组训练样本。
在成对的训练样本中,可以将一幅图像样本作为第一图像,并将另一幅图像样本作为第二图像。
初始图像质量概率是指第一图像相对于第二图像的质量概率,可以理解地,初始图像质量概率可以是在业务人员获取一对训练样本时,根据两幅图像的业务方及图像清晰度等特性,为两幅图像设置的质量概率。
在多对训练样本输入模块610获取一对训练样本之后,可以提取出第一图像对应的第一像素值和第二图像对应的第二像素值,并将第一像素值和第二像素值作为初始图像质量评估模型的输入。
在多对训练样本输入模块610将多对训练样本输入初始图像质量评估模型之后,执行第一像素特征提取模块620。
第一像素特征提取模块620可以用于调用所述特征提取层,提取所述第一像素值对应的第一像素特征。
第二像素特征提取模块630可以用于调用所述特征提取层,提取所述第二像素值对应的第二像素特征。
初始图像质量评估模型包含有特征提取层,在将一对训练样本输入至初始图像质量评估模型之后,可以调用特征提取层提取第一像素值对应的第一像素特征,并调用特征提取层提取第二像素值对应的第二像素特征。
对于提取像素值对应的像素特征的过程,可以参照上述方法实施例中步骤206的描述,本公开实施例在此不再加以赘述。
在提取出第一像素值对应的第一像素特征和第二像素值对应的第二像素特征之后,执行图像质量概率生成模块640。
图像质量概率生成模块640可以用于调用所述概率输出层对所述第一像素特征和所述第二像素特征进行卷积运算,生成预测图像质量概率。
预测图像质量概率是指由初始图像质量评估模型输出的一对训练样本中,第一图像好于第二图像的概率。
初始图像质量评估模型中还包含有概率输出层,在调用特征提取层提取出第一像素特征和第二像素特征之后,可以由概率输出层接收第一像素特征和第二像素特征,并对第一像素特征和第二像素特征进行卷积运算,以得到对应的第一图像相对于第二图像的预测图像质量概率。
对于图像质量概率生成模块640调用概率输出层对两个像素特征进行卷积运算的过程,可以参照上述方法实施例步骤207的描述,本公开实施例在此不再加以赘述。
在图像质量概率生成模块640调用概率输出层对第一像素特征和第二像素特征进行卷积运算,生成预测图像质量概率之后,执行损失值获取模块650。
损失值获取模块650可以用于基于各所述预测图像质量概率和各所述初始图像质量概率,获取所述初始图像质量评估模型的损失值。
损失值可以用于表示一对训练样本的预测图像质量概率和初始图像质量概率的偏差程度。例如,一对训练样本的预测图像质量概率为0.8,初始图像质量概率为0.5,可以根据两个质量概率计算得到初始图像质量评估模型的损失值。
可以理解地,上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例,不作为对本公开实施例的唯一限制。
在损失值获取模块650计算得到损失值之后,执行目标评估模型获取模块660。
目标评估模型获取模块660可以用于在所述损失值处于预设范围内的情况下,将所述初始图像质量评估模型作为目标图像质量评估模型。
本公开实施例中,预设范围可以根据实际应用场景和实际需求由研发人员预先设定,本发明实施例对于预设范围的具体数值不加以限制。
而如果损失值在预设范围内时,则可以认为一对训练样本的预测图像质量概率和初始图像质量概率的偏差非常小,此时,可以认为该初始图像质量评估模型能够准确的预测出两幅图像的相对质量概率,相应的,可以将该初始图像质量评估模型作为目标图像质量评估模型,目标图像质量评估可以用于后续评估两幅图像的相对质量概率。
而如果损失值在预设范围外时,则可以认为一对训练样本的预测图像质量概率和初始图像质量概率的偏差较大,此时,可以增加训练样本的数量,继续对初始图像质量评估模型进行训练,以使得最终得到的损失值在预设范围内。
本公开实施例训练得到的目标图像质量评估模型可以评估多幅候选图像中任意两幅图像的相对质量评分,能有效评估多张候选图像中的质量优劣关系。
本公开实施例提供的评估模型生成装置,通过将多对训练样本输入初始图像质量评估模型,其中,初始图像质量评估模型包括特征提取层和概率输出层,每对训练样本包括第一图像对应的第一像素值和第二图像对应的第二图像值,及第一图像相对于第二图像的初始图像质量概率,调用特征提取层,提取第一像素值对应的第一像素特征,调用特征提取层,提取第二像素值对应的第二像素特征,调用概率输出层对第一像素特征和第二像素特征进行卷积运算,生成预测图像质量概率,基于各预测图像质量概率和各初始图像质量概率,获取初始图像质量评估模型的损失值,在损失值处于预设范围内的情况下,将初始图像质量评估模型作为目标图像质量评估模型。本公开实施例生成的图像质量评估模型可以评估多幅候选图像中任意两幅图像的相对质量评分,无需人工审核,减少了人力成本的投入,提高了图像质量评估的准确性和效率。
本公开的实施例还提供了一种电子设备,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现前述实施例的图像展示方法或评估模型生成方法。
本公开的实施例还提供了一种计算机可读存储介质,存储有计算机指令,当所述计算机指令由电子设备的处理器执行时,使得电子设备能够执行前述实施例的图像展示方法或评估模型生成方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本公开的实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本公开的实施例的内容,并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本公开的示例性实施例的描述中,本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本公开的实施例的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
本公开的实施例的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开的实施例的动态图像的生成设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述仅为本公开的实施例的较佳实施例而已,并不用以限制本公开的实施例,凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本公开的实施例的保护范围之内。
以上所述,仅为本公开的实施例的具体实施方式,但本公开的实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的实施例的保护范围之内。因此,本公开的实施例的保护范围应以权利要求的保护范围为准。
Claims (13)
1.一种图像展示方法,其特征在于,包括:
获取与业务方关联的多幅候选图像;
利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分;其中,在利用所述目标图像质量评估模型对所述多幅候选图像进行评估处理的过程中,每次是将两幅候选图像输入至所述目标图像质量评估模型进行评估处理,以得到所述两幅候选图像对应的相对质量评分;
根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为所述业务方在指定平台的展示首图。
2.根据权利要求1所述的方法,其特征在于,在所述利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分之前,还包括:
对所述多幅候选图像进行图像预处理。
3.根据权利要求2所述的方法,其特征在于,所述对所述多幅候选图像进行图像预处理,包括:
对所述多幅候选图像进行缩放处理,生成多幅缩放候选图像;
将所述多幅缩放候选图像均转换为三通道的转换候选图像;
获取每幅转换候选图像的多个像素值,及所述多个像素值的像素均值;
基于每幅转换候选图像对应的多个像素值和像素均值,计算得到每幅转换候选图像的目标像素值。
4.根据权利要求1或3所述的方法,其特征在于,所述目标图像质量评估模型包括特征提取层和概率输出层;所述利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分,包括:
确定基准图像;
获取所述基准图像对应的基准目标像素值,及所述多幅候选图像对应的基础目标像素值;
将所述基准目标像素值和所述基础目标像素值输入至所述目标图像质量评估模型;
调用所述特征提取层,提取所述基准目标像素值对应的基准像素特征,及所述基础目标像素值对应的基础像素特征;
调用所述概率输出层,对所述基准像素特征和所述基础像素特征进行卷积运算,获取所述基准图像和所述多幅候选图像之间的相对质量评分;
根据所述相对质量评分,确定所述多幅候选图像对应的质量评分。
5.根据权利要求4所述的方法,其特征在于,所述特征提取层包括高阶特征提取层、单维度全局质量评分网络层、图像特征提取网络层、基础特征提取网络层和特征合并层,
所述调用所述特征提取层,提取所述基准目标像素值对应的基准像素特征,及所述基础目标像素值对应的基础像素特征,包括:
调用所述高阶特征提取层,提取并输出所述基准目标像素值中的基准高阶特征,及所述基础目标像素值中的基础高阶特征;
调用所述单维度全局质量评分网络层,提取并输出所述基准高阶特征中的第一维基准特征,及所述基础高阶特征中的第一维基础特征;
调用所述图像特征提取网络层,提取并输出所述基准高阶特征中的第二维基准特征,及所述基础高阶特征中的第二维基础特征;
调用所述基础特征提取网络层,提取并输出所述基准目标像素值中的第三维基准特征,及所述基础目标像素值中的第三维基础特征;
调用所述特征合并层,对所述第一维基准特征、所述第二维基准特征和所述第三维基准特征进行合并处理,生成并输出所述基准像素特征;
调用所述特征合并层,对所述第一维基础特征、所述第二维基础特征和所述第三维基础特征进行合并处理,生成并输出所述基础像素特征。
6.根据权利要求4所述的方法,其特征在于,所述概率输出层包括特征差值输出层和全连接层,
所述调用所述概率输出层,对所述基准像素特征和所述基础像素特征进行卷积运算,获取所述基准图像和所述多幅候选图像之间的相对质量评分,包括:
调用所述特征差值输出层,计算并输出所述基准像素特征和所述基准像素特征之间的像素特征差值;
调用所述全连接层,对所述像素特征差值进行卷积运算,得到并输出所述相对质量评分。
7.根据权利要求4所述的方法,其特征在于,在所述根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为所述业务方在指定平台的展示首图之前,还包括:
获取所述业务方关联的业务特性和产品特性;
根据所述业务特性和所述产品特性,获取所述多幅候选图像对应的评分权重;
根据所述评分权重和所述质量评分,确定所述多幅候选图像对应的目标质量评分;
所述根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将所述筛选出的候选图像作为所述业务方在指定平台的展示首图,包括:
根据所述目标质量评分从所述多幅候选图像中筛选出评分大于设定评分阈值的至少一幅候选图像,并将所述至少一幅候选图像作为所述业务方在指定平台的展示首图。
8.根据权利要求1所述的方法,其特征在于,所述利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分,包括:
从所述多幅候选图像中获取任意两幅候选图像;
将所述任意两幅候选图像输入至所述目标图像质量评估模型,得到所述任意两幅候选图像对应的相对质量评分;
从所述多幅候选图像中获取除所述任意两幅候选图像之外的一幅候选图像;
将所述一幅候选图像和所述任意两幅候选图像中评分较高的候选图像,输入至所述目标图像质量评估模型,得到所述一幅候选图像和所述评分较高的候选图像对应的相对质量评分;
直至将所述多幅候选图像中所有候选图像比对完成之后,输出所述多幅候选图像中质量评分最高的一幅候选图像。
9.一种评估模型生成方法,其特征在于,包括:
将多对训练样本输入初始图像质量评估模型;其中,所述初始图像质量评估模型包括特征提取层和概率输出层,每对所述训练样本包括第一图像对应的第一像素值和第二图像对应的第二图像值,及所述第一图像相对于所述第二图像的初始图像质量概率;
调用所述特征提取层,提取所述第一像素值对应的第一像素特征;
调用所述特征提取层,提取所述第二像素值对应的第二像素特征;
调用所述概率输出层对所述第一像素特征和所述第二像素特征进行卷积运算,生成预测图像质量概率;
基于各所述预测图像质量概率和各所述初始图像质量概率,获取所述初始图像质量评估模型的损失值;
在所述损失值处于预设范围内的情况下,将所述初始图像质量评估模型作为目标图像质量评估模型。
10.一种图像展示装置,其特征在于,包括:
候选图像获取模块,用于获取与业务方关联的多幅候选图像;
质量评分获取模块,用于利用目标图像质量评估模型对所述多幅候选图像进行评估处理,得到所述多幅候选图像对应的质量评分;其中,在利用所述目标图像质量评估模型对所述多幅候选图像进行评估处理的过程中,每次是将两幅候选图像输入至所述目标图像质量评估模型进行评估处理,以得到所述两幅候选图像对应的相对质量评分;
展示首图获取模块,用于根据所述质量评分从所述多幅候选图像中筛选出符合预设条件的候选图像,并将筛选出的候选图像作为所述业务方在指定平台的展示首图。
11.一种评估模型生成装置,其特征在于,包括:
多对训练样本输入模块,用于将多对训练样本输入初始图像质量评估模型;其中,所述初始图像质量评估模型包括特征提取层和概率输出层,每对所述训练样本包括第一图像对应的第一像素值和第二图像对应的第二图像值,及所述第一图像相对于所述第二图像的初始图像质量概率;
第一像素特征提取模块,用于调用所述特征提取层,提取所述第一像素值对应的第一像素特征;
第二像素特征提取模块,用于调用所述特征提取层,提取所述第二像素值对应的第二像素特征;
图像质量概率生成模块,用于调用所述概率输出层对所述第一像素特征和所述第二像素特征进行卷积运算,生成预测图像质量概率;
损失值获取模块,用于基于各所述预测图像质量概率和各所述初始图像质量概率,获取所述初始图像质量评估模型的损失值;
目标评估模型获取模块,用于在所述损失值处于预设范围内的情况下,将所述初始图像质量评估模型作为目标图像质量评估模型。
12.一种电子设备,其特征在于,包括:
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至8中任一项所述的图像展示方法,或权利要求9所述的评估模型生成方法。
13.一种计算机可读存储介质,其特征在于,存储有计算机指令,当所述计算机指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至8中任一项所述的图像展示方法,或权利要求9所述的评估模型生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910895345.0A CN110766052A (zh) | 2019-09-20 | 2019-09-20 | 图像展示方法、评估模型生成方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910895345.0A CN110766052A (zh) | 2019-09-20 | 2019-09-20 | 图像展示方法、评估模型生成方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110766052A true CN110766052A (zh) | 2020-02-07 |
Family
ID=69330043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910895345.0A Pending CN110766052A (zh) | 2019-09-20 | 2019-09-20 | 图像展示方法、评估模型生成方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110766052A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111506753A (zh) * | 2020-03-09 | 2020-08-07 | 北京三快在线科技有限公司 | 推荐方法、装置、电子设备及可读存储介质 |
CN112164102A (zh) * | 2020-09-24 | 2021-01-01 | 北京三快在线科技有限公司 | 一种图像处理方法及装置 |
CN113808041A (zh) * | 2021-09-10 | 2021-12-17 | 深圳东辉盛扬科技有限公司 | 一种图像数据展示方法及装置 |
CN116150421A (zh) * | 2023-04-23 | 2023-05-23 | 深圳竹云科技股份有限公司 | 图像的展示方法、装置、计算机设备和存储介质 |
-
2019
- 2019-09-20 CN CN201910895345.0A patent/CN110766052A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111506753A (zh) * | 2020-03-09 | 2020-08-07 | 北京三快在线科技有限公司 | 推荐方法、装置、电子设备及可读存储介质 |
CN111506753B (zh) * | 2020-03-09 | 2023-09-12 | 海南两心科技有限公司 | 推荐方法、装置、电子设备及可读存储介质 |
CN112164102A (zh) * | 2020-09-24 | 2021-01-01 | 北京三快在线科技有限公司 | 一种图像处理方法及装置 |
CN113808041A (zh) * | 2021-09-10 | 2021-12-17 | 深圳东辉盛扬科技有限公司 | 一种图像数据展示方法及装置 |
CN116150421A (zh) * | 2023-04-23 | 2023-05-23 | 深圳竹云科技股份有限公司 | 图像的展示方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
US10943145B2 (en) | Image processing methods and apparatus, and electronic devices | |
CN110766052A (zh) | 图像展示方法、评估模型生成方法、装置及电子设备 | |
TWI773189B (zh) | 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體 | |
Kundu et al. | No-reference quality assessment of tone-mapped HDR pictures | |
Ma et al. | Image retargeting quality assessment: A study of subjective scores and objective metrics | |
CN107690657B (zh) | 根据影像发现商户 | |
CN110458165B (zh) | 一种引入注意力机制的自然场景文本检测方法 | |
Lavoué et al. | On the efficiency of image metrics for evaluating the visual quality of 3D models | |
KR101876397B1 (ko) | 작물의 병해충 진단 장치 및 방법 | |
CN109543701A (zh) | 视觉显著性区域检测方法及装置 | |
Thung et al. | Content-based image quality metric using similarity measure of moment vectors | |
CN109165645A (zh) | 一种图像处理方法、装置以及相关设备 | |
Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
CN108229418B (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
CN104657709B (zh) | 人脸图像识别方法、装置及服务器 | |
Abouelaziz et al. | Blind 3D mesh visual quality assessment using support vector regression | |
Nouri et al. | 3d blind mesh quality assessment index | |
CN110633711A (zh) | 训练特征点检测器的计算机装置、方法及特征点检测方法 | |
CN111275126A (zh) | 样本数据集生成方法、装置、设备及存储介质 | |
EP2618586A1 (en) | 2D to 3D image conversion | |
CN112883907B (zh) | 小体积模型的滑坡检测方法及装置 | |
CN111222530A (zh) | 一种细粒度图像分类方法、系统、装置和存储介质 | |
Yang et al. | Latitude and binocular perception based blind stereoscopic omnidirectional image quality assessment for VR system | |
Rukundo et al. | Aliasing artefact index for image interpolation quality assessment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |