CN113838017A - 图像美学质量评价方法、装置、存储介质及电子设备 - Google Patents
图像美学质量评价方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113838017A CN113838017A CN202111085107.7A CN202111085107A CN113838017A CN 113838017 A CN113838017 A CN 113838017A CN 202111085107 A CN202111085107 A CN 202111085107A CN 113838017 A CN113838017 A CN 113838017A
- Authority
- CN
- China
- Prior art keywords
- image
- aesthetic quality
- quality evaluation
- coordinates
- evaluation table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001303 quality assessment method Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像美学质量评价方法、装置、存储介质及电子设备,其中方法包括:获取目标图像的物体中心坐标,基于所述目标图像的第一长宽以及预先生成的美学质量评价表的第二长宽,确定所述物体中心坐标对应的标准化坐标,基于所述标准化坐标在所述美学质量评价表中查找所述目标图像对应的美学质量评分,所述美学质量评价表包括至少一个标准化坐标对应的美学质量评分。采用本申请实施例,降低了预估图像美学质量的复杂度,提高对图像进行美学质量评价的可靠性与实用性。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种图像美学质量评价方法、装置、存储介质及电子设备。
背景技术
图像的美学质量是评价图像的视觉吸引力的重要指标,在评价图像的视觉吸引力时,除了颜色、光照等因素外,图像中对象的位置及其空间相互关系,即图像的构图也起着重要的作用。若保持对象的完整形状、颜色,只是改变其空间位置,图像的美学质量也会有很大变化。
发明内容
本申请实施例提供了一种图像美学质量评价方法、装置、存储介质及电子设备,降低了预估图像美学质量的复杂度,提高对图像进行美学质量评价的可靠性与实用性。本技术方案如下:
第一方面,本申请实施例提供了一种图像美学质量评价方法,所述方法包括:
获取目标图像的物体中心坐标;
基于所述目标图像的第一长宽以及预先生成的美学质量评价表的第二长宽,确定所述物体中心坐标对应的标准化坐标;
基于所述标准化坐标在所述美学质量评价表中查找所述目标图像对应的美学质量评分,所述美学质量评价表包括至少一个标准化坐标对应的美学质量评分。
第二方面,本申请实施例提供了一种图像美学质量评价装置,所述装置包括:
物体坐标获取模块,用于获取目标图像的物体中心坐标;
物体坐标标准化模块,用于基于所述目标图像的第一长宽以及预先生成的美学质量评价表的第二长宽,确定所述物体中心坐标对应的标准化坐标;
评分查找模块,用于基于所述标准化坐标在所述美学质量评价表中查找所述目标图像对应的美学质量评分,所述美学质量评价表包括至少一个标准化坐标对应的美学质量评分。
第三方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供了一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
采用本申请实施例,由于预先生成的美学质量评价表中包括至少一个标准化坐标对应的美学质量评分,因此,通过将目标图像的物体中心坐标转换为标准化坐标后,在该美学质量评价表中即可查找到目标图像的美学质量评分,降低了预估图像美学质量的复杂度,提高对图像进行美学质量评价的可靠性与实用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像美学质量评价方法的系统架构图;
图2是本申请实施例提供的一种图像美学质量评价方法的流程示意图;
图3是本申请实施例提供的一种识别目标图像中目标物体的举例示意图;
图4是本申请实施例提供的一种边框的坐标轴的举例示意图;
图5是本申请实施例提供的一种图像美学质量评价方法的流程示意图;
图6是本申请实施例提供的一种选择目标图像中目标物体的举例示意图;
图7是本申请实施例提供的一种图像美学质量评价装置的结构示意图;
图8是本申请实施例提供的一种图像美学质量评价装置的结构示意图;
图9是本申请实施例提供的一种评价表生成模块的结构示意图;
图10是本申请实施例提供的一种评价表生成单元的结构示意图;
图11是本申请实施例提供的一种样本坐标获取模块的结构示意图;
图12是本申请实施例提供的一种图像删除单元的结构示意图;
图13是本申请实施例提供的一种样本坐标获取模块的结构示意图;
图14是本申请实施例提供的一种物体坐标获取模块的结构示意图;
图15是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步详细描述。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中描述的实施方式并不代表与本申请一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
关于对图像的视觉吸引力进行评价的现有算法中,根据特征提取方式的不同,可分为传统算法和深度学习算法两大类。
传统算法利用摄影规则、手工设计特征等对图像进行评价,但会受限于专家知识以及特征的表达能力,甚至一部分摄影知识难以通过数学进行表达。
深度学习算法利用深度学习技术从数据集中学习美学的相关特征,对图像进行评价。深度学习算法相较于传统算法更具优势,但是目前的开源数据训练并不能达到要求。一方面来说,现有的只针对构图评定的数据集规模都比较小,达不到实际应用的需求,而大型的美学数据集的评分则是综合评分而非只针对图像构图进行评分;另一方面,数据集中的图像大多为摄影师进行拍摄,拍摄场景更多的是脱离日常生活的,使用这些数据进行训练难以应用于到日常生活中。两方面的问题导致深度学习算法难以达到实际应用的需求。
基于此,本申请实施例提供了一种图像美学质量评价方法,可以通过直接获取目标图像的物体中心坐标,并将物体中心坐标标准化后,在预先生成的美学质量评价表中查找标准化坐标对应的坐标中的评分,即可得到目标图像的美学质量评分,提高了图像美学质量评价的可靠性以及实用性。
下面结合具体的实施例对本申请进行详细说明。
请参见图1,为本申请实施例提供的一种图像美学质量评价方法的系统架构图。其中包括目标图像、得到标准化坐标的目标图像以及美学质量评价表,目标图像为用户想要进行美学质量评价的图像,得到标准化坐标的目标图像为计算出物体中心坐标并将物体中心坐标标准化的目标图像,美学质量评价表则为记录有各标准化坐标对应评分的表格。
在对目标图像进行美学质量评价时,先采用物体识别算法识别图像中的目标物体,并用边框标记目标物体,计算出目标物体的物体中心坐标并标准化,最后基于标准化坐标在美学质量评价表中查找对应的美学质量评分。
上述方法通过在美学质量评价表中查找目标图像的标准化坐标对应的坐标,进而获得目标图像的美学质量评分,将目标图像的美学质量评价过程转换为查表的过程,提高了对图像进行美学质量评价的可靠性与实用性。
上述方法可运行于图像美学质量评价装置上,图像美学质量评价装置可以为移动终端,包括但不限于:智能交互平板、个人电脑、平板电脑、手持设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称,例如:用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、5G网络或未来演进网络中的终端设备等。
请参见图2,为本申请实施例提供的一种图像美学质量评价方法的流程示意图。本申请实施例以移动终端为例进行描述,该图像美学质量评价方法可以包括以下步骤:
S101,获取目标图像的物体中心坐标;
通过物体识别算法识别目标图像中是否存在目标物体,若识别到目标物体,则进一步获取目标物体的物体中心坐标。其中,目标图像可以为任意用户想要进行美学质量评价的图像,目标图像的大小、内容均不限定。例如,图像大小可以为1920*1080,也可以为720*540等。目标物体可以为任意物体,例如可以为人像、动物、书籍等。
为了便于获取物体中心坐标,一种可行的方法是采用边框标记目标物体,从而只需要计算边框的中心坐标即可将边框的中心坐标作为物体中心坐标。其中,物体中心坐标可以为目标物体的水平方向中线与垂直方向中点线的交叉点的坐标。
具体的,一种可行的方法如图3所示,通过物体识别算法识别目标图像中的目标物体,采用边框标记目标物体,并基于边框的某一个顶点坐标(如左上角的坐标(x,y))、边框的水平边长w以及边框垂直边长h,计算出边框的中心坐标(c1,c2)作为物体中心坐标。其中,该边框不限定于矩形边框,也可以采用圆形,三角形等形状边框。
要计算出边框的中心坐标,一种可行的方法为采用公式(1)计算边框的中心坐标,若边框在如图4所示的坐标轴中,边框的坐标为(x,y),x为边框的左上角的横坐标,y为边框的左上角的纵坐标,w为边框的水平边长,h为边框的垂直边长,则物体中心坐标为(c1,c2)。
S102,基于所述目标图像的第一长宽以及预先生成的美学质量评价表的第二长宽,确定所述物体中心坐标对应的标准化坐标;
确定目标图像的第一长宽以及预先生成的美学质量评价表的第二长宽后,基于第一长宽与第二长宽的比例,相应地将物体中心坐标转换成标准化坐标,也就是将物体中心坐标转换为另一尺寸下的坐标,得到相应的标准化坐标。
一种可行方法为采用公式(2)进行物体中心坐标的标准化。例如:目标图像的第一长宽为1920*1080,美学质量评价表的第二长宽为255*255,物体中心坐标为(294,216),则标准化坐标为(51,51)。
其中,c1,c2为物体中心坐标的横坐标与纵坐标,W,H分别为目标图像的长与宽,K,L分别为美学质量评价表的长与宽,即行数与列数,c′1,c′2分别为标准化坐标的横坐标与纵坐标。
其中,标准化坐标可以为适应于美学质量评价表的坐标,每个标准化坐标均能够在美学质量评价表中找到对应的坐标,物体中心坐标被转换成标准化坐标后,能够在美学质量评价表中找到对应的坐标,进而能够获取标准化坐标中的数据。
其中,目标图像的第一长宽可以为目标图像自身的长与宽,例如第一长宽可以为1920*1080、720*540,具体基于目标图像的实际长宽而定,本申请实施例不进行限定。
其中,美学质量评价表的第二长宽可以为美学质量评价表的长宽,例如第二长宽可以为255*255,即表示美学质量评价表有255行及255列,第二长宽不进行限定,具体可在预先生成美学质量评价表的过程中进行调整。
其中,美学质量评价表可以为预先生成的表格,表格中填有各坐标对应的分数,例如表格中坐标(1,1)对应的分数为0.2,坐标(2,2)对应的分数为0.7,坐标(2,3)对应的分数为0.6,其余坐标均为0,则美学质量评价表为如表1所示的表格。
表1
0.2 | 0 | 0 | … |
0 | 0.7 | 0 | … |
0 | 0.6 | 0 | … |
… | … | … | … |
S103,基于所述标准化坐标在所述美学质量评价表中查找所述目标图像对应的美学质量评分,所述美学质量评价表包括至少一个标准化坐标对应的美学质量评分;
在得到目标图像的标准化坐标后,基于标准化坐标在美学质量评价表中找到对应的坐标,进而得到该坐标对应的分数,得到的分数即为目标图像的美学质量评分。
例如,美学质量评价表如表2所示,目标图像的标准化坐标为(2,2),则在美学质量评价表中找到坐标(2,2),即第2行第2列的位置,获取该坐标的分数0.8,则目标图像的美学质量评分为0.8。
需要说明的是,要想对图像的美学质量评价进行比较时,是基于评分的排名进行对比,因此不需要对评分的具体数值进行限定。例如图a的美学质量评分为0.6,图b的美学质量评分为0.8,则图b的美学质量优于图a。
表2
0.1 | 0.5 | 0.1 | … |
0.2 | 0.8 | 0.5 | … |
0.2 | 0.6 | 0.1 | … |
… | … | … | … |
通过本申请实施例,能够通过直接在预先生成的美学质量评价表查找目标图像的美学质量评分,极大程度的降低了运算时间,提高对图像进行美学质量评价算法的可靠性与实用性。
请参见图5,为本申请实施例提供了一种图像美学质量评价方法的流程示意图。
本申请实施例以移动终端为例进行描述,该图像美学质量评价方法可以包括以下步骤:
S201,从图像数据集中选出包含目标物体的图像集合;
采用物体识别算法,从图像数据集中识别出至少一张包含目标物体的图像,并将这些图像存储在一个图像集合中。
其中,图像数据集可以为任意存储有至少一张图像的数据集合,在本申请实施例中,可采用审美视觉分析数据集(AVA Dataset)。AVA Dataset是一个美学质量评估的数据集,其中的图像数据量非常大,每一张图像,都有一系列的评分,每张图像都存在不少于78人的0~9分的投票作为标注。此外,每一张图像都有语义级别的label,其中语义级别的label共60类,可根据label对图像进行分类,例如人像类、风景类等。
其中,用户评分可以为至少一个用户对图像就美学质量方面进行评定的分数,评分标准可以为用户个人对图像的主观评价。
S202,遍历所述图像集合中的各图像;
对图像集合中图像逐个进行遍历,遍历顺序不限定,可以为按照图像的名字顺序进行逐个遍历,也可以按照图像进入图像集合的先后顺序进行逐个遍历。
需要说明的是,只有当前遍历到的图像完成了步骤S203后,再对下一个图像进行遍历。
S203,获取多个用户对当前遍历到的图像的评分,对所述评分进行加权平均,得到所述图像的用户评分;
获取多个用户对当前遍历到的图像的评分,为了消除因用户之间的审美差异导致的评分噪声,对评分进行加权平均。一种可行的方法为基于各分数的用户人数占比进行加权平均,从而得到图像的用户评分。
例如:当前遍历到的图像共有10个人进行了评分,分数及对应的人数占比为3分1人,5分3人,6分3人,7分2人以及8分1人,其余分数段为0人,则该图像的用户评分为5.8分。
S204,直到遍历结束;
待所有图像均被遍历完,并获得了对应的用户评分后,结束图像的遍历步骤,遍历完后的图像及其对应的用户评分替换遍历前的图像及其评分存储在图像集合中。
S205,基于所述图像集合中各图像的用户评分,删除所述图像集合中用户评分低于评分阈值的图像,得到至少一张样本图像;
获取图像集合中各图像的用户评分,具体获取方法可参见步骤S202,S203以及S204,基于获取的各图像的用户评分,删除图像集合中用户评分低于评分阈值的图像,保留用户评分高于评分阈值的图像,得到包括至少一张样本图像的图像集合,图像集合中的样本图像的对应用户评分均超过评分阈值。
例如,若图像集合中共有5张图像,5张图像的用户评分分别为6、7、9、2、4,评分阈值为5分,则删除评分为2分和4分的图像,图像集合中剩下用户评分为6分、7分以及9分对应的图像。
其中,评分阈值可以为经过多次验证后确定的一个数值,评分阈值用于作为判定图像质量的最低要求标准线。
S206,识别所述样本图像中的目标物体,并采用边框标记所述目标物体;
通过物体识别算法识别目标图像中的目标物体,若识别到目标物体,采用边框标记目标物体。一种可行的方法如图3所示,通过物体识别算法识别目标图像中的目标物体后,采用边框标记目标物体,获取左上角的坐标(x,y)、边框的水平边长w以及边框垂直边长h。
若在采用物体识别算法识别目标图像中的目标物体时,识别到目标图像中存在多个目标物体,选择占比最大的作为目标物体,占比最大的标准可以为面积在所有目标物体中最大,也可以为在水平或者垂直方向跨度最大的目标物体。一种可行的方法为如图6所示,选择面积最大的作为目标物体,并用边框进行标记。
需要说明的是,若采用物体识别算法识别目标图像中的目标物体时,在目标图像中没有检测到目标物体的存在,则默认目标图像中不存在目标物体,无需再对当前图像进行后续步骤。
其中,标记目标物体的方法不限定于方形边框,也可以采用圆形,三角形等形状图像用于标记目标物体。
S207,计算所述边框的中心坐标作为所述样本图像的样本中心坐标;
具体可参见步骤S101,此处不进行赘述。
S208,创建第二长宽的初始美学质量评价表;
创建一个长宽为第二长宽的表格,将这个表格作为初始美学质量评价表,初始美学质量评价表用于记录图像的美学质量评分。
其中,表格中的初始数值不进行限定,为了能够降低后续确定图像的美学质量评分的误差,一般会令初始数值为同一数值;表格的第二长宽也不进行限定,可以根据具体需求进行设置,例如设置第二长宽均为5,初始数值均为0,则初始美学质量评价表如表3所示,为行数为5,列数为5,内容均为0的表格。
表3
0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 |
S209,基于各所述样本图像的第三长宽以及预先创建的初始美学质量评价表的第二长宽,确定各所述样本中心坐标对应的标准化坐标;
其中,样本图像的第三长宽即为样本图像的长与宽。
在获得样本图像的第三长宽后,基于第三长宽与创建的初始美学质量评价表的第二长宽的比例,确定样本中心坐标对应的标准化坐标,具体确定方法可参见步骤S102,此处不进行赘述。
S210,确定各所述样本中心坐标对应的标准化坐标中的相同标准化坐标,将所述相同标准化坐标对应的各样本图像的用户评分进行叠加;
在确定样本图像的样本中心坐标对应的标准化坐标后,确定各样本中心坐标中对应的标准化坐标为同一坐标的样本图像,将同一坐标的图像的用户评分进行叠加,例如样本中心坐标对应的标准化坐标为(59,74)的样本图像有4张,4张样本图像的用户评分分别为5、7、6、8,则标准化坐标(59,74)处的分数为5+7+6+8,即31。
S211,将叠加后的用户评分以及各所述样本中心坐标对应的标准化坐标中的不同标准化坐标对应的各样本图像的用户评分,分别添加至所述初始美学质量评价表中各所述标准化坐标对应的位置,生成过渡美学质量评价表;
将叠加后的用户评分与其他标准化坐标不同的对应的样本图像的用户评分,分别基于标准化坐标,相应地添加至初始美学质量评价表中对应的位置中,从而生成过渡美学质量评价表。例如标准化坐标(2,2)对应的叠加后用户评分为31,标准化坐标(1,2)对应的用户评分为7,其余标准化坐标均为0,则得到如表4所示的过渡美学质量评价表。
需要说明的是,过渡美学质量评价表为添加了评分但未进行处理的表格,过渡美学质量评价表也可以被用于确定图像的美学质量评分,但由于未经处理的表格可能会出现正常评分差距相当巨大,或者大量坐标的评分为0的情况,为了提高本申请实施例的运算效率,因此将添加了评分而还未处理的美学质量评价表作为过渡美学质量评价表,为后续得到更清晰简洁的美学质量评价表提供数据基础。
表4
S212,对所述过渡美学质量评价表中各评分进行高斯平滑处理以及归一化处理,生成美学质量评价表;
在获得了填写完毕的过渡美学质量评价表后,为了能够使得表格看起来更加直观具体,后续查询图像的美学质量评分能更为清晰地看出图像的美学质量评分高低,对过渡美学质量评价表中的评分进行高斯平滑及归一化处理,生成美学质量评价表。进行高斯平滑处理时,可以选取3*3进行平滑,也可以选择5*5进行平滑,对数组长度不进行限定。
其中,高斯平滑处理是为了将过渡美学质量评价表里的评分进行平滑,使得表格内的数据之间的差距相较于未处理的表格而言更为平缓。
其中,归一化是为了在查询美学质量评价表时那个更加清晰地看出评分的相对高低,便于判断图像的美学质量。
S213,识别目标图像中的目标物体,并采用边框标记所述目标物体;
具体可参见步骤S206,此处不进行赘述。
S214,计算所述边框的中心坐标作为所述目标图像的物体中心坐标;
具体可参见步骤S101,此处不进行赘述。
S215,基于所述目标图像的第一长宽以及预先生成的美学质量评价表的第二长宽,确定所述物体中心坐标对应的标准化坐标;
具体可参见步骤S102,此处不进行赘述。
S216,基于所述标准化坐标在所述美学质量评价表中查找所述目标图像对应的美学质量评分,所述美学质量评价表包括至少一个标准化坐标对应的美学质量评分;
具体可参见步骤S103,此处不进行赘述。
通过本申请实施例提供的技术方案,从图像数据集中筛选出用户评分高的图像用于生成美学质量评价表,使得在对图像进行美学质量评价时具有更高的可靠性和认同度;将用户评分添加至初始美学质量评价表并经过训练得到美学质量评价表,得到简洁明了的美学质量评价表;再通过将目标图像的物体中心坐标转换为标准化坐标后,在美学质量评价表中即可查找目标图像的美学质量评分,降低了预估图像美学质量评价的复杂度,提高了对图像进行美学质量评价的可靠性和实用性。
请参见图7,其示出了本申请一个示例性实施例提供的图像美学质量评价装置的结构示意图。该图像美学质量评价装置可以通过软件、硬件或者两者结合实现称为终端的全部或者一部分。该装置1包括物体坐标获取模块11、物体坐标标准化模块12以及评分查找模块13。
物体坐标获取模块11,用于获取目标图像的物体中心坐标;
物体坐标标准化模块12,用于基于所述目标图像的第一长宽以及预先生成的美学质量评价表的第二长宽,确定所述物体中心坐标对应的标准化坐标;
评分查找模块13,用于基于所述标准化坐标在所述美学质量评价表中查找所述目标图像对应的美学质量评分,所述美学质量评价表包括至少一个标准化坐标对应的美学质量评分。
可选的,如图8所示,装置1还包括:
样本坐标获取模块14,用于获取至少一张样本图像,获取各所述样本图像的样本中心坐标;
评价表创建模块15,用于创建第二长宽的初始美学质量评价表;
样本坐标标准化模块,用于基于各所述样本图像的第三长宽以及预先创建的初始美学质量评价表的第二长宽,确定各所述样本中心坐标对应的标准化坐标;
评价表生成模块16,用于获取各所述样本图像对应的用户评分,基于各所述样本中心坐标对应的标准化坐标以及各所述样本图像对应的用户评分,对所述初始美学质量评价表进行训练,生成美学质量评价表。
可选的,如图9所示,所述评价表生成模块16,包括:
评分叠加单元161,用于确定各所述样本中心坐标对应的标准化坐标中的相同标准化坐标,将所述相同标准化坐标对应的各样本图像的用户评分进行叠加;
评价表生成单元162,用于将叠加后的用户评分以及各所述样本中心坐标对应的标准化坐标中的不同标准化坐标对应的各样本图像的用户评分,分别添加至所述初始美学质量评价表中各所述标准化坐标对应的位置,生成美学质量评价表。
可选的,如图10所示,所述评价表生成单元162,包括:
评分添加子单元1621,用于将叠加后的用户评分以及各所述样本中心坐标对应的标准化坐标中的不同标准化坐标对应的各样本图像的用户评分,分别添加至所述初始美学质量评价表中各所述标准化坐标对应的位置,生成过渡美学质量评价表;
评价表生成子单元1622,用于对所述过渡美学质量评价表中各评分进行高斯平滑处理以及归一化处理,生成美学质量评价表。
可选的,如图11所示,所述样本坐标获取模块14,包括:
图像选取单元141,用于从图像数据集中选出包含目标物体的图像集合;
图像删除单元142,用于获取所述图像集合中各图像的用户评分,删除所述图像集合中用户评分低于评分阈值的图像,得到至少一张样本图像。
可选的,如图12所示,所述图像删除单元142,包括:
图像遍历子单元1421,用于遍历所述图像集合中的各图像;
评分平均子单元1422,用于获取多个用户对当前遍历到的图像的评分,对所述评分进行加权平均,得到所述图像的用户评分;
遍历结束子单元1423,用于直到遍历结束。
可选的,如图13所示,所述样本坐标获取模块14,还包括:
样本标记单元143,用于识别所述样本图像中的样本物体,并采用边框标记所述样本物体;
坐标计算单元144,用于计算所述边框的中心坐标作为所述样本图像的样本中心坐标。
可选的,如图14所示,所述物体坐标获取模块11,包括:
物体标记单元111,用于识别所述目标图像中的目标物体,并采用边框标记所述目标物体;
坐标计算单元112,用于计算所述边框的中心坐标作为所述目标图像的物体中心坐标。
需要说明的是,上述实施例提供的图像美学质量评价装置在执行图像美学质量评价方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像美学质量评价装置与图像美学质量评价方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不进行赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过本申请实施例提供的技术方案,生成了美学质量评价表,以便于用户要想对目标图像进行美学质量评价时,能够直接通过查询美学质量评价表获得目标图像的美学质量评分,从而减少了获取目标图像的美学质量评分的时间,并且美学质量评价表的评分数据是经过多人评分并加以处理而得到的数据,具有较高的可靠度和认同度,综合上述技术方案,提高了评价图像美学质量算法的实用性和可靠性。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1-图6所示实施例的方法步骤,具体执行过程可以参见图1-图6所示实施例的具体说明,在此不进行赘述。
本申请还提供了一种电子设备,该电子设备存储有至少一条指令,所述至少一条指令由所述处理器加载并执行上述图1-图6所示实施例的具体说明,在此不进行赘述。
请参见图15,为本申请实施例提供了一种电子设备的结构示意图。如图15所示,所述电子设备1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行电子设备1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-OnlyMemory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图15所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像美学质量评价应用程序。
在图15所示的电子设备1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的图像美学质量评价应用程序,并具体执行以下操作:
获取目标图像的物体中心坐标;
基于所述目标图像的第一长宽以及预先生成的美学质量评价表的第二长宽,确定所述物体中心坐标对应的标准化坐标;
基于所述标准化坐标在所述美学质量评价表中查找所述目标图像对应的美学质量评分,所述美学质量评价表包括至少一个标准化坐标对应的美学质量评分。
在一个实施例中,所述处理器1001在执行获取目标图像的物体中心坐标之前,还执行以下操作:
获取至少一张样本图像,获取各所述样本图像的样本中心坐标;
创建第二长宽的初始美学质量评价表;
基于各所述样本图像的第三长宽以及预先创建的初始美学质量评价表的第二长宽,确定各所述样本中心坐标对应的标准化坐标;
获取各所述样本图像对应的用户评分,基于各所述样本中心坐标对应的标准化坐标以及各所述样本图像对应的用户评分,对所述初始美学质量评价表进行训练,生成美学质量评价表。
在一个实施例中,所述处理器1001在执行基于各所述样本中心坐标对应的标准化坐标以及各所述样本图像对应的用户评分,对所述初始美学质量评价表进行训练,生成美学质量评价表时,具体执行以下操作:
确定各所述样本中心坐标对应的标准化坐标中的相同标准化坐标,将所述相同标准化坐标对应的各样本图像的用户评分进行叠加;
将叠加后的用户评分以及各所述样本中心坐标对应的标准化坐标中的不同标准化坐标对应的各样本图像的用户评分,分别添加至所述初始美学质量评价表中各所述标准化坐标对应的位置,生成美学质量评价表。
在一个实施例中,所述处理器1001在执行将叠加后的用户评分以及各所述样本中心坐标对应的标准化坐标中的不同标准化坐标对应的各样本图像的用户评分,分别添加至所述初始美学质量评价表中各所述标准化坐标对应的位置,生成美学质量评价表时,具体执行以下操作:
将叠加后的用户评分以及各所述样本中心坐标对应的标准化坐标中的不同标准化坐标对应的各样本图像的用户评分,分别添加至所述初始美学质量评价表中各所述标准化坐标对应的位置,生成过渡美学质量评价表;
对所述过渡美学质量评价表中各评分进行高斯平滑处理以及归一化处理,生成美学质量评价表。
在一个实施例中,所述处理器1001在执行获取至少一张样本图像时,具体执行以下操作:
从图像数据集中选出包含目标物体的图像集合;
获取所述图像集合中各图像的用户评分,删除所述图像集合中用户评分低于评分阈值的图像,得到至少一张样本图像。
在一个实施例中,所述处理器1001在执行获取所述图像集合中各图像的用户评分时,具体执行以下操作:
遍历所述图像集合中的各图像;
获取多个用户对当前遍历到的图像的评分,对所述评分进行加权平均,得到所述图像的用户评分;
直到遍历结束。
在一个实施例中,所述处理器1001在执行获取各所述样本图像的样本中心坐标时,具体执行以下操作:
识别所述样本图像中的目标物体,并采用边框标记所述目标物体;
计算所述边框的中心坐标作为所述样本图像的样本中心坐标。
在一个实施例中,所述处理器1001在执行获取目标图像的物体中心坐标时,具体执行以下操作:
识别所述目标图像中的目标物体,并采用边框标记所述目标物体;
计算所述边框的中心坐标作为所述目标图像的物体中心坐标。
在一个实施例中,所述处理器1001在执行识别所述目标图像中的目标物体时,具体执行以下操作:
若识别到所述目标图像中存在多个目标物体,则选择占比最大的目标物体。
通过本申请实施例提供的技术方案,生成了美学质量评价表,以便于用户要想对目标图像进行美学质量评价时,能够直接通过查询美学质量评价表获得目标图像的美学质量评分,从而减少了获取目标图像的美学质量评分的时间,并且美学质量评价表的评分数据是经过多人评分并加以处理而得到的数据,具有较高的可靠度和认同度,综合上述技术方案,提高了评价图像美学质量算法的实用性和可靠性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (12)
1.一种图像美学质量评价方法,其特征在于,包括:
获取目标图像的物体中心坐标;
基于所述目标图像的第一长宽以及预先生成的美学质量评价表的第二长宽,确定所述物体中心坐标对应的标准化坐标;
基于所述标准化坐标在所述美学质量评价表中查找所述目标图像对应的美学质量评分,所述美学质量评价表包括至少一个标准化坐标对应的美学质量评分。
2.根据权利要求1所述的方法,其特征在于,所述获取目标图像的物体中心坐标之前,还包括:
获取至少一张样本图像,获取各所述样本图像的样本中心坐标;
创建第二长宽的初始美学质量评价表;
基于各所述样本图像的第三长宽以及预先创建的初始美学质量评价表的第二长宽,确定各所述样本中心坐标对应的标准化坐标;
获取各所述样本图像对应的用户评分,基于各所述样本中心坐标对应的标准化坐标以及各所述样本图像对应的用户评分,对所述初始美学质量评价表进行训练,生成美学质量评价表。
3.根据权利要求2所述的方法,其特征在于,所述基于各所述样本中心坐标对应的标准化坐标以及各所述样本图像对应的用户评分,对所述初始美学质量评价表进行训练,生成美学质量评价表,包括:
确定各所述样本中心坐标对应的标准化坐标中的相同标准化坐标,将所述相同标准化坐标对应的各样本图像的用户评分进行叠加;
将叠加后的用户评分以及各所述样本中心坐标对应的标准化坐标中的不同标准化坐标对应的各样本图像的用户评分,分别添加至所述初始美学质量评价表中各所述标准化坐标对应的位置,生成美学质量评价表。
4.根据权利要求3所述的方法,其特征在于,所述将叠加后的用户评分以及各所述样本中心坐标对应的标准化坐标中的不同标准化坐标对应的各样本图像的用户评分,分别添加至所述初始美学质量评价表中各所述标准化坐标对应的位置,生成美学质量评价表,包括:
将叠加后的用户评分以及各所述样本中心坐标对应的标准化坐标中的不同标准化坐标对应的各样本图像的用户评分,分别添加至所述初始美学质量评价表中各所述标准化坐标对应的位置,生成过渡美学质量评价表;
对所述过渡美学质量评价表中各评分进行高斯平滑处理以及归一化处理,生成美学质量评价表。
5.根据权利要求2所述的方法,其特征在于,所述获取至少一张样本图像,包括:
从图像数据集中选出包含目标物体的图像集合;
获取所述图像集合中各图像的用户评分,删除所述图像集合中用户评分低于评分阈值的图像,得到至少一张样本图像。
6.根据权利要求5所述的方法,其特征在于,所述获取所述图像集合中各图像的用户评分,包括:
遍历所述图像集合中的各图像;
获取多个用户对当前遍历到的图像的评分,对所述评分进行加权平均,得到所述图像的用户评分;
直到遍历结束。
7.根据权利要求2所述的方法,其特征在于,所述获取各所述样本图像的样本中心坐标,包括:
识别所述样本图像中的目标物体,并采用边框标记所述目标物体;
计算所述边框的中心坐标作为所述样本图像的样本中心坐标。
8.根据权利要求1所述的方法,其特征在于,所述获取目标图像的物体中心坐标,包括:
识别所述目标图像中的目标物体,并采用边框标记所述目标物体;
计算所述边框的中心坐标作为所述目标图像的物体中心坐标。
9.根据权利要求8所述的方法,其特征在于,所述识别所述目标图像中的目标物体,包括:
若识别到所述目标图像中存在多个目标物体,则选择占比最大的目标物体。
10.一种图像美学质量评价装置,其特征在于,包括:
物体坐标获取模块,用于获取目标图像的物体中心坐标;
物体坐标标准化模块,用于基于所述目标图像的第一长宽以及预先生成的美学质量评价表的第二长宽,确定所述物体中心坐标对应的标准化坐标;
评分查找模块,用于基于所述标准化坐标在所述美学质量评价表中查找所述目标图像对应的美学质量评分,所述美学质量评价表包括至少一个标准化坐标对应的美学质量评分。
11.一种计算机存储介质,其特征在于,所述计算机存储介质有多条指令,所述指令适于由处理器加载并执行如权利要求1~9任意一项的方法步骤。
12.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于所述处理器加载并执行如权利要求1~9任意一项的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111085107.7A CN113838017A (zh) | 2021-09-16 | 2021-09-16 | 图像美学质量评价方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111085107.7A CN113838017A (zh) | 2021-09-16 | 2021-09-16 | 图像美学质量评价方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113838017A true CN113838017A (zh) | 2021-12-24 |
Family
ID=78959467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111085107.7A Pending CN113838017A (zh) | 2021-09-16 | 2021-09-16 | 图像美学质量评价方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113838017A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101448174A (zh) * | 2008-12-26 | 2009-06-03 | 深圳华为通信技术有限公司 | 一种图像质量评价装置和方法 |
CN109639973A (zh) * | 2018-12-21 | 2019-04-16 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 拍摄图像评分方法、评分装置、电子设备及存储介质 |
CN109801256A (zh) * | 2018-12-15 | 2019-05-24 | 华南理工大学 | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 |
CN110968886A (zh) * | 2019-12-20 | 2020-04-07 | 支付宝(杭州)信息技术有限公司 | 机器学习模型的训练样本的筛选方法及其系统 |
CN111144350A (zh) * | 2019-12-30 | 2020-05-12 | 长光卫星技术有限公司 | 一种基于参考底图的遥感影像定位精度评价方法 |
US20210256420A1 (en) * | 2020-02-19 | 2021-08-19 | Microsoft Technology Licensing, Llc | System and method for improving machine learning models by detecting and removing inaccurate training data |
CN113378885A (zh) * | 2021-05-13 | 2021-09-10 | 武汉科技大学 | 一种基于优选图像对的新用户审美偏好标定和分类方法 |
-
2021
- 2021-09-16 CN CN202111085107.7A patent/CN113838017A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101448174A (zh) * | 2008-12-26 | 2009-06-03 | 深圳华为通信技术有限公司 | 一种图像质量评价装置和方法 |
CN109801256A (zh) * | 2018-12-15 | 2019-05-24 | 华南理工大学 | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 |
CN109639973A (zh) * | 2018-12-21 | 2019-04-16 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 拍摄图像评分方法、评分装置、电子设备及存储介质 |
CN110968886A (zh) * | 2019-12-20 | 2020-04-07 | 支付宝(杭州)信息技术有限公司 | 机器学习模型的训练样本的筛选方法及其系统 |
CN111144350A (zh) * | 2019-12-30 | 2020-05-12 | 长光卫星技术有限公司 | 一种基于参考底图的遥感影像定位精度评价方法 |
US20210256420A1 (en) * | 2020-02-19 | 2021-08-19 | Microsoft Technology Licensing, Llc | System and method for improving machine learning models by detecting and removing inaccurate training data |
CN113378885A (zh) * | 2021-05-13 | 2021-09-10 | 武汉科技大学 | 一种基于优选图像对的新用户审美偏好标定和分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109146892B (zh) | 一种基于美学的图像裁剪方法及装置 | |
CN110738101B (zh) | 行为识别方法、装置及计算机可读存储介质 | |
CN108229277B (zh) | 手势识别、手势控制及多层神经网络训练方法、装置及电子设备 | |
CN110110715A (zh) | 文本检测模型训练方法、文本区域、内容确定方法和装置 | |
CN110189246B (zh) | 图像风格化生成方法、装置及电子设备 | |
CN108875537B (zh) | 对象检测方法、装置和系统及存储介质 | |
WO2019140880A1 (zh) | 屏幕录制方法、计算机可读存储介质、终端设备及装置 | |
CN112559800B (zh) | 用于处理视频的方法、装置、电子设备、介质和产品 | |
CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
EP4086786A1 (en) | Video processing method, video searching method, terminal device, and computer-readable storage medium | |
CN112200844A (zh) | 生成图像的方法、装置、电子设备及介质 | |
CN111191553A (zh) | 人脸跟踪方法、装置及电子设备 | |
CN113157956B (zh) | 图片搜索方法、系统、移动终端及存储介质 | |
CN113313066A (zh) | 图像识别方法、装置、存储介质以及终端 | |
CN110197459B (zh) | 图像风格化生成方法、装置及电子设备 | |
CN112087590A (zh) | 图像处理方法、装置、系统及计算机存储介质 | |
CN112381118A (zh) | 一种大学舞蹈考试测评方法及装置 | |
CN110222576B (zh) | 拳击动作识别方法、装置和电子设备 | |
CN109685079B (zh) | 一种特征图像类别信息的生成方法和装置 | |
CN111062388A (zh) | 基于深度学习的广告文字的识别方法、系统、介质及设备 | |
CN113408571B (zh) | 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端 | |
CN113838017A (zh) | 图像美学质量评价方法、装置、存储介质及电子设备 | |
CN116310315A (zh) | 抠图方法、装置、电子设备以及存储介质 | |
CN112862073B (zh) | 一种压缩数据分析方法、装置、存储介质及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |