CN116543004A - 图像裁切方法、装置、终端设备及计算机可读存储介质 - Google Patents
图像裁切方法、装置、终端设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116543004A CN116543004A CN202310813474.7A CN202310813474A CN116543004A CN 116543004 A CN116543004 A CN 116543004A CN 202310813474 A CN202310813474 A CN 202310813474A CN 116543004 A CN116543004 A CN 116543004A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- face
- cut
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000001514 detection method Methods 0.000 claims abstract description 226
- 238000009966 trimming Methods 0.000 claims description 361
- 230000003321 amplification Effects 0.000 claims description 38
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 32
- 230000007717 exclusion Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004883 computer application Methods 0.000 abstract description 2
- 210000000887 face Anatomy 0.000 description 160
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本申请适用于计算机应用技术领域,提供了一种图像裁切方法、装置、终端设备及计算机可读存储介质,该方法包括:对待裁切图像进行人脸检测及显著性主体检测,以生成待裁切图像对应的人脸检测结果及显著性主体检测结果;根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,确定多个裁切框;根据每个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像;对每个候选裁切图像进行美学评分,以确定每个候选裁切图像的美学评分;根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。由此,提升了裁切后图像的美感,提升了用户体验。
Description
技术领域
本申请属于计算机应用技术领域,尤其涉及一种图像裁切方法、装置、终端设备及计算机可读存储介质。
背景技术
随着手机、平板电脑、智能手表等终端设备在人们的生活中发挥着越来越重要的作用,终端设备的屏幕显示内容也承载着越来越多的功能,用户对屏幕内容的美观性的要求也越来越高。其中,采用终端设备相册中的图像作为屏幕卡片或者壁纸等,成为用户的一种普遍选择。
相关技术中,由于终端设备的屏幕尺寸、卡片大小的限制,可能无法完全地展示图像,因此,需要对图像按照一定宽高比进行裁切。然而,现有的裁切方法往往没有考虑到裁切后图像的构图,从而导致裁切后的图像展示美感下降,影响了用户的使用体验。
发明内容
本申请实施例提供了一种图像裁切方法、装置、终端设备及计算机可读存储介质,可以解决现有的裁切方法往往没有考虑到裁切后图像的构图,从而导致裁切后的图像展示美感下降,影响了用户的使用体验的问题。
第一方面,本申请实施例提供了一种图像裁切方法,包括:获取待裁切图像、所述待裁切图像的尺寸及目标裁切图像对应的目标宽高比;对待裁切图像进行人脸检测及显著性主体检测,以生成待裁切图像对应的人脸检测结果及显著性主体检测结果;根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,确定待裁切图像对应的多个裁切框,其中,每个裁切框的宽高比为目标宽高比;根据每个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像;对每个候选裁切图像进行美学评分,以确定每个候选裁切图像的美学评分;根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。
在第一方面的一种可能的实现方式中,上述根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像,包括:
将美学评分最高的候选裁切图像,确定为第一候选裁切图像;
在第一候选裁切图像的美学评分大于或等于第一阈值时,将第一候选裁切图像,确定为目标裁切图像;
在第一候选裁切图像的美学评分小于第一阈值时,根据第一裁切规则对待裁切图像进行二次裁切,以确定目标裁切框;
根据目标裁切框对待裁切图像进行裁切处理,以生成目标裁切图像。
可选的,在第一方面另一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量小于或等于第一预设值时,每个人脸对应一个人脸框,上述第一裁切规则为第一滑动窗规则;相应的,上述根据第一裁切规则对待裁切图像进行二次裁切,以确定目标裁切框,包括:
将待裁切图像的短边边长作为第一裁切框的第一边长,其中,短边包括第一短边及第二短边,第一短边为第二短边的对边;
根据第一边长及目标宽高比,确定第一裁切框的第二边长;
将第一裁切框的第一边长对应的任意一边与第一短边重合,以确定第一裁切框的第一初始位置;
按照第一步长,将第一裁切框从第一初始位置向第二短边方向滑动,并将第一次完全包络各个人脸框的第一裁切框,确定为目标裁切框。
可选的,在第一方面再一种可能的实现方式中,上述人脸检测结果为待裁切图像中包含的人脸数量大于第一预设值时,上述第一裁切规则为第一中心规则;相应的,上述根据第一裁切规则对待裁切图像进行二次裁切,以确定目标裁切框,包括:
将以待裁切图像的中心点为中心点、宽高比为目标宽高比且尺寸最大的裁切框,确定为目标裁切框。
可选的,在第一方面又一种可能的实现方式中,上述预设构图规则包括中心规则、三分线规则及颅顶线六分之一规则中的至少一种,其中,上述中心规则是指图像中的关注对象处于图像中心位置的构图规则,上述三分线规则是指图像中的关注对象处于图像的三分线交点处的构图规则,上述颅顶线六分之一规则是指图像中的关注人脸对象的颅顶线处于图像的上六分线处的构图规则;其中,上述图像的三分线是指将图像的宽和高三等分的四条直线,上述图像的上六分线是指将图像的高六等分的五条直线中最接近图像的上边缘的直线。
可选的,在第一方面又一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为1时;相应的,上述根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,确定待裁切图像对应的多个裁切框之前,还包括:
在目标宽高比小于或等于第二阈值,且待裁切图像为远景图像时,将预设构图规则确定为中心规则、三分线规则中的至少一种;
在目标宽高比小于或等于第二阈值,且待裁切图像为近景图像时,将预设构图规则确定为中心规则、颅顶线六分之一规则中的至少一种;
在目标宽高比大于第二阈值时,将预设构图规则确定为中心规则、三分线规则、颅顶线六分之一规则中的至少一种。
可选的,在第一方面另一种可能的实现方式中,上述人脸检测结果中包括待裁切图像中包含的人脸数量及每个人脸对应的人脸框位置,上述显著性主体检测结果中包括待裁切图像中包含的显著性主体数量及显著性主体对应的二值蒙版图像;相应的,上述根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,确定待裁切图像对应的多个裁切框,包括:
在人脸检测结果为待裁切图像中包含至少一个人脸时,根据各个人脸框位置,确定人脸锚点;
根据各个人脸框位置或待裁切图像的尺寸,以及目标宽高比、人脸锚点及预设构图规则,确定第一最小裁切框;
根据第二步长对第一最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框;
在显著性主体检测结果为待裁切图像中包含至少一个显著性主体时,根据二值蒙版图像确定待裁切图像中包含的最大显著性主体;
确定最大显著性主体的主体质心,并将最大显著性主体的主体质心确定为主体锚点;
根据待裁切图像的尺寸、目标宽高比、主体锚点及预设构图规则,确定第二最小裁切框;
根据第二步长对第二最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框。
可选的,在第一方面再一种可能的实现方式中,上述根据二值蒙版图像确定待裁切图像中包含的最大显著性主体,包括:
根据二值蒙版图像,确定每个显著性主体对应的连通域面积;
在脸检测结果为待裁切图像中包含至少一个人脸时,将包含人脸且连通域面积最大的显著性主体,确定为最大显著性主体;
在脸检测结果为待裁切图像中包含的人脸数量为0时,将连通域面积最大且连通域面积大于第三阈值的显著性主体,确定为最大显著性主体。
可选的,在第一方面又一种可能的实现方式中,上述根据待裁切图像的尺寸、目标宽高比、主体锚点及预设构图规则,确定第二最小裁切框,包括:
在预设构图规则包括中心规则时,将主体锚点作为第二最小裁切框的几何中心、将目标宽高比作为第二最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第二最小裁切框的尺寸,以确定第二最小裁切框;
在预设构图规则包括所述三分线规则时,将主体锚点分别作为第二最小裁切框的至少一个三分线交点、将目标宽高比作为第二最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第二最小裁切框的尺寸,以确定至少一个第二最小裁切框。
可选的,在第一方面又一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为1时,相应的,上述根据各个人脸框位置,确定人脸锚点,包括:
根据人脸对应的人脸框位置,确定人脸的几何中心;
将人脸的几何中心,确定为人脸锚点。
可选的,在第一方面另一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为1时,相应的 ,上述根据各个人脸框位置或待裁切图像的尺寸,以及目标宽高比、人脸锚点及预设构图规则,确定第一最小裁切框,包括:
在预设构图规则包括中心规则时,将几何中心为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;
在预设构图规则包括三分线规则,且目标宽高比小于或等于第二阈值时,将上三分线的中点为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的所述最小裁切框,确定为第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括三分线规则,且目标宽高比大于第二阈值时,将任一三分线交点为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框中的至少一个,确定为第一最小裁切框;
在预设构图规则包括颅顶线六分之一规则,且目标宽高比小于或等于所述第二阈值时,将横轴中线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框,其中,横轴中线是指将裁切框的宽二等分的直线;
在预设构图规则包括颅顶线六分之一规则,且目标宽高比大于第二阈值时,将横轴中线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为所述目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;和/或,将左三分线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;和/或,将右三分线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;其中,左三分线是指将裁切框的宽三等分的两条直线中最接近裁切框的左边缘的直线,右三分线是指将裁切框的宽三等分的两条直线中最接近裁切框的右边缘的直线。
可选的,在第一方面再一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量大于1时,相应的,上述根据各个人脸框位置,确定人脸锚点,包括:
根据各个人脸框的位置,将在待裁切图像的宽度方向上居中的至少一个人脸,确定为参考人脸;
根据各个参考人脸对应的人脸框位置,确定人脸锚点。
可选的,在第一方面又一种可能的实现方式中,上述根据各个人脸框的位置,将在待裁切图像的宽度方向上居中的至少一个人脸,确定为参考人脸,包括:
在人脸检测结果为待裁切图像中包含的人脸数量为2时,将待裁切图像中包含的两个人脸,确定为参考人脸;
在人脸检测结果为待裁切图像中包含的人脸数量为大于2的奇数时,将在待裁切图像的宽度方向上居中的人脸,确定为参考人脸;
在人脸检测结果为待裁切图像中包含的人脸数量为大于2的偶数时,将在待裁切图像的宽度方向上居中的两个人脸,确定为参考人脸。
可选的,在第一方面又一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为偶数时,上述人脸锚点包括第一人脸锚点和/或第二人脸锚点;相应的,上述根据各个参考人脸对应的人脸框位置,确定人脸锚点,包括:
在预设构图规则包括中心规则或三分线规则时,根据两个参考人脸对应的人脸框位置,分别确定两个参考人脸对应的几何中心;
将两个参考人脸对应的几何中心连线的中点,确定为第一人脸锚点;
在预设构图规则包括颅顶线六分之一规则时,根据两个参考人脸对应的人脸框位置,分别确定两个参考人脸对应的几何中心及人脸框上边缘位置;
根据两个参考人脸对应的几何中心和/或人脸框上边缘位置,确定第二人脸锚点。
可选的,在第一方面另一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为大于1的奇数时,上述人脸锚点包括第一人脸锚点和/或第二人脸锚点;相应的,上述根据各个参考人脸对应的人脸框位置,确定人脸锚点,包括:
在预设构图规则包括中心规则或三分线规则时,根据参考人脸对应的人脸框位置,确定参考人脸对应的几何中心;
将参考人脸对应的几何中心,确定为第一人脸锚点;
在预设构图规则包括颅顶线六分之一规则时,根据参考人脸对应的人脸框位置,确定参考人脸对应的人脸框上边缘中点;
将参考人脸对应的人脸框上边缘中点,确定为第二人脸锚点。
可选的,在第一方面再一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为2时,相应的,上述根据各个人脸框位置或待裁切图像的尺寸,以及目标宽高比、人脸锚点及预设构图规则,确定第一最小裁切框,包括:
在预设构图规则包括中心规则时,将几何中心为第一人脸锚点、宽高比为目标宽高比、且完全包络各个人脸框的最小裁切框,确定为第一最小裁切框;
在预设构图规则包括三分线规则时,将上三分线的中点为第一人脸锚点、宽高比为目标宽高比、且完全包络各个人脸框的最小裁切框,确定为第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括颅顶线六分之一规则时,将上六分线的中点为第二人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框。
可选的,在第一方面又一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量大于2时,相应的,上述根据各个人脸框位置或待裁切图像的尺寸,以及目标宽高比、人脸锚点及预设构图规则,确定第一最小裁切框,包括:
在预设构图规则包括中心规则时,将第一人脸锚点确定为第一最小裁切框的几何中心、将目标宽高比确定为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框;
在预设构图规则包括三分线规则时,将第一人脸锚点确定为第一最小裁切框的上三分线的中点、将目标宽高比确定为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括颅顶线六分之一规则时,将第二人脸锚点作为第一最小裁切框的上六分线的中点、将目标宽高比作为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框。
可选的,在第一方面又一种可能的实现方式中,上述根据每个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像之前,还包括:
根据预设排除规则,对各个裁切框进行筛选处理,以将满足预设排除规则的各个裁切框删除。
可选的,在第一方面另一种可能的实现方式中,上述预设排除规则包括以下规则中的至少一种:裁切框未完全包络待裁切图像中的各个人脸对应的人脸框、裁切框未完全包络待裁切图像对应的主体包络框的预设边缘、裁切框的任一边缘穿过任一人脸对应的人脸框,其中,主体包络框是指包含待裁切图像中的显著性主体的最小外接矩形。
可选的,在第一方面再一种可能的实现方式中,上述根据预设排除规则,对各个裁切框进行筛选处理,以将满足预设排除规则的各个裁切框删除之后,还包括:
在各个裁切框均被删除时,根据第二裁切规则及目标宽高比,重新确定多个裁切框。
可选的,在第一方面又一种可能的实现方式中,上述第二裁切规则包括第二中心规则及第二滑动窗规则中的至少一种。
可选的,在第一方面又一种可能的实现方式中,上述第二裁切规则包括第二中心规则;相应的,上述根据第二裁切规则及目标宽高比,重新确定多个裁切框,包括:
将待裁切图像的中心点确定为第一初始裁切框的几何中心、将目标宽高比确定为第一初始裁切框的宽高比,以生成第一初始裁切框;
根据第三步长对第一初始裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框。
可选的,在第一方面另一种可能的实现方式中,上述第二裁切规则包括第二滑动窗规则;相应的,上述根据第二裁切规则及目标宽高比,重新确定多个裁切框,包括:
将待裁切图像的短边边长作为第二初始裁切框的第三边长,其中,短边包括第一短边及第二短边,第一短边为第二短边的对边;
根据第三边长及目标宽高比,确定第二初始裁切框的第四边长;
将第二初始裁切框的第三边长对应的任意一边与第一短边重合,以确定第二初始裁切框的第二初始位置;
按照第四步长,将第二初始裁切框从第二初始位置向第二短边方向滑动,并将每次滑动后的结果确定为一个裁切框,以确定多个裁切框。
可选的,在第一方面再一种可能的实现方式中,上述对每个候选裁切图像及待裁切图像进行美学评分,以确定每个候选裁切图像的美学评分及待裁切图像的美学评分之前,还包括:
确定各个候选裁切图像中每两个候选裁切图像之间的相似度;
根据每两个候选裁切图像之间的相似度,对各个候选裁切图像进行筛选处理。
第二方面,本申请实施例提供了一种图像裁切装置,包括:第一获取模块,用于获取待裁切图像、待裁切图像的尺寸及目标裁切图像对应的目标宽高比;第一检测模块,用于对待裁切图像进行人脸检测及显著性主体检测,以生成待裁切图像对应的人脸检测结果及显著性主体检测结果;第一确定模块,用于根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,确定待裁切图像对应的多个裁切框,其中,每个裁切框的宽高比为目标宽高比;第一裁切模块,用于根据每个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像;第二确定模块,用于对每个候选裁切图像进行美学评分,以确定每个候选裁切图像的美学评分;第三确定模块,用于根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。
在第二方面的一种可能的实现方式中,上述第三确定模块,包括:
第一确定单元,用于将美学评分最高的候选裁切图像,确定为第一候选裁切图像;
第二确定单元,用于在第一候选裁切图像的美学评分大于或等于第一阈值时,将第一候选裁切图像,确定为目标裁切图像;
第三确定单元,用于在第一候选裁切图像的美学评分小于第一阈值时,根据第一裁切规则对待裁切图像进行二次裁切,以确定目标裁切框;
第一裁切单元,用于根据目标裁切框对待裁切图像进行裁切处理,以生成目标裁切图像。
可选的,在第二方面另一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量小于或等于第一预设值时,每个人脸对应一个人脸框,上述第一裁切规则为第一滑动窗规则;相应的,上述第三确定单元,具体用于:
将待裁切图像的短边边长作为第一裁切框的第一边长,其中,短边包括第一短边及第二短边,第一短边为第二短边的对边;
根据第一边长及目标宽高比,确定第一裁切框的第二边长;
将第一裁切框的第一边长对应的任意一边与第一短边重合,以确定第一裁切框的第一初始位置;
按照第一步长,将第一裁切框从第一初始位置向第二短边方向滑动,并将第一次完全包络各个人脸框的第一裁切框,确定为目标裁切框。
可选的,在第二方面再一种可能的实现方式中,上述人脸检测结果为待裁切图像中包含的人脸数量大于第一预设值时,上述第一裁切规则为第一中心规则;相应的,上述第三确定单元,还用于:
将以待裁切图像的中心点为中心点、宽高比为目标宽高比且尺寸最大的裁切框,确定为目标裁切框。
可选的,在第二方面又一种可能的实现方式中,上述预设构图规则包括中心规则、三分线规则及颅顶线六分之一规则中的至少一种,其中,上述中心规则是指图像中的关注对象处于图像中心位置的构图规则,上述三分线规则是指图像中的关注对象处于图像的三分线交点处的构图规则,上述颅顶线六分之一规则是指图像中的关注人脸对象的颅顶线处于图像的上六分线处的构图规则;其中,上述图像的三分线是指将图像的宽和高三等分的四条直线,上述图像的上六分线是指将图像的高六等分的五条直线中最接近图像的上边缘的直线。
可选的,在第二方面又一种可能的实现方式中,上述装置,还包括:
第四确定模块,用于在目标宽高比小于或等于第二阈值,且待裁切图像为远景图像时,将预设构图规则确定为中心规则、三分线规则中的至少一种;
第五确定模块,用于在目标宽高比小于或等于第二阈值,且待裁切图像为近景图像时,将预设构图规则确定为中心规则、颅顶线六分之一规则中的至少一种;
第六确定模块,用于在目标宽高比大于第二阈值时,将预设构图规则确定为中心规则、三分线规则、颅顶线六分之一规则中的至少一种。
可选的,在第二方面另一种可能的实现方式中,上述人脸检测结果中包括待裁切图像中包含的人脸数量及每个人脸对应的人脸框位置,上述显著性主体检测结果中包括待裁切图像中包含的显著性主体数量及显著性主体对应的二值蒙版图像;相应的,上述第一确定模块,包括:
第四确定单元,用于在人脸检测结果为待裁切图像中包含至少一个人脸时,根据各个人脸框位置,确定人脸锚点;
第五确定单元,用于根据各个人脸框位置或待裁切图像的尺寸,以及目标宽高比、人脸锚点及预设构图规则,确定第一最小裁切框;
第六确定单元,用于根据第二步长对第一最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框;
第七确定单元,用于在显著性主体检测结果为待裁切图像中包含至少一个显著性主体时,根据二值蒙版图像确定待裁切图像中包含的最大显著性主体;
第八确定单元,用于确定最大显著性主体的主体质心,并将最大显著性主体的主体质心确定为主体锚点;
第九确定单元,用于根据待裁切图像的尺寸、目标宽高比、主体锚点及预设构图规则,确定第二最小裁切框;
第十确定单元,用于根据第二步长对第二最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框。
可选的,在第二方面再一种可能的实现方式中,上述第七确定单元,具体用于:
根据二值蒙版图像,确定每个显著性主体对应的连通域面积;
在脸检测结果为待裁切图像中包含至少一个人脸时,将包含人脸且连通域面积最大的显著性主体,确定为最大显著性主体;
在脸检测结果为待裁切图像中包含的人脸数量为0时,将连通域面积最大且连通域面积大于第三阈值的显著性主体,确定为最大显著性主体。
可选的,在第二方面又一种可能的实现方式中,上述第九确定单元,具体用于:
在预设构图规则包括中心规则时,将主体锚点作为第二最小裁切框的几何中心、将目标宽高比作为第二最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第二最小裁切框的尺寸,以确定第二最小裁切框;
在预设构图规则包括所述三分线规则时,将主体锚点分别作为第二最小裁切框的至少一个三分线交点、将目标宽高比作为第二最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第二最小裁切框的尺寸,以确定至少一个第二最小裁切框。
可选的,在第二方面又一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为1时,相应的,上述第四确定单元,具体用于:
根据人脸对应的人脸框位置,确定人脸的几何中心;
将人脸的几何中心,确定为人脸锚点。
可选的,在第二方面另一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为1时,相应的 ,上述第五确定单元,具体用于:
在预设构图规则包括中心规则时,将几何中心为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;
在预设构图规则包括三分线规则,且目标宽高比小于或等于第二阈值时,将上三分线的中点为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的所述最小裁切框,确定为第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括三分线规则,且目标宽高比大于第二阈值时,将任一三分线交点为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框中的至少一个,确定为第一最小裁切框;
在预设构图规则包括颅顶线六分之一规则,且目标宽高比小于或等于所述第二阈值时,将横轴中线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框,其中,横轴中线是指将裁切框的宽二等分的直线;
在预设构图规则包括颅顶线六分之一规则,且目标宽高比大于第二阈值时,将横轴中线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为所述目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;和/或,将左三分线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;和/或,将右三分线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;其中,左三分线是指将裁切框的宽三等分的两条直线中最接近裁切框的左边缘的直线,右三分线是指将裁切框的宽三等分的两条直线中最接近裁切框的右边缘的直线。
可选的,在第二方面再一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量大于1时,相应的,上述第四确定单元,还用于:
根据各个人脸框的位置,将在待裁切图像的宽度方向上居中的至少一个人脸,确定为参考人脸;
根据各个参考人脸对应的人脸框位置,确定人脸锚点。
可选的,在第二方面又一种可能的实现方式中,上述第四确定单元,还用于:
在人脸检测结果为待裁切图像中包含的人脸数量为2时,将待裁切图像中包含的两个人脸,确定为参考人脸;
在人脸检测结果为待裁切图像中包含的人脸数量为大于2的奇数时,将在待裁切图像的宽度方向上居中的人脸,确定为参考人脸;
在人脸检测结果为待裁切图像中包含的人脸数量为大于2的偶数时,将在待裁切图像的宽度方向上居中的两个人脸,确定为参考人脸。
可选的,在第二方面又一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为偶数时,上述人脸锚点包括第一人脸锚点和/或第二人脸锚点;相应的,上述第四确定单元,还用于:
在预设构图规则包括中心规则或三分线规则时,根据两个参考人脸对应的人脸框位置,分别确定两个参考人脸对应的几何中心;
将两个参考人脸对应的几何中心连线的中点,确定为第一人脸锚点;
在预设构图规则包括颅顶线六分之一规则时,根据两个参考人脸对应的人脸框位置,分别确定两个参考人脸对应的几何中心及人脸框上边缘位置;
根据两个参考人脸对应的几何中心和/或人脸框上边缘位置,确定第二人脸锚点。
可选的,在第二方面另一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为大于1的奇数时,上述人脸锚点包括第一人脸锚点和/或第二人脸锚点;相应的,上述第四确定单元,还用于:
在预设构图规则包括中心规则或三分线规则时,根据参考人脸对应的人脸框位置,确定参考人脸对应的几何中心;
将参考人脸对应的几何中心,确定为第一人脸锚点;
在预设构图规则包括颅顶线六分之一规则时,根据参考人脸对应的人脸框位置,确定参考人脸对应的人脸框上边缘中点;
将参考人脸对应的人脸框上边缘中点,确定为第二人脸锚点。
可选的,在第二方面再一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为2时,相应的,上述第五确定单元,还用于:
在预设构图规则包括中心规则时,将几何中心为第一人脸锚点、宽高比为目标宽高比、且完全包络各个人脸框的最小裁切框,确定为第一最小裁切框;
在预设构图规则包括三分线规则时,将上三分线的中点为第一人脸锚点、宽高比为目标宽高比、且完全包络各个人脸框的最小裁切框,确定为第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括颅顶线六分之一规则时,将上六分线的中点为第二人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框。
可选的,在第二方面又一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量大于2时,相应的,上述第五确定单元,还用于:
在预设构图规则包括中心规则时,将第一人脸锚点确定为第一最小裁切框的几何中心、将目标宽高比确定为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框;
在预设构图规则包括三分线规则时,将第一人脸锚点确定为第一最小裁切框的上三分线的中点、将目标宽高比确定为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括颅顶线六分之一规则时,将上六分线的中点为将第二人脸锚点作为第一最小裁切框的上六分线的中点、将目标宽高比作为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框。
可选的,在第二方面又一种可能的实现方式中,上述装置,还包括:
第一删除模块,用于根据预设排除规则,对各个裁切框进行筛选处理,以将满足预设排除规则的各个裁切框删除。
可选的,在第二方面另一种可能的实现方式中,上述预设排除规则包括以下规则中的至少一种:裁切框未完全包络待裁切图像中的各个人脸对应的人脸框、裁切框未完全包络待裁切图像对应的主体包络框的预设边缘、裁切框的任一边缘穿过任一人脸对应的人脸框,其中,主体包络框是指包含待裁切图像中的显著性主体的最小外接矩形。
可选的,在第二方面再一种可能的实现方式中,上述装置,还包括:
第七确定模块,用于在各个裁切框均被删除时,根据第二裁切规则及目标宽高比,重新确定多个裁切框。
可选的,在第二方面又一种可能的实现方式中,上述第二裁切规则包括第二中心规则及第二滑动窗规则中的至少一种。
可选的,在第二方面又一种可能的实现方式中,上述第二裁切规则包括第二中心规则;相应的,上述第七确定模块,包括:
第十一确定单元,用于将待裁切图像的中心点确定为第一初始裁切框的几何中心、将目标宽高比确定为第一初始裁切框的宽高比,以生成第一初始裁切框;
第十二确定单元,用于根据第三步长对第一初始裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框。
可选的,在第二方面另一种可能的实现方式中,上述第二裁切规则包括第二滑动窗规则;相应的,上述第七确定模块,还包括:
第十三确定单元,用于将待裁切图像的短边边长作为第二初始裁切框的第三边长,其中,短边包括第一短边及第二短边,第一短边为第二短边的对边;
第十四确定单元,用于根据第三边长及目标宽高比,确定第二初始裁切框的第四边长;
第十五确定单元,用于将第二初始裁切框的第三边长对应的任意一边与第一短边重合,以确定第二初始裁切框的第二初始位置;
第十六确定单元,用于按照第四步长,将第二初始裁切框从第二初始位置向第二短边方向滑动,并将每次滑动后的结果确定为一个裁切框,以确定多个裁切框。
可选的,在第二方面再一种可能的实现方式中,上述装置,还包括:
第八确定模块,用于确定各个候选裁切图像中每两个候选裁切图像之间的相似度;
第一筛选模块,用于根据每两个候选裁切图像之间的相似度,对各个候选裁切图像进行筛选处理。
第三方面,本申请实施例提供了一种终端设备,包括:存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,其中,处理器执行计算机程序时实现如前所述的图像裁切方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如前所述的图像裁切方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行如前所述的图像裁切方法。
本申请实施例与现有技术相比存在的有益效果是:通过对待裁切图像进行人脸检测及显著性主体检测,并根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,对待裁切图像进行裁切处理,以生成多个候选裁切图像,之后对每个候选裁切图像进行美学评分,进而根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。由此,通过在裁切图像时参考原图像的人脸检测结果及显著性主体检测结果,以使裁切后的图像能够在符合目标宽高比的同时尽可能完整包含原图像中的人脸或显著性主体,并在裁切时利用预设的构图规则以及通过对多个裁切结果进行美学评分,提升裁切后图像的构图美感,从而提升了裁切后图像的展示美感,提升了用户的使用体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的图像裁切方法的流程示意图;
图2是本申请一实施例提供的一种图像示意图;
图3A和图3B是本申请一实施例提供的一种对图像进行显著性主体检测的示意图;
图4是本申请一实施例提供的一种图像的显示示意图;
图5是本申请一实施例提供的另一种图像的显示示意图;
图6是本申请一实施例提供的中心规则的示意图;
图7是本申请一实施例提供的三分线规则的示意图;
图8是本申请一实施例提供的颅顶线六分之一规则的示意图;
图9是本申请另一实施例提供的图像裁切方法的流程示意图;
图10是本申请一实施例提供的对最小裁切框进行等比例放大的示意图;
图11是本申请再一实施例提供的图像裁切方法的流程示意图;
图12是本申请又一实施例提供的图像裁切方法的流程示意图;
图13是本申请实施例提供的图像裁切装置的结构示意图;
图14是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件] ”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件] ”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、 “第二”、 “第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、 “在一些实施例中”、 “在其他一些实施例中”、 “在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、 “包含”、 “具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
下面参考附图对本申请提供的图像裁切方法、装置、终端设备、存储介质及计算机程序进行详细描述。
图1示出了本申请实施例提供的一种图像裁切方法的流程示意图。
步骤101,获取待裁切图像、待裁切图像的尺寸及目标裁切图像对应的目标宽高比。
需要说明的是,本申请实施例的图像裁切方法可以由本申请实施例的图像裁切装置执行。本申请实施例的图像裁切装置可以配置在任意终端设备中,以执行本申请实施例的图像裁切方法。比如,本申请实施例的图像裁切装置可以配置在手机、电脑、可穿戴式设备等终端设备中,以实现用户在各种应用场景中的图像裁切功能。
其中,待裁切图像,可以是指当前需要裁切后在终端设备中展示的图像。需要说明的是,待裁切图像可以是用户根据实际的应用需求从终端设备的相册中选择的,也可以是终端设备根据用户的使用需求根据默认规则选择的图像。
举例来说,用户当前需要设置屏保,则待裁切图像可以是用户从终端设备的相册中选择的、用于作为屏保的图像;又如,用户当前需要设置屏幕中某个卡片的背景图像,则待裁切图像可以是用户从终端设备的相册中选择的、用于作为该卡片的背景图像的图像。又如,在用户设置屏保或卡片时,未手动选择相应的图像,则终端设备可以根据默认规则选择默认图像生成屏保或卡片的背景图像,即将默认图像作为待裁切图像;又如,用户在终端设备中浏览图像时,若该图像的尺寸与终端设备的屏幕显示尺寸不一致,也可以将该图像作为待裁切图像,以对该图像进行裁切后再进行显示,以匹配终端设备的屏幕显示尺寸。
其中,待裁切图像的尺寸,可以包括待裁切图像的宽度与高度。需要说明的是,待裁切图像的宽度与高度的单位可以是像素(pix),在本申请中提及的待裁切图像的宽度可以是指待裁切图像在横向长度中对应的像素数,待裁切图像的高度可以是指待裁切图像在竖向长度中对应的像素数。如图2所示的图像,该图像的宽度为a,高度为b。
其中,目标裁切图像,可以是指对待裁切图像裁切完成后生成的图像;目标裁切图像对应的目标宽高比,可以是指目标裁切图像对应的宽度与高度的比值。比如,目标裁切图像的宽度为m,高度为n,则目标宽高比可以为m/n。
在本申请实施例中,可以在需要进行图像裁切的应用场景中,将用户选择或者系统选择的图像作为待裁切图像,并从待裁切图像对应的图像信息中获取待裁切图像的尺寸,并根据当前的应用场景确定目标宽高比。
举例来说,在用户设置屏保时,可以将用户从相册中选择的图像作为待裁切图像,并从相册中存储的待裁切图像中获取待裁切图像的尺寸,进而将终端设备的宽高比作为目标宽高比。
需要说明的是,上述举例说明的应用场景仅为示例性的,不能视为对本申请的限制。实际使用时,本申请实施例的图像裁切方法可以应用在任意需要对图像进行裁切的场景中。另外,如果根据待裁切图像的尺寸确定待裁切图像的宽高比与目标宽高比相同,则无需对待裁切图像进行裁切;即可以在待裁切图像的宽高比与目标宽高比不同时,再对待裁切图像进行裁切。
步骤102,对待裁切图像进行人脸检测及显著性主体检测,以生成待裁切图像对应的人脸检测结果及显著性主体检测结果。
其中,人脸检测结果,可以包括待裁切图像中包含的人脸数量、各个人脸对应的人脸框位置等信息。
作为一种可能实现方式,人脸框可以为矩形,人脸框位置可以由人脸框的四个顶点在待裁切图像中的坐标表示。
需要说明的是,上述举例仅为示例性的,不能视为对本申请的限制。实际使用时,可以根据实际需要及具体的应用场景,选择人脸框的具体表现形式,以及人脸框位置的表示方式,本申请实施例对此不做限定。
其中,显著性主体检测结果,可以包括待裁切图像中包含的显著性主体数量、及待裁切图像中的显著性主体对应的二值蒙版图像。如图3A和图3B所示,其中,图3A为待裁切图像,图3B为对待裁切图像进行显著性物体检测之后生成的二值蒙版图像。
在本申请实施例中,由于图像中的人脸、显著性主体等主要内容的完整性、在图像中的位置等,可以直接应用图像的美感,因此可以对待裁切图像进行人脸检测及显著性主体检测,以根据待裁切图像的人脸检测结果及显著性主体检测结果,对待裁切图像进行裁切,以使裁切后的目标裁切图像能够尽可能的保证待裁切图像中人脸、显著性主体等主要内容的完整性,以及位置合理性,以提升目标裁切图像的构图美感。
需要说明的是,实际使用时,可以根据实际需要及具体的应用场景,确定对待裁切图像进行人脸检测的人脸检测算法,以及对待裁切图像进行显著性主体检测的显著性主体检测算法,本申请实施例对此不做限定。比如,人脸检测算法可以为基于模板的人脸检测算法、基于奇异值分解的人脸检测算法、基于深度学习的人脸检测算法等,显著性主体检测算法可以为基于图像内部线索的方法、基于图像外部线索的方法、基于深度学习的方法等。
步骤103,根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,确定待裁切图像对应的多个裁切框,其中,每个裁切框的宽高比为目标宽高比。
其中,预设构图规则,可以包括中心规则、三分线规则及颅顶线六分之一规则中的至少一种。其中,中心规则,可以是指图像中的关注对象处于图像中心位置的构图规则;三分线规则,可以是指图像中的关注对象处于图像的三分线交点处的构图规则;颅顶线六分之一规则,可以是指图像中的关注人脸对象的颅顶线处于图像的上六分线处的构图规则;其中,图像的三分线是指将图像的宽和高三等分的四条直线,图像的上六分线是指将图像的高六等分的五条直线中最接近图像的上边缘的直线。
需要说明的是,在本申请实施例中,在图像中包含人脸、人体时,图像中的关注对象可以包括图像中的人脸、人体等;在图像中未包含人脸、人体时,图像中的关注对象可以是根据图像内容识别出的、人眼关注的其他显著性主体,如车辆、动物、植物,等等,本申请实施例对此不做限定。另外,在本申请实施例中,上边缘可以是指图像中图像内容的显示方向与人眼的观察方向一致时,图像最上方的边界线;下边缘可以是指图像中图像内容的显示方向与人眼的观察方向一致时,图像最下方的边界线;左边缘可以是指图像中图像内容的显示方向与人眼的观察方向一致时,图像最左侧的边界线;右边缘可以是指图像中图像内容的显示方向与人眼的观察方向一致时,图像最右侧的边界线。本申请中提及的裁剪框的上边缘、下边缘、左边缘及右边缘的定义也与上述定义相同。如图4所示,在图像如图4所示显示时,图像的上边缘是指410,下边缘是指420,左边缘是指430,右边缘是指440;在图像如图5所示显示时,图像的上边缘是指510,下边缘是指520,左边缘是指530,右边缘是指540。
作为一种可能的实现方式,在待裁切图像的默认显示方向与人眼观察方向不一致时,还可以对待裁切图像进行旋转,以使待裁切图像的显示方向与人眼观察方向一致,并将旋转后的待裁切图像在横向方向上的长度作为待裁切图像的宽,在竖向方向上的长度作为待裁切图像的高,再进行本申请实施例的裁切处理。
下面结合附图对本申请实施例涉及的各个预设构图规则进行解释说明:如图6所示,为中心规则的示意图,图像600中的关注对象610处于图像600的中心位置,其中,直线620为将图像600的宽二等分的直线,直线630为将图像600的高二等分的直线,直线620与直线630的交点为图像600的中心点640。如图7所示,为三分线规则的示意图,图像700中的关注对象710处于图像700的其中一个三分线交点760处,其中,直线720、730为将图像700的宽三等分的直线,直线740、750为将图像700的高三等分的直线,直线730与直线750的交点为图像700的一个三分线交点760。如图8所示,为颅顶线六分之一规则的示意图,图像800中的关注对象,即人脸810的颅顶线处于图像800的上六分线860处,其中,直线820、830为将图像800的宽三等分的直线,直线840、850为将图像800的高三等分的直线,直线860是将直线840与图像800上边缘之间的高度三等分的直线,即将图像800的高六等分的直线中最靠近图像800的上边缘的直线。
需要说明的是,上述预设构图规则可以提升图像的美感,因此在对待裁切图像进行裁切时,利用上述预设构图规则中的一种或多种生成裁切框,可以提升目标裁切图像的构图美感。
作为一种可能的实现方式,在人脸检测结果为待裁切图像中包含的人脸数量大于或等于1时,即待裁切图像中包含人脸,则可以根据预设构图规则及人脸检测结果中各个人脸框的位置,生成人脸锚点,并将目标宽高比确定为裁切框的宽高比,之后生成多个宽高比为目标宽高比的裁切框,并根据预设构图规则确定人脸锚点与裁切框的相对位置关系,以使裁切框中包含的人脸部分与裁切框之间的位置关系可以符合预设构图规则;并且各个裁切框的尺寸均小于或等于待裁切图像的尺寸,即各个裁切框的高度均小于或等于待裁切图像的高度,且各个裁切框的宽度均小于或等于待裁切图像的宽度,即各个裁切框均完全处于待裁切图像内部。
作为一种可能的实现方式,在显著性主体检测结果为待裁切图像中包含的显著性主体数量大于或等于1时,即待裁切图像中包含显著性主体时,可以根据预设构图规则及显著性主体的位置,生成主体锚点,并将目标宽高比确定为裁切框的宽高比,之后生成多个宽高比为目标宽高比的裁切框,并根据预设构图规则确定主体锚点与裁切框的相对位置关系,以使裁切框中包含的显著性主体部分与裁切框之间可以符合预设构图规则;并且各个裁切框的尺寸均小于或等于待裁切图像的尺寸,即各个裁切框的高度均小于或等于待裁切图像的高度,且各个裁切框的宽度均小于或等于待裁切图像的宽度,即各个裁切框均完全处于待裁切图像内部。
作为一种可能的实现方式,在待裁切图像中包含人脸时,那么待裁切图像中通常也包含显著性主体,因此,可以按照上述方式,根据人脸检测结果生成多个裁切框,或者根据显著性主体检测结果生成多个裁切框;或者,还可以根据人脸检测结果生成多个裁切框,并同时根据显著性主体检测生成多个裁切框。在待裁切图像中未包含人脸,仅包含显著性主体时,可以按照上述方式仅根据显著性主体检测结果生成多个裁切框。
作为一种可能的实现方式,在待裁切图像中既未包含人脸也未包含显著性主体时,可以采用默认规则生成多个裁切框。
作为一种示例,默认规则可以包括中心规则,从而可以将待裁切图像的中心点确定为裁切框的几何中心、并将目标宽高比确定为裁切框的宽高比,以生成多个裁切框。
作为一种示例,默认规则还可以包括滑动窗规则,从而可以将待裁切图像的短边边长作为裁切框的其中一个边长,其中,短边包括第一短边及第二短边,第一短边为第二短边的对边;并根据目标宽高比确定裁切框的另一个边长;之后将裁切框与待裁切图像的短边边长相同的边与第一短边重合,以确定裁切框的初始位置;进而按照一定步长,将裁切框从初始位置向第二短边方向滑动,并将每次滑动后的结果确定为一个裁切框,以确定多个裁切框。
需要说明的是,实际使用时,可以根据实际需要及具体的应用场景,选择中心规则与滑动窗规则中的至少一种作为默认规则,以用于对待裁切图像进行默认裁切;或者,也可以选择其他合适的裁切规则作为默认规则,本申请实施例对此不作限定。
进一步的,由于图像内容不同,应用不同的构图规则进行裁切后生成的图像美感可能不同,因此,在本申请实施例一种可能的实现方式中,还可以根据待裁切图像的人脸检测结果及显著性主体检测结果,确定进行图像裁切时使用的预设构图规则。即在本申请实施例一种可能的实现方式中,在上述人脸检测结果为待裁切图像中包含的人脸数量为1时,相应的,上述步骤103之前,还可以包括:
在目标宽高比小于或等于第二阈值,且待裁切图像为远景图像时,将预设构图规则确定为中心规则、三分线规则中的至少一种;
在目标宽高比小于或等于第二阈值,且待裁切图像为近景图像时,将预设构图规则确定为中心规则、颅顶线六分之一规则中的至少一种;
在目标宽高比大于第二阈值时,将预设构图规则确定为中心规则、三分线规则、颅顶线六分之一规则中的至少一种。
在本申请实施例中,由于在待裁切图像中包含一张人脸时,如果目标裁切图像中可以尽可能的完整包含该人脸或该人脸对应的主体,并使得该人脸或人脸对应的主体处于目标裁切图像中的合适位置,则可以尽可能的提升裁切后图像的美感。因此,在待裁切图像中包含一张人脸时,可以根据目标宽高比及待裁切图像为近景图像还是远景图像,确定待裁切图像适用的预设构图规则。
作为一种可能的实现方式,由于中心规则在多数构图场景中都能够获得较好的构图美感,三分线规则更加适用于远景图像,而颅顶线六分之一规则更加适用于人脸特写场景,即颅顶线六分之一规则更加适用于包含人脸的近景图像;另外,由于在目标宽高比较小时,对待裁切图像进行裁切的横向空间较小,因此可以尽可能使得人脸处于裁切框的宽度方向上的居中位置,以使人脸可以尽可能位于裁切框内部。从而,在本申请实施例中,在目标宽高比小于或等于第二阈值,且待裁切图像为远景图像时,可以将预设构图规则确定为中心规则、三分线规则中的至少一种。作为一种示例,可以同时将中心规则、三分线规则作为预设构图规则,即可以采用中心规则生成多个裁切框,并同时采用三分线规则生成多个裁切框。
相应的,在目标宽高比小于或等于第二阈值,且待裁切图像为近景图像时,可以将预设构图规则确定为中心规则、颅顶线六分之一规则中的至少一种。作为一种示例,可以同时将中心规则、颅顶线六分之一规则作为预设构图规则,即可以采用中心规则生成多个裁切框,并同时采用颅顶线六分之一规则生成多个裁切框。
相应的,在目标宽高比大于第二阈值时,即此时目标裁切图像的横向裁切空间较大,因此可以采用更多的构图规则生成裁切框,以从中挑选美感较好的裁切图像,进一步提升裁切后图像的构图美感,因此,可以将预设构图规则确定为中心规则、三分线规则、颅顶线六分之一规则中的至少一种。作为一种示例,可以同时将中心规则、颅顶线六分之一规则作为预设构图规则,即可以采用中心规则生成多个裁切框,并同时采用三分线规则生成多个裁切框,以及同时采用颅顶线六分之一规则生成多个裁切框。
作为一种可能的实现方式,在人脸检测结果为待裁切图像中包含的人脸数量大于1时,即待裁切图像中包含多张人脸时,可以将预设构图规则确定为中心规则、三分线规则、颅顶线六分之一规则中的至少一种。作为一种示例,可以同时将中心规则、颅顶线六分之一规则作为预设构图规则,即可以采用中心规则生成多个裁切框,并同时采用三分线规则生成多个裁切框,以及同时采用颅顶线六分之一规则生成多个裁切框,尽可能在多种构图规则下生成裁切框,以挑选出构图美感最优裁切图像作为目标裁切图像。
作为一种可能的实现方式,在人脸检测结果为待裁切图像中包含的人脸数量为0且待裁切图像中包含显著主体时,即待裁切图像中未包含人脸但包含显著性主体时,由于中心规则和三分线规则更加适用于远景图像或者未包含人脸的图像,因此可以将预设构图规则确定为中心规则与三分线规则中的至少一种。作为一种示例,可以同时将中心规则、三分线规则作为预设构图规则,即可以采用中心规则生成多个裁切框,并同时采用三分线规则生成多个裁切框。
作为一种可能的实现方式,可以根据待裁切图像中的人脸面积与待裁切图像面积的比值,确定待裁切图像为近景图像还是远景图像。作为一种示例,在人脸面积与待裁切图像面积的比值大于或等于面积阈值时,可以确定待裁切图像为近景图像;在人脸面积与待裁切图像面积的比值小于面积阈值时,可以确定待裁切图像为远景图像。
需要说明的是,实际使用时,可以根据实际需要及具体的应用场景,确定面积阈值的具体取值,本申请实施例对此不做限定。
作为一种可能的实现方式,由于在目标宽高比过大时,采用预设构图规则进行裁切通常也无法对获得较好的裁切结果,因此在待裁切图像中包含1张人脸且目标宽高比大于第二阈值时,还可以根据目标宽高比对应的阈值上限,确定目标宽高比是否处于第二阈值与该阈值上限之间,并在目标宽高比超过阈值上限时,不采用本申请实施例的图像裁切方法进行裁切。
需要说明的是,实际使用时,可以根据实际需要及具体的应用场景,确定第二阈值及阈值上限的具体取值,本申请实施例对此不做限定。比如,第二阈值可以为0.5,阈值上限可以为4.35。
步骤104,根据每个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像。
其中,候选裁切图像,可以是指根据生成的裁切框对待裁切图像进行裁切处理,生成的图像。
在本申请实施例中,确定出各个裁切框之后,即可以根据各个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像。
步骤105,对每个候选裁切图像,以确定每个候选裁切图像的美学评分。
在本申请实施例中,生成各个候选裁切图像之后,则可以对各个候选裁切图像进行美学评分,以通过美学评分对每个候选裁切图像的构图美感进行量化。
需要说明的是,实际使用时,可以根据实际需要及具体的应用场景,选择合适的美学评分算法,本申请实施例对此不做作限定。比如,美学评分算法可以包括但不限于基于规则的方法、基于模板的方法、基于深度学习的方法,等等。
步骤106,根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。
在本申请实施例中,可以根据每个候选裁切图像的美学评分,从候选裁切图像中选取美学评分最高的候选裁切图像,确定为目标裁切图像。
进一步的,还可以通过设定美学评分阈值,用于确定各个候选裁切图像的构图美感是否符合要求,以进一步提升裁切后图像的构图美感。即在本申请实施例一种可能的实现方式中,上述步骤106,可以包括:
将美学评分最高的候选裁切图像,确定为第一候选裁切图像;
在第一候选裁切图像的美学评分大于或等于第一阈值时,将第一候选裁切图像,确定为目标裁切图像;
在第一候选裁切图像的美学评分小于第一阈值时,根据第一裁切规则对待裁切图像进行二次裁切,以确定目标裁切框;
根据目标裁切框对待裁切图像进行裁切处理,以生成目标裁切图像。
作为一种可能的实现方式,可以首先确定出美学评分最高的第一候选裁切图像,并且在第一候选裁切图像的美学评分大于或等于第一阈值时,可以确定第一候选裁切图像的美学评分较高,即第一候选裁切图像的构图美感较优,从而可以直接将第一候选裁切图像确定为目标裁切图像。相应的,在第一候选裁切图像的美学评分小于第一阈值时,可以确定第一候选裁切图像的美学评分较低,即第一候选裁切图像的构图美感较差,则可以根据第一裁切规则对目标裁切图像进行二次裁切,以确定目标裁切框,进而根据目标裁切框对待裁切图像进行裁切处理,以生成目标裁切图像。
作为一种示例,可以将待裁切图像的美学评分作为参考,确定各个候选裁切图像的构图美感是否符合要求。也就是说,可以对待裁切图像进行美学评分,并将待裁切图像的美学评分作为第一阈值。即在第一候选裁切图像的美学评分大于或等于待裁切图像的美学评分时,将第一候选裁切图像确定为目标裁切图像;在第一候选裁切图像的美学评分小于待裁切图像的美学评分时,对待裁切图像进行二次裁切,以生成目标裁切图像。
作为一种示例,还可以将待裁切图像的美学评分与评分阈值的差值,确定为第一阈值,其中,评分阈值为较小的值,且小于待裁切图像的美学评分。比如,待裁切图像的美学评分为K,评分阈值为L,则第一阈值为K-L。即只有在待裁切图像的美学评分小于待裁切图像的美学评分,且与待裁切图像之间的美学评分差值大于评分阈值时,才对待裁切图像进行二次裁切,其余情况下可以直接将第一候选裁切图像确定为目标裁切图像。实际使用时,可以根据实际需要及具体的应用场景,确定评分阈值的具体取值,本申请实施例对此不做限定。
需要说明的是,上述确定第一阈值的方式仅为示例性的,不能视为对本申请的限制。实际使用时,可以根据实际需要及具体的应用场景,确定第一阈值的具体取值,本申请实施例对此不做限定。
在本申请实施例一种可能的实现方式中,第一裁切规则中可以为第一中心规则或第一滑动窗规则。
进一步的,为了使得二次裁切时,可以尽可能提升目标裁切图像的显示美感,可以根据待裁切图像的图像内容确定对待裁切图像进行二次裁切的方式,并使得目标裁切图像可以尽可能多的包含待裁切图像中的主要内容。即在本申请实施例一种可能的实现方式中,在上述人脸检测结果为待裁切图像中包含的人脸数量小于或等于第一预设值时,每个人脸对应一个人脸框,第一裁切规则可以为第一滑动窗规则;相应的,上述根据第一裁切规则对待裁切图像进行二次裁切,以确定目标裁切框,包括:
将待裁切图像的短边边长作为第一裁切框的第一边长,其中,短边包括第一短边及第二短边,第一短边为第二短边的对边;
根据第一边长及目标宽高比,确定第一裁切框的第二边长;
将第一裁切框的第一边长对应的任意一边与第一短边重合,以确定第一裁切框的第一初始位置;
按照第一步长,将第一裁切框从第一初始位置向第二短边方向滑动,并将第一次完全包络各个人脸框的第一裁切框,确定为目标裁切框。
其中,第一裁切框,为根据第一滑动窗规则生成的初始裁切框。
其中,第一初始位置,是指第一裁切框在待裁切图像中的初始位置。
其中,第一边长,为第一裁切框的其中一个边长;第二边长,为第一裁切框的另一个边长,且第一边长对应的边与第二边长对应的边为邻边。
作为一种示例,在待裁切图像的宽度对应的边为短边时,则可以将待裁切图像的宽度确定为第一裁切框的宽度(即第一边长),并将第一裁切框的宽度与目标宽高比的比值,确定为第一裁切框的高度(即第二边长);之后,可以将第一裁切框的宽度对应的一个边与待裁切图像的上边缘重合(即将待裁切图像的上边缘确定为第一短边),并使得第一裁切框完全处于待裁切图像内部,以确定第一裁切框的初始位置;进而按照第一步长将第一裁切框从第一初始位置向待裁切图像的下边缘滑动(即将待裁切图像的下边缘确定为第二短边),并将第一次完全包络各个人脸框的第一裁切框,确定为目标裁切框。
作为一种示例,在待裁切图像的宽度对应的边为短边时,按照前述公开的方式确定出第一裁切框的宽度和高度之后,还可以将第一裁切框的宽度对应的一个边与待裁切图像的下边缘重合(即将待裁切图像的下边缘确定为第一短边),并使得第一裁切框完全处于待裁切图像内部,以确定第一裁切框的第一初始位置;进而按照第一步长将第一裁切框从第一初始位置向待裁切图像的上边缘滑动(即将待裁切图像的上边缘确定为第二短边),并将第一次完全包络各个人脸框的第一裁切框,确定为目标裁切框。
作为一种示例,在待裁切图像的高度对应的边为短边时,则可以将待裁切图像的高度确定为第一裁切框的高度(即第一边长),并将第一裁切框的高度与目标宽高比的乘积,确定为第一裁切框的宽度(即第二边长);之后,可以将第一裁切框的高度对应的一个边与待裁切图像的右边缘重合(即将待裁切图像的右边缘确定为第一短边),并使得第一裁切框完全处于待裁切图像内部,以确定第一裁切框的第一初始位置;进而按照第一步长将第一裁切框从第一初始位置向待裁切图像的左边缘滑动(即将待裁切图像的左边缘确定为第二短边),并将第一次完全包络各个人脸框的第一裁切框,确定为目标裁切框。
作为一种示例,在待裁切图像的高度对应的边为短边时,按照前述公开的方式确定出第一裁切框的宽度和高度之后,还可以将第一裁切框的高度对应的一个边与待裁切图像的左边缘重合(即将待裁切图像的左边缘确定为第一短边),并使得第一裁切框完全处于待裁切图像内部,以确定第一裁切框的第一初始位置;进而按照第一步长将第一裁切框从第一初始位置向待裁切图像的右边缘滑动(即将待裁切图像的右边缘确定为第二短边),并将第一次完全包络各个人脸框的第一裁切框,确定为目标裁切框。
需要说明的是,实际使用时,可以根据实际需要及具体的应用场景,确定第一预设值及第一步长的具体取值,本申请实施例对此不做限定。比如,第一预设值可以为1、2、3,等等。
进一步的,在本申请实施例一种可能的实现方式中,上述人脸检测结果为待裁切图像中包含的人脸数量大于第一预设值时,第一裁切规则可以为第一中心规则;相应的,上述根据第一裁切规则对待裁切图像进行二次裁切,以确定目标裁切框,包括:
将以待裁切图像的中心点为中心点、宽高比为目标宽高比且尺寸最大的裁切框,确定为目标裁切框。
作为一种可能的实现方式,在待裁切图像中包含的人脸数量大于第一预设值,即待裁切图像中包含的人脸数量较多时,可以应用第一中心规则对待裁切图像进行二次裁切,以使目标裁切图像中可以尽可能多的包含待裁切图像的图像内容。即可以以待裁切图像的中心点作为目标裁切框的中心点,将目标宽高比作为目标裁切框的宽高比,在待裁切图像中生成一个尺寸最大的裁切框,作为目标裁切框。
本申请实施例提供的图像裁切方法,通过对待裁切图像进行人脸检测及显著性主体检测,并根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,对待裁切图像进行裁切处理,以生成多个候选裁切图像,之后对每个候选裁切图像进行美学评分,进而根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。由此,通过在裁切图像时参考原图像的人脸检测结果及显著性主体检测结果,以使裁切后的图像能够在符合目标宽高比的同时尽可能完整包含原图像中的人脸或显著性主体,并在裁切时利用预设的构图规则以及通过对多个裁切结果进行美学评分,提升裁切后图像的构图美感,从而提升了裁切后图像的展示美感,提升了用户的使用体验。
在本申请一种可能的实现形式中,可以根据人脸检测结果和/或显著性主体检测结果,生成符合目标宽高比及预设构图规则的最小裁切框,进而对最小裁切框进行多次等比例放大处理,以生成多个裁切框,以在保证裁切框丰富性的同时,提升裁切框的生成效率,进一步提升裁切后图像的显示美感。
下面结合图9,对本申请实施例提供的图像裁切方法进行进一步说明。
图9示出了本申请实施例提供的另一种图像裁切方法的流程示意图。
如图9所示,该图像裁切方法,包括以下步骤:
步骤901,获取待裁切图像、待裁切图像的尺寸及目标裁切图像对应的目标宽高比。
步骤902,对待裁切图像进行人脸检测及显著性主体检测,以生成待裁切图像对应的人脸检测结果及显著性主体检测结果。
其中,人脸检测结果中可以包括待裁切图像中包含的人脸数量及每个人脸对应的人脸框位置,显著性主体检测结果中可以包括待裁切图像中包含的显著性主体数量及显著性主体对应的二值蒙版图像。
上述步骤901-902的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
步骤903,在人脸检测结果为待裁切图像中包含至少一个人脸时,根据各个人脸框位置,确定人脸锚点。
其中,人脸锚点,可以是指根据待裁切图像中的人脸位置生成的、用于确定各个裁切框与待裁切图像的相对位置关系的锚点。
在本申请实施例中,在待裁切图像中包含人脸时,可以根据各个人脸对应的人脸框位置,确定人脸锚点,以使根据人脸锚点及预设构图规则生成的裁切框与各个人脸之间的位置关系,可以满足预设构图规则,以提升裁切后图像的显示美感。
进一步的,在本申请实施例一种可能的实现方式中,在上述人脸检测结果为待裁切图像中包含的人脸数量为1时,相应的,上述步骤903,可以包括:
根据人脸对应的人脸框位置,确定人脸的几何中心;
将人脸的几何中心,确定为人脸锚点。
在本申请实施例中,可以根据人脸对应的人脸框位置,确定人脸框的中心点,并将该人脸框的中心点确定为该人脸的几何中心,进而将该人脸的几何中心,确定为人脸锚点。
进一步的,在本申请实施例一种可能的实现方式中,在上述人脸检测结果为待裁切图像中包含的人脸数量大于1时,相应的,上述步骤903,可以包括:
根据各个人脸框的位置,将在待裁切图像的宽度方向上居中的至少一个人脸,确定为参考人脸;
根据各个参考人脸对应的人脸框位置,确定人脸锚点。
进一步的,在待裁切图像中包括的人脸数量不同时,可以采用不用的方式确定人脸锚点,以尽可能生成构图美感较高的高质量的裁切框。即在本申请实施例一种可能的实现方式中,上述根据各个人脸框的位置,将在待裁切图像的宽度方向上居中的至少一个人脸,确定为参考人脸,可以包括:
在人脸检测结果为待裁切图像中包含的人脸数量为2时,将待裁切图像中包含的两个人脸,确定为参考人脸;
在人脸检测结果为待裁切图像中包含的人脸数量为大于2的奇数时,将在待裁切图像的宽度方向上居中的人脸,确定为参考人脸;
在人脸检测结果为待裁切图像中包含的人脸数量为大于2的偶数时,将在待裁切图像的宽度方向上居中的两个人脸,确定为参考人脸。
在本申请实施例中,在待裁切图像中包含两个人脸时,可以将这两个人脸直接确定为参考人脸;在待裁切图像中包含2个以上人脸且人脸数量为奇数时,可以将在待裁切图像的宽度方向上居中的一个人脸,确定为参考人脸;在待裁切图像中包含2个以上人脸且人脸数量为偶数时,可以将在待裁切图像的宽度方向上居中的两个人脸,确定为参考人脸。
举例来说,在待裁切图像中包含3个人脸时,可以将处于居中位置的人脸确定为参考人脸;又如,在待裁切图像中包含4个人脸时,可以将处于居中位置的两个人脸确定为参考人脸。
进一步的,由于在不同的构图规则中关注对象与裁切框的相对位置关系是不同的,因此在待裁切图像中包含多个人脸时,可以根据参考人脸及生成裁切框时采用的预设构图规则,分别确定出不同的人脸锚点,以进一步提升裁切框的质量,进而进一步提升裁切后图像的显示美感。即在本申请实施例一种可能的实现方式中,上述人脸检测结果为待裁切图像中包含的人脸数量为偶数时,人脸锚点可以包括第一人脸锚点和/或第二人脸锚点;相应的,上述根据各个参考人脸对应的人脸框位置,确定人脸锚点,可以包括:
在预设构图规则包括中心规则或三分线规则时,根据两个参考人脸对应的人脸框位置,分别确定两个参考人脸对应的几何中心;
将两个参考人脸对应的几何中心连线的中点,确定为第一人脸锚点;
在预设构图规则包括颅顶线六分之一规则时,根据两个参考人脸对应的人脸框位置,分别确定两个参考人脸对应的几何中心及人脸框上边缘位置;
根据两个参考人脸对应的几何中心和/或人脸框上边缘位置,确定第二人脸锚点。
作为一种可能的实现方式,在待裁切图像中包含的人脸数量为偶数,且需要采用中心规则或三分线规则生成裁切框时,可以根据确定出的两个参考人脸对应的人脸框位置,分别确定两个人脸框的中心点,并将两个人脸框的中心点分别确定为相应的参考人脸对应的几何中心,进而将两个参考人脸对应的几何中心连线的中点,确定为第一人脸锚点。
相应的,在待裁切图像中包含的人脸数量为偶数,且需要采用颅顶线六分之一规则生成裁切框时,可以根据确定出的两个参考人脸对应的人脸框位置,分别确定两个参考人脸对应的几何中心和/或人脸框上边缘中点,进而可以根据两个参考人脸对应的几何中心和/或人脸框上边缘中点,确定第二人脸锚点。
作为一种示例,可以根据确定出的两个参考人脸对应的人脸框位置,分别确定两个人脸框的中心点,并将两个人脸框的中心点分别确定为相应的参考人脸对应的几何中心,进而将两个参考人脸对应的几何中心连线的中点,确定为第二人脸锚点;
作为一种示例,可以根据确定出的两个参考人脸对应的人脸框位置,分别确定两个人脸框上边缘位置,并根据两个人脸框的上边缘位置分别确定两个人脸框上边缘中点,进而可以将两个人脸框上边缘中点的连线的中点,确定为第二人脸锚点。其中,人脸框上边缘位置可以通过上边缘两个顶点在待裁切图像中的坐标进行表示,本申请实施例对此不做限定。
作为一种示例,可以根据确定出的两个参考人脸对应的人脸框位置,分别确定两个人脸框的中心点,并将两个人脸框的中心点分别确定为相应的参考人脸对应的几何中心;并根据两个参考人脸对应的人脸框位置,确定出两个人脸框的上边缘位置;进而可以将两个参考人脸对应的几何中心连线的中点在待裁切图像中的横坐标,确定为第二人脸锚点的横坐标,并将任意一个人脸框上边缘对应的纵坐标,确定为第二人脸锚点的纵坐标,以确定出第二人脸锚点。比如,可以根据两个人脸框上边缘位置,确定两个人脸框中上边缘最接近待裁切图像的上边缘的人脸框,并将该人脸框上边缘位置对应的纵坐标,确定为第二人脸锚点的纵坐标。
需要说明的是,本申请实施例中提及的所有坐标都可以是指在待裁切图像中对应的坐标。在建立坐标系时,可以将待裁切图像的任意一个顶点作为坐标系原点,将待裁切图像的宽度方向作为坐标系的横轴方向,将待裁切图像的高度方向作为坐标系的纵轴方向;坐标系的单位可以是像素,也可以是长度单位,本申请实施例对此不做限定。
进一步的,在人脸检测结果为待裁切图像中包含的人脸数量为大于1的奇数时,人脸锚点可以包括第一人脸锚点和/或第二人脸锚点;相应的,上述根据各个参考人脸对应的人脸框位置,确定人脸锚点,包括:
在预设构图规则包括中心规则或三分线规则时,根据参考人脸对应的人脸框位置,确定参考人脸对应的几何中心;
将参考人脸对应的几何中心,确定为第一人脸锚点;
在预设构图规则包括颅顶线六分之一规则时,根据参考人脸对应的人脸框位置,确定参考人脸对应的人脸框上边缘中点;
将参考人脸对应的人脸框上边缘中点,确定为第二人脸锚点。
作为一种可能的实现方式,在待裁切图像中包含的人脸数量为大于3的奇数,且需要采用中心规则或三分线规则生成裁切框时,可以根据确定出的参考人脸对应的人脸框位置,确定该人脸框的中心点,并将该人脸框的中心点确定为参考人脸对应的几何中心,进而将参考人脸对应的几何中心,确定为第一人脸锚点。
相应的,在待裁切图像中包含的人脸数量为奇数,且需要采用颅顶线六分之一规则生成裁切框时,可以根据确定出的参考人脸对应的人脸框位置,分别确定参考人脸对应的人脸框上边缘中点,并可以将人脸框上边缘中点,确定为第二人脸锚点。
需要说明的是,在预设构图规则中仅包括中心规则和/或三分线规则时,或者仅包括颅顶线六分之一规则时,可以根据上述公开的方式相应生成第一人脸锚点或第二人脸锚点;在预设构图规则中同时包括中心规则与颅顶线六分之一规则、或者同时包括三分线规则与颅顶线六分之一规则、或者同时包括中心规则、三分线规则与颅顶线六分之一规则时,可以根据上述公开的方式同时生成第一人脸锚点与第二人脸锚点,以利用第一人脸锚点及中心规则或三分线规则生成多个裁切框,以及利用第二人脸锚点及颅顶线六分之一规则生成多个裁切框。
步骤904,根据各个人脸框位置或待裁切图像的尺寸,以及目标宽高比、人脸锚点及预设构图规则,确定第一最小裁切框。
其中,第一最小裁切框,可以是指根据人脸锚点生成的符合预设构图规则及目标宽高比的、尺寸最小的裁切框。
作为一种可能的实现方式,在人脸检测结果为待裁切图像中包含的人脸数量为1时,上述步骤904,可以包括:
在预设构图规则包括中心规则时,将几何中心为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;
在预设构图规则包括三分线规则,且目标宽高比小于或等于第二阈值时,将上三分线的中点为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括三分线规则,且目标宽高比大于第二阈值时,将任一三分线交点为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框中的至少一个,确定为第一最小裁切框;
在预设构图规则包括颅顶线六分之一规则,且目标宽高比小于或等于所述第二阈值时,将横轴中线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框,其中,横轴中线是指将裁切框的宽二等分的直线;
在预设构图规则包括颅顶线六分之一规则,且目标宽高比大于第二阈值时,将横轴中线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为所述目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;和/或,将左三分线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;和/或,将右三分线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;其中,左三分线是指将裁切框的宽三等分的两条直线中最接近裁切框的左边缘的直线,右三分线是指将裁切框的宽三等分的两条直线中最接近裁切框的右边缘的直线。
在本申请实施例中,根据前述实施例的描述,在待裁切图像中包含一个人脸时,若目标宽高比小于或等于第二阈值且待裁切图像为远景图像,则预设构图规则可以包括中心规则、三分线规则中的至少一种;若目标宽高比小于或等于第二阈值且待裁切图像为近景图像,则预设构图规则可以包括中心规则、颅顶线六分之一规则中的至少一种;若目标宽高比大于第二阈值,则预设构图规则可以包括中心规则、三分线规则、颅顶线六分之一规则中的至少一种。可见,在待裁切图像中包含1张人脸时,在各种情况下都可以选取中心规则作为预设构图规则;但是,虽然在目标宽高比大于第二阈值以及目标宽高比小于或等于第二阈值的情况下,都可以视情况采用三分线规则、颅顶线规则作为预设的构图规则,但是由于在不同的目标宽高比下,裁切框的横向变化空间不同,因此可以在不同的目标宽高比下应用三分线规则或颅顶线六分之一规则,可以采用不同的方式生成第一最小裁切框。以下对待裁切图像中包含1张人脸时,各种情况下生成第一最小裁切框的方式进行具体说明:
情况一:
在预设构图规则包括中心规则时,可以将几何中心为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框。
情况二:
在预设构图规则包括所述三分线规则,且目标宽高比小于或等于第二阈值时,由于此时目标宽高比较小,即裁切框的横向裁切空间较小,因此可以尽可能使得人脸在裁切框的宽度方向上居中,同时又要使得人脸与裁切框的位置关系满足三分线规则,从而可以将上三分线的中点为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框。
情况三:
在预设构图规则包括所述三分线规则,且目标宽高比大于第二阈值时,由于此时目标宽高比较大,即裁切框的横向裁切空间较大,因此可以将任一三分线交点为人脸锚点、宽高比为所述目标宽高比、且完全包络人脸框的最小裁切框中的至少一个,确定为第一最小裁切框。
需要说明的是,由于裁切框的三分线交点有四个,假设为交点A、交点B、交点C与交点D,则可以将人脸锚点依次作为第一最小裁切框的交点A、交点B、交点C与交点D,从而在这种情况下应用三分线规则,可以生成四个最小裁切框。实际应用时,可以将这四个最小裁切框中的一个、两个、三个或四个作为第一最小裁切框,本申请实施例对此不做限定。
情况四:
在预设构图规则包括所述颅顶线六分之一规则,且目标宽高比小于或等于第二阈值时,由于此时目标宽高比较小,即裁切框的横向裁切空间较小,因此可以尽可能使得人脸在裁切框的宽度方向上居中,同时又要使得人脸与裁切框的位置关系满足颅顶线六分之一规则,从而可以将横轴中线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框。
情况五:
在预设构图规则包括所述颅顶线六分之一规则,且目标宽高比大于所述第二阈值时,由于此时目标宽高比较大,即裁切框的横向裁切空间较大,因此可以使得最小裁切框的横轴中线包含人脸锚点,或者使得最小裁切框的左三分线包含人脸锚点,或者使得最小裁切框的右三分线包含人脸锚点,并使得最小裁切框的上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框,这样就可以生成三个最小裁切框,实际使用时,可以根据实际需要及具体的应用场景,选择这三个最小裁切框中的任意1个、任意2个或3个,作为第一最小裁切框。
作为一种示例,在待裁切图像中包含1张人脸时,若目标宽高比小于或等于第二阈值且待裁切图像为远景图像,则可以确定预设裁切规则中包括中心规则与三分线规则,从而可以根据上述情况一和情况二的方式分别生成1个第一最小裁切框,即在这种情况下可以生成2个第一最小裁切框;若目标宽高比小于或等于第二阈值且待裁切图像为近景图像,则可以确定预设裁切规则中包括中心规则与颅顶线六分之一规则,从而可以根据上述情况一和情况四的方式分别生成1个第一最小裁切框,即在这种情况下可以生成2个第一最小裁切框;若目标宽高比大于第二阈值,则可以确定预设裁切规则中包括中心规则、三分线规则与颅顶线六分之一规则,则可以跟上述情况一的方式生成1个第一最小裁切框,并根据上述情况三的方式生成4个第一最小裁切框,以及根据上述情况五的方式生成3个第一最小裁切框,共生成8个第一最小裁切框。
作为一种可能的实现方式,在人脸检测结果为待裁切图像中包含的人脸数量为2时,上述步骤904,可以包括:
在预设构图规则包括中心规则时,将几何中心为第一人脸锚点、宽高比为目标宽高比、且完全包络各个人脸框的最小裁切框,确定为第一最小裁切框;
在预设构图规则包括三分线规则时,将上三分线的中点为第一人脸锚点、宽高比为目标宽高比、且完全包络各个人脸框的最小裁切框,确定为第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括颅顶线六分之一规则时,将上六分线的中点为第二人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框。
其中,裁切框的上六分线,可以是指将裁切框的高六等分的五条直线中最接近裁切框的上边缘的直线。
在本申请实施例中,由于待裁切图像中包含2张人脸时,尽可能使得裁切框同时包含两个人脸框,且尽可能使得两个人脸框均衡分布在裁切框中,能够使得裁切后图像的显示美感更好,因此在待裁切图像中包含2张人脸时,中心规则、三分线规则与颅顶线六分之一规则均比较适用,从而可以确定预设构图规则中可以包括中心规则与颅顶线六分之一规则中的至少一种。以下对这两种情况进行分别说明:
情况一:
在预设构图规则包括中心规则时,根据前述步骤903中的描述,在待裁切图像中包含2张人脸且预设构图规则包括中心规则时,可以将两个人脸框几何中心连线的中点,确定为第一人脸锚点;因此,在预设构图规则包括中心规则时,可以将几何中心为第一人脸锚点、宽高比为目标宽高比、且完全包络两个人脸框的最小裁切框,确定为第一最小裁切框。
情况二:
在预设构图规则包括三分线规则时,根据步骤903中的描述,在待裁切图像中包含2张人脸且预设构图规则包括三分线规则时,可以将两个人脸框几何中心连线的中点,确定为第一人脸锚点;因此,在预设构图规则包括三分线规则时,可以将上三分线的中点为第一人脸锚点、宽高比为所述目标宽高比、且完全包络两个人脸框的最小裁切框,确定为第一最小裁切框。
情况三:
在预设构图规则包括颅顶线六分之一规则时,根据前述步骤903中的描述,在待裁切图像中包含2张人脸且预设构图规则包括颅顶线六分之一规则时,可以将两个人脸框上边缘中点连线的中点,确定为第二人脸锚点;因此,在预设构图规则包括颅顶线六分之一规则时,可以将将上六分线的中点为第二人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框。
作为一种示例,在待裁切图像中包含2张人脸时,可以确定预设构图规则中包括中心规则、三分线与颅顶线规则,从而可以通过上述情况一、情况二与情况三的方式分别生成1个第一最小裁切框,即可以生成3个第一最小裁切框。
作为一种可能的实现方式,在人脸检测结果为待裁切图像中包含的人脸数量大于2时,上述步骤904,可以包括:
在预设构图规则包括中心规则时,将第一人脸锚点确定为第一最小裁切框的几何中心、将目标宽高比确定为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框;
在预设构图规则包括三分线规则时,将第一人脸锚点确定为第一最小裁切框的上三分线的中点、将目标宽高比确定为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;在预设构图规则包括颅顶线六分之一规则时,将第二人脸锚点作为第一最小裁切框的上六分线的中点、将目标宽高比作为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框。
其中,本申请实施例中裁切框的上三分线可以是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线。
其中,最大裁切框,可以是指同时满足宽度小于或等于待裁切图像的宽度、高度小于或等于待裁切图像的高度、宽高比为目标宽高比这三个条件,在待裁切图像内部可以生成的最大裁切框。
举例来说,待裁切图像的宽度为1980像素,高度为1000像素,目标宽高比为1,则最大裁切框的宽度为1000像素,高度为1000像素。
其中,预设比例,为小于1大于0的数值,可以根据实际需要及具体的应用场景确定,本申请实施例对此不做限定。比如,预设比例可以为0.4、0.5、0.6,等等。
在本申请实施例中,确定出最大裁切框之后,可以将最大裁切框的宽度与预设比例的乘积,确定为第一最小裁切框的宽度;将最大裁切框的高度与预设比例的乘积,确定为第一最小裁切框的高度。进而根据确定出的第一最小裁切框的高度和宽度,以及上述预设构图规则分别对应的确定第一最小裁切框的方式,确定出第一最小裁切框在待裁切图像中的具体位置,即确定出第一最小裁切框。
作为一种示例,在待裁切图像中包含的人脸数量大于2时,可以确定预设构图规则中包括中心规则、三分线与颅顶线六分之一规则,从而可以通过上述三种方式分别生成1个第一最小裁切框,即可以生成3个第一最小裁切框。
步骤905,根据第二步长对第一最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框。
在本申请实施例中,确定出第一最小裁切框之后,既可以根据第二步长对第一最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,直至最后一次放大生成的裁切框超出待裁切图像的范围,则停止放大处理,并确定生成多个裁切框。其中,生成的多个裁切框中可以包括第一最小裁切框。如图10所示,为对最小裁切框进行等比例放大的示意图,其中,裁切框1010为第一最小裁切框,裁切框1020、裁切框1030为对裁切框1010进行多次等比例放大后,分别生成的裁切框。
作为一种示例,假设第二步长为a,第一最小裁切框的宽度为m,高度为n,则对第一最小裁切框进行第一次等比例放大处理后生成的裁切框的尺寸为:宽度为a×m,高度为a×n,对第一最小裁切框进行第二次等比例放大处理后生成的裁切框的尺寸为:宽度为a2×m,高度为a2×n,以此类推。
需要说明的是,预设比例可以为大于1的数值,实际使用时,可以根据实际需要及具体的应用场景,确定预设比例的具体取值,本申请实施例对此不做限定。比如,预设比例可以为1.1、1.2、1.3,等等。
可以理解的是,在步骤904中如果生成了多个第一最小裁切框,则可以分别对各个第一最小裁切框进行等比例放大处理,以生成每个第一最小裁切框对应的多个裁切框。
步骤906,在显著性主体检测结果为待裁切图像中包含至少一个显著性主体时,根据二值蒙版图像确定待裁切图像中包含的最大显著性主体。
在本申请实施例中,若待裁切图像中包含人脸,则待裁切图像中通常也包含显著性主体,因此可以继续根据待裁切图像对应的显著性主体检测结果,继续生成多个裁切框;若待裁切图像中未包含人脸,且显著性主体检测结果为待裁切图像中包含显著性主体,则可以根据显著性主体检测结果生成多个裁切框。
进一步的,最大显著性主体可以是包含人脸且面积最大的显著性主体,或这也可以是面积最大的显著性主体。即在本申请实施例一种可能的实现方式中,上述步骤906,可以包括:
根据二值蒙版图像,确定每个显著性主体对应的连通域面积;
在脸检测结果为待裁切图像中包含至少一个人脸时,将包含人脸且连通域面积最大的显著性主体,确定为最大显著性主体;
在脸检测结果为待裁切图像中包含的人脸数量为0时,将连通域面积最大且连通域面积大于第三阈值的显著性主体,确定为最大显著性主体。
其中,显著性主体对应的连通域面积,可以为显著性主体在二值蒙版图像中对应的连通域的实际面积;也可以为显著性主体在二值蒙版图像中对应的连通域的最小外接矩形的面积,本申请实施例对此不做限定。比如,以图3A和图3B为例,图3A中的显著性主体在图3B的二值蒙版图像中对应的连通域为图3B中的白色区域,则可以将图3B中的白色区域的面积作为图3A中显著性主体的连通域面积,也可以将图3B中的白色区域的最小外接矩形的面积作为图3A中显著性主体的连通域面积。
在本申请实施例中,若待裁切图像中包含人脸,则可以将包含人脸且连通域面积最大的显著性主体,确定为最大显著性主体;若待裁切图像中未包含人脸,则可以将连通域面积最大且连通域面积大于第三阈值的显著性主体,确定为最大显著性主体。
需要说明的是,如果待裁切图像中未包含人脸,待裁切图像中也未包含连通域面积大于第三阈值的显著性主体,则无需根据显著性主体检测结果生成裁切框,可以采用前述实施例中提及的默认规则生成多个裁切框,此处不再赘述。
需要说明的是,实际使用时,可以根据实际需要及具体的应用场景,确定第三阈值的具体取值,本申请实施例对此不做限定。比如,第三阈值可以为0.1。
步骤907,确定最大显著性主体的主体质心,并将最大显著性主体的主体质心确定为主体锚点。
在本申请实施例中,确定出最大显著性主体之后,即可以根据二值蒙版图像,确定出最大显著性主体的主体质心,并将最大显著性主体的主体质心确定为主体锚点。
需要说明的是,确定最大显著性主体的主体质心的方式可以参考现有技术中的方式,本申请实施例不做详细描述。
步骤908,根据待裁切图像的尺寸、目标宽高比、主体锚点及预设构图规则,确定第二最小裁切框。
在本申请实施例中,由于在显著性主体通常为人体或其他类型的物体,从而不适用颅顶线六分之一规则,因此,在根据显著性主体检测结果生成裁切框时,可以确定预设构图规则中包括中心规则或三分线规则中的至少一种。
作为一种可能的实现方式,上述步骤908,可以包括:
在预设构图规则包括中心规则时,将主体锚点作为第二最小裁切框的几何中心、将目标宽高比作为第二最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第二最小裁切框的尺寸,以确定第二最小裁切框。
在预设构图规则包括所述三分线规则时,将主体锚点分别作为第二最小裁切框的至少一个三分线交点、将目标宽高比作为第二最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第二最小裁切框的尺寸,以确定至少一个第二最小裁切框。
其中,最大裁切框,可以是指同时满足宽度小于或等于待裁切图像的宽度、高度小于或等于待裁切图像的高度、宽高比为目标宽高比这三个条件,在待裁切图像内部可以生成的最大裁切框。
举例来说,待裁切图像的宽度为1980像素,高度为1000像素,目标宽高比为1,则最大裁切框的宽度为1000像素,高度为1000像素。
其中,预设比例,为小于1大于0的数值,可以根据实际需要及具体的应用场景确定,本申请实施例对此不做限定。比如,预设比例可以为0.4、0.5、0.6,等等。
在本申请实施例中,确定出最大裁切框之后,可以将最大裁切框的宽度与预设比例的乘积,确定为第二最小裁切框的宽度;将最大裁切框的高度与预设比例的乘积,确定为第二最小裁切框的高度。进而根据确定出的第二最小裁切框的高度和宽度,以及上述预设构图规则分别对应的确定第二最小裁切框的方式,确定出第二最小裁切框在待裁切图像中的具体位置,即确定出第二最小裁切框。
需要说明的是,实际使用时,在预设构图规则包括三分线规则时,可以将主体锚点作为第二最小裁切框的1个三分线交点,以生成一个第二最小裁切框;也可以将主体锚点依次作为第二最小裁切框的2个三分线交点,以生成2个第二最小裁切框;也可以将主体锚点依次作为第二最小裁切框的3个三分线交点,以生成3个第二最小裁切框;也可以将主体锚点依次作为第二最小裁切框的4个三分线交点,以生成4个第二最小裁切框;本申请实施例对此不做限定。
作为一种示例,在待裁切图像中未包含人脸时,可以确定预设构图规则中包括中心规则与三分线规则,从而可以通过上述中心规则对应的生成第二最小裁切框的方式,生成1个第二最小裁切框,并可以通过上述三分线规则对应的生成第二最小裁切框的方式,生成4个第二最小裁切框,共生成5个第二最小裁切框;在待裁切图像中包含人脸时,则可以确定预设构图规则为三分线规则,即根据显著性主体检测结果生成第二最小裁切框时,可以仅采用三分线规则生成第二最小裁切框,从而可以按照上述根据通过上述三分线规则对应的生成第二最小裁切框的方式,生成4个第二最小裁切框。
步骤909,根据第二步长对第二最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框。
在本申请实施例中,确定出第二最小裁切框之后,既可以根据第二步长对第二最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,直至最后一次放大生成的裁切框超出待裁切图像的范围,则停止放大处理,并确定生成多个裁切框。其中,生成的多个裁切框中可以包括第二最小裁切框。
可以理解的是,在步骤908中如果生成了多个第二最小裁切框,则可以分别对各个第二最小裁切框进行等比例放大处理,以生成每个第二最小裁切框对应的多个裁切框。
需要说明的是,对第二最小裁切框进行放大处理以生成多个裁切框的方式,与前述步骤905所述的对第一最小裁切框进行放大处理的方式相同,具体的实现过程及原理可以参照前述步骤的详细描述,此处不再赘述。
步骤910,根据每个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像。
步骤911,对每个候选裁切图像进行美学评分,以确定每个候选裁切图像的美学评分。
步骤912,根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。
上述步骤910-912的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
本申请实施例提供的图像裁切方法,通过根据人脸检测结果和/或显著性主体检测结果,生成符合目标宽高比及预设构图规则的最小裁切框,进而对最小裁切框进行多次等比例放大处理,以生成多个裁切框,从而不仅提升了裁切框生成的效率,而且保证了裁切框的丰富性,进而进一步提升裁切后图像的显示美感,进一步改善了用户体验。
在本申请一种可能的实现形式中,生成多个裁切框之后,还可以根据排除规则对裁切框进行初筛,以去除裁切效果明显较差的裁切框,进而降低后续图像裁剪的计算量,节约系统资源,并进一步提升裁切后图像的显示美感。
下面结合图11,对本申请实施例提供的图像裁切方法进行进一步说明。
图11示出了本申请实施例提供的再一种图像裁切方法的流程示意图。
如图11所示,该图像裁切方法,包括以下步骤:
步骤1101,获取待裁切图像、待裁切图像的尺寸及目标裁切图像对应的目标宽高比。
步骤1102,对待裁切图像进行人脸检测及显著性主体检测,以生成待裁切图像对应的人脸检测结果及显著性主体检测结果。
步骤1103,根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,确定待裁切图像对应的多个裁切框,其中,每个裁切框的宽高比为所述目标宽高比。
上述步骤1101-1103的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
步骤1104,根据预设排除规则,对各个裁切框进行筛选处理,以将满足预设排除规则的各个裁切框删除。
其中,预设排除规则包括以下规则中的至少一种:规则(1):裁切框未完全包络待裁切图像中的各个人脸对应的人脸框、规则(2):裁切框未完全包络待裁切图像对应的主体包络框的预设边缘、规则(3):裁切框的任一边缘穿过任一人脸对应的人脸框,其中,主体包络框是指包含待裁切图像中的显著性主体的最小外接矩形。
作为一种可能的实现方式,在待裁切图像中包含1张人脸时,排除规则中可以包括规则(1)与规则(2)中的至少一种;其中,规则(2)中的主体包络框为包含该人脸的显著性主体对应的最小外接矩形,预设边缘可以包括主体包络框的上边缘、左边缘及右边缘。其中,规则(1)用于排除未完全包络该人脸对应的人脸框的裁切框,以防止出现人脸裁切不全的情况发生;规则(2)用于排除未完全包络该人脸对应的人体的裁切框,以防止待裁切图像中包含人像站、坐等情形时出现人体裁切不全的情况发生。
作为一种可能的实现方式,在待裁切图像中包含2张人脸时,排除规则中可以包括规则(1)。其中,规则(1)用于排除未完全包含2张人脸对应的人脸框的裁切框,以保证两张人脸均不被切割。
作为一种可能的实现方式,在待裁切图像中包含2张以上的人脸时,排除规则中可以包括规则(3)。
作为一种可能的实现方式,在待裁切图像中未包含人脸,但是包含连通域面积大于第三阈值的最大显著性主体时,排除规则中可以包括规则(2),其中,规则(2)中的主体包络框可以是指最大显著性主体对应的主体包络框,预设边缘可以包括主体包络框的上边缘、左边缘及右边缘,以排除未完全包络主体包络框的预设边缘的各个裁切框,进而保证最大显著性主体不被切割。
在本申请实施例中,通过上述方式对生成的多个裁切框进行筛选处理,以在对待裁切图像进行裁切之前,就删除明显不具备构图美感的低质量裁切框,以减少后续用于裁切处理的裁切框数量,从而不仅可以进一步提升图像的裁切效果,还可以降低图像裁切的计算量,节省了系统计算资源。
进一步的,在结合预设构图规则及待裁切图像的人脸检测结果、显著性主体检测结果,生成的各个裁切框,充分考虑的人的主观审美,但是由于待裁切图像的宽高比与目标宽高比的多样化,采用上述排除规则对裁切框进行筛选之后,可以无法得到符合要求的裁切框,从而需要采用默认规则重新生成多个裁切框。即在本申请实施例一种可能的实现方式中,上述步骤1104之后,还可以包括:
在各个裁切框均被删除时,根据第二裁切规则及目标宽高比,重新确定多个裁切框。
需要说明的是,本实施例中提及的第二裁切规则与前述实施例中提及的默认规则是同一种裁切规则。
在本申请实施例中,若前述步骤生成的各个裁切框均满足排除规则,而全部被删除,则可以根据第二裁切规则(默认规则)及目标宽高比,重新对待裁切图像进行裁切处理,以重新生成多个裁切框。
作为一种可能的实现方式,第二裁切规则可以包括第二中心规则及第二滑动窗规则中的至少一种。
进一步的,在本申请实施例一种可能的实现方式中,在第二裁切规则包括第二中心规则时,上述根据第二裁切规则及目标宽高比,重新确定多个裁切框,可以包括:
将待裁切图像的中心点确定为第一初始裁切框的几何中心、将目标宽高比确定为第一初始裁切框的宽高比,以生成第一初始裁切框;
根据第三步长对第一初始裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框。
需要说明的是,多个裁切框中可以包含第一初始裁切框,第三步长与第二步长可以是相同的,也可以是不同的;实际使用时,可以根据实际需要及具体的应用场景,确定第三步长的具体取值,本申请实施例对此不做限定。
需要说明的是,本申请实施例中对第一初始裁切框进行放大处理的方式,与前述实施例中对第一最小裁切框及第二最小裁切框进行放大处理的方式相同,具体的实现过程及原理可以参照上述实施例的详细描述,此处不再赘述。
进一步的,在本申请实施例一种可能的实现方式中,在第二裁切规则包括第二滑动窗规则时,上述根据第二裁切规则及目标宽高比,重新确定多个裁切框,可以包括:
将待裁切图像的短边边长作为第二初始裁切框的第三边长,其中,短边包括第一短边及第二短边,第一短边为第二短边的对边;
根据第三边长及目标宽高比,确定第二初始裁切框的第四边长;
将第二初始裁切框的第三边长对应的任意一边与第一短边重合,以确定第二初始裁切框的第二初始位置;
按照第四步长,将第二初始裁切框从第二初始位置向第二短边方向滑动,并将每次滑动后的结果确定为一个裁切框,以确定多个裁切框。
其中,第二初始裁切框,为根据第二滑动窗规则生成的初始裁切框。
其中,第二初始位置,是指第二裁切框在待裁切图像中的初始位置。
其中,第三边长,为第二初始裁切框的其中一个边长;第四边长,为第二初始裁切框的另一个边长,且第三边长对应的边与第四边长对应的边为邻边。
作为一种示例,在待裁切图像的宽度对应的边为短边时,则可以将待裁切图像的宽度确定为第二初始裁切框的宽度(即第三边长),并将第二初始裁切框的宽度与目标宽高比的比值,确定为第二初始裁切框的高度(即第四边长);之后,可以将第二初始裁切框的宽度对应的一个边与待裁切图像的上边缘重合(即将待裁切图像的上边缘确定为第一短边),并使得第二初始裁切框完全处于待裁切图像内部,以确定第二初始裁切框的初始位置;进而按照第四步长将第二初始裁切框从第二初始位置向待裁切图像的下边缘滑动(即将待裁切图像的下边缘确定为第二短边),并将每次滑动后生成的裁切框确定为一个裁切框,直至滑动后的裁切框超出待裁切图像的范围则停止滑动。其中,多个裁切框中可以包括第二初始裁切框。
作为一种示例,在待裁切图像的宽度对应的边为短边时,按照前述公开的方式确定出第二初始裁切框的宽度和高度之后,还可以将第二初始裁切框的宽度对应的一个边与待裁切图像的下边缘重合(即将待裁切图像的下边缘确定为第一短边),并使得第二初始裁切框完全处于待裁切图像内部,以确定第二初始裁切框的第二初始位置;进而按照第四步长将第二初始裁切框从第二初始位置向待裁切图像的上边缘滑动(即将待裁切图像的上边缘确定为第二短边),并将每次滑动后生成的裁切框确定为一个裁切框,直至滑动后的裁切框超出待裁切图像的范围则停止滑动。
作为一种示例,在待裁切图像的高度对应的边为短边时,则可以将待裁切图像的高度确定为第二初始裁切框的高度(即第三边长),并将第二初始裁切框的高度与目标宽高比的乘积,确定为第二初始裁切框的宽度(即第四边长);之后,可以将第二初始裁切框的高度对应的一个边与待裁切图像的右边缘重合(即将待裁切图像的右边缘确定为第一短边),并使得第二初始裁切框完全处于待裁切图像内部,以确定第二初始裁切框的第二初始位置;进而按照第四步长将第二初始裁切框从第二初始位置向待裁切图像的左边缘滑动(即将待裁切图像的左边缘确定为第二短边),并将每次滑动后生成的裁切框确定为一个裁切框,直至滑动后的裁切框超出待裁切图像的范围则停止滑动。
作为一种示例,在待裁切图像的高度对应的边为短边时,按照前述公开的方式确定出第二初始裁切框的宽度和高度之后,还可以将第二初始裁切框的高度对应的一个边与待裁切图像的左边缘重合(即将待裁切图像的左边缘确定为第一短边),并使得第二初始裁切框完全处于待裁切图像内部,以确定第二初始裁切框的第二初始位置;进而按照第四步长将第二初始裁切框从第二初始位置向待裁切图像的右边缘滑动(即将待裁切图像的右边缘确定为第二短边),并将每次滑动后生成的裁切框确定为一个裁切框,直至滑动后的裁切框超出待裁切图像的范围则停止滑动。
需要说明的是,通过上述方式生成的多个裁切框中可以包括第二初始裁切框;第四步长与前述实施例中的第一步长可以是相同的,也可以是不同的;实际使用时,可以根据实际需要及具体的应用场景,确定第四步长的具体取值,本申请实施例对此不做限定。
作为一种可能的实现方式,第二预设规则中可以同时包括第二中心规则与第二滑动窗规则,从而可以依次根据第二中心规则与第二滑动窗规则,分别生成多个裁切框,以保证裁切框的丰富度。
作为一种可能的实现方式,在通过第二裁切规则重新生成多个裁切框之后,还可以利用上述预设排除规则对生成的多个裁切框进行筛选处理,以排除低质量的裁切框;若通过第二裁切规则重新生成的各个裁切框也全部符合预设排除规则,而被全部删除,则可以利用第二裁切规则再次重新生成多个裁切框,并直接将生成的各个裁切框保留,不再进行筛选处理。
步骤1105,根据每个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像。
步骤1106,对每个候选裁切图像进行美学评分,以确定每个候选裁切图像的美学评分。
步骤1107,根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。
上述步骤1105-1107的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
本申请实施例提供的图像裁切方法,通过根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,生成多个裁切框之后,还可以根据排除规则对裁切框进行初筛,以去除裁切效果明显较差的低质量裁切框,从而不仅降低了后续图像裁剪的计算量,节约了系统资源,而且进一步提升了裁切后图像的显示美感,进一步改善了用户体验。
在本申请一种可能的实现形式中,为了防止生成过多的相似裁切结果,浪费系统计算资源,还可以在对各个裁切结果进行美学评分之前,删除部分相似度较高的裁切结果,以节约系统资源。
下面结合图12,对本申请实施例提供的图像裁切方法进行进一步说明。
图12示出了本申请实施例提供的又一种图像裁切方法的流程示意图。
如图12所示,该图像裁切方法,包括以下步骤:
步骤1201,获取待裁切图像、待裁切图像的尺寸及目标裁切图像对应的目标宽高比。
步骤1202,对待裁切图像进行人脸检测及显著性主体检测,以生成待裁切图像对应的人脸检测结果及显著性主体检测结果。
步骤1203,根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,确定待裁切图像对应的多个裁切框,其中,每个裁切框的宽高比为目标宽高比。
步骤1204,根据每个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像。
上述步骤1201-1204的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
步骤1205,确定各个候选裁切图像中每两个候选裁切图像之间的相似度。
在本申请实施例中,可以通过两个候选裁切图像之间的相似度衡量两个候选裁切图像之间的相似程度,因此可以依次确定各个候选裁切图像中每两个候选裁切图像之间的相似度。
需要说明的是,实际使用时,可以根据实际需要及具体的应用场景,选取用于计算候选裁切图像之间相似度的相似度算法,本申请实施例对此不做限定。比如,可以采用差异哈希算法进行候选裁切图像之间的相似度计算。
步骤1206,根据每两个候选裁切图像之间的相似度,对各个候选裁切图像进行筛选处理。
在本申请实施例中,若两个候选裁切图像之间的相似度大于或等于相似度阈值,则可以确定这两个候选裁切图像之间的相似度较高,从而可以删除其中一个候选裁切图像。
作为一种示例,为了使得裁切后的图像中尽可能多的保留待裁切图像的信息,在两个候选裁切图像之间的相似度大于或等于相似度阈值时,可以将图像面积较小的候选裁切图像删除,保留面积较大的候选裁切图像。
需要说明的是,实际使用时,可以根据实际需要及具体的应用场景,确定相似度阈值的具体取值,本申请实施例对此不做限定。比如,相似度阈值可以为0.8、0.9,等等。
步骤1207,对每个候选裁切图像进行美学评分,以确定每个候选裁切图像的美学评分。
步骤1208,根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。
上述步骤1207-1208的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
本申请实施例提供的图像裁切方法,通过根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,生成多个裁切框,并根据每个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像,之后根据每两个候选裁切图像之间的相似度,对各个候选裁切图像进行筛选处理,进而根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。由此,通过将相似度较高的两个候选裁切图像删除其中之一,滤除相似度高的候选裁切图像,以防止生成过多的相似裁切结果,从而不仅降低了后续进行美学评分的计算量,节约了系统资源,而且进一步提升了裁切后图像的显示美感,进一步改善了用户体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的图像裁切方法,图13示出了本申请实施例提供的图像裁切装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图13,该装置1300,包括:
第一获取模块1301,用于获取待裁切图像、待裁切图像的尺寸及目标裁切图像对应的目标宽高比;
第一检测模块1302,用于对待裁切图像进行人脸检测及显著性主体检测,以生成待裁切图像对应的人脸检测结果及显著性主体检测结果;
第一确定模块1303,用于根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,确定待裁切图像对应的多个裁切框,其中,每个裁切框的宽高比为目标宽高比;
第一裁切模块1304,用于根据每个裁切框对待裁切图像进行裁切处理,以生成每个裁切框对应的候选裁切图像;
第二确定模块1305,用于对每个候选裁切图像进行美学评分,以确定每个候选裁切图像的美学评分;
第三确定模块1306,用于根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。
在实际使用时,本申请实施例提供的图像裁切装置,可以被配置在任意终端设备中,以执行前述图像裁切方法。
本申请实施例提供的图像裁切装置,通过对待裁切图像进行人脸检测及显著性主体检测,并根据人脸检测结果和/或显著性主体检测结果,以及待裁切图像的尺寸、目标宽高比、预设构图规则,对待裁切图像进行裁切处理,以生成多个候选裁切图像,之后对每个候选裁切图像进行美学评分,进而根据每个候选裁切图像的美学评分,确定待裁切图像对应的目标裁切图像。由此,通过在裁切图像时参考原图像的人脸检测结果及显著性主体检测结果,以使裁切后的图像能够在符合目标宽高比的同时尽可能完整包含原图像中的人脸或显著性主体,并在裁切时利用预设的构图规则以及通过对多个裁切结果进行美学评分,提升裁切后图像的构图美感,从而提升了裁切后图像的展示美感,提升了用户的使用体验。
在本申请的一种可能的实现方式中,上述第三确定模块1306,包括:
第一确定单元,用于将美学评分最高的候选裁切图像,确定为第一候选裁切图像;
第二确定单元,用于在第一候选裁切图像的美学评分大于或等于第一阈值时,将第一候选裁切图像,确定为目标裁切图像;
第三确定单元,用于在第一候选裁切图像的美学评分小于第一阈值时,根据第一裁切规则对待裁切图像进行二次裁切,以确定目标裁切框;
第一裁切单元,用于根据目标裁切框对待裁切图像进行裁切处理,以生成目标裁切图像。
进一步的,在本申请另一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量小于或等于第一预设值时,每个人脸对应一个人脸框,上述第一裁切规则为第一滑动窗规则;相应的,上述第三确定单元,具体用于:
将待裁切图像的短边边长作为第一裁切框的第一边长,其中,短边包括第一短边及第二短边,第一短边为第二短边的对边;
根据第一边长及目标宽高比,确定第一裁切框的第二边长;
将第一裁切框的第一边长对应的任意一边与第一短边重合,以确定第一裁切框的第一初始位置;
按照第一步长,将第一裁切框从第一初始位置向第二短边方向滑动,并将第一次完全包络各个人脸框的第一裁切框,确定为目标裁切框。
进一步的,在本申请再一种可能的实现方式中,上述人脸检测结果为待裁切图像中包含的人脸数量大于第一预设值时,上述第一裁切规则为第一中心规则;相应的,上述第三确定单元,还用于:
将以待裁切图像的中心点为中心点、宽高比为目标宽高比且尺寸最大的裁切框,确定为目标裁切框。
进一步的,在本申请又一种可能的实现方式中,上述预设构图规则包括中心规则、三分线规则及颅顶线六分之一规则中的至少一种,其中,上述中心规则是指图像中的关注对象处于图像中心位置的构图规则,上述三分线规则是指图像中的关注对象处于图像的三分线交点处的构图规则,上述颅顶线六分之一规则是指图像中的关注人脸对象的颅顶线处于图像的上六分线处的构图规则;其中,上述图像的三分线是指将图像的宽和高三等分的四条直线,上述图像的上六分线是指将图像的高六等分的五条直线中最接近图像的上边缘的直线。
进一步的,在本申请又一种可能的实现方式中,上述装置1300,还包括:
第四确定模块,用于在目标宽高比小于或等于第二阈值,且待裁切图像为远景图像时,将预设构图规则确定为中心规则、三分线规则中的至少一种;
第五确定模块,用于在目标宽高比小于或等于第二阈值,且待裁切图像为近景图像时,将预设构图规则确定为中心规则、颅顶线六分之一规则中的至少一种;
第六确定模块,用于在目标宽高比大于第二阈值时,将预设构图规则确定为中心规则、三分线规则、颅顶线六分之一规则中的至少一种。
进一步的,在本申请另一种可能的实现方式中,上述人脸检测结果中包括待裁切图像中包含的人脸数量及每个人脸对应的人脸框位置,上述显著性主体检测结果中包括待裁切图像中包含的显著性主体数量及显著性主体对应的二值蒙版图像;相应的,上述第一确定模块1303,包括:
第四确定单元,用于在人脸检测结果为待裁切图像中包含至少一个人脸时,根据各个人脸框位置,确定人脸锚点;
第五确定单元,用于根据各个人脸框位置或待裁切图像的尺寸,以及目标宽高比、人脸锚点及预设构图规则,确定第一最小裁切框;
第六确定单元,用于根据第二步长对第一最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框;
第七确定单元,用于在显著性主体检测结果为待裁切图像中包含至少一个显著性主体时,根据二值蒙版图像确定待裁切图像中包含的最大显著性主体;
第八确定单元,用于确定最大显著性主体的主体质心,并将最大显著性主体的主体质心确定为主体锚点;
第九确定单元,用于根据待裁切图像的尺寸、目标宽高比、主体锚点及预设构图规则,确定第二最小裁切框;
第十确定单元,用于根据第二步长对第二最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框。
进一步的,在本申请再一种可能的实现方式中,上述第七确定单元,具体用于:
根据二值蒙版图像,确定每个显著性主体对应的连通域面积;
在脸检测结果为待裁切图像中包含至少一个人脸时,将包含人脸且连通域面积最大的显著性主体,确定为最大显著性主体;
在脸检测结果为待裁切图像中包含的人脸数量为0时,将连通域面积最大且连通域面积大于第三阈值的显著性主体,确定为最大显著性主体。
进一步的,在本申请又一种可能的实现方式中,上述第九确定单元,具体用于:
在预设构图规则包括中心规则时,将主体锚点作为第二最小裁切框的几何中心、将目标宽高比作为第二最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第二最小裁切框的尺寸,以确定第二最小裁切框;
在预设构图规则包括所述三分线规则时,将主体锚点分别作为第二最小裁切框的至少一个三分线交点、将目标宽高比作为第二最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第二最小裁切框的尺寸,以确定至少一个第二最小裁切框。
进一步的,在本申请又一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为1时,相应的,上述第四确定单元,具体用于:
根据人脸对应的人脸框位置,确定人脸的几何中心;
将人脸的几何中心,确定为人脸锚点。
进一步的,在本申请另一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为1时,相应的 ,上述第五确定单元,具体用于:
在预设构图规则包括中心规则时,将几何中心为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;
在预设构图规则包括三分线规则,且目标宽高比小于或等于第二阈值时,将上三分线的中点为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的所述最小裁切框,确定为第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括三分线规则,且目标宽高比大于第二阈值时,将任一三分线交点为人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框中的至少一个,确定为第一最小裁切框;
在预设构图规则包括颅顶线六分之一规则,且目标宽高比小于或等于所述第二阈值时,将横轴中线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框,其中,横轴中线是指将裁切框的宽二等分的直线;
在预设构图规则包括颅顶线六分之一规则,且目标宽高比大于第二阈值时,将横轴中线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为所述目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;和/或,将左三分线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;和/或,将右三分线包含人脸锚点、上六分线位于人脸框的上边缘、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框;其中,左三分线是指将裁切框的宽三等分的两条直线中最接近裁切框的左边缘的直线,右三分线是指将裁切框的宽三等分的两条直线中最接近裁切框的右边缘的直线。
进一步的,在本申请再一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量大于1时,相应的,上述第四确定单元,还用于:
根据各个人脸框的位置,将在待裁切图像的宽度方向上居中的至少一个人脸,确定为参考人脸;
根据各个参考人脸对应的人脸框位置,确定人脸锚点。
进一步的,在本申请又一种可能的实现方式中,上述第四确定单元,还用于:
在人脸检测结果为待裁切图像中包含的人脸数量为2时,将待裁切图像中包含的两个人脸,确定为参考人脸;
在人脸检测结果为待裁切图像中包含的人脸数量为大于2的奇数时,将在待裁切图像的宽度方向上居中的人脸,确定为参考人脸;
在人脸检测结果为待裁切图像中包含的人脸数量为大于2的偶数时,将在待裁切图像的宽度方向上居中的两个人脸,确定为参考人脸。
进一步的,在本申请又一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为偶数时,上述人脸锚点包括第一人脸锚点和/或第二人脸锚点;相应的,上述第四确定单元,还用于:
在预设构图规则包括中心规则或三分线规则时,根据两个参考人脸对应的人脸框位置,分别确定两个参考人脸对应的几何中心;
将两个参考人脸对应的几何中心连线的中点,确定为第一人脸锚点;
在预设构图规则包括颅顶线六分之一规则时,根据两个参考人脸对应的人脸框位置,分别确定两个参考人脸对应的几何中心及人脸框上边缘位置;
根据两个参考人脸对应的几何中心和/或人脸框上边缘位置,确定为第二人脸锚点。
进一步的,在本申请另一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为大于1的奇数时,上述人脸锚点包括第一人脸锚点和/或第二人脸锚点;相应的,上述第四确定单元,还用于:
在预设构图规则包括中心规则或三分线规则时,根据参考人脸对应的人脸框位置,确定参考人脸对应的几何中心;
将参考人脸对应的几何中心,确定为第一人脸锚点;
在预设构图规则包括颅顶线六分之一规则时,根据参考人脸对应的人脸框位置,确定参考人脸对应的人脸框上边缘中点;
将参考人脸对应的人脸框上边缘中点,确定为第二人脸锚点。
进一步的,在本申请再一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量为2时,相应的,上述第五确定单元,还用于:
在预设构图规则包括中心规则时,将几何中心为第一人脸锚点、宽高比为目标宽高比、且完全包络各个人脸框的最小裁切框,确定为第一最小裁切框;
在预设构图规则包括三分线规则时,将上三分线的中点为第一人脸锚点、宽高比为目标宽高比、且完全包络各个人脸框的最小裁切框,确定为第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括颅顶线六分之一规则时,将上六分线的中点为第二人脸锚点、宽高比为目标宽高比、且完全包络人脸框的最小裁切框,确定为第一最小裁切框。
进一步的,在本申请又一种可能的实现方式中,上述在人脸检测结果为待裁切图像中包含的人脸数量大于2时,相应的,上述第五确定单元,还用于:
在预设构图规则包括中心规则时,将第一人脸锚点确定为第一最小裁切框的几何中心、将目标宽高比确定为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框;
在预设构图规则包括三分线规则时,将第一人脸锚点确定为第一最小裁切框的上三分线的中点、将目标宽高比确定为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框,其中,上三分线是指将裁切框的高三等分的两条直线中最接近裁切框的上边缘的直线;
在预设构图规则包括颅顶线六分之一规则时,将上六分线的中点为将第二人脸锚点作为第一最小裁切框的上六分线的中点、将目标宽高比作为第一最小裁切框的宽高比,并根据待裁切图像的尺寸及目标宽高比,确定满足目标宽高比的最大裁切框,进而根据最大裁切框的尺寸及预设比例,确定第一最小裁切框的尺寸,以确定第一最小裁切框。
进一步的,在本申请又一种可能的实现方式中,上述装置1300,还包括:
第一删除模块,用于根据预设排除规则,对各个裁切框进行筛选处理,以将满足预设排除规则的各个裁切框删除。
进一步的,在本申请另一种可能的实现方式中,上述预设排除规则包括以下规则中的至少一种:裁切框未完全包络待裁切图像中的各个人脸对应的人脸框、裁切框未完全包络待裁切图像对应的主体包络框的预设边缘、裁切框的任一边缘穿过任一人脸对应的人脸框,其中,主体包络框是指包含待裁切图像中的显著性主体的最小外接矩形。
进一步的,在本申请再一种可能的实现方式中,上述装置1300,还包括:
第七确定模块,用于在各个裁切框均被删除时,根据第二裁切规则及目标宽高比,重新确定多个裁切框。
进一步的,在本申请又一种可能的实现方式中,上述第二裁切规则包括第二中心规则及第二滑动窗规则中的至少一种。
进一步的,在本申请又一种可能的实现方式中,上述第二裁切规则包括第二中心规则;相应的,上述第七确定模块,包括:
第十一确定单元,用于将待裁切图像的中心点确定为第一初始裁切框的几何中心、将目标宽高比确定为第一初始裁切框的宽高比,以生成第一初始裁切框;
第十二确定单元,用于根据第三步长对第一初始裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个裁切框,以确定多个裁切框。
进一步的,在本申请另一种可能的实现方式中,上述第二裁切规则包括第二滑动窗规则;相应的,上述第七确定模块,还包括:
第十三确定单元,用于将待裁切图像的短边边长作为第二初始裁切框的第三边长,其中,短边包括第一短边及第二短边,第一短边为第二短边的对边;
第十四确定单元,用于根据第三边长及目标宽高比,确定第二初始裁切框的第四边长;
第十五确定单元,用于将第二初始裁切框的第三边长对应的任意一边与第一短边重合,以确定第二初始裁切框的第二初始位置;
第十六确定单元,用于按照第四步长,将第二初始裁切框从第二初始位置向第二短边方向滑动,并将每次滑动后的结果确定为一个裁切框,以确定多个裁切框。
进一步的,在本申请再一种可能的实现方式中,上述装置1300,还包括:
第八确定模块,用于确定各个候选裁切图像中每两个候选裁切图像之间的相似度;
第一筛选模块,用于根据每两个候选裁切图像之间的相似度,对各个候选裁切图像进行筛选处理。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
为了实现上述实施例,本申请还提出一种终端设备。
图14为本申请一个实施例的终端设备的结构示意图。
如图14所示,上述终端设备1400包括:
存储器1410及至少一个处理器1420,连接不同组件(包括存储器1410和处理器1420)的总线1430,存储器1410存储有计算机程序,当处理器1420执行所述程序时实现本申请实施例所述的图像裁切方法。
总线1430表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
终端设备1400典型地包括多种电子设备可读介质。这些介质可以是任何能够被终端设备1400访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器1410还可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)1440和/或高速缓存存储器1450。终端设备1400可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统1460可以用于读写不可移动的、非易失性磁介质(图14未显示,通常称为“硬盘驱动器”)。尽管图14中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM, DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线1430相连。存储器1410可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块1470的程序/实用工具1480,可以存储在例如存储器1410中,这样的程序模块1470包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块1470通常执行本申请所描述的实施例中的功能和/或方法。
终端设备1400也可以与一个或多个外部设备1490(例如键盘、指向设备、显示器1491等)通信,还可与一个或者多个使得用户能与该终端设备1400交互的设备通信,和/或与使得该终端设备1400能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1492进行。并且,终端设备1400还可以通过网络适配器1493与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1493通过总线1430与终端设备1400的其它模块通信。应当明白,尽管图中未示出,可以结合终端设备1400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器1420通过运行存储在存储器1410中的程序,从而执行各种功能应用以及数据处理。
需要说明的是,本实施例的终端设备的实施过程和技术原理参见前述对本申请实施例的图像裁切方法的解释说明,此处不再赘述。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (27)
1.一种图像裁切方法,其特征在于,包括:
获取待裁切图像、所述待裁切图像的尺寸及目标裁切图像对应的目标宽高比;
对所述待裁切图像进行人脸检测及显著性主体检测,以生成所述待裁切图像对应的人脸检测结果及显著性主体检测结果;
根据所述人脸检测结果和/或所述显著性主体检测结果,以及所述待裁切图像的尺寸、所述目标宽高比、预设构图规则,确定所述待裁切图像对应的多个裁切框,其中,每个所述裁切框的宽高比为所述目标宽高比;
根据每个所述裁切框对所述待裁切图像进行裁切处理,以生成每个所述裁切框对应的候选裁切图像;
对每个所述候选裁切图像进行美学评分,以确定每个所述候选裁切图像的美学评分;
根据每个所述候选裁切图像的美学评分,确定所述待裁切图像对应的目标裁切图像。
2.如权利要求1所述的方法,其特征在于,所述根据每个所述候选裁切图像的美学评分,确定所述待裁切图像对应的目标裁切图像,包括:
将美学评分最高的所述候选裁切图像,确定为第一候选裁切图像;
在所述第一候选裁切图像的美学评分大于或等于第一阈值时,将所述第一候选裁切图像,确定为所述目标裁切图像;
在所述第一候选裁切图像的美学评分小于所述第一阈值时,根据第一裁切规则对所述待裁切图像进行二次裁切,以确定目标裁切框;
根据所述目标裁切框对所述待裁切图像进行裁切处理,以生成所述目标裁切图像。
3.如权利要求2所述的方法,其特征在于,在所述人脸检测结果为所述待裁切图像中包含的人脸数量小于或等于第一预设值时,每个人脸对应一个人脸框,所述第一裁切规则为第一滑动窗规则,所述根据第一裁切规则对所述待裁切图像进行二次裁切,以确定目标裁切框,包括:
将所述待裁切图像的短边边长作为第一裁切框的第一边长,其中,所述短边包括第一短边及第二短边,所述第一短边为所述第二短边的对边;
根据所述第一边长及所述目标宽高比,确定所述第一裁切框的第二边长;
将所述第一裁切框的第一边长对应的任意一边与所述第一短边重合,以确定所述第一裁切框的第一初始位置;
按照第一步长,将所述第一裁切框从所述第一初始位置向所述第二短边方向滑动,并将第一次完全包络各个所述人脸框的所述第一裁切框,确定为所述目标裁切框。
4.如权利要求2所述的方法,其特征在于,所述人脸检测结果为所述待裁切图像中包含的人脸数量大于第一预设值时,所述第一裁切规则为第一中心规则,所述根据第一裁切规则对所述待裁切图像进行二次裁切,以确定目标裁切框,包括:
将以所述待裁切图像的中心点为中心点、宽高比为所述目标宽高比且尺寸最大的裁切框,确定为所述目标裁切框。
5.如权利要求1所述的方法,其特征在于,所述预设构图规则包括中心规则、三分线规则及颅顶线六分之一规则中的至少一种,其中,所述中心规则是指图像中的关注对象处于图像中心位置的构图规则,所述三分线规则是指图像中的关注对象处于图像的三分线交点处的构图规则,所述颅顶线六分之一规则是指图像中的关注人脸对象的颅顶线处于图像的上六分线处的构图规则;其中,所述图像的三分线是指将所述图像的宽和高三等分的四条直线,所述图像的上六分线是指将所述图像的高六等分的五条直线中最接近所述图像的上边缘的直线。
6.如权利要求5所述的方法,其特征在于,在所述人脸检测结果为所述待裁切图像中包含的人脸数量为1时,所述根据所述人脸检测结果和/或所述显著性主体检测结果,以及所述待裁切图像的尺寸、所述目标宽高比、预设构图规则,确定所述待裁切图像对应的多个裁切框之前,还包括:
在所述目标宽高比小于或等于第二阈值,且所述待裁切图像为远景图像时,将所述预设构图规则确定为所述中心规则、所述三分线规则中的至少一种;
在所述目标宽高比小于或等于所述第二阈值,且所述待裁切图像为近景图像时,将所述预设构图规则确定为所述中心规则、所述颅顶线六分之一规则中的至少一种;
在所述目标宽高比大于所述第二阈值时,将所述预设构图规则确定为所述中心规则、所述三分线规则、所述颅顶线六分之一规则中的至少一种。
7.如权利要求5所述的方法,其特征在于,所述人脸检测结果中包括所述待裁切图像中包含的人脸数量及每个人脸对应的人脸框位置,所述显著性主体检测结果中包括所述待裁切图像中包含的显著性主体数量及所述显著性主体对应的二值蒙版图像,所述根据所述人脸检测结果和/或所述显著性主体检测结果,以及所述待裁切图像的尺寸、所述目标宽高比、预设构图规则,确定所述待裁切图像对应的多个裁切框,包括:
在所述人脸检测结果为所述待裁切图像中包含至少一个人脸时,根据各个所述人脸框位置,确定人脸锚点;
根据各个所述人脸框位置或所述待裁切图像的尺寸,以及所述目标宽高比、所述人脸锚点及所述预设构图规则,确定第一最小裁切框;
根据第二步长对所述第一最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个所述裁切框,以确定多个所述裁切框;
在所述显著性主体检测结果为所述待裁切图像中包含至少一个所述显著性主体时,根据所述二值蒙版图像确定所述待裁切图像中包含的最大显著性主体;
确定所述最大显著性主体的主体质心,并将所述最大显著性主体的主体质心确定为主体锚点;
根据所述待裁切图像的尺寸、所述目标宽高比、所述主体锚点及所述预设构图规则,确定第二最小裁切框;
根据所述第二步长对所述第二最小裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个所述裁切框,以确定多个所述裁切框。
8.如权利要求7所述的方法,其特征在于,所述根据所述二值蒙版图像确定所述待裁切图像中包含的最大显著性主体,包括:
根据所述二值蒙版图像,确定每个所述显著性主体对应的连通域面积;
在所述脸检测结果为所述待裁切图像中包含至少一个所述人脸时,将包含所述人脸且所述连通域面积最大的所述显著性主体,确定为所述最大显著性主体;
在所述脸检测结果为所述待裁切图像中包含的人脸数量为0时,将所述连通域面积最大且所述连通域面积大于第三阈值的所述显著性主体,确定为所述最大显著性主体。
9.如权利要求7所述的方法,其特征在于,所述根据所述待裁切图像的尺寸、所述目标宽高比、所述主体锚点及所述预设构图规则,确定第二最小裁切框,包括:
在所述预设构图规则包括所述中心规则时,将所述主体锚点作为所述第二最小裁切框的几何中心、将所述目标宽高比作为所述第二最小裁切框的宽高比,并根据所述待裁切图像的尺寸及所述目标宽高比,确定满足所述目标宽高比的最大裁切框,进而根据所述最大裁切框的尺寸及预设比例,确定所述第二最小裁切框的尺寸,以确定所述第二最小裁切框;
在所述预设构图规则包括所述三分线规则时,将所述主体锚点分别作为所述第二最小裁切框的至少一个三分线交点、将所述目标宽高比作为所述第二最小裁切框的宽高比,并根据所述待裁切图像的尺寸及所述目标宽高比,确定满足所述目标宽高比的所述最大裁切框,进而根据所述最大裁切框的尺寸及所述预设比例,确定所述第二最小裁切框的尺寸,以确定至少一个所述第二最小裁切框。
10.如权利要求7所述的方法,其特征在于,在所述人脸检测结果为所述待裁切图像中包含的人脸数量为1时,所述根据各个所述人脸框位置,确定人脸锚点,包括:
根据所述人脸对应的人脸框位置,确定所述人脸的几何中心;
将所述人脸的几何中心,确定为所述人脸锚点。
11.如权利要求7所述的方法,其特征在于,在所述人脸检测结果为所述待裁切图像中包含的人脸数量为1时,所述根据各个所述人脸框位置或所述待裁切图像的尺寸,以及所述目标宽高比、所述人脸锚点及所述预设构图规则,确定第一最小裁切框,包括:
在所述预设构图规则包括所述中心规则时,将几何中心为所述人脸锚点、所述宽高比为所述目标宽高比、且完全包络所述人脸框的最小裁切框,确定为所述第一最小裁切框;
在所述预设构图规则包括所述三分线规则,且所述目标宽高比小于或等于第二阈值时,将上三分线的中点为所述人脸锚点、所述宽高比为所述目标宽高比、且完全包络所述人脸框的所述最小裁切框,确定为所述第一最小裁切框,其中,所述上三分线是指将所述裁切框的高三等分的两条直线中最接近所述裁切框的上边缘的直线;
在所述预设构图规则包括所述三分线规则,且所述目标宽高比大于所述第二阈值时,将任一三分线交点为所述人脸锚点、所述宽高比为所述目标宽高比、且完全包络所述人脸框的所述最小裁切框中的至少一个,确定为所述第一最小裁切框;
在所述预设构图规则包括所述颅顶线六分之一规则,且所述目标宽高比小于或等于所述第二阈值时,将横轴中线包含所述人脸锚点、所述上六分线位于所述人脸框的上边缘、所述宽高比为所述目标宽高比、且完全包络所述人脸框的所述最小裁切框,确定为所述第一最小裁切框,其中,所述横轴中线是指将所述裁切框的宽二等分的直线;
在所述预设构图规则包括所述颅顶线六分之一规则,且所述目标宽高比大于所述第二阈值时,将横轴中线包含所述人脸锚点、所述上六分线位于所述人脸框的上边缘、所述宽高比为所述目标宽高比、且完全包络所述人脸框的所述最小裁切框,确定为所述第一最小裁切框;和/或,将左三分线包含所述人脸锚点、所述上六分线位于所述人脸框的上边缘、所述宽高比为所述目标宽高比、且完全包络所述人脸框的所述最小裁切框,确定为所述第一最小裁切框;和/或,将右三分线包含所述人脸锚点、所述上六分线位于所述人脸框的上边缘、所述宽高比为所述目标宽高比、且完全包络所述人脸框的所述最小裁切框,确定为所述第一最小裁切框;其中,所述左三分线是指将所述裁切框的宽三等分的两条直线中最接近所述裁切框的左边缘的直线,所述右三分线是指将所述裁切框的宽三等分的两条直线中最接近所述裁切框的右边缘的直线。
12.如权利要求7所述的方法,其特征在于,在所述人脸检测结果为所述待裁切图像中包含的人脸数量大于1时,所述根据各个所述人脸框位置,确定人脸锚点,包括:
根据各个所述人脸框的位置,将在所述待裁切图像的宽度方向上居中的至少一个所述人脸,确定为参考人脸;
根据各个所述参考人脸对应的人脸框位置,确定所述人脸锚点。
13.如权利要求12所述的方法,其特征在于,所述根据各个所述人脸框的位置,将在所述待裁切图像的宽度方向上居中的至少一个所述人脸,确定为参考人脸,包括:
在所述人脸检测结果为所述待裁切图像中包含的人脸数量为2时,将所述待裁切图像中包含的两个所述人脸,确定为所述参考人脸;
在所述人脸检测结果为所述待裁切图像中包含的所述人脸数量为大于2的奇数时,将在所述待裁切图像的宽度方向上居中的所述人脸,确定为所述参考人脸;
在所述人脸检测结果为所述待裁切图像中包含的所述人脸数量为大于2的偶数时,将在所述待裁切图像的宽度方向上居中的两个所述人脸,确定为所述参考人脸。
14.如权利要求13所述的方法,其特征在于,在所述人脸检测结果为所述待裁切图像中包含的人脸数量为偶数时,所述人脸锚点包括第一人脸锚点和/或第二人脸锚点,所述根据各个所述参考人脸对应的人脸框位置,确定所述人脸锚点,包括:
在所述预设构图规则包括所述中心规则或所述三分线规则时,根据两个所述参考人脸对应的人脸框位置,分别确定两个所述参考人脸对应的几何中心;
将两个所述参考人脸对应的几何中心连线的中点,确定为所述第一人脸锚点;
在所述预设构图规则包括所述颅顶线六分之一规则时,根据两个所述参考人脸对应的人脸框位置,分别确定两个所述参考人脸对应的几何中心及人脸框上边缘位置;
根据两个所述参考人脸对应的几何中心和/或所述人脸框上边缘位置,确定所述第二人脸锚点。
15.如权利要求13所述的方法,其特征在于,在所述人脸检测结果为所述待裁切图像中包含的人脸数量为大于1的奇数时,所述人脸锚点包括第一人脸锚点和/或第二人脸锚点,所述根据各个所述参考人脸对应的人脸框位置,确定所述人脸锚点,包括:
在所述预设构图规则包括所述中心规则或所述三分线规则时,根据所述参考人脸对应的人脸框位置,确定所述参考人脸对应的几何中心;
将所述参考人脸对应的几何中心,确定为所述第一人脸锚点;
在所述预设构图规则包括颅顶线六分之一规则时,根据所述参考人脸对应的人脸框位置,确定所述参考人脸对应的人脸框上边缘中点;
将所述参考人脸对应的人脸框上边缘中点,确定为所述第二人脸锚点。
16.如权利要求14所述的方法,其特征在于,在所述人脸检测结果为所述待裁切图像中包含的人脸数量为2时,所述根据各个所述人脸框位置或所述待裁切图像的尺寸,以及所述目标宽高比、所述人脸锚点及所述预设构图规则,确定第一最小裁切框,包括:
在所述预设构图规则包括所述中心规则时,将几何中心为所述第一人脸锚点、所述宽高比为所述目标宽高比、且完全包络各个所述人脸框的最小裁切框,确定为所述第一最小裁切框;
在所述预设构图规则包括所述三分线规则时,将上三分线的中点为所述第一人脸锚点、所述宽高比为所述目标宽高比、且完全包络各个所述人脸框的最小裁切框,确定为所述第一最小裁切框,其中,所述上三分线是指将所述裁切框的高三等分的两条直线中最接近所述裁切框的上边缘的直线;
在所述预设构图规则包括所述颅顶线六分之一规则时,将上六分线的中点为所述第二人脸锚点、所述宽高比为所述目标宽高比、且完全包络所述人脸框的所述最小裁切框,确定为所述第一最小裁切框。
17.如权利要求14或15所述的方法,其特征在于,在所述人脸检测结果为所述待裁切图像中包含的人脸数量大于2时,所述根据各个所述人脸框位置或所述待裁切图像的尺寸,以及所述目标宽高比、所述人脸锚点及所述预设构图规则,确定第一最小裁切框,包括:
在所述预设构图规则包括所述中心规则时,将所述第一人脸锚点确定为所述第一最小裁切框的几何中心、将所述目标宽高比确定为所述第一最小裁切框的宽高比,并根据所述待裁切图像的尺寸及所述目标宽高比,确定满足所述目标宽高比的最大裁切框,进而根据所述最大裁切框的尺寸及预设比例,确定所述第一最小裁切框的尺寸,以确定所述第一最小裁切框;
在所述预设构图规则包括所述三分线规则时,将所述第一人脸锚点确定为所述第一最小裁切框的上三分线的中点、将所述目标宽高比确定为所述第一最小裁切框的宽高比,并根据所述待裁切图像的尺寸及所述目标宽高比,确定满足所述目标宽高比的最大裁切框,进而根据所述最大裁切框的尺寸及预设比例,确定所述第一最小裁切框的尺寸,以确定所述第一最小裁切框,其中,所述上三分线是指将所述裁切框的高三等分的两条直线中最接近所述裁切框的上边缘的直线;
在所述预设构图规则包括所述颅顶线六分之一规则时,将所述第二人脸锚点作为所述第一最小裁切框的上六分线的中点、将所述目标宽高比作为所述第一最小裁切框的宽高比,并根据所述待裁切图像的尺寸及所述目标宽高比,确定满足所述目标宽高比的所述最大裁切框,进而根据所述最大裁切框的尺寸及所述预设比例,确定所述第一最小裁切框的尺寸,以确定所述第一最小裁切框。
18.如权利要求1-16任一所述的方法,其特征在于,所述根据每个所述裁切框对所述待裁切图像进行裁切处理,以生成每个所述裁切框对应的候选裁切图像之前,还包括:
根据预设排除规则,对各个所述裁切框进行筛选处理,以将满足所述预设排除规则的各个所述裁切框删除。
19.如权利要求18所述的方法,其特征在于,所述预设排除规则包括以下规则中的至少一种:所述裁切框未完全包络所述待裁切图像中的各个人脸对应的人脸框、所述裁切框未完全包络所述待裁切图像对应的主体包络框的预设边缘、所述裁切框的任一边缘穿过任一所述人脸对应的人脸框,其中,所述主体包络框是指包含所述待裁切图像中的所述显著性主体的最小外接矩形。
20.如权利要求18所述的方法,其特征在于,所述根据预设排除规则,对各个所述裁切框进行筛选处理,以将满足所述预设排除规则的各个所述裁切框删除之后,还包括:
在各个所述裁切框均被删除时,根据第二裁切规则及所述目标宽高比,重新确定多个所述裁切框。
21.如权利要求20所述的方法,其特征在于,所述第二裁切规则包括第二中心规则及第二滑动窗规则中的至少一种。
22.如权利要求21所述的方法,其特征在于,所述第二裁切规则包括所述第二中心规则,所述根据第二裁切规则及所述目标宽高比,重新确定多个所述裁切框,包括:
将所述待裁切图像的中心点确定为第一初始裁切框的几何中心、将所述目标宽高比确定为所述第一初始裁切框的宽高比,以生成所述第一初始裁切框;
根据第三步长对所述第一初始裁切框进行多次等比例放大处理,并将每次的放大结果确定为一个所述裁切框,以确定多个所述裁切框。
23.如权利要求21所述的方法,其特征在于,所述第二裁切规则包括所述第二滑动窗规则,所述根据第二裁切规则及所述目标宽高比,重新确定多个所述裁切框,包括:
将所述待裁切图像的短边边长作为第二初始裁切框的第三边长,其中,所述短边包括第一短边及第二短边,所述第一短边为所述第二短边的对边;
根据所述第三边长及所述目标宽高比,确定所述第二初始裁切框的第四边长;
将所述第二初始裁切框的第三边长对应的任意一边与所述第一短边重合,以确定所述第二初始裁切框的第二初始位置;
按照第四步长,将所述第二初始裁切框从所述第二初始位置向所述第二短边方向滑动,并将每次滑动后的结果确定为一个所述裁切框,以确定多个所述裁切框。
24.如权利要求1-16任一所述的方法,其特征在于,所述对每个所述候选裁切图像及所述待裁切图像进行美学评分,以确定每个所述候选裁切图像的美学评分及所述待裁切图像的美学评分之前,还包括:
确定各个所述候选裁切图像中每两个所述候选裁切图像之间的相似度;
根据每两个所述候选裁切图像之间的相似度,对各个所述候选裁切图像进行筛选处理。
25.一种图像裁切装置,其特征在于,包括:
第一获取模块,用于获取待裁切图像、所述待裁切图像的尺寸及目标裁切图像对应的目标宽高比;
第一检测模块,用于对所述待裁切图像进行人脸检测及显著性主体检测,以生成所述待裁切图像对应的人脸检测结果及显著性主体检测结果;
第一确定模块,用于根据所述人脸检测结果和/或所述显著性主体检测结果,以及所述待裁切图像的尺寸、所述目标宽高比、预设构图规则,确定所述待裁切图像对应的多个裁切框,其中,每个所述裁切框的宽高比为所述目标宽高比;
第一裁切模块,用于根据每个所述裁切框对所述待裁切图像进行裁切处理,以生成每个所述裁切框对应的候选裁切图像;
第二确定模块,用于对每个所述候选裁切图像,以确定每个所述候选裁切图像的美学评分;
第三确定模块,用于根据每个所述候选裁切图像的美学评分,确定所述待裁切图像对应的目标裁切图像。
26.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-24中任一项所述的方法。
27.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-24中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310813474.7A CN116543004B (zh) | 2023-07-05 | 2023-07-05 | 图像裁切方法、装置、终端设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310813474.7A CN116543004B (zh) | 2023-07-05 | 2023-07-05 | 图像裁切方法、装置、终端设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116543004A true CN116543004A (zh) | 2023-08-04 |
CN116543004B CN116543004B (zh) | 2024-04-19 |
Family
ID=87449193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310813474.7A Active CN116543004B (zh) | 2023-07-05 | 2023-07-05 | 图像裁切方法、装置、终端设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116543004B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015154516A1 (zh) * | 2014-04-09 | 2015-10-15 | 百度在线网络技术(北京)有限公司 | 基于人脸识别的图片裁剪方法、装置、设备和存储介质 |
CN105659286A (zh) * | 2013-09-18 | 2016-06-08 | 英特尔公司 | 自动化图像裁剪和分享 |
CN112017193A (zh) * | 2020-08-24 | 2020-12-01 | 杭州趣维科技有限公司 | 一种基于视觉显著性和美学分数的图像裁切装置及方法 |
CN114466133A (zh) * | 2021-04-26 | 2022-05-10 | 荣耀终端有限公司 | 拍照方法及装置 |
WO2023045641A1 (zh) * | 2021-09-27 | 2023-03-30 | 腾讯科技(深圳)有限公司 | 图像裁剪方法、装置、计算机设备及存储介质 |
-
2023
- 2023-07-05 CN CN202310813474.7A patent/CN116543004B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105659286A (zh) * | 2013-09-18 | 2016-06-08 | 英特尔公司 | 自动化图像裁剪和分享 |
WO2015154516A1 (zh) * | 2014-04-09 | 2015-10-15 | 百度在线网络技术(北京)有限公司 | 基于人脸识别的图片裁剪方法、装置、设备和存储介质 |
CN112017193A (zh) * | 2020-08-24 | 2020-12-01 | 杭州趣维科技有限公司 | 一种基于视觉显著性和美学分数的图像裁切装置及方法 |
CN114466133A (zh) * | 2021-04-26 | 2022-05-10 | 荣耀终端有限公司 | 拍照方法及装置 |
WO2023045641A1 (zh) * | 2021-09-27 | 2023-03-30 | 腾讯科技(深圳)有限公司 | 图像裁剪方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116543004B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3454250A1 (en) | Facial image processing method and apparatus and storage medium | |
CN111507994A (zh) | 一种人像提取方法、人像提取装置及移动终端 | |
CN110163831B (zh) | 三维虚拟沙盘的物体动态展示方法、装置及终端设备 | |
CN105243371A (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
CN108921856B (zh) | 图像裁剪方法、装置、电子设备及计算机可读存储介质 | |
Dong et al. | Summarization-based image resizing by intelligent object carving | |
CN111709956A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN108769803A (zh) | 带边框视频的识别方法、裁剪方法、系统、设备及介质 | |
US20130121565A1 (en) | Method and Apparatus for Local Region Selection | |
CN107194869A (zh) | 一种图像处理方法及终端、计算机存储介质、计算机设备 | |
US8295647B2 (en) | Compressibility-aware media retargeting with structure preserving | |
CN105574814A (zh) | 一种肖像剪纸特效的生成方法 | |
WO2023005540A1 (zh) | 一种基于android白板防闪烁的方法及其装置 | |
CN110796663B (zh) | 图片剪裁方法、装置、设备和存储介质 | |
Hu et al. | Image retargeting via adaptive scaling with geometry preservation | |
WO2019047409A1 (zh) | 图像处理方法、系统、可读存储介质及移动摄像设备 | |
CN111652795A (zh) | 脸型的调整、直播方法、装置、电子设备和存储介质 | |
CN116543004B (zh) | 图像裁切方法、装置、终端设备及计算机可读存储介质 | |
CN116485944A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
US11367296B2 (en) | Layout analysis | |
CN115035006A (zh) | 图像处理方法、图像处理装置以及可读存储介质 | |
CN114998115A (zh) | 图像美化处理方法、装置及电子设备 | |
KR20090050910A (ko) | 디지털 만화책 제작 방법 및 장치 | |
CN113807234A (zh) | 口型合成视频校验方法、装置、计算机设备及存储介质 | |
CN112507766A (zh) | 人脸图像提取方法、存储介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |