CN111279389A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN111279389A
CN111279389A CN201880068933.0A CN201880068933A CN111279389A CN 111279389 A CN111279389 A CN 111279389A CN 201880068933 A CN201880068933 A CN 201880068933A CN 111279389 A CN111279389 A CN 111279389A
Authority
CN
China
Prior art keywords
determining
target
target frame
preset
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880068933.0A
Other languages
English (en)
Inventor
胡攀
李志强
曹子晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111279389A publication Critical patent/CN111279389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

一种图像处理方法和装置，所述方法包括：对原始图像进行显著性检测，获得显著图；基于所述显著图，确定目标主体；根据所述目标主体和预设规则，在所述原始图像中确定构图区域；将所述构图区域确定为目标图像。本发明先基于显著性检测方法检测出原始图像中视觉感兴趣的区域，获得原始图像对应的显著图，然后基于显著图确定目标主体，有效排除杂乱背景的干扰，再根据所确定的目标主体和预设规则，寻找最佳的构图区域，从而获得构图较佳的目标图像。

Description

图像处理方法和装置
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理方法和装置。
背景技术
视觉显著性，即面对一个场景时，人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域，这些人类感兴趣区域被称之为显著性区域。
图像裁剪是图像编辑中的一项重要任务，用于提高图像的美学质量，主要目标是改善图像的构图，例如通过强调感兴趣的对象，去除不想要的区域，以及获得更好的色彩平衡。在摄影中，许多规则如三分法则、视觉平衡法则和对角优势法则等都被明确地定义为用于创作构图良好的图像。一种自动图像裁剪的方法则可以帮助新手摄影师和普通人士提供美观的裁剪建议，并帮助用户节省大量的时间。
现有自动构图方法主要包括两类，一类是对原始图像进行显著性检测，再利用显著性检测的结果来计算显著性能量，最后仅依靠将原始图像过度分割再通过约束条件确定最佳的构图区域，这种方式很难找到精确的主体，甚至有可能引入不需要的干扰，难以得到美观的构图。另一类基于学习方法，试图从大量的训练集自动学习构图规则或裁剪图像的得分。在训练集中对图像进行过分割，对每个分割的裁剪图打一个相应的得分，以此作为该裁剪图的标签来训练模型。这种方法避免了手工设计构图规则的问题，可以实现端到端的方案。基于学习进行构图的方法可能会因为缺乏训练数据，而导致最终学习到模型的裁剪效果不好。
发明内容
本发明提供一种图像处理方法和装置。
具体地，本发明是通过如下技术方案实现的：
根据本发明的第一方面，提供一种图像处理方法，所述方法包括：
对原始图像进行显著性检测，获得显著图；
基于所述显著图，确定目标主体；
根据所述目标主体和预设规则，在所述原始图像中确定构图区域；
将所述构图区域确定为目标图像。
根据本发明的第二方面，提供一种图像处理装置，所述图像处理装置包括：
存储装置，用于存储程序指令；
处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，用于：
对原始图像进行显著性检测，获得显著图；
基于所述显著图，确定目标主体；
根据所述目标主体和预设规则，在所述原始图像中确定构图区域；
将所述构图区域确定为目标图像。
根据本发明的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的图像处理方法的步骤。
由以上本发明实施例提供的技术方案可见，先基于显著性检测方法检测出原始图像中视觉感兴趣的区域，获得原始图像对应的显著图，然后基于显著图确定目标主体，有效排除杂乱背景的干扰，再根据所确定的目标主体和预设规则，寻找最佳的构图区域，从而获得构图较佳的目标图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中的图像处理方法的方法流程图；
图2是本发明一实施例中的图像处理方法的一种使用场景图；
图3是本发明一实施例中的图像处理方法的另一种使用场景图；
图4是图1所示实施例中的图像处理方法的一种具体方法流程图；
图5是图1所示实施例中的图像处理方法的另一种具体方法流程图；
图6是图1所示实施例中的图像处理方法的又一种具体方法流程图；
图7是本发明一实施例中的图像处理装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的基于显著性检测的自动构图方法，首先视觉显著性不一定准确，进而导致目标主体检测不准；其次，单纯利用显著性检测的结果来计算显著性能量，而目标主体不明确，最后仅依靠将原始图像过度分割再通过约束条件很难找到精确的主体，同时会大大加大遍历的范围，增加计算量，甚至有可能引入不需要的干扰。
因此，本发明实施例提出的一种图像处理方法和装置，首先基于显著性检测能检测出视觉感兴趣的区域，然后在此基础上使用基于显著性分布的方法确定目标主体，有效排除杂乱背景的干扰，最后考虑目标主体在最终裁剪图中的美观性，对搜索范围作了限制；再设计约束条件，以此来寻找最佳的构图。
下面结合附图，对本发明的图像处理方法和装置进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
图1是本发明一实施例中的图像处理方法的方法流程图。如图1所示，所述图像处理方法可包括如下步骤：
步骤S101：对原始图像进行显著性检测，获得显著图；
本发明实施例的图像处理方法的执行主体为图像处理装置。
原始图像可包括图像处理装置实时获取的图像和/或图像处理装置的本地图像。例如，在一实施例中，参见图2，图像处理装置与拍摄装置通信，原始图像可为拍摄装置实时采集的图像。在另一实施例中，图像处理装置为拍摄装置的一部分，参见图3，拍摄装置还可包括图像传感器，图像传感器与图像处理装置通信，原始图像可为图像传感器实时采集的图像。在又一实施例中，原始图像为图像处理装置的本地图像，该本地图像为预先存储在图像处理装置中的图像。
在一些实施例中，图像处理装置获取到原始图像后，直接对该原始图像进行显著性检测，从而获得显著图。
而在另一些实施例中，图像处理装置获取到原始图像后，对该原始图像进行初步处理，再对初步处理获得的图像进行显著性检测，从而获得显著图。例如，可选的，图像处理装置在实现步骤S101之前，还需将原始图像的颜色空间转换成特定颜色空间，如将原始图像转换至Lab颜色空间，从而使得转换后的图像更接近人眼的视觉感受。可以理解的是，特定颜色空间还可以为RGB颜色空间或YUV颜色空间。可选的，图像处理装置在实现步骤S101之前，还需将原始图像的大小调整为预设大小，以满足图像处理的需求。如原始图像的像素大小为4000*3000，可将原始图像的像素大小调整至480*360，以减少后续的计算量。
可采用不同的显著性检测方法对原始图像进行显著性检测，具体到本实施例中，参见图4，步骤S101的实现过程可包括步骤S1011～步骤S1013。
具体而言，步骤S1011：对每一颜色通道进行至少两层金字塔分解；
图像处理装置在获取到原始图像后，若未对原始图像的颜色空间进行转换，步骤S1011中的颜色通道即为原始图像的颜色空间对应的颜色通道。若图像处理装置在获取到原始图像后，对原始图像的颜色空间进行了转换，步骤S1011中的颜色通道即为原始图像的颜色空间进行转换后获得的图像的颜色空间所对应的颜色通道。
可选的，在一些实施例中，颜色通道包括Lab颜色空间对应的三色通道。在另一些实施例中，颜色通道包括RGB颜色空间对应的三色通道。在又一些实施例中，颜色通道包括YUV颜色空间对应的三色通道。
可以理解的是，在进行显著性检测的过程中，图像处理装置可对每一颜色通道进行金字塔分解的层数可为2、3、4、5、6、7、8、9甚至更多，具体可根据需要选择。
步骤S1012：确定每层金字塔的第一显著图；
在一实施例中，确定每层金字塔的第一显著图可包括但不限于如下几个步骤：
(1)针对每层金字塔，对该层金字塔中每一颜色通道的图像进行超像素分割，获得该层金字塔中每一颜色通道的超像素块；
可采用超像素分割算法如slic算法或其他算法对每层金字塔中每一颜色通道的图像进行超像素分割。
(2)针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素的显著性响应值；
在一实施例中，针对每层金字塔中每一颜色通道的每一超像素块，统计该超像素块的直方图，并确定该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异。并且，针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块的第一融合权重，以及根据该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异以及该超像素块的第一融合权重，确定该像素块的显著性响应值。
可选的，针对每层金字塔中每一颜色通道的每一超像素块，根据该超像素块的直方图的每一柱状条的高度、该层金字塔中该颜色通道的其他超像素块的直方图的每一柱状条的高度以及第一预设参数，确定该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异。其中，每一柱状条的高度用于表征特定像素值范围内像素的个数。
可选的，第一融合权重的确定过程包括：针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块与该层金字塔中该颜色通道的其他超像素块之间的距离，并根据该超像素块与该层金字塔中该颜色通道的其他超像素块之间的距离以及第二预设系数，确定该超像素块的第一融合权重。其中，第二预设系数可根据需要设置。另外，可采用不同的方式来确定每层金字塔中每一颜色通道的每一超像素块之间的距离。在其中一个实施例中，每层金字塔中每一颜色通道的每一超像素块之间的距离为每层金字塔中每一颜色通道的每一超像素块之间的欧氏距离，可根据各个超像素块在图像坐标系中特定位置(如中心)的坐标来计算各个超像素块之间的欧氏距离。可以理解，也可采用马氏距离或其他距离计算方式来确定每层金字塔中每一颜色通道的每一超像素块之间的距离。该步骤中，该超像素块与该层金字塔中该颜色通道的其他超像素块之间的距离即为该超像素块与该层金字塔中该颜色通道的其他超像素块之间的欧氏距离。
作为一种具体的实现方式，第i个超像素块的显著性响应值global_color_difif的计算公式如下：
Figure BDA0002462253130000051
其中，n为正整数，i，j为自然数，且i≤n-1，j≤n-1；
Figure BDA0002462253130000061
为第一融合权重，α为第二预设参数，也为经验参数；
dist_coord(i,j)为第i个超像素块与第j个超像素块之间的欧氏距离；
dist_hist(i,j)为第i个超像素块的直方图与第j个超像素块的直方图之间的差异；
由公式(1)可以确定出，dist_coord(i,j)越大，第j个超像素块对第i个超像素块的显著性响应值贡献越小，dist_hist(i,j)越大，第j个超像素块对第i个超像素块的显著性响应值贡献越大。并且，global_color_diffi等于第i个超像素块和其他所有超像素块(该像素块所在层金字塔的该颜色通道中其他超像素块)的直方图差异的加权平均，直方图差异由dist_hist表示，加权平均由exp(-dist_coord)表示。
可以理解的是，也可根据需要对公式(1)进行适应性调整。
第i个超像素块的直方图与第j个超像素块的直方图之间的差异dist_his(ti,j)的计算公式如下：
Figure BDA0002462253130000062
公式(2)中，m为正整数，k为自然数，用于表征柱状条的序号，且k≤m-1；
ωk为第一预设参数，也为经验参数，可选的，ωk与k相关，即可对不同的柱状条设置不同的权重；
histi[k]为第i个超像素块的直方图的第k个柱状条的高度；
histj[k]为第j个超像素块的直方图的第k个柱状条的高度。
可以理解的是，也可根据需要对公式(2)进行适应性调整。
第i个超像素块与第j个超像素块的之间的欧氏距离dist_coord(i,j)的计算公式如下：
dist_coord(i,j)＝((center_xi-center_xj)2+(center_yi-center_yj)2)1/2 (3)
公式(3)中，(center_xi，center_yi)为第i个超像素块的中心坐标或重心坐标；
相应的，(center_xj，center_yj)为第j个超像素块的直方图的中心坐标或重心坐标。
其中，超像素块的中心坐标为该超像素块内所有像素点的x或y坐标直接相加的和值除以该超像素块的总像素数目。超像素块的重心坐标为该超像素块内所有像素点的x坐标乘该像素点的显著性值或y坐标乘以该像素点的显著性值后相加的和值除以该超像素块的总像素数目。
可以理解的是，如使用其它的距离形式来确定第i个超像素块与第j个超像素块之间的距离，那么需要对公式(3)进行适用性调整。
(3)针对每层金字塔中每一颜色通道，根据该颜色通道的所有超像素的显著性响应值，确定该颜色通道的第二显著图；
在一实施例中，该步骤具体包括：针对每层金字塔中每一颜色通道，根据该颜色通道的所有超像素的显著性响应值，对每一超像素的显著性响应值进行归一化，并根据归一化后的每一超像素的显著性响应值，确定该颜色通道的第二显著图。
可选的，第二显著图的计算公式如下：
Figure BDA0002462253130000071
其中，公式(4)中，max_global_diff为第i个超像素块所在的颜色通道的所有超像素块的显著性响应值中的最大值，
min_global_diff为第i个超像素块所在的颜色通道的所有超像素块的显著性响应值中的最小值。
可以理解的是，也可根据需要对公式(4)进行适应性调整。
(4)针对每层金字塔，根据该层金字塔所有颜色通道的第二显著图，确定该层金字塔的第一显著图。
本实施例中，在获得每层金字塔所有颜色通道的第二显著图后，对该层金字塔所有颜色通道的第二显著图直接拼接即可获得该层金字塔的第一显著图。比如，每层金字塔包括L颜色通道的第二显著图、a颜色通道的第二显著图和b颜色通道的第二显著图，将L颜色通道的第二显著图、a颜色通道的第二显著图和b颜色通道的第二显著图直接拼接，即可获得该层金字塔的第一显著图。
步骤S1013：对至少两层金字塔的第一显著图进行融合，获得显著图。
例如，对于3层金字塔，则能够获得3幅第一显著图，再对这3幅第一显著图进行融合，即可获得原始图像的显著图。
可选的，基于金字塔融合算法对至少两层金字塔的第一显著图进行融合，获得显著图。可以理解，也可基于其他图像融合算法，对至少两层金字塔的第一显著图进行融合，从而获得显著图。
本实施例中，图像处理装置根据预设的每层金字塔的第二融合权重，对至少两层金字塔的第一显著图进行融合，获得显著图。其中，第二融合权重的大小可根据需要设置。
本实施例将每一颜色通道进行至少两层金字塔分解，再基于超像素方式确定每层金字塔的第一显著图，最终再将所有第一显著图进行加权融合，获得的显著图不存在明显的块效应，便于后续进行目标主体的确定。
由于采用了对原始图像先进行建立金字塔分解，再对各层金字塔进行显著性检测，相当于对多尺度图像进行显著性检测，小尺度图像可以获得轮廓的显著性，大尺度图像可以获得图像细节的显著性，最终融合各层金字塔，相当于融合了轮廓和细节的显著性，使得显著性检测的效果更佳。
步骤S102：基于显著图，确定目标主体；
具体的，参见图5，图像处理装置在基于显著图，确定目标主体时，可包括步骤S1021～步骤S1023。
具体而言，步骤S1021：对显著图进行二值化处理，获得多个连通区域；
本实施例中，图像处理装置在对显著图进行二值化处理，获得多个连通区域时，首先，基于预设算法对显著图进行分割，确定分割阈值。接着，基于分割阈值，对显著图进行二值化处理。其中，预设算法可为ostu算法，也可为其他图像分割算法。
可选的，图像处理装置在对显著图进行分割时，先基于预设算法分割显著图的前景和背景，确定第一阈值，再根据第一阈值，确定分割阈值。以预设算法为ostu算法为例，第一阈值为图像处理装置基于ostu算法获取分割显著图的前景和背景的最佳阈值auto_thresh。
进一步的，图像处理装置在根据第一阈值，确定分割阈值时，根据第一阈值和预设阈值之和，确定分割阈值。本实施例中，分割阈值为第一阈值和预设阈值之和。其中，该预设阈值的大小可根据需要设置，预设阈值可为0.2，还可为0.15、0.16、0.17、0.18、0.19、0.21、0.22、0.23、0.24、0.25、0.26、0.27、0.28、0.29、0.30、0.31、0.32、0.33、0.34、0.35、0.36、0.37、0.38、0.39、0.40。
可以理解的是，图像处理装置还可选择其他二值化方式对显著图进行二值化处理。
步骤S1022：统计各连通区域的面积，确定面积最大的连通区域和面积次大的连通区域；
可选的，图像处理装置在实现完步骤S1021之后，实现步骤S1022之前，还会对二值化处理后的显著图进行开操作，即对二值化处理后的显著图先腐蚀后膨胀的操作，去除各个连通区域之间小的毛疵，例如，去除各个连通区域之间连通的部分。
进一步的，本实施例的图像处理装置在对二值化处理后的显著图进行开操作之后，会对开操作之后的显著图中的各个连通区域进行标记，例如，开操作之后的显著图包括5个连通区域，则可以序号方式将这5个连通区域分别标记为0、1、2、3、4，以更好的将序号与面积对应。
步骤S1023：根据面积最大的连通区域的面积和面积次大的连通区域的面积，确定目标主体。
连通区域面积越大，表明该连通区域为目标主体的区域的可能性越大，从而可依据面积最大的连通区域的面积和面积次大的连通区域的面积来确定目标主体，确定的目标主体的精确度高。并且，目标主体清晰确定后，有利于后续构图，能够避免目标主体被裁剪掉。
具体的，图像处理装置在根据面积最大的连通区域的面积和面积次大的连通区域的面积，确定目标主体时，需先计算面积次大的连通区域的面积与面积最大的连通区域的面积的占比(即面积次大的连通区域的面积/面积最大的连通区域的面积)。接着，将该面积占比与预设占比阈值进行比较，当该占比≥预设占比阈值时，将面积最大的连通区域和面积次大的连通区域均确定为目标主体的区域，此时，认为显著图中包括两个主体(即面积最大的连通区域对应的主体和面积次大的连通区域对应的主体)，目标主体包括这两个主体。当该占比<预设占比阈值时，将面积最大的连通区域确定为目标主体的区域，此时，认为显著图中只有一个主体(即面积最大的连通区域对应的主体)，其他连通域可能是干扰。最后，根据目标主体的区域，确定目标主体。
预设占比阈值的大小可根据需要设置，可选的，25％<预设占比阈值<50％，如，30％、35％、40％等等。
在一可替代实施例中，步骤S1022和S1023可被替换成：统计各连通区域的面积，根据面积最大的连通区域的面积和其他连通区域(除面积最大的连通区域外的连通区域)的面积，确定目标主体。具体的，针对每一除面积最大的连通区域外的连通区域，计算该连通区域的面积与面积最大的连通区域的面积的占比(即该连通区域的面积/面积最大的连通区域的面积)，再将每一占比与预设占比阈值进行比较，将占比大于或等于预设占比阈值的连通区域均确定为目标主体的区域，而将占比小于预设占比阈值的连通区域确定为非目标主体的区域。在替代实施例中，显著图中可能具有3个及以上的主体被确定为目标主体。
另外，图像处理装置在根据目标主体的区域，确定目标主体时，具体包括：根据目标主体的区域，确定目标主体的重心位置、宽度以及高度。其中，目标主体的宽度和高度构成目标主体的尺寸。可选的，将该步骤确定的目标主体的重心位置标记为(x0，y0)，目标主体的尺寸标记为(w0，h0)，其中，w0为目标主体的宽度，h0为目标主体的高度。
在显著性检测的基础上，使用了二值化的方法来确定目标主体的位置、宽度和高度，使得找到的目标主体更佳准确；同时大大减少后续遍历的次数，减少计算量。
步骤S103：根据目标主体和预设规则，在原始图像中确定构图区域；
在一实施例中，参见图6，图像处理装置在实现步骤S103时，可包括步骤S1031～步骤S1035。
具体而言，步骤S1031：根据目标主体的重心位置、宽度以及高度，确定初始目标框；
在步骤S1031中，图像处理装置会将目标主体的重心位置确定为初始目标框的中心位置，并根据目标主体的宽度和第一预设比例系数，确定初始目标框的宽度，根据目标主体的高度和第二预设比例系数，确定初始目标框的高度。
实际构图时，通常会将目标主体在宽度方向的部分尽可能保留，故将第一预设系数的大小设置成大于或等于1。而目标主体在高方向的部分可部分剪切掉或者完全保留，具体根据需要设定。可选的，第二预设系数的大小小于1。可选的，第二预设系数大于或等于1。
以下实施例以第一预设系数和第二预设系数的大小均大于或等于1为例，对初始目标框进行说明。
作为第一种可行的实现方式，第一预设比例系数＝1，第二预设系数＝1。本实现方式中，初始目标框即为目标主体的区域，初始目标框的尺寸为(w0，h0)。
作为第二种可行的实现方式，第一预设比例系数>1，第二预设系数＝1。本实现方式中，初始目标框的宽度比目标主体的宽度w0大，但初始目标框的高度仍为目标主体的高度h0。
作为第三种可行的实现方式，第一预设比例系数＝1，第二预设系数>1。本实现方式中，初始目标框的宽度仍为目标主体的宽度w0，但初始目标框的高度比目标主体的高度h0大。
作为第四种可行的实现方式，第一预设比例系数>1，第二预设系数>1。本实现方式中，初始目标框的宽度比目标主体的宽度w0大，初始目标框的高度也比目标主体的高度h0大。
在一实施例中，图像处理装置在确定初始目标框的高度h后，根据预设宽高比和初始目标框的高度，确定初始目标框的宽度w。比如，预设宽高比为M：N，则初始目标框的宽度
Figure BDA0002462253130000111
可选的，初始目标框的高度h为h0。可选的，M：N为16:9、7:5、5:4、5:3、4:3、3:2、1:1。
以M：N为16:9、初始目标框的高度h为h0为例，选择保高度的原因是拍摄的目标宽高比通常小于16:9，基于16:9映射出初始目标框的宽度w会比目标主体的宽度w0大一些，不至于一开始在宽度方向将目标主体切割掉。
可以理解的是，在其他实施例中，初始目标框的高度h也可为h0的0.7、0.8、0.9、1.1、1.2、1.3倍，具体可根据需要设定初始目标框的高度h。
步骤S1032：按照第一预设步长和第一预设步数，改变初始目标框的尺寸，获得多个目标框；
第一预设步长用于表征初始目标框的尺寸每次改变的大小参数，第一预设步数用于表征改变初始目标框的尺寸的次数参数。
在一些实施例中，图像处理装置根据第一预设步长和第一预设步数，同步增加初始目标框的宽度和高度，目标框包括每次增加尺寸后获得的框。可选的，按照初始目标框的宽度和高度逐渐递增的方式同步增加初始目标框的宽度和高度，可包括两种实现方式：作为一种可行的实现方式，每次都对初始目标框的宽度和高度进行增加，并且，每次进行尺寸增加的步长为根据第一预设步长以及当前增加尺寸的次数(第一次进行尺寸增加时，当前增加尺寸的次数即为1、第二次进行尺寸增加时，当前增加尺寸的次数即为2，以此类推)确定的数值。具体的，第一次是将初始目标框的高度和宽度同时增加第一预设步长*1的大小、第二次是将初始目标框的高度和宽度同时增加第一预设步长*2的大小、依次类推，直至最后一次将初始目标框的高度和宽度同时增加第一预设步长*第一预设步数的大小。作为另一种可行的实现方式，当前次进行尺寸增加的框为前一次增加尺寸获得框，每次进行尺寸增加的步长均为第一预设步长。具体的，第一次是将初始目标框的高度和宽度同时增加第一预设步长*1的大小，获得第一框，第一框的尺寸为(w+第一预设步长*1，h+第一预设步长*1)；第二次是对第一框的宽度和高度同时增加第一预设步长*1的大小，获得第二框，第二框的尺寸为(w+第一预设步长*2，h+第一预设步长*2)，以此类推，直至最后一次将倒数第二个框的宽度和高度同时增加第一预设步长*1的大小。
在另一些实施例中，图像处理装置根据第一预设步长和第一预设步数，同步减小初始目标框的宽度和高度，目标框包括每次减小尺寸后获得的框。可选的，按照初始目标框的宽度和高度逐渐递减的方式同步增加初始目标框的宽度和高度，可包括两种实现方式：作为一种可行的实现方式，每次都对初始目标框的宽度和高度进行减小并且，每次进行尺寸减小的步长为根据第一预设步长以及当前减小尺寸的次数(第一次进行尺寸减小时，当前减小尺寸的次数即为1、第二次进行尺寸减小时，当前减小尺寸的次数即为2，以此类推)确定的数值。具体的，第一次是将初始目标框的高度和宽度同步减小第一预设步长*1的大小、第二次是将初始目标框的高度和宽度同步减小第一预设步长*2的大小、依次类推，直至最后一次将初始目标框的高度和宽度同步减小第一预设步长*第一预设步数的大小。作为另一种可行的实现方式，当前次进行尺寸减小的框为前一次减小尺寸获得框，每次进行尺寸减小的步长均为第一预设步长。具体的，第一次是将初始目标框的高度和宽度同步减小第一预设步长*1的大小，获得第一框，第一框的尺寸为(w+第一预设步长*1，h+第一预设步长*1)；第二次是对第一框的宽度和高度同步减小第一预设步长*1的大小，获得第二框，第二框的尺寸为(w+第一预设步长*2，h+第一预设步长*2)，以此类推，直至最后一次将倒数第二个框的宽度和高度同步减小第一预设步长*1的大小。
在又一些例子中，图像处理装置根据第一预设步长和第一预设步数，同步增加初始目标框的宽度和高度，并根据第一预设步长和第一预设步数，同步减小初始目标框的宽度和高度，目标框包括每次增加尺寸后获得的框以及每次减小尺寸后获得的框。其中，图像处理装置根据第一预设步长和第一预设步数，同步增加初始目标框的宽度和高度以及图像处理装置根据第一预设步长和第一预设步数，同步减小初始目标框的宽度和高度的实现与上述实施例类似，此处不再赘述。
比如，第一预设步长记为stride1，第一预设步数记为steps1，将初始目标框的宽度和高度分别从-stride1*steps1至stride1*steps1变化，获得多个尺寸大小各不相同的目标框。
stride1和steps1的大小可根据需要设定，例如，stride1＝1、steps1＝3，或者其他。
在一些例子中，初始目标框即为根据S1031确定的初始目标框，初始目标框的尺寸为(w，h)，本实施例的目标框包括(w-stride1*steps1，h-stride1*steps1)至(w+stride1*steps1，h+stride1*steps1)的区间。
在另一些例子中，初始目标框不仅包括根据S1031确定的初始目标框，还包括对S1031确定的初始目标框进行尺寸调整获得的一个或多个第一目标框。本实施例中，图像处理装置在根据目标主体的重心位置、宽度以及高度，确定初始目标框之后，按照第一预设步长和第一预设步数，改变初始目标框的尺寸，获得多个目标框之前，还需根据第三预设步长stride3，同步增大初始目标框的宽度和高度，获得第一目标框，直至第一目标框的宽度为初始目标框的预设倍数，且第一目标框的高度为初始目标框的预设倍数。本实施例中，图像处理装置按照第一预设步长和第一预设步数，改变初始目标框以及每次获得的第一目标框的尺寸，获得多个目标框。
其中，预设倍数>1，如1.3、1.4、1.5、1.6、1.7、1.8、1.9、2.0、2.1、2.2、2.3等，可根据具体需求设置预设倍数的大小。
本实施例的第一目标框可包括一个或多个，第一目标框的个数根据stride3以及预设倍数确定。其中，stride3以及预设倍数的大小可根据需要设定，例如，stride3＝0.1，预设倍数＝1.7，则第一目标框包括7个，7个第一目标框的尺寸各不相同。将预设倍数设置为1.7是出于构图的考虑，从三分构图角度理解，刚好把步骤S102确定的目标主体的区域抠出来，构图并不美观。最终目标图像中，目标主体的高度占到图像高度的2/3时候会相对美观，故将预设倍数设置为1.7能够使得目标图像中的目标主体的周围预留空间能给人较好的视觉缓冲。
步骤S1033：遍历所有目标框，获得各目标框的特征信息；
目标框的特征信息可包括目标框中所有像素点的能量和或/和目标框至少一条边的像素平均梯度。可以理解，目标框的特征信息并不限于目标框中所有像素点的能量、至少一条边的像素平均梯度，还可包括目标框的其他特征信息。
其中，目标框中所有像素点的能量和为目标框在显著图中对应区域的各像素点的能量和。
在一些例子中，目标框中所有像素点的能量和是直接根据该目标框在显著图中对应区域的各像素点的能量和确定的。
在另一些例子中，图像处理装置在实现步骤S1033之前，还需对显著图进行统计确定所有像素点的平均值μ和方差σ，并根据平均值μ和方差σ，确定显著图中各像素点的能量，降低遍历过程中的计算量。可选的，图像处理装置在根据平均值和方差，确定显著图中各像素点的能量，具体是将显著图中小于平均值和方差之和(μ+σ)的像素点的能量设置为0，而大于或等于平均值和方差之和(μ+σ)的像素点的能量设为原来显著图的值。
目标框至少一条边的像素平均梯度为目标框在原始图像中对应区域至少一条边的像素平均梯度。可选的，目标框的特征信息包括目标框四边的像素平均梯度。可选的，目标框的特征信息包括目标框三边的像素平均梯度。可选的，目标框的特征信息包括目标框两边的像素平均梯度。可选的，目标框的特征信息包括目标框单边的像素平均梯度。需要说明的是，当目标框的特征信息包括目标框三边的像素平均梯度、目标框两边的像素平均梯度或目标框单边的像素平均梯度时，所有目标框的特征信息为所有目标框对应边的像素平均梯度，以目标框的特征信息包括单边的像素平均梯度为例，本实施例获取所有目标框的上边、下边、左边或右边的像素平均梯度，取该单边上所有像素点的梯度之和除以该单边上所有的像素点数。其中，目标框的上边、下边、左边或右边对应原始图像的上下左右方向。上边和下边为目标框的长边，即目标框沿着宽度方向的边。左边和右边为目标框的宽边，即目标框沿着高度方向的边。
步骤S1034：根据所有目标框的特征信息，确定待构图区域。
在一实施例中，步骤S1034具体包括：将特征信息满足预设规则的目标框对应的图像区域确定待构图区域。
当目标框的特征信息包括目标框中所有像素点的能量和或/和目标框至少一条边的像素平均梯度时，本实施例根据预设规则对目标框中所有像素点的能量和或/和目标框至少一边的像素平均梯度进行限制，使得目标框的边界更加简洁，从而获得空间更加简洁的构图(即目标图像)。
步骤S1034在具体实现时，针对每一目标框，将该目标框中所有像素点的能量和与其他各个目标框中所有像素点的能量和进行比较，和/或将该目标框至少一条边的像素平均梯度与其他各个目标框至少一条边的像素平均梯度进行比较。若当前目标框中所有像素点的能量和大于其他各个目标框中所有像素点的能量和，和/或当前目标框至少一条边的像素平均梯度小于其他各个目标框中至少一条边的像素平均梯度，则将当前目标框对应的图像区域确定为待构图区域。本实施例使用的目标函数同时考虑最大化能量和以及最小化平均梯度，即通过对最终的裁剪施加最大能量和及最小平均梯度的约束，获得美观性和目标主体的完整性较好的待构图区域。
在一些情况下，可能不存在特征信息满足预设规则的目标框，即不存在同时满足能量和最大及平均梯度最小的目标框，故在另一实施例中，步骤S1034具体包括：根据各目标框的特征信息以及第一预设策略，对所有目标框进行打分，并将分值最高的目标框确定为待构图区域，从而获得美观性较佳的待构图区域。
可采用不同的策略对各目标框进行打分。在一实施例中，根据各目标框的特征信息以及第一预设策略，对所有目标框进行打分具体包括：针对每一目标框，根据该目标框中所有像素点的能量和，确定第一分值，并根据该目标框至少一条边的像素平均梯度，确定第二分值，再根据第一分值和第二分值，确定该目标框的分值。本实施例中，目标框的第一分值为基于该目标框中所有像素点的能量和确定的数值，例如，将目标框中所有像素点的能量和代入以目标框中所有像素点的能量和为自变量的函数，即可获得该目标框的第一分值。目标框的第二分值为基于该目标框至少一条边的像素平均梯度确定的数值，将目标框至少一条边的像素平均梯度代入以至少一条边的像素平均梯度为自变量的函数，即可获得该目标框的第二分值。
进一步的，在一些实施例中，目标框的分值为目标框的第一分值和目标框的第二分值直接求和获得的和值。在另一些实施例中，目标框的分值为目标框的第一分值和目标框的第二分值加权求和获得的和值，其中，第一分值的权重和第二分值的权重预先设定。可根据预设图像的场景，确定优先考虑的特征信息，并将优先考虑的特征信息对应的分值权重设计的较大，例如，优先考虑目标框中所有像素点的能量和，则将第一分值的权重设计成大于第二分值的权重。
在另一实施例中，根据各目标框的特征信息以及第一预设策略，对所有目标框进行打分具体包括：针对每一目标框，根据该目标框中所有像素点的能量和、该目标框至少一条边的像素平均梯度以及预设函数，确定该目标框的分值。其中，预设函数的自变量包括目标框中所有像素点的能量和以及目标框至少一条边的像素平均梯度。
步骤S1035：根据待构图区域，确定构图区域。
确定构图区域的策略可包括多种，作为第一种可行的实现方式，待构图区域即为最佳构图，则构图区域为待构图区域。
作为第二种可行的实现方式，待构图区域中目标主体在高度方向的空间可能不够整洁，故需要对待构图区域进一步进行调整，使得最终确定的构图区域中目标主体在高度方向的空间更加整洁。步骤S1035在具体实现时，具体包括如下步骤：确定待构图区域对应的目标框的重心位置，并按照第二预设步长stride2和第二预设步数steps2，改变待构图区域对应的目标框的高度，获得多个新的目标框。接着，遍历所有新的目标框，获得各新的目标框的特征信息，再根据所有新的目标框的特征信息，确定新的待构图区域，并将新的待构图区域确定为构图区域。本实现方式固定待构图区域的宽度和待构图区域的横坐标的位置，调整待构图区域的高度，使得最终的构图区域边缘更佳整洁且目标主体所在的位置会更加接近三分点的位置。
可根据需要采用不同的方式确定新的待构图区域。例如，在一实施例中，根据所有新的目标框的特征信息，确定新的待构图区域具体包括：根据所有新的目标框的特征信息，确定特征信息满足预设规则的新的目标框，并将特征信息满足预设规则的新的目标框对应的图像区域确定为新的构图区域。
其中，按照第二预设步长stride2和第二预设步数steps2，改变待构图区域对应的目标框的高度，获得多个新的目标框的实现原理与上述实施例中按照第一预设步长和第一预设步数，改变初始目标框的高度的实现原理相类似，此处不再赘述。
新的目标框的特征信息包括新的目标框中所有像素点的能量和或/和新的目标框至少一条边的像素平均梯度，还可包括其他特征信息。可选的，新的目标框至少一条边的像素平均梯度至少包括新的目标框其中一条宽边的像素平均梯度。可选的，新的目标框至少一条边的像素平均梯度为新的目标框两条宽边的像素平均梯度。
可选的，新的目标框的特征信息包括新的目标框至少一条边的像素平均梯度，所述至少一条边至少包括一条宽边，遍历所有新的目标框，获得各新的目标框至少一条边的像素平均梯度的实现原理与上述实施例中遍历所有目标框，获得各目标框至少一条边的像素平均梯度实现原理相类似，此处不再赘述。本实现方式中，针对每一新的目标框，将该新的目标框至少一条边的像素平均梯度与其他各个新的目标框至少一条边的像素平均梯度进行比较。若当前新的目标框至少一条边的像素平均梯度小于其他各个新的目标框中至少一条边的像素平均梯度，则将当前新的目标框对应的图像区域确定为待构图区域，只考虑最小化至少一条边的像素平均梯度为目标函数，调整待构图区域的高度，最终获得的构图区域中目标主体在高度方向的空间更加整洁。本实现方式中以待构图区域的重心坐标(x1,y1)为初始中心，只变化纵坐标(即高度)，并考虑最小化至少一条边的像素平均梯度为目标函数，使得最终获得的构图区域中目标主体在高度方向的空间更加整洁。可选的，stride2＝1、steps2＝6，当然，stride2＝1和steps2的大小也可设置成其他大小。
在另一实施例中，根据各新的目标框的特征信息以及第二预设策略，对所有新的目标框进行打分，将分值最高的新的目标框对应的图像区域确定为新的待构图区域。
可采用不同的策略对各新的目标框进行打分。在一实施例中，根据各新的目标框的特征信息以及第二预设策略，对所有新的目标框进行打分具体包括：针对每一新的目标框，根据该新的目标框中所有像素点的能量和，确定第三分值，并根据该新的目标框至少一条边的像素平均梯度，确定第四分值，再根据第三分值和第四分值，确定该新的目标框的分值。本实施例中，新的目标框的第三分值为基于该新的目标框中所有像素点的能量和确定的数值，例如，将新的目标框中所有像素点的能量和代入以新的目标框中所有像素点的能量和为自变量的函数，即可获得该新的目标框的第三分值。新的目标框的第四分值为基于该新的目标框至少一条边的像素平均梯度确定的数值，将新的目标框至少一条边的像素平均梯度代入以至少一条边的像素平均梯度为自变量的函数，即可获得该新的目标框的第四分值。
进一步的，在一些实施例中，新的目标框的分值为新的目标框的第三分值和新的目标框的第四分值直接求和获得的和值。在另一些实施例中，新的目标框的分值为新的目标框的第三分值和新的目标框的第四分值加权求和获得的和值，其中，第三分值的权重和第四分值的权重预先设定。可根据预设图像的场景，确定优先考虑的特征信息，并将优先考虑的特征信息对应的分值权重设计的较大，例如，优先考虑新的目标框中所有像素点的能量和，则将第三分值的权重设计成大于第四分值的权重。
在另一实施例中，根据各新的目标框的特征信息以及第一预设策略，对所有新的目标框进行打分具体包括：针对每一新的目标框，根据该新的目标框中所有像素点的能量和、该新的目标框至少一条边的像素平均梯度以及预设函数，确定该新的目标框的分值。其中，预设函数的自变量包括新的目标框中所有像素点的能量和以及新的目标框至少一条边的像素平均梯度。
步骤S104：将构图区域确定为目标图像。
本实施例中，将原始图像中构图区域(步骤S103确定出的构图区域)以外的部分裁减掉，获得的图像即为目标图像。
通过上述过程即可由输入一张原来构图不好的原始图像，输出一张主体明确、边缘整洁且目标主体位置在图中接近三分的位置构图相对较好的目标图像，从而提高图像的视觉质量。
本发明实施例的图像处理方法，先基于显著性检测方法检测出原始图像中视觉感兴趣的区域，获得原始图像对应的显著图，然后基于显著图确定目标主体，有效排除杂乱背景的干扰，再根据所确定的目标主体和预设规则，寻找最佳的构图区域，从而获得构图较佳的目标图像。
对应于上述实施例的图像处理方法，本发明实施例还提供一种图像处理装置。图7是本发明实施例提供的一种图像处理装置的结构框图。参见图7，该图像处理装置可包括存储装置和处理器。
其中，存储装置，用于存储程序指令。处理器，调用存储装置中存储的程序指令，当程序指令被执行时，用于对原始图像进行显著性检测，获得显著图，并基于显著图，确定目标主体，根据目标主体和预设规则，在原始图像中确定构图区域，并将构图区域确定为目标图像。
处理器可以实现如本发明图1、图4至图6实施例中所示的相应方法，具体可参见上述实施例一的图像处理方法对本实施例的图像处理装置进行说明，此处不再赘述。
在本实施例中，所述存储装置可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储装置还可以包括上述种类的存储器的组合。
所述处理器可以是中央处理器(central processing unit，CPU)。所述处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(genericarray logic，GAL)或其任意组合。
此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例的图像处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (69)

1.一种图像处理方法，其特征在于，所述方法包括：
对原始图像进行显著性检测，获得显著图；
基于所述显著图，确定目标主体；
根据所述目标主体和预设规则，在所述原始图像中确定构图区域；
将所述构图区域确定为目标图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述显著图，确定目标主体，包括：
对所述显著图进行二值化处理，获得多个连通区域；
统计各连通区域的面积，确定面积最大的连通区域和面积次大的连通区域；
根据面积最大的连通区域的面积和面积次大的连通区域的面积，确定目标主体。
3.根据权利要求2所述的方法，其特征在于，所述根据面积最大的连通区域的面积和面积次大的连通区域的面积，确定目标主体，包括：
当所述面积次大的连通区域的面积与所述面积最大的连通区域的面积占比大于或等于预设占比阈值时，将所述面积最大的连通区域和所述面积次大的连通区域确定为所述目标主体的区域；
当所述面积次大的连通区域的面积与所述面积最大的连通区域的面积占比小于预设占比阈值时，将所述面积最大的连通区域确定为所述目标主体的区域；
根据所述目标主体的区域，确定所述目标主体。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标主体的区域，确定所述目标主体，包括：
根据所述目标主体的区域，确定所述目标主体的重心位置、宽度以及高度。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标主体和预设规则，在所述原始图像中确定构图区域，包括：
根据所述目标主体的重心位置、宽度以及高度，确定初始目标框；
按照第一预设步长和第一预设步数，改变所述初始目标框的尺寸，获得多个目标框；
遍历所有目标框，获得各目标框的特征信息；
根据所有目标框的特征信息，确定待构图区域；
根据所述待构图区域，确定构图区域。
6.根据权利要求5所述的方法，其特征在于，所述根据所有目标框的特征信息，确定待构图区域，包括：
根据所有目标框的特征信息，确定特征信息满足预设规则的目标框；
将特征信息满足预设规则的目标框对应的图像区域确定为待构图区域；或者
所述根据所有目标框的特征信息，确定待构图区域，包括：
根据各目标框的特征信息以及第一预设策略，对各目标框进行打分；
将分值最高的目标框对应的图像区域确定为待构图区域。
7.根据权利要求5所述的方法，其特征在于，所述构图区域为所述待构图区域；
或者，
所述根据所述待构图区域，确定构图区域，包括：
确定所述待构图区域对应的目标框的重心位置；
按照第二预设步长和第二预设步数，改变所述待构图区域对应的目标框的高度，获得多个新的目标框；
遍历所有新的目标框，获得各新的目标框的特征信息；
根据所有新的目标框的特征信息，确定新的待构图区域；
将所述新的待构图区域确定为构图区域。
8.根据权利要求7所述的方法，其特征在于，所述根据所有新的目标框的特征信息，确定新的待构图区域，包括：
根据所有新的目标框的特征信息，确定特征信息满足所述预设规则的新的目标框；
将特征信息满足所述预设规则的新的目标框对应的图像区域确定为新的待构图区域；或者，
所述根据所有新的目标框的特征信息，确定新的待构图区域，包括：
根据各新的目标框的特征信息以及第二预设策略，对所有新的目标框进行打分；
将分值最高的新的目标框对应的图像区域确定为新的待构图区域。
9.根据权利要求5至8任一项所述的方法，其特征在于，所述目标框的特征信息包括所述目标框中所有像素点的能量和；和/或
所述目标框至少一条边的像素平均梯度。
10.根据权利要求9所述的方法，其特征在于，所述目标框中所有像素点的能量和为所述目标框在所述显著图中对应区域的各像素点的能量和；
所述目标框至少一条边的像素平均梯度为所述目标框在所述原始图像中对应区域所述至少一条边的像素平均梯度。
11.根据权利要求9所述的方法，其特征在于，所述将特征信息满足预设规则的目标框对应的图像区域确定待构图区域，包括：
若当前目标框中所有像素点的能量和大于其他各个目标框中所有像素点的能量和；和/或当前目标框至少一条边的像素平均梯度小于其他各个目标框中所述至少一条边的像素平均梯度，则将所述当前目标框对应的图像区域确定为待构图区域。
12.根据权利要求9所述的方法，其特征在于，所述根据各目标框的特征信息以及第一预设策略，对各目标框进行打分，包括：
针对每一目标框，根据该目标框中所有像素点的能量和，确定第一分值，并根据该目标框至少一条边的像素平均梯度，确定第二分值；
根据所述第一分值和所述第二分值，确定该目标框的分值；
或者，所述根据各目标框的特征信息以及第一预设策略，对各目标框进行打分，包括：
针对每一目标框，根据该目标框中所有像素点的能量和、该目标框至少一条边的像素平均梯度以及预设函数，确定该目标框的分值；
其中，所述预设函数的自变量包括所述目标框中所有像素点的能量和以及所述目标框至少一条边的像素平均梯度。
13.根据权利要求12所述的方法，其特征在于，所述目标框的分值为所述目标框的第一分值和所述目标框的第二分值直接求和获得的和值，或所述目标框的分值为所述目标框的第一分值和所述目标框的第二分值加权求和获得的和值。
14.根据权利要求9所述的方法，其特征在于，所述遍历所有目标框，获得各目标框的特征信息之前，还包括：
确定所述显著图中所有像素点的平均值和方差；
根据所述平均值和所述方差，确定所述显著图中各像素点的能量。
15.根据权利要求14所述的方法，其特征在于，所述根据所述平均值和所述方差，确定所述显著图中各像素点的能量，包括：
将小于所述平均值和所述方差之和的像素点的能量设置为0；
大于或等于所述平均值和所述方差之和的像素点的能量设置为所述显著图中的值。
16.根据权利要求5所述的方法，其特征在于，所述根据所述目标主体的重心位置、宽度以及高度，确定初始目标框，包括：
将所述目标主体的重心位置确定为所述初始目标框的中心位置；
根据所述目标主体的宽度和第一预设比例系数，确定所述初始目标框的宽度；
以及，根据所述目标主体的高度和第二预设比例系数，确定所述初始目标框的高度。
17.根据权利要求16所述的方法，其特征在于，所述第一预设比例系数和/或所述第二预设比例系数的大小为1。
18.根据权利要求16所述的方法，其特征在于，所述根据所述目标主体的重心位置、宽度以及高度，确定初始目标框之后，按照第一预设步长和第一预设步数，改变所述初始目标框的尺寸，获得多个目标框之前，还包括：
根据第三预设步长，同步增大所述初始目标框的宽度和高度，获得第一目标框，直至所述第一目标框的宽度为所述初始目标框的预设倍数，且所述第一目标框的高度为所述初始目标框的预设倍数，其中，所述预设倍数>1；
所述按照第一预设步长和第一预设步数，改变所述初始目标框的尺寸，获得多个目标框具体包括：
按照第一预设步长和第一预设步数，改变所述初始目标框以及每次获得的第一目标框的尺寸，获得多个目标框。
19.根据权利要求2所述的方法，其特征在于，所述对所述显著图进行二值化处理，包括：
基于预设算法对所述显著图进行分割，确定分割阈值；
基于所述分割阈值，对所述显著图进行二值化处理。
20.根据权利要求19所述的方法，其特征在于，所述基于预设算法对所述显著图进行分割，确定分割阈值，包括：
基于预设算法分割所述显著图的前景和背景，确定第一阈值；
根据所述第一阈值，确定分割阈值。
21.根据权利要求19或20所述的方法，其特征在于，所述预设算法为ostu算法。
22.根据权利要求2所述的方法，其特征在于，所述对所述显著图进行二值化处理，获得多个连通区域之后，统计各连通区域的面积之前，还包括：
对二值化处理后的显著图进行开操作。
23.根据权利要求1所述的方法，其特征在于，所述对原始图像进行显著性检测，获得显著图，包括：
对每一颜色通道进行至少两层金字塔分解；
确定每层金字塔的第一显著图；
对所述至少两层金字塔的第一显著图进行融合，获得显著图。
24.根据权利要求23所述的方法，其特征在于，所述确定每层金字塔的第一显著图，包括：
针对每层金字塔，对该层金字塔中每一颜色通道的图像进行超像素分割，获得该层金字塔中每一颜色通道的超像素块；
针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素的显著性响应值；
针对每层金字塔中每一颜色通道，根据该颜色通道的所有超像素的显著性响应值，确定该颜色通道的第二显著图；
针对每层金字塔，根据该层金字塔所有颜色通道的第二显著图，确定该层金字塔的第一显著图。
25.根据权利要求24所述的方法，其特征在于，所述针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素的显著性响应值，包括：
针对每层金字塔中每一颜色通道的每一超像素块，统计该超像素块的直方图；
并确定该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异；
以及确定该超像素块的第一融合权重；
还根据该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异以及该超像素块的第一融合权重，确定该像素块的显著性响应值。
26.根据权利要求25所述的方法，其特征在于，所述针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异，包括：
针对每层金字塔中每一颜色通道的每一超像素块，根据该超像素块的直方图的每一柱状条的高度、该层金字塔中该颜色通道的其他超像素块的直方图的每一柱状条的高度以及第一预设参数，确定该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异。
27.根据权利要求25所述的方法，其特征在于，针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块的第一融合权重，包括：
针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块与该层金字塔中该颜色通道的其他超像素块之间的距离；
以及，根据该超像素块与该层金字塔中该颜色通道的其他超像素块之间的距离以及第二预设系数，确定该超像素块的第一融合权重。
28.根据权利要求27所述的方法，其特征在于，所述针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块与该层金字塔中该颜色通道的其他超像素块之间的距离，包括：
针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块与该层金字塔中该颜色通道的其他超像素块之间的欧氏距离。
29.根据权利要求24所述的方法，其特征在于，针对每层金字塔中每一颜色通道，根据该颜色通道的所有超像素的显著性响应值，确定该颜色通道的第二显著图，包括：
针对每层金字塔中每一颜色通道，根据该颜色通道的所有超像素的显著性响应值，对每一超像素的显著性响应值进行归一化；
以及，根据归一化后的每一超像素的显著性响应值，确定该颜色通道的第二显著图。
30.根据权利要求23所述的方法，其特征在于，所述对所述至少两层金字塔的第一显著图进行融合，获得显著图，包括：
根据预设的每层金字塔的第二融合权重，对所述至少两层金字塔的第一显著图进行融合，获得显著图。
31.根据权利要求23所述的方法，其特征在于，所述对每层金字塔中每一颜色通道的图像进行超像素分割，包括：
采样slic算法对每层金字塔中每一颜色通道的图像进行超像素分割。
32.根据权利要求23所述的方法，其特征在于，所述颜色通道包括Lab颜色空间对应的三色通道；或者，
所述颜色通道包括RGB颜色空间对应的三色通道；或者
所述颜色通道包括YUV颜色空间对应的三色通道。
33.根据权利要求1或32所述的方法，其特征在于，所述对原始图像进行显著性检测，获得显著图之前，还包括：
将所述原始图像的颜色空间转换成特定颜色空间。
34.根据权利要求1所述的方法，其特征在于，所述对原始图像进行显著性检测，获得显著图之前，还包括：
将所述原始图像的大小调整为预设大小。
35.一种图像处理装置，其特征在于，所述图像处理装置包括：
存储装置，用于存储程序指令；
处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，用于：
对原始图像进行显著性检测，获得显著图；
基于所述显著图，确定目标主体；
根据所述目标主体和预设规则，在所述原始图像中确定构图区域；
将所述构图区域确定为目标图像。
36.根据权利要求35所述的装置，其特征在于，所述处理器在基于所述显著图，确定目标主体时，具体用于：
对所述显著图进行二值化处理，获得多个连通区域；
统计各连通区域的面积，确定面积最大的连通区域和面积次大的连通区域；
根据面积最大的连通区域的面积和面积次大的连通区域的面积，确定目标主体。
37.根据权利要求36所述的装置，其特征在于，所述处理器在根据面积最大的连通区域的面积和面积次大的连通区域的面积，确定目标主体时，具体用于：
当所述面积次大的连通区域的面积与所述面积最大的连通区域的面积占比大于或等于预设占比阈值时，将所述面积最大的连通区域和所述面积次大的连通区域确定为所述目标主体的区域；
当所述面积次大的连通区域的面积与所述面积最大的连通区域的面积占比小于预设占比阈值时，将所述面积最大的连通区域确定为所述目标主体的区域；
根据所述目标主体的区域，确定所述目标主体。
38.根据权利要求37所述的装置，其特征在于，所述处理器在根据所述目标主体的区域，确定所述目标主体时，具体用于：
根据所述目标主体的区域，确定所述目标主体的重心位置、宽度以及高度。
39.根据权利要求38所述的装置，其特征在于，所述处理器在根据所述目标主体和预设规则，在所述原始图像中确定构图区域时，具体用于：
根据所述目标主体的重心位置、宽度以及高度，确定初始目标框；
按照第一预设步长和第一预设步数，改变所述初始目标框的尺寸，获得多个目标框；
遍历所有目标框，获得各目标框的特征信息；
根据所有目标框的特征信息，确定待构图区域；
根据所述待构图区域，确定构图区域。
40.根据权利要求39所述的装置，其特征在于，所述处理器在根据所有目标框的特征信息，确定待构图区域时，具体用于：
根据所有目标框的特征信息，确定特征信息满足预设规则的目标框
将特征信息满足预设规则的目标框对应的图像区域确定待构图区域；或者
所述处理器在根据所有目标框的特征信息，确定待构图区域时，具体用于：
根据各目标框的特征信息以及第一预设策略，对各目标框进行打分；
将分值最高的目标框对应的图像区域确定为待构图区域。
41.根据权利要求39所述的装置，其特征在于，所述构图区域为所述待构图区域；
或者，
所述处理器在根据所述待构图区域，确定构图区域时，具体用于：
确定所述待构图区域对应的目标框的重心位置；
按照第二预设步长和第二预设步数，改变所述待构图区域对应的目标框的高度，获得多个新的目标框；
遍历所有新的目标框，获得各新的目标框的特征信息；
根据所有新的目标框的特征信息，确定新的待构图区域；
将所述新的待构图区域确定为构图区域。
42.根据权利要求41所述的装置，其特征在于，所述处理器在根据所有新的目标框的特征信息，确定新的待构图区域时，具体用于：
根据所有新的目标框的特征信息，确定特征信息满足所述预设规则的新的目标框；
将特征信息满足所述预设规则的新的目标框对应的图像区域确定为新的待构图区域；或者
所述处理器在根据所有新的目标框的特征信息，确定新的待构图区域时，具体用于：
根据各新的目标框的特征信息以及第二预设策略，对所有新的目标框进行打分；
将分值最高的新的目标框对应的图像区域确定为新的待构图区域。
43.根据权利要求39至42任一项所述的装置，其特征在于，所述目标框的特征信息包括所述目标框中所有像素点的能量和；和/或
所述目标框至少一条边的像素平均梯度。
44.根据权利要求43所述的装置，其特征在于，所述目标框中所有像素点的能量和为所述目标框在所述显著图中对应区域的各像素点的能量和；
所述目标框至少一条边的像素平均梯度为所述目标框在所述原始图像中对应区域所述至少一条边的像素平均梯度。
45.根据权利要求43所述的装置，其特征在于，所述处理器在将特征信息满足预设规则的目标框对应的图像区域确定待构图区域时，具体用于：
若当前目标框中所有像素点的能量和大于其他各个目标框中所有像素点的能量和；和/或当前目标框至少一条边的像素平均梯度小于其他各个目标框中所述至少一条边的像素平均梯度，则将所述当前目标框对应的图像区域确定为待构图区域。
46.根据权利要求43所述的装置，其特征在于，所述处理器在根据各目标框的特征信息以及第一预设策略，对各目标框进行打分时，具体用于：
针对每一目标框，根据该目标框中所有像素点的能量和，确定第一分值，并根据该目标框至少一条边的像素平均梯度，确定第二分值；
根据所述第一分值和所述第二分值，确定该目标框的分值；
或者，所述处理器在根据各目标框的特征信息以及第一预设策略，对各目标框进行打分时，具体用于：
针对每一目标框，根据该目标框中所有像素点的能量和、该目标框至少一条边的像素平均梯度以及预设函数，确定该目标框的分值；
其中，所述预设函数的自变量包括所述目标框中所有像素点的能量和以及所述目标框至少一条边的像素平均梯度。
47.根据权利要求46所述的装置，其特征在于，所述目标框的分值为所述目标框的第一分值和所述目标框的第二分值直接求和获得的和值，或所述目标框的分值为所述目标框的第一分值和所述目标框的第二分值加权求和获得的和值。
48.根据权利要求43所述的装置，其特征在于，所述处理器在遍历所有目标框，获得各目标框的特征信息之前，还用于：
确定所述显著图中所有像素点的平均值和方差；
根据所述平均值和所述方差，重新确定所述显著图中各像素点的能量。
49.根据权利要求48所述的装置，其特征在于，所述处理器在根据所述平均能量和所述能量方差，重新确定所述显著图中各像素点的能量时，具体用于：
将小于所述平均值和所述方差之和的像素点的能量设置为0；
大于或等于所述平均值和所述方差之和的像素点的能量设置为所述显著图中的值。
50.根据权利要求39所述的装置，其特征在于，所述处理器在根据所述目标主体的重心位置、宽度以及高度，确定初始目标框时，具体用于：
将所述目标主体的重心位置确定为所述初始目标框的中心位置；
根据所述目标主体的宽度和第一预设比例系数，确定所述初始目标框的宽度；
以及，根据所述目标主体的高度和第二预设比例系数，确定所述初始目标框的高度。
51.根据权利要求50所述的装置，其特征在于，所述第一预设比例系数和/或所述第二预设比例系数的大小为1。
52.根据权利要求50所述的装置，其特征在于，所述处理器在根据所述目标主体的重心位置、宽度以及高度，确定初始目标框之后，按照第一预设步长和第一预设步数，改变所述初始目标框的尺寸，获得多个目标框之前，还用于：
根据第三预设步长，同步增大所述初始目标框的宽度和高度，获得第一目标框，直至所述第一目标框的宽度为所述初始目标框的预设倍数，且所述第一目标框的高度为所述初始目标框的预设倍数，其中，所述预设倍数>1；
所述处理器在按照第一预设步长和第一预设步数，改变所述初始目标框的尺寸，获得多个目标框具体时，具体用于：
按照第一预设步长和第一预设步数，改变初始目标框以及每次获得的第一目标框的尺寸，获得多个目标框。
53.根据权利要求36所述的装置，其特征在于，所述处理器在对所述显著图进行二值化处理时，具体用于：
基于预设算法对所述显著图进行分割，确定分割阈值；
基于所述分割阈值，对所述显著图进行二值化处理。
54.根据权利要求53所述的装置，其特征在于，所述处理器在基于预设算法对所述显著图进行分割，确定分割阈值时，具体用于：
基于预设算法分割所述显著图的前景和背景，确定第一阈值；
根据所述第一阈值，确定分割阈值。
55.根据权利要求53或54所述的装置，其特征在于，所述预设算法为ostu算法。
56.根据权利要求36所述的装置，其特征在于，所述处理器在对所述显著图进行二值化处理，获得多个连通区域之后，统计各连通区域的面积之前，还用于：
对二值化处理后的显著图进行开操作。
57.根据权利要求35所述的装置，其特征在于，所述处理器在对原始图像进行显著性检测，获得显著图时，具体用于：
对每一颜色通道进行至少两层金字塔分解；
确定每层金字塔的第一显著图；
对所述至少两层金字塔的第一显著图进行融合，获得显著图。
58.根据权利要求57所述的装置，其特征在于，所述处理器在确定每层金字塔的第一显著图时，具体用于：
针对每层金字塔，对该层金字塔中每一颜色通道的图像进行超像素分割，获得该层金字塔中每一颜色通道的超像素块；
针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素的显著性响应值；
针对每层金字塔中每一颜色通道，根据该颜色通道的所有超像素的显著性响应值，确定该颜色通道的第二显著图；
针对每层金字塔，根据该层金字塔所有颜色通道的第二显著图，确定该层金字塔的第一显著图。
59.根据权利要求58所述的装置，其特征在于，所述处理器在针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素的显著性响应值时，具体用于：
针对每层金字塔中每一颜色通道的每一超像素块，统计该超像素块的直方图；
并确定该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异；
以及确定该超像素块的第一融合权重；
还根据该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异以及该超像素块的第一融合权重，确定该像素块的显著性响应值。
60.根据权利要求59所述的装置，其特征在于，所述处理器在针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异时，具体用于：
针对每层金字塔中每一颜色通道的每一超像素块，根据该超像素块的直方图的每一柱状条的高度、该层金字塔中该颜色通道的其他超像素块的直方图的每一柱状条的高度以及第一预设参数，确定该超像素块的直方图与该层金字塔中该颜色通道的其他超像素块的直方图之间的差异。
61.根据权利要求59所述的装置，其特征在于，所述处理器在针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块的第一融合权重时，具体用于：
针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块与该层金字塔中该颜色通道的其他超像素块之间的距离；
以及，根据该超像素块与该层金字塔中该颜色通道的其他超像素块之间的距离以及第二预设系数，确定该超像素块的第一融合权重。
62.根据权利要求61所述的装置，其特征在于，所述处理器在针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块与该层金字塔中该颜色通道的其他超像素块之间的距离时，具体用于：
针对每层金字塔中每一颜色通道的每一超像素块，确定该超像素块与该层金字塔中该颜色通道的其他超像素块之间的欧氏距离。
63.根据权利要求58所述的装置，其特征在于，所述处理器在针对每层金字塔中每一颜色通道，根据该颜色通道的所有超像素的显著性响应值，确定该颜色通道的第二显著图时，具体用于：
针对每层金字塔中每一颜色通道，根据该颜色通道的所有超像素的显著性响应值，对每一超像素的显著性响应值进行归一化；
以及，根据归一化后的每一超像素的显著性响应值，确定该颜色通道的第二显著图。
64.根据权利要求57所述的装置，其特征在于，所述处理器在对所述至少两层金字塔的第一显著图进行融合，获得显著图时，具体用于：
根据预设的每层金字塔的第二融合权重，对所述至少两层金字塔的第一显著图进行融合，获得显著图。
65.根据权利要求58所述的装置，其特征在于，所述处理器在对每层金字塔中每一颜色通道的图像进行超像素分割时，具体用于：
采样slic算法对每层金字塔中每一颜色通道的图像进行超像素分割。
66.根据权利要求58所述的装置，其特征在于，所述颜色通道包括Lab颜色空间对应的三色通道；或者，
所述颜色通道包括RGB颜色空间对应的三色通道；或者
所述颜色通道包括YUV颜色空间对应的三色通道。
67.根据权利要求35或66所述的装置，其特征在于，所述处理器在对原始图像进行显著性检测，获得显著图之前，还用于：
将所述原始图像的颜色空间转换成特定颜色空间。
68.根据权利要求35所述的装置，其特征在于，所述处理器在对原始图像进行显著性检测，获得显著图之前，还用于：
将所述原始图像的大小调整为预设大小。
69.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至34任一项所述的图像处理方法的步骤。
CN201880068933.0A 2018-12-28 2018-12-28 图像处理方法和装置 Pending CN111279389A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/124724 WO2020133170A1 (zh) 2018-12-28 2018-12-28 图像处理方法和装置

Publications (1)

Publication Number Publication Date
CN111279389A true CN111279389A (zh) 2020-06-12

Family

ID=70999740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880068933.0A Pending CN111279389A (zh) 2018-12-28 2018-12-28 图像处理方法和装置

Country Status (2)

Country Link
CN (1) CN111279389A (zh)
WO (1) WO2020133170A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016548A (zh) * 2020-10-15 2020-12-01 腾讯科技（深圳）有限公司 一种封面图展示方法及相关装置
CN113473137A (zh) * 2021-06-29 2021-10-01 Oppo广东移动通信有限公司 编码方法、终端及存储介质
WO2023088176A1 (en) * 2021-11-18 2023-05-25 International Business Machines Corporation Data augmentation for machine learning
CN116708995A (zh) * 2023-08-01 2023-09-05 世优（北京）科技有限公司 摄影构图方法、装置及摄影设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270657A (zh) * 2020-11-04 2021-01-26 成都寰蓉光电科技有限公司 一种基于天空背景的目标检测与跟踪算法
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112907617B (zh) * 2021-01-29 2024-02-20 深圳壹秘科技有限公司 一种视频处理方法及其装置
CN113469976A (zh) * 2021-07-06 2021-10-01 浙江大华技术股份有限公司 一种对象检测的方法、装置及电子设备
CN113643266B (zh) * 2021-08-20 2024-04-05 百度在线网络技术（北京）有限公司 图像检测方法、装置及电子设备
CN116433672B (zh) * 2023-06-15 2023-08-25 山东九思新材料科技有限责任公司 基于图像处理的硅片表面质量检测方法
CN116993745B (zh) * 2023-09-28 2023-12-19 山东辉瑞管业有限公司 基于图像处理给水管表面漏损检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101626A1 (zh) * 2015-12-15 2017-06-22 努比亚技术有限公司 一种实现图像处理的方法及装置
CN108776970A (zh) * 2018-06-12 2018-11-09 北京字节跳动网络技术有限公司 图像处理方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133940A (zh) * 2017-03-28 2017-09-05 深圳市金立通信设备有限公司 一种构图方法及终端
CN107545576A (zh) * 2017-07-31 2018-01-05 华南农业大学 基于构图规则的图像编辑方法
CN108989665A (zh) * 2018-06-26 2018-12-11 Oppo（重庆）智能科技有限公司 图像处理方法、装置、移动终端及计算机可读介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101626A1 (zh) * 2015-12-15 2017-06-22 努比亚技术有限公司 一种实现图像处理的方法及装置
CN108776970A (zh) * 2018-06-12 2018-11-09 北京字节跳动网络技术有限公司 图像处理方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016548A (zh) * 2020-10-15 2020-12-01 腾讯科技（深圳）有限公司 一种封面图展示方法及相关装置
CN112016548B (zh) * 2020-10-15 2021-02-09 腾讯科技（深圳）有限公司 一种封面图展示方法及相关装置
CN113473137A (zh) * 2021-06-29 2021-10-01 Oppo广东移动通信有限公司 编码方法、终端及存储介质
WO2023088176A1 (en) * 2021-11-18 2023-05-25 International Business Machines Corporation Data augmentation for machine learning
CN116708995A (zh) * 2023-08-01 2023-09-05 世优（北京）科技有限公司 摄影构图方法、装置及摄影设备
CN116708995B (zh) * 2023-08-01 2023-09-29 世优（北京）科技有限公司 摄影构图方法、装置及摄影设备

Also Published As

Publication number Publication date
WO2020133170A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
CN111279389A (zh) 图像处理方法和装置
US10762608B2 (en) Sky editing based on image composition
US9299004B2 (en) Image foreground detection
KR101854554B1 (ko) 건축물 높이 산출 방법, 장치 및 저장 매체
US9330334B2 (en) Iterative saliency map estimation
Datta et al. Studying aesthetics in photographic images using a computational approach
CN105184763B (zh) 图像处理方法和装置
US6738494B1 (en) Method for varying an image processing path based on image emphasis and appeal
CN108446694B (zh) 一种目标检测方法及装置
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN108492294B (zh) 一种图像色彩和谐程度的评估方法及装置
WO2022134996A1 (en) Lane line detection method based on deep learning, and apparatus
CN110473185A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110909724B (zh) 一种多目标图像的缩略图生成方法
CN111080746B (zh) 图像处理方法、装置、电子设备和存储介质
CN115205636B (zh) 一种图像的目标检测方法、系统、设备及存储介质
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN104809438B (zh) 一种检测电子眼的方法和设备
Cheng et al. Re-compose the image by evaluating the crop on more than just a score
CN112218005A (zh) 一种基于人工智能的视频剪辑方法
Zhang et al. Visual saliency: from pixel-level to object-level analysis
Dong et al. Effective and efficient photo quality assessment
Chen et al. Candidate region acquisition optimization algorithm based on multi-granularity data enhancement
CN113658197B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112819937B (zh) 一种自适应多对象光场三维重建方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200612