CN111612004A - 一种基于语义内容的图像裁剪方法及装置 - Google Patents

一种基于语义内容的图像裁剪方法及装置 Download PDF

Info

Publication number
CN111612004A
CN111612004A CN201910142926.7A CN201910142926A CN111612004A CN 111612004 A CN111612004 A CN 111612004A CN 201910142926 A CN201910142926 A CN 201910142926A CN 111612004 A CN111612004 A CN 111612004A
Authority
CN
China
Prior art keywords
image
cut
semantic information
metadata
cutting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910142926.7A
Other languages
English (en)
Inventor
田伟伟
董健
颜水成
卢禹锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201910142926.7A priority Critical patent/CN111612004A/zh
Publication of CN111612004A publication Critical patent/CN111612004A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于语义内容的图像裁剪方法及装置，该方法包括：首先按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图，然后从显著性图中选取显著值的均值最大的区域作为候选裁剪区，进而计算待裁剪图像的语义信息的元数据，基于语义信息的元数据对候选裁剪区的裁剪边界进行调整，使候选裁剪区中的语义信息完整，最后依据调整后的裁剪边界对待裁剪图像的候选裁剪区进行裁剪。本发明方案对图像进行裁剪时通过基于图像显著性对图像进行裁剪，可以有效保留图像中显著性最高的区域，并且在对图像进行显著性裁剪之后，通过充分结合图像中的语义信息对图像进行裁剪，保证裁剪后的图像中的语义内容是完整的。

Description

一种基于语义内容的图像裁剪方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于语义内容的图像裁剪方法及装置。
背景技术
随着计算机技术的不断发展，越来越多的人们开始依赖移动终端(如手机)、电脑等终端设备获取信息、办公、学习、娱乐等，但是不同类型的终端设备往往会有固定的不同尺寸。因此，为了保证终端设备显示屏幕上显示的图像更好的符合屏幕大小，在图像数据进行展示时，往往要基于终端的显示尺寸对图像进行相应的裁剪，目前主流的裁剪方法是基于显著性进行裁剪，即保留原图像中显著性最高的区域作为裁剪目标。
但是，现有的图像裁剪方式并不能很好地保证图像语义描述单元(如文字、动态目标区域等)的完整性。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于语义内容的图像裁剪方法及装置。
依据本发明一方面，提供了一种基于语义内容的图像裁剪方法，包括：
按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图；
从所述显著性图中选取显著值的均值最大的区域作为候选裁剪区；
计算所述待裁剪图像的语义信息的元数据，基于所述语义信息的元数据对所述候选裁剪区的裁剪边界进行调整，使所述候选裁剪区中的语义信息完整；
依据调整后的裁剪边界对所述待裁剪图像的候选裁剪区进行裁剪。
可选地，按照预设算法对待裁剪图像进行显著性计算，包括：
对所述待裁剪图像进行预处理，使所述待裁剪图像符合裁剪需求；
按照预设算法对预处理后的待裁剪图像进行显著性计算。
可选地，对所述待裁剪图像进行预处理，包括：
对所述待裁剪图像的图像格式进行转换；和/或
对所述待裁剪图像的尺寸进行等比例缩放。
可选地，计算所述待裁剪图像的语义信息的元数据，包括：
采用预置深度神经网络模型计算所述待裁剪图像中语义信息的元数据。
可选地，所述待裁剪图像中的语义信息的元数据包括以下至少之一：
动态或静态的图像目标数据、人脸数据、文字数据。
可选地，动态或静态的图像目标数据包括：行人、景物、建筑、交通工具。
可选地，基于所述语义信息的元数据对所述候选裁剪区的裁剪边界进行调整，包括：
为各项语义信息的元数据设置裁剪优先级；
按照语义信息的元数据的裁剪优先级对所述候选裁剪区的裁剪边界进行调整。
可选地，为各项语义信息的元数据设置裁剪优先级，包括：
设置人脸数据的优先级最高，动态或静态的图像目标数据的优先级次之，文字数据的优先级最低。
依据本发明另一方面，还提供了一种基于语义内容的图像裁剪装置，包括：
计算模块，适于按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图；
选取模块，适于从所述显著性图中选取显著值的均值最大的区域作为候选裁剪区；
调整模块，适于计算所述待裁剪图像的语义信息的元数据，基于所述语义信息的元数据对所述候选裁剪区的裁剪边界进行调整，使所述候选裁剪区中的语义信息完整；
裁剪模块，适于依据调整后的裁剪边界对所述待裁剪图像的候选裁剪区进行裁剪。
可选地，所述计算模块还包括：
预处理单元，适于对所述待裁剪图像进行预处理，使所述待裁剪图像符合裁剪需求；
计算单元，适于按照预设算法对预处理后的待裁剪图像进行显著性计算。
可选地，所述预处理单元还适于：
对所述待裁剪图像的图像格式进行转换；和/或
对所述待裁剪图像的尺寸进行等比例缩放。
可选地，所述调整模块还适于：
采用预置深度神经网络模型计算所述待裁剪图像中语义信息的元数据。
可选地，所述待裁剪图像中的语义信息的元数据包括以下至少之一：
动态或静态的图像目标数据、人脸数据、文字数据。
可选地，动态或静态的图像目标数据包括：行人、景物、建筑、交通工具。
可选地，所述调整模块还适于：
为各项语义信息的元数据设置裁剪优先级；
按照语义信息的元数据的裁剪优先级对所述候选裁剪区的裁剪边界进行调整。
可选地，所述调整模块还适于：
设置人脸数据的优先级最高，动态或静态的图像目标数据的优先级次之，文字数据的优先级最低。
依据本发明的再一方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行上文任意实施例中的基于语义内容的图像裁剪方法。
依据本发明的又一方面，还提供了一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行上文任意实施例中的基于语义内容的图像裁剪方法。
在本发明实施例中，首先，按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图，然后从显著性图中选取显著值的均值最大的区域作为候选裁剪区，进而计算待裁剪图像的语义信息的元数据，基于语义信息的元数据对候选裁剪区的裁剪边界进行调整，使候选裁剪区中的语义信息完整，最后依据调整后的裁剪边界对待裁剪图像的候选裁剪区进行裁剪。由此，本发明方案对图像进行裁剪时通过基于图像显著性对图像进行裁剪，可以有效保留图像中显著性最高的区域，并且在对图像进行显著性裁剪之后，本方案还充分结合了图像中的语义信息对图像进行裁剪，保证裁剪后的图像中的语义内容是完整的，有效地避免了对图像语义信息完整性的破坏，即本方案即保留了原始图像的显著区域，又保证了基本语义单元的裁剪完整性，从而大大提升了图像裁剪的准确率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的基于语义内容的图像裁剪方法的流程示意图；
图2示出了根据本发明另一个实施例的基于语义内容的图像裁剪方法的流程示意图；
图3示出了根据本发明一个实施例的基于语义内容的图像裁剪装置的结构示意图；以及
图4示出了根据本发明另一个实施例的基于语义内容的图像裁剪装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为解决上述技术问题，本发明实施例提供了一种基于语义内容的图像裁剪方法。图1示出了根据本发明一个实施例的基于语义内容的图像裁剪方法的流程示意图。参见图1，该方法至少包括步骤S102至步骤S108。
步骤S102，按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图。
步骤S104，从显著性图中选取显著值的均值最大的区域作为候选裁剪区。
步骤S106，计算待裁剪图像的语义信息的元数据，基于语义信息的元数据对候选裁剪区的裁剪边界进行调整，使候选裁剪区中的语义信息完整。
步骤S108，依据调整后的裁剪边界对待裁剪图像的候选裁剪区进行裁剪。
本发明实施例对图像进行裁剪时通过基于图像显著性对图像进行裁剪，可以有效保留图像中显著性最高的区域，并且在对图像进行显著性裁剪之后，本方案还充分结合了图像中的语义信息对图像进行裁剪，裁剪后的图像中的语义内容是完整的，有效地避免了对图像语义信息完整性的破坏，即本方案即保留了原始图像的显著区域，又保证了基本语义单元的裁剪完整性，从而大大提升了图像裁剪的准确率。
在本发明一实施例中，在按照预设算法对待裁剪图像进行显著性计算之前，还可以先对待裁剪图像进行预处理，以使待裁剪图像符合后续的裁剪需求，进而按照预设算法对预处理后的待裁剪图像进行显著性计算。该实施例中的预设算法指的是图像显著性检测算法。
本发明介绍了两种对待裁剪图像进行预处理的方式，下面分别进行介绍。
方式一
对待裁剪图像的图像格式进行转换，以使待裁剪图像的格式符合图像显著性计算的算法要求。
目前，标准的图像格式有很多种，比如JPG、PNG格式，又比如RGBA四通道格式，通常情况下大部分图像属于RGB三通道格式或者单通道格式的灰度图。例如，待裁剪图像为灰度图，对图像预处理时可以将该灰度图直接转换为RGB三通道图。又例如，待裁剪图像为四通道RGBA图像，对图像预处理时可以将四通道RGBA图像转换成三通道RGB图像。具体的，先计算RGBA图像中的alpha通道并得到alpha通道的掩膜，然后，计算掩膜与其他三通道RGB的乘积后与纯白背景叠加得到无失真三通道彩图。
方式二
对待裁剪图像的尺寸进行等比例缩放，以调整待裁剪图像的尺寸到合适图像显著性计算的大小。
例如，输入的待裁剪图像的尺寸过大，为了提高图像的处理效率，可以将待裁剪图像的尺寸等比例压缩。又例如，由于待裁剪图像的尺寸过小而不符合预设算法的显著性计算要求，则可以将待裁剪图像的尺寸等比例放大。
当然，在对待裁剪图像进行预处理时，可以同时结合上述两种方式对待裁剪图像进行预处理。此外，还可以包含其他对待裁剪图像进行预处理的方式，本发明实施例对此不做具体的限定。
参见上文步骤S104，为了更加清楚地体现本发明候选裁剪区的选取过程，现以一个具体实施例对此进行介绍。
首先，对图像显著图中的各行以及各列的显著性值进行累加。
例如，可以参照公式1对图像显著图中的各列的显著性值进行累加，其中，公式1中的sj,i表示显著性图中的i列及j行的显著值，Ci为i列的显著性值的累加和，同理，也可以基于与公式1相似的计算方式来计算各列的显著性值的和。
Figure BDA0001979114680000061
然后，从显著图的一侧采用划窗的方式选定显著值的均值最大的区域，并以该选定区域作为候选裁剪区域，其中，最终的候选裁剪区域为窗口区域的最大值。例如，可以参照公式2计算得到窗口区域的最大值，其中，Cj为j行的显著性累加和，k为候选裁剪区域的列数。
Figure BDA0001979114680000062
参见上文步骤S106，在本发明一实施例中，在计算待裁剪图像的语义信息的元数据时，可以具体采用预置深度神经网络模型来计算待裁剪图像中语义信息的元数据。
该实施例中，待裁剪图像中的语义信息的元数据包括动态或静态的图像目标数据、人脸数据、文字数据等等中的至少一项。其中，动态或静态的图像目标数据可以包括图像中的动态或者静态的行人、植物或河流等景物、建筑物、交通工具等等目标。上述对图像目标数据的举例仅仅是示意性的，本发明实施例对此不做具体的限定。
在本发明实施例中，若计算得到的待裁剪图像中语义信息的元数据为动态或静态的图像目标数据，那么预置深度神经网络模型可以采用预置的目标检测模型。通过目标检测模型可以有效地计算并识别出待裁剪图像中哪里存在目标。例如，若待裁剪图像为风景图像，则可以有效地识别出待裁剪图像中出现的行人、景物、建筑物等目标。
若计算得到的待裁剪图像中语义信息的元数据为人脸数据，那么预置深度神经网络模型可以采用预置的人脸检测模型。通过人脸检测模型可以有效地计算识别出待裁剪图像中哪里出现了人脸，进而在后续图像裁剪过程中可以保证图像中的人脸是完整的人脸，避免出现待裁剪图像中实际包含的人脸是完整的人脸，而经过裁剪之后的图像中仅包含了部分人脸的情况。
若计算得到的待裁剪图像中语义信息的元数据为文字数据，那么预置深度神经网络模型可以采用预置文字识别检测模型。通过文字识别检测模型可以有效地计算识别出待裁剪图像中哪里存在文字数据，进而在后续图像裁剪过程中可以保证图像中的文字是不完整的文字，而不会出现经过裁剪之后的图像中的文字是半个文字的情况。
继续参见上文步骤S106，在本发明一实施例中，在基于待裁剪图像的语义信息的元数据对候选裁剪区的裁剪边界进行调整时，若待裁剪图像的语义信息的元数据包含有多个，为了提高图像裁剪的效率，还可以按照对各项语义信息的元数据设置的指定的顺序依次对待裁剪图像进行调整。例如，首先，为各项语义信息的元数据设置裁剪优先级。然后，按照设置好的图语义信息的元数据的裁剪优先级对候选裁剪区的裁剪边界进行调整。
在该实施例中，结合上文实施例，若待裁剪图像的语义信息的元数据包含有动态或静态的图像目标数据、人脸数据、文字数据。那么，为各项语义信息的元数据设置的裁剪优先级顺序可以是，设置人脸数据的优先级最高，动态或静态的图像目标数据的优先级次之，文字数据的优先级最低。当然，还可以为元数据设置其他顺序的优先级，本发明实施例对此不做具体的限定。
本发明实施例还提供了另一种基于语义内容的图像裁剪方法。图2示出了根据本发明一个实施例的基于语义内容的图像裁剪方法的流程示意图。参见图2，该方法至少包括步骤S202至步骤S212。
步骤S202，对待裁剪图像进行预处理，使待裁剪图像符合裁剪需求。
步骤S204，按照预设算法对预处理后的待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图。
步骤S206，从显著性图中选取显著值的均值最大的区域作为候选裁剪区。
步骤S208，计算待裁剪图像的语义信息的元数据，为各项语义信息的元数据设置裁剪优先级。
步骤S210，按照语义信息的元数据的裁剪优先级对候选裁剪区的裁剪边界进行调整，使候选裁剪区中的语义信息完整。
在该实施例中，若图像的语义信息的元数据包含动态或静态的图像目标数据，由于动态或静态的图像目标数据又包含了多个种类的目标，例如包含行人、景物、建筑、交通工具等等不同的目标。因此，在为例如图像目标数据、人脸数据、文字数据等元数据设置了一级优先级之后，还可以进一步地为多个种类的目标数据设置相应的二级优先级，从而在基于目标数据对候选裁剪区的裁剪边界进行调整的过程中，能够按照各类目标的二级优先级进行依次的调整。例如，设置动态或静态的图像目标数据中行人的优先级最高，建筑的优先级次之，景物的优先级再次之等等，此处对优先级的顺序不做具体的限定。
步骤S212，依据调整后的裁剪边界对待裁剪图像的候选裁剪区进行裁剪。
在本发明一实施例中，计算待裁剪图像的语义信息的元数据，并为各项语义信息的元数据设置裁剪优先级的步骤还可以在对待裁剪图像进行预处理之前执行，从而后续在从显著性图中选取显著值的均值最大的区域作为候选裁剪区之后，可以直接基于提前设置的语义信息的元数据的裁剪优先级对候选裁剪区的裁剪边界进行调整。
本发明本方案既有效地保留了原始待裁剪图像中的显著区域，又有效地保证了基本语义单元的裁剪完整性，从而大大提升了图像裁剪的准确率。并且，通过为图像的各项语义信息的元数据设置相应的优先级，能够进一步地优先保证较为重要的元数据的完整性，而且还有助于裁剪过程更加有序的进行，提高了的图像裁剪的效率。
基于同一发明构思，本发明实施例还提供了一种基于语义内容的图像裁剪装置。图3示出了根据本发明一个实施例的基于语义内容的图像裁剪装置的结构示意图。参见图3，基于语义内容的图像裁剪装置300包括计算模块310、选取模块320、调整模块330、裁剪模块340。
现介绍本发明实施例的基于语义内容的图像裁剪装置300的各组成或器件的功能以及各部分间的连接关系：
计算模块310，适于按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图；
选取模块320，与计算模块310耦合，适于从显著性图中选取显著值的均值最大的区域作为候选裁剪区；
调整模块330，与选取模块320耦合，适于计算待裁剪图像的语义信息的元数据，基于语义信息的元数据对候选裁剪区的裁剪边界进行调整，使候选裁剪区中的语义信息完整；
裁剪模块340，与调整模块330耦合，适于依据调整后的裁剪边界对待裁剪图像的候选裁剪区进行裁剪。
在本发明一实施例中，调整模块330还适于，采用预置深度神经网络模型计算待裁剪图像中语义信息的元数据。
在本发明一实施例中，待裁剪图像中的语义信息的元数据包括动态或静态的图像目标数据、人脸数据、文字数据中的至少之一。其中，动态或静态的图像目标数据可以包括：行人、景物、建筑、交通工具等等。
在本发明一实施例中，调整模块330还适于，为各项语义信息的元数据设置裁剪优先级，按照语义信息的元数据的裁剪优先级对候选裁剪区的裁剪边界进行调整。
在本发明一实施例中，若待裁剪图像中的语义信息的元数据包括动态或静态的图像目标数据、人脸数据、文字数据，那么在为各项语义信息的元数据设置裁剪优先级时，可以设置人脸数据的优先级最高，动态或静态的图像目标数据的优先级次之，文字数据的优先级最低。
本发明实施例还提供了一种基于语义内容的图像裁剪装置。图4示出了根据本发明另一个实施例的基于语义内容的图像裁剪装置的结构示意图。参见图4，基于语义内容的图像裁剪装置300的计算模块310包括预处理单元311和计算单元312。
预处理单元311，适于对待裁剪图像进行预处理，使待裁剪图像符合裁剪需求。
计算单元312，与预处理单元311耦合，适于按照预设算法对预处理后的待裁剪图像进行显著性计算。
在本发明一实施例中，预处理单元311还适于，对待裁剪图像的图像格式进行转换，和/或对待裁剪图像的尺寸进行等比例缩放。
本发明实施例还提供了一种计算机存储介质，计算机存储介质存储有计算机程序代码，当计算机程序代码在计算设备上运行时，导致计算设备执行上文任意实施例中的基于语义内容的图像裁剪方法。
本发明实施例还提供了一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当计算机程序代码被处理器运行时，导致计算设备执行上文任意实施例中的基于语义内容的图像裁剪方法。
根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：
在本发明实施例中，首先，按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图，然后从显著性图中选取显著值的均值最大的区域作为候选裁剪区，进而计算待裁剪图像的语义信息的元数据，基于语义信息的元数据对候选裁剪区的裁剪边界进行调整，使候选裁剪区中的语义信息完整，最后依据调整后的裁剪边界对待裁剪图像的候选裁剪区进行裁剪。由此，本发明方案对图像进行裁剪时通过基于图像显著性对图像进行裁剪，可以有效保留图像中显著性最高的区域，并且在对图像进行显著性裁剪之后，本方案还充分结合了图像中的语义信息对图像进行裁剪，保证裁剪后的图像中的语义内容是完整的，有效地避免了对图像语义信息完整性的破坏，即本方案即保留了原始图像的显著区域，又保证了基本语义单元的裁剪完整性，从而大大提升了图像裁剪的准确率。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。
本发明实施例还公开了A1、一种基于语义内容的图像裁剪方法，包括：
按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图；
从所述显著性图中选取显著值的均值最大的区域作为候选裁剪区；
计算所述待裁剪图像的语义信息的元数据，基于所述语义信息的元数据对所述候选裁剪区的裁剪边界进行调整，使所述候选裁剪区中的语义信息完整；
依据调整后的裁剪边界对所述待裁剪图像的候选裁剪区进行裁剪。
A2、根据A1所述的方法，其中，按照预设算法对待裁剪图像进行显著性计算，包括：
对所述待裁剪图像进行预处理，使所述待裁剪图像符合裁剪需求；
按照预设算法对预处理后的待裁剪图像进行显著性计算。
A3、根据A2所述的方法，其中，对所述待裁剪图像进行预处理，包括：
对所述待裁剪图像的图像格式进行转换；和/或
对所述待裁剪图像的尺寸进行等比例缩放。
A4、根据A1-A3任一项所述的方法，其中，计算所述待裁剪图像的语义信息的元数据，包括：
采用预置深度神经网络模型计算所述待裁剪图像中语义信息的元数据。
A5、根据A1-A3任一项所述的方法，其中，所述待裁剪图像中的语义信息的元数据包括以下至少之一：
动态或静态的图像目标数据、人脸数据、文字数据。
A6、根据A5所述的方法，其中，动态或静态的图像目标数据包括：行人、景物、建筑、交通工具。
A7、根据A5所述的方法，其中，基于所述语义信息的元数据对所述候选裁剪区的裁剪边界进行调整，包括：
为各项语义信息的元数据设置裁剪优先级；
按照语义信息的元数据的裁剪优先级对所述候选裁剪区的裁剪边界进行调整。
A8、根据A7所述的方法，其中，为各项语义信息的元数据设置裁剪优先级，包括：
设置人脸数据的优先级最高，动态或静态的图像目标数据的优先级次之，文字数据的优先级最低。
B9、一种基于语义内容的图像裁剪装置，包括：
计算模块，适于按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图；
选取模块，适于从所述显著性图中选取显著值的均值最大的区域作为候选裁剪区；
调整模块，适于计算所述待裁剪图像的语义信息的元数据，基于所述语义信息的元数据对所述候选裁剪区的裁剪边界进行调整，使所述候选裁剪区中的语义信息完整；
裁剪模块，适于依据调整后的裁剪边界对所述待裁剪图像的候选裁剪区进行裁剪。
B10、根据B9所述的装置，其中，所述计算模块还包括：
预处理单元，适于对所述待裁剪图像进行预处理，使所述待裁剪图像符合裁剪需求；
计算单元，适于按照预设算法对预处理后的待裁剪图像进行显著性计算。
B11、根据B10所述的装置，其中，所述预处理单元还适于：
对所述待裁剪图像的图像格式进行转换；和/或
对所述待裁剪图像的尺寸进行等比例缩放。
B12、根据B9-B11任一项所述的装置，其中，所述调整模块还适于：
采用预置深度神经网络模型计算所述待裁剪图像中语义信息的元数据。
B13、根据B9-B11任一项所述的装置，其中，所述待裁剪图像中的语义信息的元数据包括以下至少之一：
动态或静态的图像目标数据、人脸数据、文字数据。
B14、根据B13所述的装置，其中，动态或静态的图像目标数据包括：行人、景物、建筑、交通工具。
B15、根据B13所述的装置，其中，所述调整模块还适于：
为各项语义信息的元数据设置裁剪优先级；
按照语义信息的元数据的裁剪优先级对所述候选裁剪区的裁剪边界进行调整。
B16、根据B15所述的装置，其中，所述调整模块还适于：
设置人脸数据的优先级最高，动态或静态的图像目标数据的优先级次之，文字数据的优先级最低。
C17、一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行A1-A8任一项所述的基于语义内容的图像裁剪方法。
D18、一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行A1-A8任一项所述的基于语义内容的图像裁剪方法。

Claims (10)

1.一种基于语义内容的图像裁剪方法，包括：
按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图；
从所述显著性图中选取显著值的均值最大的区域作为候选裁剪区；
计算所述待裁剪图像的语义信息的元数据，基于所述语义信息的元数据对所述候选裁剪区的裁剪边界进行调整，使所述候选裁剪区中的语义信息完整；
依据调整后的裁剪边界对所述待裁剪图像的候选裁剪区进行裁剪。
2.根据权利要求1所述的方法，其中，按照预设算法对待裁剪图像进行显著性计算，包括：
对所述待裁剪图像进行预处理，使所述待裁剪图像符合裁剪需求；
按照预设算法对预处理后的待裁剪图像进行显著性计算。
3.根据权利要求2所述的方法，其中，对所述待裁剪图像进行预处理，包括：
对所述待裁剪图像的图像格式进行转换；和/或
对所述待裁剪图像的尺寸进行等比例缩放。
4.根据权利要求1-3任一项所述的方法，其中，计算所述待裁剪图像的语义信息的元数据，包括：
采用预置深度神经网络模型计算所述待裁剪图像中语义信息的元数据。
5.根据权利要求1-3任一项所述的方法，其中，所述待裁剪图像中的语义信息的元数据包括以下至少之一：
动态或静态的图像目标数据、人脸数据、文字数据。
6.根据权利要求5所述的方法，其中，动态或静态的图像目标数据包括：行人、景物、建筑、交通工具。
7.根据权利要求5所述的方法，其中，基于所述语义信息的元数据对所述候选裁剪区的裁剪边界进行调整，包括：
为各项语义信息的元数据设置裁剪优先级；
按照语义信息的元数据的裁剪优先级对所述候选裁剪区的裁剪边界进行调整。
8.一种基于语义内容的图像裁剪装置，包括：
计算模块，适于按照预设算法对待裁剪图像进行显著性计算，依据计算结果生成对应的显著性图；
选取模块，适于从所述显著性图中选取显著值的均值最大的区域作为候选裁剪区；
调整模块，适于计算所述待裁剪图像的语义信息的元数据，基于所述语义信息的元数据对所述候选裁剪区的裁剪边界进行调整，使所述候选裁剪区中的语义信息完整；
裁剪模块，适于依据调整后的裁剪边界对所述待裁剪图像的候选裁剪区进行裁剪。
9.一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行权利要求1-7任一项所述的基于语义内容的图像裁剪方法。
10.一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行权利要求1-7任一项所述的基于语义内容的图像裁剪方法。
CN201910142926.7A 2019-02-26 2019-02-26 一种基于语义内容的图像裁剪方法及装置 Pending CN111612004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910142926.7A CN111612004A (zh) 2019-02-26 2019-02-26 一种基于语义内容的图像裁剪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910142926.7A CN111612004A (zh) 2019-02-26 2019-02-26 一种基于语义内容的图像裁剪方法及装置

Publications (1)

Publication Number Publication Date
CN111612004A true CN111612004A (zh) 2020-09-01

Family

ID=72201249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910142926.7A Pending CN111612004A (zh) 2019-02-26 2019-02-26 一种基于语义内容的图像裁剪方法及装置

Country Status (1)

Country Link
CN (1) CN111612004A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270745A (zh) * 2020-11-04 2021-01-26 北京百度网讯科技有限公司 一种图像生成方法、装置、设备以及存储介质
CN113159026A (zh) * 2021-03-31 2021-07-23 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN113868322A (zh) * 2021-12-03 2021-12-31 杭州未名信科科技有限公司 一种语义结构解析方法、装置、设备及虚拟化系统、介质
CN114666649A (zh) * 2022-03-31 2022-06-24 北京奇艺世纪科技有限公司 字幕被裁视频的识别方法、装置、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270745A (zh) * 2020-11-04 2021-01-26 北京百度网讯科技有限公司 一种图像生成方法、装置、设备以及存储介质
CN112270745B (zh) * 2020-11-04 2023-09-29 北京百度网讯科技有限公司 一种图像生成方法、装置、设备以及存储介质
CN113159026A (zh) * 2021-03-31 2021-07-23 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN113868322A (zh) * 2021-12-03 2021-12-31 杭州未名信科科技有限公司 一种语义结构解析方法、装置、设备及虚拟化系统、介质
CN114666649A (zh) * 2022-03-31 2022-06-24 北京奇艺世纪科技有限公司 字幕被裁视频的识别方法、装置、电子设备及存储介质
CN114666649B (zh) * 2022-03-31 2024-03-01 北京奇艺世纪科技有限公司 字幕被裁视频的识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10846524B2 (en) Table layout determination using a machine learning system
CN109493350B (zh) 人像分割方法及装置
CN111612004A (zh) 一种基于语义内容的图像裁剪方法及装置
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
JP4545641B2 (ja) 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
KR102399508B1 (ko) 레이아웃 분석 방법, 판독 보조 장치, 회로, 및 매체
CN111553923B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN109977952B (zh) 基于局部最大值的候选目标检测方法
RU2697649C1 (ru) Способы и системы сегментации документа
CN113313083B (zh) 文本检测方法及装置
US10990807B2 (en) Selecting representative recent digital portraits as cover images
CN114494775A (zh) 视频切分方法、装置、设备及存储介质
CN113657370A (zh) 一种文字识别方法及其相关设备
CN111062388B (zh) 基于深度学习的广告文字的识别方法、系统、介质及设备
CN111179287A (zh) 人像实例分割方法、装置、设备及存储介质
CN113850239B (zh) 多文档检测方法、装置、电子设备及存储介质
CN113850805B (zh) 多文档检测方法、装置、电子设备及存储介质
US20220020113A1 (en) Image resizing using seam carving
JP6778625B2 (ja) 画像検索システム、画像検索方法及び画像検索プログラム
CN113627124A (zh) 一种针对字体迁移模型的处理方法、装置、电子设备
US10380447B1 (en) Providing regions of interest in an image
CN113657369A (zh) 一种文字识别方法及其相关设备
JP2012022413A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5614835B2 (ja) 画像レイアウト設定方法および装置
CN111553364A (zh) 图片处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination