CN112669211A - 一种图像重定位方法和装置 - Google Patents

一种图像重定位方法和装置 Download PDF

Info

Publication number
CN112669211A
CN112669211A CN202011587831.5A CN202011587831A CN112669211A CN 112669211 A CN112669211 A CN 112669211A CN 202011587831 A CN202011587831 A CN 202011587831A CN 112669211 A CN112669211 A CN 112669211A
Authority
CN
China
Prior art keywords
image
repositioning
calculation
saliency
adaptable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011587831.5A
Other languages
English (en)
Other versions
CN112669211B (zh
Inventor
俞江
陈有鑫
吴龙海
陈洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202011587831.5A priority Critical patent/CN112669211B/zh
Publication of CN112669211A publication Critical patent/CN112669211A/zh
Priority to PCT/KR2021/006667 priority patent/WO2022145593A1/en
Priority to US17/333,900 priority patent/US11508035B2/en
Application granted granted Critical
Publication of CN112669211B publication Critical patent/CN112669211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像重定位方法，其包括：对原始图像进行预处理，得到中间图像；对中间图像进行语义显著性分析，得到所述中间图像的显著性特征图；根据所述显著性特征图和重定位的目标设备条件进行可适配性计算；根据可适配性计算的结果，确定图像的重定位方式，并按照确定的方式对所述原始图像进行重定位处理。应用本申请，能够保证在保留关键目标和少量失真的情况下，将图像重定位目标分辨率和纵横比，从而提高用户体验。

Description

一种图像重定位方法和装置
技术领域
本申请涉及图像处理技术，特别涉及一种图像重定位方法和装置。
背景技术
随着视频播放器的多样化，以不同分辨率和设备纵横比显示图片的需求不断增加。将原始图片适应于不同分辨率和设备纵横比进行显示的处理称为图像的重定位。
目前，针对图像重定位目标的研究已经取得了一定的成果。传统方法包括均匀缩放法(Scale,SCL)和裁剪法(Crop,CR)。SCL是将图像缩放到给定的分辨率，它速度很快，但往往会导致扭曲。CR是提取原始图像重要部分的一种有效方法，但如果一个图像包含多个分离的对象，它将无法保持足够的语义信息。由此可见，传统的图像重定位方法依靠低层特征来预测像素级的重要性，同时允许对不太重要的区域进行扭曲。相应的方法对于目标清晰、背景单调的图像取得了良好的效果，但是对于结构复杂的图片，它们的效果及性能并不能得到保证。
接缝裁剪(Seam Carving,SC)也是一种目前非常经典的图像重定位方法，它通过重复以下步骤调整图像的大小：计算图像中每个像素的能量，然后移除或插入一个包含最小能量的“接缝”。SC可以在一定程度上防止失真，但当关键对象的很大一部分受到显著性影响时，SC会产生严重的扭曲。此外，在某些终端设备上，SC耗时严重。
由上述可见，在现有的图像重定位方法中，经常会碰到下面的这些情况：
(1)图像显示适配后的图像扭曲或者严重失真。
(2)在设备上进行显示适配的处理时间过长，无法在规定时间内完成批量图片的处理。
发明内容
本申请提供一种图像重定位方法和装置，能够在保留关键目标和少量失真的情况下，将图像重定位目标分辨率和纵横比，从而提高用户体验。
为实现上述目的，本申请采用如下技术方案：
一种图像重定位方法，包括：
对原始图像进行预处理，得到中间图像；
对中间图像进行语义显著性分析，得到所述中间图像的显著性特征图；
根据所述显著性特征图和重定位的目标设备条件进行可适配性计算；
根据可适配性计算的结果，确定图像的重定位方式，并按照确定的方式对所述原始图像进行重定位处理。
较佳地，所述根据所述显著性特征图和重定位的目标设备条件进行可适配性计算包括：
当检测不到所述中间图像的语义显著性时，确定图像为可适配的；和/或，
当所述原始图像与目标图像的比例一致，确定图像为可适配的；和/或，
当预设形变引起的失真度在可接受范围内，确定图像为可适配的。
较佳地，所述根据可适配性计算的结果，确定图像的重定位方式包括：
若可适配性计算结果为所述原始图像可适配，则确定通过直接调整所述原始图像分辨率的方式进行重定位处理；和/或，
若可适配性计算结果为所述原始图像不可适配，则根据所述语义显著性分析得到的显著性特征图、由所述目标设备条件确定的约束条件和预设的用于选择重定位策略的神经网络模型，选择重定位方式。
较佳地，所述语义显著性分析包括：人脸检测、文字检测、人体检测、物体检测和/或关联性检测。
较佳地，所述可适配性计算包括：宽高比匹配、显著性计算、目标设备分析、视觉关注度计算和/或失真度计算。
一种图像重定位装置，包括：预处理单元、语义显著性分析单元、可适配性计算单元和重定位单元；
所述预处理单元，用于对原始图像进行预处理，得到中间图像；
所述语义显著性分析单元，用于对中间图像进行语义显著性分析，得到所述中间图像的显著性特征图；
所述可适配计算单元，用于根据所述显著性特征图和重定位的目标设备条件进行可适配性计算；
所述重定位单元，用于根据可适配性计算的结果，确定图像的重定位方式，并按照确定的方式对所述原始图像进行重定位处理。
较佳地，所述可适配计算单元根据所述显著性特征图和重定位的目标设备条件进行可适配性计算包括：
当检测不到所述中间图像的语义显著性时，确定图像为可适配的；和/或，
当所述原始图像与目标图像的比例一致，确定图像为可适配的；和/或，
当预设形变引起的失真度在可接受范围内，确定图像为可适配的。
较佳地，所述重定位单元根据可适配性计算的结果确定图像的重定位方式包括：
若可适配性计算结果为所述原始图像可适配，则确定通过直接调整所述原始图像分辨率的方式进行重定位处理；和/或，
若可适配性计算结果为所述原始图像不可适配，则根据所述语义显著性分析得到的显著性特征图、由所述目标设备条件确定的约束条件和预设的用于选择重定位策略的神经网络模型，选择重定位方式。
较佳地，所述语义显著性分析包括：人脸检测、文字检测、人体检测、物体检测和/或关联性检测。
较佳地，所述可适配性计算包括：宽高比匹配、显著性计算、目标设备分析、视觉关注度计算和/或失真度计算。
由上述技术方案可见，本申请中，对原始图像进行预处理，得到中间图像；对中间图像进行语义显著性分析，得到中间图像的显著性特征图；根据显著性特征图和重定位的目标设备条件进行可适配性计算；根据可适配性计算的结果，确定图像的重定位方式，并按照确定的方式对原始图像进行重定位处理。在上述处理中，根据图像的语义显著性分析结果进行可适配性计算，再利用可适配性计算结果选择合适的重定位方式进行重定位处理。这样，就可以根据图像特性和原始图像与目标设备间的关系来选择相适应的重定位方式，保证在保留关键目标和少量失真的情况下，将图像重定位目标分辨率和纵横比，从而提高用户体验。
附图说明
图1为本申请中内容推荐方法的基本流程示意图；
图2为本申请中进行原始图像预处理的示意图；
图3为本申请中进行语义显著性分析的示意图；
图4为本申请中进行可适配性计算的示意图；
图5为本申请中原始图像不可适配时选择最优重定位方式的示意图；
图6为本申请中神经网络模型的训练示意图；
图7为智能设备按指定尺寸向用户展示图片的应用场景；
图8给出了利用本申请的方法将节目缩略图在电视上展示的示意图；
图9给出了利用本申请的方法在圆形手表上进行缩略图展示的示意图；
图10为图像重定位装置的结构示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本申请中对原始图像进行分析，结合文本、人脸、人体、显著性特征图、物体关联性等的语义分析结果，对图像的可重定向性进行评价。再根据可重定向的目标性和可解释的决策条件，在保证适应质量的前提下，选择最快的方法来适应图像的重定位处理。
图1为本申请提供的图像重定位方法的基本流程示意图。如图1所示，该方法包括：
步骤101，对原始图像进行预处理，得到中间图像。
考虑到快速进行显示适配的需求，每当输入一张原始图像，可以根据原始尺寸和目标尺寸，选定合适尺寸的中间目标进行缩放，得到中间图像，该中间图像是同构对颜色、分辨率等方面的处理得到的图像，用于模型处理和特征分析，以提高后续语义分析的速度。其中，对原始图片进行预处理，包括但不仅限于图片缩放、亮度调整、通道调整等，获得中间图像。具体可以如图2所示。
步骤102，对中间图像进行语义显著性分析，得到中间图像的显著性特征图。
其中，语义显著性分析包括但不限于人脸检测、文字检测、人体检测、物体检测和/或关联性检测等，通过显著性分析得到语义显著性分析结果，获取显著性特征图。具体可以如图3所示。
步骤103，根据步骤102得到的显著性特征图和重定位的目标设备条件进行可适配性计算。
本步骤中的可适配性计算是根据步骤102确定的显著性特征图和进行重定位的目标设备当前条件(例如目标图像形状、分辨率、尺寸大小等)进行的。其中，可适配计算包括但不限于宽高比匹配、显著性计算、目标设备分析、视觉关注度计算和/或失真度计算等。
具体地，当检测不到语义显著性时，可以确定图像为可适配的；和/或，当原始图像与目标图像的比例一致，可以确定图像为可适配的；和/或，当预设形变引起的失真度在可接受范围内，也可以确定图像为可适配的。其中，确定为可适配的可以是可适配计算结果大于设定门限值。具体可以如图4所示。
步骤104，根据可适配性计算的结果，确定图像的重定位方式。
本申请中，可以根据其图像特性和原始图像与目标设备间的关系，对于不同的图像采用不同的重定位方式进行重定位处理。通过前述步骤102和103的处理，对图像进行了语义显著性分析，并得到了可适配性计算结果，上述处理即能够反映出图像特效以及原始图像与目标设备间的关系，因此，可以基于上述步骤102和103的结果为原始图像选择合适的重定位方式。
优选地，若可适配性计算结果为原始图像可适配，则可以确定通过直接调整原始图像分辨率的方式进行重定位处理；这种处理方式简单便捷，由于原始图像的可适配性计算结果显示该图像为可适配，也就是说采用简单的重定位方式能够满足质量要求，因此选择最快捷方便的方式，直接调整原始图像分辨率来得到目标图像进行显示。
优选地，若可适配性计算结果为原始图像不可适配，则根据语义显著性分析得到的显著性特征图和由目标设备条件确定的约束条件，按照预设的用于选择重定位策略的神经网络模型，选择最优的重定位方式。具体可以如图5所示。
更详细地，针对不可适配的图像，可以结合语义显著性，进行重定位策略求解，挑选或组合最佳重定位方案，包括但不仅限于scale、crop、seam carving、GSC等方法。
较佳地，本申请提供一个神经网络模型用于进行重定位策略求解。选择各类典型图像、各类目标设备条件和质量要求作为数据集进行模型训练。具体地，如图6所示，在制作数据集的过程中，在原始图像上实施候选的重定位策略(包括各种重定位方法及其组合)，并设计了相应的约束条件(如图5，最大显著保留(也就是对语义显著性区域进行最大程度的保留)、最小扭曲引入、关联信息保留、不可更改区域等)对生成的结果图进行筛选，还可以辅以人工筛查的方式，筛选出最佳策略。将筛选出的最佳策略作为该原始图像对应的标签，输入到神经网络模型中予以训练，对网络模型中的参数进行优化，得到最终使用的神经网络模型。其中，为使参数有较好的泛化性能，在训练数据集选定和标注时，使用的原始图像种类应该具有较好的代表性和多样性。
在得到神经网络模型后，输入当前原始图像以及由语义显著性分析结果、当前目标设备和原始图像确定出的约束条件，使用神经网络模型得到最优的重定位方式或其组合。其中，得到的重定位方法包括但不限于crop、scale、adapted-crop、Non-Linear scale等的方法及其组合。
步骤105，按照步骤104确定的重定位方式，对原始图像进行重定位处理。
至此，本申请中的重定位方法流程结束。
本申请的图像重定位方法结合文字、人脸等语义分析结果，评价图片的可适配性，然后根据图片的可适配性、可解释的决策条件，在保证重定位效果的基础上，优先选择快速的重定位方法。申请人在由2350张图片构成的数据集上进行了大量的视觉质量实验和研究，结果表明，该方法优于目前最新的图像重定位方法，在保证可快速处理多幅图片的同时，也保证了具备良好的重定位效果。
下面以特定应用场景为例说明上述方法的具体过程。图7为智能设备按指定尺寸向用户展示图片的应用场景，如图7所示，具体过程包括：
步骤1：智能设备从服务提供商获取图片；
步骤2：智能设备启用本发明服务，输入图片，及相应配置信息；
步骤3：图片进行预处理，调整图片大小，颜色等；
步骤4：通过人脸检测、文字检测等方法，获取图片语义信息，输出显著性特征图；
步骤5：匹配目标设备及图片大小，进行可适配性计算；
步骤6-1：若适配性高，则直接调整原图分辨率，输出图片；
步骤6-2：若适配性低，则进行策略求解，获取最佳策略组合方案；
步骤7：执行最佳策略方案，输出图片；
步骤8：设备获取最终图片，展示给用户。
另外，图8给出了利用本申请的方法将节目缩略图在电视上展示的示意图。丰富多彩的多媒体设备拥有着独特的显示尺寸和比例需求，然而多媒体本身的分辨比例是固定的。因此图片投放比例的多样性和图片内容的固定性存在着矛盾。当不同设备向内容提供商请求同一张图片时，需要对图片进行适当的重定位，如图7所示，利用本申请的方法，可以快速有效的进行最佳策略挑选，对图片进行重定位，使得图片本身所蕴含的内容能够准确、有效、全面的显示，提供给用户最佳的观赏体验。
图9给出了利用本申请的方法在圆形手表上进行缩略图展示的示意图。圆形显示区域容易丢失图片的重要内容信息，当使用手表查看图片、显示图标、显示缩略图时，如何有效的、全面的展示图片是很重要的一个问题。如图8所示，使用本申请，可以尽可能的保留显著性区域内容，将失真降到最低，并不影响观赏体验。
上述即为本申请中图像重定位方法的具体实现。本申请还提供了一种图像重定位装置，可以用于实施上述本申请的方法。图10为图像重定位装置的结构示意图。如图10所示，该装置包括：预处理单元、语义显著性分析单元、可适配性计算单元和重定位单元。
其中，预处理单元，用于对原始图像进行预处理，得到中间图像。语义显著性分析单元，用于对中间图像进行语义显著性分析，得到中间图像的显著性特征图。可适配计算单元，用于根据显著性特征图和重定位的目标设备条件进行可适配性计算。重定位单元，用于根据可适配性计算的结果，确定图像的重定位方式，并按照确定的方式对原始图像进行重定位处理。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种图像重定位方法，其特征在于，包括：
对原始图像进行预处理，得到中间图像；
对中间图像进行语义显著性分析，得到所述中间图像的显著性特征图；
根据所述显著性特征图和重定位的目标设备条件进行可适配性计算；
根据可适配性计算的结果，确定图像的重定位方式，并按照确定的方式对所述原始图像进行重定位处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述显著性特征图和重定位的目标设备条件进行可适配性计算包括：
当检测不到所述中间图像的语义显著性时，确定图像为可适配的；和/或，
当所述原始图像与目标图像的比例一致，确定图像为可适配的；和/或，
当预设形变引起的失真度在可接受范围内，确定图像为可适配的。
3.根据权利要求1所述的方法，其特征在于，所述根据可适配性计算的结果，确定图像的重定位方式包括：
若可适配性计算结果为所述原始图像可适配，则确定通过直接调整所述原始图像分辨率的方式进行重定位处理；和/或，
若可适配性计算结果为所述原始图像不可适配，则根据所述语义显著性分析得到的显著性特征图、由所述目标设备条件确定的约束条件和预设的用于选择重定位策略的神经网络模型，选择重定位方式。
4.根据权利要求1、2或3所述的方法，其特征在于，所述语义显著性分析包括：人脸检测、文字检测、人体检测、物体检测和/或关联性检测。
5.根据权利要求1、2或3所述方法，其特征在于，所述可适配性计算包括：宽高比匹配、显著性计算、目标设备分析、视觉关注度计算和/或失真度计算。
6.一种图像重定位装置，其特征在于，包括：预处理单元、语义显著性分析单元、可适配性计算单元和重定位单元；
所述预处理单元，用于对原始图像进行预处理，得到中间图像；
所述语义显著性分析单元，用于对中间图像进行语义显著性分析，得到所述中间图像的显著性特征图；
所述可适配计算单元，用于根据所述显著性特征图和重定位的目标设备条件进行可适配性计算；
所述重定位单元，用于根据可适配性计算的结果，确定图像的重定位方式，并按照确定的方式对所述原始图像进行重定位处理。
7.根据权利要求6所述的装置，其特征在于，所述可适配计算单元根据所述显著性特征图和重定位的目标设备条件进行可适配性计算包括：
当检测不到所述中间图像的语义显著性时，确定图像为可适配的；和/或，
当所述原始图像与目标图像的比例一致，确定图像为可适配的；和/或，
当预设形变引起的失真度在可接受范围内，确定图像为可适配的。
8.根据权利要求6所述的装置，其特征在于，所述重定位单元根据可适配性计算的结果确定图像的重定位方式包括：
若可适配性计算结果为所述原始图像可适配，则确定通过直接调整所述原始图像分辨率的方式进行重定位处理；和/或，
若可适配性计算结果为所述原始图像不可适配，则根据所述语义显著性分析得到的显著性特征图、由所述目标设备条件确定的约束条件和预设的用于选择重定位策略的神经网络模型，选择重定位方式。
9.根据权利要求6、7或8所述的装置，其特征在于，所述语义显著性分析包括：人脸检测、文字检测、人体检测、物体检测和/或关联性检测。
10.根据权利要求6、7或8所述装置，其特征在于，所述可适配性计算包括：宽高比匹配、显著性计算、目标设备分析、视觉关注度计算和/或失真度计算。
CN202011587831.5A 2020-12-29 2020-12-29 一种图像重定位方法和装置 Active CN112669211B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011587831.5A CN112669211B (zh) 2020-12-29 2020-12-29 一种图像重定位方法和装置
PCT/KR2021/006667 WO2022145593A1 (en) 2020-12-29 2021-05-28 Image retargeting method and device
US17/333,900 US11508035B2 (en) 2020-12-29 2021-05-28 Image retargeting method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011587831.5A CN112669211B (zh) 2020-12-29 2020-12-29 一种图像重定位方法和装置

Publications (2)

Publication Number Publication Date
CN112669211A true CN112669211A (zh) 2021-04-16
CN112669211B CN112669211B (zh) 2023-07-04

Family

ID=75411675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011587831.5A Active CN112669211B (zh) 2020-12-29 2020-12-29 一种图像重定位方法和装置

Country Status (3)

Country Link
US (1) US11508035B2 (zh)
CN (1) CN112669211B (zh)
WO (1) WO2022145593A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063258A (zh) * 2010-12-31 2011-05-18 山东大学 一种针对不同尺寸显示终端的图像自适应显示方法
CN104123720A (zh) * 2014-06-24 2014-10-29 小米科技有限责任公司 图像重定位方法、装置及终端
CN108898604A (zh) * 2018-06-28 2018-11-27 上海连尚网络科技有限公司 用于处理图像的方法和设备
CN111223047A (zh) * 2019-11-26 2020-06-02 维沃移动通信有限公司 一种图像显示方法及电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100388840B1 (ko) 2001-02-19 2003-06-25 이디텍 주식회사 디스플레이 처리장치 및 그 제어방법
US20070079236A1 (en) 2005-10-04 2007-04-05 Microsoft Corporation Multi-form design with harmonic composition for dynamically aggregated documents
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
US8374462B2 (en) * 2008-11-14 2013-02-12 Seiko Epson Corporation Content-aware image and video resizing by anchor point sampling and mapping
US8249394B2 (en) * 2009-03-12 2012-08-21 Shmuel Peleg Method and system for shift-map image editing
WO2011004304A1 (en) * 2009-07-06 2011-01-13 Koninklijke Philips Electronics N.V. Retargeting of image with overlay graphic
US8483513B2 (en) * 2010-01-22 2013-07-09 Corel Corporation, Inc. Method of content aware image resizing
FR2958762A1 (fr) 2010-04-12 2011-10-14 Romain Zylik Dispositif permettant la diffusion sur internet de services et/ou de sites web pouvant adapter dynamiquement l'envoi de leurs contenus en fonction de la resolution de l'ecran sur lequel ils sont visualises
US8531535B2 (en) 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
US8494302B2 (en) * 2010-11-11 2013-07-23 Seiko Epson Corporation Importance filtering for image retargeting
JP2012168615A (ja) 2011-02-10 2012-09-06 Nec Corp コンテンツ解析装置、コンテンツ解析方法およびコンテンツ解析プログラム
US8675966B2 (en) * 2011-09-29 2014-03-18 Hewlett-Packard Development Company, L.P. System and method for saliency map generation
US9202258B2 (en) * 2012-06-20 2015-12-01 Disney Enterprises, Inc. Video retargeting using content-dependent scaling vectors
US9330334B2 (en) * 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
FR3016989B1 (fr) * 2014-01-29 2016-01-15 St Microelectronics Grenoble 2 Procede de transformation combinee de l'echelle et du rapport d'aspect d'une image
US10120659B2 (en) 2014-05-30 2018-11-06 Apple Inc. Adaptive user interfaces
US20160275067A1 (en) * 2015-03-20 2016-09-22 Microsoft Technology Licensing, Llc Domain-based generation of communications media content layout
KR20200079697A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063258A (zh) * 2010-12-31 2011-05-18 山东大学 一种针对不同尺寸显示终端的图像自适应显示方法
CN104123720A (zh) * 2014-06-24 2014-10-29 小米科技有限责任公司 图像重定位方法、装置及终端
CN108898604A (zh) * 2018-06-28 2018-11-27 上海连尚网络科技有限公司 用于处理图像的方法和设备
CN111223047A (zh) * 2019-11-26 2020-06-02 维沃移动通信有限公司 一种图像显示方法及电子设备

Also Published As

Publication number Publication date
CN112669211B (zh) 2023-07-04
WO2022145593A1 (en) 2022-07-07
US20220207653A1 (en) 2022-06-30
US11508035B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
CN109525901B (zh) 视频处理方法、装置、电子设备及计算机可读介质
CN109688463B (zh) 一种剪辑视频生成方法、装置、终端设备及存储介质
CN107147939A (zh) 用于调整视频直播封面的方法和装置
US8582952B2 (en) Method and apparatus for identifying video transitions
US9558591B2 (en) Method of providing augmented reality and terminal supporting the same
US10242265B2 (en) Actor/person centric auto thumbnail
US7471827B2 (en) Automatic browsing path generation to present image areas with high attention value as a function of space and time
JP2008271575A (ja) 文書表示方法
JP2009516259A (ja) 動画イメージコード、動画イメージコードを生成または復号する装置及びその方法
JP2004364234A (ja) 放送番組内容メニュー作成装置及び方法
CN111145135B (zh) 一种图像去扰处理方法、装置、设备及存储介质
CN112789650A (zh) 检测半透明图像水印
CN108256523A (zh) 基于移动终端的识别方法、装置及计算机可读存储介质
CN115396738A (zh) 一种视频播放方法、装置、设备及存储介质
CN116152173A (zh) 一种图像篡改检测定位方法及装置
JP2011517226A (ja) デジタルピクチャにおいて対象の鮮明度を高めるシステム及び方法
CN101924847A (zh) 多媒体播放装置及其播放方法
CN112669211B (zh) 一种图像重定位方法和装置
CN110782392B (zh) 图像处理方法、装置、电子设备及存储介质
CN112866801A (zh) 视频封面的确定方法、装置、电子设备及存储介质
CN112000908A (zh) 图片加载方法、装置、系统、电子设备及可读存储介质
CN112488114A (zh) 一种图片合成方法及装置、文字识别系统
CN111083468B (zh) 一种基于图像梯度的短视频质量评价方法及系统
CN113840159A (zh) 视频处理方法、装置、计算机系统及可读存储介质
CN110619362B (zh) 一种基于感知与像差的视频内容比对方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant