CN104123720A - 图像重定位方法、装置及终端 - Google Patents

图像重定位方法、装置及终端 Download PDF

Info

Publication number
CN104123720A
CN104123720A CN201410287125.7A CN201410287125A CN104123720A CN 104123720 A CN104123720 A CN 104123720A CN 201410287125 A CN201410287125 A CN 201410287125A CN 104123720 A CN104123720 A CN 104123720A
Authority
CN
China
Prior art keywords
pixel
conspicuousness
image
offset vector
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410287125.7A
Other languages
English (en)
Other versions
CN104123720B (zh
Inventor
王琳
张涛
陈志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Technology Co Ltd
Xiaomi Inc
Original Assignee
Xiaomi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Inc filed Critical Xiaomi Inc
Priority to CN201410287125.7A priority Critical patent/CN104123720B/zh
Publication of CN104123720A publication Critical patent/CN104123720A/zh
Priority to PCT/CN2014/091752 priority patent/WO2015196715A1/zh
Priority to KR1020157001522A priority patent/KR101641175B1/ko
Priority to BR112015003438A priority patent/BR112015003438A2/pt
Priority to RU2015106257A priority patent/RU2614541C2/ru
Priority to JP2016528349A priority patent/JP6170626B2/ja
Priority to MX2015002442A priority patent/MX358315B/es
Priority to US14/666,311 priority patent/US9665925B2/en
Priority to EP15173621.2A priority patent/EP2975574B1/en
Application granted granted Critical
Publication of CN104123720B publication Critical patent/CN104123720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/04
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种图像重定位方法、装置及终端,属于计算机技术领域。所述方法包括:建立原始图像的显著性模型;根据所述显著性模型计算所述原始图像中各个像素点的显著性值;根据各个像素点的显著性值、所述原始图像的原始分辨率和目标图像的目标分辨率对所述目标图像进行重定位。所述装置,包括:模型建立模块、数值计算模块和图像定位模块。本公开可解决对原始图像的图像内容进行分析来得到重要像素点造成的分析过程过于繁杂、计算量非常大的问题,达到了降低计算量的效果。

Description

图像重定位方法、装置及终端
技术领域
本公开涉及计算机技术领域,特别涉及一种图像重定位方法、装置及终端。
背景技术
图像重定位(image retargeting)技术是一种基于图像内容来对图像中冗余信息进行压缩变形或剪裁的图像处理技术。常见的,可以采用基于线裁剪(seamcarving)算法的图像重定位技术去除图像中的冗余信息。
在采用线裁剪算法进行图像重定位的过程中,终端首先获取原始图像中各个像素点的颜色特征向量,根据该颜色特征向量以及原始图像的图像内容、图像分辨率等参数来确定图像中冗余度较高的像素点组成的像素线;裁剪掉确定出的这些冗余的像素线,得到重定位后的图像。
公开人在实现本公开的过程中,发现相关技术中至少存在以下缺陷:在采用线剪裁算法进行图像重定位时,终端需要对原始图像的图像内容进行分析来得到重要像素点,分析过程过于繁杂,计算量非常大。
发明内容
为解决相关技术中的问题,本公开提供了一种图像重定位方法、装置及终端。
根据本公开实施例的第一方面,提供一种图像重定位方法,包括:
建立原始图像的显著性模型;
根据所述显著性模型计算所述原始图像中各个像素点的显著性值;
根据各个像素点的显著性值、所述原始图像的原始分辨率和目标图像的目标分辨率对所述目标图像进行重定位。
可选的,所述根据各个像素点的显著性值、所述原始图像的原始分辨率和目标图像的目标分辨率对所述目标图像进行重定位,包括:
根据所述原始分辨率和所述目标分辨率计算各个像素点的初始偏移向量;
对于每个像素点,根据所述像素点的显著性值和所述像素点的初始偏移向量计算所述像素点的最终偏移向量;
根据各个最终偏移向量对所述目标图像进行重定位。
可选的,所述根据所述像素点的显著性值和所述像素点的初始偏移向量计算所述像素点的最终偏移向量,包括:
根据所述像素点的显著性值计算所述像素点的形变系数,所述显著性值与所述形变系数呈负相关关系;
将所述形变系数乘以所述初始偏移向量,得到所述最终偏移向量。
可选的,所述形变系数为:
Coeff ( x , y ) = 1 - ( S ( x , y ) - S min ) ( S max - S min ) ,
其中,S(x,y)是坐标为(x,y)的像素点的显著性值,Smin是所有显著性值中的最小显著性值,Smax是所有显著性值中的最大显著性值。
可选的,所述根据所述原始分辨率和所述目标分辨率计算各个像素点的初始偏移向量,包括:
根据所述原始分辨率确定原始图像区域,根据所述原始分辨率和所述目标分辨率确定目标图像区域;
在所述原始图像区域中选取预定个数的第一特征点,在所述目标图像区域中选取所述预定个数的第二特征点,所述第一特征点与所述第二特征点相对应;
计算每个第一特征点和对应的第二特征点之间的参考偏移向量;
对于每个像素点,计算所述像素点与n个第一特征点之间的相对位置,所述像素点位于所述n个第一特征点围成的封闭区域中,n≥3;根据所述相对位置和与所述n个第一特征点对应的n个参考偏移向量计算所述像素点的初始偏移向量。
根据本公开实施例的第二方面,提供一种图像重定位装置,包括:
模型建立模块,被配置为建立原始图像的显著性模型;
数值计算模块,被配置为根据所述模型建立模块建立的所述显著性模型计算所述原始图像中各个像素点的显著性值;
图像定位模块,被配置为根据所述数值计算模块计算出的各个像素点的显著性值、所述原始图像的原始分辨率和目标图像的目标分辨率对所述目标图像进行重定位。
可选的,所述图像定位模块,包括:
第一计算单元,被配置为根据所述原始分辨率和所述目标分辨率计算各个像素点的初始偏移向量;
第二计算单元,被配置为对于每个像素点,根据所述像素点的显著性值和所述第一计算单元计算出的所述像素点的初始偏移向量计算所述像素点的最终偏移向量;
图像定位单元,被配置为根据所述第二计算单元计算出的各个最终偏移向量对所述目标图像进行重定位。
可选的,所述第二计算单元,包括:
第一计算子单元,被配置为根据所述像素点的显著性值计算所述像素点的形变系数,所述显著性值与所述形变系数呈负相关关系;
第二计算子单元,被配置为将所述第一计算子单元计算出的所述形变系数乘以所述初始偏移向量,得到所述最终偏移向量。
可选的,所述形变系数为:
Coeff ( x , y ) = 1 - ( S ( x , y ) - S min ) ( S max - S min ) ,
其中,S(x,y)是坐标为(x,y)的像素点的显著性值,Smin是所有显著性值中的最小显著性值,Smax是所有显著性值中的最大显著性值。
可选的,所述第一计算单元,包括:
区域确定子单元,被配置为根据所述原始分辨率确定原始图像区域,根据所述原始分辨率和所述目标分辨率确定目标图像区域;
特征点选取子单元,被配置为在所述区域确定子单元确定的所述原始图像区域中选取预定个数的第一特征点,在所述区域确定子单元确定的所述目标图像区域中选取所述预定个数的第二特征点,所述第一特征点与所述第二特征点相对应;
第三计算子单元,被配置为计算所述特征点选取子单元选取的每个第一特征点和对应的第二特征点之间的参考偏移向量;
第四计算子单元,被配置为对于每个像素点,计算所述像素点与n个第一特征点之间的相对位置,所述像素点位于所述n个第一特征点围成的封闭区域中,n≥3;根据所述相对位置和所述第三计算子单元计算出的与所述n个第一特征点对应的n个参考偏移向量计算所述像素点的初始偏移向量。
根据本公开实施例的第三方面,提供一种终端,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
建立原始图像的显著性模型;
根据所述显著性模型计算所述原始图像中各个像素点的显著性值;
根据各个像素点的显著性值、所述原始图像的原始分辨率和目标图像的目标分辨率对所述目标图像进行重定位。
本公开的实施例提供的技术方案可以包括以下有益效果:
通过建立原始图像的显著性模型;根据显著性模型计算原始图像中各个像素点的显著性值;根据各个像素点的显著性值、原始图像的原始分辨率和目标图像的目标分辨率对目标图像进行重定位,由于像素点的显著性值越高,该像素点越重要,因此,根据像素点的显著性值对目标图像进行重定位即根据像素点的重要性对目标图像进行重定位,而不需要对原始图像的图像内容进行分析来得到重要像素点,可解决对原始图像的图像内容进行分析来得到重要像素点造成的分析过程过于繁杂、计算量非常大的问题,达到了降低计算量的效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本的实施例,并于说明书一起用于解释本的原理。
图1是根据一示例性实施例示出的一种图像重定位方法的流程图。
图2A是根据另一示例性实施例示出的一种图像重定位方法的流程图。
图2B是根据本示例性实施例示出的一种初始偏移向量计算场景的示意图。
图2C是根据本示例性实施例示出的一种第一特征点的分布示意图。
图3是根据一示例性实施例示出的一种图像重定位装置的框图。
图4是根据一示例性实施例示出的一种图像重定位装置的框图。
图5是根据一示例性实施例示出的一种用于图像重定位的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像重定位方法的流程图,该图像重定位方法应用于终端中,如图1所示,该图像重定位方法包括以下步骤。
在步骤101中,建立原始图像的显著性模型。
显著性模型用于表征像素点的显著性值受到图像中其余不同颜色值的像素点或颜色值相差较大的像素点的影响。
在步骤102中,根据显著性模型计算原始图像中各个像素点的显著性值。
在步骤103中,根据各个像素点的显著性值、原始图像的原始分辨率和目标图像的目标分辨率对目标图像进行重定位。
像素点的显著性值越高,该像素点越重要,因此,终端可以根据原始图像中各个像素点的显著性值确定各个像素点的重要性,根据像素点的重要性将原始图像由原始分辨率重定位为目标分辨率,得到目标图像。
由于终端可以根据像素点的显著性值来分析重要像素点,而不需要对原始图像中的图像内容进行分析来得到重要像素点,简化了对原始图像的重定位过程,大大降低了图像重定位过程中的计算量。
综上所述,本公开提供的图像重定位方法,通过建立原始图像的显著性模型;根据显著性模型计算原始图像中各个像素点的显著性值;根据各个像素点的显著性值、原始图像的原始分辨率和目标图像的目标分辨率对目标图像进行重定位,由于像素点的显著性值越高,该像素点越重要,因此,根据像素点的显著性值对目标图像进行重定位即根据像素点的重要性对目标图像进行重定位,而不需要对原始图像的图像内容进行分析来得到重要像素点,可解决对原始图像的图像内容进行分析来得到重要像素点造成的分析过程过于繁杂、计算量非常大的问题,达到了降低计算量的效果。
图2A是根据另一示例性实施例示出的一种图像重定位方法的流程图,该图像重定位方法应用于终端中,如图2A所示,该图像重定位方法包括如下步骤。
在步骤201中,建立原始图像的显著性模型。
显著性模型用于表征像素点的显著性值受到图像中其余不同颜色值的像素点或颜色值相差较大的像素点的影响。
本实施例提供了两种建立显著性模型的方法,建立流程如下所示:
第一,根据预定过分割算法对原始图像进行过分割,得到至少一个区域,同一个区域中各个像素点的颜色值相同;确定每个区域的颜色值和质心;根据各个区域所对应的颜色值以及各个区域的质心,建立显著性模型。
其中,对图像进行过分割即是将图像分割成不同的区域,每个区域中的像素点在某一个特性上是相同的,比如被过分割后的某一个区域中的各个像素点的颜色值相同,或者被过分割后的某一个区域中的各个像素点的颜色值非常接近。
由于过分割之后的区域中各个像素点具有相同的颜色值,因此可以确定出该区域的颜色值,且针对每个区域,也可以计算出区域所对应的质心。
根据上述方法建立的显著性模型为:
其中,Si1为区域Ri中任一像素点的显著性值,w(Rj)为区域Rj中的像素点的个数,DS(Ri,Rj)用于表征区域Ri和区域Rj之间空间位置差异的度量值,DC(Ri,Rj)用于表征区域Ri和区域Rj之间颜色差异的度量值,N为对图像进行过分割后得到的区域的总个数;
DS(Ri,Rj)为: D S ( R i , R j ) = exp ( - ( Center ( R i ) - Center ( R j ) ) 2 / σ s 2 ) , Center(Ri)为区域Ri的质心,Center(Rj)为区域Rj的质心,当图像中各个像素点的坐标均归一化到[0,1]时,DC(Ri,Rj)可以用区域Ri的平均颜色值和区域Rj的平均颜色值的欧氏距离来表征,区域的平均颜色值即为该区域中各个像素点的颜色值之后除以该区域中像素点的个数。
第二,按照各个像素点的颜色值,对原始图像中各个像素点进行归类,将相同颜色值的像素点归类为同一种颜色类型;根据每种颜色类型的颜色值,建立显著性模型。
在实际应用中,可以设置用于存储像素点的与颜色值对应的存储空间,存储空间的个数通常可以为256*256*256个,依次读取原始图像中的像素点,将该像素点放入与该像素点的颜色值对应的存储空间中,这样每个存储空间中所保存的各个像素点的颜色值均相同。
根据上述方法建立的显著性模型为:
其中,w(Pj)为颜色类型Pj中像素点的个数,DC(Pi,Pj)用于表征颜色类型Pi和颜色类型Pj之间颜色差异的度量值。DC(Pi,Pj)可以用颜色类型Ri的颜色值和颜色类型Rj的颜色值的欧氏距离来表征。
在步骤202中,根据显著性模型计算原始图像中各个像素点的显著性值。
终端可以根据步骤201提供的任意一种方法建立显著性模型,并根据得到的显著性模型计算原始图像中各个像素点的显著性值。
在步骤203中,根据原始分辨率和目标分辨率计算各个像素点的初始偏移向量。
原始分辨率是指原始图像的分辨率,比如,原始分辨率为60*60。目标分辨率是指对原始图像进行图像重定位后得到的目标图像的分辨率,比如,目标分辨率为40*60。初始偏移向量是指将原始图像由原始分辨率等比例缩放到目标分辨率时,像素点在原始图像中的位置和该像素点在目标图像中的位置之间的偏移向量。
其中,根据原始分辨率和目标分辨率计算各个像素点的初始偏移向量,包括:
1)根据原始分辨率确定原始图像区域,根据原始分辨率和目标分辨率确定目标图像区域;
2)在原始图像区域中选取预定个数的第一特征点,在目标图像区域中选取预定个数的第二特征点,第一特征点与第二特征点相对应;
3)计算每个第一特征点和对应的第二特征点之间的参考偏移向量;
4)对于每个像素点,计算像素点与n个第一特征点之间的相对位置,该像素点位于n个第一特征点围成的封闭区域中,n≥3;根据相对位置和与n个第一特征点对应的n个参考偏移向量计算像素点的初始偏移向量。
参考偏移向量是指将原始图像由原始分辨率等比例缩放到目标分辨率时,选取的特征点在原始图像中的位置和该特征点在目标图像中的位置之间的偏移向量。
请参考图2B示出的一种初始偏移向量计算场景的示意图,图2B以原始分辨率为60*60,目标分辨率为40*60为例进行说明,则以像素点为单位建立坐标。坐标中原始图像区域210在x轴的取值范围是0~60,在y轴的取值范围是0~60,目标图像区域220在x轴的取值范围是10~50,在y轴的取值范围是0~60。
假设在原始图像区域中均匀选取10*10个第一特征点,则在原始图像区域选取10行,每行选取10个第一特征点,则选取的第一特征点的坐标可以是A(0,0)、B(0,6)、C(6,12)等。由于需要在目标图像区域中选取与第一特征点对应的第二特征点,则对应于每个第一特征点选取的第二特征点的坐标可以是A’(10,0)、B’(10,4)、C’(14,8)等。
由于第一特征点A与第二特征点A’对应,因此,根据A(0,0)和A’(10,0)可以计算出第一特征点A和第二特征点A’之间的参考偏移向量同理,可以对其它的第一特征点和第二特征点之间的参考偏移向量进行计算。
在得到各个参考偏移向量后,终端可以将原始图像区域中的每n个第一特征点围成封闭区域,以n=3为例,则可以得到图2C所示的第一特征点的分布示意图。图2C中以第一特征点的分布示意图中的一个三角形为例进行说明,则该三角形的三个顶点是三个第一特征点,用白色圆点表示,该三角形内包括的像素点用黑色圆点表示。
终端可以计算每个像素点在包括该像素点的三角形中的相对位置,根据该相对位置和与围成该三角形的3个第一特征点分别对应的3个参考偏移向量计算该像素点的初始偏移向量,得到坐标为(x,y)的像素点的初始偏移向量
在步骤204中,对于每个像素点,根据该像素点的显著性值和该像素点的初始偏移向量计算该像素点的最终偏移向量。
最终偏移向量是指将原始图像由原始分辨率按照显著性值重定位到目标分辨率时,像素点在原始图像中的位置和该像素点在目标图像中的位置之间的偏移向量。
由于像素点的显著性值越大,该像素点越重要,因此,为了避免重要像素点的初始偏移向量较大造成的重要区域变形的问题,终端还需要根据显著性值对像素点的初始偏移向量进行处理,以减小显著性值高的像素点的初始偏移向量,提高图像的重定位效果。
其中,根据像素点的显著性值和像素点的初始偏移向量计算像素点的最终偏移向量,包括:
1)根据像素点的显著性值计算像素点的形变系数,该显著性值与形变系数呈负相关关系;
2)将形变系数乘以初始偏移向量,得到最终偏移向量。
形变系数是指对像素点进行图像变形时所乘以的系数,该形变系数与像素点的显著性值呈负相关关系。即,像素点的显著性值越大,该像素点的形变系数越小;像素点的显著性值越小,该像素点的形变系数越大。
本实施例中,形变系数为: Coeff ( x , y ) = 1 - ( S ( x , y ) - S min ) ( S max - S min ) ,
其中,S(x,y)是坐标为(x,y)的像素点的显著性值,Smin是所有显著性值中的最小显著性值,Smax是所有显著性值中的最大显著性值。
在得到某一个像素点的形变系数和初始偏移向量后,可以将形变系数乘以初始偏移向量,得到该像素点的最终偏移向量。即,像素点的最终偏移向量 ( Δ x ( x , y ) , Δ y ( x , y ) ) ‾ * = Coeff ( x , y ) * ( Δ x ( x , y ) , Δ y ( x , y ) ) ‾ .
在步骤205中,根据各个最终偏移向量对目标图像进行重定位。
终端可以根据最终偏移向量将原始图像由原始分辨率重定位为目标分辨率,得到目标图像。
本实施例中,终端是根据像素点的显著性值来分析重要像素点,从而减小重要像素点的最终偏移向量,而不需要对原始图像中的图像内容进行分析来得到重要像素点,简化了对原始图像的重定位过程,大大降低了图像重定位过程中的计算量。
综上所述,本公开提供的图像重定位方法,通过建立原始图像的显著性模型;根据显著性模型计算原始图像中各个像素点的显著性值;根据各个像素点的显著性值、原始图像的原始分辨率和目标图像的目标分辨率对目标图像进行重定位,由于像素点的显著性值越高,该像素点越重要,因此,根据像素点的显著性值对目标图像进行重定位即根据像素点的重要性对目标图像进行重定位,而不需要对原始图像的图像内容进行分析来得到重要像素点,可解决对原始图像的图像内容进行分析来得到重要像素点造成的分析过程过于繁杂、计算量非常大的问题,达到了降低计算量的效果。
另外,通过根据像素点的显著性值计算像素点的形变系数,该显著性值与形变系数呈负相关关系;将形变系数乘以初始偏移向量,得到最终偏移向量,可以减小显著性值高的像素点的最终偏移向量,即减小重要区域的变形,以提高图像的重定位效果。
图3是根据一示例性实施例示出的一种图像重定位装置的框图,该图像重定位装置应用于终端中,如图3所示,该图像重定位装置包括:模型建立模块310、数值计算模块320和图像定位模块330。
该模型建立模块310,被配置为建立原始图像的显著性模型;
该数值计算模块320,被配置为根据模型建立模块310建立的显著性模型计算原始图像中各个像素点的显著性值;
该图像定位模块330,被配置为根据数值计算模块320计算出的各个像素点的显著性值、原始图像的原始分辨率和目标图像的目标分辨率对目标图像进行重定位。
综上所述,本公开提供的图像重定位装置,通过建立原始图像的显著性模型;根据显著性模型计算原始图像中各个像素点的显著性值;根据各个像素点的显著性值、原始图像的原始分辨率和目标图像的目标分辨率对目标图像进行重定位,由于像素点的显著性值越高,该像素点越重要,因此,根据像素点的显著性值对目标图像进行重定位即根据像素点的重要性对目标图像进行重定位,而不需要对原始图像的图像内容进行分析来得到重要像素点,可解决对原始图像的图像内容进行分析来得到重要像素点造成的分析过程过于繁杂、计算量非常大的问题,达到了降低计算量的效果。
图4是根据一示例性实施例示出的一种图像重定位装置的框图,该图像重定位装置应用于终端中,如图4所示,该图像重定位装置包括:模型建立模块310、数值计算模块320和图像定位模块330。
该模型建立模块310,被配置为建立原始图像的显著性模型;
该数值计算模块320,被配置为根据模型建立模块310建立的显著性模型计算原始图像中各个像素点的显著性值;
该图像定位模块330,被配置为根据数值计算模块320计算出的各个像素点的显著性值、原始图像的原始分辨率和目标图像的目标分辨率对目标图像进行重定位。
可选的,图像定位模块330,包括:第一计算单元331、第二计算单元332和图像定位单元333;
该第一计算单元331,被配置为根据原始分辨率和目标分辨率计算各个像素点的初始偏移向量;
该第二计算单元332,被配置为对于每个像素点,根据像素点的显著性值和第一计算单元331计算出的像素点的初始偏移向量计算像素点的最终偏移向量;
该图像定位单元333,被配置为根据第二计算单元332计算出的各个最终偏移向量对目标图像进行重定位。
可选的,第二计算单元332,包括:第一计算子单元3321和第二计算子单元3322;
该第一计算子单元3321,被配置为根据像素点的显著性值计算像素点的形变系数,显著性值与形变系数呈负相关关系;
该第二计算子单元3322,被配置为将第一计算子单元3321计算出的形变系数乘以初始偏移向量,得到最终偏移向量。
可选的,形变系数为:
Coeff ( x , y ) = 1 - ( S ( x , y ) - S min ) ( S max - S min ) ,
其中,S(x,y)是坐标为(x,y)的像素点的显著性值,Smin是所有显著性值中的最小显著性值,Smax是所有显著性值中的最大显著性值。
可选的,第一计算单元331,包括:区域确定子单元3311、特征点选取子单元3312、第三计算子单元3313和第四计算子单元3314;
该区域确定子单元3311,被配置为根据原始分辨率确定原始图像区域,根据原始分辨率和目标分辨率确定目标图像区域;
该特征点选取子单元3312,被配置为在区域确定子单元3311确定的原始图像区域中选取预定个数的第一特征点,在区域确定子单元3311确定的目标图像区域中选取预定个数的第二特征点,第一特征点与第二特征点相对应;
该第三计算子单元3313,被配置为计算特征点选取子单元3312选取的每个第一特征点和对应的第二特征点之间的参考偏移向量;
该第四计算子单元3314,被配置为对于每个像素点,计算像素点与n个第一特征点之间的相对位置,像素点位于n个第一特征点围成的封闭区域中,n≥3;根据相对位置和第三计算子单元3313计算出的与n个第一特征点对应的n个参考偏移向量计算像素点的初始偏移向量。
综上所述,本公开提供的图像重定位装置,通过建立原始图像的显著性模型;根据显著性模型计算原始图像中各个像素点的显著性值;根据各个像素点的显著性值、原始图像的原始分辨率和目标图像的目标分辨率对目标图像进行重定位,由于像素点的显著性值越高,该像素点越重要,因此,根据像素点的显著性值对目标图像进行重定位即根据像素点的重要性对目标图像进行重定位,而不需要对原始图像的图像内容进行分析来得到重要像素点,可解决对原始图像的图像内容进行分析来得到重要像素点造成的分析过程过于繁杂、计算量非常大的问题,达到了降低计算量的效果。
另外,通过根据像素点的显著性值计算像素点的形变系数,该显著性值与形变系数呈负相关关系;将形变系数乘以初始偏移向量,得到最终偏移向量,可以减小显著性值高的像素点的最终偏移向量,即减小重要区域的变形,以提高图像的重定位效果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开一示例性实施例提供了一种终端,能够实现本公开提供的图像重定位方法,该终端包括:处理器、用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
建立原始图像的显著性模型;
根据所述显著性模型计算所述原始图像中各个像素点的显著性值;
根据各个像素点的显著性值、所述原始图像的原始分辨率和目标图像的目标分辨率对所述目标图像进行重定位。
关于上述实施例中的终端,其中处理器执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种用于图像重定位装置500的框图。例如,装置500可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图5,装置500可以包括以下一个或多个组件:处理组件502,存储器504,电源组件506,多媒体组件508,音频组件510,输入/输出(I/O)的接口512,传感器组件514,以及通信组件516。
处理组件502通常控制装置500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器518来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当装置500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510还包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为装置500提供各个方面的状态评估。例如,传感器组件514可以检测到装置500的打开/关闭状态,组件的相对定位,例如所述组件为装置500的显示器和小键盘,传感器组件514还可以检测装置500或装置500一个组件的位置改变,用户与装置500接触的存在或不存在,装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由装置500的处理器518执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里的公开的后,将容易想到本的其它实施方案。本申请旨在涵盖本的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本的真正范围和精神由下面的权利要求指出。
应当理解的是,本并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本的范围仅由所附的权利要求来限制。

Claims (11)

1.一种图像重定位方法,其特征在于,包括:
建立原始图像的显著性模型;
根据所述显著性模型计算所述原始图像中各个像素点的显著性值;
根据各个像素点的显著性值、所述原始图像的原始分辨率和目标图像的目标分辨率对所述目标图像进行重定位。
2.根据权利要求1所述的方法,其特征在于,所述根据各个像素点的显著性值、所述原始图像的原始分辨率和目标图像的目标分辨率对所述目标图像进行重定位,包括:
根据所述原始分辨率和所述目标分辨率计算各个像素点的初始偏移向量;
对于每个像素点,根据所述像素点的显著性值和所述像素点的初始偏移向量计算所述像素点的最终偏移向量;
根据各个最终偏移向量对所述目标图像进行重定位。
3.根据权利要求2所述的方法,其特征在于,所述根据所述像素点的显著性值和所述像素点的初始偏移向量计算所述像素点的最终偏移向量,包括:
根据所述像素点的显著性值计算所述像素点的形变系数,所述显著性值与所述形变系数呈负相关关系;
将所述形变系数乘以所述初始偏移向量,得到所述最终偏移向量。
4.根据权利要求3所述的方法,其特征在于,所述形变系数为:
Coeff ( x , y ) = 1 - ( S ( x , y ) - S min ) ( S max - S min ) ,
其中,S(x,y)是坐标为(x,y)的像素点的显著性值,Smin是所有显著性值中的最小显著性值,Smax是所有显著性值中的最大显著性值。
5.根据权利要求2至4任一项所述的方法,其特征在于,所述根据所述原始分辨率和所述目标分辨率计算各个像素点的初始偏移向量,包括:
根据所述原始分辨率确定原始图像区域,根据所述原始分辨率和所述目标分辨率确定目标图像区域;
在所述原始图像区域中选取预定个数的第一特征点,在所述目标图像区域中选取所述预定个数的第二特征点,所述第一特征点与所述第二特征点相对应;
计算每个第一特征点和对应的第二特征点之间的参考偏移向量;
对于每个像素点,计算所述像素点与n个第一特征点之间的相对位置,所述像素点位于所述n个第一特征点围成的封闭区域中,n≥3;根据所述相对位置和与所述n个第一特征点对应的n个参考偏移向量计算所述像素点的初始偏移向量。
6.一种图像重定位装置,其特征在于,包括:
模型建立模块,被配置为建立原始图像的显著性模型;
数值计算模块,被配置为根据所述模型建立模块建立的所述显著性模型计算所述原始图像中各个像素点的显著性值;
图像定位模块,被配置为根据所述数值计算模块计算出的各个像素点的显著性值、所述原始图像的原始分辨率和目标图像的目标分辨率对所述目标图像进行重定位。
7.根据权利要求6所述的装置,其特征在于,所述图像定位模块,包括:
第一计算单元,被配置为根据所述原始分辨率和所述目标分辨率计算各个像素点的初始偏移向量;
第二计算单元,被配置为对于每个像素点,根据所述像素点的显著性值和所述第一计算单元计算出的所述像素点的初始偏移向量计算所述像素点的最终偏移向量;
图像定位单元,被配置为根据所述第二计算单元计算出的各个最终偏移向量对所述目标图像进行重定位。
8.根据权利要求7所述的装置,其特征在于,所述第二计算单元,包括:
第一计算子单元,被配置为根据所述像素点的显著性值计算所述像素点的形变系数,所述显著性值与所述形变系数呈负相关关系;
第二计算子单元,被配置为将所述第一计算子单元计算出的所述形变系数乘以所述初始偏移向量,得到所述最终偏移向量。
9.根据权利要求8所述的装置,其特征在于,所述形变系数为:
Coeff ( x , y ) = 1 - ( S ( x , y ) - S min ) ( S max - S min ) ,
其中,S(x,y)是坐标为(x,y)的像素点的显著性值,Smin是所有显著性值中的最小显著性值,Smax是所有显著性值中的最大显著性值。
10.根据权利要求7至9任一项所述的装置,其特征在于,所述第一计算单元,包括:
区域确定子单元,被配置为根据所述原始分辨率确定原始图像区域,根据所述原始分辨率和所述目标分辨率确定目标图像区域;
特征点选取子单元,被配置为在所述区域确定子单元确定的所述原始图像区域中选取预定个数的第一特征点,在所述区域确定子单元确定的所述目标图像区域中选取所述预定个数的第二特征点,所述第一特征点与所述第二特征点相对应;
第三计算子单元,被配置为计算所述特征点选取子单元选取的每个第一特征点和对应的第二特征点之间的参考偏移向量;
第四计算子单元,被配置为对于每个像素点,计算所述像素点与n个第一特征点之间的相对位置,所述像素点位于所述n个第一特征点围成的封闭区域中,n≥3;根据所述相对位置和所述第三计算子单元计算出的与所述n个第一特征点对应的n个参考偏移向量计算所述像素点的初始偏移向量。
11.一种终端,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
建立原始图像的显著性模型;
根据所述显著性模型计算所述原始图像中各个像素点的显著性值;
根据各个像素点的显著性值、所述原始图像的原始分辨率和目标图像的目标分辨率对所述目标图像进行重定位。
CN201410287125.7A 2014-06-24 2014-06-24 图像重定位方法、装置及终端 Active CN104123720B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201410287125.7A CN104123720B (zh) 2014-06-24 2014-06-24 图像重定位方法、装置及终端
RU2015106257A RU2614541C2 (ru) 2014-06-24 2014-11-20 Способ, устройство и терминал для перенастройки изображения
KR1020157001522A KR101641175B1 (ko) 2014-06-24 2014-11-20 이미지 리타겟팅 방법, 장치, 단말기, 프로그램 및 기록매체
BR112015003438A BR112015003438A2 (pt) 2014-06-24 2014-11-20 método e aparelho para redirecionamento de imagem e terminal
PCT/CN2014/091752 WO2015196715A1 (zh) 2014-06-24 2014-11-20 图像重定位方法、装置及终端
JP2016528349A JP6170626B2 (ja) 2014-06-24 2014-11-20 構図変更方法、構図変更装置、端末、プログラム及び記録媒体
MX2015002442A MX358315B (es) 2014-06-24 2014-11-20 Metodo, aparato y terminal para redireccionamiento de imagenes.
US14/666,311 US9665925B2 (en) 2014-06-24 2015-03-24 Method and terminal device for retargeting images
EP15173621.2A EP2975574B1 (en) 2014-06-24 2015-06-24 Method, apparatus and terminal for image retargeting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410287125.7A CN104123720B (zh) 2014-06-24 2014-06-24 图像重定位方法、装置及终端

Publications (2)

Publication Number Publication Date
CN104123720A true CN104123720A (zh) 2014-10-29
CN104123720B CN104123720B (zh) 2017-07-04

Family

ID=51769117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410287125.7A Active CN104123720B (zh) 2014-06-24 2014-06-24 图像重定位方法、装置及终端

Country Status (8)

Country Link
EP (1) EP2975574B1 (zh)
JP (1) JP6170626B2 (zh)
KR (1) KR101641175B1 (zh)
CN (1) CN104123720B (zh)
BR (1) BR112015003438A2 (zh)
MX (1) MX358315B (zh)
RU (1) RU2614541C2 (zh)
WO (1) WO2015196715A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015196715A1 (zh) * 2014-06-24 2015-12-30 小米科技有限责任公司 图像重定位方法、装置及终端
CN105455525A (zh) * 2015-11-20 2016-04-06 宁波大业产品造型艺术设计有限公司 物联网智能花瓶
CN105608469A (zh) * 2015-12-21 2016-05-25 小米科技有限责任公司 图像分辨率的确定方法及装置
US9665925B2 (en) 2014-06-24 2017-05-30 Xiaomi Inc. Method and terminal device for retargeting images
CN111597934A (zh) * 2020-04-30 2020-08-28 重庆科技学院 用于为统计应用处理训练数据的系统和方法
CN111696157A (zh) * 2019-03-12 2020-09-22 北京京东尚科信息技术有限公司 图像重定位的确定方法、系统、设备和存储介质
CN112669211A (zh) * 2020-12-29 2021-04-16 三星电子(中国)研发中心 一种图像重定位方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040170318A1 (en) * 2003-02-28 2004-09-02 Eastman Kodak Company Method for detecting color objects in digital images
CN101053531A (zh) * 2007-05-17 2007-10-17 上海交通大学 基于多模式增敏成像融合的早期肿瘤定位跟踪方法
US20090251594A1 (en) * 2008-04-02 2009-10-08 Microsoft Corporation Video retargeting
CN101520894B (zh) * 2009-02-18 2011-03-30 上海大学 基于区域显著性的显著对象提取方法
CN102473285A (zh) * 2009-07-06 2012-05-23 皇家飞利浦电子股份有限公司 具有重叠图形的图像的重定向
CN102568249A (zh) * 2011-12-20 2012-07-11 中国船舶重工集团公司第七0九研究所 一种基于动态空域容量的飞行流量告警方法及其系统
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法
CN103020985A (zh) * 2012-11-12 2013-04-03 华中科技大学 一种基于场量分析的视频图像显著性检测方法
CN103136766A (zh) * 2012-12-28 2013-06-05 上海交通大学 一种基于颜色对比和颜色分布的物体显著性检测方法
CN103226824A (zh) * 2013-03-18 2013-07-31 上海交通大学 维持视觉显著性的视频重定向系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218895B1 (en) * 2006-09-27 2012-07-10 Wisconsin Alumni Research Foundation Systems and methods for generating and displaying a warped image using fish eye warping
EP2215597B1 (en) * 2007-11-16 2012-06-13 Snell Limited Re-sizing image sequences
US8280191B1 (en) * 2008-07-31 2012-10-02 Abode Systems Incorporated Banded seam carving of images with pyramidal retargeting
JP2010081996A (ja) * 2008-09-29 2010-04-15 Fujifilm Corp サブトラクション画像処理装置及び処理方法
KR100988380B1 (ko) * 2008-12-24 2010-10-18 포항공과대학교 산학협력단 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN101510299B (zh) * 2009-03-04 2011-07-20 上海大学 基于视觉显著性的图像自适应方法
US20110305397A1 (en) * 2010-03-08 2011-12-15 Robinson Piramuthu Systems and methods for retargeting an image utilizing a saliency map
CN101866484B (zh) * 2010-06-08 2012-07-04 华中科技大学 一种图像中像素显著程度的计算方法
US8494302B2 (en) * 2010-11-11 2013-07-23 Seiko Epson Corporation Importance filtering for image retargeting
CN102129693B (zh) * 2011-03-15 2012-07-25 清华大学 基于色彩直方图和全局对比度的图像视觉显著性计算方法
US9202258B2 (en) * 2012-06-20 2015-12-01 Disney Enterprises, Inc. Video retargeting using content-dependent scaling vectors
CN104123720B (zh) * 2014-06-24 2017-07-04 小米科技有限责任公司 图像重定位方法、装置及终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040170318A1 (en) * 2003-02-28 2004-09-02 Eastman Kodak Company Method for detecting color objects in digital images
CN101053531A (zh) * 2007-05-17 2007-10-17 上海交通大学 基于多模式增敏成像融合的早期肿瘤定位跟踪方法
US20090251594A1 (en) * 2008-04-02 2009-10-08 Microsoft Corporation Video retargeting
CN101520894B (zh) * 2009-02-18 2011-03-30 上海大学 基于区域显著性的显著对象提取方法
CN102473285A (zh) * 2009-07-06 2012-05-23 皇家飞利浦电子股份有限公司 具有重叠图形的图像的重定向
CN102568249A (zh) * 2011-12-20 2012-07-11 中国船舶重工集团公司第七0九研究所 一种基于动态空域容量的飞行流量告警方法及其系统
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法
CN103020985A (zh) * 2012-11-12 2013-04-03 华中科技大学 一种基于场量分析的视频图像显著性检测方法
CN103136766A (zh) * 2012-12-28 2013-06-05 上海交通大学 一种基于颜色对比和颜色分布的物体显著性检测方法
CN103226824A (zh) * 2013-03-18 2013-07-31 上海交通大学 维持视觉显著性的视频重定向系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015196715A1 (zh) * 2014-06-24 2015-12-30 小米科技有限责任公司 图像重定位方法、装置及终端
US9665925B2 (en) 2014-06-24 2017-05-30 Xiaomi Inc. Method and terminal device for retargeting images
CN105455525A (zh) * 2015-11-20 2016-04-06 宁波大业产品造型艺术设计有限公司 物联网智能花瓶
CN105608469A (zh) * 2015-12-21 2016-05-25 小米科技有限责任公司 图像分辨率的确定方法及装置
CN111696157A (zh) * 2019-03-12 2020-09-22 北京京东尚科信息技术有限公司 图像重定位的确定方法、系统、设备和存储介质
CN111597934A (zh) * 2020-04-30 2020-08-28 重庆科技学院 用于为统计应用处理训练数据的系统和方法
CN112669211A (zh) * 2020-12-29 2021-04-16 三星电子(中国)研发中心 一种图像重定位方法和装置

Also Published As

Publication number Publication date
RU2614541C2 (ru) 2017-03-28
BR112015003438A2 (pt) 2017-07-04
KR20160010389A (ko) 2016-01-27
MX358315B (es) 2018-08-14
JP6170626B2 (ja) 2017-07-26
KR101641175B1 (ko) 2016-07-20
CN104123720B (zh) 2017-07-04
RU2015106257A (ru) 2016-09-10
MX2015002442A (es) 2016-03-03
EP2975574B1 (en) 2020-03-18
EP2975574A2 (en) 2016-01-20
EP2975574A3 (en) 2016-03-02
WO2015196715A1 (zh) 2015-12-30
JP2016532947A (ja) 2016-10-20

Similar Documents

Publication Publication Date Title
CN104123720A (zh) 图像重定位方法、装置及终端
CN106454336B (zh) 检测终端摄像头被遮挡的方法及装置和终端
CN105809704A (zh) 识别图像清晰度的方法及装置
CN106951884A (zh) 采集指纹的方法、装置及电子设备
CN104918107A (zh) 视频文件的标识处理方法及装置
CN105260732A (zh) 图片处理方法及装置
CN104156915A (zh) 肤色调整方法和装置
CN104156947A (zh) 图像分割方法、装置及设备
CN104850852A (zh) 特征向量计算方法和装置
CN106055145A (zh) 终端的工作模式确定方法及装置
CN103996211A (zh) 图像重定位方法及装置
CN105427233A (zh) 去除水印的方法及装置
CN104899610A (zh) 图片分类方法及装置
CN106021092A (zh) 确定应用程序启动时长的方法及装置
CN105760884A (zh) 图片类型的识别方法及装置
CN105975961A (zh) 人脸识别的方法、装置及终端
CN104238890A (zh) 文字显示方法及装置
CN104077563A (zh) 人脸识别方法和装置
CN105512615A (zh) 图片处理方法及装置
CN104484867A (zh) 图片处理方法及装置
CN105574834A (zh) 图像处理方法及装置
CN107845094A (zh) 图像文字检测方法、装置及计算机可读存储介质
CN107368280A (zh) 语音交互的音量控制方法、装置和语音交互设备
CN105551047A (zh) 图片内容的检测方法和装置
CN106228077B (zh) 处理图像及显示图像的方法、装置及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant