CN109447970A - 基于能量转移和均匀缩放的图像重定向方法 - Google Patents

基于能量转移和均匀缩放的图像重定向方法 Download PDF

Info

Publication number
CN109447970A
CN109447970A CN201811274899.0A CN201811274899A CN109447970A CN 109447970 A CN109447970 A CN 109447970A CN 201811274899 A CN201811274899 A CN 201811274899A CN 109447970 A CN109447970 A CN 109447970A
Authority
CN
China
Prior art keywords
image
seam
color
mentioned
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811274899.0A
Other languages
English (en)
Other versions
CN109447970B (zh
Inventor
于明
李仰中
郭迎春
刘依
于洋
师硕
郝小可
朱叶
阎刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201811274899.0A priority Critical patent/CN109447970B/zh
Publication of CN109447970A publication Critical patent/CN109447970A/zh
Application granted granted Critical
Publication of CN109447970B publication Critical patent/CN109447970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明基于能量转移和均匀缩放的图像重定向方法，涉及整个或部分图形的定标的图像数据处理，步骤是：输入图像进行预处理；<A.对图像进行水平方向缩放>：提取彩色RGB图像Icolor的重要度图，根据累积能量矩阵确定最佳接缝，重要度更新，移除最佳接缝，评价缝裁剪后图像的变形程度；<B.对图像进行垂直方向缩放>：对完成上述“A.对图像进行水平方向缩放”的图像数据进行转置，重复上述第二步到第六步的操作进行并完成对图像进行垂直方向上的缩放；本发明克服了现有技术存在的在图像缩放中原图像主体目标会发生明显变形、图像全局信息丢失以及留有明显的人工处理痕迹以及时间复杂度高的缺陷。

Description

基于能量转移和均匀缩放的图像重定向方法
技术领域
本发明的技术方案涉及整个或部分图形的定标的图像数据处理，具体地说是基于能量转移和均匀缩放的图像重定向方法。
背景技术
随着互联网高速的发展和移动终端设备日益多样化和个性化，人们对数字媒体提出了更高的要求，自适应调整图像处理技术在数字媒体的相关技术领域中，例如，在电视、手机、PDA和数码相机中得到广泛的应用。这些数字媒体设备具有不同的分辨率，而大多数图像都是以某一个固定尺寸和宽高比制作而成的，所以经常需要调整图像大小以在每个显示面板中得到完美的显示。图像的重定向技术也称为图像缩放技术，传统的图像缩放方法包括图像统一缩放方法和图像裁剪方法。图像统一缩放方法因其简单实用性而被广泛使用，但是此方法仅考虑图像的大小而不考虑图像的内容导致图像主体被拉伸变形，图像裁剪方法技术则是从图像边缘开始裁剪部分图像内容，容易导致图像内容的丢失。
针对传统图像缩放方法存在的问题，Avidan等人2007年提出基于图像内容感知的图像缩放技术。与传统缩放不同的是，图像内容感知缩放方法能自动感知图像中的信息，尽量使图像变形发生在不重要的区域，并且保持图像的视觉主体不发生严重的扭曲变形，因而成为图像缩放领域的一个研究热点。目前对于图像内容感知缩放技术主要分为三类：离散型、连续型和多操作型。
离散型图像内容感知缩放技术的方法是以图像缝裁剪方法为基础的，通过自动寻找图像中的水平或垂直方向单调和连通的最低能量接缝，从而去除或增加最低能量接缝来压缩或放大图像。该方法因没有考虑移除接缝后带入图像的新能量，被称为后向能量方法。2008年Rubinstein等人提出前向能量技术，该方法将图像被删除裁剪线后左右两侧像素点相邻后产生的新能量记入变形能量中，改善了图像的整体视觉效果，但是当图像的主体简单而背景复杂时，会导致大量能量接缝穿过主体区域，从而引起图像视觉失真。通常离散型图像内容感知缩放技术的方法对缝图像裁剪方法的改进一般都基于以下两个方面，一是对其重要度的改进，二是对能量接缝移除或者复制方式的改进。
连续型图像内容感知缩放技术的方法主要是以图像变形方法为主的，通过划分图像网格，并计算其重要性，尽量让图像变形发生在图像非重要区域，从而达到保护图像重要内容的目的。Wang等人提出了OSS(Optimized Scale-and-Stretch)图像变形方法，通过计算梯度图和显著性图来划分图像网格，然后通过优化包含网格变形能量和网格线的弯曲能量的目标函数来得到目标网格，最后利用纹理映射技术得到结果图像。但是，该方法根据图像内容的重要度来确定缩放策略，会使得非重要区域的过度扭曲改变图像的语义信息，并且时间效率低也是连续型图像内容感知缩放技术的方法的明显缺陷。
多操作型图像内容感知缩放技术的方法是结合图像缝裁剪、图像传统插值缩放和图像直接裁剪这三种操作方法的前两种或者三种来实现内容感知图像缩放，该类方法的实质是权衡图像结构信息破坏、图像主体对象变形、产生人工噪音和图像内容丢失对图像整体效果的影响程度，然后折中选择，确定各个操作方法的顺序和数量，从而完成图像缩放。该方法比单独使用其中一种方法效果好，但是其存在时间花费也较多，并且如何决定最佳的操作顺序和顺序量也是需要解决的缺陷。
CN103208095A公开了一种基于条带和相邻度的快速细缝裁剪方法，该方法把图像划分若干个等间隔条带，存在没有考虑图像主体目标跨越多个条带而引起图像细缝裁剪后的视觉失真以及缩放尺寸过大对原图像主体目标明显变形的缺陷。CN103955887A公开了基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法，该方法先采取基于条带和相邻度的快速细缝裁剪方法，同时采用一种快速质量评价方法监测重要信息，该方法存在提出的客观评价标准并不能很有效地检测出图像重要物体变形的缺陷。CN104835114A公开了一种图像自适应方法，该方法采用了一种融合局部和全局显著性的显著图代替传统的梯度图作为重要度图，其存在着对背景区域大量裁剪而导致图像全局信息丢失的缺陷。CN107330885A公开了一种保持重要内容区域宽高比的多算子图像重定向方法，该方法分别对视觉显著对象和背景区域做不同程度的拉伸，然后对拉伸后的图像做相似性变换，最后根据目标尺寸利用添加梯度矢量流的线剪裁方法进行微调，该方法存在拉伸后留有明显的人工处理痕迹以及时间复杂度高的缺陷。
发明内容
本发明所要解决的技术问题是：提供基于能量转移和均匀缩放的图像重定向方法，是通过先利用能量转移原则进行缝裁剪，然后根据质量评价标准检测图像重要信息的变形程度，质量评价相似性分数小于形变阈值则由缝裁剪切换到均匀缩放，克服了现有技术存在的在图像缩放中原图像主体目标会发生明显变形、图像全局信息丢失以及留有明显的人工处理痕迹以及时间复杂度高的缺陷。
本发明解决该技术问题所采用的技术方案是：基于能量转移和均匀缩放的图像重定向方法，具体步骤如下：
第一步，输入图像进行预处理：
通过USB接口输入彩色RGB图像Icolor，将其由RGB空间转换到灰度空间得到灰度图像Igray，采用的公式(1)如下：
Igray＝0.299IR+0.587IG+0.114IB (1)，
公式(1)中，IR、IG、IB分别是所输入的彩色RGB图像Icolor的红色、绿色和蓝色通道，同时保留原始所输入的彩色RGB图像Icolor的三个分量，所述输入的彩色RGB图像Icolor的大小为M×N像素，M表示图像的高度，N表示图像的宽度，由此完成输入图像进行预处理；
以下步骤是，A.对图像进行水平方向缩放：
第二步，提取彩色RGB图像Icolor的重要度图：
第2.1步，检测彩色RGB图像Icolor中的显著性目标，得到显著度图：
对上述第一步的原始所输入的彩色RGB图像Icolor通过视觉显著度模型中的RBD模型计算显著度图，并将该显著度图输出，即为彩色RGB图像Icolor的显著度图Isal；
第2.2步，提取灰度图像Igray的梯度图：
分别在水平x方向和垂直y方向上对上述第一步中得到的灰度图像Igray求偏导，并取其绝对值得到两个方向上的梯度，然后将两个方向上的梯度相加提取得到灰度图像Igray的梯度图Igrad，采用的公式(2)如下：
公式(2)中，| |表示取绝对值；和分别表示在水平x方向和垂直y方向上求偏导；
第2.3步，利用人脸检测模型检测彩色RGB图像Icolor的人脸位置，得到人脸图：
对上述第一步中的彩色RGB图像Icolor利用人脸检测模型AdaBoost检测彩色RGB图像Icolor的人脸位置并进行标记，并且将该标记了人脸位置的人脸图输出为上述彩色RGB图像Icolor的人脸图Iface；
第2.4步，获得彩色RGB图像Icolor的重要度图：
将上述第2.1步中得到的显著度图Isal、第2.2步中得到的梯度图Igrad与第2.3步中得到的人脸图Iface融合，得到彩色RGB图像Icolor的重要度图EI，采用的公式(3)如下：
EI(i,j)＝Igrad(i,j)+Isal(i,j)+Iface(i,j) (3)，
公式(3)中，1≤i≤M,1≤j≤N，M表示图像的高度，N表示图像的宽度，单位均为像素，由此完成提取彩色RGB图像Icolor的重要度图EI；
第三步，根据累积能量矩阵确定最佳接缝：
将上述第二步得到的重要度图EI作为能量图计算累积能量矩阵，从累积能量矩阵中选出最佳接缝，具体操作如下：
第3.1步，计算累积能量矩阵：
对上述第一步中的彩色RGB图像Icolor中的所有像素计算相应位置的累积能量值，设彩色RGB图像Icolor第一行对应位置的累积能量值为上述第2.4步中得到的重要度图EI的第一行各像素重要度值，彩色RGB图像Icolor第二行对应位置的累积能量到第M行对应位置的累积能量即累积能量矩阵Acc则由以下公式(4)计算得出：
公式(4)中，Acc(i,j)为像素点(i,j)位置的累积能量值，EI(i,j)为像素点(i,j)位置的重要度值，min为求最小值函数；
第3.2步，计算最佳接缝：
从上述第3.1步计算得到的累积能量矩阵Acc的第M行中寻找累积能量值最小的元素所在的列号jM，由以下公式(5)计算得出：
jM＝argmin(Acc(M,j))(1≤j≤N) (5)，
公式(5)中，1≤jM≤N，argmin为求最小值函数，Acc(M,j)为像素点(M,j)位置的累积能量值，根据公式(5)得到的jM，比较累积能量矩阵第M-1行第jM列左右三邻域列像素的累积能量值，找到其中的最小值，当jM位于左右边界时，只计算jM与相邻一列像素的累积能量值，计算公式(6)如下:
遍历上述第一步中的彩色RGB图像Icolor，从下至上从第M-2行到第1行重复上述查询jM-1的方法，计算得到第1行到第M-2行每行能量最小的累积能量值，结合jM-1和jM得到最小累积能量集合[(1,j1),(2,j2),L,(M,jM)]，由此计算得到最佳接缝，记为最佳接缝path，由此完成根据累积能量矩阵确定最佳接缝；
第四步，重要度更新：
对上述第三步得到的最佳接缝path，根据能量更新原则，将重要度转移到相邻接缝，具体操作如下：
第4.1步，计算最佳接缝重要度和：
根据上述第三步得到的最佳接缝path计算出该条最佳接缝的重要度和，由以下公式(7)计算得出，
公式(7)中，sum为求和，EI为上述第二步得到的重要度矩阵，1≤ji≤N；
第4.2步，计算最佳接缝左邻域能量和：
计算该条最佳接缝path位置像素点左移动一个位置的像素点得到的接缝的重要度总和，由以下公式(8)计算得出，
公式(8)中，当该条最佳接缝path穿过图像的最左边界，即ji＝1时，定义此时的EI(i,ji-1)＝0，其他情况下EI(i,ji-1)值为最佳接缝path位置像素点左移动一个位置的像素点重要度值，按此原则相加得到的和作为该条最佳接缝path左邻域总能量sum_path_left；
第4.3步，计算最佳接缝左邻域能量变化比：
计算左邻域能量变化比，由以下公式(9)计算得出，
left_ratio＝sum_path_EI/sum_path_left (9)，
公式(9)中，sum_path_EI为上述第4.1步得到的重要度和，sum_path_left为上述第4.2步得到的左邻域能量和；
第4.4步，最佳接缝的左邻域能量转移：
利用上述第4.3步计算得到的左邻域能量变化比进行能量转移，由以下公式(10)计算，
E'I(i,ji-1)＝EI(i,ji)+left_ratio×EI(i,ji-1)(1≤i≤M) (10)，
公式(10)中，E'I为更新后的重要度图，EI为上述第二步得到的重要度图，ji为上述第三步得到的最佳接缝path的列号，left_ratio为上述第4.3步得到的左邻域能量比，对于最佳接缝path上的每一行的重要度值都按照left_ratio的比率转移到相邻左边像素位置，使相邻左边像素具有比之前更高的重要度值，由此实现最佳接缝左邻域能量转移；
第4.5步，最佳接缝的右邻域能量转移：
最佳接缝path右邻域能量转移也是利用上述第4.2步到第4.4步同样的转移方式，先计算最佳接缝path右邻域能量总和sum_path_right，由以下公式(11)计算，
公式(11)中，当该条最佳接缝path穿过图像的最右边界，即ji＝N时，定义此时的EI(i,ji+1)＝0，其他情况下EI(i,ji+1)值为最佳接缝path位置像素点右移动一个位置的像素点重要度值，按此原则相加得到的和作为该条最佳接缝path右邻域总能量sum_path_right；
接着计算最佳接缝path右邻域能量变化比right_ratio，由以下公式(12)计算，
right_ratio＝sum_path_EI/sum_path_right (12)，
然后用公式(13)进行最佳接缝path右邻域的能量转移计算，
EI'(i,ji+1)＝EI(i,ji)+right_ratio×EI(i,ji+1)(1≤i≤M) (13)，
公式(13)中，M表示图像的高度，由此实现最佳接缝右邻域能量转移；
能量同时转移到最佳接缝path的左边邻域像素位置和右边邻域像素位置之后，得到新的重要度图，作为能量更新之后新的重要度图E'I，由此完成重要度更新；
第五步，移除最佳接缝：
根据上述第三步确定最佳接缝后得到最佳接缝path位置，在上述第一步中的彩色RGB图像Icolor和上述第四步能量更新之后的重要度图E'I中进行移除最佳接缝path的操作，具体操作如下：
第5.1步，在能量更新之后新的重要度图中移除最佳接缝：
在上述第4.5步得到的能量更新之后新的重要度图E'I中移除上述第三步得到的最佳接缝path，得到的结果作为新的重要度图来确定下一条最佳接缝；
第5.2步，在彩色RGB图像Icolor中移除最佳接缝：
在上述第一步输入的彩色RGB图像Icolor中移除第三步得到的最佳接缝path，移除最佳接缝path之后的图像记为缝裁剪后图像Itemp，由此完成移除最佳接缝；
第六步，评价缝裁剪后图像的变形程度：
将上述第5.2步的移除最佳接缝path之后的缝裁剪后图像Itemp和上述第一步中的彩色RGB图像Icolor分别进行分块，统计这两个图像各子块的纵横比变化来衡量图像的形变，设定形变阈值T，确定缝裁剪后图像主体区域是否发生严重形变，并确定发生形变时的移除接缝数目l，停止缝裁剪方法，接缝数目l是由质量评价相似性分数与形变阈值的关系来确定的，具体操作如下：
第6.1步，对彩色RGB图像Icolor进行分块：
将上述第一步中得到的彩色RGB图像Icolor分为大小为d×d像素的子块，d＝16，彩色RGB图像Icolor被分成的块数为b，由以下公式(14)计算，
b＝m1×n1,m1＝floor(M/d),n1＝floor(N/d) (14)，
公式(14)中，M表示图像的高度，N表示图像的宽度，单位均为像素，floor是取整函数；
第6.2步，对彩色RGB图像Icolor的重要度图进行分块：
将上述第二步得到的彩色RGB图像Icolor的重要度图EI分为大小为d×d像素的子块，把每个子块的所有像素重要度值相加并除以整个重要图的重要度值总和eI_sum作为这个子块的重要度值占比，记作BLK_IMP，重要度值总和eI_sum用公式(15)计算，子块的重要度值占比BLK_IMP用公式(16)计算，
上述公式(15)和公式(16)中，EI为上述第二步得到的重要度图，M表示图像的高度，N表示图像的宽度，单位均为像素，m1、n1分别表示彩色RGB图像Icolor的在高度和宽度方向上的分块数目；
第6.3步，求取缝裁剪后图像Itemp的分块高度与宽度：
首先，定义全部接缝位置矩阵ALLPATH，把上述第三步得到的最佳接缝path的全部接缝位置记录到大小为H×W个元素的全部接缝位置矩阵ALLPATH中，该矩阵存储全部接缝位置，且标记接缝所在的元素值为-1，矩阵其余元素值为0，其中，H＝M，
W＝N，M表示图像的高度，N表示图像的宽度，单位均为像素；
其次，定义列号矩阵YYORG，其大小为H×W，H＝M，W＝N，M表示图像的高度，N表示图像的宽度，单位均为像素，矩阵中各元素值为所在的列号，根据全部接缝位置矩阵ALLPATH来更新YYORG矩阵，对于矩阵YYORG里的每一个元素，当对应位置的全部接缝位置矩阵ALLPATH元素值为-1时，更新初始化矩阵YYORG对应位置元素值为0，计算公式如(17)所示，
公式(17)中，H、W分别表示矩阵YYORG的长度和宽度，单位均为像素，
对YYORG矩阵进行分块，均匀分为b个块，b＝m1×n1；
最后，计算缝裁剪后图像Itemp的子块高度矩阵BLK_H和宽度矩阵BLK_W，矩阵BLK_H和BLK_W分别记录移除最佳接缝path之后的图像Itemp的各子块的高度和宽度，矩阵BLK_W和矩阵BLK_H的大小均为m1×n1，缝裁剪后图像Itemp与上述第一步输入的彩色RGB图像Icolor相比，缝裁剪移除的只有垂直接缝，所以上述第6.1步中彩色RGB图像Icolor的各子块经缝裁剪后变化的只是块的宽度，而块的高度不变，因此矩阵BLK_H中各元素的值均为d，矩阵BLK_W中各元素的值是矩阵YYORG中各子块非零数个数与d的比值；
第6.4步，定义相似性分数：
缝裁剪后图像Itemp的各子块宽度的变化率矩阵为W_RATIO，高度的变化率矩阵为H_RATIO，利用公式(18)计算，
W_RATIO(u,v)＝BLK_W(u,v)/d,H_RATIO(u,v)＝BLK_H(u,v)/d
(1≤u≤m1,1≤v≤n1) (18)，
公式(18)中，BLK_W表示上述第6.3步得到的缝裁剪后图像Itemp所有子块的宽度矩阵，BLK_H表示上述第6.3步得到的缝裁剪后图像Itemp所有子块的高度矩阵，d表示的是上述第6.1步中的彩色RGB图像Icolor分为大小为d×d像素的子块中的d＝16，m1、n1分别表示缝裁剪后图像Itemp在高度和宽度方向上的分块数目；
缝裁剪后图像Itemp的子块的绝对变化率矩阵为M_RATIO，计算公式(19)如下，
M_RATIO(u,v)＝(W_RATIO(u,v)+H_RATIO(u,v))/2 (19)，
公式(19)中，(1≤u≤m1,1≤v≤n1)，W_RATIO，H_RATIO分别为缝裁剪后图像Itemp的子块宽度的变化率矩阵和高度的变化率矩阵；
通过缝裁剪后图像Itemp的子块的形变量来确定相似性分数，每个缝裁剪后图像Itemp的子块的子块相似性分数利用公式(20)计算得出，
公式(20)中，(1≤u≤m1,1≤v≤n1)，W_RATIO为缝裁剪后图像Itemp的子块宽度的变化率矩阵、H_RATIO为缝裁剪后图像Itemp的子块高度的变化率矩阵，β和α是常数，当子块相似性分数S(u,v)接近1时，说明该小块内容相对于原图得到了很好的保留，而子块相似性分数S(u,v)越接近0时，说明子块存在严重的变形；
第6.5步，图像质量客观评价标准：
结合上述第6.4步得到的子块相似性分数S(u,v)和上述第6.2步中的子块的重要度值占比BLK_IMP，制定图像质量客观评价标准，最终的质量评价相似性分数s由公式(21)定义，
m1、n1分别表示彩色RGB图像Icolor在高度和宽度方向上的分块数目；
第6.6步，利用停止准则判断是否需要切换到均匀缩放：
当彩色RGB图像Icolor在水平方向上的缩放比为ratio，则需要移除的最终所有的接缝数目为c，计算公式(22)如下，
c＝N×(1-ratio) (22)，
公式(22)中，N为图像的宽度；
将上述第5.2步的移除最佳接缝path之后的缝裁剪后图像Itemp与上述第一步输入的彩色RGB图像Icolor进行相似性比较，每移除一条接缝，计算缝裁剪后图像Itemp和彩色RGB图像Icolor的质量评价相似性分数s，并且与形变阈值T进行比较；
停止准则的利用是，当质量评价相似性分数s小于形变阈值T时则停止缝裁剪，具体操作是：
当移除一条接缝时得到的缝裁剪后图像Itemp与彩色RGB图像Icolor比较得到的质量评价相似性分数s大于形变阈值T，说明移除当前接缝后得到的缝裁剪后图像Itemp没有发生明显的变形，则继续顺序执行上述的第三步、第四步、第五步和第六步；
当移除l条接缝时得到的缝裁剪后图像Itemp与彩色RGB图像Icolor比较得到的质量评价相似性分数s小于形变阈值T且1＜l＜c，线裁剪图像Itemp出现严重形变，则切换到均匀缩放，使用双线性插值方法进行均匀缩放，最后得到所需目标尺寸的目标图像；
当全部移除c条接缝之后的缝裁剪后图像Itemp与彩色RGB图像Icolor比较得到的质量评价相似性分数s仍大于形变阈值T，说明缝裁剪后图像Itemp没有发生明显的变形，则移除c条接缝之后的缝裁剪后图像Itemp就是所需目标尺寸的目标图像；
至此完成“A.对图像进行水平方向缩放”；
以下步骤是，B.对图像进行垂直方向缩放：
对完成上述“A.对图像进行水平方向缩放”的图像数据进行转置，重复上述第二步到第六步的操作，进行并完成对图像进行垂直方向上的缩放；
至此，完成基于能量转移和均匀缩放的图像重定向，对图像分别在水平方向和垂直方向上进行了缩放。
上述基于能量转移和均匀缩放的图像重定向方法，所述M表示图像的高度，N表示图像的宽度，其中，M＝300像素，N＝400像素。
上述基于能量转移和均匀缩放的图像重定向方法，所述第六步中的设定形变阈值T＝0.98。
上述基于能量转移和均匀缩放的图像重定向方法，所述第6.3步中的对YYORG矩阵进行分块，均匀分为b个块，b＝m1×n1，m1＝37，n1＝50。
上述基于能量转移和均匀缩放的图像重定向方法，所述第6.4步中的常数β设定为10-6，常数α设定为0.3。
上述基于能量转移和均匀缩放的图像重定向方法，所述第6.6步中的缩放比ratio设定为0.6。
上述基于能量转移和均匀缩放的图像重定向方法，所述各个步骤中的d就是代表一个数值，d＝16。
上述基于能量转移和均匀缩放的图像重定向方法，其中视觉显著度模型的英文缩写为RBD，全称为Saliency optimization from robust background detection，是本技术领域公知的算法，双线性插值方法及其他操作方法均是本领域技术人员所知悉并能够掌握的。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法与CN103208095A相比，本发明方法所具有的优点是主体目标不会发生明显的变形且在大尺度缩放后不会产生明显的扭曲与形变。
(2)本发明方法与CN103955887A相比，本发明方法所提出的客观评价相似性分数可以检测出图像重要区域的形变，以及在发生明显视觉失真之前转到均匀缩放方法。
(3)本发明方法与CN104835114A相比，本发明方法利用能量转移原则对部分背景区域给与较高的重要度值，对图像全局信息保护较好。
(4)本发明方法与CN107330885A相比，本发明方法的时间复杂度较低，并且没有明显的人工处理痕迹。
(5)本发明结合梯度图，显著性图和人脸图来构造重要度图，又通过能量转移原则保护部分背景区域，使得接缝不会大量密集穿过同一个区域，全局视觉效果最好。
(6)本发明提出的评价缝裁剪变形的客观指标，能够计算输入的彩色RGB图像中的各个子块纵横比变化以及子块重要度得出相似性分数，并设置一定的阈值在主体变形之前及时终止缝裁剪方法，转到均匀缩放得到目标图片，本方法得到的重定向图像没有明显的主体变形，并且全局视觉保护特别好，在图像重定向方面具有一定的应用价值和意义。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的流程示意框图。
图2(a)是MSRA图像数据集中的原始图像。
图2(b)是RetargetMe图像数据集中的原始图像。
图3是本发明的重要度图模型。
图4是本发明的能量转移示意图。
图5是本发明方法对这两张图片的实验结果。
图6是本发明方法实验结果与其他重定向方法结果的比较。
具体实施方式
图1所示实例表明，本发明基于能量转移和均匀缩放的图像重定向方法的流程如下：
输入图像进行预处理→<A.对图像进行水平方向缩放>→提取彩色RGB图像Icolor的重要度图→根据累积能量矩阵确定最佳接缝→重要度更新→移除最佳接缝→评价缝裁剪后图像的变形程度→<B.对图像进行垂直方向缩放>→对完成上述“A.对图像进行水平方向缩放”的图像数据进行转置，重复上述第二步到第六步的操作进行并完成对图像进行垂直方向上的缩放。
图2(a)所示实施例显示了MSRA图像数据集中的一幅原始图像，该图像作为本发明方法需要进行缩放处理的图像。
图2(b)所示实施例显示了RetargetMe图像数据集中的一幅原始图像，该图像作为本发明方法需要进行缩放处理的图像。
图3所示实施例显示了本发明的重要度图模型，图3(a)中，①图是输入的MSRA图像数据集中的原始图像，②图是该原始图像的梯度图，③图是该原始图像的显著性图，
④图是该原始图像的重要度图，图3(b)中，①图是输入的RetargetMe图像数据集中的原始图像，②图是该原始图像的梯度图，③图是该原始图像的显著性图，④图是该原始图像的人脸图，⑤图是该原始图像的重要度图，该重要度图既能保护图像中的结构信息，又能保护图像中的主体对象。
图4是本发明的能量转移示意图，图4(a)中黑色斜线线条列1、2、3、4、5代表的是接缝位置，图4(b)表示往接缝邻域位置转移能量后移除该接缝的这一过程，其中，对图4(a)中的黑色斜线线条代表的最佳接缝左邻域和右邻域分别按照邻域能量变化比转移能量，如图4(b)所示，进行能量更新之后得到新的重要度图,在新的重要度图中移除最佳接缝。
图5是本发明对图片进行缩放处理后的效果示意图，水平方向的缩放比例为0.6，图5(a)是对MSRA图像数据集的原始图像缩放处理后的效果示意图,图5(b)是对RetargetMe图像数据集的原始图像缩放处理后的效果示意图。
图6是本发明方法实验结果与其他重定向方法结果的比较，图6(a)是本发明方法对MSRA图像数据集的原始图像实验结果与其他重定向方法结果的比较，图6(a)中的①图是Shai Avidan等人的Seam Carving for Content-Aware Image Resizing方法的结果图像，②图是Hou的基于概率随机裁剪的图像缩放方法的结果图像，③图是Liang的基于图像分块和优化累积能量图的线裁剪方法的结果图像，④图是Wang等人的Optimized Scale-and-Stretch for Image Resizing方法的结果图像，⑤图是本发明方法的结果图像，图6(b)是本发明方法对RetargetMe图像数据集的原始图像实验结果与其他重定向方法结果的比较，图6(b)中的①图是Shai Avidan等人的Seam Carving for Content-Aware ImageResizing方法的结果图像，②图是Hou的基于概率随机裁剪的图像缩放方法的结果图像，③图是Liang的基于图像分块和优化累积能量图的线裁剪方法的结果图像，④图是Wang等人的Optimized Scale-and-Stretch for Image Resizing方法的结果图像，⑤图是本发明方法的结果图像。
实施例1
第一步，输入图像进行预处理：
通过USB接口输入彩色RGB图像Icolor，将其由RGB空间转换到灰度空间得到灰度图像Igray，采用的公式(1)如下：
Igray＝0.299IR+0.587IG+0.114IB (1)，
公式(1)中，IR、IG、IB分别是所输入的彩色RGB图像Icolor的红色、绿色和蓝色通道，同时保留原始所输入的彩色RGB图像Icolor的三个分量，所述输入的彩色RGB图像Icolor的大小为M×N像素，M表示图像的高度，N表示图像的宽度，由此完成输入图像进行预处理，本实施例中M＝300像素，N＝400像素；
以下步骤是，A.对图像进行水平方向缩放：
第二步，提取彩色RGB图像Icolor的重要度图：
第2.1步，检测彩色RGB图像Icolor中的显著性目标，得到显著度图：
对上述第一步的原始所输入的彩色RGB图像Icolor通过视觉显著度模型中的RBD模型计算显著度图，并将该显著度图输出，即为彩色RGB图像Icolor的显著度图Isal；
第2.2步，提取灰度图像Igray的梯度图：
分别在水平x方向和垂直y方向上对上述第一步中得到的灰度图像Igray求偏导，并取其绝对值得到两个方向上的梯度，然后将两个方向上的梯度相加提取得到灰度图像Igray的梯度图Igrad，采用的公式(2)如下：
公式(2)中，| |表示取绝对值；和分别表示在水平x方向和垂直y方向上求偏导；
第2.3步，利用人脸检测模型检测彩色RGB图像Icolor的人脸位置，得到人脸图：
对上述第一步中的彩色RGB图像Icolor利用人脸检测模型AdaBoost检测彩色RGB图像Icolor的人脸位置并进行标记，并且将该标记了人脸位置的人脸图输出为上述彩色RGB图像Icolor的人脸图Iface；
第2.4步，获得彩色RGB图像Icolor的重要度图：
将上述第2.1步中得到的显著度图Isal、第2.2步中得到的梯度图Igrad与第2.3步中得到的人脸图Iface融合，得到彩色RGB图像Icolor的重要度图EI，采用的公式(3)如下：
EI(i,j)＝Igrad(i,j)+Isal(i,j)+Iface(i,j) (3)，
公式(3)中，1≤i≤M,1≤j≤N，M表示图像的高度，N表示图像的宽度，单位均为像素，由此完成提取彩色RGB图像Icolor的重要度图EI，本实施例中，
1≤i≤300,1≤j≤400；
第三步，根据累积能量矩阵确定最佳接缝：
将上述第二步得到的重要度图EI作为能量图计算累积能量矩阵，从累积能量矩阵中选出最佳接缝，具体操作如下：
第3.1步，计算累积能量矩阵：
对上述第一步中的彩色RGB图像Icolor中的所有像素计算相应位置的累积能量值，设彩色RGB图像Icolor第一行对应位置的累积能量值为上述第2.4步中得到的重要度图EI的第一行各像素重要度值，彩色RGB图像Icolor第二行对应位置的累积能量到第M行对应位置的累积能量即累积能量矩阵Acc则由以下公式(4)计算得出：
公式(4)中，Acc(i,j)为像素点(i,j)位置的累积能量值，EI(i,j)为像素点(i,j)位置的重要度值，min为求最小值函数，本实施例的公式(4)中，N＝400；
第3.2步，计算最佳接缝：
从上述第3.1步计算得到的累积能量矩阵Acc的第M行中寻找累积能量值最小的元素所在的列号j300，由以下公式(5)计算得出：
j300＝argmin(Acc(M,j))(1≤j≤400) (5)，
公式(5)中，argmin为求最小值函数，Acc(300,j300)为像素点(300，j300)位置的累积能量值，根据公式(5)得到j300，比较累积能量矩阵第299行第j300-1、j300、j300+1左右三邻域列像素的累积能量值，找到其中的最小值，当jM位于左右边界时，只计算jM与相邻一列像素的累积能量值，计算公式(6)如下：
遍历上述第一步中的彩色RGB图像Icolor，从下至上从第298行到第1行重复上述查询j299的方法，计算得到第1行到第298行每行能量最小的累积能量值，结合j299和j300得到最小累积能量集合[(1,j1),(2,j2),L,(300,j300)]，由此计算得到最佳接缝，记为最佳接缝path，由此完成根据累积能量矩阵确定最佳接缝；
第四步，重要度更新：
对上述第三步得到的最佳接缝path，根据能量更新原则，将重要度转移到相邻接缝，具体操作如下：
第4.1步，计算最佳接缝重要度和：
根据上述第三步得到的最佳接缝path计算出该条最佳接缝的重要度和，由以下公式(7)计算得出，
公式(7)中，sum为求和，EI为上述第二步得到的重要度矩阵，1≤ji≤N；
第4.2步，计算最佳接缝左邻域能量和：
计算该条最佳接缝path位置像素点左移动一个位置的像素点得到的接缝的重要度总和，由以下公式(8)计算得出，
公式(8)中，当该条最佳接缝path穿过图像的最左边界，即ji＝1时，定义此时的EI(i,ji-1)＝0，其他情况下EI(i,ji-1)值为最佳接缝path位置像素点左移动一个位置的像素点重要度值，按此原则相加得到的和作为该条最佳接缝path左邻域总能量sum_path_left；
第4.3步，计算最佳接缝左邻域能量变化比：
计算左邻域能量变化比，由以下公式(9)计算得出，
left_ratio＝sum_path_EI/sum_path_left (9)，
公式(9)中，sum_path_EI为上述第4.1步得到的重要度和，sum_path_left为上述第4.2步得到的左邻域能量和；
第4.4步，最佳接缝的左邻域能量转移：
利用上述第4.3步计算得到的左邻域能量变化比进行能量转移，由以下公式(10)计算，
E'I(i,ji-1)＝EI(i,ji)+left_ratio×EI(i,ji-1)(1≤i≤M) (10)，
公式(10)中，E'I为更新后的重要度图，EI为上述第二步得到的重要度图，ji为上述第三步得到的最佳接缝path的列号，left_ratio为上述第4.3步得到的左邻域能量比，对于最佳接缝path上的每一行的重要度值都按照left_ratio的比率转移到相邻左边像素位置，使相邻左边像素具有比之前更高的重要度值，由此实现最佳接缝左邻域能量转移；
第4.5步，最佳接缝的右邻域能量转移：
最佳接缝path右邻域能量转移也是利用上述第4.2步到第4.4步同样的转移方式，先计算最佳接缝path右邻域能量总和sum_path_right，由以下公式(11)计算，
公式(11)中，当该条最佳接缝path穿过图像的最右边界，即ji＝N时，定义此时的EI(i,ji+1)＝0，其他情况下EI(i,ji+1)值为最佳接缝path位置像素点右移动一个位置的像素点重要度值，按此原则相加得到的和作为该条最佳接缝path右邻域总能量sum_path_right；
接着计算最佳接缝path右邻域能量变化比right_ratio，由以下公式(12)计算，
right_ratio＝sum_path_EI/sum_path_right (12)，
然后用公式(13)进行最佳接缝path右邻域的能量转移计算，
EI'(i,ji+1)＝EI(i,ji)+right_ratio×EI(i,ji+1)(1≤i≤M) (13)，
公式(13)中，M表示图像的高度，由此实现最佳接缝右邻域能量转移；
能量同时转移到最佳接缝path的左边邻域像素位置和右边邻域像素位置之后，得到新的重要度图，作为能量更新之后新的重要度图E'I，由此完成重要度更新；
第五步，移除最佳接缝：
根据上述第三步确定最佳接缝后得到最佳接缝path位置，在上述第一步中的彩色RGB图像Icolor和上述第四步能量更新之后的重要度图E'I中进行移除最佳接缝path的操作，具体操作如下：
第5.1步，在能量更新之后新的重要度图中移除最佳接缝：
在上述第4.5步得到的能量更新之后新的重要度图E'I中移除上述第三步得到的最佳接缝path，得到的结果作为新的重要度图来确定下一条最佳接缝；
第5.2步，在彩色RGB图像Icolor中移除最佳接缝：
在上述第一步输入的彩色RGB图像Icolor中移除第三步得到的最佳接缝path，移除最佳接缝path之后的图像记为缝裁剪后图像Itemp，由此完成移除最佳接缝；
第六步，评价缝裁剪后图像的变形程度：
将上述第5.2步的移除最佳接缝path之后的缝裁剪后图像Itemp和上述第一步中的彩色RGB图像Icolor分别进行分块，统计这两个图像各子块的纵横比变化来衡量图像的形变，设定形变阈值T＝0.98，确定缝裁剪后图像主体区域是否发生严重形变，并确定发生形变时的移除接缝数目l，停止缝裁剪方法，接缝数目l是由质量评价相似性分数与形变阈值的关系来确定的，具体操作如下：
第6.1步，对彩色RGB图像Icolor进行分块：
将上述第一步中得到的彩色RGB图像Icolor分为大小为d×d像素的子块，d＝16，彩色RGB图像Icolor被分成的块数为b，由以下公式(14)计算，
b＝m1×n1,m1＝floor(M/d),n1＝floor(N/d) (14)，
公式(14)中，M表示图像的高度，N表示图像的宽度，单位均为像素，floor是取整函数；
第6.2步，对彩色RGB图像Icolor的重要度图进行分块：
将上述第二步得到的彩色RGB图像Icolor的重要度图EI分为大小为d×d像素的子块，把每个子块的所有像素重要度值相加并除以整个重要图的重要度值总和eI_sum作为这个子块的重要度值占比，记作BLK_IMP，重要度值总和eI_sum用公式(15)计算，子块的重要度值占比BLK_IMP用公式(16)计算，
上述公式(15)和公式(16)中，EI为上述第二步得到的重要度图，M表示图像的高度，N表示图像的宽度，单位均为像素，m1、n1分别表示彩色RGB图像Icolor的在高度和宽度方向上的分块数目；
第6.3步，求取缝裁剪后图像Itemp的分块高度与宽度：
首先，定义全部接缝位置矩阵ALLPATH，把上述第三步得到的最佳接缝path的全部接缝位置记录到大小为H×W个元素的全部接缝位置矩阵ALLPATH中，该矩阵存储全部接缝位置，且标记接缝所在的元素值为-1，矩阵其余元素值为0，其中，H＝M，W＝N，M表示图像的高度，N表示图像的宽度，单位均为像素；
其次，定义列号矩阵YYORG，其大小为H×W，H＝M，W＝N，M表示图像的高度，N表示图像的宽度，单位均为像素，矩阵中各元素值为所在的列号，根据全部接缝位置矩阵ALLPATH来更新YYORG矩阵，对于矩阵YYORG里的每一个元素，当对应位置的全部接缝位置矩阵ALLPATH元素值为-1时，更新初始化矩阵YYORG对应位置元素值为0，计算公式如(17)所示，
公式(17)中，H、W分别表示矩阵YYORG的长度和宽度，单位均为像素，
对YYORG矩阵进行分块，均匀分为b个块，b＝m1×n1，m1＝37，n1＝50；
最后，计算缝裁剪后图像Itemp的子块高度矩阵BLK_H和宽度矩阵BLK_W，矩阵BLK_H和BLK_W分别记录移除最佳接缝path之后的图像Itemp的各子块的宽度和高度，矩阵BLK_W和矩阵BLK_H的大小均为m1×n1，缝裁剪后图像Itemp与上述第一步输入的彩色RGB图像Icolor相比，缝裁剪移除的只有垂直接缝，所以上述第6.1步中彩色RGB图像Icolor的各子块经缝裁剪后变化的只是块的宽度，而块的高度不变，因此矩阵BLK_H中各元素的值均为d，矩阵BLK_W中各元素的值是矩阵YYORG中各子块非零数个数与d的比值；
第6.4步，定义相似性分数：
缝裁剪后图像Itemp的各子块宽度的变化率矩阵为W_RATIO，高度的变化率矩阵为H_RATIO，利用公式(18)计算，
W_RATIO(u,v)＝BLK_W(u,v)/d,H_RATIO(u,v)＝BLK_H(u,v)/d
(1≤u≤m1,1≤v≤n1) (18)，
公式(18)中，BLK_W表示上述第6.3步得到的缝裁剪后图像Itemp所有子块的宽度矩阵，BLK_H表示上述第6.3步得到的缝裁剪后图像Itemp所有子块的高度矩阵，d表示的是上述第6.1步彩色RGB图像Icolor分为大小为d×d像素的子块中的d＝16，m1、n1分别表示缝裁剪后图像Itemp在高度和宽度方向上的分块数目；
缝裁剪后图像Itemp的子块的绝对变化率矩阵为M_RATIO，计算公式(19)如下，
M_RATIO(u,v)＝(W_RATIO(u,v)+H_RATIO(u,v))/2 (19)，
公式(19)中，(1≤u≤m1,1≤v≤n1)，W_RATIO，H_RATIO分别为缝裁剪后图像Itemp的子块宽度的变化率矩阵和高度的变化率矩阵；
通过缝裁剪后图像Itemp的子块的形变量来确定相似性分数，每个缝裁剪后图像Itemp的子块的子块相似性分数利用公式(20)计算得出，
公式(20)中，(1≤u≤m1,1≤v≤n1)，W_RATIO为缝裁剪后图像Itemp的子块宽度的变化率矩阵、H_RATIO为缝裁剪后图像Itemp的子块高度的变化率矩阵，β和α是常数，本实施例中，常数β设定为10-6，常数α设定为0.3，当子块相似性分数S(u,v)接近1时，说明该小块内容相对于原图得到了很好的保留，而子块相似性分数S(u,v)越接近0时，说明子块存在严重的变形；
第6.5步，图像质量客观评价标准：
结合上述第6.4步得到的子块相似性分数S(u,v)和上述第6.2步中的子块的重要度值占比BLK_IMP，制定图像质量客观评价标准，最终的质量评价相似性分数s由公式(21)定义，
m1、n1分别表示彩色RGB图像Icolor在高度和宽度方向上的分块数目；
第6.6步，利用停止准则判断是否需要切换到均匀缩放：
当彩色RGB图像Icolor在水平方向上的缩放比ratio设定为0.6，则需要移除的最终所有的接缝数目为c，计算公式(22)如下，
c＝N×(1-0.6) (22)，
公式(22)中，N为图像的宽度；
将上述第5.2步的移除最佳接缝path之后的缝裁剪后图像Itemp与上述第一步输入的彩色RGB图像Icolor进行相似性比较，每移除一条接缝，计算缝裁剪后图像Itemp和彩色RGB图像Icolor的质量评价相似性分数s，并且与形变阈值T进行比较；
停止准则的利用是，当质量评价相似性分数s小于形变阈值T时则停止缝裁剪，具体操作是：
当移除一条接缝时得到的缝裁剪后图像Itemp与彩色RGB图像Icolor比较得到的质量评价相似性分数s大于形变阈值T，说明移除当前接缝后得到的缝裁剪后图像Itemp没有发生明显的变形，则继续顺序执行上述的第三步、第四步、第五步和第六步；
当移除l条接缝时得到的缝裁剪后图像Itemp与彩色RGB图像Icolor比较得到的质量评价相似性分数s小于形变阈值T且1＜l＜c，线裁剪图像Itemp出现严重形变，则切换到均匀缩放，使用双线性插值方法进行均匀缩放，最后得到所需目标尺寸的目标图像；
当全部移除c条接缝之后的缝裁剪后图像Itemp与彩色RGB图像Icolor比较得到的质量评价相似性分数s仍大于形变阈值T，说明缝裁剪后图像Itemp没有发生明显的变形，则移除c条接缝之后的缝裁剪后图像Itemp就是所需目标尺寸的目标图像；
至此完成“A.对图像进行水平方向缩放”；
以下步骤是，B.对图像进行垂直方向缩放：
对完成上述“A.对图像进行水平方向缩放”的图像数据进行转置，重复上述第二步到第六步的操作，进行并完成对图像进行垂直方向上的缩放；
至此，完成基于能量转移和均匀缩放的图像重定向，对图像分别在水平方向和垂直方向上进行了缩放。
本实施例中，所述各个步骤中的d就是代表一个数值，d＝16。
本实施例使用了包括Shai Avidan等人的Seam Carving for Content-AwareImage Resizing、Hou等人的基于概率随机裁剪的图像缩放算法、Liang等人的基于图像分块和优化累积能量图的线裁剪算法、Wang等人的Optimized Scale-and-Stretch forImage Resizing和本发明方法五种方法对MSRA图像数据集的第1到第100幅图像与RetargetMe图像数据集的第1到第50幅图像共150幅图像进行处理高度不变，宽度缩放到原图60％的处理，并对处理结果进行主观评价，为避免随机因素与个人主观差异，由六组没有经过训练的评价者分别对五种方法得出的结果进行评价，然后将所得的结果求平均值得出最终的结论，评价者根据主观评价标准在五幅缩放后的图像中选出两幅缩放效果最好的图像。统计结果如表1所示。
表1.主观评价结果
上述实施例中，视觉显著度模型的英文缩写为RBD，全称为Saliencyoptimization from robust background detection，是本技术领域公知的算法，双线性插值方法及其他操作方法均是本领域技术人员所知悉并能够掌握的。

Claims (6)

1.基于能量转移和均匀缩放的图像重定向方法，其特征在于具体步骤如下：
第一步，输入图像进行预处理：
通过USB接口输入彩色RGB图像Icolor，将其由RGB空间转换到灰度空间得到灰度图像Igray，采用的公式(1)如下：
Igray＝0.299IR+0.587IG+0.114IB (1)，
公式(1)中，IR、IG、IB分别是所输入的彩色RGB图像Icolor的红色、绿色和蓝色通道，同时保留原始所输入的彩色RGB图像Icolor的三个分量，所述输入的彩色RGB图像Icolor的大小为M×N像素，M表示图像的高度，N表示图像的宽度，由此完成输入图像进行预处理；
以下步骤是，A.对图像进行水平方向缩放：
第二步，提取彩色RGB图像Icolor的重要度图：
第2.1步，检测彩色RGB图像Icolor中的显著性目标，得到显著度图：
对上述第一步的原始所输入的彩色RGB图像Icolor通过视觉显著度模型中的RBD模型计算显著度图，并将该显著度图输出，即为彩色RGB图像Icolor的显著度图Isal；
第2.2步，提取灰度图像Igray的梯度图：
分别在水平x方向和垂直y方向上对上述第一步中得到的灰度图像Igray求偏导，并取其绝对值得到两个方向上的梯度，然后将两个方向上的梯度相加提取得到灰度图像Igray的梯度图Igrad，采用的公式(2)如下：
公式(2)中，||表示取绝对值；和分别表示在水平x方向和垂直y方向上求偏导；
第2.3步，利用人脸检测模型检测彩色RGB图像Icolor的人脸位置，得到人脸图：
对上述第一步中的彩色RGB图像Icolor利用人脸检测模型AdaBoost检测彩色RGB图像Icolor的人脸位置并进行标记，并且将该标记了人脸位置的人脸图输出为上述彩色RGB图像Icolor的人脸图Iface；
第2.4步，获得彩色RGB图像Icolor的重要度图：
将上述第2.1步中得到的显著度图Isal、第2.2步中得到的梯度图Igrad与第2.3步中得到的人脸图Iface融合，得到彩色RGB图像Icolor的重要度图EI，采用的公式(3)如下：
EI(i,j)＝Igrad(i,j)+Isal(i,j)+Iface(i,j) (3)，
公式(3)中，1≤i≤M,1≤j≤N，M表示图像的高度，N表示图像的宽度，单位均为像素，由此完成提取彩色RGB图像Icolor的重要度图EI；
第三步，根据累积能量矩阵确定最佳接缝：
将上述第二步得到的重要度图EI作为能量图计算累积能量矩阵，从累积能量矩阵中选出最佳接缝，具体操作如下：
第3.1步，计算累积能量矩阵：
对上述第一步中的彩色RGB图像Icolor中的所有像素计算相应位置的累积能量值，设彩色RGB图像Icolor第一行对应位置的累积能量值为上述第2.4步中得到的重要度图EI的第一行各像素重要度值，彩色RGB图像Icolor第二行对应位置的累积能量到第M行对应位置的累积能量即累积能量矩阵Acc则由以下公式(4)计算得出：
公式(4)中，Acc(i,j)为像素点(i,j)位置的累积能量值，EI(i,j)为像素点(i,j)位置的重要度值，min为求最小值函数；
第3.2步，计算最佳接缝：
从上述第3.1步计算得到的累积能量矩阵Acc的第M行中寻找累积能量值最小的元素所在的列号jM，由以下公式(5)计算得出：
jM＝argmin(Acc(M,j))(1≤j≤N) (5)，
公式(5)中，1≤jM≤N，argmin为求最小值函数，Acc(M,j)为像素点(M,j)位置的累积能量值，根据公式(5)得到的jM，比较累积能量矩阵第M-1行第jM列左右三邻域列像素的累积能量值，找到其中的最小值，当jM位于左右边界时，只计算jM与相邻一列像素的累积能量值，计算公式(6)如下:
遍历上述第一步中的彩色RGB图像Icolor，从下至上从第M-2行到第1行重复上述查询jM-1的方法，计算得到第1行到第M-2行每行能量最小的累积能量值，结合jM-1和jM得到最小累积能量集合[(1,j1),(2,j2),L,(M,jM)]，由此计算得到最佳接缝，记为最佳接缝path，由此完成根据累积能量矩阵确定最佳接缝；
第四步，重要度更新：
对上述第三步得到的最佳接缝path，根据能量更新原则，将重要度转移到相邻接缝，具体操作如下：
第4.1步，计算最佳接缝重要度和：
根据上述第三步得到的最佳接缝path计算出该条最佳接缝的重要度和，由以下公式(7)计算得出，
公式(7)中，sum为求和，EI为上述第二步得到的重要度矩阵，1≤ji≤N；
第4.2步，计算最佳接缝左邻域能量和：
计算该条最佳接缝path位置像素点左移动一个位置的像素点得到的接缝的重要度总和，由以下公式(8)计算得出，
公式(8)中，当该条最佳接缝path穿过图像的最左边界，即ji＝1时，定义此时的EI(i,ji-1)＝0，其他情况下EI(i,ji-1)值为最佳接缝path位置像素点左移动一个位置的像素点重要度值，按此原则相加得到的和作为该条最佳接缝path左邻域总能量sum_path_left；
第4.3步，计算最佳接缝左邻域能量变化比：
计算左邻域能量变化比，由以下公式(9)计算得出，
left_ratio＝sum_path_EI/sum_path_left (9)，
公式(9)中，sum_path_EI为上述第4.1步得到的重要度和，sum_path_left为上述第4.2步得到的左邻域能量和；
第4.4步，最佳接缝的左邻域能量转移：
利用上述第4.3步计算得到的左邻域能量变化比进行能量转移，由以下公式(10)计算，
E'I(i,ji-1)＝EI(i,ji)+left_ratio×EI(i,ji-1)(1≤i≤M) (10)，
公式(10)中，E'I为更新后的重要度图，EI为上述第二步得到的重要度图，ji为上述第三步得到的最佳接缝path的列号，left_ratio为上述第4.3步得到的左邻域能量比，对于最佳接缝path上的每一行的重要度值都按照left_ratio的比率转移到相邻左边像素位置，使相邻左边像素具有比之前更高的重要度值，由此实现最佳接缝左邻域能量转移；
第4.5步，最佳接缝的右邻域能量转移：
最佳接缝path右邻域能量转移也是利用上述第4.2步到第4.4步同样的转移方式，先计算最佳接缝path右邻域能量总和sum_path_right，由以下公式(11)计算，
公式(11)中，当该条最佳接缝path穿过图像的最右边界，即ji＝N时，定义此时的EI(i,ji+1)＝0，其他情况下EI(i,ji+1)值为最佳接缝path位置像素点右移动一个位置的像素点重要度值，按此原则相加得到的和作为该条最佳接缝path右邻域总能量sum_path_right；
接着计算最佳接缝path右邻域能量变化比right_ratio，由以下公式(12)计算，
right_ratio＝sum_path_EI/sum_path_right (12)，
然后用公式(13)进行最佳接缝path右邻域的能量转移计算，
E′I(i,ji+1)＝EI(i,ji)+right_ratio×EI(i,ji+1)(1≤i≤M) (13)，
公式(13)中，M表示图像的高度，由此实现最佳接缝右邻域能量转移；
能量同时转移到最佳接缝path的左边邻域像素位置和右边邻域像素位置之后，得到新的重要度图，作为能量更新之后新的重要度图E'I，由此完成重要度更新；
第五步，移除最佳接缝：
根据上述第三步确定最佳接缝后得到最佳接缝path位置，在上述第一步中的彩色RGB图像Icolor和上述第四步能量更新之后的重要度图E'I中进行移除最佳接缝path的操作，具体操作如下：
第5.1步，在能量更新之后新的重要度图中移除最佳接缝：
在上述第4.5步得到的能量更新之后新的重要度图E'I中移除上述第三步得到的最佳接缝path，得到的结果作为新的重要度图来确定下一条最佳接缝；
第5.2步，在彩色RGB图像Icolor中移除最佳接缝：
在上述第一步输入的彩色RGB图像Icolor中移除第三步得到的最佳接缝path，移除最佳接缝path之后的图像记为缝裁剪后图像Itemp，由此完成移除最佳接缝；
第六步，评价缝裁剪后图像的变形程度：
将上述第5.2步的移除最佳接缝path之后的缝裁剪后图像Itemp和上述第一步中的彩色RGB图像Icolor分别进行分块，统计这两个图像各子块的纵横比变化来衡量图像的形变，设定形变阈值T，确定缝裁剪后图像主体区域是否发生严重形变，并确定发生形变时的移除接缝数目l，停止缝裁剪方法，接缝数目l是由质量评价相似性分数与形变阈值的关系来确定的，具体操作如下：
第6.1步，对彩色RGB图像Icolor进行分块：
将上述第一步中得到的彩色RGB图像Icolor分为大小为d×d像素的子块，d＝16，彩色RGB图像Icolor被分成的块数为b，由以下公式(14)计算，
b＝m1×n1,m1＝floor(M/d),n1＝floor(N/d) (14)，
公式(14)中，M表示图像的高度，N表示图像的宽度，单位均为像素，floor是取整函数；
第6.2步，对彩色RGB图像Icolor的重要度图进行分块：
将上述第二步得到的彩色RGB图像Icolor的重要度图EI分为大小为d×d像素的子块，把每个子块的所有像素重要度值相加并除以整个重要图的重要度值总和eI_sum作为这个子块的重要度值占比，记作BLK_IMP，重要度值总和eI_sum用公式(15)计算，子块的重要度值占比BLK_IMP用公式(16)计算，
上述公式(15)和公式(16)中，EI为上述第二步得到的重要度图，M表示图像的高度，N表示图像的宽度，单位均为像素，m1、n1分别表示彩色RGB图像Icolor的在高度和宽度方向上的分块数目；
第6.3步，求取缝裁剪后图像Itemp的分块高度与宽度：
首先，定义全部接缝位置矩阵ALLPATH，把上述第三步得到的最佳接缝path的全部接缝位置记录到大小为H×W个元素的全部接缝位置矩阵ALLPATH中，该矩阵存储全部接缝位置，且标记接缝所在的元素值为-1，矩阵其余元素值为0，其中，H＝M，W＝N，M表示图像的高度，N表示图像的宽度，单位均为像素；
其次，定义列号矩阵YYORG，其大小为H×W，H＝M，W＝N，M表示图像的高度，N表示图像的宽度，单位均为像素，矩阵中各元素值为所在的列号，根据全部接缝位置矩阵ALLPATH来更新YYORG矩阵，对于矩阵YYORG里的每一个元素，当对应位置的全部接缝位置矩阵ALLPATH元素值为-1时，更新初始化矩阵YYORG对应位置元素值为0，计算公式如(17)所示，
公式(17)中，H、W分别表示矩阵YYORG的长度和宽度，单位均为像素，
对YYORG矩阵进行分块，均匀分为b个块，b＝m1×n1；
最后，计算缝裁剪后图像Itemp的子块高度矩阵BLK_H和宽度矩阵BLK_W，矩阵BLK_H和BLK_W分别记录移除最佳接缝path之后的图像Itemp的各子块的高度和宽度，矩阵BLK_W和矩阵BLK_H的大小均为m1×n1，缝裁剪后图像Itemp与上述第一步输入的彩色RGB图像Icolor相比，缝裁剪移除的只有垂直接缝，所以上述第6.1步中彩色RGB图像Icolor的各子块经缝裁剪后变化的只是块的宽度，而块的高度不变，因此矩阵BLK_H中各元素的值均为d，矩阵BLK_W中各元素的值是矩阵YYORG中各子块非零数个数与d的比值；
第6.4步，定义相似性分数：
缝裁剪后图像Itemp的各子块宽度的变化率矩阵为W_RATIO，高度的变化率矩阵为H_RATIO，利用公式(18)计算，
W_RATIO(u,v)＝BLK_W(u,v)/d,H_RATIO(u,v)＝BLK_H(u,v)/d
(1≤u≤m1,1≤v≤n1) (18)，
公式(18)中，BLK_W表示上述第6.3步得到的缝裁剪后图像Itemp所有子块的宽度矩阵，BLK_H表示上述第6.3步得到的缝裁剪后图像Itemp所有子块的高度矩阵，d表示的是上述第6.1步中的彩色RGB图像Icolor分为大小为d×d像素的子块中的d＝16，m1、n1分别表示缝裁剪后图像Itemp在高度和宽度方向上的分块数目；
缝裁剪后图像Itemp的子块的绝对变化率矩阵为M_RATIO，计算公式(19)如下，
M_RATIO(u,v)＝(W_RATIO(u,v)+H_RATIO(u,v))/2 (19)，
公式(19)中，(1≤u≤m1,1≤v≤n1)，W_RATIO，H_RATIO分别为缝裁剪后图像Itemp的子块宽度的变化率矩阵和高度的变化率矩阵；
通过缝裁剪后图像Itemp的子块的形变量来确定相似性分数，每个缝裁剪后图像Itemp的子块的子块相似性分数利用公式(20)计算得出，
公式(20)中，(1≤u≤m1,1≤v≤n1)，W_RATIO为缝裁剪后图像Itemp的子块宽度的变化率矩阵、H_RATIO为缝裁剪后图像Itemp的子块高度的变化率矩阵，β和α是常数，当子块相似性分数S(u,v)接近1时，说明该小块内容相对于原图得到了很好的保留，而子块相似性分数S(u,v)越接近0时，说明子块存在严重的变形；
第6.5步，图像质量客观评价标准：
结合上述第6.4步得到的子块相似性分数S(u,v)和上述第6.2步中的子块的重要度值占比BLK_IMP，制定图像质量客观评价标准，最终的质量评价相似性分数s由公式(21)定义，
m1、n1分别表示彩色RGB图像Icolor在高度和宽度方向上的分块数目；
第6.6步，利用停止准则判断是否需要切换到均匀缩放：
当彩色RGB图像Icolor在水平方向上的缩放比为ratio，则需要移除的最终所有的接缝数目为c，计算公式(22)如下，
c＝N×(1-ratio) (22)，
公式(22)中，N为图像的宽度；
将上述第5.2步的移除最佳接缝path之后的缝裁剪后图像Itemp与上述第一步输入的彩色RGB图像Icolor进行相似性比较，每移除一条接缝，计算缝裁剪后图像Itemp和彩色RGB图像Icolor的质量评价相似性分数s，并且与形变阈值T进行比较；
停止准则的利用是，当质量评价相似性分数s小于形变阈值T时则停止缝裁剪，具体操作是：
当移除一条接缝时得到的缝裁剪后图像Itemp与彩色RGB图像Icolor比较得到的质量评价相似性分数s大于形变阈值T，说明移除当前接缝后得到的缝裁剪后图像Itemp没有发生明显的变形，则继续顺序执行上述的第三步、第四步、第五步和第六步；
当移除l条接缝时得到的缝裁剪后图像Itemp与彩色RGB图像Icolor比较得到的质量评价相似性分数s小于形变阈值T且1＜l＜c，线裁剪图像Itemp出现严重形变，则切换到均匀缩放，使用双线性插值方法进行均匀缩放，最后得到所需目标尺寸的目标图像；
当全部移除c条接缝之后的缝裁剪后图像Itemp与彩色RGB图像Icolor比较得到的质量评价相似性分数s仍大于形变阈值T，说明缝裁剪后图像Itemp没有发生明显的变形，则移除c条接缝之后的缝裁剪后图像Itemp就是所需目标尺寸的目标图像；
至此完成“A.对图像进行水平方向缩放”；
以下步骤是，B.对图像进行垂直方向缩放：
对完成上述“A.对图像进行水平方向缩放”的图像数据进行转置，重复上述第二步到第六步的操作，进行并完成对图像进行垂直方向上的缩放；
至此，完成基于能量转移和均匀缩放的图像重定向，对图像分别在水平方向和垂直方向上进行了缩放。
2.根据权利要求1所述基于能量转移和均匀缩放的图像重定向方法，其特征在于：所述M表示图像的高度，N表示图像的宽度，其中，M＝300像素，N＝400像素。
3.根据权利要求1所述基于能量转移和均匀缩放的图像重定向方法，其特征在于：所述第六步中的设定形变阈值T＝0.98。
4.根据权利要求1所述基于能量转移和均匀缩放的图像重定向方法，其特征在于：所述第6.3步中的对YYORG矩阵进行分块，均匀分为b个块，b＝m1×n1，m1＝37，n1＝50。
5.根据权利要求1所述基于能量转移和均匀缩放的图像重定向方法，其特征在于：所述第6.4步中的常数β设定为10-6，常数α设定为0.3。
6.根据权利要求1所述基于能量转移和均匀缩放的图像重定向方法，其特征在于：所述第6.6步中的缩放比ratio设定为0.6。
CN201811274899.0A 2018-10-30 2018-10-30 基于能量转移和均匀缩放的图像重定向方法 Active CN109447970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811274899.0A CN109447970B (zh) 2018-10-30 2018-10-30 基于能量转移和均匀缩放的图像重定向方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811274899.0A CN109447970B (zh) 2018-10-30 2018-10-30 基于能量转移和均匀缩放的图像重定向方法

Publications (2)

Publication Number Publication Date
CN109447970A true CN109447970A (zh) 2019-03-08
CN109447970B CN109447970B (zh) 2020-12-29

Family

ID=65549892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811274899.0A Active CN109447970B (zh) 2018-10-30 2018-10-30 基于能量转移和均匀缩放的图像重定向方法

Country Status (1)

Country Link
CN (1) CN109447970B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961451A (zh) * 2019-03-22 2019-07-02 西北工业大学 一种基于边缘信息的材料晶粒组织分割方法
CN109978858A (zh) * 2019-03-27 2019-07-05 华南理工大学 一种基于前景检测的双框架缩略图像质量评价方法
CN110853084A (zh) * 2019-11-15 2020-02-28 石家庄邮电职业技术学院(中国邮政集团公司培训中心) 一种基于边缘视觉保护的图像适配方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955887A (zh) * 2014-04-11 2014-07-30 北京工业大学 基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法
US20140270534A1 (en) * 2013-03-15 2014-09-18 Qual Comm Incorporated Video retargeting using seam carving
CN105488758A (zh) * 2015-11-30 2016-04-13 河北工业大学 一种基于内容感知的图像缩放方法
CN107145887A (zh) * 2017-03-31 2017-09-08 天津工业大学 一种针对物体删除的缝裁剪图像定位取证方法
CN107330885A (zh) * 2017-07-07 2017-11-07 广西大学 一种保持重要内容区域宽高比的多算子图像重定向方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270534A1 (en) * 2013-03-15 2014-09-18 Qual Comm Incorporated Video retargeting using seam carving
CN103955887A (zh) * 2014-04-11 2014-07-30 北京工业大学 基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法
CN105488758A (zh) * 2015-11-30 2016-04-13 河北工业大学 一种基于内容感知的图像缩放方法
CN107145887A (zh) * 2017-03-31 2017-09-08 天津工业大学 一种针对物体删除的缝裁剪图像定位取证方法
CN107330885A (zh) * 2017-07-07 2017-11-07 广西大学 一种保持重要内容区域宽高比的多算子图像重定向方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG YAN，HE CHEN: ""A Study of Image Retargeting Based on Seam Carving"", 《2014 SIXTH INTERNATIONAL CONFERENCE ON MEASURING TECHNOLOGY AND MECHATRONICS AUTOMATION》 *
翟胜楠等: ""一种改进的Seam Carving图像重定向算法"", 《湖北民族学院学报（自然科学版）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961451A (zh) * 2019-03-22 2019-07-02 西北工业大学 一种基于边缘信息的材料晶粒组织分割方法
CN109978858A (zh) * 2019-03-27 2019-07-05 华南理工大学 一种基于前景检测的双框架缩略图像质量评价方法
CN110853084A (zh) * 2019-11-15 2020-02-28 石家庄邮电职业技术学院(中国邮政集团公司培训中心) 一种基于边缘视觉保护的图像适配方法
CN110853084B (zh) * 2019-11-15 2022-07-08 石家庄邮电职业技术学院(中国邮政集团公司培训中心) 一种基于边缘视觉保护的图像适配方法

Also Published As

Publication number Publication date
CN109447970B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN106447020B (zh) 一种智能菌落计数方法
US6021221A (en) Image processing apparatus
CN110363116B (zh) 基于gld-gan的不规则人脸矫正方法、系统及介质
CN109447970A (zh) 基于能量转移和均匀缩放的图像重定向方法
CN110598610A (zh) 一种基于神经选择注意的目标显著性检测方法
CN105488758A (zh) 一种基于内容感知的图像缩放方法
CN107423737A (zh) 异物遮挡的视频质量诊断方法
CN108537782B (zh) 一种基于轮廓提取的建筑物图像匹配与融合的方法
EP2112817A1 (en) Composition analysis method, image device having composition analysis function, composition analysis program, and computer-readable recording medium
CN106650615B (zh) 一种图像处理方法及终端
CN106530232B (zh) 一种图像缩放方法
US7822224B2 (en) Terrain map summary elements
CN107895345A (zh) 一种提高人脸图像分辨率的方法和装置
CN103942751A (zh) 一种视频关键帧提取方法
CN105957124B (zh) 具有重复场景元素的自然图像颜色编辑方法及装置
WO2007074844A1 (ja) 顔パーツの位置の検出方法及び検出システム
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN103413339B (zh) 十亿像素高动态范围图像重建与显示的方法
CN107346414A (zh) 行人属性识别方法和装置
CN109859212A (zh) 一种无人机航拍图像大豆作物行分割方法
CN112668445A (zh) 一种基于yolov5的蔬菜种类检测与识别方法
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
JP5016540B2 (ja) 画像処理装置および方法並びにプログラム
JP4712659B2 (ja) 画像評価装置およびそのプログラム
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant