CN106530232B - 一种图像缩放方法 - Google Patents
一种图像缩放方法 Download PDFInfo
- Publication number
- CN106530232B CN106530232B CN201610987694.1A CN201610987694A CN106530232B CN 106530232 B CN106530232 B CN 106530232B CN 201610987694 A CN201610987694 A CN 201610987694A CN 106530232 B CN106530232 B CN 106530232B
- Authority
- CN
- China
- Prior art keywords
- image
- rgb image
- color rgb
- tested
- zoom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000012549 training Methods 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 80
- 238000012217 deletion Methods 0.000 claims description 22
- 230000037430 deletion Effects 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 claims description 11
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000003362 replicative effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 24
- 230000000694 effects Effects 0.000 abstract description 12
- 230000007547 defect Effects 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 4
- 239000000463 material Substances 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 241000252233 Cyprinus carpio Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000013021 vision distortion Diseases 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明一种图像缩放方法，涉及应用电子设备进行图像缩放的方法，是一种基于阈值与概率的图像快速缩放方法，分为两个过程，A.径向基函数神经网络模型训练过程；B.需要进行缩放的被测试图像的缩放过程。本发明方法使用径向基函数神经网络进行机器学习的方法求阈值，将需要进行缩放的图像分成保护区域与非保护区域，在缩放时使用依概率随机缩放，克服了现有技术无法在保证图像缩放效果的同时又能满足实时的图像缩放速度的缺陷。
Description
技术领域
本发明的技术方案涉及应用电子设备进行图像缩放的方法，具体地说是一种图像缩放方法。
背景技术
随着数字视频技术的发展，不同分辨率及尺寸比例的显示设备种类激增，网络上的各种图像和视频的显示比例各异，为了使图像及视频能完整、适当地显示在不同的设备上，图像缩放成为亟待解决的问题。
传统的图像缩放方法包括等比例缩放和图像裁剪两类。其中，等比例缩放的方法使用双线性、双三次插值或最近邻域方法直接将图像按需要的比例缩放到要求的尺寸，该类方法会导致主体区域发生拉伸或压缩的严重变形；而图像裁剪的方法是直接剪切图像到要求的尺寸，又不可避免地造成图像内容的丢失，因此研究基于内容感知的图像缩放有助于解决上述问题。2007年，Avidan和Shamir在论文“Seam carving for content-awareimage resizing”中首先提出将图像缩放的过程分成图像的重要度图求解与依重要度图像缩放的内容感知的图像缩放方法。该方法经过改进，如今大致分成三个方向：基于线裁剪缩放方法、基于图像变形缩放方法和多操作图像缩放方法。Avidan和Shamir在论文“Seamcarving for content-aware image resizing”中提出的线裁剪算法，每次从图像中删除一条能量值最小的八连通曲线，直到图像满足条件为止，该方法在缩放过程中删除重要度低的像素点，从而减少图像的主体区域的扭曲，但是由于没有考虑到裁剪线被删除后其左右两侧的像素点相邻后产生的新能量，会导致图像裁剪后产生锯齿状形变，该方法也被称为Backward方法。2008年Rubinstein等人在论文“Optimized scale-and-stretch forimage resizing”中提出Forward线裁剪算法，该算法考虑了删除裁剪线后其左右两侧像素点相邻后产生的能量，并将其记入变形能量当中，提高了视觉效果。但是这两种方法都是单向裁剪，当目标图像要求缩放两个方向时则无法综合考虑两个方向的变形而降低视觉误差。此后，Shi等人在论文“Optimal Bi-directional seam carving for content-awareimage resizing”中将单向线裁剪改成双向线裁剪，Liu等人在论文“Adaptive imageretargeting using saliency-based continuous seam Carving”中改进了线裁剪的重要度能量函数，这些方法不同程度地提升了图像缩放的效果，但仍然无法避免图像缩放过程产生的锯齿现象。基于图像变形的图像缩放方法是先用矩形或三角形的网格把图像分成小块，然后根据图像的重要度对小块进行处理，尽量使变形发生在重要度低的小块上，重要度高的小块尽量不做改变或做等长宽比的统一缩放，该方法容易造成主要物体边界的扭曲变形，甚至图像中的主体大小随图像大小本身的缩放而缩放。多操作图像缩放方法一般会结合传统缩放、线裁剪和直接裁剪等多种方法，通过调整各个方法的顺序及数量来提高效果，该方案一般比单独使用其中一种方法效果好，但是时间花费较多，如在论文“Optimisedimage retargeting using aesthetic-based cropping and scaling”中，Liang等人通过比较各种缩放操作的结果选择最佳的方法进行缩放，但所用时间较长。CN102568443B公开了一种图像缩放算法，该算法根据原图像的尺寸与目标图像的尺寸，以像素点为单位进行复制和移除操作，由于没有从整体上考虑图像中的主要物体，因此会造成图像的主要物体发生形变和扭曲。CN102509259A公开了一种图像缩放算法，该算法根据图像能量图计算原始图像中各像素点的方向，通过删除各像素点的方向之间形成的缝隙中能量最少的一条缝隙进行缩放，由于各像素点的方向完全由能量图决定，当图像中的主要物体内部过度平滑时，该图像的主要物体会被大面积删除。
图像缩放算法的运算速度是评价其优劣的重要指标，在上述依重要度图像缩放的内容感知的图像缩放方法的三个方向:基于线裁剪缩放方法、基于图像变形缩放方法和多操作图像缩放方法，均存在无法在保证图像缩放效果的同时又能满足实时的图像缩放速度的缺陷。
发明内容
本发明所要解决的技术问题是：提供一种图像缩放方法，是一种基于阈值与概率的图像快速缩放方法，克服了现有技术无法在保证图像缩放效果的同时又能满足实时的图像缩放速度的缺陷。
本发明解决该技术问题所采用的技术方案是：一种图像缩放方法，是一种基于阈值与概率的图像快速缩放方法，分为两个过程，A.径向基函数神经网络模型训练过程；B.需要进行缩放的被测试图像的缩放过程，具体步骤如下：
A.径向基函数神经网络的模型训练过程：
第一步，输入训练图像进行预处理：
通过USB接口输入训练用的彩色RGB图像，将输入的训练用彩色RGB图Itn像由RGB空间转化到灰度空间得到灰度图像Igray_tn，采用的公式(1)如下：
Igray_tn＝0.299IR+0.587IG+0.114IB (1)，
其中IR、IG、IB分别是RGB图像的红色、绿色和蓝色通道三个分量，同时保留原始输入的训练用的彩色RGB图像Itn，供第二步中显著性检测算法使用，输入训练用的彩色RGB图像Itn的大小为ltn×wtn像素，ltn>0,wtn>0；
第二步，提取训练用的彩色RGB图像重要度图：
(2.1)利用视觉显著度模型检测训练用的彩色RGB图像Itn中的显著性目标,得到显著度图：
利用视觉显著度模型检测训练用的彩色RGB图像Itn中的显著性目标，即对第一步保留的原始输入的彩色RGB图像Itn通过视觉显著度模型即GBVS模型计算显著度图，并将显著图输出为原始图片的单通道尺寸l×w像素，得到显著度图IGBVS_tn，l＞0，w＞0；
(2.2)提取灰度图像IGBVS_tn的梯度图：
利用第一步中得到的灰度图像Igray_tn计算图像的梯度图，分别在x方向和y方向上对灰度图像求偏导，并取其绝对值得到两个方向上的梯度，然后将两个方向上的梯度相加得到第一步中的灰度图像Igray_tn的梯度图IGrad_tn，采用的公式(2)如下：
(2.3)重要度融合：
将上述(2.1)步中得到的显著度图IGBVS_tn与(2.2)步中得到的梯度图IGrad_tn进行融合，得到最终的重要度图IE_tn，采用的公式(3)如下：
IE_tn＝IGBVS_tn+IGrad_tn (3)，
由此提取到训练用的彩色图像重要度图；
第三步，计算输入训练用的彩色RGB图像的能量向量分布直方图：
根据第二步得到的重要度图IE_tn，计算输入训练用的彩色RGB图像的能量向量分布直方图，
(3.1)计算垂直方向能量向量分布直方图：
首先计算垂直方向能量向量，即垂直方向的重要度图的累加和，利用公式(4)：
其中，IE_tn(i,j)是重要度图IE_tn的第i行第j列个值，j＝1,…,w，Vtn_v(j)是能量向量Vtn_v的第j个值；
其次，进行垂直方向能量向量归一化处理：
则的取值范围是[0,1]；
最后，将的取值范围[0,1]平均分成N个子区间，N≥2，计算归一化后的垂直方向能量向量落在第k个子区间[(k-1)/N,k/N]的垂直方向能量向量值的个数mtn_v(k)，k＝1,2,…,N，统计mtn_v(k)在总列数中所占的比例数htn_v(k):
根据htn_v(k)的计算得到垂直方向能量向量分布直方图：
Htn_v＝[htn_v(1),htn_v(2),htn_v(3),…,htn_v(N)] (7)；
(3.2)计算水平方向能量向量分布直方图：
首先计算水平方向能量向量，即水平方向的重要度图的累加和，利用公式(8)：
其中，Vtn_h(i)是能量向量Vtn_h的第i个值，i＝1,…,l；
其次，进行水平方向能量向量归一化处理：
则的取值范围是[0,1]；
最后，将的取值范围[0,1]平均分成N个子区间，N≥2，计算归一化后的水平方向能量向量落在第k个子区间[(k-1)/N,k/N]的水平方向能量向量值的个数mtn_h(k)，k＝1,2,…,N，统计mtn_h(k)在总列数中所占的比例数htn_h(k):
根据htn_h(k)得到水平方向能量向量分布直方图：
Htn_h＝[htn_h(1),htn_h(2),htn_h(3),…,htn_h(N)] (11)，
由此完成能量向量分布直方图的计算；
第四步，获得阈值模型：
根据MSRA图像数据集中提供的与训练用的彩色RGB图像所对应的真实标注图与上述第三步得到的能量向量分布直方图，统计图像的最佳人工阈值并训练阈值模型，步骤如下：
(4.1)设定初始阈值Tm:
将彩色RGB图像中能量向量大于初始阈值Tm的部分使用阴影方式标注出来；
(4.2)对比带有标注的图像与真实标注图:
当带有标注的图像中被标注的区域没有完全覆盖真实标注图中标出的主要物体，则减小初始阈值Tm直到带有标注的图像中被标记的区域恰好覆盖真实标注图中标出的主要物体，当带有标注的图像中被标记的区域能够完全覆盖真实标注图中标出的主要物体并且覆盖到真实标注图中标出的主要物体区域之外，则增加初始阈值Tm直到带有标注的图像中被标记的区域恰好覆盖真实标注图中标出的主要物体；
(4.3)获得阈值模型：
统计训练集中所有图像的经过调整的初始阈值Tm即人工阈值，将所得到的每幅图像的最佳阈值与上述第三步计算的能量向量分布直方图作为输入数据，利用径向基函数神经网络进行训练，得到阈值模型；
至此，完成径向基函数神经网络的模型训练过程；
B.需要进行缩放的被测试图像的缩放过程：
第五步，输入需要进行缩放的被测试彩色RGB图像进行预处理：
通过计算机USB接口输入需要进行缩放的被测试彩色RGB图像Its，并输入目标图像的大小，将得到的彩色图像由RGB空间转化到灰度空间得到灰度图像Igray_ts，采用的公式(1’)为：
Igray_ts＝0.299IR+0.587IG+0.114IB (1’)，
其中IR、IG、IB分别是被测试彩色RGB图像的红色、绿色和蓝色通道三个分量，保留原始输入的被测试彩色RGB图像Its，供下一步中显著性检测算法使用，输入的被测试彩色RGB图像Its每个通道的大小为lts×wts像素，lts>0,wts>0，目标图像Io每个通道的大小为l′ts×w′ts像素，l′ts>0,w′ts>0；
第六步，提取需要进行缩放的被测试彩色RGB图像重要度图：
使用与上述A中第二步相同的方法，提取需要进行缩放的被测试彩色RGB图像Its的重要度图IE_ts，由此提取到被测试彩色图像重要度图IE_ts；
第七步，判断需要进行缩放的被测试彩色RGB图像缩放方式：
根据上述第五步输入需要进行缩放的被测试彩色RGB图像Its的大小lts×wts像素和目标图像Io大小l′ts×w′ts像素，用如下式(12)计算总缩放比，并判断缩放方式，即是缩小操作还是放大操作，并计算水平方向与垂直方向所要删除/复制的直线条数；
上式中，Rl为需要进行缩放的被测试彩色RGB图像横向的总缩放率，Rw为需要进行缩放的被测试彩色RGB图像的纵向总缩放率，具体操作如下；
(7.1)删除操作：
将输入的需要进行缩放的被测试彩色RGB图像大小和目标图像Io大小进行对比,当lts<l′ts或wts<w′ts时，进行删除操作，设置缩放阈值TMAX，用于衡量缩放的尺度是否过大，当水平缩放尺度(lts-l′ts)与垂直缩放尺度(wts-w′ts)均满足下式(13a)，则水平方向删除的线条数Nl与垂直方向删除的线条数Nw，计算公式如式(13b)：
当输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的大小在一个或两个方向不满足式(13a)，则水平方向删除的线条数Nl与垂直方向删除的线条数Nw计算公式如式(14)：
(7.2)复制操作：
将输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的进行对比,当lts>l′ts并且wts>w′ts时，进行复制操作，对于上述(7.1)步中的缩放阈值TMAX，当水平缩放尺度(l′ts-lts)与垂直缩放尺度(w′ts-wts)均满足下式(15a)，则水平方向复制的线条数Nl与垂直方向复制的线条数Nw计算公式如式(15b)：
当输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的大小在一个或两个方向不满足式(15a)，则水平方向上复制的线条数Nl与垂直方向上复制的线条数Nw计算公式如式(16)，
第八步，计算需要进行缩放的被测试彩色RGB图像的能量向量分布直方图：
根据上述第六步得到的需要进行缩放的被测试彩色RGB图像的重要度图IE_ts以及上述第七步的判断缩放方式，在需要缩放的方向上使用上述A中的第三步计算输入训练用的彩色RGB图像的能量向量分布直方图的相同的方法计算得需要进行缩放的被测试彩色RGB图像的能量向量分布直方图H；
第九步，根据当前图像的阈值Td将需要进行缩放的被测试彩色RGB图像分成保护区域与非保护区域：
将上述第八步得到的需要进行缩放的被测试彩色RGB图像的能量向量分布直方图H输入到上述A中完成训练的径向基函数神经网络的模型，得到当前图像的阈值Td，并根据阈值Td将需要进行缩放的被测试彩色RGB图像分成保护区域与非保护区域，设Vts(i)为需要进行缩放的被测试彩色RGB图像的能量向量Vts中的第i个值，当Vts(i)≥Td，则需要进行缩放的被测试彩色RGB图像的第i列属于保护区域；当Vts(i)<Td，则需要进行缩放的被测试彩色RGB图像的第i列属于非保护区域；
第十步，计算需要进行缩放的被测试彩色RGB图像保护区域与非保护区域的缩放比：
(10.1)根据上述第七步的判断缩放方式得到需要进行缩放的被测试彩色RGB图像总缩放率，并判断需要进行缩放的被测试彩色RGB图像的保护区域与非保护区域是否都要进行缩放，为了使非保护区域不被过度删除，设定一个固定阈值Tdel＝0.5，当只缩放非保护区域就能达到目标缩放比，且对非保护区域缩放量不超过固定阈值Tdel，即满足下式(17)，则认为缩放比不大；反之，则认为缩放比大，
上式中，Nul指非保护区域的需要进行缩放的被测试彩色RGB图像列数，Nuw指非保护区域的需要进行缩放的被测试彩色RGB图像行数；
(10.2)当缩放比不大，则只删除或复制非保护区域的需要进行缩放的被测试彩色RGB图像列数或行数直到完成缩放目标，需要删除或复制非保护区域的图像列数或行数的公式如式18(a)和18(b)所示，当缩放比大，则先删除或复制非保护区域的图像列至达到固定阈值Tdel上限，然后对非保护区域与保护区域使用同样大小的缩放比来删除或复制需要进行缩放的被测试彩色RGB图像列至完成缩放目标，即当需要进行缩放的被测试彩色RGB图像的保护区域的缩放比是x，则需要进行缩放的被测试彩色RGB图像的非保护区域的缩放比是x+Tdel，其需要删除或复制需要进行缩放的被测试彩色RGB图像的非保护区域与需要进行缩放的被测试彩色RGB图像的保护区域的图像列数或行数如式(18c)～(18f)所示；
上述式(18)中，Nudl指需要进行缩放的被测试彩色RGB图像的非保护区域需要删除或复制的图像列数，Nudw指需要进行缩放的被测试彩色RGB图像的非保护区域需要删除或复制的图像行数，Npdl指需要进行缩放的被测试彩色RGB图像的保护区域需要删除或复制的图像列数，Npdw指需要进行缩放的被测试彩色RGB图像的保护区域需要删除或复制的图像行数，xl指需要进行缩放的被测试彩色RGB图像的保护区域图像列的删除率，xw指需要进行缩放的被测试彩色RGB图像的保护区域图像行的删除率，wtsu指需要进行缩放的被测试彩色RGB图像的非保护区域的宽度，ltsu指需要进行缩放的被测试彩色RGB图像的非保护区域的长度，
至此完成需要进行缩放的被测试彩色RGB图像的保护区域与非保护区域的缩放比计算；
第十一步，依概率随机缩放：
根据上述第十步中计算得到的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域的缩放比，求出的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域需要删除或复制的直线数目，对需要进行缩放的被测试彩色RGB图像的保护区域与非保护区域进行依概率随机缩放，具体操作如下：
(11.1)对要进行缩放行或列的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域，使用以下公式(19)对需要进行缩放的被测试彩色RGB图像的第i列计算其概率函数值Pi，
Pi＝1-[(Vts(i)-min(Vts))/(max(Vts)-min(Vts))]1/2 (19),
上式中，Vts是需要进行缩放的被测试彩色RGB图像的能量向量；
(11.2)获得一个在[0,1]范围内的随机值Ri，比较Pi与Ri的大小,当Pi>Ri，则对需要进行缩放的被测试彩色RGB图像的第i列进行标注处理，当Pi<Ri，则不对需要进行缩放的被测试彩色RGB图像的第i列进行处理,当标注的直线数达到上述第七步中得到的进行缩放要求的数目时，则停止处理，进行下述第(11.3)步；
(11.3)根据在上述第七步中得到的缩放方式对标注的直线进行处理,当是缩小操作，则直接删除当前直线，并将其右侧的所有直线向左侧移动一个像素,当是放大操作，则先将其右侧的所有直线向右侧移动一个像素，再在该直线右侧一个像素处复制当前直线；
至此完成需要进行缩放的被测试彩色RGB图像的快速缩放。
上述一种图像缩放方法，所述设定初始阈值Tm＝0.5。
上述一种图像缩放方法，所述缩放阈值TMAX＝0.3。
上述一种图像缩放方法，所述固定阈值Tdel＝0.5。
上述一种图像缩放方法，其中的径向基函数的英文为缩写为RBF,全称为RadialBasis Function；视觉显著度模型的英文为缩写为GBVS，全称为Graph-based VisualSaliency；均是本技术领域公知的算法。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明一种图像缩放方法，是一种基于阈值与概率的图像快速缩放方法，克服了现有技术无法在保证图像缩放效果的同时又能满足实时的图像缩放速度的缺陷。
(2)本发明方法使用径向基函数(RBF)神经网络进行机器学习的方法求阈值，能根据输入图像的特征给定最佳的阈值，能有效的避免使用固定阈值所造成的重要物体边缘部分过渡裁剪和非重要物体部分的邻近区域过渡删除。
(3)本发明将方法将需要进行缩放的图像分成保护区域与非保护区域，并为两个区域分配不同的缩放比，当要求缩放比小时，则只缩放非保护区域；当要求缩放比大时，则对保护区域进行少量缩放，对非保护区域进行大量缩放，这样既能减少对包含重要物体的保护区域进行缩放所引起的重要物体变形，也能在要求缩放比大时不会引起图像背景部分的严重变形。
(4)本发明方法在缩放时使用依概率随机缩放，根据提出的概率模型为需要进行缩放的图像的行或列分配不同的概率值，重要度高的图像行或列被删除的概率小，重要度低的图像行或列被删除的概率大，该方法既能避免由于对相邻多列重要度接近的区域过度缩放导致视觉失真，又能利用重要度图删除图像中不重要的图像列而保存图像的相对重要的区域。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明图像缩放算法的流程示意框图。
图2(a)是MSRA图像数据集中的原始图像。
图2(b)是MSRA图像数据集中与图2(a)对应的真实标注图。
图3是本发明通过视觉显著度模型即GBVS模型计算求得的视觉显著度图与梯度图相融合得到的重要度图。
图4是本发明根据径向基函数神经网络进行机器学习求出阈值将图像分成保护区域与非保护区域的效果图。
图5是本发明根据依概率随机缩放的方法进行缩放的删除线图。
图6是本发明对图片进行缩放处理后的效果示意图。
具体实施方式
图1所示实施例表明，本发明图像缩放算法的流程分为两个过程：A.径向基函数神经网络的模型训练过程；B.需要进行缩放的被测试图像的缩放过程。
A.径向基函数神经网络的模型训练过程输入训练图像进行预处理→提取训练用的彩色RGB图像重要度图→计算输入训练用的彩色RGB图像的能量向量分布直方图→获得阈值模型→完成训练的径向基函数神经网络的模型；B.需要进行缩放的被测试图像的缩放过程输入需要进行缩放的被测试彩色RGB图像进行预处理→提取需要进行缩放的被测试彩色RGB图像重要度图→判断需要进行缩放的被测试彩色RGB图像缩放方式→计算需要进行缩放的被测试彩色RGB图像的能量向量分布直方图→将上述得到的需要进行缩放的被测试彩色RGB图像的能量向量分布直方图H输入到上述A中完成训练的径向基函数神经网络的模型得到当前图像的阈值Td，根据当前图像的阈值Td将需要进行缩放的被测试彩色RGB图像分成保护区域与非保护区域→计算需要进行缩放的被测试彩色RGB图像保护区域与非保护区域的缩放比→依概率随机缩放→完成需要进行缩放的被测试图像的缩放过程。
图2(a)所示实施例显示了MSRA图像数据集中的一幅原始图像，该图像作为被发明方法进行需要进行缩放处理的图像；
图2(b)所示实施例显示了模型训练过程所需要的MSRA图像数据集中与图2(a)对应的真实标注图。
图3所示实施例显示了是本发明通过视觉显著度模型即GBVS模型计算求得的视觉显著度图与梯度图相融合得到的重要度图，本发明通过视觉显著度模型即GBVS模型计算求得目标图片的显著图，然后使用图像梯度公式计算梯度图，并将两者进行融合得到的重要度图，该重要度图既能保护图像中的结构信息，又能保护图像中的主体对象。
图4是本发明根据径向基函数神经网络进行机器学习求出阈值将图像分成保护区域与非保护区域的效果图，其中横线阴影标注的是保护区域，其余部分为非保护区域。
图5是本发明根据依概率随机缩放的方法进行缩放的删除线图，白色竖线标记为需要删除的部分，横坐标缩放到原来的0.6倍，纵坐标不变。
图6是本发明对图片进行缩放处理后的效果示意图，横坐标缩放到原来的0.6倍，纵坐标不变。
实施例1
本实施例所使用的训练图像库为MSRA图像数据集的第1到第800共800幅图像，使用每幅图像的能量向量分布直方图与人工阈值做为训练数据。
本实施例的一种图像缩放方法，是一种基于阈值与概率的图像快速缩放方法，分为两个过程，A.径向基函数神经网络模型训练过程；B.需要进行缩放的被测试图像的缩放过程，具体步骤如下：
A.径向基函数神经网络的模型训练过程：
第一步，输入训练图像进行预处理：
通过USB接口输入训练用的彩色RGB图像，将输入的训练用彩色RGB图像Itn由RGB空间转化到灰度空间得到灰度图像Igray_tn，采用的公式(1)如下：
Igray_tn＝0.299IR+0.587IG+0.114IB (1)，
其中IR、IG、IB分别是RGB图像的红色、绿色和蓝色通道三个分量，同时保留原始输入的训练用的彩色RGB图像Itn，供第二步中显著性检测算法使用，输入训练用的彩色RGB图像Itn的大小为ltn×wtn像素，ltn>0,wtn>0；
第二步，提取训练用的彩色RGB图像重要度图：
(2.1)利用视觉显著度模型检测训练用的彩色RGB图像Itn中的显著性目标,得到显著度图：
利用视觉显著度模型检测训练用的彩色RGB图像Itn中的显著性目标，即对第一步保留的原始输入的彩色RGB图像Itn通过视觉显著度模型即GBVS模型计算显著度图，并将显著图输出为原始图片的单通道尺寸l×w像素，得到显著度图IGBVS_tn，l＞0，w＞0；
(2.2)提取灰度图像IGBVS_tn的梯度图：
利用第一步中得到的灰度图像Igray_tn计算图像的梯度图，分别在x方向和y方向上对灰度图像求偏导，并取其绝对值得到两个方向上的梯度，然后将两个方向上的梯度相加得到第一步中的灰度图像Igray_tn的梯度图IGrad_tn，采用的公式(2)如下：
(2.3)重要度融合：
将上述(2.1)步中得到的显著度图IGBVS_tn与(2.2)步中得到的梯度图IGrad_tn进行融合，得到最终的重要度图IE_tn，采用的公式(3)如下：
IE_tn＝IGBVS_tn+IGrad_tn (3)，
由此提取到训练用的彩色图像重要度图；
第三步，计算输入训练用的彩色RGB图像的能量向量分布直方图：
根据第二步得到的重要度图IE_tn，计算输入训练用的彩色RGB图像的能量向量分布直方图，
(3.1)计算垂直方向能量向量分布直方图：
首先计算垂直方向能量向量，即垂直方向的重要度图的累加和，利用公式(4)：
其中，IE_tn(i,j)是重要度图IE_tn的第i行第j列个值，j＝1,…,w，Vtn_v(j)是能量向量Vtn_v的第j个值；
其次，进行垂直方向能量向量归一化处理：
则的取值范围是[0,1]；
最后，将的取值范围[0,1]平均分成N个子区间，N≥2，计算归一化后的垂直方向能量向量落在第k个子区间[(k-1)/N,k/N]的垂直方向能量向量值的个数mtn_v(k)，k＝1,2,…,N，统计mtn_v(k)在总列数中所占的比例数htn_v(k):
根据htn_v(k)的计算得到垂直方向能量向量分布直方图：
Htn_v＝[htn_v(1),htn_v(2),htn_v(3),…,htn_v(N)] (7)；
(3.2)计算水平方向能量向量分布直方图：
首先计算水平方向能量向量，即水平方向的重要度图的累加和，利用公式(8)：
其中，Vtn_h(i)是能量向量Vtn_h的第i个值，i＝1,…,l；
其次，进行水平方向能量向量归一化处理：
则的取值范围是[0,1]；
最后，将的取值范围[0,1]平均分成N个子区间，N≥2，计算归一化后的水平方向能量向量落在第k个子区间[(k-1)/N,k/N]的水平方向能量向量值的个数mtn_h(k)，k＝1,2,…,N,统计mtn_h(k)在总列数中所占的比例数htn_h(k):
根据htn_h(k)得到水平方向能量向量分布直方图：
Htn_h＝[htn_h(1),htn_h(2),htn_h(3),…,htn_h(N)] (11)，
由此完成能量向量分布直方图的计算；
第四步，获得阈值模型：
根据MSRA图像数据集中提供的与训练用的彩色RGB图像所对应的真实标注图与上述第三步得到的能量向量分布直方图，统计图像的最佳人工阈值并训练阈值模型，步骤如下：
(4.1)设定初始阈值Tm＝0.5:
将彩色RGB图像中能量向量大于初始阈值Tm的部分使用阴影方式标注出来；
(4.2)对比带有标注的图像与真实标注图:
当带有标注的图像中被标注的区域没有完全覆盖真实标注图中标出的主要物体，则减小初始阈值Tm直到带有标注的图像中被标记的区域恰好覆盖真实标注图中标出的主要物体，当带有标注的图像中被标记的区域能够完全覆盖真实标注图中标出的主要物体并且覆盖到真实标注图中标出的主要物体区域之外，则增加初始阈值Tm直到带有标注的图像中被标记的区域恰好覆盖真实标注图中标出的主要物体；
(4.3)获得阈值模型：
统计训练集中所有图像的经过调整的初始阈值Tm即人工阈值，将所得到的每幅图像的最佳阈值与上述第三步计算的能量向量分布直方图作为输入数据，利用径向基函数神经网络进行训练，得到阈值模型；
至此，完成径向基函数神经网络的模型训练过程；
B.需要进行缩放的被测试图像的缩放过程：
第五步，输入需要进行缩放的被测试彩色RGB图像进行预处理：
通过计算机USB接口输入需要进行缩放的被测试彩色RGB图像Its，并输入目标图像的大小，将得到的彩色图像由RGB空间转化到灰度空间得到灰度图像Igray_ts，采用的公式(1’)为：
Igray_ts＝0.299IR+0.587IG+0.114IB (1’)，
其中IR、IG、IB分别是被测试彩色RGB图像的红色、绿色和蓝色通道三个分量，保留原始输入的被测试彩色RGB图像Its，供下一步中显著性检测算法使用，输入的被测试彩色RGB图像Its每个通道的大小为lts×wts像素，lts>0,wts>0，目标图像Io每个通道的大小为l′ts×w′ts像素，l′ts>0,w′ts>0；
第六步，提取需要进行缩放的被测试彩色RGB图像重要度图：
使用与上述A中第二步相同的方法，提取需要进行缩放的被测试彩色RGB图像Its的重要度图IE_ts，由此提取到被测试彩色图像重要度图IE_ts；
第七步，判断需要进行缩放的被测试彩色RGB图像缩放方式：
根据上述第五步输入需要进行缩放的被测试彩色RGB图像Its的大小lts×wts像素和目标图像Io大小l′ts×w′ts像素，用如下式(12)计算总缩放比，并判断缩放方式，即是缩小操作还是放大操作，并计算水平方向与垂直方向所要删除/复制的直线条数；
上式中，Rl为需要进行缩放的被测试彩色RGB图像横向的总缩放率，Rw为需要进行缩放的被测试彩色RGB图像的纵向总缩放率，具体操作如下；
(7.1)删除操作：
将输入的需要进行缩放的被测试彩色RGB图像大小和目标图像Io大小进行对比,当lts<l′ts时，进行删除操作，设置缩放阈值TMAX＝0.3，用于衡量缩放的尺度是否过大，当水平缩放尺度(lts-l′ts)与垂直缩放尺度(wts-w′ts)均满足下式(13a)，则水平方向删除的线条数Nl与垂直方向删除的线条数Nw计算公式如式(13b)：
当输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的大小在一个方向不满足式(13a)，则水平方向删除的线条数Nl与垂直方向删除的线条数Nw计算公式如式(14)：
(7.2)复制操作：
将输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的进行对比,当lts>l′ts并且wts>w′ts时，进行复制操作，对于上述(7.1)步中的缩放阈值TMAX，当水平缩放尺度(l′ts-lts)与垂直缩放尺度(w′ts-wts)均满足下式(15a)，则水平方向复制的线条数Nl与垂直方向复制的线条数Nw计算公式如式(15b)：
当输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的大小在一个方向不满足式(15a)，则水平方向上复制的线条数Nl与垂直方向上复制的线条数Nw计算公式如式(16)，
第八步，计算需要进行缩放的被测试彩色RGB图像的能量向量分布直方图：
根据上述第六步得到的需要进行缩放的被测试彩色RGB图像的重要度图IE_ts以及上述第七步的判断缩放方式，在需要缩放的方向上使用上述A中的第三步计算输入训练用的彩色RGB图像的能量向量分布直方图的相同的方法计算得需要进行缩放的被测试彩色RGB图像的能量向量分布直方图H；
第九步，根据当前图像的阈值Td将需要进行缩放的被测试彩色RGB图像分成保护区域与非保护区域：
将上述第八步得到的需要进行缩放的被测试彩色RGB图像的能量向量分布直方图H输入到上述A中完成训练的径向基函数神经网络的模型，得到当前图像的阈值Td，并根据阈值Td将需要进行缩放的被测试彩色RGB图像分成保护区域与非保护区域，设Vts(i)为需要进行缩放的被测试彩色RGB图像的能量向量Vts中的第i个值，当Vts(i)≥Td，则需要进行缩放的被测试彩色RGB图像的第i列属于保护区域；当Vts(i)<Td，则需要进行缩放的被测试彩色RGB图像的第i列属于非保护区域；
第十步，计算需要进行缩放的被测试彩色RGB图像保护区域与非保护区域的缩放比：
(10.1)根据上述第七步的判断缩放方式得到需要进行缩放的被测试彩色RGB图像总缩放率，并判断需要进行缩放的被测试彩色RGB图像的保护区域与非保护区域是否都要进行缩放，为了使非保护区域不被过度删除，设定一个固定阈值Tdel，当只缩放非保护区域就能达到目标缩放比，且对非保护区域缩放量不超过固定阈值Tdel，即满足下式(17)，则认为缩放比不大；反之，则认为缩放比大，
上式中，Nul指非保护区域的需要进行缩放的被测试彩色RGB图像列数，Nuw指非保护区域的需要进行缩放的被测试彩色RGB图像行数；
(10.2)当缩放比不大，则只删除非保护区域的需要进行缩放的被测试彩色RGB图像列数直到完成缩放目标，需要删除非保护区域的图像列数的公式如式18(a)和18(b)所示，当缩放比大，则先删除非保护区域的图像列至达到固定阈值Tdel上限，然后对非保护区域与保护区域使用同样大小的缩放比来删除需要进行缩放的被测试彩色RGB图像列至完成缩放目标，即当需要进行缩放的被测试彩色RGB图像的保护区域的缩放比是x，则需要进行缩放的被测试彩色RGB图像的非保护区域的缩放比是x+Tdel，其需要删除需要进行缩放的被测试彩色RGB图像的非保护区域与需要进行缩放的被测试彩色RGB图像的保护区域的图像列数如式(18c)～(18f)所示；
上述式(18)中，Nudl指需要进行缩放的被测试彩色RGB图像的非保护区域需要删除的图像列数，Nudw指需要进行缩放的被测试彩色RGB图像的非保护区域需要删除的图像行数，Npdl指需要进行缩放的被测试彩色RGB图像的保护区域需要删除的图像列数，Npdw指需要进行缩放的被测试彩色RGB图像的保护区域需要删除的图像行数，xl指需要进行缩放的被测试彩色RGB图像的保护区域图像列的删除率，xw指需要进行缩放的被测试彩色RGB图像的保护区域图像行的删除率，wtsu指需要进行缩放的被测试彩色RGB图像的非保护区域的宽度，ltsu指需要进行缩放的被测试彩色RGB图像的非保护区域的长度，
至此完成需要进行缩放的被测试彩色RGB图像的保护区域与非保护区域的缩放比计算；
第十一步，依概率随机缩放：
根据上述第十步中计算得到的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域的缩放比，求出的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域需要删除的直线数目，对需要进行缩放的被测试彩色RGB图像的保护区域与非保护区域进行依概率随机缩放，具体操作如下：
(11.1)对要进行缩放列的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域，使用以下公式(19)对需要进行缩放的被测试彩色RGB图像的第i列计算其概率函数值Pi，
Pi＝1-[(Vts(i)-min(Vts))/(max(Vts)-min(Vts))]1/2 (19),
上式中，Vts是需要进行缩放的被测试彩色RGB图像的能量向量；
(11.2)获得一个在[0,1]范围内的随机值Ri，比较Pi与Ri的大小,当Pi>Ri，则对需要进行缩放的被测试彩色RGB图像的第i列进行标注处理，当Pi<Ri，则不对需要进行缩放的被测试彩色RGB图像的第i列进行处理,当标注的直线数达到上述第七步中得到的进行缩放要求的数目时，则停止处理，进行下述第(11.3)步；
(11.3)根据在上述第七步中得到的缩放方式对标注的直线进行处理,当是缩小操作，则直接删除当前直线，并将其右侧的所有直线向左侧移动一个像素,当是放大操作，则先将其右侧的所有直线向右侧移动一个像素，再在该直线右侧一个像素处复制当前直线；
至此完成需要进行缩放的被测试彩色RGB图像的快速缩放。
本实施例使用了包括CARP、seam-carving、stream-carving、比例缩放和本发明方法五种方法对MSRA图像数据集的第801到第1000共200幅图像进行处理高度不变，宽度缩放到原图60％的处理，并对处理结果进行主观评价。为避免随机因素与个人主观差异，由六组没有经过训练的评价者分别对五种方法得出的结果进行评价，然后将所得的结果求平均值得出最终的结论。评价者根据主观评价标准在五幅缩放后的图像中选出两幅缩放效果最好的图像。统计结果如表1所示。
表1.主观评价结果
为了能客观的评价各方法的优缺点，利用到了MSRA图像数据集中的mask图像库，该图像库中包含了每幅图像对应的真实标注图，通过分析每种方法对真实标注图中重要物体的删除率来评价每种方法的有效性。
客观评价方法分三个标准：图像内容损失度、边缘过度删除度、重要物体成片删除度。图像内容损失度指缩放图像时，缩放算法对真实标注图上标出的重要物体的删除面积占重要物体总面积的比例。各方法的图像内容损失度如下表2所示：
表2.图像内容损失度表
各方法的图像内容损失度、边缘过度删除度和重要物体成片删除度求和，即为各方法的图像总损失率，统计结果如下表3所示：
表3.总损失度
本发明的算法最大的优点是运算速度较快，明显快于seam-carving、stream-carving等算法。为计算时间效率，在同一计算机上对MSRA图像数据集的第801到第1000共200幅图像均进行高度不变，宽度变成原来的80％的缩放操作。其中，操作系统为：Win7(64位)，开发语言为：MATLAB R2014a，计算机配置为：Intel(R)Core(TM)i5-4570CPU,8G。平均运行时间如下表4：
表4.各算法平均运行时间
实施例2
除以下区别之外，其他同实施例1：
(7.1)删除操作：
将输入的需要进行缩放的被测试彩色RGB图像大小和目标图像Io大小进行对比,当wts<w′ts时，进行删除操作，
当输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的大小在两个方向不满足式(13a)，则水平方向删除的线条数Nl与垂直方向删除的线条数Nw计算公式如式(14)
(7.2)复制操作：
当输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的大小在两个方向不满足式(15a)，则水平方向上复制的线条数Nl与垂直方向上复制的线条数Nw计算公式如式(16)，
(10.2)当缩放比不大，则只复制非保护区域的需要进行缩放的被测试彩色RGB图像行数直到完成缩放目标，需要复制非保护区域的图像行数的公式如式18(a)和18(b)所示，当缩放比大，则先复制非保护区域的图像列数至达到固定阈值Tdel上限，然后对非保护区域与保护区域使用同样大小的缩放比来复制需要进行缩放的被测试彩色RGB图像列数至完成缩放目标，即当需要进行缩放的被测试彩色RGB图像的保护区域的缩放比是x，则需要进行缩放的被测试彩色RGB图像的非保护区域的缩放比是x+Tdel，其需要复制需要进行缩放的被测试彩色RGB图像的非保护区域与需要进行缩放的被测试彩色RGB图像的保护区域的图像行数如式(18c)～(18f)所示；
上述式(18)中，Nudl指需要进行缩放的被测试彩色RGB图像的非保护区域需要复制的图像列数，Nudw指需要进行缩放的被测试彩色RGB图像的非保护区域需要复制的图像行数，Npdl指需要进行缩放的被测试彩色RGB图像的保护区域需要复制的图像列数，Npdw指需要进行缩放的被测试彩色RGB图像的保护区域需要复制的图像行数，xl指需要进行缩放的被测试彩色RGB图像的保护区域图像列数的删除率，xw指需要进行缩放的被测试彩色RGB图像的保护区域图像行数的删除率，wtsu指需要进行缩放的被测试彩色RGB图像的非保护区域的宽度，ltsu指需要进行缩放的被测试彩色RGB图像的非保护区域的长度，
第十一步，依概率随机缩放：
根据上述第十步中计算得到的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域的缩放比，求出的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域需要复制的直线数目，对需要进行缩放的被测试彩色RGB图像的保护区域与非保护区域进行依概率随机缩放，
(11.1)对要进行缩放列数的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域，使用公式(19)对需要进行缩放的被测试彩色RGB图像的第i列计算其概率函数值Pi。
Claims (4)
1.一种图像缩放方法，其特征在于：是一种基于阈值与概率的图像快速缩放方法，分为两个过程，A.径向基函数神经网络模型训练过程；B.需要进行缩放的被测试图像的缩放过程，具体步骤如下：
A.径向基函数神经网络的模型训练过程：
第一步，输入训练图像进行预处理：
通过USB接口输入训练用的彩色RGB图像，将输入的训练用彩色RGB图Itn像由RGB空间转化到灰度空间得到灰度图像Igray_tn，采用的公式(1)如下：
Igray_tn＝0.299IR+0.587IG+0.114IB (1)，
其中IR、IG、IB分别是RGB图像的红色、绿色和蓝色通道三个分量，同时保留原始输入的训练用的彩色RGB图像Itn，供第二步中显著性检测算法使用，输入训练用的彩色RGB图像Itn的大小为ltn×wtn像素，ltn＞0，wtn＞0；
第二步，提取训练用的彩色RGB图像重要度图：
(2.1)利用视觉显著度模型检测训练用的彩色RGB图像Itn中的显著性目标，得到显著度图：
利用视觉显著度模型检测训练用的彩色RGB图像Itn中的显著性目标，即对第一步保留的原始输入的彩色RGB图像Itn通过视觉显著度模型即GBVS模型计算显著度图，并将显著图输出为原始图片的单通道尺寸l×w像素，得到显著度图IGBVS_tn，l＞0，w＞0；
(2.2)提取灰度图像IGBVS_tn的梯度图：
利用第一步中得到的灰度图像Igrav_tn计算图像的梯度图，分别在x方向和y方向上对灰度图像求偏导，并取其绝对值得到两个方向上的梯度，然后将两个方向上的梯度相加得到第一步中的灰度图像Igray_tn的梯度图IGrad_tn，采用的公式(2)如下：
(2.3)重要度融合：
将上述(2.1)步中得到的显著度图IGBVS_tn与(2.2)步中得到的梯度图IGrad_tn进行融合，得到最终的重要度图IE_tn，采用的公式(3)如下：
IE_tn＝IGBVS_tn+IGrad_tn (3)，
由此提取到训练用的彩色图像重要度图；
第三步，计算输入训练用的彩色RGB图像的能量向量分布直方图：
根据第二步得到的重要度图IE_tn，计算输入训练用的彩色RGB图像的能量向量分布直方图，
(3.1)计算垂直方向能量向量分布直方图：
首先计算垂直方向能量向量，即垂直方向的重要度图的累加和，利用公式(4)：
其中，IE_tn(i，j)是重要度图IE_tn的第i行第j列个值，j＝1，...，w，Vtn_v(j)是能量向量Vtn_v的第j个值；
其次，进行垂直方向能量向量归一化处理：
则的取值范围是[0，1]；
最后，将的取值范围[0，1]平均分成N个子区间，N≥2，计算归一化后的垂直方向能量向量落在第k个子区间[(k-1)/N，k/N]的垂直方向能量向量值的个数mtn_v(k)，k＝1，2，...，N，统计mtn_v(k)在总列数中所占的比例数htn_v(k)：
根据htn_v(k)的计算得到垂直方向能量向量分布直方图：
Htn_v＝[htn_v(1)，htn_v(2)，htn_v(3)，...，htn_v(N)] (7)；
(3.2)计算水平方向能量向量分布直方图：
首先计算水平方向能量向量，即水平方向的重要度图的累加和，利用公式(8)：
其中，Vtn_h(i)是能量向量Vtn_h的第i个值，i＝1，...，l；
其次，进行水平方向能量向量归一化处理：
则的取值范围是[0，1]；
最后，将的取值范围[0，1]平均分成N个子区间，N≥2，计算归一化后的水平方向能量向量落在第k个子区间[(k-1)/N，k/N]的水平方向能量向量值的个数mtn_h(k)，k＝1，2，...，N，统计mtn_h(k)在总列数中所占的比例数htn_h(k)：
根据htn_h(k)得到水平方向能量向量分布直方图：
Htn_h＝[htn_h(1)，htn_h(2)，htn_h(3)，...，htn_h(N)] (11)，
由此完成能量向量分布直方图的计算；
第四步，获得阈值模型：
根据MSRA图像数据集中提供的与训练用的彩色RGB图像所对应的真实标注图与上述第三步得到的能量向量分布直方图，统计图像的最佳人工阈值并训练阈值模型，步骤如下：
(4.1)设定初始阈值Tm：
将彩色RGB图像中能量向量大于初始阈值Tm的部分使用阴影方式标注出来；
(4.2)对比带有标注的图像与真实标注图：
当带有标注的图像中被标注的区域没有完全覆盖真实标注图中标出的主要物体，则减小初始阈值Tm直到带有标注的图像中被标记的区域恰好覆盖真实标注图中标出的主要物体，当带有标注的图像中被标记的区域能够完全覆盖真实标注图中标出的主要物体并且覆盖到真实标注图中标出的主要物体区域之外，则增加初始阈值Tm直到带有标注的图像中被标记的区域恰好覆盖真实标注图中标出的主要物体；
(4.3)获得阈值模型：
统计训练集中所有图像的经过调整的初始阈值Tm即人工阈值，将所得到的每幅图像的最佳阈值与上述第三步计算的能量向量分布直方图作为输入数据，利用径向基函数神经网络进行训练，得到阈值模型；
至此，完成径向基函数神经网络的模型训练过程；
B.需要进行缩放的被测试图像的缩放过程：
第五步，输入需要进行缩放的被测试彩色RGB图像进行预处理：
通过计算机USB接口输入需要进行缩放的被测试彩色RGB图像Its，并输入目标图像的大小，将得到的彩色图像由RGB空间转化到灰度空间得到灰度图像Igray_ts，采用的公式(1’)为：
Igray_ts＝0.299IR+0.587Ic+0.114IB (1’)，
其中IR、IG、IB分别是被测试彩色RGB图像的红色、绿色和蓝色通道三个分量，保留原始输入的被测试彩色RGB图像Its，供下一步中显著性检测算法使用，输入的被测试彩色RGB图像Its每个通道的大小为lts×wts像素，lts＞0，wts＞0，目标图像Io每个通道的大小为l′ts×w′ts像素，l′ts＞0，w′ts＞0；
第六步，提取需要进行缩放的被测试彩色RGB图像重要度图：
使用与上述A中第二步相同的方法，提取需要进行缩放的被测试彩色RGB图像Its的重要度图IE_ts，由此提取到被测试彩色图像重要度图IE_ts；
第七步，判断需要进行缩放的被测试彩色RGB图像缩放方式：
根据上述第五步输入需要进行缩放的被测试彩色RGB图像Its的大小lts×wts像素和目标图像Io大小l′ts×w′ts像素，用如下式(12)计算总缩放比，并判断缩放方式，即是缩小操作还是放大操作，并计算水平方向与垂直方向所要删除/复制的直线条数；
上式中，Rl为需要进行缩放的被测试彩色RGB图像横向的总缩放率，Rw为需要进行缩放的被测试彩色RGB图像的纵向总缩放率，具体操作如下；
(7.1)删除操作：
将输入的需要进行缩放的被测试彩色RGB图像大小和目标图像Io大小进行对比，当lts＜l′ts或wts＜w′ts时，进行删除操作，设置缩放阈值TMAX，用于衡量缩放的尺度是否过大，当水平缩放尺度(lts-l′ts)与垂直缩放尺度(wts-w′ts)均满足下式(13a)，则水平方向删除的线条数Nl与垂直方向删除的线条数Nw，计算公式如式(13b)：
当输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的大小在一个或两个方向不满足式(13a)，则水平方向删除的线条数Nl与垂直方向删除的线条数Nw计算公式如式(14)：
(7.2)复制操作：
将输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的进行对比，当lts＞l′ts并且wts＞w′ts时，进行复制操作，对于上述(7.1)步中的缩放阈值TMAX，当水平缩放尺度(l′ts-lts)与垂直缩放尺度(w′ts-wts)均满足下式(15a)，则水平方向复制的线条数Nl与垂直方向复制的线条数Nw计算公式如式(15b)：
当输入的需要进行缩放的被测试彩色RGB图像与目标图像Io的大小在一个或两个方向不满足式(15a)，则水平方向上复制的线条数Nl与垂直方向上复制的线条数Nw计算公式如式(16)，
第八步，计算需要进行缩放的被测试彩色RGB图像的能量向量分布直方图：
根据上述第六步得到的需要进行缩放的被测试彩色RGB图像的重要度图IE_ts以及上述第七步的判断缩放方式，在需要缩放的方向上使用上述A中的第三步计算输入训练用的彩色RGB图像的能量向量分布直方图的相同的方法计算得需要进行缩放的被测试彩色RGB图像的能量向量分布直方图H；
第九步，根据当前图像的阈值Td将需要进行缩放的被测试彩色RGB图像分成保护区域与非保护区域：
将上述第八步得到的需要进行缩放的被测试彩色RGB图像的能量向量分布直方图H输入到上述A中完成训练的径向基函数神经网络的模型，得到当前图像的阈值Td，并根据阈值Td将需要进行缩放的被测试彩色RGB图像分成保护区域与非保护区域，设Vts(i)为需要进行缩放的被测试彩色RGB图像的能量向量Vts中的第i个值，当Vts(i)≥Td，则需要进行缩放的被测试彩色RGB图像的第i列属于保护区域；当Vts(i)＜Td，则原需要进行缩放的被测试彩色RGB图像的的第i列属于非保护区域；
第十步，计算需要进行缩放的被测试彩色RGB图像保护区域与非保护区域的缩放比：
(10.1)根据上述第七步的判断缩放方式得到需要进行缩放的被测试彩色RGB图像总缩放率，并判断需要进行缩放的被测试彩色RGB图像的保护区域与非保护区域是否都要进行缩放，为了使非保护区域不被过度删除，设定一个固定阈值Tdel＝0.5，当只缩放非保护区域就能达到目标缩放比，且对非保护区域缩放量不超过固定阈值Tdel，即满足下式(17)，则认为缩放比不大；反之，则认为缩放比大，
上式中，Nul指非保护区域的需要进行缩放的被测试彩色RGB图像列数，Nuw指非保护区域的需要进行缩放的被测试彩色RGB图像行数；
(10.2)当缩放比不大，则只删除或复制非保护区域的需要进行缩放的被测试彩色RGB图像列数或行数直到完成缩放目标，需要删除或复制非保护区域的图像列数或行数的公式如式18(a)和18(b)所示，当缩放比大，则先删除或复制非保护区域的图像列至达到固定阈值Tdel上限，然后对非保护区域与保护区域使用同样大小的缩放比来删除或复制需要进行缩放的被测试彩色RGB图像列至完成缩放目标，即当需要进行缩放的被测试彩色RGB图像的保护区域的缩放比是x，则需要进行缩放的被测试彩色RGB图像的非保护区域的缩放比是x+Tdel，其需要删除或复制需要进行缩放的被测试彩色RGB图像的非保护区域与需要进行缩放的被测试彩色RGB图像的保护区域的图像列数或行数如式(18c)～(18f)所示；
上述式(18)中，Nudl指需要进行缩放的被测试彩色RGB图像的非保护区域需要删除或复制的图像列数，Nudw指需要进行缩放的被测试彩色RGB图像的非保护区域需要删除或复制的图像行数，Npdl指需要进行缩放的被测试彩色RGB图像的保护区域需要删除或复制的图像列数，Npdw指需要进行缩放的被测试彩色RGB图像的保护区域需要删除或复制的图像行数，xl指需要进行缩放的被测试彩色RGB图像的保护区域图像列的删除率，xw指需要进行缩放的被测试彩色RGB图像的保护区域图像行的删除率，wtsu指需要进行缩放的被测试彩色RGB图像的非保护区域的宽度，ltsu指需要进行缩放的被测试彩色RGB图像的非保护区域的长度，
至此完成需要进行缩放的被测试彩色RGB图像的保护区域与非保护区域的缩放比计算；
第十一步，依概率随机缩放：
根据上述第十步中计算得到的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域的缩放比，求出的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域需要删除或复制的直线数目，对需要进行缩放的被测试彩色RGB图像的保护区域与非保护区域进行依概率随机缩放，具体操作如下：
(11.1)对要进行缩放行或列的需要进行缩放的被测试彩色RGB图像的保护区域和非保护区域，使用以下公式(19)对需要进行缩放的被测试彩色RGB图像的第i列计算其概率函数值Pi，
Pi＝1-[(Vts(i)-min(Vts))/(max(Vts)-min(Vts))]1/2 (19)，
上式中，Vts是需要进行缩放的被测试彩色RGB图像的能量向量；
(11.2)获得一个在[0，1]范围内的随机值Ri，比较Pi与Ri的大小，当Pi＞Ri，则对需要进行缩放的被测试彩色RGB图像的第i列进行标注处理，当Pi＜Ri，则不对需要进行缩放的被测试彩色RGB图像的第i列进行处理，当标注的直线数达到上述第七步中得到的进行缩放要求的数目时，则停止处理，进行下述第(11.3)步；
(11.3)根据在上述第七步中得到的缩放方式对标注的直线进行处理，当是缩小操作，则直接删除当前直线，并将其右侧的所有直线向左侧移动一个像素，当是放大操作，则先将其右侧的所有直线向右侧移动一个像素，再在该直线右侧一个像素处复制当前直线；
至此完成需要进行缩放的被测试彩色RGB图像的快速缩放。
2.根据权利要求1所述一种图像缩放方法，其特征在于：所述设定初始阈值Tm＝0.5。
3.根据权利要求1所述一种图像缩放方法，其特征在于：所述缩放阈值TMAX＝0.3。
4.根据权利要求1所述一种图像缩放方法，其特征在于：所述固定阈值Tdel＝0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610987694.1A CN106530232B (zh) | 2016-11-10 | 2016-11-10 | 一种图像缩放方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610987694.1A CN106530232B (zh) | 2016-11-10 | 2016-11-10 | 一种图像缩放方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106530232A CN106530232A (zh) | 2017-03-22 |
| CN106530232B true CN106530232B (zh) | 2019-09-06 |
Family
ID=58350515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610987694.1A Expired - Fee Related CN106530232B (zh) | 2016-11-10 | 2016-11-10 | 一种图像缩放方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106530232B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341596A (zh) * | 2017-06-20 | 2017-11-10 | 上海交通大学 | 基于层次任务网络和关键路径法的任务优化方法 |
| CN108447021B (zh) * | 2018-03-19 | 2021-06-08 | 河北工业大学 | 基于分块和逐帧优化的视频缩放方法 |
| CN108921784B (zh) * | 2018-06-13 | 2023-08-29 | 杭州吉吉知识产权运营有限公司 | 一种基于移动终端的图片压缩方法及系统 |
| CN109271939B (zh) * | 2018-09-21 | 2021-07-02 | 长江师范学院 | 基于单调波方向能量直方图的热红外人体目标识别方法 |
| CN110418195B (zh) * | 2019-08-09 | 2020-08-18 | 华南理工大学 | 一种基于最佳裁剪的实时视频缩略方法 |
| CN111047508B (zh) * | 2019-12-16 | 2024-04-26 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113506221A (zh) * | 2021-07-16 | 2021-10-15 | 深圳市爱协生科技有限公司 | 图像缩放方法及装置 |
| CN113808014B (zh) * | 2021-07-30 | 2024-04-05 | 华南师范大学 | 基于动态能量调整的图像缩放方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1585458A (zh) * | 2004-05-27 | 2005-02-23 | 上海交通大学 | 利用支持向量机进行视频字幕定位和提取的方法 |
| CN101556689A (zh) * | 2008-04-09 | 2009-10-14 | 宝利微电子系统控股公司 | 图像缩放方法及装置 |
| CN102222317A (zh) * | 2011-06-22 | 2011-10-19 | 王洪剑 | 一种图像缩放方法和系统 |
| CN102509259A (zh) * | 2011-09-28 | 2012-06-20 | 上海大学 | 基于图像中像素点方向的图像缩放方法 |
| CN105488758A (zh) * | 2015-11-30 | 2016-04-13 | 河北工业大学 | 一种基于内容感知的图像缩放方法 |
-
2016
- 2016-11-10 CN CN201610987694.1A patent/CN106530232B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1585458A (zh) * | 2004-05-27 | 2005-02-23 | 上海交通大学 | 利用支持向量机进行视频字幕定位和提取的方法 |
| CN101556689A (zh) * | 2008-04-09 | 2009-10-14 | 宝利微电子系统控股公司 | 图像缩放方法及装置 |
| CN102222317A (zh) * | 2011-06-22 | 2011-10-19 | 王洪剑 | 一种图像缩放方法和系统 |
| CN102509259A (zh) * | 2011-09-28 | 2012-06-20 | 上海大学 | 基于图像中像素点方向的图像缩放方法 |
| CN105488758A (zh) * | 2015-11-30 | 2016-04-13 | 河北工业大学 | 一种基于内容感知的图像缩放方法 |
Non-Patent Citations (3)
| Title |
|---|
| Seam Carvign for Content-Aware Image Resizing;Shai Avidan 等;《ACM Transactions on Graphics》;20070731;第26卷(第3期);第101页-第109页 |
| 一种改进的显著性区域提取模型;于明 等;《电视技术》;20121002;第36卷(第19期);第167页-第169页、第192页 |
| 结合显著度图和自适应能量线的快速图像缩放;王会千 等;《计算机应用研究》;20100930;第27卷(第9期);第3594-第3597页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106530232A (zh) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106530232B (zh) | 一种图像缩放方法 | |
| CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
| CN105488758B (zh) | 一种基于内容感知的图像缩放方法 | |
| CN102799669B (zh) | 一种商品图像视觉质量的自动分级方法 | |
| CN107784301A (zh) | 用于识别图像中文字区域的方法和装置 | |
| TWI526982B (zh) | 區域分割方法、電腦程式產品及檢查裝置 | |
| CN112767357A (zh) | 一种基于Yolov4的混凝土结构病害检测方法 | |
| CN105678813A (zh) | 一种肤色检测方法及装置 | |
| CN107844785A (zh) | 一种基于尺度估计的人脸检测方法 | |
| CN103985130B (zh) | 一种针对复杂纹理图像的图像显著性分析方法 | |
| CN110163030A (zh) | 一种基于图像信息的pdf有边框表格抽取方法 | |
| CN109272467A (zh) | 一种基于多尺度边缘线索的层次化图像分割方法 | |
| CN111223084A (zh) | 一种染色体切割数据的处理方法、系统和存储介质 | |
| CN112883926B (zh) | 表格类医疗影像的识别方法及装置 | |
| CN106650615A (zh) | 一种图像处理方法及终端 | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| EP4207058A1 (en) | Image recognition method, electronic device and readable storage medium | |
| CN114092833A (zh) | 遥感图像分类方法、装置、计算机设备和存储介质 | |
| CN105354549B (zh) | 基于似物性估计的快速行人检测方法 | |
| CN110209630A (zh) | Dxf文件信息处理方法、装置、计算机设备和存储介质 | |
| CN109636764A (zh) | 一种基于深度学习与显著性检测的图像风格转移方法 | |
| CN103218600A (zh) | 一种实时人脸检测算法 | |
| CN104732534A (zh) | 一种图像中显著目标的抠取方法及系统 | |
| CN112686872B (zh) | 基于深度学习的木材计数方法 | |
| CN112734747B (zh) | 一种目标检测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190906 |