CN108447021B - 基于分块和逐帧优化的视频缩放方法 - Google Patents

基于分块和逐帧优化的视频缩放方法 Download PDF

Info

Publication number
CN108447021B
CN108447021B CN201810223832.8A CN201810223832A CN108447021B CN 108447021 B CN108447021 B CN 108447021B CN 201810223832 A CN201810223832 A CN 201810223832A CN 108447021 B CN108447021 B CN 108447021B
Authority
CN
China
Prior art keywords
frame
video
subsequence
scaling
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810223832.8A
Other languages
English (en)
Other versions
CN108447021A (zh
Inventor
郭迎春
阎刚
于明
梁云鹤
赵昆鹏
毕容甲
金宇
耿宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201810223832.8A priority Critical patent/CN108447021B/zh
Publication of CN108447021A publication Critical patent/CN108447021A/zh
Application granted granted Critical
Publication of CN108447021B publication Critical patent/CN108447021B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明基于分块和逐帧优化的视频缩放方法，涉及一般的图像数据处理，是将视频序列按照镜头切换分割成N个视频子序列，对视频子序列分别在水平方向上和垂直方向上进行缩放与优化，步骤是：输入视频，根据镜头的切换帧进行镜头分割；对每个视频子序列中视频主体目标进行跟踪，获得相应视频子序列的视频轨迹跟踪框；整帧视频均匀分成x列向子块；合并标注，最终获得一帧视频图像帧fj_pt和一帧影子图像帧gj_pt；基于缩放比例的逐帧优化；按比例分别缩放视频图像帧fj_pt以及影子图像帧gj_pt中的保护区域和非保护区域；基于主体目标位置的逐帧优化。本发明方法克服了现有技术视频缩放中的视频抖动和目标图像与原图像严重不符的缺陷。

Description

基于分块和逐帧优化的视频缩放方法
技术领域
本发明的技术方案涉及一般的图像数据处理，具体地说是基于分块和逐帧优化的视频缩放方法。
背景技术
随着视频播放设备多样化的发展，视频经常需要改变大小来适应不同规格的显示设备，采用传统视频缩放方法，如最近邻域插值方法、双线性插值方法或双三次插值方法来插值缩放，会导致视频显示设备的显示面积不能被合理利用，有大面积黑边填充在视频两侧。而用户选择全屏播放视频时，又会导致视频边缘部分的信息丢失。基于内容感知的视频缩放技术可以有效解决视频播放设备与视频播放内容的尺寸匹配问题，自动地感知视频图像帧中的信息，缩放后保持用户所关注的视觉主体目标相对不变形。基于内容感知的缩放技术首先由Avidan和Shamir在2007年SIGGRAPH在“Seam carving for content-awareimage resizing”论文中提出，并首先应用于图像缩放领域，其主要思路是把图像缩放过程分为像素重要度的计算和增删裁剪线两部分，使图像的插入和删除出现在不重要的区域，称之为“线裁剪”。Rubinstein等人于2008年在“Improved seam carving for videoretargeting”一文中首次将线裁剪算法应用到了视频缩放当中。这种方法将二维平面中的裁剪线替换成了三维中的裁剪曲面，其存在的问题是：当不同视频图像帧之间运动主体目标的运动幅度较大时，不容易避开视频主体目标，导致信息丢失和视频抖动。
针对上述方法的缺陷，现有技术的改进方法大致分为两类：将运动信息添加到重要度图当中，以及将其他种类的图像缩放方法应用到视频领域。文献“Coarse-to-finetemporal optimization for video retargeting based on seam carving”利用前一帧的信息优化当前帧的能量图，能够约束当前帧裁剪线的生成位置，但没有从根本解决裁剪线生成过程中的随机性问题，由于视觉暂留的存在，在复杂纹理背景下前后帧之间裁剪线的微小差异都可能导致背景区域出现闪烁和视频抖动。文献“Low complexity content-aware video retargeting”在考虑帧内信息和帧间运动信息的同时，使用统一缩放算法进行缩放，但是仍存在不能很好地解决预防和消除由于帧间信息的差异度而导致的视频抖动的缺陷。CN104517262A公开了基于DCT域视觉显著性检测的自适应图像缩放方法，该方法存在对图像中较长的倾斜直线特征还不能够很好地保护而且融合过多的特征会增加算法的时间复杂度的缺陷。CN104166992A公开了基于网格变形的内容感知双目图像缩放方法，该方法没有考虑翻转、旋转的约束，缩放过程中可能会导致视频图像主体目标与原图像严重不符的缺陷。CN104822088A公开了视频图像缩放方法和装置，该方法本质上属于传统缩放技术，存在利用交互功能才能播放指定视频区域，缩放后会像传统裁剪算法一样丢失部分视频内容的缺陷。CN102831576B公开了一种视频图像缩放方法及系统，该方法存在缩放过程中不能很好地保护视频主体部分以及缩放过程容易发生抖动等缺陷。CN101976558B公开了一种视频图像缩放方法及装置，该方法没有考虑到缩放后帧与帧之间的时间相关性，导致视频图像缩放后容易出现频闪抖动的现象。
发明内容
本发明所要解决的技术问题是：提供基于分块和逐帧优化的视频缩放方法，将视频序列按照镜头切换分割成N个视频子序列，对视频子序列分别在水平方向上和垂直方向上进行缩放与优化，克服了现有技术视频缩放中的视频抖动和目标图像与原图像严重不符的缺陷。
本发明解决该技术问题所采用的技术方案是：基于分块和逐帧优化的视频缩放方法，是将视频序列按照镜头切换分割成N个视频子序列，对视频子序列分别在水平方向上和垂直方向上进行缩放与优化，具体步骤如下：
第一步，输入视频，根据镜头的切换帧进行镜头分割：
输入由N个镜头组成的视频，在对这些视频进行缩放之前通过计算帧与帧之间的直方图信息得出视频帧直方图，借助该得出的视频帧直方图识别出N-1个镜头的切换帧，根据镜头的切换帧将视频按镜头分割成N个视频子序列F，将该N个视频子序列F分别进行缩放操作，缩放后再将N个视频拼接成一个整体视频；
A.对视频子序列的水平方向缩放和优化：
第二步，对每个视频子序列中视频主体目标进行跟踪，获得相应视频子序列的影子轨迹跟踪框：
对上述第一步得到的每个视频子序列F中的视频主体目标进行跟踪定位，使缩放前后视频相邻两帧之间视频主体目标的位移具有一致性，防止视频主体目标出现大幅度的抖动，具体操作如下：
首先，提取上述第一步中经过切换帧分割出的视频子序列F中的视频子序列第一帧视频图像帧f1，在视频子序列第一帧视频图像帧f1中手动选取视频主体目标的最大外接矩形框作为初始的跟踪轨迹框，然后，利用公知的Struck跟踪算法进行逐帧跟踪，获取包含n帧图像的视频子序列F中的每一帧视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离集合d＝(d1,d2,···,dj,···,dn)，其中dj代表视频子序列第j帧视频图像帧fj中视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离，j＝1,…,n，这里n是当前视频子序列的帧数，进一步制作一个背景为纯白色的影子视频序列G，影子视频序列G与视频子序列F的帧数以及每帧的尺寸大小一样，在对上述第一步得到的每个视频子序列F中的视频主体目标进行跟踪的同时，在G中生成与该视频主体目标跟踪轨迹框的大小和位置相同的影子轨迹跟踪框，缩放原视频序列的同时以相同的标准对原视频的影子序列进行缩放，由此获得相应视频子序列的影子轨迹跟踪框；
第三步，整帧视频均匀分成x列向子块：
对上述第一步得到的每个视频子序列F进行逐帧按列均匀分块，具体方法是：利用流形排序方法提取上述第一步得到的每个视频子序列F中的视频子序列第j帧视频图像帧fj对应的显著图fj_s，j＝1,…,n，然后对显著度图fj_s进行二值化处理获得二值化显著图fj_b，分别对视频子序列第j帧视频图像帧fj、二值化显著图fj_b和相应的影子序列第j帧gj进行按列均匀分块，完成整帧视频均匀分成x列向子块；
第四步，合并标注，最终获得一帧视频图像帧fj_pt和一帧影子图像帧gj_pt：
对上述第三步中分块后的二值化显著图fj_b的各个列向子块，计算每个视频子序列F中的第j帧视频图像帧fj中的每一块的平均显著能量，二值化显著图fj_b中的第k个子块的平均能量
Figure GDA0002792062950000031
表示为：
Figure GDA0002792062950000032
其中k＝1,…,x，
Figure GDA0002792062950000033
为第k个子块中像素点位置(u,v)处的像素值，w和h分别是每个子块的宽度和高度，
每个视频子序列F中的视频子序列第j帧视频图像帧fj中所有子块的平均显著能量集合表示为：
Figure GDA0002792062950000034
对每个视频子序列F中的视频子序列第j帧视频图像帧fj中所有子块的平均显著能量进行排序，显著能量最高的块是每个视频子序列F中的视频子序列第j帧视频图像帧fj中最显著的块，并标注该块为保护区域，以保护区域为中心，选取保护区域两边的子块比较其平均显著能量，并选取能量大的块与保护区域合并标注为新的保护区域，重复以上操作直至两边的子块的平均显著能量都小于合并标注阈值，由此将视频图像帧中视频主体的边界标注到保护区域，未标注的子块为非保护区域，合并标注后最终获得一帧由一个面积较大的标注保护区域和y个面积较小的标注非保护区域组成的一帧视频图像帧fj_pt，同时对原视频相应的影子序列第j帧gj也进行相同的操作获得一帧影子图像帧gj_pt；
第五步，基于缩放比例的逐帧优化：
根据上述第四步中视频子序列第j帧视频图像帧fj中第k个子块的平均能量
Figure GDA0002792062950000035
和平均显著能量集合Ej计算其相应的缩放比例
Figure GDA0002792062950000036
Figure GDA0002792062950000037
视频子序列第j帧视频图像帧fj中所有子块的缩放比例集合为
Figure GDA0002792062950000038
并以此方法获得视频序列n帧中所有子块的缩放比例r＝(r1,r2,···,rj,···,rn)，对上述第四步视频子序列F中的第1帧视频图像帧f1_pt中标注为保护区域的子块，保护区域的缩放比为这些子块缩放比之和，即rp1，从视频子序列F中的第2帧开始，到视频子序列F中的第n-1帧结束，扫描每一帧以及其前后帧中保护区域的缩放比以及视频图像帧保护区域的面积，当视频子序列F中的视频子序列第j帧视频图像帧fj的保护区域的面积与前后帧的相同，即视频子序列F中的第j帧视频图像帧fj的保护区域所占的子块数与前后帧相同，那么对视频子序列F中的第j帧视频图像帧fj的保护区域缩放比rpj进行均值滤波优化，优化公式如下：
Figure GDA0002792062950000041
由此完成基于缩放比例的逐帧优化；
第六步，按比例分别缩放视频图像帧fj_pt以及影子图像帧gj_pt中的保护区域和非保护区域：
对于上述第四步中标注出保护区域和非保护区域后的视频图像帧fj_pt以及影子图像帧gj_pt按比例分别缩放，其中，对视频图像帧fj_pt的保护区域按rpj这个变量进行缩放，视频图像帧fj_pt的保护区域目标宽度为desire_w_pj＝(orig_w-desire_w)×rpj，其中orig_w和desire_w为视频图像帧的原始宽度和目标宽度，对视频图像帧fj_pt的非保护区域按照上述第五步中公式(3)进行缩放，对视频图像帧fj_pt中的所有块缩放后再将视频图像帧fj_pt中的非保护区域合并，即将保护区域两侧的非保护区域直接合并获得仅由两个非保护区域和一个保护区域组成的视频图像帧记作fj_re，用于逐帧优化过程中的尺寸调整，对影子图像帧gj_pt缩放后，将影子图像帧gj_pt的保护区域和非保护区域合并成一个整体记作gj_re，用于逐帧优化过程中的定位操作；
第七步，基于主体目标位置的逐帧优化：
上述第一步得到的每个视频子序列F中的帧数为n的视频子序列共需进行n-2次优化，每一次优化一共有六个视频图像帧参与运算，将该六个视频图像帧分为三组，分别是上述第六步得到的视频图像帧fj_re以及其前一帧fj-1_re、视频子序列F中的视频子序列第j帧视频图像帧fj以及其前一帧fj-1、和视频图像帧fj_re的影子视频序列中第j帧gj_re以及其前一帧gj-1_re，每一次的优化过程如下：
从左往右从上往下逐像素扫描获取影子视频序列中第j帧gj_re以及其前一帧gj-1_re中第一个像素值为0的像素点的横坐标，即视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离，分别为dj_re个像素、dj-1_re个像素，直接读取上述第二步中跟踪轨迹框随着视频主体目标运动时的坐标获得视频子序列F中的视频子序列第j帧视频图像帧fj与其前一帧fj-1中视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离dj像素、dj-1像素，则视频图像帧fj_re中视频主体目标左边界到视频边界左边框的距离为：
Figure GDA0002792062950000051
其中
Figure GDA0002792062950000052
为校正因子，接着根据dj_opt对视频图像帧fj_re进行优化，视频图像帧fj_re中从左至右的第一个非保护区域的尺寸需要增加dj_opt-dj_re个像素，而视频图像帧fj_re中从左至右的第二个非保护区域的尺寸需要减少dj_opt-dj_re个像素，保护区域的尺寸不变，最后将两个非保护区域和一个保护区域合并为一个整体作为当前帧水平缩放后的最终结果，依此方法从第2帧对视频进行优化，直至倒数第2帧；
至此完成视频子序列在水平方向上的缩放与优化；
B.对视频子序列的垂直方向缩放和优化：
对完成上述A.对视频序列的水平方向缩放和优化后的视频子序列视频数据进行转置，重复上述第二步到第七步的操作，进行并完成视频子序列在垂直方向上的缩放与优化；
至此，完成对视频子序列分别在水平方向上和垂直方向上的缩放与优化。
上述基于分块和逐帧优化的视频缩放方法，所述第三步中的均匀分成x列向子块，其中x为20。
上述基于分块和逐帧优化的视频缩放方法，所述第四步中的合并标注阈值设定为1。
上述基于分块和逐帧优化的视频缩放方法，所述第四步中的y个面积较小的标注非保护区域组成的一帧视频图像帧fj_pt，这里的“y”的值是不固定的，取决于当前帧视频主体目标的大小，由于帧间的差异性在同一个单镜头视频序列中y的值也有可能发生变化，视频主体目标大，标注的保护区域面积就大，非保护区域面积就小，y的值也就会相对较小，反之，y值就相对较大；公式(2)中的x是总共的列向子块数，还未进行合并标注。Ej表示的是未标注的第j帧视频图像帧fj中的子块的能量，需要根据Ej对子块进行合并标注，假如x＝20，合并标注后有8块子块被标注为保护区域，那么y＝20-8＝12。
上述基于分块和逐帧优化的视频缩放方法，其中的流形排序方法英文缩写为MR，全称为Manifold Ranking，为本技术领域公知的算法。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法与CN104517262A相比，本发明方法所具有的优点是对视频内容中的直线结构能够进行很好地保护。
(2)本发明方法与CN104166992A相比，本发明方法所具有的优点是大尺度缩放后不会产生视觉难以接受的扭曲与形变。
(3)本发明方法与CN104822088A相比，本发明方法所具有的优点是智能选取缩放区域，不需通过人机交互方式进行缩放，缩放后不会丢失视频内容。
(4)本发明方法与CN102831576B相比，本发明方法所具有的优点是可以有针对性地对视频主体区域进行保护，提高缩放效果。
(5)本发明方法与CN101976558B比，本发明方法所具有的优点是利用逐帧优化的方式提高了帧与帧之间的时间相关性，缩放后有效防止视频抖动现象发生。
(6)本发明方法将视频序列按照镜头切换分割成N个视频子序列，对视频分别在水平和垂直方向上进行缩放与优化，在水平方向上，首先对每个视频子序列中视频主体目标进行跟踪获得相应视频子序列的视频跟踪轨迹框，接着对视频子序列逐帧按列进行均匀分块，根据视频子序列每帧中每一块的平均能量识别出保护区域，并确定每一块的缩放比例；然后对视频子序列逐帧进行基于保护区域缩放比和视频主体目标位置的逐帧优化，通过均值滤波消除缩放比的异常值，利用跟踪算法获得每一帧中视频主体目标到视频边界的距离，根据缩放比例对视频子序列第一帧中子块进行合并作为基准帧，对下一帧进行缩放时，计算缩放前下一帧中的视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离与前一帧中视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离的比例作为校正因子，根据校正因子和缩放后前一帧中视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离获得后一帧的视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离，实现防止视频主体目标抖动的逐帧优化；水平方向缩放完成后，对视频数据进行转置，重复上述方法进行垂直方向上视频序列的缩放；将优化后的视频子序列合并成缩放的视频序列。因此说，本发明方法是一种基于分块思想和逐帧优化的视频缩放方法，克服了现有技术视频缩放中的视频抖动和目标图像与原图像严重不符的缺陷，解决了现有技术无法快速稳定地缩放视频的问题。
(7)本发明方法运用逐帧优化的方法通过前后帧之间主体目标位置以及主体目标缩放比例的关系，对当前帧进行优化，使视频播放过程中前后帧之间的主体目标的位置及大小具有时间一致性，避免抖动现象发生。
(8)本发明方法利用分块思想，能够划分出视频图像帧的保护区域和非保护区域，并合理地为每一部分分配缩放比例，实现了对图像主体目标的保护。
(9)本发明将视频缩放方法和目标跟踪方法结合在一起，可以实现精准定位视频序列中主体目标的位置，从而进行防抖处理。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明基于分块和逐帧优化的视频缩放方法的流程示意框图。
图2是视频序列boat2.avi中通过现有技术传统线裁剪算法缩放后的轮船视频序列中的视频图像第2帧到视频图像第9帧。
图3是视频序列boat2.avi中通过本发明方法中缩放后逐帧优化前的轮船视频序列中的视频图像第2帧到视频图像第9帧。
图4是视频序列boat2.avi中通过本发明方法优化后的轮船视频序列中的视频图像第2帧到视频图像第9帧。
图中，2-1.传统线裁剪算法缩放后的轮船视频序列中的视频图像第2帧，2-2.传统线裁剪算法缩放后的轮船视频序列中的视频图像第3帧，2-3.传统线裁剪算法缩放后的轮船视频序列中的视频图像第4帧，2-4.传统线裁剪算法缩放后的轮船视频序列中的视频图像第5帧，2-5.传统线裁剪算法缩放后的轮船视频序列中的视频图像第6帧，2-6.传统线裁剪算法缩放后的轮船视频序列中的视频图像第7帧，2-7.传统线裁剪算法缩放后的轮船视频序列中的视频图像第8帧,2-8.传统线裁剪算法缩放后的轮船视频序列中的视频图像第9帧,3-1.本发明方法中缩放后逐帧优化前的轮船视频序列中的视频图像第2帧，3-2.本发明方法中缩放后逐帧优化前的轮船视频序列中的视频图像第3帧，3-3.本发明方法中缩放后逐帧优化前的轮船视频序列中的视频图像第4帧，3-4.本发明方法中缩放后逐帧优化前的轮船视频序列中的视频图像第5帧，3-5.本发明方法中缩放后逐帧优化前的轮船视频序列中的视频图像第6帧，3-6.本发明方法中缩放后逐帧优化前的轮船视频序列中的视频图像第7帧，3-7.本发明方法中缩放后逐帧优化前的轮船视频序列中的视频图像第8帧，3-8.本发明方法中缩放后逐帧优化前的轮船视频序列中的视频图像第9帧，4-1.本发明方法优化后的轮船视频序列中的视频图像第2帧，4-2.本发明方法优化后的轮船视频序列中的视频图像第3帧，4-3.本发明方法优化后的轮船视频序列中的视频图像第4帧，4-4.本发明方法优化后的轮船视频序列中的视频图像第5帧，4-5.本发明方法优化后的轮船视频序列中的视频图像第6帧，4-6.传本发明方法优化后的轮船视频序列中的视频图像第7帧，4-7.本发明方法优化后的轮船视频序列中的视频图像第8帧，4-8.本发明方法优化后的轮船视频序列中的视频图像第9帧。
具体实施方式
图1所示实施例表明，本发明基于分块和逐帧优化的视频缩放方法的流程如下：
输入视频，根据镜头的切换帧进行镜头分割→对每个视频子序列中视频主体目标进行跟踪，获得相应视频子序列的视频轨迹跟踪框→整帧视频均匀分成x列向子块→合并标注，最终获得一帧视频图像帧fj_pt和一帧影子图像帧gj_pt→基于缩放比例的逐帧优化→按比例分别缩放视频图像帧fj_pt以及影子图像帧gj_pt中的保护区域和非保护区域→基于主体目标位置的逐帧优化。
上述流程对视频序列的水平方向缩放和优化及对视频序列的垂直方向缩放和优化是相同的，对视频序列的水平方向缩放和优化后的视频子序列视频数据进行转置，重复上述流程操作，即进行垂直方向上视频序列的缩放与优化。
实施例1
本实施例的基于分块和逐帧优化的视频缩放方法，具体步骤如下：
第一步，输入视频，根据镜头的切换帧进行镜头分割：
读入由N＝3个镜头组成的视频boat2.avi，视频尺寸为320×240像素，在对这些视频进行缩放之前通过计算帧与帧之间的直方图信息得出视频帧直方图，借助该得出的视频帧直方图识别出N-1＝2个镜头的切换帧，根据镜头的切换帧将视频按镜头分割成N＝3个视频子序列F，将该N＝3个视频子序列F分别进行缩放操作，缩放后再将该N＝3个视频拼接成一个整体视频，本实施例中视频子序列F的主体目标内容为一艘轮船；
A.对视频子序列的水平方向缩放和优化：
第二步，对每个视频子序列中视频主体目标进行跟踪，获得相应视频子序列的影子轨迹跟踪框：
对上述第一步得到的每个视频子序列F中的视频主体目标一艘轮船进行跟踪定位，使缩放前后视频相邻两帧之间视频主体目标一艘轮船的位移具有一致性，防止视频主体目标一艘轮船出现大幅度的抖动，具体操作如下：
首先，提取上述第一步中经过切换帧分割出的视频子序列F中的视频子序列第一帧视频图像帧f1，在视频子序列第一帧视频图像帧f1中手动选取视频主体目标一艘轮船的最大外接矩形框作为初始的跟踪轨迹框，然后，利用公知的Struck跟踪算法进行逐帧跟踪，获取包含n＝60帧图像的视频子序列F中的每一帧视频主体目标一艘轮船跟踪轨迹框的左边框到视频边界左边框的距离集合d＝(d1,d2,···,dj,···,dn)，其中dj代表视频子序列第j帧视频图像帧fj中视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离，j＝1,…,n，这里n是当前视频子序列的帧数，同时为了方便获得缩放过程对视频图像帧主体目标一艘轮船位置的影响，进一步制作一个背景为纯白色的影子视频序列G，影子视频序列G与视频子序列F的帧数以及每帧的尺寸大小一样，在对上述第一步得到的每个视频子序列F中的视频主体目标进行跟踪的同时，在G中生成与该视频主体目标跟踪轨迹框的大小和位置相同的影子轨迹跟踪框，缩放原视频序列的同时以相同的标准对原视频的影子序列进行缩放，由此获得相应视频子序列的影子轨迹跟踪框；然后通过检测缩放后影子序列中影子轨迹跟踪框的位置，获得缩放过程对图像主体目标一艘轮船位置人为造成的变化；
第三步，整帧视频均匀分成x＝20列向子块：
对上述第一步得到的每个视频子序列F进行逐帧按列均匀分块，具体方法是：利用流形排序方法提取上述第一步得到的每个视频子序列F中的视频子序列第j帧视频图像帧fj对应的显著图fj_s，j＝1,…,n，然后对显著度图fj_s进行二值化处理获得二值化显著图fj_b，分别对视频子序列第j帧视频图像帧fj、二值化显著图fj_b和相应的影子序列第j帧gj进行按列均匀分块，完成整帧视频均匀分成x＝20列向子块；
第四步，合并标注，最终获得一帧视频图像帧fj_pt和一帧影子图像帧gj_pt：
对上述第三步中分块后的二值化显著图fj_b的各个列向子块，计算每个视频子序列F中的第j帧视频图像帧fj中的每一块的平均显著能量，二值化显著图fj_b中的第k个子块的平均能量
Figure GDA0002792062950000081
表示为：
Figure GDA0002792062950000082
其中k＝1,…,20，
Figure GDA0002792062950000083
为第k个子块中像素点位置(u,v)处的像素值，w和h分别是每个子块的宽度和高度，本实施例中w＝16像素，h＝240像素。
每个视频子序列F中的视频子序列第j帧视频图像帧fj中所有子块的平均显著能量集合表示为：
Figure GDA0002792062950000091
对每个视频子序列F中的视频子序列第j帧视频图像帧fj中所有子块的平均显著能量进行排序，显著能量最高的块是每个视频子序列F中的视频子序列第j帧视频图像帧fj中最显著的块，并标注该块为保护区域，以保护区域为中心，选取保护区域两边的子块比较其平均显著能量，并选取能量大的块与保护区域合并标注为新的保护区域，重复以上操作直至两边的子块的平均显著能量都小于合并标注阈值＝1，由此将视频图像帧中视频主体的边界标注到保护区域，本实施例有8块子块被标注为保护区域，未标注的子块为非保护区域，合并标注后最终获得一帧由一个面积较大的标注保护区域和y＝12个面积较小的标注非保护区域组成的一帧视频图像帧fj_pt，同时对原视频相应的影子序列第j帧gj也进行相同的操作获得一帧影子图像帧gj_pt；
第五步，基于缩放比例的逐帧优化：
根据上述第四步中视频子序列第j帧视频图像帧fj中第k个子块的平均能量
Figure GDA0002792062950000092
和平均显著能量集合Ej计算其相应的缩放比例
Figure GDA0002792062950000093
Figure GDA0002792062950000094
视频子序列第j帧视频图像帧fj中所有子块的缩放比例集合为
Figure GDA0002792062950000095
并以此方法获得视频序列n帧中所有子块的缩放比例r＝(r1,r2,···,rj,···,rn)，对上述第四步视频子序列F中的第1帧视频图像帧f1_pt中标注为保护区域的子块，保护区域的缩放比为这些子块缩放比之和，即rp1，从视频子序列F中的第2帧视频图像帧开始，到视频子序列F中的第n-1帧视频图像帧结束，扫描每一帧以及其前后帧中保护区域的缩放比以及视频图像帧保护区域的面积，当视频子序列F中的视频子序列第j帧视频图像帧fj的保护区域的面积与前后帧的相同，即视频子序列F中的第j帧视频图像帧fj的保护区域所占的子块数与前后帧相同，那么对视频子序列F中的第j帧视频图像帧fj的保护区域缩放比rpj进行均值滤波优化，优化公式如下：
Figure GDA0002792062950000096
由此完成基于缩放比例的逐帧优化；
第六步，按比例分别缩放视频图像帧fj_pt以及影子图像帧gj_pt中的保护区域和非保护区域：
对于上述第四步中标注出保护区域和非保护区域后的视频图像帧fj_pt以及影子图像帧gj_pt按比例分别缩放，其中，对视频图像帧fj_pt的保护区域按rpj这个变量进行缩放，视频图像帧fj_pt的保护区域目标宽度为desire_w_pj＝(orig_w-desire_w)×rpj，其中orig_w和desire_w为视频图像帧的原始宽度和目标宽度，对视频图像帧fj_pt的非保护区域按照上述第五步中公式(3)进行缩放，对视频图像帧fj_pt中的所有块缩放后再将视频图像帧fj_pt中的非保护区域合并，即将保护区域两侧的非保护区域直接合并获得仅由两个非保护区域和一个保护区域组成的视频图像帧记作fj_re，用于逐帧优化过程中的尺寸调整，对影子图像帧gj_pt缩放后，将影子图像帧gj_pt的保护区域和非保护区域合并成一个整体记作gj_re，用于逐帧优化过程中的定位操作；
第七步，基于主体目标位置的逐帧优化：
上述第一步得到的每个视频子序列F中的帧数为n的视频子序列共需进行n-2次优化，每一次优化一共有六个视频图像帧参与运算，将该六个视频图像帧分为三组，分别是上述第六步得到的视频图像帧fj_re以及其前一帧fj-1_re、视频子序列F中的视频子序列第j帧视频图像帧fj以及其前一帧fj-1、和视频图像帧fj_re的影子视频序列中第j帧gj_re以及其前一帧gj-1_re，每一次的优化过程如下：
从左往右从上往下逐像素扫描获取影子视频序列中第j帧gj_re以及其前一帧gj-1_re中第一个像素值为0的像素点的横坐标，即视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离，分别为dj_re个像素、dj-1_re个像素，直接读取上述第二步中跟踪轨迹框随着视频主体目标运动时的坐标获得视频子序列F中的视频子序列第j帧视频fj与其前一帧fj-1中视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离dj像素、dj-1像素，则视频图像帧fj_re中视频主体目标左边界到视频边界左边框的距离为：
Figure GDA0002792062950000101
其中
Figure GDA0002792062950000102
为校正因子，接着根据dj_opt对视频图像帧fj_re进行优化，视频图像帧fj_re中从左至右的第一个非保护区域的尺寸需要增加dj_opt-dj_re个像素，而视频图像帧fj_re中从左至右的第二个非保护区域的尺寸需要减少dj_opt-dj_re个像素，保护区域的尺寸不变，最后将两个非保护区域和一个保护区域合并为一个整体作为当前帧水平缩放后的最终结果，依此方法从第2帧对视频进行优化，直至倒数第2帧；
至此完成需要进行缩放的视频子序列在水平方向上的缩放与优化；
B.对视频序列的垂直方向缩放和优化：
对完成上述A.对视频序列的水平方向缩放和优化后的视频子序列视频数据进行转置，重复上述第二步到第七步的操作，进行垂直方向上视频序列的缩放与优化；
至此，完成对视频子序列的缩放和优化。
上述实施例中的流形排序方法英文缩写为MR，全称为Manifold Ranking，为本技术领域公知的算法。
图2-图4显示了本实施例基于分块和逐帧优化的视频缩放方法对轮船视频的处理效果。
图2显示了本实施例在视频序列boat2.avi中通过现有技术传统线裁剪算法缩放后的轮船视频序列中的视频图像第2帧2-1、视频图像第3帧2-2、视频图像第4帧2-3、视频图像第5帧2-4、视频图像第6帧2-5、视频图像第7帧2-6、视频图像第8帧2-7和视频图像第9帧2-8，并手工标注了轮船到视频右边缘的距离。由于传统线裁剪算法裁剪线生成具有随机性，可以看出图2中各个视频图像帧之间的轮船到视频边界的距离波动明显，导致视频播放过程中出现了明显的抖动，而且在视频播放过程中背景部分也出现了裁剪线形状的纹理闪烁，严重影响视觉体验。
图3显示了本实施例在视频序列boat2.avi中通过本实施例方法缩放后逐帧优化前的视频序列的视频图像第2帧3-1、视频图像第3帧3-2、视频图像第4帧3-3、视频图像第5帧3-4、视频图像第6帧3-5、视频图像第7帧3-6、视频图像第8帧3-7和视频图像第9帧3-8。可以看到相对于图2中线裁剪算法的缩放结果，本发明方法的缩放在对视频主体目标的保护和时间一致性上得到了很大的提高，但视频图像第2帧到视频图像第3帧轮船到视频边界的距离相对于前一帧仍有一个明显缩小的过程，视频图像第6帧到视频图像第7帧有一个明显放大的过程，视频图像第7帧到视频图像第8帧又有一个明显缩小的过程，而且右下角的小船变化忽大忽小，视频播放时在视觉暂留现象下尤为明显。
图4显示了本实施例在视频序列boat2.avi中通过本实施例方法优化后的轮船视频序列中的视频图像第2帧4-1、视频图像第3帧4-2、视频图像第4帧4-3、视频图像第5帧4-4、视频图像第6帧4-5、视频图像第7帧4-6、视频图像第8帧4-7和视频图像第9帧4-8。可以看出优化后，轮船到视频右边界的距离变化过程比较平缓，消除了图3中的抖动现象。

Claims (3)

1.基于分块和逐帧优化的视频缩放方法，其特征在于：是将视频序列按照镜头切换分割成N个视频子序列，对视频子序列分别在水平方向上和垂直方向上进行缩放与优化，具体步骤如下：
第一步，输入视频，根据镜头的切换帧进行镜头分割：
输入由N个镜头组成的视频，在对这些视频进行缩放之前通过计算帧与帧之间的直方图信息得出视频帧直方图，借助该得出的视频帧直方图识别出N-1个镜头的切换帧，根据镜头的切换帧将视频按镜头分割成N个视频子序列F，将该N个视频子序列F分别进行缩放操作，缩放后再将N个视频拼接成一个整体视频；
A.对视频子序列的水平方向缩放和优化：
第二步，对每个视频子序列中视频主体目标进行跟踪，获得相应视频子序列的影子轨迹跟踪框：
对上述第一步得到的每个视频子序列F中的视频主体目标进行跟踪定位，使缩放前后视频相邻两帧之间视频主体目标的位移具有一致性，防止视频主体目标出现大幅度的抖动，具体操作如下：
首先，提取上述第一步中经过切换帧分割出的视频子序列F中的视频子序列第一帧视频图像帧f1，在视频子序列第一帧视频图像帧f1中手动选取视频主体目标的最大外接矩形框作为初始的跟踪轨迹框，然后，利用公知的Struck跟踪算法进行逐帧跟踪，获取包含n帧图像的视频子序列F中的每一帧视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离集合d＝(d1,d2,…,dj,…,dn)，其中dj代表视频子序列第j帧视频图像帧fj中视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离，j＝1,…,n，这里n是当前视频子序列的帧数，进一步制作一个背景为纯白色的影子视频序列G，影子视频序列G与视频子序列F的帧数以及每帧的尺寸大小一样，在对上述第一步得到的每个视频子序列F中的视频主体目标进行跟踪的同时，在G中生成与该视频主体目标跟踪轨迹框的大小和位置相同的影子轨迹跟踪框，缩放原视频序列的同时以相同的标准对原视频的影子序列进行缩放，由此获得相应视频子序列的影子轨迹跟踪框；
第三步，整帧视频均匀分成x列向子块：
对上述第一步得到的每个视频子序列F进行逐帧按列均匀分块，具体方法是：利用流形排序方法提取上述第一步得到的每个视频子序列F中的视频子序列第j帧视频图像帧fj对应的显著图fj_s，j＝1,…,n，然后对显著度图fj_s进行二值化处理获得二值化显著图fj_b，分别对视频子序列第j帧视频图像帧fj、二值化显著图fj_b和相应的影子序列第j帧gj进行按列均匀分块，完成整帧视频均匀分成x列向子块；
第四步，合并标注，最终获得一帧视频图像帧fj_pt和一帧影子图像帧gj_pt：
对上述第三步中分块后的二值化显著图fj_b的各个列向子块，计算每个视频子序列F中的第j帧视频图像帧fj中的每一块的平均显著能量，二值化显著图fj_b中的第k个子块的平均能量
Figure FDA0002792062940000021
表示为：
Figure FDA0002792062940000022
其中k＝1,…,x,
Figure FDA0002792062940000023
为第k个子块中像素点位置(u,v)处的像素值，w和h分别是每个子块的宽度和高度，
每个视频子序列F中的视频子序列第j帧视频图像帧fj中所有子块的平均显著能量集合表示为：
Figure FDA0002792062940000024
对每个视频子序列F中的视频子序列第j帧视频图像帧fj中所有子块的平均显著能量进行排序，显著能量最高的块是每个视频子序列F中的视频子序列第j帧视频图像帧fj中最显著的块，并标注该块为保护区域，以保护区域为中心，选取保护区域两边的子块比较其平均显著能量，并选取能量大的块与保护区域合并标注为新的保护区域，重复以上操作直至两边的子块的平均显著能量都小于合并标注阈值，由此将视频图像帧中视频主体的边界标注到保护区域，未标注的子块为非保护区域，合并标注后最终获得一帧由一个面积较大的标注保护区域和y个面积较小的标注非保护区域组成的一帧视频图像帧fj_pt，同时对原视频相应的影子序列第j帧gj也进行相同的操作获得一帧影子图像帧gj_pt；
第五步，基于缩放比例的逐帧优化：
根据上述第四步中视频子序列第j帧视频图像帧fj中第k个子块的平均能量
Figure FDA0002792062940000025
和平均显著能量集合Ej计算其相应的缩放比例
Figure FDA0002792062940000026
Figure FDA0002792062940000027
视频子序列第j帧视频图像帧fj中所有子块的缩放比例集合为
Figure FDA0002792062940000028
并以此方法获得视频序列n帧中所有子块的缩放比例r＝(r1,r2,…,rj,…,rn)，对上述第四步视频子序列F中的第1帧视频图像帧f1_pt中标注为保护区域的子块，保护区域的缩放比为这些子块缩放比之和，即rp1，从视频子序列F中的第2帧开始，到视频子序列F中的第n-1帧结束，扫描每一帧以及其前后帧中保护区域的缩放比以及视频图像帧保护区域的面积，当视频子序列F中的视频子序列第j帧视频图像帧fj的保护区域的面积与前后帧的相同，即视频子序列F中的第j帧视频图像帧fj的保护区域所占的子块数与前后帧相同，那么对视频子序列F中的第j帧视频图像帧fj的保护区域缩放比rpj进行均值滤波优化，优化公式如下：
Figure FDA0002792062940000031
由此完成基于缩放比例的逐帧优化；
第六步，按比例分别缩放视频图像帧fj_pt以及影子图像帧gj_pt中的保护区域和非保护区域：
对于上述第四步中标注出保护区域和非保护区域后的视频图像帧fj_pt以及影子图像帧gj_pt按比例分别缩放，其中，对视频图像帧fj_pt的保护区域按rpj这个变量进行缩放，视频图像帧fj_pt的保护区域目标宽度为desire_w_pj＝(orig_w-desire_w)×rpj，其中orig_w和desire_w为视频图像帧的原始宽度和目标宽度，对视频图像帧fj_pt的非保护区域按照上述第五步中公式(3)进行缩放，对视频图像帧fj_pt中的所有块缩放后再将视频图像帧fj_pt中的非保护区域合并，即将保护区域两侧的非保护区域直接合并获得仅由两个非保护区域和一个保护区域组成的视频图像帧记作fj_re，用于逐帧优化过程中的尺寸调整，对影子图像帧gj_pt缩放后，将影子图像帧gj_pt的保护区域和非保护区域合并成一个整体记作gj_re，用于逐帧优化过程中的定位操作；
第七步，基于主体目标位置的逐帧优化：
上述第一步得到的每个视频子序列F中的帧数为n的视频子序列共需进行n-2次优化，每一次优化一共有六个视频图像帧参与运算，将该六个视频图像帧分为三组，分别是上述第六步得到的视频图像帧fj_re以及其前一帧fj-1_re、视频子序列F中的视频子序列第j帧视频图像帧fj以及其前一帧fj-1、和视频图像帧fj_re的影子视频序列中第j帧gj_re以及其前一帧gj-1_re，每一次的优化过程如下：
从左往右从上往下逐像素扫描获取影子视频序列中第j帧gj_re以及其前一帧gj-1_re中第一个像素值为0的像素点的横坐标，即视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离，分别为dj_re个像素、dj-1_re个像素，直接读取上述第二步中跟踪轨迹框随着视频主体目标运动时的坐标获得视频子序列F中的视频子序列第j帧视频图像帧fj与其前一帧fj-1中视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离dj像素、dj-1像素，则视频图像帧fj_re中视频主体目标左边界到视频边界左边框的距离为：
Figure FDA0002792062940000032
其中
Figure FDA0002792062940000033
为校正因子，接着根据dj_opt对视频图像帧fj_re进行优化，视频图像帧fj_re中从左至右的第一个非保护区域的尺寸需要增加dj_opt-dj_re个像素，而视频图像帧fj_re中从左至右的第二个非保护区域的尺寸需要减少dj_opt-dj_re个像素，保护区域的尺寸不变，最后将两个非保护区域和一个保护区域合并为一个整体作为当前帧水平缩放后的最终结果，依此方法从第2帧对视频进行优化，直至倒数第2帧；
至此完成视频子序列在水平方向上的缩放与优化；
B.对视频子序列的垂直方向缩放和优化：
对完成上述A.对视频序列的水平方向缩放和优化后的视频子序列视频数据进行转置，重复上述第二步到第七步的操作，进行并完成视频子序列在垂直方向上的缩放与优化；
至此，完成对视频子序列分别在水平方向上和垂直方向上的缩放与优化。
2.根据权利要求1所述基于分块和逐帧优化的视频缩放方法，其特征在于：所述第三步中的均匀分成x列向子块，其中x为20。
3.根据权利要求1所述基于分块和逐帧优化的视频缩放方法，其特征在于：所述第四步中的合并标注阈值设定为1。
CN201810223832.8A 2018-03-19 2018-03-19 基于分块和逐帧优化的视频缩放方法 Expired - Fee Related CN108447021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810223832.8A CN108447021B (zh) 2018-03-19 2018-03-19 基于分块和逐帧优化的视频缩放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810223832.8A CN108447021B (zh) 2018-03-19 2018-03-19 基于分块和逐帧优化的视频缩放方法

Publications (2)

Publication Number Publication Date
CN108447021A CN108447021A (zh) 2018-08-24
CN108447021B true CN108447021B (zh) 2021-06-08

Family

ID=63195044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810223832.8A Expired - Fee Related CN108447021B (zh) 2018-03-19 2018-03-19 基于分块和逐帧优化的视频缩放方法

Country Status (1)

Country Link
CN (1) CN108447021B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111010590B (zh) * 2018-10-08 2022-05-17 阿里巴巴（中国）有限公司 一种视频裁剪方法及装置
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及系统
CN110418195B (zh) * 2019-08-09 2020-08-18 华南理工大学 一种基于最佳裁剪的实时视频缩略方法
CN111031178A (zh) * 2019-12-19 2020-04-17 维沃移动通信有限公司 一种视频流裁剪方法及电子设备
CN112131984B (zh) * 2020-09-11 2024-09-27 咪咕文化科技有限公司 视频裁剪方法、电子设备和计算机可读存储介质
CN112084992B (zh) * 2020-09-18 2021-04-13 北京中电兴发科技有限公司 一种人脸关键点检测模块中人脸框选取方法
CN112561839B (zh) * 2020-12-02 2022-08-19 北京有竹居网络技术有限公司 视频裁剪方法、装置、存储介质及电子设备
CN113608511A (zh) * 2021-08-04 2021-11-05 大唐海南能源开发有限公司 一种基于物联网的智慧电厂管控系统及其方法
CN116664555B (zh) * 2023-07-26 2024-02-06 瀚博半导体(上海)有限公司 实时应用场景下的神经网络切片部署方法、系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831576A (zh) * 2012-06-14 2012-12-19 北京暴风科技股份有限公司 一种视频图像缩放方法及系统
CN105488758A (zh) * 2015-11-30 2016-04-13 河北工业大学 一种基于内容感知的图像缩放方法
CN106530232A (zh) * 2016-11-10 2017-03-22 河北工业大学 一种图像缩放方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947077B2 (en) * 2013-12-31 2018-04-17 Thomson Licensing Video object tracking in traffic monitoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831576A (zh) * 2012-06-14 2012-12-19 北京暴风科技股份有限公司 一种视频图像缩放方法及系统
CN105488758A (zh) * 2015-11-30 2016-04-13 河北工业大学 一种基于内容感知的图像缩放方法
CN106530232A (zh) * 2016-11-10 2017-03-22 河北工业大学 一种图像缩放方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Content-Aware Image and Video Resizing Based on Frequency Domain Analysis;Seong-Gyun Jeong 等;《IEEE Transactions on Consumer Electronics》;20110531;第615-622页 *
基于图像分块和优化累积能量图的线裁剪算法;郭迎春 等;《电子与信息学报》;20180228;第40卷(第2期);第331-337页 *

Also Published As

Publication number Publication date
CN108447021A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN108447021B (zh) 基于分块和逐帧优化的视频缩放方法
Avidan et al. Seam carving for content-aware image resizing
Wang et al. Occlusion aware unsupervised learning of optical flow
CN106156761B (zh) 面向移动终端拍摄的图像表格检测与识别方法
US7477800B2 (en) Method for retargeting images
US8401333B2 (en) Image processing method and apparatus for multi-resolution feature based image registration
Kiess et al. Seam carving with improved edge preservation
CN111899295B (zh) 一种基于深度学习的单目场景深度预测方法
Cai et al. TDPN: Texture and detail-preserving network for single image super-resolution
Hu et al. Hybrid shift map for video retargeting
CN110414385A (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN109447970B (zh) 基于能量转移和均匀缩放的图像重定向方法
CN105701770B (zh) 一种基于上下文线性模型的人脸超分辨率处理方法及系统
CN105335930B (zh) 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统
Wu et al. Divide-and-conquer completion network for video inpainting
Cho et al. Extrapolation-based video retargeting with backward warping using an image-to-warping vector generation network
Nam et al. Jitter-robust video retargeting with kalman filter and attention saliency fusion network
Garg et al. Original Research Article A shadow preservation framework for effective content-aware image retargeting process
Cho et al. Temporal incoherence-free video retargeting using foreground aware extrapolation
CN113724153A (zh) 一种基于机器学习的图像多余人物消除方法
Long et al. Detail preserving residual feature pyramid modules for optical flow
CN104732491A (zh) 一种边缘先验引导的单帧遥感图像超分辨率处理方法
Guttmann et al. Content aware video manipulation
CN116168233A (zh) 一种基于网格图像patch分类的黑板板书还原方法
Liu et al. Semantic information supplementary pyramid network for dynamic scene deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210608