CN104268827A - 视频图像局部区域放大的方法和装置 - Google Patents
视频图像局部区域放大的方法和装置 Download PDFInfo
- Publication number
- CN104268827A CN104268827A CN201410495424.XA CN201410495424A CN104268827A CN 104268827 A CN104268827 A CN 104268827A CN 201410495424 A CN201410495424 A CN 201410495424A CN 104268827 A CN104268827 A CN 104268827A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- level
- interest
- field picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000012634 fragment Substances 0.000 claims abstract description 66
- 238000004088 simulation Methods 0.000 claims description 48
- 230000003321 amplification Effects 0.000 claims description 38
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 38
- 238000001914 filtration Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 230000000052 comparative effect Effects 0.000 claims description 9
- 239000000654 additive Substances 0.000 claims description 8
- 230000000996 additive effect Effects 0.000 claims description 8
- 238000010030 laminating Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 241000406668 Loxodonta cyclotis Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000086550 Dinosauria Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种视频图像局部区域放大的方法和装置。该方法的一具体实施方式包括：确定视频中目标片段内每帧图像的感兴趣区域，视频包括一个或多个片段；根据位于感兴趣区域中的第一图像的自相似性，对第一图像进行第一超分辨率重构，得到第二图像；通过迭代反投影IBP算法，对第二图像进行第二超分辨率重构，得到第三图像；显示第三图像。该实施方式实现了视频图像局部区域放大，增加了放大后的局部区域图像的清晰度。
Description
技术领域
本申请涉及图像处理领域，具体涉及视频图像处理领域，尤其涉及视频图像局部区域放大的方法和装置。
背景技术
现有技术中，用户在观看视频时，可能仅会关注局部区域中的图像。但是，由于局部区域中的图像较小，使得用户无法清晰的观看到局部图像。即使视频图像局部区域可以放大，其清晰度也会比较低。
发明内容
本申请提供了一种视频图像局部区域放大的方法和装置，解决了视频图像局部区域放大，导致放大后的局部区域清晰度较低的问题。
第一方面，提供了一种视频图像局部区域放大的方法，所述方法包括：
确定视频中目标片段内每帧图像的感兴趣区域，所述视频包括一个或多个片段；
根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；
通过迭代反投影IBP(Iterative Back Projection)算法，对所述第二图像进行第二超分辨率重构，得到第三图像；
显示所述第三图像。
在某些实施方式中，所述确定视频中目标片段内每帧图像的感兴趣区域，包括：
确定所述目标片段的第一帧图像的感兴趣区域；
根据所述第一帧图像的感兴趣区域，预测所述目标片段中其他帧图像的感兴趣区域。
在某些实施方式中，所述确定所述目标片段的第一帧图像的感兴趣区域，包括：
获取所述第一帧图像的显著度信息和角点分布信息；
根据所述显著度信息和所述角点分布信息，确定所述第一帧图像的感兴趣区域。
在某些实施方式中，所述其他帧图像的感兴趣区域，是根据其上一帧的感兴趣图像区域和感兴趣区域运动跟踪算法预测的。
在某些实施方式中，所述运动跟踪包括如下任一项：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪、基于模型的跟踪。
在某些实施方式中，还包括：
根据针对所述感兴趣区域的设置操作，调整所述感兴趣区域的位置和范围。
在某些实施方式中，所述根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像，包括：
获取所述第一图像的N级放大图像和N-1级放大高频信息图像，所述N级放大图像是通过放大N级放大输入图像得到的，所述N-1级放大高频信息图像是根据所述N级放大输入图像得到的，所述N级放大输入图像是根据N-1级放大图像与N-2级放大高频信息图像之间的相似性，将所述N-2级放大高频信息图像叠加到所述N-1级放大图像上得到的，其中，N大于或等于2；
根据所述N级放大图像与所述N级放大输入图像之间的相似性，获取所述N级放大图像与所述N-1级放大高频信息图像之间的位置对应关系；
根据所述位置对应关系，将所述N-1级放大高频信息图像叠加到所述N级放大图像上，得到所述第二图像。
在某些实施方式中，所述N-1级放大高频信息图像是通过对所述N级放大输入图像进行高斯滤波获取的。
在某些实施方式中，所述通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像，包括：
获取初始估计图像的模拟低分辨率图像，所述初始估计图像为所述第二图像；
比较所述模拟低分辨率图像与所述第一图像；
根据比较结果获取模拟误差图像；
根据所述模拟误差图像，对所述第二图像进行修正，得到所述第三图像。
在某些实施方式中，所述获取初始估计图像的模拟低分辨率图像，包括：
对所述第二图像进行高斯滤波；
通过双线性差值方式，对进行高斯滤波后的第二图像进行下采样，得到所述模拟低分辨率图像。
在某些实施方式中，所述根据所述模拟误差图像，对所述第二图像进行修正，得到所述第三图像，包括：
将所述第二图像与目标图像进行加法运算，所述目标图像为所述误差图像与小于或等于1的正数进行乘法运算后得到的。
在某些实施方式中，所述正数为0.25。
在某些实施方式中，所述IBP的迭代次数为5次。
在某些实施方式中，所述显示所述第三图像，包括：
以全屏方式显示所述第三图像，或以非全屏方式显示所述第三图像。
在某些实施方式中，所述以非全屏方式显示所述第三图像，包括：
在如下至少一个区域中显示所述第三图像：所述第三图像对应的帧图像的任一角区域、所述第三图像对应的帧图像的显示区域、对所述第三图像对应的帧图像进行整理后形成的空闲区域。
在某些实施方式中，所述任一角区域包含的显著度信息的数量，小于其他三个角区域包括的显著度信息的数量。
在某些实施方式中，所述空闲区域位于整理后的所述第三图像的右侧。
第二方面，提供了一种视频图像局部区域放大的装置，包括：
确定单元，用于确定视频中目标片段内每帧图像的感兴趣区域，所述视频包括一个或多个片段；
超分辨率重构单元，用于根据位于所述确定单元确定的所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像；
显示单元，用于显示所述第三图像。
在某些实施方式中，所述确定单元，包括：
确定模块，用于确定所述目标片段的第一帧图像的感兴趣区域；
预测模块，用于根据所述确定模块确定的所述第一帧图像的感兴趣区域，预测所述目标片段中其他帧图像的感兴趣区域。
在某些实施方式中，所述确定模块，具体用于获取所述第一帧图像的显著度信息和角点分布信息；
根据所述显著度信息和所述角点分布信息，确定所述第一帧图像的感兴趣区域。
在某些实施方式中，所述其他帧图像的感兴趣区域，是所述预测模块根据其上一帧的感兴趣图像区域和感兴趣区域运动跟踪算法预测的。
在某些实施方式中，所述运动跟踪包括如下任一项：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪、基于模型的跟踪。
在某些实施方式中，还包括：
调整单元，用于根据针对所述感兴趣区域的设置操作，调整所述感兴趣区域的位置和范围。
在某些实施方式中，所述超分辨率重构单元，包括：
第一获取模块，用于获取所述第一图像的N级放大图像和N-1级放大高频信息图像，所述N级放大图像是通过放大N级放大输入图像得到的，所述N-1级放大高频信息图像是根据所述N级放大输入图像得到的，所述N级放大输入图像是根据N-1级放大图像与N-2级放大高频信息图像之间的相似性，将所述N-2级放大高频信息图像叠加到所述N-1级放大图像上得到的，其中，N大于或等于2；根据所述N级放大图像与所述N级放大输入图像之间的相似性，获取所述N级放大图像与所述N-1级放大高频信息图像之间的位置对应关系；
叠加模块，用于根据所述第一获取模块获取的所述位置对应关系，将所述N-1级放大高频信息图像叠加到所述N级放大图像上，得到所述第二图像。
在某些实施方式中，所述N-1级放大高频信息图像是所述第一获取模块通过对所述N级放大输入图像进行高斯滤波获取的。
在某些实施方式中，所述超分辨率重构单元，包括：
第二获取模块，用于获取初始估计图像的模拟低分辨率图像，所述初始估计图像为所述第二图像；
比较模块，用于比较所述第二获取模块获取的所述模拟低分辨率图像与所述第一图像；
所述第二获取模块，还用于根据所述比较模块比较后的比较结果获取模拟误差图像；
修正模块，用于根据所述第二获取模块获取的所述模拟误差图像，对所述第二图像进行修正，得到所述第三图像。
在某些实施方式中，所述第二获取模块，具体用于对所述第二图像进行高斯滤波；
通过双线性差值方式，对进行高斯滤波后的第二图像进行下采样，得到所述模拟低分辨率图像。
在某些实施方式中，所述修正模块，具体用于将所述第二图像与目标图像进行加法运算，得到所述第三图像，所述目标图像为所述误差图像与小于或等于1的正数进行乘法运算后得到的。
在某些实施方式中，所述正数为0.25。
在某些实施方式中，所述IBP的迭代次数为5次。
在某些实施方式中，所述显示单元，具体用于以全屏方式显示所述第三图像，或以非全屏方式显示所述第三图像。
在某些实施方式中，所述显示单元，具体用于在如下至少一个区域中显示所述第三图像：所述第三图像对应的帧图像的任一角区域、所述第三图像对应的帧图像的显示区域、对所述第三图像对应的帧图像进行整理后形成的空闲区域。
在某些实施方式中，所述任一角区域包含的显著度信息的数量，小于其他三个角区域包括的显著度信息的数量。
在某些实施方式中，所述空闲区域位于整理后的所述第三图像的右侧。
在本方案中，首先确定目标片段内每帧图像的感兴趣区域，然后，根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；接着，通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像；最后，显示所述第三图像。与现有技术中简单的对视频图像的局部区域进行放大相比，本方案先进行第一超分辨率重构，得到第二图像，即第一图像的放大图像，然后，再对第二图像进行第二超分辨率重构，即对第二图像进行修正，得到第三图像，以使得修正后的第三图像更加清晰和准确。这样，采用第一超分辨率重构和第二超分辨率重构对第一图像进行放大后，可以得到第一图像的清晰且准确的放大图像，即第三图像。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请提供的视频图像局部区域放大的方法的一种实施例的流程图；
图2示出了本申请提供的视频图像局部区域放大的方法的另一种实施例的流程图；
图3(a)、图3(b)、图3(c)示出了本申请提供的包括不同目标的三张图像；
图4(a)、图4(b)、图4(c)分别示出了图3(a)、图3(b)、图3(c)的显著图；
图5(a)、图5(b)、图5(c)分别示出了图3(a)、图3(b)、图3(c)的角点分布图；
图6(a)、图6(b)、图6(c)分别示出了在图3(a)、图3(b)、图3(c)中框出了感兴趣区域；
图7示出了对芯片图像进行第一超分辨率重构的示意图；
图8示出了基于IBP算法的第二超分辨率重构的示意图；
图9示出了一种将第三图像显示在其对应的帧图像的角区域的示意图；
图10示出了全屏显示第三图像的示意图；
图11示出了分屏显示第三图像和其对应的帧图像的示意图；
图12示出了本申请提供的视频图像局部区域放大的装置的一种实施例的流程图；
图13示出了本申请提供的视频图像局部区域放大的装置的另一种实施例的流程图；
图14示出了一种计算机的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请提供一种视频图像局部区域放大的方法的一个实施例，该实施例通过应用于终端中来举例说明，该终端可以但不限于包括智能手机、平板电脑、膝上型便携计算机和台式计算机等。
如图1所示，所述视频图像局部区域放大的方法可以包括如下步骤：
101、确定视频中目标片段内每帧图像的感兴趣区域。
视频中可以包括一个或多个片段，每个片段可以是基于关键帧进行划分的。每个片段中可以包括多个帧图像，这些帧图像的组合便形成一段视频。
每个帧图像中可以包括感兴趣区域(ROI，region of interest)，感兴趣区域是从某帧图像中选择的一个图像区域，这个区域是进行图像分析时所关注的重点。圈定该区域以便进行进一步进行相应处理。
本实施例对感兴趣区域以及确定感兴趣区域的方法不作限定，为本领域技术人员熟知的技术，在此不作赘述。
102、根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像。
本实施例中，第一图像的自相似性可以但不限于为：基于第一图像获取的其他变换图像之间的自相似性，如，第一图像的缩小图像、第一图像的N级放大图像(N≥2)、第一图像的N-1级放大高频信息图像等。
本实施例对根据第一图像的自相似性，对所述第一图像进行第一超分辨率重构的实施方法不作限定，为本领域技术人员熟知的技术，在此不作赘述。
103、通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像。
在通过第一超分辨率重构对第一图像放大后，得到第二图像，但是，该放大后的第二图像的清晰度和准确性可能较低，由此，还可以通过IBP算法对所述第二图像进行第二超分辨率重构，以增高放大后的图像的清晰度和准确性。
104、显示所述第三图像。
第三图像是通过对第一图像依次进行第一超分辨率重构和第二超分辨率重构后得到的图像，其中，第一超分辨率重构是为了得到第一图像的放大图像，即第二图像，第二超分辨率重构是为了增高第二图像的轻度和准确性，由此，第三图像为第一图像的放大图像，且清晰度和准确性较高。这样，当用户需要观看视频图像的感兴趣区域中的第一图像时，可以指示终端放大第一图像，终端可以通过上述方法对第一图像进行放大并显示，之后，用户便可以观看到清晰且准确的放大图像。
在本方案中，首先确定目标片段内每帧图像的感兴趣区域，然后，根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构；接着，通过IBP算法对所述第二图像进行第二超分辨率重构，得到第三图像；最后，显示所述第三图像。与现有技术中简单的对视频图像的局部区域进行放大相比，本方案先进行第一超分辨率重构，得到第二图像，即第一图像的放大图像，然后，再对第二图像进行第二超分辨率重构，即对第二图像进行修正，得到第三图像，以使得第三图像更加清晰和准确。这样，采用第一超分辨率重构和第二超分辨率重构对第一图像进行放大后，可以得到第一图像的清晰且准确的放大图像，即第三图像。
本申请提供一种视频图像局部区域放大的方法的另一个实施例，该实施例是对图1所示的实施例的进一步扩展和优化，如图2所示，可以包括：
201、确定视频中目标片段内每帧图像的感兴趣区域。
所述视频可以包括一个或多个片段。本实施例中的目标片段可以为待播放的下一片段。
本实施例中，当用户观看视频时，若只需要关注局部区域，则由于局部区域图像较小，因此，用户可以通过相应操作，指示终端将局部区域图像放大。当终端检测到用户执行的相应操作之后，可以触发确定视频中目标片段内每帧图像的感兴趣区域。其中，相应操作可以但不限于包括：用户选取相应的设置选项以放大局部区域的图像，或者，若终端包括触摸屏，则用户可以通过将两个手指在触摸屏上向相反方向滑动的方式，放大局部区域的图像。
感兴趣区域在一段连续的视频场景中通常会持续存在，并可能伴随运动偏移。因此，对于视频的局部区域放大，需要对感兴趣区域进行预测和跟踪。由此，终端需要确定视频中目标片段内每帧图像的感兴趣区域。
进一步地，终端确定视频中目标片段内每帧图像的感兴趣区域可以但不限于包括如下步骤：
确定所述目标片段的第一帧图像的感兴趣区域；根据所述第一帧图像的感兴趣区域，预测所述目标片段中其他帧图像的感兴趣区域。
由于只确定目标片段中的第一帧图像的感兴趣区域，所述目标片段内的其他帧图像的感兴趣区域，是根据所述第一帧图像的感兴趣区域预测的，因此，相比于直接确定目标片段内每帧图像的感兴趣区域，增加了确定目标片段内每帧图像的感兴趣区域的速度，进而在播放视频时更加流畅。
进一步地，确定所述目标片段的第一帧图像的感兴趣区域可以但不限于包括如下步骤：
获取所述第一帧图像的显著度信息和角点分布信息；根据所述显著度信息和所述角点分布信息，确定所述第一帧图像的感兴趣区域。
具体的，可以采用视觉注意机制和模糊SVM(Support VectorMachine，支持向量机)相结合的算法来进行感兴趣区域的获取。进一步地，可以根据显著度信息和角点分布信息从第一帧图像中获取包括单个目标的视觉窗口，视觉窗口在图像中涉及的区域即为该图像的感兴趣区域。对于多目标的图像，可根据显著度信息自动选择其他目标。上述方法为本领域技术人员熟知的方法，在此不作赘述。
显著度是通过对图像中的特征的对比度来体现的，将特征对比度转化为不同尺度下图像特征图的差值，即利用“中心－外周”机制抽取各个特征中的对比信息。显著度由其灰度来表示，颜色由浅到深，显著度依次降低，显著度越大越能引起人们的注意，如，图3(a)、图3(b)、图3(c)分别示出了包括恐龙、象、花的图像，图4(a)、图4(b)、图4(c)分别图3(a)、图3(b)、图3(c)的显著度分布图，即显著图。根据显著图中显著度的空间分布引导选择注意目标。如，由图4(b)象的显著图可以看到，小象比大象更吸引人的注意。但是，显著图不能给出目标的精确位置，而且通常原图中单个目标在显著图中变成了几个分离的部分。由此，终端还需要结合图像的角点分布信息，来确定包括单个目标的视觉窗口。
角点也称特征点，为图像中周围亮度变化剧烈的点或者图像边界曲线上具有足够大曲率的点。如图5(a)、图5(b)、图5(c)所示，分别展示了图3(a)、图3(b)、图3(c)中图像的角点分布。其中，图4a为单目标角点分布图，图4(b)为多目标角点分布图。
获取第一帧图像的显著图和角点分布图之后，可以确定视觉窗口的初始位置，具体可以但不限于包括如下步骤：在第一帧图像的显著图S中，设定矩形R(C0,W,H)为初始视觉窗口，其中，C0为窗口的中心，W和H分别为矩形的宽和长，初始值可以由实验决定。实验中，采用的第一帧图像的大小为256x384,选取W＝H＝17。理论上，C0的位置应对应于显著度最大的点，但实际计算中，由于背景中噪声的显著度可能处于峰值点，因此，取矩形区域的平均显著度为度量。定义操作符average(R)，该值越大，则此区域越能吸引人们的注意。且该值与第一帧图像中的第一个目标区域R1的平均显著度的比值达到一个阈值λ，则认为此区域有目标物体，即可以将该区域所在位置确定为视觉窗口的初始位置。
然后，可以确定视觉窗口的尺寸，具体可以但不限于包括如下步骤：R(C0,W,H)初始位置确定后，根据第一帧图像的显著度信息和角点分布信息，将W和H对应的矩形边界分别沿x和y轴伸缩。若矩形边界上还有角点或者显著度大于预定义的阈值，则矩形区域将继续扩大直到上下左右边界满足最优条件，如，直到矩形边界上没有角点或者显著度小于或等于预定义的阈值。其中，预定义的阈值可以根据图像的平均显著度来计算。扩大后得到的上下左右边界所形成的区域即为视觉窗口涉及的区域，即第一帧图像的感兴趣区域。
对于多目标视觉窗口的确定可以但不限于包括如下步骤：当第一个包含单个目标的视觉窗口R1提取出来后，根据第一帧图像的显著度，判断第一帧图像中是否还有其他目标存在，具体方法包括：用矩形窗口R(17×17)搜索第一帧图像中剩余部分，若average(R)/average(R1)≥λ(实验中λ取2/3)，则可以说明相应区域还包括另一个目标，终端可以通过上述方法将包括该目标的视觉窗口提取出来。
或者，终端还可以采用一个初始面积比较大的矩形窗口，并根据第一图像的显著度信息和角点分布信息收缩矩形窗口的边界到目标区域，具体实现方法为本领域技术人员熟知的技术，在此不作赘述。这种方法提取的视觉窗口包含第一帧图像中所有的目标。
本实施例对获取感兴趣区域的方法，获取显著度信息角点分布信息的方法，以及视觉窗口的提取方法不作进一步限定，为本领域技术人员熟知的技术，在此不再赘述。
进一步地，在确定所述目标片段的第一帧图像的感兴趣区域之后，所述目标片段中，除所述第一帧图像外的其他帧图像的感兴趣区域，具体可以是根据其上一帧的感兴趣图像区域和感兴趣区域运动跟踪算法预测的。如，第二帧图像的感兴趣区域可以是根据第一帧图像的感兴趣区域和感兴趣区域运动跟踪算法预测的，第三帧图像的感兴趣区域可以是根据第二帧图像的感兴趣区域和感兴趣区域运动跟踪算法预测的等。
进一步地，根据运动目标的表达和相似性度量，所述运动跟踪可以但不限于包括如下任一项：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪、基于模型的跟踪。
其中，基于主动轮廓的跟踪可以包括：在上一帧图像的图像域内定义的可变形曲线，通过对其能量函数的最小化，动态轮廓逐步调整自身形状与目标轮廓相一致，该可变形曲线又称为Snake曲线。Snake技术可以处理任意形状物体的任意形变，首先将分割得到的物体边界作为跟踪的初始模板然后确定表征物体真实边界的目标函数，并通过降低目标函数值，使初始轮廓逐渐向物体的真实边界移动。基于主动轮廓跟踪的优点是不但考虑来自上一图像的灰度信息，而且还考虑整体轮廓的几何信息，增强了运动跟踪的可靠性。
基于特征的跟踪包括：基于特征匹配的跟踪方法不考虑运动目标的整体特征，只通过目标图像的一些显著特征来进行跟踪。假定运动目标可以由惟一的特征集合表达，搜索到该相应的特征集合就认为跟踪上了运动目标。除了用单一的特征来实现跟踪外，还可以采用多个特征信息融合在一起作为跟踪特征。基于特征的跟踪主要包括特征提取和特征匹配两个方面。
基于特征的跟踪算法的优点在于对运动目标的尺度、形变和亮度等变化不敏感，即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务；另外，这种方法与Kalman滤波器联合使用，也具有很好的跟踪效果。
基于区域的跟踪包括：a)得到包含目标的模板，该模板可通过图像分割获得或预先人为确定，模板通常为略大于目标的矩形，也可为不规则形状；b)在序列图像中，运用相关算法跟踪目标。基于区域的跟踪的优点在于当目标未被遮挡时，跟踪精度非常高、跟踪非常稳定。
基于模型的跟踪包括：基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型，然后通过匹配跟踪目标进行模型的实时更新。对于刚体目标来说，其运动状态变换主要是平移、旋转等，可以利用该方法实现目标跟踪。但是实际应用中跟踪的不仅仅是刚体，还有一大部分是非刚体，目标确切的几何模型不容易得到。基于模型的跟踪不易受观测视角的影响，具有较强的鲁棒性，模型匹配跟踪精度高，适合于机动目标的各种运动变化，抗干扰能力强。
本实施例对运动跟踪算法、基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪、基于模型的跟踪不作限定，为本领域技术人员熟知的技术，在此不再赘述。
进一步地，终端可以根据针对所述感兴趣区域的设置操作，调整所述感兴趣区域的位置和范围。
例如，如图6(a)、图6(b)、图6(c)所示，在终端确定所述图像的感兴趣区域之后，可以在其对应的帧图像中框出。用户可以通过调整方框的边界，来调整感兴趣区域的位置和范围。
202、根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像。
进一步地，对第一图像进行所述第一超分辨率重构可以但不限于包括如下步骤：
获取所述第一图像的N级放大图像和N-1级放大高频信息图像，所述N级放大图像是通过放大N级放大输入图像得到的，所述N-1级放大高频信息图像是根据所述N级放大输入图像得到的，所述N级放大输入图像是根据N-1级放大图像与N-2级放大高频信息图像之间的相似性，将所述N-2级放大高频信息图像叠加到所述N-1级放大图像上得到的，其中，N大于或等于2；根据所述N级放大图像与所述N级放大输入图像之间的相似性，获取所述N级放大图像与所述N-1级放大高频信息图像之间的位置对应关系；根据所述位置对应关系，将所述N-1级放大高频信息图像叠加到所述N级放大图像上，得到所述第二图像。
进一步地，为了增加高频信息图像的准确性，所述N-1级放大高频信息图像，可以但不限于是通过对所述第一图像进行高斯滤波获取的。
例如，如图7所示，第一图像为芯片图像，经过第一超分辨率重构之后，需要将芯片图像放大到4倍，N＝2。第一超分辨率重构可以包括通过两级放大，将芯片图像放大到4倍，具体步骤可以但不限于包括：获取原芯片图像的1.5倍放大图像，即1级放大图像，还可以通过对原芯片图像进行高斯滤波获得高频信息图像，即0级放大(未放大)高频信息图像；根据原芯片图像与1级放大图像之间的相似性，获取1级放大图像与0级放大高频信息图像之间的位置对应关系；根据位置对应关系，将0级放大高频信息图像叠加到1级放大图像上，并将叠加后的图像作为2级放大输入图像；将2级放大输入图像放大到原芯片图像的4倍，得到2级放大图像；对2级放大输入图像进行高斯滤波，得到1级放大高频信息图像；根据2级放大的输入图像与2级放大图像之间的相似性，获取2级放大图像与1级放大高频信息图像之间的位置对应关系；根据该位置对应关系，将1级放大高频信息图像叠加到2级放大图像上，得到的图像即为第二图像。
以获取1级放大图像与0级放大高频信息图像之间的位置对应关系为例，获取相应图像之的位置对应关系可以但不限于包括：获取原芯片图像与1级放大图像之间的位置对应关系，由于，1级放大图像与0级放大高频信息图像之间的大小相同，因此，在原芯片图像上的与1级放大图像相应位置对应的位置，即为0级放大高频信息图像上相同的位置，进而可以获取到1级放大图像与0级放大高频信息图像之间的位置对应关系。如图7中，在1级放大图像、原芯片图像以及0级放大高频信息图像上用“梯形”标出的位置，即为图像之间相对应的位置。
本实施例对第一超分辨率重构的方法不作限定，为本领域技术人员熟知的技术，在此不作赘述。
203、通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像。
由于通过步骤202得到的第二图像，即第一图像的放大图像的清晰度和准确性可能较低，影响播放效果，因此，终端还可以通过IBP算法，对所述第二图像进行第二超分辨率重构，以增高放大图像的清晰度和准确性。
IBP算法是经典的空域超分辨率重构算法，其重构过程是对初始估计值不断迭代的过程，其核心步骤就是误差的反投影。在该算法中，通过对模拟LR(Low Resolution，低分辨率)图像和观测LR图像的误差进行迭代反投影得到HR(High Resolution，高分辨率)图像。
进一步地，通过IBP算法，对第二图像进行所述第二超分辨率重构可以但不限于包括如下步骤：
获取初始估计图像的模拟低分辨率图像，所述初始估计图像为所述第二图像；比较所述模拟低分辨率图像与所述第一图像；根据比较结果获取模拟误差图像；根据所述模拟误差图像，对所述第二图像进行修正，得到第三图像。
进一步地，获取初始估计图像的模拟低分辨率图像可以但不限于包括如下步骤：
对所述第二图像进行高斯滤波；通过双线性差值方式，对进行高斯滤波后的第二图像进行下采样，得到所述模拟低分辨率图像。
进一步地，根据所述模拟误差图像，对所述第二图像进行修正，得到第三图像，可以但不限于包括如下步骤：
将所述第二图像与目标图像进行加法运算，得到所述第三图像，所述目标图像为所述误差图像与小于或等于1的正数进行乘法运算后得到的。
进一步地，所述正数为0.25。
进一步地，IBP的迭代次数可以但不限于为5次。
具体的，基于IBP算法的第二超分辨率重构实质是对第二图像进行修正，修正过程是个迭代的过程，迭代次数可以人为设定，也可以通过迭代终止条件来设定，本申请中，经过实验表明，设定为5次效果较好。本实施例中，将第二图像作为IBP算法迭代的初始估计图像，即进行第一迭代时的HR图像。
图8示出的IBP算法的流程示意图，具体修正过程可以但不限于包括如下步骤：对当前的HR图像进行低通滤波，可以但不限于为高斯滤波，滤波后的图像记为HR_b；对HR_b进行下采样，可以但不限于采用双线性插值进行下采样，下采样后的图像记为HR_b_d，即模拟LR图像；误差图像im_err可以根据公式im_err＝HR_b_d-LR获取，即HR图像的模拟LR图像与原始LR图像即第二图像相减；对误差图像im_err进行低通滤波，可以为高斯滤波，滤波后的误差图像记为im_err_b；修正后的HR图像HR_new可以根据如下公式计算得到：
HR_new＝HR+delt*im_err_b
其中，HR_new为修正后的HR图像，HR为HR图像，delt为常数，delt∈(0,1]，控制迭代的收敛速度。本实施例中，delt取0.25取得的效果较优。根据上述方式可以对HR图像进行预设次数的迭代，迭代结束后得到的HR_new即为第三图像。
本实施例对根据IBP算法进行第二超分辨率重构的方法不作限定，为本领域技术人员熟知的技术，在此不作赘述。
204、显示所述第三图像。
进一步地，终端可以以全屏方式显示所述第三图像，或可以以非全屏方式显示所述第三图像。
进一步地，以非全屏方式显示所述第三图像可以但不限于包括：
在如下至少一个区域中显示所述第三图像：所述第三图像对应的帧图像的任一角区域、所述第三图像对应的帧图像的显示区域、对所述第三图像对应的帧图像进行整理后形成的空闲区域。
进一步地，所述任一角区域包含的显著度信息的数量，小于其他三个角区域包括的显著度信息的数量。
进一步地，所述空闲区域可以但不限于位于整理后的所述第三图像的右侧。
例如，如图9所示，将第三图像显示在所述第三图像对应的帧图像的任一角区域。具体的，首先判断第三图像对应的帧图像的四个角上的显著度是否大于阈值，若大于阈值的角区域的数量小于或等于1，则可以将第三图像显示在显著度最小的角区域中，若显著度大于阈值的角区域的数量大于1，则可以根据用户的设置的方式或预设方式，确定显示第三图像的角区域。另外，初始显示第三图像的角区域可以由用户设置，当对视频暂停后用户还可以调整显示第三图像的角区域，从而避免由于图像内容的变换而覆盖原视频中较重要的区域，增加了显示第三图像的灵活性。
再如，如图10所示，全屏显示第三图像，即整个显示屏全屏显示放大后的感兴趣区域，即只显示用户关注的显著目标。
又如，如图11所示，将第三图像显示在对所述第三图像对应的帧图像进行整理后形成的空闲区域中，即相应的帧图像和第三图像同时显示在显示屏上，可以理解为分屏显示。终端可以但不限于采用左右分屏显示，如，第三图像可以显示在其对应的帧图像的右侧，并可以根据视频的尺寸及显示器分辨率自动调整画面大小。
若不进行显示时，终端还可以存储第三图像，以供用户单独对放大后的区域进行观看。
205、判断视频中是否还存在下一待显示的片段，若存在，则执行步骤201，若不存在，则流程结束。
若视频中还存在下一待显示的片段，则将下一待显示的片段作为目标片段继续执行步骤201。
在本方案中，首先确定目标片段内每帧图像的感兴趣区域，然后，根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；接着，通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像；最后，显示所述第三图像。与现有技术中简单的对视频图像的局部区域进行放大相比，本方案先进行第一超分辨率重构，得到第二图像，即第一图像的放大图像，然后，再对第二图像进行第二超分辨率重构，即对第二图像进行修正，得到第三图像，以使得第三图像更加清晰和准确。这样，采用第一超分辨率重构和第二超分辨率重构对第一图像进行放大后，可以得到第一图像的清晰且准确的放大图像，即第三图像。
作为对上述各图所示方法的实现，本申请提供一种视频图像局部区域放大的装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，如图12所示，可以包括：
确定单元121，用于确定视频中目标片段内每帧图像的感兴趣区域，所述视频包括一个或多个片段；
超分辨率重构单元122，用于根据位于所述确定单元121确定的所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像；
显示单元123，用于显示所述第三图像。
在本方案中，首先确定单元确定目标片段内每帧图像的感兴趣区域，然后，超分辨率重构单元根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；接着，通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像；最后，显示单元显示所述第三图像。与现有技术中简单的对视频图像的局部区域进行放大相比，本方案先进行第一超分辨率重构，得到第二图像，即第一图像的放大图像，然后，再对第二图像进行第二超分辨率重构，即对第二图像进行修正，得到第三图像，以使得第三图像更加清晰和准确。这样，采用第一超分辨率重构和第二超分辨率重构对第一图像进行放大后，可以得到第一图像的清晰且准确的放大图像，即第三图像。
本申请提供一种视频图像局部区域放大的装置的另一个实施例，该虚拟装置实施例与图2所示的方法实施例相对应，且该装置可以位于诸如手机、电脑、移动服务终端等用户设备内部，或位于用户设备外部但与用户设备之间具有通信关系，用以对上述各图所示方法进行实现，如图13所示，该装置可以包括：
确定单元131，用于确定视频中目标片段内每帧图像的感兴趣区域，所述视频包括一个或多个片段；
超分辨率重构单元132，用于根据位于所述确定单元131确定的所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像；
显示单元133，用于显示所述第三图像。
进一步地，所述确定单元131，包括：
确定模块1311，用于确定所述目标片段的第一帧图像的感兴趣区域；
预测模块1312，用于根据所述确定模块1311确定的所述第一帧图像的感兴趣区域，预测所述目标片段中其他帧图像的感兴趣区域。
进一步地，所述确定模块1311，具体用于获取所述第一帧图像的显著度信息和角点分布信息；
根据所述显著度信息和所述角点分布信息，确定所述第一帧图像的感兴趣区域。
进一步地，所述其他帧图像的感兴趣区域，是所述预测模块1312根据其上一帧的感兴趣图像区域和感兴趣区域运动跟踪算法预测的。
进一步地，所述运动跟踪包括如下任一项：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪、基于模型的跟踪。
进一步地，还包括：
调整单元134，用于根据针对所述感兴趣区域的设置操作，调整所述感兴趣区域的位置和范围。
进一步地，所述超分辨率重构单元132，包括：
第一获取模块1321，用于获取所述第一图像的N级放大图像和N-1级放大高频信息图像，所述N级放大图像是通过放大N级放大输入图像得到的，所述N-1级放大高频信息图像是根据所述N级放大输入图像得到的，所述N级放大输入图像是根据N-1级放大图像与N-2级放大高频信息图像之间的相似性，将所述N-2级放大高频信息图像叠加到所述N-1级放大图像上得到的，其中，N大于或等于2；根据所述N级放大图像与所述N级放大输入图像之间的相似性，获取所述N级放大图像与所述N-1级放大高频信息图像之间的位置对应关系；
叠加模块1322，用于根据所述第一获取模块1321获取的所述位置对应关系，将所述N-1级放大高频信息图像叠加到所述N级放大图像上，得到所述第二图像。
进一步地，所述N-1级放大高频信息图像是所述第一获取模块1321通过对所述N级放大输入图像进行高斯滤波获取的。
进一步地，所述超分辨率重构单元132，包括：
第二获取模块1323，用于获取初始估计图像的模拟低分辨率图像，所述初始估计图像为所述第二图像；
比较模块1324，用于比较所述第二获取模块1323获取的所述模拟低分辨率图像与所述第一图像；
所述第二获取模块1323，还用于根据所述比较模块1324比较后的比较结果获取模拟误差图像；
修正模块1325，用于根据所述第二获取模块1323获取的所述模拟误差图像，对所述第二图像进行修正，得到所述第三图像。
进一步地，所述第二获取模块1323，具体用于对所述第二图像进行高斯滤波；
通过双线性差值方式，对进行高斯滤波后的第二图像进行下采样，得到所述模拟低分辨率图像。
进一步地，所述修正模块1325，具体用于将所述第二图像与目标图像进行加法运算，得到所述第三图像，所述目标图像为所述误差图像与小于或等于1的正数进行乘法运算后得到的。
进一步地，所述正数为0.25。
进一步地，所述IBP的迭代次数为5次。
进一步地，所述显示单元133，具体用于以全屏方式显示所述第三图像，或以非全屏方式显示所述第三图像。
进一步地，所述显示单元133，具体用于在如下至少一个区域中显示所述第三图像：所述第三图像对应的帧图像的任一角区域、所述第三图像对应的帧图像的显示区域、对所述第三图像对应的帧图像进行整理后形成的空闲区域。
进一步地，所述任一角区域包含的显著度信息的数量，小于其他三个角区域包括的显著度信息的数量。
进一步地，所述空闲区域位于整理后的所述第三图像的右侧。
在本方案中，首先确定单元确定目标片段内每帧图像的感兴趣区域，然后，超分辨率重构单元根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；接着，通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像；最后，显示单元显示所述第三图像。与现有技术中简单的对视频图像的局部区域进行放大相比，本方案先进行第一超分辨率重构，得到第二图像，即第一图像的放大图像，然后，再对第二图像进行第二超分辨率重构，即对第二图像进行修正，得到第三图像，以使得第三图像更加清晰和准确。这样，采用第一超分辨率重构和第二超分辨率重构对第一图像进行放大后，可以得到第一图像的清晰且准确的放大图像，即第三图像。
作为对上述各图所示方法的实现，本申请提供一种计算机，如图14所示，包括：至少一个处理器141，例如CPU(Central Processing Unit，中央处理器)，至少一个输出接口142或者其他用户接口143，存储器144，至少一个通信总线145。通信总线145用于实现上述组件之间的连接通信。计算机14可选的包含其他用户接口143，包括显示器，键盘或者点击设备(例如，鼠标，轨迹球(trackball)，触感板或者触感显示屏)。存储器144可能包含高速RAM(Random Access Memory，随机存取存储器)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器144可选的可以包含至少一个位于远离前述处理器141的存储装置。
在一些实施方式中，存储器144存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
操作系统1440，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
应用程序1441，包含各种应用程序，用于实现各种应用业务。
具体的，应用程序1441中可以但不限于包括：
确定单元，用于确定视频中目标片段内每帧图像的感兴趣区域，所述视频包括一个或多个片段；
超分辨率重构单元，用于根据位于所述确定单元确定的所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；通过IBP算法对所述第二图像进行第二超分辨率重构，得到第三图像；
显示单元，用于显示所述第三图像。
进一步地，所述确定单元，包括：
确定模块，用于确定所述目标片段的第一帧图像的感兴趣区域；
预测模块，用于根据所述确定模块确定的所述第一帧图像的感兴趣区域，预测所述目标片段中其他帧图像的感兴趣区域。
进一步地，所述确定模块，具体用于获取所述第一帧图像的显著度信息和角点分布信息；
根据所述显著度信息和所述角点分布信息，确定所述第一帧图像的感兴趣区域。
进一步地，所述其他帧图像的感兴趣区域，是所述预测模块根据其上一帧的感兴趣图像区域和感兴趣区域运动跟踪算法预测的。
进一步地，所述运动跟踪包括如下任一项：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪、基于模型的跟踪。
进一步地，还包括：
调整单元，用于根据针对所述感兴趣区域的设置操作，调整所述感兴趣区域的位置和范围。
进一步地，所述超分辨率重构单元，包括：
第一获取模块，用于N级放大图像和N-1级放大高频信息图像，所述N级放大图像是通过放大N级放大输入图像得到的，所述N-1级放大高频信息图像是根据所述N级放大输入图像得到的，所述N级放大输入图像是根据N-1级放大图像与N-2级放大高频信息图像之间的相似性，将所述N-2级放大高频信息图像叠加到所述N-1级放大图像上得到的，其中，N大于或等于2；根据所述N级放大图像与所述N级放大输入图像之间的相似性，获取所述N级放大图像与所述N-1级放大高频信息图像之间的位置对应关系；
叠加模块，用于根据所述第一获取模块获取的所述位置对应关系，将所述N-1级放大高频信息图像叠加到所述N级放大图像上，得到所述第二图像。
进一步地，所述N-1级放大高频信息图像是所述第一获取模块通过对所述N级放大输入图像进行高斯滤波获取的。
进一步地，所述超分辨率重构单元，包括：
第二获取模块，用于获取初始估计图像的模拟低分辨率图像，所述初始估计图像为所述第二图像；
比较模块，用于比较所述第二获取模块获取的所述模拟低分辨率图像与所述第一图像；
所述第二获取模块，还用于根据所述比较模块比较后的比较结果获取模拟误差图像；
修正模块，用于根据所述第二获取模块获取的所述模拟误差图像，对所述第二图像进行修正，得到所述第三图像。
进一步地，所述第二获取模块，具体用于对所述第二图像进行高斯滤波；
通过双线性差值方式，对进行高斯滤波后的第二图像进行下采样，得到所述模拟低分辨率图像。
进一步地，所述修正模块，具体用于将所述第二图像与目标图像进行加法运算，得到所述第三图像，所述目标图像为所述误差图像与小于或等于1的正数进行乘法运算后得到的。
进一步地，所述正数为0.25。
进一步地，所述IBP的迭代次数为5次。
进一步地，所述显示单元，具体用于以全屏方式显示所述第三图像，或以非全屏方式显示所述第三图像。
进一步地，所述显示单元，具体用于在如下至少一个区域中显示所述第三图像：所述第三图像对应的帧图像的任一角区域、所述第三图像对应的帧图像的显示区域、对所述第三图像对应的帧图像进行整理后形成的空闲区域。
进一步地，所述任一角区域包含的显著度信息的数量，小于其他三个角区域包括的显著度信息的数量。
进一步地，所述空闲区域位于整理后的所述第三图像的右侧。
在本实施例中，处理器141通过调用存储器144中存储的程序或指令执行相应步骤，处理器141，用于：
确定视频中目标片段内每帧图像的感兴趣区域，所述视频包括一个或多个片段；
根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；
通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像；
显示所述第三图像。
进一步地，处理器141，具体用于确定所述目标片段的第一帧图像的感兴趣区域；
根据所述第一帧图像的感兴趣区域，预测所述目标片段中其他帧图像的感兴趣区域。
进一步地，处理器141，具体用于获取所述第一帧图像的显著度信息和角点分布信息；
根据所述显著度信息和所述角点分布信息，确定所述第一帧图像的感兴趣区域。
进一步地，所述其他帧图像的感兴趣区域，是根据其上一帧的感兴趣图像区域和感兴趣区域运动跟踪算法预测的。
进一步地，所述运动跟踪包括如下任一项：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪、基于模型的跟踪。
进一步地，处理器141，还用于根据针对所述感兴趣区域的设置操作，调整所述感兴趣区域的位置和范围。
进一步地，处理器141，具体用于获取所述第一图像的N级放大图像和N-1级放大高频信息图像，所述N级放大图像是通过放大N级放大输入图像得到的，所述N-1级放大高频信息图像是根据所述N级放大输入图像得到的，所述N级放大输入图像是根据N-1级放大图像与N-2级放大高频信息图像之间的相似性，将所述N-2级放大高频信息图像叠加到所述N-1级放大图像上得到的，其中，N大于或等于2；
根据所述N级放大图像与所述N级放大输入图像之间的相似性，获取所述N级放大图像与所述N-1级放大高频信息图像之间的位置对应关系；
根据所述位置对应关系，将所述N-1级放大高频信息图像叠加到所述N级放大图像上，得到所述第二图像。
进一步地，所述N-1级放大高频信息图像是通过对所述N级放大输入图像进行高斯滤波获取的。
进一步地，处理器141，具体用于获取初始估计图像的模拟低分辨率图像，所述初始估计图像为所述第二图像；
比较所述模拟低分辨率图像与所述第一图像；
根据比较结果获取模拟误差图像；
根据所述模拟误差图像，对所述第二图像进行修正，得到所述第三图像。
进一步地，处理器141，具体用于对所述第二图像进行高斯滤波；
通过双线性差值方式，对进行高斯滤波后的第二图像进行下采样，得到所述模拟低分辨率图像。
进一步地，处理器141，具体用于将所述第二图像与目标图像进行加法运算，所述目标图像为所述误差图像与小于或等于1的正数进行乘法运算后得到的。
进一步地，所述正数为0.25。
进一步地，所述IBP的迭代次数为5次。
进一步地，处理器141，具体用于以全屏方式显示所述第三图像，或以非全屏方式显示所述第三图像。
进一步地，处理器141，具体用于如下至少一个区域中显示所述第三图像：所述第三图像对应的帧图像的任一角区域、所述第三图像对应的帧图像的显示区域、对所述第三图像对应的帧图像进行整理后形成的空闲区域。
进一步地，所述任一角区域包含的显著度信息的数量，小于其他三个角区域包括的显著度信息的数量。
进一步地，所述空闲区域位于整理后的所述第三图像的右侧。
在本方案中，计算机首先确定目标片段内每帧图像的感兴趣区域，然后，根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；接着，通过IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像；最后，显示所述第三图像。与现有技术中简单的对视频图像的局部区域进行放大相比，本方案先进行第一超分辨率重构，得到第二图像，即第一图像的放大图像，然后，再对第二图像进行第二超分辨率重构，即对第二图像进行修正，得到第三图像，以使得第三图像更加清晰和准确。这样，采用第一超分辨率重构和第二超分辨率重构对第一图像进行放大后，可以得到第一图像的清晰且准确的放大图像，即第三图像。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括请求接收模块，信息读取模块，视图构建模块和功能启用模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，请求接收模块还可以被描述为“用于接收用户提交的调用小组件的请求的模块”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的在全屏应用下使用小组件的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (34)
1.一种视频图像局部区域放大的方法，其特征在于，包括：
确定视频中目标片段内每帧图像的感兴趣区域，所述视频包括一个或多个片段；
根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；
通过迭代反投影IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像；
显示所述第三图像。
2.根据权利要求1所述的方法，其特征在于，所述确定视频中目标片段内每帧图像的感兴趣区域，包括：
确定所述目标片段的第一帧图像的感兴趣区域；
根据所述第一帧图像的感兴趣区域，预测所述目标片段中其他帧图像的感兴趣区域。
3.根据权利要求2所述的方法，其特征在于，所述确定所述目标片段的第一帧图像的感兴趣区域，包括：
获取所述第一帧图像的显著度信息和角点分布信息；
根据所述显著度信息和所述角点分布信息，确定所述第一帧图像的感兴趣区域。
4.根据权利要求2所述的方法，其特征在于，所述其他帧图像的感兴趣区域，是根据其上一帧的感兴趣图像区域和感兴趣区域运动跟踪算法预测的。
5.根据权利要求4所述的方法，其特征在于，所述运动跟踪包括如下任一项：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪、基于模型的跟踪。
6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
根据针对所述感兴趣区域的设置操作，调整所述感兴趣区域的位置和范围。
7.根据权利要求1所述的方法，其特征在于，所述根据位于所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像，包括：
获取所述第一图像的N级放大图像和N-1级放大高频信息图像，所述N级放大图像是通过放大N级放大输入图像得到的，所述N-1级放大高频信息图像是根据所述N级放大输入图像得到的，所述N级放大输入图像是根据N-1级放大图像与N-2级放大高频信息图像之间的相似性，将所述N-2级放大高频信息图像叠加到所述N-1级放大图像上得到的，其中，N大于或等于2；
根据所述N级放大图像与所述N级放大输入图像之间的相似性，获取所述N级放大图像与所述N-1级放大高频信息图像之间的位置对应关系；
根据所述位置对应关系，将所述N-1级放大高频信息图像叠加到所述N级放大图像上，得到所述第二图像。
8.根据权利要求7所述的方法，其特征在于，所述N-1级放大高频信息图像是通过对所述N级放大输入图像进行高斯滤波获取的。
9.根据权利要求1所述的方法，其特征在于，所述通过迭代反投影IBP算法，对所述第二图像进行第二超分辨率重构，得到第三图像，包括：
获取初始估计图像的模拟低分辨率图像，所述初始估计图像为所述第二图像；
比较所述模拟低分辨率图像与所述第一图像；
根据比较结果获取模拟误差图像；
根据所述模拟误差图像，对所述第二图像进行修正，得到所述第三图像。
10.根据权利要求9所述的方法，其特征在于，所述获取初始估计图像的模拟低分辨率图像，包括：
对所述第二图像进行高斯滤波；
通过双线性差值方式，对进行高斯滤波后的第二图像进行下采样，得到所述模拟低分辨率图像。
11.根据权利要求9所述的方法，其特征在于，所述根据所述模拟误差图像，对所述第二图像进行修正，得到所述第三图像，包括：
将所述第二图像与目标图像进行加法运算，得到所述第三图像，所述目标图像为所述误差图像与小于或等于1的正数进行乘法运算后得到的。
12.根据权利要求11所述的方法，其特征在于，所述正数为0.25。
13.根据权利要求9所述的方法，其特征在于，所述IBP的迭代次数为5次。
14.根据权利要求1所述的方法，其特征在于，所述显示所述第三图像，包括：
以全屏方式显示所述第三图像，或以非全屏方式显示所述第三图像。
15.根据权利要求14所述的方法，其特征在于，所述以非全屏方式显示所述第三图像，包括：
在如下至少一个区域中显示所述第三图像：所述第三图像对应的帧图像的任一角区域、所述第三图像对应的帧图像的显示区域、对所述第三图像对应的帧图像进行整理后形成的空闲区域。
16.根据权利要求15所述的方法，其特征在于，所述任一角区域包含的显著度信息的数量，小于其他三个角区域包括的显著度信息的数量。
17.根据权利要求15所述的方法，其特征在于，所述空闲区域位于整理后的所述第三图像的右侧。
18.一种视频图像局部区域放大的装置，其特征在于，包括：
确定单元，用于确定视频中目标片段内每帧图像的感兴趣区域，所述视频包括一个或多个片段；
超分辨率重构单元，用于根据位于所述确定单元确定的所述感兴趣区域中的第一图像的自相似性，对所述第一图像进行第一超分辨率重构，得到第二图像；通过迭代反投影IBP算法对所述第二图像进行第二超分辨率重构，得到第三图像；
显示单元，用于显示所述第三图像。
19.根据权利要求18所述的装置，其特征在于，所述确定单元，包括：
确定模块，用于确定所述目标片段的第一帧图像的感兴趣区域；
预测模块，用于根据所述确定模块确定的所述第一帧图像的感兴趣区域，预测所述目标片段中其他帧图像的感兴趣区域。
20.根据权利要求19所述的装置，其特征在于，所述确定模块，具体用于获取所述第一帧图像的显著度信息和角点分布信息；
根据所述显著度信息和所述角点分布信息，确定所述第一帧图像的感兴趣区域。
21.根据权利要求19所述的装置，其特征在于，所述其他帧图像的感兴趣区域，是所述预测模块根据其上一帧的感兴趣图像区域和感兴趣区域运动跟踪算法预测的。
22.根据权利要求21所述的装置，其特征在于，所述运动跟踪包括如下任一项：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪、基于模型的跟踪。
23.根据权利要求18至22中任一项所述的装置，其特征在于，还包括：
调整单元，用于根据针对所述感兴趣区域的设置操作，调整所述感兴趣区域的位置和范围。
24.根据权利要求18所述的装置，其特征在于，所述超分辨率重构单元，包括：
第一获取模块，用于获取所述第一图像的N级放大图像和N-1级放大高频信息图像，所述N级放大图像是通过放大N级放大输入图像得到的，所述N-1级放大高频信息图像是根据所述N级放大输入图像得到的，所述N级放大输入图像是根据N-1级放大图像与N-2级放大高频信息图像之间的相似性，将所述N-2级放大高频信息图像叠加到所述N-1级放大图像上得到的，其中，N大于或等于2；根据所述N级放大图像与所述N级放大输入图像之间的相似性，获取所述N级放大图像与所述N-1级放大高频信息图像之间的位置对应关系；
叠加模块，用于根据所述第一获取模块获取的所述位置对应关系，将所述N-1级放大高频信息图像叠加到所述N级放大图像上，得到所述第二图像。
25.根据权利要求24所述的装置，其特征在于，所述N-1级放大高频信息图像是所述第一获取模块通过对所述N级放大输入图像进行高斯滤波获取的。
26.根据权利要求18所述的装置，其特征在于，所述超分辨率重构单元，包括：
第二获取模块，用于获取初始估计图像的模拟低分辨率图像，所述初始估计图像为所述第二图像；
比较模块，用于比较所述第二获取模块获取的所述模拟低分辨率图像与所述第一图像；
所述第二获取模块，还用于根据所述比较模块比较后的比较结果获取模拟误差图像；
修正模块，用于根据所述第二获取模块获取的所述模拟误差图像，对所述第二图像进行修正，得到所述第三图像。
27.根据权利要求26所述的装置，其特征在于，所述第二获取模块，具体用于对所述第二图像进行高斯滤波；
通过双线性差值方式，对进行高斯滤波后的第二图像进行下采样，得到所述模拟低分辨率图像。
28.根据权利要求26所述的装置，其特征在于，所述修正模块，具体用于将所述第二图像与目标图像进行加法运算，得到所述第三图像，所述目标图像为所述误差图像与小于或等于1的正数进行乘法运算后得到的。
29.根据权利要求28所述的装置，其特征在于，所述正数为0.25。
30.根据权利要求26所述的装置，其特征在于，所述IBP的迭代次数为5次。
31.根据权利要求18所述的装置，其特征在于，所述显示单元，具体用于以全屏方式显示所述第三图像，或以非全屏方式显示所述第三图像。
32.根据权利要求31所述的装置，其特征在于，所述显示单元，具体用于在如下至少一个区域中显示所述第三图像：所述第三图像对应的帧图像的任一角区域、所述第三图像对应的帧图像的显示区域、对所述第三图像对应的帧图像进行整理后形成的空闲区域。
33.根据权利要求32所述的装置，其特征在于，所述任一角区域包含的显著度信息的数量，小于其他三个角区域包括的显著度信息的数量。
34.根据权利要求32所述的装置，其特征在于，所述空闲区域位于整理后的所述第三图像的右侧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410495424.XA CN104268827B (zh) | 2014-09-24 | 2014-09-24 | 视频图像局部区域放大的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410495424.XA CN104268827B (zh) | 2014-09-24 | 2014-09-24 | 视频图像局部区域放大的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104268827A true CN104268827A (zh) | 2015-01-07 |
| CN104268827B CN104268827B (zh) | 2019-06-04 |
Family
ID=52160347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410495424.XA Active CN104268827B (zh) | 2014-09-24 | 2014-09-24 | 视频图像局部区域放大的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104268827B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139341A (zh) * | 2015-09-21 | 2015-12-09 | 合一网络技术(北京)有限公司 | 一种gif图像编辑方法及装置 |
| CN106980823A (zh) * | 2017-03-14 | 2017-07-25 | 天津大学 | 一种基于帧间自相似的动作识别方法 |
| CN107153500A (zh) * | 2017-04-21 | 2017-09-12 | 努比亚技术有限公司 | 一种实现图像显示的方法及设备 |
| CN107621932A (zh) * | 2017-09-25 | 2018-01-23 | 威创集团股份有限公司 | 显示图像的局部放大方法和装置 |
| CN108681994A (zh) * | 2018-05-11 | 2018-10-19 | 京东方科技集团股份有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
| CN109121000A (zh) * | 2018-08-27 | 2019-01-01 | 北京优酷科技有限公司 | 一种视频处理方法及客户端 |
| CN110290385A (zh) * | 2019-06-11 | 2019-09-27 | 观博云标(北京)文化科技有限公司 | 高时空分辨率的天珠视频处理方法及装置 |
| CN110784648A (zh) * | 2019-11-07 | 2020-02-11 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| CN110876013A (zh) * | 2018-08-31 | 2020-03-10 | 北京小米移动软件有限公司 | 确定图像分辨率的方法及装置、电子设备及存储介质 |
| CN112181548A (zh) * | 2020-08-25 | 2021-01-05 | 北京中联合超高清协同技术中心有限公司 | 一种显示器和图像显示方法 |
| WO2022088970A1 (zh) * | 2020-10-30 | 2022-05-05 | 北京字跳网络技术有限公司 | 一种图像的处理方法、装置、设备及存储介质 |
| US11443434B2 (en) * | 2019-10-03 | 2022-09-13 | Fujifilm Business Innovation Corp. | Image processing apparatus and non-transitory computer readable medium storing program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040169212A1 (en) * | 2003-02-27 | 2004-09-02 | Herget Philipp J. | Magnetic read only memory |
| CN101399969A (zh) * | 2007-09-28 | 2009-04-01 | 三星电子株式会社 | 基于运动相机的运动目标检测与跟踪的系统、设备和方法 |
| CN103985085A (zh) * | 2014-05-26 | 2014-08-13 | 三星电子（中国）研发中心 | 图像超分辨率放大的方法和装置 |
-
2014
- 2014-09-24 CN CN201410495424.XA patent/CN104268827B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040169212A1 (en) * | 2003-02-27 | 2004-09-02 | Herget Philipp J. | Magnetic read only memory |
| CN101399969A (zh) * | 2007-09-28 | 2009-04-01 | 三星电子株式会社 | 基于运动相机的运动目标检测与跟踪的系统、设备和方法 |
| CN103985085A (zh) * | 2014-05-26 | 2014-08-13 | 三星电子（中国）研发中心 | 图像超分辨率放大的方法和装置 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139341A (zh) * | 2015-09-21 | 2015-12-09 | 合一网络技术(北京)有限公司 | 一种gif图像编辑方法及装置 |
| CN105139341B (zh) * | 2015-09-21 | 2018-05-29 | 合一网络技术(北京)有限公司 | 一种gif图像编辑方法及装置 |
| CN106980823A (zh) * | 2017-03-14 | 2017-07-25 | 天津大学 | 一种基于帧间自相似的动作识别方法 |
| CN107153500A (zh) * | 2017-04-21 | 2017-09-12 | 努比亚技术有限公司 | 一种实现图像显示的方法及设备 |
| CN107621932A (zh) * | 2017-09-25 | 2018-01-23 | 威创集团股份有限公司 | 显示图像的局部放大方法和装置 |
| CN107621932B (zh) * | 2017-09-25 | 2020-05-12 | 威创集团股份有限公司 | 显示图像的局部放大方法和装置 |
| CN108681994A (zh) * | 2018-05-11 | 2018-10-19 | 京东方科技集团股份有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
| CN109121000A (zh) * | 2018-08-27 | 2019-01-01 | 北京优酷科技有限公司 | 一种视频处理方法及客户端 |
| CN110876013A (zh) * | 2018-08-31 | 2020-03-10 | 北京小米移动软件有限公司 | 确定图像分辨率的方法及装置、电子设备及存储介质 |
| CN110876013B (zh) * | 2018-08-31 | 2021-06-04 | 北京小米移动软件有限公司 | 确定图像分辨率的方法及装置、电子设备及存储介质 |
| CN110290385A (zh) * | 2019-06-11 | 2019-09-27 | 观博云标(北京)文化科技有限公司 | 高时空分辨率的天珠视频处理方法及装置 |
| CN110290385B (zh) * | 2019-06-11 | 2021-12-14 | 观博云标(北京)文化科技有限公司 | 高时空分辨率的天珠视频处理方法及装置 |
| US11443434B2 (en) * | 2019-10-03 | 2022-09-13 | Fujifilm Business Innovation Corp. | Image processing apparatus and non-transitory computer readable medium storing program |
| CN110784648A (zh) * | 2019-11-07 | 2020-02-11 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| CN110784648B (zh) * | 2019-11-07 | 2021-04-16 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| CN112181548A (zh) * | 2020-08-25 | 2021-01-05 | 北京中联合超高清协同技术中心有限公司 | 一种显示器和图像显示方法 |
| CN112181548B (zh) * | 2020-08-25 | 2024-04-30 | 北京中联合超高清协同技术中心有限公司 | 一种显示器和图像显示方法 |
| WO2022088970A1 (zh) * | 2020-10-30 | 2022-05-05 | 北京字跳网络技术有限公司 | 一种图像的处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104268827B (zh) | 2019-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104268827A (zh) | 视频图像局部区域放大的方法和装置 | |
| US9076258B2 (en) | Stylizing animation by example | |
| US20050188333A1 (en) | Method of real-time incremental zooming | |
| CN110035329B (zh) | 图像处理方法、装置及存储介质 | |
| CN105847674A (zh) | 一种基于移动终端的预览图像处理方法及移动终端 | |
| KR20180018561A (ko) | 이미지 영역을 선택 및 추적함으로써 비디오를 확대축소하기 위한 장치 및 방법 | |
| Manni et al. | Snap2cad: 3D indoor environment reconstruction for AR/VR applications using a smartphone device | |
| US10262420B1 (en) | Tracking image regions | |
| CN106097383A (zh) | 一种针对遮挡问题的目标跟踪方法及设备 | |
| CN111104837A (zh) | 移动设备和相关视频编辑方法 | |
| CN112752158A (zh) | 一种视频展示的方法、装置、电子设备及存储介质 | |
| US11790550B2 (en) | Learnable cost volume for determining pixel correspondence | |
| CN102307308B (zh) | 一种在触摸屏上生成立体图像的方法和设备 | |
| CN104680478A (zh) | 一种目标图像数据的选取方法和装置 | |
| TW201631553A (zh) | 用於在視訊序列中之輔助物件選擇之方法及裝置 | |
| CN105468200B (zh) | 一种指纹触控的方法、装置及指纹设备 | |
| CN103543824B (zh) | 手势输入系统及方法 | |
| US20220383628A1 (en) | Conditional Object-Centric Learning with Slot Attention for Video and Other Sequential Data | |
| Deng et al. | Interactive panoramic map-like views for 3D mountain navigation | |
| CN113055599B (zh) | 摄像头的切换方法、装置、电子设备和可读存储介质 | |
| Wu et al. | A fast hybrid retargeting scheme with seam context and content aware strip partition | |
| US8179967B2 (en) | Method and device for detecting movement of an entity provided with an image sensor | |
| CN112565605B (zh) | 图像显示方法、装置和电子设备 | |
| Wu et al. | Locally low-rank regularized video stabilization with motion diversity constraints | |
| Mooser et al. | Large document, small screen: a camera driven scroll and zoom control for mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |