CN106600536B - 一种视频图像超分辨率重建方法及装置 - Google Patents
一种视频图像超分辨率重建方法及装置 Download PDFInfo
- Publication number
- CN106600536B CN106600536B CN201611155519.2A CN201611155519A CN106600536B CN 106600536 B CN106600536 B CN 106600536B CN 201611155519 A CN201611155519 A CN 201611155519A CN 106600536 B CN106600536 B CN 106600536B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- low
- target object
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000013598 vector Substances 0.000 claims description 67
- 230000033001 locomotion Effects 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明是关于一种视频图像超分辨率重建方法及装置，包括：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；从连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；将图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。该方法利用单帧超分辨率重建和多帧超分辨率重建相结合，大幅度提高双动态视频图像中目标物体的图像质量。
Description
技术领域
本发明涉及视频图像处理方法技术领域，尤其涉及一种视频图像超分辨率重建方法及装置。
背景技术
随着我国平安城市建设的开展以及智慧城市建设的启动，遍布城市各个角落以及各种执法车辆上的摄像头捕捉的各种视频信息，在保障城市安全、提高城市管理效能等方面发挥了重要作用。由于目标物体的运动以及摄像头分辨率低的原因，摄像头获得的视频图像存在着模糊以及分辨率较低的退化现象，当从视频图像中获取目标物体的相关信息时，首先需要对这些视频图像进行超分辨率重建，获得超分辨率的图像，进而获得目标物体的相关信息。
目前的视频图像超分辨率重建方法是：获取同一场景连续多帧的低分辨率图像，根据所述视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，选择一个像元内连续多帧的亚像素图像；根据多帧亚像素图像的图像序列帧，选择目标物体，并进行块状目标的运动估计；根据运动估计结果，采用非均匀内插的重建算法，重建一幅超分辨图像。
由于摄像头的状态不同，获得的视频分为单动态视频和双动态视频两种，所述单动态视频是指摄像头固定不动，被拍摄物运动的视频图像，所述双动态视频是指摄像头和被拍摄物都运动的视频图像。上述视频图像超分辨率重建方法在处理单动态视频图像时，能够获得较清晰的图像，但是在处理双动态视频图像时，由于拍摄双动态视频图像的摄像头和被拍摄物体都在运动，致使视频图像退化现象更严重，导致在利用上述重建方法获得的超分辨图像中的目标物体的分辨率低。
发明内容
为克服相关技术中存在的问题，本发明提供一种视频图像超分辨率重建方法及装置。
根据本发明实施例的第一方面，提供一种视频图像超分辨率重建方法，包括：
获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；
从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；
衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；
将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；
对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。
优选地，所述衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像，包括：
计算所述连续多帧低分辨率目标物体图像的平均梯度；
对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；
将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
优选地，所述将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，包括：
获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；
将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；
将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；
计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；
将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
优选地，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，包括：
采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。
优选地，所述对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，包括：
将所述高分辨率待处理帧划分成若干图像块；
利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；
计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；
利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
根据本发明实施例的第二方面，提供一种视频图像超分辨率重建装置，包括：
低分辨率场景图像获取模块，用于获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；
目标物体图像获取模块，用于从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；
图像质量衡量模块，用于衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；
高分辨率目标图像获取模块，用于将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；
超分辨率目标图像获取模块，用于对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。
优选地，所述图像质量衡量模块包括：
计算单元，用于计算所述连续多帧低分辨率目标物体图像的平均梯度；
对比单元，用于对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；
最优低分辨率目标图像确定单元，用于将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
优选地，所述高分辨率目标图像获取模块包括：
训练样本获取单元，用于获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；
稀疏关联关系确定单元，用于将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；
第一图像块划分单元，用于将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；
特征向量计算单元，用于计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；
稀疏字典编码单元，用于将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
优选地，所述高分辨率目标图像获取模块还包括：
插值单元，用于采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。
优选地，所述超分辨率目标图像获取模块包括：
第二图像块划分单元，用于将所述高分辨率待处理帧划分成若干图像块；
运动估计单元，用于利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；
最佳匹配块获取单元，用于计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；
高分辨率待处理帧修正单元，用于利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明实施例提供的一种视频图像超分辨率重建方法及装置，包括：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。本发明实施例提供的视频图像超分辨率重建方法，针对双动态视频图像，利用单帧超分辨率重建和多帧超分辨率重建相结合，大幅度提高双动态视频图像中目标物体的图像质量，利用该重建方法获得的超分辨图像中的目标物体的分辨率高，易识别。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频图像超分辨率重建方法的流程示意图；
图2为本发明实施例提供的一种获取图像质量最优的低分辨率目标物体图像的方法示意图；
图3为本发明实施例提供的一种单帧超分辨率重建的方法流程示意图；
图4为本发明实施例提供的一种多帧超分辨率重建的方法流程示意图；
图5为本发明实施例提供的一种视频图像超分辨率重建装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明实施例根据超分辨率重建技术，提出了一种针对双动态视频图像的超分辨率重建方法，实现对双动态视频图像中的目标物体的超分辨率重建。
其中，所述目标物体包括车牌；当然所述目标物体还可以为其他类型的目标，例如人、牲畜等；本发明实施例将以车牌的超分辨率重建为例，具体介绍双动态视频图像中车牌的超分辨率重建方法。在一种具体应用场景中，车牌的超分辨率重建可以辅助执法车辆的违章拍摄，将执法车辆拍摄的双动态视频图像进行车牌定位，进行视频图像超分辨率重建，获取车牌的超分辨率图像。
图1是根据一示例性实施例示出的一种视频图像超分辨率重建方法的流程图，该方法包括以下步骤：
步骤S101：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像。
在本发明实施例中，所述运动摄像头具体指在拍摄场景图像时处于运动状态的摄像头，包括随着车辆移动的摄像头、转动的摄像头等。
在具体实施过程中，从执法车辆的摄像头拍摄的违章车辆的双动态视频图像中，获取同一场景拍摄的违章车辆连续多帧低分辨率图像，其中，执法车辆的摄像头随执法车辆运动，为运动摄像头。
步骤S102：从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像。
为了方便对目标物体进行超分辨率重建，将连续多帧低分辨率图像中进行目标物体定位，获取连续多帧低分辨率目标物体图像。
在车牌超分辨率重建过程中，为了方便对车牌进行超分辨率重建，将连续多帧低分辨率图像分别进行车牌定位，获取连续多帧低分辨率车牌图像。
步骤S103：衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像。
图像质量衡量的方法有很多中，例如根据图像边缘特征进行衡量、根据图像分辨率进行衡量等，在本发明实施例中，提出一种根据图像的平均梯度衡量图像质量的方法，根据此方法获得的图像质量最优的低分辨率目标图像，相对清晰程度高，与重建后的目标物体图像最为接近。
在本发明实施例中，参见图2，步骤S103的具体实施方式包括如下步骤：
步骤S1031：计算所述连续多帧低分辨率目标物体图像的平均梯度。
所述平均梯度是指图像的边界或影线两侧附近灰度有明显差异，即灰度变化率大，这种变化率的大小可用来表示图像清晰度，它反映了图像微小细节反差变化的塑料，即图像多维方向上密度变化的速率，表征图像的相对清晰程度。
在车牌超分辨率重建过程中，计算步骤S102获得的连续多帧低分辨率车牌图像的平均梯度。
步骤S1032：对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像。
在车牌超分辨率重建过程中，对比连续多帧低分辨率车牌图像的平均梯度，获取平均梯度最大的车牌图像，所述平均梯度最大的车牌图像的相对清晰程度最高，与重建后的车牌图像最接近。
步骤S1033：将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
在车牌超分辨率重建过程中，将平均梯度最大的车牌图像作为图像质量最优的低分辨率车牌图像。
根据衡量平均梯度获得的图像质量最优的低分辨率目标图像，相对清晰程度高，与重建后的目标物体图像最为接近。
步骤S104：将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧。
将步骤S103获得的图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，基于单帧超分辨率重建，是本发明实施例提供的视频图像超分辨率重建方法的基础。
在一种可选的实施方式中，参见图3，所述将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，包括：
步骤S1041：获取训练样本。
获取稀疏字典编码的超分辨率算法训练样本库中的训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量。
人类对图像中的高频信息非常敏感，同时，作为低分辨率图像，高频信息对应着几何结构信息和纹理信息，对预测超分辨率图像的高频信息非常重要，梯度信息，可有效地将运动模糊图像有针对性的过滤。
在梯度框架下，选择高分辨率图像块的梯度向量
作为该高分辨率图像块的特征向量，与所述高分辨率图像块相匹配的低分辨率图像块的梯度向量
作为该低分辨率图像块的特征向量，组成1个特征向量对作为稀疏字典编码的1个特征向量对；其中，
为坐标点为(x,y)处，大小为(M，N)区域内即M×N大小的区域的平均梯度，M和N分别为区域的行、列数；f(x,y)、和分别为坐标点为(x,y)的像点灰度及其在行、列方向上的梯度。在具体实施过程中，M＝3，N＝3，即将高分辨率图像块和与所述高分辨率图像块相匹配的低分辨率图像块均划分为若干3×3大小的区域，计算所有区域的区域梯度，其中，所述区域梯度为3×3大小的区域的平均梯度。所述高分辨率图像块所有区域的区域梯度组成的向量为所述高分辨率图像块的梯度向量，即高分辨率图像块的特征向量；所述低分辨率图像块的所有区域梯度组成的向量为所述低分辨率图像块的梯度向量，即所述低分辨率图像块的特征向量，所述高分辨率图像块的特征向量和与所述高分辨率图像块相匹配的低分辨率图像块的特征向量组成一个特征向量对。
在具体实施过程中，所述训练样本的特征向量对的数量可用n表示，n的数值大于1000。包含n个特征向量对的训练样本用P来表示，P＝{Xh,Yl}，Xh＝{x1,x2,…,xn}，Yl＝{y1,y2,…,yn}，每个特征向量对(xi,yi)即为
和
步骤S1042：将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系。
稀疏编码的目的是通过对P的学习来估计稀疏字典，并且将相匹配的高分辨率图像块和低分辨率图像块统一到一个稀疏字典编码框架中，使他们具有相同的稀疏表示。再具体实施过程中，目标函数表示为
上式中，Ah表示高分辨率图像块的稀疏字典，Al对应低分辨率图像块的稀疏字典，N和M分别是高、低分辨率图像块向量表示方式的维数，上式可以简化为
其中，
A为学习稀疏字典，Z为X的稀疏表示，Φ为字典D稀疏表示的隐式字典。
建立所述相匹配的高分辨率图像块和低分辨率图像块的稀疏关联关系。通过n个特征向量对对稀疏字典进行编码，修正稀疏字典，进而确定所述稀疏字典编码模型。
步骤S1043：将所述图像质量最优的低分辨率目标物体图像划分为若干图像块。
在车牌超分辨率重建过程中，将图像质量最优的低分辨车牌图像划分为若干64×64大小的图像块。
步骤S1044：计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量。
在具体实施过程中，将步骤S1043中得到的每个图像块划分为若干3×3的区域，计算每个区域的区域梯度，所述区域梯度为3×3大小的区域的平均梯度，每个图像块的所有区域梯度形成的向量作为该图像块的特征向量。
步骤S1045：将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
在具体实施过程中，对输入的图像块的特征向量，根据低分辨率图像块稀疏字典Al估计其稀疏表示α，再根据高分辨率图像块稀疏字典Ah和α估计高分辨率图像块特的稀疏表示问题可以表示为
由于上式对每个图像块单独进行处理，并没有考虑相邻图像块间的匹配问题，使用one-pass算法，对(3)式进行改造：
其中，R用于提取当前估计的高分辨率图像块与其相邻块的重叠区域，w表示一估计高分辨率图像块在重叠区域的估计值，最终的优化问题表示为：
其中，β用于权衡低分辨图像块的特征向量与估计的高分辨率图像块的特征向量间的匹配权重，(5)式可以通过任意追踪算法估计出低分辨率图像块的稀疏表示α*，最后通过x*＝ΦhAhα*得到高分辨率图像块的特征向量的最终估计值，在于所述图像块中的相应的中、低频分量线性组合，获得高分辨率待处理帧的初始估计X0。
为使最终估计满足全局重建约束Y＝DHX(其中，X为高分辨率图像，Y为低分辨率图像，D表示降采样操作，H表示模糊滤波器)，根据目标函数：
X*＝argminx||X-X0||,s.t.Y＝DHX (6)
其中，X*为所述图像质量最优的低分辨率目标物体图像的高分辨率图像的最优估计，根据(6)式，计算获得所述图像质量最优的低分辨率目标物体图像的高分辨率图像的最优估计，即高分辨率待处理帧。
本发明实施例在稀疏字典编码的单帧超分辨率重建模型的基础上，应用将空域匹配搜索、运动信息、加权合成提取图像块的特征向量作为字典训练对象，实现超分辨率在双动态环境下单帧图像的重建和降噪功能。
在一种可选的实施方式中，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，包括：
采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，双线性插值滤波器对所述其他分辨率目标物体图像区域进行四分之一像素插值。
在具体实施过程中，先进行亮度分量插值，再进行色度分量插值。对于所述高分辨待处理帧以外的其他低分辨率目标物体图像区域高度分量，进行半像素亮度分量插值时，先进行水平方向插值，使用水平方向上8个整像素点值，基于8抽头滤波计算，得到水平方向上二分之一处像素值；再进行垂直方向插值，使用垂直方向上的8个整像素值，基于8抽头滤波计算，得到垂直方向上二分之一处像素值。
基于以上中间值，水平方向和垂直方向四分之一像素由相领整像素与二分之一像素值进行双线性滤波得到；而对于对角线方向上的四分之一像素点，由相邻对角线方向的二个二分之一像素值进行双线性滤波得到。色度分量插值的方法与亮度分量插值的方法一致，在此不再赘述。
步骤S105：对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。
在一种可选的实施方式中，参见图4，所述对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，包括：
步骤S1051：将所述高分辨率待处理帧划分成若干图像块。
在具体实施过程中，在图像块匹配的运动估计中，所述高分辨率待处理帧要划分为图像块，假设每个图像块中的各个像素具有同样的运动模式，并且只能是平移运动，但是实际上图像块内各个像素的运动不一定相同，但是当图像块较小时，可以当做上述假设近似成立。因此图像块大小的选择是很重要的，当选择的图像块较小时，容易受到噪声影响，估计不够准确，而且运算量也会相应增加；当选择的图像块较大时，图像块内各个像素作相同平移的可能性很小，上述假设也不可能成立。因此，为对应不同的运动所带来的影响，图像块的大小包括4×4、8×8、8×16、16×8、16×16、32×16、16×32或32×32中的一种。在具体实施过程中，通过将上述大小的图像块作遍历，根据代价函数为：J＝R+ladbda*D，选代价最小的图像块，其中，D是高分辨率参考帧与高分辨待处理帧之间的SAD值，ladbda是系数，R是经验函数。在一种应用场景中，将上述所有大小的图像块遍历后，代价最小的图像块的大小为8×8，则将所述高分辨率待处理帧划分为若干8×8的图像块。
步骤S1052：利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块。
进行运动估计的目的在于，估计每帧高分辨率图像的图像块在超分辨率图像中的相应位置，也即是确定由高分辨率图像的子像素运动所形成的位移算子。超分辨率图像重建的最终目的是可以对包含任意运动的图像序列进行重建，因此需要设计能够处理不连续的、精确度达到子像素的运动估计算法。
在同一场景不同时域的图像序列之间有很多的相关信息，根据这些相关信息来估计两目标或场景的二维运动向量场的过程，可以称为运动估计。运动估计也可简单的理解为是在两帧图像中求同一对象的位置差，也可以说这一对象在两帧图像中的相对位移。一些变形映射(如投影变换或仿射变换)可以用来表征运动场模型，或者是用单个运动矢量来表征。
在具体实施过程中，在高分辨率待处理帧中考虑一个位置为(m,n)的图像块，在多张高分辨率参考帧中的任一帧中搜索一个相应大小的匹配块，假设该匹配块的位置为(m+i,n+j)，就可以确定这个两个图像块之间的位移为(i,j)，称之为运动矢量。根据此方法确定所述匹配块在所述超分辨率目标图像中的位置。从运动矢量的分布和计算因素考虑，匹配块的搜索限制在48x48的扩展窗口中进行。
步骤S1053：计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块。
计算多张高分辨率参考帧的匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括多张高分辨率参考帧中，平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块。
在具体实施过程中，匹配块的平均梯度根据
来计算，
为坐标点为(x,y)处，大小为(M，N)区域内即M×N大小的图像块的平均梯度，M和N分别为图像块的行、列数；f(x,y)、
和分别为坐标点为(x,y)的像点灰度及其在行、列方向上的梯度。运动系数由多次实验得到，为0.85，预设图像块梯度阈值width，height分别表示当前图像的宽和高值。将平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块作为最佳匹配块。
步骤S1054：利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
本发明实施例中，基于凸集投影法，进行多帧超分辨率重建，仅采用步骤S1053中获得的最佳匹配块对高分辨率待处理帧相对应的图像块进行修正，大大减小了计算工作量。
在具体实施过程中，将步骤S104获得高分辨率待处理帧和多张高分辨率参考帧进行多帧超分率重建以及其对应的低分辨率图像，假设共有R帧低分辨率参考帧，R帧LM×LH低分辨率参考帧构成图像集yk(w1,h1),k∈[1,R]，重建成一帧LM×LH的超分辨率图像f(lw1,lh1)，低分辨率图像中的点(w1,h1)反投影到所述高分辨率待处理帧的点的位置为(2w1,2h1)，则第k帧第i个像素的数据一致性凸集为：
Ci,k＝{f(lw1,lh1):|ri,k|＜ε}1≤i≤lw1lh1,k＝1,2,…,R
这里认为点扩散函数PSF是线性不变的，其影响范围为±2个像素，则定义点扩散函数PSF为：
归一化的函数为：
设所述高分辨率待处理帧作为超分辨率估计帧，像素值的为fref(lw1,lh1)，则投影到低分辨率图像中的像素估计值为：
第k帧最佳匹配块中第i个像素的噪声差为：
在具体实施过程中，如果ri,k的绝对值落在预先设定的阈值内，则不对超分辨率估计帧中PSF窗口内的像素值进行修正，如果ri,k的绝对值大于设定的阈值，则对超分辨率估计帧进行如下修正：
其中，ε为误差阈值，通常由系统噪声的统计特性来确定。根据系统噪声的统计特性，预设误差阈值ε，根据上述修正方法，将步骤S1053中获得的所有最佳匹配块分别对高分辨率待处理帧中相对应的图像块进行修正，从而获得修正后的超分辨率估计帧，即所述超分辨率目标物体图像。
在车牌超分率重建中，根据此步骤，可获得超分辨率车牌图像，且此视频超分辨率得到的图像质量远高于各单帧图像，有利于提高车牌识别车牌准确率。
本发明实施例提供的一种视频图像超分辨率重建方法，包括：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。本发明实施例提供的视频图像超分辨率重建方法，针对双动态视频图像，利用单帧超分辨率重建和多帧超分辨率重建相结合，大幅度提高双动态视频图像中目标物体的图像质量，利用该重建方法获得的超分辨图像中的目标物体的分辨率高，易识别。
基于相同的发明构思，本发明实施例还提供一种视频图像超分辨率重建装置，参见图5，包括：依次连接的低分辨率场景图像获取模块101、目标物体图像获取模块102、图像质量衡量模块103、高分辨率目标图像获取模块104和超分辨率目标图像获取模块105。
所述低分辨率场景图像获取模块101，用于获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像。
所述目标物体图像获取模块102，用于从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像。
所述图像质量衡量模块103，用于衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像。
在一种可能的实施例中，所述图像质量衡量模块103包括：计算单元、对比单元和最优低分辨率目标图像确定单元
计算单元，用于计算所述连续多帧低分辨率目标物体图像的平均梯度。
对比单元，用于对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像。
最优低分辨率目标图像确定单元，用于将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
所述高分辨率目标图像获取模块104，用于将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧。
在一种可能的实施例中，所述高分辨率目标图像获取模块104包括：训练样本获取单元、稀疏关联关系确定单元、第一图像块划分单元、特征向量计算单元和稀疏字典编码单元，其中，
所述训练样本获取单元，用于获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量。
所述稀疏关联关系确定单元，用于将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系。
所述第一图像块划分单元，用于将所述图像质量最优的低分辨率目标物体图像划分为若干图像块。
所述特征向量计算单元，用于计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量。
所述稀疏字典编码单元，用于将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
在另一种可能的实施例中，所述高分辨率目标图像获取模块104还包括插值单元。
所述插值单元，用于采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。
所述超分辨率目标图像获取模块105，用于对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。
所述超分辨率目标图像获取模块105包括：第二图像块划分单元、运动估计单元、最佳匹配块获取单元和高分辨率待处理帧修正单元，其中，
所述第二图像块划分单元，用于将所述高分辨率待处理帧划分成若干图像块。
所述运动估计单元，用于利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块。
所述最佳匹配块获取单元，用于计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块。
所述高分辨率待处理帧修正单元，用于利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (8)
1.一种视频图像超分辨率重建方法，其特征在于，包括：
获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；
从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；
衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；
将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；
将所述高分辨率待处理帧划分成若干图像块；
利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；
计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；
利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
2.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像，包括：
计算所述连续多帧低分辨率目标物体图像的平均梯度；
对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；
将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
3.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，包括：
获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；
将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；
将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；
计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；
将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
4.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，包括：
采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。
5.一种视频图像超分辨率重建装置，其特征在于，包括：
低分辨率场景图像获取模块，用于获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；
目标物体图像获取模块，用于从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；
图像质量衡量模块，用于衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；
高分辨率目标图像获取模块，用于将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；
超分辨率目标图像获取模块，所述超分辨率目标图像获取模块包括：
第二图像块划分单元，用于将所述高分辨率待处理帧划分成若干图像块；
运动估计单元，用于利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；
最佳匹配块获取单元，用于计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；
高分辨率待处理帧修正单元，用于利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
6.根据权利要求5所述的视频图像超分辨率重建装置，其特征在于，所述图像质量衡量模块包括：
计算单元，用于计算所述连续多帧低分辨率目标物体图像的平均梯度；
对比单元，用于对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；
最优低分辨率目标图像确定单元，用于将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
7.根据权利要求5所述的视频图像超分辨率重建装置，其特征在于，所述高分辨率目标图像获取模块包括：
训练样本获取单元，用于获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；
稀疏关联关系确定单元，用于将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；
第一图像块划分单元，用于将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；
特征向量计算单元，用于计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；
稀疏字典编码单元，用于将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
8.根据权利要求5所述的视频图像超分辨率重建装置，其特征在于，所述高分辨率目标图像获取模块还包括：
插值单元，用于采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611155519.2A CN106600536B (zh) | 2016-12-14 | 2016-12-14 | 一种视频图像超分辨率重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611155519.2A CN106600536B (zh) | 2016-12-14 | 2016-12-14 | 一种视频图像超分辨率重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106600536A CN106600536A (zh) | 2017-04-26 |
| CN106600536B true CN106600536B (zh) | 2020-02-14 |
Family
ID=58801285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611155519.2A Active CN106600536B (zh) | 2016-12-14 | 2016-12-14 | 一种视频图像超分辨率重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106600536B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578017B (zh) | 2017-09-08 | 2020-11-17 | 百度在线网络技术（北京）有限公司 | 用于生成图像的方法和装置 |
| CN107680042B (zh) * | 2017-09-27 | 2020-03-31 | 杭州群核信息技术有限公司 | 结合纹理及卷积网络的渲染方法、装置、引擎及存储介质 |
| CN108090872B (zh) * | 2017-12-18 | 2021-07-16 | 武汉大学 | 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统 |
| CN109493280B (zh) * | 2018-11-02 | 2023-03-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN109766925B (zh) * | 2018-12-20 | 2021-05-11 | 深圳云天励飞技术有限公司 | 特征融合方法、装置、电子设备及存储介质 |
| CN109740505B (zh) * | 2018-12-29 | 2021-06-18 | 成都视观天下科技有限公司 | 一种训练数据生成方法、装置及计算机设备 |
| CN109949221B (zh) * | 2019-01-30 | 2022-05-17 | 深圳大学 | 一种图像处理方法及电子设备 |
| CN109951666A (zh) * | 2019-02-27 | 2019-06-28 | 天津大学 | 基于监控视频的超分辨复原方法 |
| CN110111252B (zh) * | 2019-04-12 | 2024-01-23 | 浙江师范大学 | 基于投影矩阵的单幅图像超分辨率方法 |
| WO2021008500A1 (zh) * | 2019-07-12 | 2021-01-21 | 华为技术有限公司 | 图像处理方法和装置 |
| CN110418139B (zh) * | 2019-08-01 | 2021-08-13 | 广东工业大学 | 一种视频超分辨修复方法、装置、设备及存储介质 |
| CN110766610B (zh) * | 2019-10-28 | 2023-06-09 | 维沃移动通信有限公司 | 一种超分辨率图像的重建方法及电子设备 |
| CN113099146B (zh) * | 2019-12-19 | 2022-12-06 | 华为技术有限公司 | 一种视频生成方法、装置及相关设备 |
| CN111222420A (zh) * | 2019-12-24 | 2020-06-02 | 重庆市通信产业服务有限公司 | 一种基于ftp协议的低带宽要求的安全帽识别方法 |
| CN111489292B (zh) * | 2020-03-04 | 2023-04-07 | 北京集朗半导体科技有限公司 | 视频流的超分辨率重建方法及装置 |
| CN111626931B (zh) * | 2020-05-06 | 2023-08-08 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
| CN111598779B (zh) * | 2020-05-14 | 2023-07-14 | Oppo广东移动通信有限公司 | 图像超分辨率处理方法和装置、电子设备及存储介质 |
| CN111932453A (zh) * | 2020-07-20 | 2020-11-13 | 合肥富煌君达高科信息技术有限公司 | 高分辨率图像生成方法及集成该方法的高速相机 |
| CN112037129B (zh) * | 2020-08-26 | 2024-04-19 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法、装置、设备及存储介质 |
| CN112907443B (zh) * | 2021-02-05 | 2023-06-16 | 深圳市优象计算技术有限公司 | 一种面向卫星相机的视频超分辨率重建方法及系统 |
| CN113409190B (zh) * | 2021-05-14 | 2022-05-20 | 广东工业大学 | 一种基于多帧分组与反馈网络的视频超分辨率方法 |
| CN113240587B (zh) * | 2021-07-12 | 2021-09-24 | 深圳华声医疗技术股份有限公司 | 超分辨率扫描变换方法、装置、超声设备及存储介质 |
| CN116797453A (zh) * | 2022-03-17 | 2023-09-22 | 北京字节跳动网络技术有限公司 | 一种视频的超分辨率方法及装置 |
| TWI788251B (zh) * | 2022-04-01 | 2022-12-21 | 偉詮電子股份有限公司 | 超解析度影像的重建方法以及超解析度影像的重建系統 |
| CN116386023B (zh) * | 2023-05-29 | 2023-08-25 | 松立控股集团股份有限公司 | 基于时空扩散的高位相机车牌识别方法、系统及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930518A (zh) * | 2012-06-13 | 2013-02-13 | 上海汇纳网络信息科技有限公司 | 基于改进的稀疏表示的图像超分辨率方法 |
| CN103093442A (zh) * | 2011-09-14 | 2013-05-08 | 联发科技（新加坡）私人有限公司 | 基于多低分辨率图像的重构高分辨率图像方法及其装置 |
| CN104867116A (zh) * | 2015-04-21 | 2015-08-26 | 重庆大学 | 一种基于mca和字典学习的车牌超分辨率重构方法 |
| CN105046651A (zh) * | 2015-08-04 | 2015-11-11 | 深圳信息职业技术学院 | 一种图像的超分辨率重构方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9336570B2 (en) * | 2014-05-15 | 2016-05-10 | The United States Of America, As Represented By The Secretary Of The Navy | Demosaicking system and method for color array based multi-spectral sensors |
-
2016
- 2016-12-14 CN CN201611155519.2A patent/CN106600536B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093442A (zh) * | 2011-09-14 | 2013-05-08 | 联发科技（新加坡）私人有限公司 | 基于多低分辨率图像的重构高分辨率图像方法及其装置 |
| CN102930518A (zh) * | 2012-06-13 | 2013-02-13 | 上海汇纳网络信息科技有限公司 | 基于改进的稀疏表示的图像超分辨率方法 |
| CN104867116A (zh) * | 2015-04-21 | 2015-08-26 | 重庆大学 | 一种基于mca和字典学习的车牌超分辨率重构方法 |
| CN105046651A (zh) * | 2015-08-04 | 2015-11-11 | 深圳信息职业技术学院 | 一种图像的超分辨率重构方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 混合型图像超分辨率重建算法研究;宁贝佳;《中国博士学位论文全文数据库 信息科技辑》;20131015(第10期);I138-79 * |
| 航空图像超分辨率重建关键技术研究;何林阳;《中国博士学位论文全文数据库 信息科技辑》;20160815(第8期);I138-34 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106600536A (zh) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106600536B (zh) | 一种视频图像超分辨率重建方法及装置 | |
| CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
| CN108694705B (zh) | 一种多帧图像配准与融合去噪的方法 | |
| US10776904B2 (en) | Method and apparatus for processing image | |
| EP2826022B1 (en) | A method and apparatus for motion estimation | |
| EP0512422A2 (en) | Method for temporally adaptive filtering of noisy image sequences | |
| Jian et al. | A novel face-hallucination scheme based on singular value decomposition | |
| Song et al. | Robust video stabilization based on particle filtering with weighted feature points | |
| US20090110331A1 (en) | Resolution conversion apparatus, method and program | |
| WO2005027491A2 (en) | Global motion estimation image coding and processing | |
| CN110753181A (zh) | 一种基于特征跟踪和网格路径运动的视频稳像方法 | |
| JP5107409B2 (ja) | 動き領域の非線形スムージングを用いた動き検出方法およびフィルタリング方法 | |
| Khaloo et al. | Pixel‐wise structural motion tracking from rectified repurposed videos | |
| KR20180122548A (ko) | 이미지를 처리하는 방법 및 장치 | |
| CN106169173B (zh) | 一种图像插值方法 | |
| WO2014074138A1 (en) | Globally dominant point spread function estimation | |
| Cho et al. | Affine motion based CMOS distortion analysis and CMOS digital image stabilization | |
| Su et al. | Super-resolution without dense flow | |
| WO2017124298A1 (zh) | 视频编码、解码方法及其帧间预测方法、装置和系统 | |
| Kim et al. | High-quality depth map up-sampling robust to edge noise of range sensors | |
| CN108270945B (zh) | 一种运动补偿去噪方法及装置 | |
| Pan et al. | A new moving objects detection method based on improved SURF algorithm | |
| CN106920213B (zh) | 一种高分辨率图像的获取方法及系统 | |
| Al Ismaeil et al. | Dynamic super resolution of depth sequences with non-rigid motions | |
| Zhang et al. | Video super-resolution with registration-reliability regulation and adaptive total variation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211206 Address after: 230000 No. 67, Jiatang village north, Dayang Town, Luyang District, Hefei City, Anhui Province Patentee after: Gao Qianwen Address before: 518057 1002, phase II, international student entrepreneurship building, No. 29, South Ring Road, gaoxinyuan, Nanshan District, Shenzhen, Guangdong Province Patentee before: TONGGUAN TECHNOLOGY (SHENZHEN) CO.,LTD. |