CN109389552A - 一种基于上下文相关多任务深度学习的图像超分辨算法 - Google Patents
一种基于上下文相关多任务深度学习的图像超分辨算法 Download PDFInfo
- Publication number
- CN109389552A CN109389552A CN201710652936.6A CN201710652936A CN109389552A CN 109389552 A CN109389552 A CN 109389552A CN 201710652936 A CN201710652936 A CN 201710652936A CN 109389552 A CN109389552 A CN 109389552A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- network
- edge
- context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 230000003068 static effect Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 14
- 238000003475 lamination Methods 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于上下文相关多任务深度学习的图像超分辨算法，该算法设计了三个深度神经网络，分别用于捕捉图像的基本信息、主要边缘信息和微小细节信息，然后在一个多任务学习的框架中对这些神经网络进行上下文相关连接与统一训练。给定输入的低分辨率图像，训练好的神经网络将分别输出基本图像、主要边缘图像和微小细节图像，最终的高分辨率图像由基本图像和微小细节图像融合而成；该算法可以仅用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。并且，所恢复出来的HR图像的结构得到了很好的保持，能尽可能多地恢复出理想HR图像中的结构信息。
Description
技术领域
本发明涉及数字图像处理领域，更具体地，涉及一种基于上下文相关多任务深度学习的图像超分辨算法。
背景技术
图像超分辨是一种通过计算的方式让图像的分辨率得到提升的技术，可以广泛用于视频监控和医学影像分析等领域。单幅图像超分辨算法要解决的问题是，当输入只有单幅图像时，如何提升图像的分辨率。这个问题是图像处理领域中的一个基本问题，也是一个病态问题。
传统的解决方案可以划分为基于重建的算法、基于样例的方法和基于插值的方法。基于重建的方法是把高分辨率(HR)图像和低分辨率(LR)图像之间的关系用一个作用于全图的卷积核进行建模，在给的卷积核估计值的情况下通过求解逆问题得到清晰的HR图像。然而，这些方法通常会由于卷积核估计的不准确而造成HR图像中的环状瑕疵。基于样例的方法想通过引入图像自身或者外部图像中的图国际像块作为样例，实现了在高放大倍数情况下的图像超分辨。此类方法在图像恢复时需要利用图像块之间的相似信息，当LR图像中不存在足够的相似图像块时，极有可能会由于图像块的不相似而引入一些不必要的虚假细节。基于插值的方法通过精细设计的插值核函数来提升图像的分辨率。然而，无论是预先定义的核函数(例如双线性插值)还是自适应的核函数，都难以应对图像内容的多种变化。当图像的结构与核函数的定义不一致的时候，会造成图像结构的模糊。
近年来，由于深度学习在各种计算机视觉任务重的巨大成功，人们开始将深度神经网络用于图像超分辨问题中。一种常见的做法就是利用全卷积网络建立LR图像和HR图像之间的映射关系，以最小化网络输出图像和真实的HR图像之间的均方误差为目标来训练神经网络。此类方法虽然在图像超分辨的质量上获得了较大的提升，但是也会产生一些结构不一致的瑕疵。其主要原因是以均方误差最小化为代价函数的神经网络难以捕捉人类视觉系统中更敏感的结构变化。近期的图像超分辨算法试图通过引入基于特征的感知误差函数来缓解这一问题，然而此类方法虽然在超分辨图像上得到了更高的视觉感知质量，但是也会引入一些不真实的图像细节。
发明内容
本发明提供一种基于上下文相关多任务深度学习的图像超分辨算法，该算法可实现用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。
为了达到上述技术效果，本发明的技术方案如下：
一种基于上下文相关多任务深度学习的图像超分辨算法，包括以下步骤：
S1：收集图像数据；
S2：建立神经网络模型；
S3：利用收集图像数据对所建立的神经网络模型进行训练；
S4：将训练好的神经网络处理静态低分辨率图像即得到高分辨率的图像。
进一步地，所述步骤S1中收集的图像数据训练数据包括高分辨率的图像、该高分辨率的图像对应的边缘图像和其对应的静态低分辨率图像；其中，高分辨率的图像对应的边缘图像是二值图像，由边缘检测算法给出或由人工标记给出；边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘。
进一步地，所述步骤S2的神经网络模型包括三个部分组成；第一个部分由4个卷积层组成，其滤波器数量逐层底层，用于提取图像的多尺度特征；第二部分由一个第一反卷积层和两个第一卷积层组成，其中第一反卷积层用于将特征图进行自适应的插值，第一卷积层用于输出期望的特征图和初步的高分辨率的图像；第三部分是由一个第二反卷积层和两个第二卷积层组成，其中第二反卷积层用于将特征图进行自适应的插值，第二卷积层用于输出残差图。
进一步地，所述步骤S3的过程如下：
S31：从图像数据中筛选出低分辨率图像，高分辨率图像，边缘图像；
S32：将低分辨率图像输入基本图像估计网络和边缘估计网络，得到对应的超分辨后的图像结果和边缘图像；
S33：将网络输出的结果和高分辨率图像与手工标注边缘图像进行计算，并利用计算结果更新网络的参数；
S34：当基本图像估计网络和边缘估计网络收敛以后，将参数固定；
S35：利用基本图像估计网络估计残差图，并作为残差估计网络的目标更新残差估计网络参数；
S36：当残差估计网络收敛以后，将参数固定；
S37：将残差网络输出与基本图像估计网络输出融合，得到高分辨率图像。
进一步地，所述步骤S 4中将训练好的神经网络用于处理新的输入静态低分辨率图像时，输入的静态低分辨率图像先经过图像裁剪或者下采样预处理操作，使得输入的静态低分辨率图像的分辨率与网络训练时所采用的LR图像分辨率一致；新输入的静态低分辨率图像输入训练好的神经网络之后，经过卷积和加权平均等各种操作，会输出高分辨率的边缘图、初步的高分辨率的图像和高分辨率的图像的残差图，其中初步的高分辨率的图像和高分辨率的图像的残差图通过线性叠加的方式进行融合，得到最终的高分辨率的图像。
与现有技术相比，本发明技术方案的有益效果是：
本发明设计了三个深度神经网络，分别用于捕捉图像的基本信息、主要边缘信息和微小细节信息，然后在一个多任务学习的框架中对这些神经网络进行上下文相关连接与统一训练。给定输入的低分辨率图像，训练好的神经网络将分别输出基本图像、主要边缘图像和微小细节图像，最终的高分辨率图像由基本图像和微小细节图像融合而成；该算法可以仅用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。并且，所恢复出来的HR图像的结构得到了很好的保持，能尽可能多地恢复出理想HR图像中的结构信息。
附图说明
图1为本发明实施例中神经网络结构示意图；
图2为本发明和SRCNN、SCN、ShCNN方法在“蝴蝶”图像上的超分辨视觉效果对比；
其中，图2(a)位SRCNN算法的效果图，图2(b)为SCN算法的效果图，图2(c)为ShCNN算法的效果图，图2(d)为本发明算法的效果图，图2(e)为理想效果图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
一种用于静态图像超分辨的上下文相关多任务深度学习方法，包括以下步骤：
S1：收集图像数据；
S2：建立神经网络模型；
S3：利用收集图像数据对所建立的神经网络模型进行训练；
S4：将训练好的神经网络处理静态低分辨率图像即得到高分辨率的图像。
步骤S1中，训练数据由三部分组成，即HR图像、HR图像对应的边缘图像和HR图像对应的LR图像。其中，HR图像对应的边缘图像是二值图像，可以由边缘检测算法给出，也可以由人工标记给出。边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘。假设LR图像的分辨率是h×w，HR图像的分辨率是H×W，则训练好的网络只可用于将分辨率为h×w的输入LR图像的分辨率提升至H×W。
进一步地，所述步骤S2中，神经网络模型的总体结构如附图1所示，主要由三个部分组成。第一个部分由4个卷积层组成，其滤波器数量逐层底层，主要用于提取图像的多尺度特征；第二部分由一个反卷积层和两个卷积层组成，其中反卷积层用于将特征图进行自适应的插值，卷积层用于输出期望的特征图和初步的HR图；第三部分也是由一个反卷积层和两个卷积层组成，其中反卷积层用于将特征图进行自适应的插值，卷积层用于输出残差图。第二部分的网络同时输出边缘图和初步的HR图，这样的设计可以在初步的HR图加入上下文相关的边缘信息，有助于获得保持边缘结构的初步HR图。而第三部分残差上下文相关网络(RCN)的目标是输出初步HR图与理想HR图之间的残差，所得到的残差将与初步的HR图进行融合，得到最终的HR图。由于所设计的神经网络有多个输出，因此可以称之为一个多任务的神经网络。以将128×128的输入LR图像分辨率提升至370×370为例，各层网络的具体设置如下表所示。注意，当输入和输出图像分辨率改变时，只需要修改反卷积层的步长(stride)即可。
表1：所提神经网络各层的参数设置
| 层类型 | 卷积 | 卷积 | 卷积 | 卷积 | 卷积 | 反卷积 | 卷积 | 卷积 | 反卷积 | 卷积 |
| 滤波器尺寸 | 5×5 | 3×3 | 3×3 | 1×1 | 3×3 | 11×11 | 3×3 | 3×3 | 11×11 | 3×3 |
| 滤波器数量 | 16 | 32 | 128 | 8 | 12 | 8 | 2 | 12 | 8 | 1 |
| 特征图边长 | 128 | 124 | 124 | 124 | 372 | 372 | 370 | 372 | 372 | 370 |
| 参数数量 | 400 | 4608 | 36864 | 1024 | 864 | 7744 | 216 | 864 | 7744 | 108 |
步骤S3中，利用S1中的训练数据对所建立的神经网络模型进行训练的伪代码如下：
用W来表示所设计网络的所有参数。由于网络结构的特性，我们可以将其划分为四个不重叠的部分分别进行更新，即W＝{Ws,Wh,Wb,Wd}，其中Ws是反卷积层的参数，用于内容自适应的图像插值，Wd代表RCN的网络参数，Wh代表用于产生初步HR图的网络参数，Wb代表用于产生边缘图的网络参数，fh(·)表示用网络重建初步HR图的非线性过程，fb(·)表示用网络产生边缘图的非线性过程，fd(·)表示用网络产生初步HR图和理想HR图之间的残差的过程。算法的参数T为正整数，用于控制从训练集中随机选取子集的次数。
步骤S4中，将训练好的神经网络用于处理新的输入LR图像时，要求输入的LR图像要先经过图像裁剪或者下采样等预处理操作，使得输入的LR图像分辨率与网络训练时所采用的LR图像分辨率一致。LR图像输入本发明所设计的神经网络之后，经过卷积和加权平均等各种操作，会输出HR边缘图Ib＝fb(Ws,Wb,I'l i)、初步的HR图像Ih＝fh(Ws,Wh,I'l i)和HR残差图Id＝fd(Ws,Wd,I'l i)，其中Ih和Id将通过线性叠加的方式进行融合，得到最终的HR图像。
以将低分辨率的图像放大3倍为例，并和其他代表性的基于深度神经网络的方法(包括SRCNN、SCN和ShCNN)在标准数据集BSD500、Set5和Set14上进行对比：
1)、将包含500幅图像的BSD500数据集划分为包含300幅图像的训练集BSD300和包含200幅图像的测试集BSD200，将BSD200中的HR图像进行尺度为1/3的下采样，得到对应的LR图像。200幅LR图像、200幅HR图像和对应的200张HR边缘图共同构成了训练数据集。注意其他方法可能不需要HR边缘图作为训练数据。
2)、利用上述训练样本，在所提的上下文相关多任务学习框架下对所提的深度神经网络进行训练，网络参数设计如表1所示。
3)、利用训练好的网络，根据步骤S4对输入的图像进行超分辨实验，分别在Set5、Set14和BSD200数据集上的平均量化结果如表2所示，视觉对比效果如附图2所示。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (5)
1.一种基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，包括以下步骤：
S1：收集图像数据；
S2：建立神经网络模型；
S3：利用收集图像数据对所建立的神经网络模型进行训练；
S4：将训练好的神经网络处理静态低分辨率图像即得到高分辨率的图像。
2.根据权利要求1所述的基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，所述步骤S1中收集的图像数据训练数据包括高分辨率的图像、该高分辨率的图像对应的边缘图像和其对应的静态低分辨率图像；其中，高分辨率的图像对应的边缘图像是二值图像，由边缘检测算法给出或由人工标记给出；边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘。
3.根据权利要求2所述的基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，所述步骤S2的神经网络模型包括三个部分组成；第一个部分由4个卷积层组成，其滤波器数量逐层提高，用于提取图像的多尺度特征；第二部分由一个第一反卷积层和两个第一卷积层组成，其中第一反卷积层用于将特征图进行自适应的插值，第一卷积层用于输出期望的特征图和初步的高分辨率的图像；第三部分是由一个第二反卷积层和两个第二卷积层组成，其中第二反卷积层用于将特征图进行自适应的插值，第二卷积层用于输出残差图。
4.根据权利要求3所述的基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，所述步骤S3的过程如下：
S31：从图像数据中筛选出低分辨率图像，高分辨率图像，边缘图像；
S32：将低分辨率图像输入基本图像估计网络和边缘估计网络，得到对应的超分辨后的图像结果和边缘图像；
S33：将网络输出的结果和高分辨率图像与手工标注边缘图像进行计算，并利用计算结果更新网络的参数；
S34：当基本图像估计网络和边缘估计网络收敛以后，将参数固定；
S35：利用基本图像估计网络估计残差图，并作为残差估计网络的目标更新残差估计网络参数；
S36：当残差估计网络收敛以后，将参数固定；
S37：将残差网络输出与基本图像估计网络输出融合，得到高分辨率图像。
5.根据权利要求4所述的基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，所述步骤S4中将训练好的神经网络用于处理新的输入静态低分辨率图像时，输入的静态低分辨率图像先经过图像裁剪或者下采样预处理操作，使得输入的静态低分辨率图像的分辨率与网络训练时所采用的LR图像分辨率一致；新输入的静态低分辨率图像输入训练好的神经网络之后，经过卷积和加权平均等各种操作，会输出高分辨率的边缘图、初步的高分辨率的图像和高分辨率的图像的残差图，其中初步的高分辨率的图像和高分辨率的图像的残差图通过线性叠加的方式进行融合，得到最终的高分辨率的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710652936.6A CN109389552B (zh) | 2017-08-02 | 2017-08-02 | 一种基于上下文相关多任务深度学习的图像超分辨算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710652936.6A CN109389552B (zh) | 2017-08-02 | 2017-08-02 | 一种基于上下文相关多任务深度学习的图像超分辨算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109389552A true CN109389552A (zh) | 2019-02-26 |
| CN109389552B CN109389552B (zh) | 2023-03-28 |
Family
ID=65412127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710652936.6A Active CN109389552B (zh) | 2017-08-02 | 2017-08-02 | 一种基于上下文相关多任务深度学习的图像超分辨算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109389552B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852947A (zh) * | 2019-10-30 | 2020-02-28 | 浙江大学 | 一种基于边缘锐化的红外图像超分辨方法 |
| CN111260558A (zh) * | 2020-01-22 | 2020-06-09 | 武汉大学 | 一种可变倍率的图像超分辨率网络模型 |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11887218B2 (en) | 2019-05-16 | 2024-01-30 | Samsung Electronics Co., Ltd. | Image optimization method, apparatus, device and storage medium |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US12014553B2 (en) | 2021-10-14 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040184657A1 (en) * | 2003-03-18 | 2004-09-23 | Chin-Teng Lin | Method for image resolution enhancement |
| US20100265354A1 (en) * | 2009-04-20 | 2010-10-21 | Fujifilm Corporation | Image processing system, image processing method, and computer readable medium |
| US20100315534A1 (en) * | 2007-08-07 | 2010-12-16 | Takeo Azuma | Image picking-up processing device, image picking-up device, image processing method and computer program |
| CN103729826A (zh) * | 2013-12-23 | 2014-04-16 | 安徽理工大学 | 一种基于粗糙集约简的图像插值方法 |
| US20160180527A1 (en) * | 2014-12-22 | 2016-06-23 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
-
2017
- 2017-08-02 CN CN201710652936.6A patent/CN109389552B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040184657A1 (en) * | 2003-03-18 | 2004-09-23 | Chin-Teng Lin | Method for image resolution enhancement |
| US20100315534A1 (en) * | 2007-08-07 | 2010-12-16 | Takeo Azuma | Image picking-up processing device, image picking-up device, image processing method and computer program |
| US20100265354A1 (en) * | 2009-04-20 | 2010-10-21 | Fujifilm Corporation | Image processing system, image processing method, and computer readable medium |
| CN103729826A (zh) * | 2013-12-23 | 2014-04-16 | 安徽理工大学 | 一种基于粗糙集约简的图像插值方法 |
| US20160180527A1 (en) * | 2014-12-22 | 2016-06-23 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11797304B2 (en) | 2018-02-01 | 2023-10-24 | Tesla, Inc. | Instruction set architecture for a vector computational unit |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11983630B2 (en) | 2018-09-03 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| US11887218B2 (en) | 2019-05-16 | 2024-01-30 | Samsung Electronics Co., Ltd. | Image optimization method, apparatus, device and storage medium |
| CN110852947A (zh) * | 2019-10-30 | 2020-02-28 | 浙江大学 | 一种基于边缘锐化的红外图像超分辨方法 |
| CN111260558B (zh) * | 2020-01-22 | 2021-10-22 | 武汉大学 | 一种可变倍率的图像超分辨率网络模型 |
| CN111260558A (zh) * | 2020-01-22 | 2020-06-09 | 武汉大学 | 一种可变倍率的图像超分辨率网络模型 |
| US12014553B2 (en) | 2021-10-14 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
| US12020476B2 (en) | 2022-10-28 | 2024-06-25 | Tesla, Inc. | Data synthesis for autonomous control systems |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109389552B (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389552A (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
| CN105046672B (zh) | 一种图像超分辨率重建方法 | |
| Yang et al. | Coupled dictionary training for image super-resolution | |
| Jiji et al. | Single‐frame image super‐resolution using learned wavelet coefficients | |
| CN108921786A (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
| CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN107369189A (zh) | 基于特征损失的医学图像超分辨率重建方法 | |
| CN105488776B (zh) | 超分辨率图像重建方法和装置 | |
| CN103871041B (zh) | 基于认知正则化参数构建的图像超分辨率重构方法 | |
| CN107895345A (zh) | 一种提高人脸图像分辨率的方法和装置 | |
| CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
| CN111667410B (zh) | 图像分辨率提升方法、装置及电子设备 | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN110634147B (zh) | 基于双边引导上采样的图像抠图方法 | |
| CN102915527A (zh) | 基于形态学成分分析的人脸图像超分辨率重建方法 | |
| CN107341765A (zh) | 一种基于卡通纹理分解的图像超分辨率重建方法 | |
| JP2009524861A (ja) | デジタル画像の解像度向上方法及び装置 | |
| Wei et al. | Medical image super-resolution by using multi-dictionary and random forest | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| CN104036468A (zh) | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 | |
| CN114170088A (zh) | 一种基于图结构数据的关系型强化学习系统及方法 | |
| CN112767252B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN113469884A (zh) | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 | |
| CN106254720B (zh) | 一种基于联合正则化的视频超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |