CN107578377A - 一种基于深度学习的超分辨率图像重建方法及系统 - Google Patents
一种基于深度学习的超分辨率图像重建方法及系统 Download PDFInfo
- Publication number
- CN107578377A CN107578377A CN201710773994.4A CN201710773994A CN107578377A CN 107578377 A CN107578377 A CN 107578377A CN 201710773994 A CN201710773994 A CN 201710773994A CN 107578377 A CN107578377 A CN 107578377A
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- picture
- image reconstruction
- resolution image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的超分辨率图像重建方法及系统，图像重建方法包括步骤：获取待重建图片和训练数据；将训练数据输入基于残差结构的多层卷积神经网络进行学习；将待重建图片输入学习得到的最优模型进行重建，得到超分辨率图片。采用基于残差结构的多层卷积进行深度学习，使获得的最优模型具有较强的超分辨率图像重建能力；采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。图像重建系统，包括：目标获取单元、训练单元以及图像重建单元，实现了图像重建方法相同的有益效果。
Description
技术领域
本发明涉及超分辨率图像重建领域，具体涉及一种基于深度学习的超分辨率图像重建方法及系统。
背景技术
随着数码科技的发展，摄像技术也随之取得长足的发展，人们对图片像素的要求也越来越高。传统的做法是选择高像素的相机拍摄得到高分辨率的照片，然而此举并不能解决将低分辨率的图片转换为高分辨率的图片，因此，图像超分辨率的方法应运而生。
现有技术中的图像超分辨率的方法有：基于插值法的重建方法、基于学习的重建方法以及频率域重建方法。
插值法如最近元法、双线性内插法和三次内插法等，上述方法针对图像上每个像素点的值是用其周围几个点进行计算逼近得到的，缺点为得到的图像过于平滑，丢失了许多高频细节。基于学习的方法：采用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节；缺点为仅使用图像的表层特征。频率域方法：其为图像超分辨率重建中一类重要方法，其中最主要的是消混叠重建方法；消混叠重建方法是通过解混叠而改善图像的空间分辨率实现超分辨率复原；缺点为频域数据缺少相关性。
发明内容
本发明的目的是提供一种基于深度学习的超分辨率图像重建方法及系统，以解决上述缺点。
为了实现上述目的，本发明提供如下技术方案：
本发明提供了一种基于深度学习的超分辨率图像重建方法，包括以下步骤：
获取待重建图片和训练数据；
将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；
输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。
上述超分辨率图像重建方法，所述训练数据的获取包括以下步骤：
通过matlab中的resize函数对选取的高分辨率图片进行下采样，得到与其相对应的一组低分辨率图片；
对上述高、低分辨率图片进行裁剪，得到所述训练数据。
上述超分辨率图像重建方法，所述残差结构为在所述多层卷积神经网络中上一级的输出对象和输入对象均输入下一级。
上述超分辨率图像重建方法，得到超分辨率图片后还包括：通过超像素结构对输出的所述超分辨率图片进行尺寸放大。
上述超分辨率图像重建方法，所述多层卷积神经网络为九层结构。
上述超分辨率图像重建方法，所述最优模型的获取包括以下步骤：
通过优化目标函数计算所述训练数据中对应的三个低分辨率图片和一个高分辨率图片的均方误差，如下所示：
其中，ISR表示经过网络重建出来的图片，IHR表示原始的高分辨率图片，C代表图片的通道数；
根据所述均方误差调整得到最终的优化目标，
Loss＝s1LMSE1+s2LMSE2+s3LMSE3
其中，Loss表示最终的优化目标，使用三个MSE赋予不同的权重组合；
通过对所述训练数据的训练迭代得到所述最优模型。
上述超分辨率图像重建方法，进行超分辨率图像重建包括以下步骤：
选择所述待重建图片的分辨率等级，并通过所述最优模型按照所述分辨率等级进行图像重建；
将重建得到的多个图片中的最后输出的图片作为所述超分辨率图片。
上述技术方案中，本发明提供的基于深度学习的超分辨率图像重建方法，实现了以下有益效果：1)采用多层卷积进行深度学习，并且基于残差结构，使获得的最优模型具有较强的超分辨率图像重建能力；2)采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；3)采用深度学习的方法重建图片以提高分辨率，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。
本发明还提供了一种基于深度学习的超分辨率图像重建系统，包括：
目标获取单元，用以获取待重建图片和训练数据；
训练单元，用以将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；
图像重建单元，用以输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。
上述超分辨率图像重建系统，还包括：用户单元，用以将所述待重建图片和高分辨率图片输入所述目标获取单元，以及选择所述待重建图片的分辨率等级。
上述超分辨率图像重建系统，还包括超像素单元，用以对输出的所述超分辨率图片进行尺寸放大。
本发明提供的基于深度学习的超分辨率图像重建系统，实现了以下有益效果：1)采用多层卷积进行深度学习，并且基于残差结构，使获得的最优模型具有较强的超分辨率图像重建能力；2)采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；3)采用深度学习的方法重建图片以提高分辨率，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的分辨率图像重建系统的流程示意图；
图2为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图3为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图4为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图5为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图6为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图7为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图8为本发明实施例提供的分辨率图像重建系统的结构示意图；
图9为本发明一优选实施例提供的分辨率图像重建系统的结构示意图；
图10为本发明一优选实施例提供的分辨率图像重建系统的结构示意图；
图11为本发明实施例提供的分辨率图像重建方法及系统的结构示意图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。
如图1所示，为本发明实施例提供的一种基于深度学习的超分辨率图像重建方法，包括以下步骤：
S101、获取待重建图片和训练数据；
待重建图片是指需要通过多层卷积神经网络重新构建后得到超分辨率的图片；训练数据是指深度学习需要的各种分辨率的图片；每一张图片对应一个图片组，该图片组内包括一高分辨率图片及与其对应的至少一低分辨率图片。
如图2所示，在步骤S101中，所述训练数据的获取包括以下步骤：
S201、通过matlab中的resize函数对选取的高分辨率图片进行下采样，得到与其相对应的一组低分辨率图片；
S202、对上述高、低分辨率图片进行裁剪，得到所述训练数据。
具体的，选取多张高分辨率图片作为标签；这些高分辨率图片的分辨率在1000x2000左右，然后使用matlab中的resize函数，将这些高分辨率图片分别的下采样到相应的1/2，1/3，1/4，1/5……的分辨率。作为本实施例中优选的，下采样到相应的 1/2，1/3，1/4分辨率，则一张1000x2000的图片，相对应的低分率图片分别为500x1000， 667x1667，250x500。经过下采样就得到一对低分辨率图片和其相对应的高分辨率图片，将其归为相关联的一图片组；再对选取的其他高分辨率图片进行下采样操作，得到多组样本图片组。考虑到图像边缘的点的像素值会丢失信息，我们选择从每张图片中心截取的图片作为网络的输入图片，例如，对低分辨图片在图片中心裁剪256x256，相应的高分辨图片在中心裁剪512x512等；对每张图片进行裁剪操作，得到训练数据。之所以在网络训练时选择大图，由于图像超分辨率重建是利用图像区域上的上下文信息，对于大的图片，卷积神经网络能学到的信息相比较小的图片会更多，训出的模型表达能力也会更强，重建效果更好。
S102、将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；
如图3、11所示，在步骤S102中，所述残差结构为在所述多层卷积神经网络中上一级的输出对象和输入对象均输入下一级。具体而言，每一级卷积除一级卷积以外均为两层结构，一级卷积为三层结构；因此，至少为五层结构是指至少有两级卷积，通过两级卷积得到的图片分辨率会扩大2倍；依次类推，通过三级卷积(七层结构)得到图片分辨率扩大三倍，四级扩大四倍。从而可以通过增加一级卷积，扩大分辨率的倍数，得到超分辨率图片，相应的，在下采样时，也要将训练数据中的高分辨率图片下采样至该倍数的倒数。使用残差学习是因为针对图片超分辨率重建，输入的图片与输出的图片在内容上是很相似的，通过学习残差会更好地对图片进行重建。
如图5、11所示，在步骤S102中，所述多层卷积神经网络为九层结构。九层结构与上述的四级卷积对应，从而与步骤1中优选的方式对应，可以对输入的待重建图片扩大2、3、4倍。进一步的，每一层由卷积层和激活函数层组成，且除了第一层不能作为结果输出，其他层能够根据选择的倍数，输出相应的超分辨率图片。
如图6、11所示，在步骤S102中，所述最优模型的获取包括以下步骤：
通过优化目标函数计算所述训练数据中对应的三个低分辨率图片和一个高分辨率图片的均方误差；网络学习的优化目标函数是重建的图片与原始高分辨率图片的均方误差，即每个点的像素差的欧式距离平方之后的平均值，如下所示：
其中，ISR表示经过网络重建出来的图片，IHR表示原始的高分辨率图片，C代表图片的通道数；一般RGB图像C的值为3，MSE的值越小，说明重建的图像与原始图像相似度更高。
根据所述均方误差调整得到最终的优化目标，
Loss＝s1LMSE1+s2LMSE2+s3LMSE3
其中，Loss表示最终的优化目标，使用三个MSE赋予不同的权重组合；
通过对所述训练数据的训练迭代得到所述最优模型。
S103、输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。
如图4所示，在步骤103后，还包括以下步骤：
S401、通过超像素结构对输出的所述超分辨率图片进行尺寸放大。
具体的，超像素结构可以减少整个网络的计算量，实现快速地重建。超像素层是对图片放大的层，前面的卷积层并没有对图像的尺寸进行改变，所以在经过超像素层之前，图片的大小和一开始的输入图片尺寸是一致的，这样与直接对图片放大后再传入网络，图片尺寸变小，计算复杂度也相应的减小，一张图片重建所需的时间也就更短。对一个HxW的图片放大r倍，其中H代表图片的高度，W代表图片的宽度，这个图片进过超像素层之后，会变为(rH)x(rW)。
如图7所示，在步骤103中，进行超分辨率图像重建包括以下步骤：
S701、选择所述待重建图片的分辨率等级，并通过所述最优模型按照所述分辨率等级进行图像重建；
S702、将重建得到的多个图片中的最后输出的图片作为所述超分辨率图片。
如图11所示，输入一张任意尺寸的图片，输入要放大的分辨率(x2，x3，x4)。该示例图我们输入的放大的分辨率是x3，经过不同层的残差网络可以得到三个超分辨率图片，我们选择最后一层的残差网络输出作为我们最终的超分辨率图片。
上述技术方案中，本发明提供的基于深度学习的超分辨率图像重建方法实现了以下有益效果：
1)采用多层卷积进行深度学习，并且基于残差结构，使获得的最优模型具有较强的超分辨率图像重建能力；
2)采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；
3)采用深度学习的方法重建图片以提高分辨率，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。
如图8-11所示，为本发明实施例还提供的一种基于深度学习的超分辨率图像重建系统，包括：目标获取单元，用以获取待重建图片和训练数据；训练单元，用以将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；图像重建单元，用以输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。
具体的，待重建图片是指需要通过多层卷积神经网络重新构建后得到超分辨率的图片；训练数据是指深度学习需要的各种分辨率的图片；每一张图片对应一个图片组，该图片组内包括一高分辨率图片及与其对应的至少一低分辨率图片。选取多张高分辨率图片作为标签；这些高分辨率图片的分辨率在1000x2000左右，然后使用matlab中的resize函数，将这些高分辨率图片分别的下采样到相应的1/2，1/3，1/4，1/5……的分辨率。作为本实施例中优选的，下采样到相应的1/2，1/3，1/4分辨率，则一张1000x2000 的图片，相对应的低分率图片分别为500x1000，667x1667，250x500。经过下采样就得到一对低分辨率图片和其相对应的高分辨率图片，将其归为相关联的一图片组；再对选取的其他高分辨率图片进行下采样操作，得到多组样本图片组。考虑到图像边缘的点的像素值会丢失信息，我们选择从每张图片中心截取的图片作为网络的输入图片，例如，对低分辨图片在图片中心裁剪256x256，相应的高分辨图片在中心裁剪512x512 等；对每张图片进行裁剪操作，得到训练数据。之所以在网络训练时选择大图，由于图像超分辨率重建是利用图像区域上的上下文信息，对于大的图片，卷积神经网络能学到的信息相比较小的图片会更多，训出的模型表达能力也会更强，重建效果更好。残差结构中每一级卷积除一级卷积以外均为两层结构，一级卷积为三层结构；因此，至少为五层结构是指至少有两级卷积，通过两级卷积得到的图片分辨率会扩大2倍；依次类推，通过三级卷积(七层结构)得到图片分辨率扩大三倍，四级扩大四倍。从而可以通过增加一级卷积，扩大分辨率的倍数，得到超分辨率图片，相应的，在下采样时，也要将训练数据中的高分辨率图片下采样至该倍数的倒数。使用残差学习是因为针对图片超分辨率重建，输入的图片与输出的图片在内容上是很相似的，通过学习残差会更好地对图片进行重建。九层结构与上述的四级卷积对应，从而与步骤1中优选的方式对应，可以对输入的待重建图片扩大2、3、4倍。进一步的，每一层由卷积层和激活函数层组成，且除了第一层不能作为结果输出，其他层能够根据选择的倍数，输出相应的超分辨率图片。得到训练数据后，通过优化目标函数计算所述训练数据中对应的三个低分辨率图片和一个高分辨率图片的均方误差；网络学习的优化目标函数是重建的图片与原始高分辨率图片的均方误差，即每个点的像素差的欧式距离平方之后的平均值；根据所述均方误差调整得到最终的优化目标，通过对所述训练数据的训练迭代得到所述最优模型；最后将待重建图片输入该最优模型进行超分辨率图像重建，得到超分辨率图片。
上述技术方案中，本发明提供的基于深度学习的超分辨率图像重建系统实现了以下有益效果：
1)采用多层卷积进行深度学习，并且基于残差结构，使获得的最优模型具有较强的超分辨率图像重建能力；
2)采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；
3)采用深度学习的方法重建图片以提高分辨率，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。
如图9所示，为本发明实施例还提供的一种基于深度学习的超分辨率图像重建系统，包括：目标获取单元，用以获取待重建图片和训练数据；训练单元，用以将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；图像重建单元，用以输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。作为本实施例中优选的，还包括：用户单元，用以将所述待重建图片和高分辨率图片输入所述目标获取单元，以及选择所述待重建图片的分辨率等级。通过用户单元实现用户和系统的交互，可以输入图片，以及选择分辨率等级(x2，x3，x4)。
如图10所示，为本发明实施例还提供的一种基于深度学习的超分辨率图像重建系统，包括：目标获取单元，用以获取待重建图片和训练数据；训练单元，用以将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；图像重建单元，用以输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。作为本实施例中优选的，还包括：超像素单元，用以对输出的所述超分辨率图片进行尺寸放大。具体的，超像素结构可以减少整个网络的计算量，实现快速地重建。超像素层是对图片放大的层，前面的卷积层并没有对图像的尺寸进行改变，所以在经过超像素层之前，图片的大小和一开始的输入图片尺寸是一致的，这样与直接对图片放大后再传入网络，图片尺寸变小，计算复杂度也相应的减小，一张图片重建所需的时间也就更短。对一个HxW的图片放大r倍，其中H代表图片的高度，W代表图片的宽度，这个图片进过超像素层之后，会变为(rH)x(rW)。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。
Claims (10)
1.一种基于深度学习的超分辨率图像重建方法，其特征在于，包括以下步骤：
获取待重建图片和训练数据；
将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；
输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。
2.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述训练数据的获取包括以下步骤：
通过matlab中的resize函数对选取的高分辨率图片进行下采样，得到与其相对应的一组低分辨率图片；
对上述高、低分辨率图片进行裁剪，得到所述训练数据。
3.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述残差结构为在所述多层卷积神经网络中上一级的输出对象和输入对象均输入下一级。
4.根据权利要求1所述的超分辨率图像重建方法，其特征在于，得到超分辨率图片后还包括：通过超像素结构对输出的所述超分辨率图片进行尺寸放大。
5.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述多层卷积神经网络为九层结构。
6.根据权利要求5所述的超分辨率图像重建方法，其特征在于，所述最优模型的获取包括以下步骤：
通过优化目标函数计算所述训练数据中对应的三个低分辨率图片和一个高分辨率图片的均方误差，如下所示：
其中，ISR表示经过网络重建出来的图片，IHR表示原始的高分辨率图片，C代表图片的通道数；
根据所述均方误差调整得到最终的优化目标，
Loss＝s1LMSE1+s2LMSE2+s3LMSE3
其中，Loss表示最终的优化目标，使用三个MSE赋予不同的权重组合；
通过对所述训练数据的训练迭代得到所述最优模型。
7.根据权利要求1所述的超分辨率图像重建方法，其特征在于，进行超分辨率图像重建包括以下步骤：
选择所述待重建图片的分辨率等级，并通过所述最优模型按照所述分辨率等级进行图像重建；
将重建得到的多个图片中的最后输出的图片作为所述超分辨率图片。
8.一种基于深度学习的超分辨率图像重建系统，其特征在于，包括：
目标获取单元，用以获取待重建图片和训练数据；
训练单元，用以将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；
图像重建单元，用以输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。
9.根据权利要求8所述的超分辨率图像重建系统，其特征在于，还包括：用户单元，用以将所述待重建图片和高分辨率图片输入所述目标获取单元，以及选择所述待重建图片的分辨率等级。
10.根据权利要求8所述的超分辨率图像重建系统，其特征在于，还包括：超像素单元，用以对输出的所述超分辨率图片进行尺寸放大。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710773994.4A CN107578377A (zh) | 2017-08-31 | 2017-08-31 | 一种基于深度学习的超分辨率图像重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710773994.4A CN107578377A (zh) | 2017-08-31 | 2017-08-31 | 一种基于深度学习的超分辨率图像重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107578377A true CN107578377A (zh) | 2018-01-12 |
Family
ID=61031057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710773994.4A Pending CN107578377A (zh) | 2017-08-31 | 2017-08-31 | 一种基于深度学习的超分辨率图像重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107578377A (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108259997A (zh) * | 2018-04-02 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| CN108280814A (zh) * | 2018-02-08 | 2018-07-13 | 重庆邮电大学 | 基于感知损失的光场图像角度超分辨率重建方法 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN108647775A (zh) * | 2018-04-25 | 2018-10-12 | 陕西师范大学 | 基于全卷积神经网络单张图像的超分辨率图像重建方法 |
| CN108784697A (zh) * | 2018-07-11 | 2018-11-13 | 天津工业大学 | 一种基于深度学习神经网络的人体组织电导率分布重建方法及系统 |
| CN108898549A (zh) * | 2018-05-29 | 2018-11-27 | Oppo广东移动通信有限公司 | 图片处理方法、图片处理装置及终端设备 |
| CN108986029A (zh) * | 2018-07-03 | 2018-12-11 | 南京览笛信息科技有限公司 | 文字图像超分辨率重建方法、系统、终端设备及存储介质 |
| CN109064399A (zh) * | 2018-07-20 | 2018-12-21 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和系统、计算机设备及其存储介质 |
| CN109064408A (zh) * | 2018-09-27 | 2018-12-21 | 北京飞搜科技有限公司 | 一种多尺度图像超分辨率重建的方法及装置 |
| CN109325915A (zh) * | 2018-09-11 | 2019-02-12 | 合肥工业大学 | 一种用于低分辨率监控视频的超分辨率重建方法 |
| CN109413434A (zh) * | 2018-11-08 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、系统、存储介质和计算机设备 |
| CN109447900A (zh) * | 2018-09-30 | 2019-03-08 | 北京飞搜科技有限公司 | 一种图像超分辨率重建方法及装置 |
| CN109727195A (zh) * | 2018-12-25 | 2019-05-07 | 成都元点智库科技有限公司 | 一种图像超分辨率重构方法 |
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN109993707A (zh) * | 2019-03-01 | 2019-07-09 | 华为技术有限公司 | 图像去噪方法和装置 |
| CN110278486A (zh) * | 2018-03-14 | 2019-09-24 | 阿里巴巴集团控股有限公司 | 图像处理、图像分辨率处理参数的生成方法及装置 |
| CN110766612A (zh) * | 2019-12-26 | 2020-02-07 | 杭州知衣科技有限公司 | 一种基于深度学习的图像超分辨率方法 |
| WO2020057492A1 (zh) * | 2018-09-19 | 2020-03-26 | 北京金山办公软件股份有限公司 | 图像压缩、解压缩方法、装置、电子设备及存储介质 |
| CN111182254A (zh) * | 2020-01-03 | 2020-05-19 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| WO2020177108A1 (zh) * | 2019-03-01 | 2020-09-10 | 北京大学深圳研究生院 | 一种视频帧插值方法、装置及设备 |
| CN112950463A (zh) * | 2019-12-11 | 2021-06-11 | 香港理工大学深圳研究院 | 一种图像超分辨率方法、图像超分辨率装置及终端设备 |
| CN113160046A (zh) * | 2020-01-23 | 2021-07-23 | 百度在线网络技术（北京）有限公司 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
| CN113160044A (zh) * | 2020-01-23 | 2021-07-23 | 百度在线网络技术（北京）有限公司 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
| CN114494569A (zh) * | 2022-01-27 | 2022-05-13 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
| CN116228903A (zh) * | 2023-01-18 | 2023-06-06 | 北京长木谷医疗科技有限公司 | 基于csa模块及深度学习模型的高清ct图像重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
| CN106683048A (zh) * | 2016-11-30 | 2017-05-17 | 浙江宇视科技有限公司 | 一种图像超分辨率方法及设备 |
-
2017
- 2017-08-31 CN CN201710773994.4A patent/CN107578377A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
| CN106683048A (zh) * | 2016-11-30 | 2017-05-17 | 浙江宇视科技有限公司 | 一种图像超分辨率方法及设备 |
Non-Patent Citations (1)
| Title |
|---|
| JINCHANG XU 等: ""Fast and Accurate Image Super-Resolution Using A Combined Loss"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280814A (zh) * | 2018-02-08 | 2018-07-13 | 重庆邮电大学 | 基于感知损失的光场图像角度超分辨率重建方法 |
| CN108280814B (zh) * | 2018-02-08 | 2021-08-31 | 重庆邮电大学 | 基于感知损失的光场图像角度超分辨率重建方法 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN110278486A (zh) * | 2018-03-14 | 2019-09-24 | 阿里巴巴集团控股有限公司 | 图像处理、图像分辨率处理参数的生成方法及装置 |
| US11836891B2 (en) | 2018-04-02 | 2023-12-05 | Tencent Technology (Shenzhen) Company Ltd | Image related processing method and apparatus, device and storage medium |
| WO2019192316A1 (zh) * | 2018-04-02 | 2019-10-10 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、设备、存储介质 |
| CN108259997A (zh) * | 2018-04-02 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| CN108259997B (zh) * | 2018-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| CN108647775B (zh) * | 2018-04-25 | 2022-03-29 | 陕西师范大学 | 基于全卷积神经网络单张图像的超分辨率图像重建方法 |
| CN108647775A (zh) * | 2018-04-25 | 2018-10-12 | 陕西师范大学 | 基于全卷积神经网络单张图像的超分辨率图像重建方法 |
| CN108898549A (zh) * | 2018-05-29 | 2018-11-27 | Oppo广东移动通信有限公司 | 图片处理方法、图片处理装置及终端设备 |
| CN108986029B (zh) * | 2018-07-03 | 2023-09-08 | 南京览笛信息科技有限公司 | 文字图像超分辨率重建方法、系统、终端设备及存储介质 |
| CN108986029A (zh) * | 2018-07-03 | 2018-12-11 | 南京览笛信息科技有限公司 | 文字图像超分辨率重建方法、系统、终端设备及存储介质 |
| CN108784697A (zh) * | 2018-07-11 | 2018-11-13 | 天津工业大学 | 一种基于深度学习神经网络的人体组织电导率分布重建方法及系统 |
| CN109064399B (zh) * | 2018-07-20 | 2023-01-24 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和系统、计算机设备及其存储介质 |
| CN109064399A (zh) * | 2018-07-20 | 2018-12-21 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和系统、计算机设备及其存储介质 |
| CN109325915B (zh) * | 2018-09-11 | 2022-11-08 | 合肥工业大学 | 一种用于低分辨率监控视频的超分辨率重建方法 |
| CN109325915A (zh) * | 2018-09-11 | 2019-02-12 | 合肥工业大学 | 一种用于低分辨率监控视频的超分辨率重建方法 |
| WO2020057492A1 (zh) * | 2018-09-19 | 2020-03-26 | 北京金山办公软件股份有限公司 | 图像压缩、解压缩方法、装置、电子设备及存储介质 |
| CN109064408A (zh) * | 2018-09-27 | 2018-12-21 | 北京飞搜科技有限公司 | 一种多尺度图像超分辨率重建的方法及装置 |
| CN109447900A (zh) * | 2018-09-30 | 2019-03-08 | 北京飞搜科技有限公司 | 一种图像超分辨率重建方法及装置 |
| CN109413434A (zh) * | 2018-11-08 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、系统、存储介质和计算机设备 |
| CN109727195A (zh) * | 2018-12-25 | 2019-05-07 | 成都元点智库科技有限公司 | 一种图像超分辨率重构方法 |
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN109903226B (zh) * | 2019-01-30 | 2023-08-15 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN109993707A (zh) * | 2019-03-01 | 2019-07-09 | 华为技术有限公司 | 图像去噪方法和装置 |
| WO2020177108A1 (zh) * | 2019-03-01 | 2020-09-10 | 北京大学深圳研究生院 | 一种视频帧插值方法、装置及设备 |
| US11354541B2 (en) | 2019-03-01 | 2022-06-07 | Peking University Shenzhen Graduate School | Method, apparatus, and device for video frame interpolation |
| CN109993707B (zh) * | 2019-03-01 | 2023-05-12 | 华为技术有限公司 | 图像去噪方法和装置 |
| CN112950463A (zh) * | 2019-12-11 | 2021-06-11 | 香港理工大学深圳研究院 | 一种图像超分辨率方法、图像超分辨率装置及终端设备 |
| CN110766612A (zh) * | 2019-12-26 | 2020-02-07 | 杭州知衣科技有限公司 | 一种基于深度学习的图像超分辨率方法 |
| CN111182254A (zh) * | 2020-01-03 | 2020-05-19 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| US11416967B2 (en) | 2020-01-03 | 2022-08-16 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Video processing method, apparatus, device and storage medium |
| CN111182254B (zh) * | 2020-01-03 | 2022-06-24 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| CN113160044A (zh) * | 2020-01-23 | 2021-07-23 | 百度在线网络技术（北京）有限公司 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
| CN113160046A (zh) * | 2020-01-23 | 2021-07-23 | 百度在线网络技术（北京）有限公司 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
| CN113160046B (zh) * | 2020-01-23 | 2023-12-26 | 百度在线网络技术（北京）有限公司 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
| CN113160044B (zh) * | 2020-01-23 | 2023-12-26 | 百度在线网络技术（北京）有限公司 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
| CN114494569A (zh) * | 2022-01-27 | 2022-05-13 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
| CN114494569B (zh) * | 2022-01-27 | 2023-09-19 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
| CN116228903A (zh) * | 2023-01-18 | 2023-06-06 | 北京长木谷医疗科技有限公司 | 基于csa模块及深度学习模型的高清ct图像重建方法 |
| CN116228903B (zh) * | 2023-01-18 | 2024-02-09 | 北京长木谷医疗科技股份有限公司 | 基于csa模块及深度学习模型的高清ct图像重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107578377A (zh) | 一种基于深度学习的超分辨率图像重建方法及系统 | |
| CN110415170B (zh) | 一种基于多尺度注意力卷积神经网络的图像超分辨率方法 | |
| CN108537733A (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
| CN109903223B (zh) | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 | |
| WO2019192316A1 (zh) | 图像相关处理方法及装置、设备、存储介质 | |
| CN102142137B (zh) | 基于高分辨率字典的稀疏表征图像超分辨重建方法 | |
| CN109767386A (zh) | 一种基于深度学习的快速图像超分辨率重建方法 | |
| CN110634105B (zh) | 一种光流法和深度网络结合的视频高时空分辨率信号处理方法 | |
| CN108734660A (zh) | 一种基于深度学习的图像超分辨率重建方法及装置 | |
| CN109829855A (zh) | 一种基于融合多层次特征图的超分辨率重建方法 | |
| CN106991646A (zh) | 一种基于密集连接网络的图像超分辨率方法 | |
| CN103871041B (zh) | 基于认知正则化参数构建的图像超分辨率重构方法 | |
| CN110009590A (zh) | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 | |
| CN105976318A (zh) | 一种图像超分辨率重建方法 | |
| CN106204449A (zh) | 一种基于对称深度网络的单幅图像超分辨率重建方法 | |
| CN108765291A (zh) | 基于稠密神经网络和双参数损失函数的超分辨率重建方法 | |
| CN108805808A (zh) | 一种利用卷积神经网络提高视频分辨率的方法 | |
| CN105825477A (zh) | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 | |
| CN111340696B (zh) | 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法 | |
| CN112767252B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN112750201B (zh) | 三维重建方法及相关装置、设备 | |
| CN108765290A (zh) | 一种基于改进的稠密卷积神经网络的超分辨率重建方法 | |
| Wei et al. | Improving resolution of medical images with deep dense convolutional neural network | |
| CN110930306B (zh) | 一种基于非局部感知的深度图超分辨率重建网络构建方法 | |
| CN106600533B (zh) | 单图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180112 |