CN109886875B - 图像超分辨率重建方法及装置、存储介质 - Google Patents
图像超分辨率重建方法及装置、存储介质 Download PDFInfo
- Publication number
- CN109886875B CN109886875B CN201910098992.9A CN201910098992A CN109886875B CN 109886875 B CN109886875 B CN 109886875B CN 201910098992 A CN201910098992 A CN 201910098992A CN 109886875 B CN109886875 B CN 109886875B
- Authority
- CN
- China
- Prior art keywords
- image
- reconstructed
- super
- color image
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本实施例公开一种图像超分辨率重建方法及装置、存储介质，该图像超分辨率重建方法可以包括：根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；根据中间图像和第一彩色图像，对待重建原始图像进行图像超分辨率重建，获得重建后的图像。
Description
技术领域
本公开涉及计算机视觉领域，尤其涉及一种图像超分辨率重建方法及装置、存储介质。
背景技术
图像超分辨率问题是计算机视觉与图像增强领域的重要问题，然而，一方面由于真实的训练数据难以获取，且现有的数据生成方法简化了真实图片存在的噪声，模糊等问题，导致生成的数据同真实场景差距较大；另一方面，虽然相机能够同时提供原始图像和处理后的彩色图像等图像信息，但是现有技术并没有充分利用全部的图像信息，常常值使用彩色图像作为网络输入，却丢弃了原始图像中隐藏的信息。因此，现有的图像超分辨率技术在真实场景中表现平平，重建后的图像与真实图像的之间的差别较大。
发明内容
本实施例提供一种图像超分辨率重建方法及装置、存储介质，有效地提升重建后的图像逼近真实图像，图像质量高。
本公开的技术方案是这样实现的：
本实施例提供一种图像超分辨率重建方法，所述方法包括：
根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；
根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像。
在上述方案中，所述根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像，包括：
对所述待重建原始图像进行预处理，获得所述中间图像；
对所述中间图像进行转换处理，获得所述第一彩色图像。
在上述方案中，所述根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像，包括：
基于预设超分辨率神经网络对所述中间图像和所述第一彩色图像进行重构，得到所述重建后的图像。
在上述方案中，基于预设超分辨率神经网络对所述中间图像和所述第一彩色图像进行重构，得到所述重建后的图像，包括：
将所述中间图像输入至所述预设图像恢复模型中，输出第一线性彩色图像；其中，所述第一线性彩色图像用于表征线性彩色图像预测；
将所述第一彩色图像输入至所述预设颜色校正模型中，输出全局校正参数和单像素校正参数；
根据所述第一线性彩色图像、所述全局校正参数以及所述单像素校正参数，获得所述重建后的图像。
在上述方案中，所述根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像之前，所述方法还包括：
获取所述待重建原始图像。
在上述方案中，所述获取所述待重建原始图像之后，所述方法还包括：
根据所述待重建原始图像进行数据生成处理，得到第二彩色图像和第二线性彩色图像；其中，所述第二彩色图像的分辨率高于所述第一彩色图像的分辨率。
在上述方案中，所述根据所述待重建原始图像进行数据生成处理，得到第二彩色图像，包括：
对所述待重建原始图像进行转换处理，获得所述第二彩色图像。
在上述方案中，所述根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像之后，所述方法还包括：
对所述第二彩色图像和所述重建后的图像进行对比，获得第一对比结果；
根据所述第一对比结果对所述预设超分辨率神经网络进行校正。
在上述方案中，所述将所述中间图像输入至所述预设图像恢复模型中，输出第一线性彩色图像之后，所述方法还包括：
对所述第一线性彩色图像和所述第二线性彩色图像进行对比，获得第二对比结果；
根据所述第二对比结果对所述预设超分辨率神经网络进行校正。
在上述方案中，所述对所述中间图像进行转换处理，获得所述第一彩色图像之后，所述方法还包括：
根据所述中间图像和所述预设图像恢复模型，获得第一图像特征；
根据所述第一彩色图像和所述预设颜色校正模型，获得第二图像特征；
根据所述第一图像特征和所述第二图像特征进行特征融合处理。
本实施例提供一种图像超分辨率重建装置，所述图像超分辨率重建装置包括：获取单元和重建单元，
所述获取单元，用于根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；
所述重建单元，用于根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像。
在上述方案中，所述获取单元，具体用于对所述待重建原始图像进行预处理，获得所述中间图像；以及对所述中间图像进行转换处理，获得所述第一彩色图像。
在上述方案中，所述重建单元，具体用于基于预设超分辨率神经网络对所述中间图像和所述第一彩色图像进行重构，得到所述重建后的图像。
在上述方案中，所述重建单元，具体用于将所述中间图像输入至所述预设图像恢复模型中，输出第一线性彩色图像；其中，所述第一线性彩色图像用于表征线性彩色图像预测；以及将所述第一彩色图像输入至所述预设颜色校正模型中，输出全局校正参数和单像素校正参数；以及根据所述第一线性彩色图像、所述全局校正参数以及所述单像素校正参数，获得所述重建后的图像。
在上述方案中，所述获取单元，还用于根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像之前，获取所述待重建原始图像。
在上述方案中，所述获取单元，还用于获取所述待重建原始图像之后，根据所述待重建原始图像进行数据生成处理，得到第二彩色图像和第二线性彩色图像；其中，所述第二彩色图像的分辨率高于所述第一彩色图像的分辨率。
在上述方案中，所述获取单元，具体用于对所述待重建原始图像进行转换处理，获得所述第二彩色图像。
在上述方案中，所述图像超分辨率重建装置还包括：对比单元和校正单元，
所述对比单元，用于根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像之后，对所述第二彩色图像和所述重建后的图像进行对比，获得第一对比结果；
所述校正单元，用于根据所述第一对比结果对所述预设超分辨率神经网络进行校正。
在上述方案中，所述对比单元，还用于将所述中间图像输入至所述预设图像恢复模型中，输出第一线性彩色图像之后，对所述第一线性彩色图像和所述第二线性彩色图像进行对比，获得第二对比结果；
所述校正单元，还用于根据所述第二对比结果对所述预设超分辨率神经网络进行校正。
在上述方案中，所述图像超分辨率重建装置还包括：融合单元，
所述获取单元，还用于对所述中间图像进行转换处理，获得所述第一彩色图像之后，根据所述中间图像和所述预设图像恢复模型，获得第一图像特征；以及根据所述第一彩色图像和所述预设颜色校正模型，获得第二图像特征；
所述融合单元，用于根据所述第一图像特征和所述第二图像特征进行特征融合处理。
本实施例提供一种图像超分辨率重建装置，所述图像超分辨率重建装置包括：处理器、存储器及通信总线，所述处理器执行所述存储器中存储的运行程序时实现如上述任一项所述的图像超分辨率重建方法。
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，应用于图像超分辨率重建装置，该计算机程序被处理器执行时实现如上述任一项所述的图像超分辨率重建方法。
本实施例公开一种图像超分辨率重建方法及装置、存储介质，图像超分辨率重建装置根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；根据中间图像和第一彩色图像，对待重建原始图像进行图像超分辨率重建，获得重建后的图像。采用上述方法在进行图像超分辨率时，能够同时合成待重建原始图像和对应的第一彩色图像，将影响图像质量的因素添加至重建后的图像的实际生成过程中，进而在进行图像超分辨时能够有效地提升重建后的图像的真实度，以及图像质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本实施例提出的一种图像超分辨率重建方法的实现流程示意图；
图2为图像转换处理示意图；
图3为本实施例中拜尔模板示意图；
图4为本实施例中图像恢复流程示意图；
图5为本实施例中颜色校正流程示意图；
图6为本实施例中图像超分辨率重建示意图；
图7为本实施例提出的图像超分辨率重建装置的组成结构示意图一；
图8为本实施例提出的图像超分辨率重建装置的组成结构示意图二。
具体实施方式
下面将结合本实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
图像超分辨率问题是计算机视觉与图像增强领域的重要问题。在光学摄影中，图像的分辨率同相机的焦距密切相关。使用长焦镜头能够获取更高分辨率的图像，却受限于图像平面上的传感器阵列尺寸。因此，在实际摄影过程中，常常使用短焦相机获取更大场景的低分辨率图像，再通过图像超分辨率技术提升图像分辨率。
然而现有的图像超分辨率技术在真实场景中表现平平。一方面，真实的训练数据难以获取，而现有的数据生成方法简化了真实图片存在的问题(如噪声，模糊等)，导致生成数据同真实场景差距较大。另一方面，现存的方法没有充分利用已有信息。现代相机能够同时提供原始图像和处理后的彩色图像，而现存的方法仅仅使用彩色图像作为网络输入，丢弃了原始图像中隐藏的信息。
本实施例提出了一种图像超分辨率重建方法，其中包括一种全新的数据生成方法，能够同时合成原始图像和对应的彩色图像，很多影响图像质量的因素可以根据照片的实际生成过程进行添加，从而可以最大程度的模拟真实图片。该图像超分辨率重建方法还包括一个能够同时利用原始图像和彩色图像的神经网络结构，即预设超分辨率神经网络，从而可以使得原始图像中并不携带的颜色信息也能够通过神经网络学习得到，本实施例提出的方法在多款相机间均可使用，拥有更强的泛化性。本实施例提出的图像超分辨率重建方法还包括空间变化的颜色转换和特征融合技术，能进一步提升模型性能，同时，还可以让同一张原始图像能够根据不同风格的彩色图像，在通过网络后都能得到对应的高分辨率彩色图像。
下面将结合本实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述。
本公开一实施例提供了一种图像超分辨率重建方法，图1为本实施例提出的一种图像超分辨率重建方法的实现流程示意图，如图1所示，在本实施例中，图像超分辨率重建装置进行图像超分辨率重建的方法可以包括以下步骤：
步骤101、根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像。
在本实施例中，图像超分辨率重建装置可以先根据待重建原始图像进行数据生成处理，获得上述待重建原始图像对应的中间图像和第一彩色图像。
需要说明的是，在本实施例中，上述待重建原始图像即为相机拍摄获得的待重建RAW图，即原始图像文件。具体地，原始图像文件可以包含从数码相机、扫描器或电影胶片扫描仪的图像传感器所处理数据。RAW格式是数码相机的专用格式，也是体现数码影像极致质量的唯一的格式，与常见的由设置了ISO、文件大小、反差、色彩、色温、锐化等参数的相机直接生成的JPEG格式和TIFF格式不同，RAW格式是由感光元件直接获取的原始数据，它以12位、14位或22位二进制记录数据，严格地说RAW格式不是图像文件，而是一个数据包，这个数据包不经过相机内的影像生成器的转换。
进一步地，在本实施例中，图像超分辨率重建装置可以先获取上述待重建原始图像，然后再根据上述待重建原始图像进行数据生成处理，得到上述待重建原始图像对应的中间图像和第一彩色图像。
需要说明的是，在本实施例中，图像超分辨率重建装置获取上述待重建原始图像之后，在根据上述待重建原始图像进行数据生成处理，得到上述待重建原始图像对应的中间图像和第一彩色图像的同时，还可以根据上述待重建原始图像进行数据生成处理，得到上述待重建原始图像对应的第二彩色图像和第二线性彩色图像。其中，上述第二彩色图像的分辨率高于上述第一彩色图像的分辨率。
进一步地，在本实施例中，上述第二彩色图像可以为高分辨率彩色图像，上述第一彩色图像可以为低分辨率彩色图像。例如，在本实施例中，上述第二彩色图像可以为垂直分辨率大于或者等于720的图像，上述第一彩色图像可以为垂直分辨率小于720的图像。
进一步地，在本实施例中，图像超分辨率重建装置可以根据上述待重建原始图像分别进行数据生成处理，得到用于进行图像超分辨率的两组不同的数据，具体地，该两组不同的数据可以为用于监督校正的数据和用于训练的数据。
需要说明的是，在本实施例中，用于监督校正的数据可以包括第二线性彩色图像和第二彩色图像，同时，用于训练的数据可以包括中间图像和第一彩色图像。也就是说，上述图像超分辨率重建装置在获取上述待重建原始图像之后，在根据上述待重建原始图像进一步获得用于训练的上述待重建原始图像对应的中间图像和第一彩色图像的同时，还可以根据上述待重建原始图像进一步获得用于监督校正的上述第二彩色图像和上述第二线性彩色图像。
进一步地，在本实施中，图2为图像转换处理示意图，如图2所示，图像转换处理的具体过程可以包括去马赛克Demosaicing、减少噪音和伪影Noise and artifactreduction、彩色图像变换Color converter、色调调整Tone adjustment、轮廓增强Edgeenhancement以及压缩Compression等具体步骤。
进一步地，在本实施中，基于上述图2，图像超分辨率重建装置在进行监督校正数据的生成时，可以先将待重建原始图像通过上述图2的步骤进行图像转换处理，然后便可以在解码后得到第二线性彩色图像，还可以在末端得到第二彩色图像。
图3为本实施例中拜尔模板示意图，如图3所示，彩色数字相机需要三个个单色传感器获得彩色图像的红R，绿G，蓝B分量，成本较高。单电荷耦合器件(Charge-coupledDevice，CCD)获得彩色图像的方法是CCD表面覆盖一个只含R，G，B三色的马赛克滤镜，对其输出信号通过一定的处理算法实现。这个设计理念最初由拜尔提出，所以这种滤镜也被称作拜尔模板Bayer pattern。
进一步地，在本实施中，基于上述图2和图3，图像超分辨率重建装置在进行训练数据的生成时，可以先将待重建原始图像通过上述图2的步骤进行图像转换处理并解码后继续进行下采样处理，然后添加模糊，进一步根据上述图3所示的Bayer图格式重新生成中间图像并添加噪声。最后，图像超分辨率重建装置将生成的中间图像重新通过上述图2的步骤进行图像转换处理，便可以在末端生成对应的第一彩色图像。
需要说明的是，在本实施例中，通过上述步骤101所述的数据生成方法，将获取的待重建原始图像进行数据生成处理，生成所需的训练数据和对应的交叉验证数据，即训练数据和监督校正数据。
步骤102、根据中间图像和第一彩色图像，对待重建原始图像进行图像超分辨率重建，获得重建后的图像。
本实施例中，图像超分辨率重建装置在根据待重建原始图像进行数据生成处理，得到上述待重建原始图像对应的中间图像和第一彩色图像之后，便可以继续根据上述中间图像和上述第一彩色图像，对上述待重建原始图像进行图像超分辨率重建，从而便可以获得重建后的图像。
需要说明的是，在本实施例中，图像超分辨率重建装置在根据中间图像和第一彩色图像，对待重建原始图像进行图像超分辨率重建，获得重建后的图像时，可以为基于预设超分辨率神经网络对上述中间图像和上述第一彩色图像进行重构，以得到上述重建后的图像。具体地，上述图像超分辨率重建装置可以将上述中间图像和上述第一彩色图像输入至上述预设超分辨率神经网络中，从而可以输出上述待重建原始图像对应的上述重建后的图像。
需要说明的是，在本实施例中，上述预设超分辨率神经网络用于进行图像恢复和颜色校正。具体地，图像恢复和颜色校正可以为同时进行的两个并行分支。
进一步地，在本实施例中，图像超分辨率重建装置在获得上述待重建图像对应的中间图像和第一彩色图像之后，便可以根据上述中间图像、上述第一彩色图像以及上述预设超分辨率神经网络，进一步获得上述重建后的图像。
需要说明的是，在本实施例中，上述预设超分辨率神经网络为一个基于上述待重建原始图像进行超分辨率的深度神经网络。具体地，上述预设超分辨率神经网络可以在上述中间图像和上述第一彩色图像的基础上，实现图像超分辨率重建。
需要说明的是，在本实施例中，预设超分辨率神经网络可以为包括预设图像恢复模型和预设颜色校正模型的深度神经网络，其中，上述预设图像恢复模型用于进行图像恢复，上述预设颜色校正模型用于进行图形的颜色校正。
进一步地，在本实施例中，上述预设超分辨率神经网络的输入为中间图像和第一彩色图像，上述预设超分辨率神经网络的输出为上述重建后的图像。
需要说明的是，在本实施例中，图像超分辨率重建装置在通过上述预设图像恢复模型进行图像恢复时，可以将上述中间图像输入至上述预设图像恢复模型中，然后获得第一线性彩色图像。然后上述图像超分辨率重建装置可以将上述第一彩色图像输入至上述预设颜色校正模型中，以获得颜色校正参数，从而可以实现颜色的校正。其中，上述颜色校正参数包括全局校正参数和单像素校正参数。
进一步地，在本实施例中，图像超分辨率重建装置在根据上述预设图像恢复模型和上述预设颜色校正模型分别获得上述第一线性彩色图像和上述颜色校正参数之后，便可以进一步根据上述第一线性彩色图像和上述颜色校正参数确定预测第二彩色图像。
需要说明的是，在本实施例中，通过上述步骤102所述的方法，通过一个可以同时利用待重建原始图像和第一彩色图像的神经网络结构进行学习，得到在待重建原始图像中并不携带的颜色信息，使算法在多款相机间均可使用，拥有更强的泛化性。进一步地，通过上述预设超分辨率神经网络还可以同时合成待重建原始图像和对应的彩色图像，从而可以根据待重建原始图像的实际生成过程添加影响图像质量的因素，进而可以最大程度的模拟重建后的图像。
在本实施例中，进一步地，图像超分辨率重建装置根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像之后，即步骤102之后，图像超分辨率重建装置进行图像超分辨率重建的方法还可以包括以下步骤：
步骤103、对第二彩色图像和重建后的图像进行对比，获得第一对比结果。
步骤104、根据第一对比结果对预设超分辨率神经网络进行校正。
本实施例中，图像超分辨率重建装置在根据中间图像和第一彩色图像，对待重建原始图像进行图像超分辨率重建，获得重建后的图像之后，可以对上述第二彩色图像和上述重建后的图像进行对比，从而可以获得两者之间的比较结果，即第一对比结果。
需要说明的是，在本实施例中，上述第一对比结果可以表征上述第二彩色图像和上述重建后的图像之间的相关性。具体地，上述第一对比结果可以为上述第二彩色图像和上述重建后的图像之间的相似程度，也可以为上述第二彩色图像和上述重建后的图像之间的差异程度。
进一步地，在本实施例中，图像超分辨率重建装置在获得第一对比结果之后，便可以根据上述第一对比结果对上述预设超分辨率神经网络进行校正。
进一步地，在本实施例中，图像超分辨率重建装置在将上述中间图像和上述第一彩色图像输入至预设超分辨率神经网络中，输出上述待重建原始图像对应的上述重建后的图像之后，便可以继续根据上述第二彩色图像对上述重建后的图像进行监督校正，以继续实现预设超分辨率神经网络的训练。
进一步地，在本实施例中，预设超分辨率神经网络可以实现基于中间图像和第一彩色图像的图像超分辨率。
进一步地，在本实施例中，图像超分辨率重建装置在通过上述预设超分辨率神经网络获得上述重建后的图像之后，便可以利用监督校正数据中的第二彩色图像对上述重建后的图像进行监督，从而可以有效地提升图像高分辨率的效果。
需要说明的是，在本实施例中，图像超分辨率重建装置获得的监督校正数据还包括第二线性彩色图像，因此，上述图像超分辨率重建装置还可以利用上述第二线性彩色图像对上述第一线性彩色图像进行监督校正，以进一步升图像高分辨率的效果。
本实施例提供了一种图像超分辨率重建方法，图像超分辨率重建装置根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；根据中间图像和第一彩色图像，对待重建原始图像进行图像超分辨率重建，获得重建后的图像。采用上述方法在进行图像超分辨率时，能够同时合成待重建原始图像和对应的第一彩色图像，将影响图像质量的因素添加至重建后的图像的实际生成过程中，进而在进行图像超分辨时能够有效地提升重建后的图像的真实度，以及图像质量。
基于上述实施例，在本公开的另一个实施例中，图像超分辨率重建装置在根据待重建原始图像进行数据生成处理，得到第二彩色图像时，可以按照上述图2对所述待重建原始图像进行图像转换处理，从而便可以获得上述第二彩色图像。具体地，上述图像超分辨率重建装置可以将待重建原始图像按照上述图2依次进行Demosaicing、Noise and artifactreduction、Color converter、Tone adjustment、Edge enhancement以及Compression等具体步骤的处理，然后便可以在解码后得到线性彩色图像，还可以在末端得到第二彩色图像。
在本实施例中，进一步地，图像超分辨率重建装置根据待重建原始图像进行数据生成处理，得到上述待重建原始图像对应的中间图像和第一彩色图像的方法可以包括以下步骤：
步骤201、对待重建原始图像进行预处理，获得中间图像。
在本实施例中，图像超分辨率重建装置在获得上述待重建原始图像之后，可以先对上述待重建原始图像进行预处理，从而可以获得中间图像。具体地，上述图像超分辨率重建装置可以依次进行图像转换处理、下采样处理以及模糊噪声处理，从而可以获得上述中间图像。
进一步地，在本实施例中，图像超分辨率重建装置在根据待重建原始图像进行数据生成处理，得到上述待重建原始图像对应的中间图像和第一彩色图像时，可以先按照上述图2对所述待重建原始图像进行图像转换处理，并进行解码，再进一步对解码后的信息进行下采样处理，然后依次通过添加模糊和噪声，同时根据上述图3中所示的Bayer图格式重新生成中间图像。
步骤202、对中间图像进行转换处理，获得第一彩色图像。
在本实施例中，图像超分辨率重建装置在获得中间图像之后，可以对上述中间图像重新进行转换处理，从而可以获得第一彩色图像。
进一步地，在本实施例中，图像超分辨率重建装置可以重新按照上述图2所示的图像转换处理流程对上述中间图像进行转换处理，即按照上述图2中的Demosaicing、Noiseand artifact reduction、Color converter、Tone adjustment、Edge enhancement以及Compression等具体步骤对上述中间图像重新进行转换处理，从而可以在末端生成对应的第一彩色图像。
需要说明的是，在本实施例中，通过上述数据生成的方法，图像超分辨率重建装置能够生成所需的数据集，通过设计的图像生成方法，将获取的待重建原始图像进行处理，生成所需的训练数据和监督校正数据。其中，训练数据为中间图像和第一彩色图像，监督校正数据为第二线性彩色图像和第二彩色图像。
本实施例提供了一种图像超分辨率重建方法，图像超分辨率重建装置可以根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；根据中间图像和第一彩色图像，对待重建原始图像进行图像超分辨率重建，获得重建后的图像。采用上述方法在进行图像超分辨率时，能够同时合成待重建原始图像和对应的第一彩色图像，将影响图像质量的因素添加至重建后的图像的实际生成过程中，进而在进行图像超分辨时能够有效地提升重建后的图像的真实度，以及图像质量。
基于上述实施例，在本公开的又一实施例中，预设超分辨率神经网络包括预设图像恢复模型和预设颜色校正模型，图像超分辨率重建装置基于预设超分辨率神经网络对所述中间图像和所述第一彩色图像进行重构，得到所述重建后的图像的方法可以包括以下步骤：
步骤102a、将中间图像输入至预设图像恢复模型中，输出第一线性彩色图像。
在本实施例中，图像超分辨率重建装置在获得中间图像之后，可以将上述中间图像输入至预设图像恢复模型中，然后便可以输出获得第一线性彩色图像。其中，上述第一线性彩色图像可以表征线性彩色图像的预测。
进一步地，在本实施例中，预设超分辨率神经网络可以包括预设图像恢复模型，具体地，图4为本实施例中图像恢复流程示意图，如图4所示，上述预设图像恢复模型中可以包括输入、卷积、反卷积、级联等具体步骤。
进一步地，在本实施例中，由于上述中间图像为单通道，因此图像超分辨率重建装置在根据上述预设图像恢复模型进行图像恢复时，可以先根据Bayer图的颜色将单通道的上述中间图像分离成为四通道图并继续通过上述图4中的具体步骤进行图像恢复，直到模型末端生成第一线性彩色图像。
基于上述图4，图像超分辨率重建装置可以将待重建原始图像Xraw输入至预设图像恢复模型中，然后输出获得第一线性彩色图像
基于上述图4，图像超分辨率重建装置可以将待重建原始图像Xraw输入至预设图像恢复模型中之后，还可以在稠密块后输出第一图像特征g1(Xraw)。
本实施例中，图像超分辨率重建装置在将中间图像输入至预设图像恢复模型中，输出第一线性彩色图像之后，可以对上述第一线性彩色图像和上第二线性彩色图像进行对比，从而可以获得两者之间的比较结果，即第二对比结果。
需要说明的是，在本实施例中，上述第二对比结果可以表征上述第一线性彩色图像和上第二线性彩色图像之间的相关性。具体地，上述第二对比结果可以为上述第一线性彩色图像和上第二线性彩色图像之间的相似程度，也可以为上述第一线性彩色图像和上第二线性彩色图像之间的差异程度。
进一步地，在本实施例中，图像超分辨率重建装置在获得第二对比结果之后，便可以根据上述第二对比结果对上述预设超分辨率神经网络进行校正。
进一步地，在本实施例中，图像超分辨率重建装置在将中间图像输入至预设图像恢复模型中，输出第一线性彩色图像之后，便可以继续根据上述第二线性彩色图像对上述第一线性彩色图像进行监督校正，以继续实现预设超分辨率神经网络的训练。
步骤102b、将第一彩色图像输入至预设颜色校正模型中，输出全局校正参数和单像素校正参数。
在本实施例中，图像超分辨率重建装置在将上述中间图像输入至预设图像恢复模型中，并输出获得第一线性彩色图像之后，便可以将上述第一彩色图像输入至上述预设颜色校正模型中，然后输出获得全局校正参数和单像素校正参数。
进一步地，在本实施例中，预设超分辨率神经网络可以包括预设颜色校正模型，具体地，图5为本实施例中颜色校正流程示意图，如图5所示，上述预设颜色校正模型中可以包括输入、卷积、反卷积、平均等具体步骤。
进一步地，在本实施例中，全局校正参数和单像素校正参数即为颜色校正参数。具体地，图像超分辨率重建装置在将第一彩色图像输入至上述预设颜色校正模型之后，可以在上下两支模型的末端输出获得上述全局校正参数和上述单像素校正参数。
基于上述图5，图像超分辨率重建装置可以将第一彩色图像Xref输入至预设颜色校正模型中，然后在上下两支模型的末端分别得到全局校正参数
和单像素校正参数
基于上述图5，图像超分辨率重建装置可以将第一彩色图像Xref输入至预设颜色校正模型之后，还可以在平均后输出第二图像特征g2(Xraw)。
步骤102c、根据第一线性彩色图像、全局校正参数以及单像素校正参数，获得重建后的图像。
在本实施例中，图像超分辨率重建装置在通过上述预设图像恢复模型和上述预设颜色校正模型分别获得上述第一线性彩色图像和上述颜色校正参数之后，便可以进一步根据上述第一线性彩色图像、全局校正参数以及单像素校正参数，获得上述重建后的图像。
进一步地，在本实施例中，图像超分辨率重建装置在通过不同的模型输出获得上述第一线性彩色图像和上述颜色校正参数之后，便可以根据上述第一线性彩色图像和上述颜色校正参数进一步对上述重建后的图像进行确定。
需要说明的是，在本实施例中，图像超分辨率重建装置在根据第一线性彩色图像、全局校正参数以及单像素校正参数进行重建后的图像的确定时，可以通过公式(1)进一步根据全局校正参数、单像素校正参数以及第一线性彩色图像对预测第二彩色图像进行计算：
其中，
为预测第二彩色图像，/>
为全局校正参数，/>
为[i,j]像素点的单像素校正参数，/>
为[i,j]像素点的第一线性彩色图像。
图6为本实施例中图像超分辨率重建示意图，如图6所示，实现本实施例提出的图像超分辨率重建方法的预设超分辨率神经网络有两个并行分支，第一个分支为图形恢复image restoration，利用待重建原始图像Xraw进行图像恢复，获得第一线性彩色图像
即上述步骤102a所述的具体实施方法；第二个分支为变化估计transformationestimation，使用第一彩色图像Xref作为外部参考，分别得到全局校正参数/>
和单像素校正参数/>
进行颜色校正color correction，即上述步骤102b所述的具体实施方法；最终结合两个分支获得预测第二彩色图像/>
即上述步骤102c所述的具体实施方法。
本实施例提供了一种图像超分辨率重建方法，图像超分辨率重建装置可以根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；根据中间图像和第一彩色图像，对待重建原始图像进行图像超分辨率重建，获得重建后的图像。采用上述方法在进行图像超分辨率时，能够同时合成待重建原始图像和对应的第一彩色图像，将影响图像质量的因素添加至重建后的图像的实际生成过程中，进而在进行图像超分辨时能够有效地提升重建后的图像的真实度，以及图像质量。
基于上述实施例，本申请的另一实施例中，为了更充分的利用图像中的特征，图像超分辨率重建装置在确定预测第二彩色图像时，还可以进行特征融合处理。
需要说明的是，在本实施例中，图像超分辨率重建装置在对所述中间图像进行所述转换处理，获得所述第一彩色图像之后，可以通过上述步骤102a的方法，根据上述中间图像获得上述第一图像特征，上述图像超分辨率重建装置还可以通过上述步骤102b的方法，根据上述第一彩色图像获得上述第二图像特征，然后上述图像超分辨率重建装置可以结合上述第一图像特征和第二图像特征进行特征融合处理。
进一步地，在本实施例中，图像超分辨率重建装置可以根据上述中间图像和上述预设图像恢复模型，获得第一图像特征；还可以根据上述第一彩色图像和上述预设颜色校正模型，获得第二图像特征；然后对上述第一图像特征和上述第二图像特征进行融合处理。具体地，在本实施例中，图像超分辨率重建装置可以按照公式(2)和公式(3)进行特征融合处理，
其中，g1(Xraw)为第一图像特征，g2(Xref)为第二图像特征，g1′(Xraw)为融合后的第一图像特征，g2′(Xref)为融合后的第二图像特征，
和/>
为预先设置的融合权重。
基于上述图6，特征融合用于在两个分支之间共享特征信息。
本实施例提供了一种图像超分辨率重建方法，图像超分辨率重建装置可以根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；根据中间图像和第一彩色图像，对待重建原始图像进行图像超分辨率重建，获得重建后的图像。采用上述方法在进行图像超分辨率时，能够同时合成待重建原始图像和对应的第一彩色图像，将影响图像质量的因素添加至重建后的图像的实际生成过程中，进而在进行图像超分辨时能够有效地提升重建后的图像的真实度，以及图像质量。
基于上述实施例，在本公开的又一实施例中，图7为本实施例提出的图像超分辨率重建装置的组成结构示意图一，如图7所示，图像超分辨率重建装置1可以包括：获取单元11，重建单元12、对比单元13、校正单元14以及融合单元15，
所述获取单元11，用于根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像。
所述重建单元12，用于根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像。
进一步地，在本实施例中，所述获取单元11，具体用于对所述待重建原始图像进行预处理，获得所述中间图像；以及对所述中间图像进行转换处理，获得所述第一彩色图像。
进一步地，在本实施例中，所述重建单元12，具体用于基于预设超分辨率率神经网络对所述中间图像和所述第一彩色图像进行重构，得到所述重建后的图像。
进一步地，在本实施例中，所述重建单元12，具体用于将所述中间图像输入至所述预设图像恢复模型中，输出第一线性彩色图像；其中，所述第一线性彩色图像用于表征线性彩色图像预测；以及将所述第一彩色图像输入至所述预设颜色校正模型中，输出全局校正参数和单像素校正参数；以及根据所述第一线性彩色图像、所述全局校正参数以及所述单像素校正参数，获得所述重建后的图像。
进一步地，在本实施例中，所述获取单元11，还用于根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像之前，获取所述待重建原始图像。
进一步地，在本实施例中，所述获取单元11，还用于获取所述待重建原始图像之后，根据所述待重建原始图像进行数据生成处理，得到第二彩色图像和第二线性彩色图像；其中，所述第二彩色图像的分辨率高于所述第一彩色图像的分辨率。
进一步地，在本实施例中，所述获取单元11，具体用于对所述待重建原始图像进行转换处理，获得所述第二彩色图像。
进一步地，在本实施例中，所述对比单元13，用于根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像之后，对所述第二彩色图像和所述重建后的图像进行对比，获得第一对比结果。
所述校正单元14，用于根据所述第一对比结果对所述预设超分辨率神经网络进行校正。
进一步地，在本实施例中，所述对比单元13，还用于将所述中间图像输入至所述预设图像恢复模型中，输出第一线性彩色图像之后，对所述第一线性彩色图像和所述第二线性彩色图像进行对比，获得第二对比结果。
所述校正单元14，还用于根据所述第二对比结果对所述预设超分辨率神经网络进行校正。
进一步地，在本实施例中，所述获取单元11，还用于对所述中间图像进行转换处理，获得所述第一彩色图像之后，根据所述中间图像和所述预设图像恢复模型，获得第一图像特征；以及根据所述第一彩色图像和所述预设颜色校正模型，获得第二图像特征。
所述融合单元15，用于根据所述第一图像特征和所述第二图像特征进行特征融合处理。
图8为本实施例提出的图像超分辨率重建装置的组成结构示意图二，如图8所示，本申请实施例提出的图像超分辨率重建装置1还可以包括处理器16、存储有处理器16可执行指令的存储器17，进一步地，图像超分辨率重建装置1还可以包括通信接口18，和用于连接处理器16、存储器17以及通信接口18的总线19。
在本申请的实施例中，上述处理器16可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。图像超分辨率重建装置1还可以包括存储器17，该存储器17可以与处理器16连接，其中，存储器17用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器17可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本申请的实施例中，总线19用于连接通信接口18、处理器16以及存储器17以及这些器件之间的相互通信。
在本申请的实施例中，存储器17，用于存储指令和数据。
进一步地，在本申请的实施例中，上述处理器16，用于根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像。
在实际应用中，上述存储器17可以是易失性第一存储器(volatile memor)，例如随机存取第一存储器(Random-Access Memory，RAM)；或者非易失性第一存储器(non-volatile memory)，例如只读第一存储y器(Read-Only Memory，ROM)，快闪第一存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的第一存储器的组合，并向处理器16提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提出的一种图像超分辨率重建装置，该图像超分辨率重建装置根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；根据中间图像和第一彩色图像，对待重建原始图像进行图像超分辨率重建，获得重建后的图像。采用上述方法在进行图像超分辨率时，能够同时合成待重建原始图像和对应的第一彩色图像，将影响图像质量的因素添加至重建后的图像的实际生成过程中，进而在进行图像超分辨时能够有效地提升重建后的图像的真实度，以及图像质量。
本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的图像超分辨率重建方法。
具体来讲，本实施例中的一种图像超分辨率重建方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像超分辨率重建方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；
根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、终端、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (18)
1.一种图像超分辨率重建方法，其特征在于，所述方法包括：
根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；
基于预设超分辨率神经网络对所述中间图像和所述第一彩色图像进行重构，得到重建后的图像；
其中，所述预设超分辨率神经网络包括预设图像恢复模型和预设颜色校正模型，所述基于预设超分辨率神经网络对所述中间图像和所述第一彩色图像进行重构，得到所述重建后的图像，包括：
将所述中间图像输入至所述预设图像恢复模型中，输出第一线性彩色图像；其中，所述第一线性彩色图像用于表征线性彩色图像预测；
将所述第一彩色图像输入至所述预设颜色校正模型中，输出全局校正参数和单像素校正参数；
根据所述第一线性彩色图像、所述全局校正参数以及所述单像素校正参数，获得所述重建后的图像。
2.根据权利要求1所述的方法，其特征在于，所述根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像，包括：
对所述待重建原始图像进行预处理，获得所述中间图像；
对所述中间图像进行转换处理，获得所述第一彩色图像。
3.根据权利要求1所述的方法，其特征在于，所述根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像之前，所述方法还包括：
获取所述待重建原始图像。
4.根据权利要求3所述的方法，其特征在于，所述获取所述待重建原始图像之后，所述方法还包括：
根据所述待重建原始图像进行数据生成处理，得到第二彩色图像和第二线性彩色图像；其中，所述第二彩色图像的分辨率高于所述第一彩色图像的分辨率。
5.根据权利要求4所述的方法，其特征在于，所述根据所述待重建原始图像进行数据生成处理，得到第二彩色图像，包括：
对所述待重建原始图像进行转换处理，获得所述第二彩色图像。
6.根据权利要求4所述的方法，其特征在于，所述根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像之后，所述方法还包括：
对所述第二彩色图像和所述重建后的图像进行对比，获得第一对比结果；
根据所述第一对比结果对所述预设超分辨率神经网络进行校正。
7.根据权利要求4所述的方法，其特征在于，所述将所述中间图像输入至所述预设图像恢复模型中，输出第一线性彩色图像之后，所述方法还包括：
对所述第一线性彩色图像和所述第二线性彩色图像进行对比，获得第二对比结果；
根据所述第二对比结果对所述预设超分辨率神经网络进行校正。
8.根据权利要求2所述的方法，其特征在于，所述对所述中间图像进行转换处理，获得所述第一彩色图像之后，所述方法还包括：
根据所述中间图像和所述预设图像恢复模型，获得第一图像特征；
根据所述第一彩色图像和所述预设颜色校正模型，获得第二图像特征；
根据所述第一图像特征和所述第二图像特征进行特征融合处理。
9.一种图像超分辨率重建装置，其特征在于，所述图像超分辨率重建装置包括：获取单元和重建单元，
所述获取单元，用于根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像；
所述重建单元，用于基于预设超分辨率神经网络对所述中间图像和所述第一彩色图像进行重构，得到重建后的图像；
其中，所述预设超分辨率神经网络包括预设图像恢复模型和预设颜色校正模型；所述重建单元，还用于将将所述中间图像输入至所述预设图像恢复模型中，输出第一线性彩色图像；其中，所述第一线性彩色图像用于表征线性彩色图像预测；以及将所述第一彩色图像输入至所述预设颜色校正模型中，输出全局校正参数和单像素校正参数；以及根据所述第一线性彩色图像、所述全局校正参数以及所述单像素校正参数，获得所述重建后的图像。
10.根据权利要求9所述的图像超分辨率重建装置，其特征在于，
所述获取单元，具体用于对所述待重建原始图像进行预处理，获得所述中间图像；以及对所述中间图像进行转换处理，获得所述第一彩色图像。
11.根据权利要求9所述的图像超分辨率重建装置，其特征在于，
所述获取单元，还用于根据待重建原始图像进行数据生成处理，得到中间图像和第一彩色图像之前，获取所述待重建原始图像。
12.根据权利要求11所述的图像超分辨率重建装置，其特征在于，
所述获取单元，还用于获取所述待重建原始图像之后，根据所述待重建原始图像进行数据生成处理，得到第二彩色图像和第二线性彩色图像；其中，所述第二彩色图像的分辨率高于所述第一彩色图像的分辨率。
13.根据权利要求12所述的图像超分辨率重建装置，其特征在于，
所述获取单元，具体用于对所述待重建原始图像进行转换处理，获得所述第二彩色图像。
14.根据权利要求12所述的图像超分辨率重建装置，其特征在于，所述图像超分辨率重建装置还包括：对比单元和校正单元，
所述对比单元，用于根据所述中间图像和所述第一彩色图像，对所述待重建原始图像进行图像超分辨率重建，获得重建后的图像之后，对所述第二彩色图像和所述重建后的图像进行对比，获得第一对比结果；
所述校正单元，用于根据所述第一对比结果对所述预设超分辨率神经网络进行校正。
15.根据权利要求14所述的图像超分辨率重建装置，其特征在于，
所述对比单元，还用于将所述中间图像输入至所述预设图像恢复模型中，输出第一线性彩色图像之后，对所述第一线性彩色图像和所述第二线性彩色图像进行对比，获得第二对比结果；
所述校正单元，还用于根据所述第二对比结果对所述预设超分辨率神经网络进行校正。
16.根据权利要求10所述的图像超分辨率重建装置，其特征在于，所述图像超分辨率重建装置还包括：融合单元，
所述获取单元，还用于对所述中间图像进行转换处理，获得所述第一彩色图像之后，根据所述中间图像和所述预设图像恢复模型，获得第一图像特征；以及根据所述第一彩色图像和所述预设颜色校正模型，获得第二图像特征；
所述融合单元，用于根据所述第一图像特征和所述第二图像特征进行特征融合处理。
17.一种图像超分辨率重建装置，其特征在于，所述图像超分辨率重建装置包括：处理器、存储器及通信总线，所述处理器执行所述存储器中存储的运行程序时实现如权利要求1-8任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，应用于图像超分辨率重建装置，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910098992.9A CN109886875B (zh) | 2019-01-31 | 2019-01-31 | 图像超分辨率重建方法及装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910098992.9A CN109886875B (zh) | 2019-01-31 | 2019-01-31 | 图像超分辨率重建方法及装置、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109886875A CN109886875A (zh) | 2019-06-14 |
| CN109886875B true CN109886875B (zh) | 2023-03-31 |
Family
ID=66927618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910098992.9A Active CN109886875B (zh) | 2019-01-31 | 2019-01-31 | 图像超分辨率重建方法及装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886875B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930342B (zh) * | 2019-10-28 | 2021-10-29 | 杭州电子科技大学 | 一种基于彩色图引导的深度图超分辨率重建网络构建方法 |
| CN111242087B (zh) * | 2020-01-21 | 2024-06-07 | 华为技术有限公司 | 物体识别方法及装置 |
| CN111447359B (zh) * | 2020-03-19 | 2021-07-02 | 展讯通信（上海）有限公司 | 数字变焦方法、系统、电子设备、介质及数字成像设备 |
| CN111696036B (zh) * | 2020-05-25 | 2023-03-28 | 电子科技大学 | 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法 |
| CN113935928B (zh) * | 2020-07-13 | 2023-04-11 | 四川大学 | 基于Raw格式岩心图像超分辨率重建 |
| CN117745808B (zh) * | 2024-02-19 | 2024-05-03 | 南通市计量检定测试所 | 一种基于摄影测量的心电图像定位比对方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2160467C1 (ru) * | 1999-07-08 | 2000-12-10 | Яхно Владимир Григорьевич | Способ адаптивного распознавания информационных образов и система для его осуществления |
| CN106530256A (zh) * | 2016-11-18 | 2017-03-22 | 四川长虹电器股份有限公司 | 一种基于改进深度学习的智能相机图像盲超分辨率系统 |
| CN106651795A (zh) * | 2016-12-03 | 2017-05-10 | 北京联合大学 | 一种利用光照估计来校正图像颜色的方法 |
| CN109035142A (zh) * | 2018-07-16 | 2018-12-18 | 西安交通大学 | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1051648A (ja) * | 1996-07-29 | 1998-02-20 | Matsushita Graphic Commun Syst Inc | カラー画像処理装置 |
| CN107846589B (zh) * | 2016-09-19 | 2020-07-07 | 上海臻瞳电子科技有限公司 | 一种基于局部动态量化的图像压缩方法 |
| WO2018213829A1 (en) * | 2017-05-19 | 2018-11-22 | Google Llc | Transforming grayscale images into color images using deep neural networks |
| CN108154474B (zh) * | 2017-12-22 | 2021-08-27 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及设备 |
| CN108647775B (zh) * | 2018-04-25 | 2022-03-29 | 陕西师范大学 | 基于全卷积神经网络单张图像的超分辨率图像重建方法 |
-
2019
- 2019-01-31 CN CN201910098992.9A patent/CN109886875B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2160467C1 (ru) * | 1999-07-08 | 2000-12-10 | Яхно Владимир Григорьевич | Способ адаптивного распознавания информационных образов и система для его осуществления |
| CN106530256A (zh) * | 2016-11-18 | 2017-03-22 | 四川长虹电器股份有限公司 | 一种基于改进深度学习的智能相机图像盲超分辨率系统 |
| CN106651795A (zh) * | 2016-12-03 | 2017-05-10 | 北京联合大学 | 一种利用光照估计来校正图像颜色的方法 |
| CN109035142A (zh) * | 2018-07-16 | 2018-12-18 | 西安交通大学 | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109886875A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886875B (zh) | 图像超分辨率重建方法及装置、存储介质 | |
| Brooks et al. | Unprocessing images for learned raw denoising | |
| Liu et al. | Single-image HDR reconstruction by learning to reverse the camera pipeline | |
| Ignatov et al. | Replacing mobile camera isp with a single deep learning model | |
| US9094648B2 (en) | Tone mapping for low-light video frame enhancement | |
| US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
| Chang et al. | Low-light image restoration with short-and long-exposure raw pairs | |
| CN111127347A (zh) | 降噪方法、终端及存储介质 | |
| CN112150400B (zh) | 图像增强方法、装置和电子设备 | |
| US20220368877A1 (en) | Image processing method, image processing apparatus, storage medium, manufacturing method of learned model, and image processing system | |
| CN116210219A (zh) | 光场图像的处理方法、编码器、解码器及存储介质 | |
| CN108564546B (zh) | 模型训练方法、装置及拍照终端 | |
| CN110177212A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN112750092A (zh) | 训练数据获取方法、像质增强模型与方法及电子设备 | |
| Le et al. | Single-image hdr reconstruction by multi-exposure generation | |
| CN109559352A (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN109963081A (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109523456A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| WO2013088690A1 (ja) | 撮像装置、撮像システム、撮像方法および画像処理方法 | |
| US10748305B2 (en) | Image capturing apparatus that can reduce amount of data that is to be recorded, method for controlling the image capturing apparatus, and storage medium | |
| Kim et al. | NERDS: A General Framework to Train Camera Denoisers from Raw-RGB Noisy Image Pairs | |
| Dietz | An improved raw image enhancement algorithm using a statistical model for pixel value error | |
| US20230206411A1 (en) | Methods and systems for generating metadata pertaining to a raw frame | |
| CN116091364B (zh) | 图像模糊处理方法、装置、电子设备和存储介质 | |
| CN113347490B (zh) | 视频处理方法、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |