CN109410141A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109410141A CN109410141A CN201811261585.7A CN201811261585A CN109410141A CN 109410141 A CN109410141 A CN 109410141A CN 201811261585 A CN201811261585 A CN 201811261585A CN 109410141 A CN109410141 A CN 109410141A
- Authority
- CN
- China
- Prior art keywords
- image
- super
- resolution
- model
- cnn model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质，其中方法包括：获取通过预先确定的超分辨率模型得到的超分辨率图像；在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对所述超分辨率图像进行渲染处理，得到目标图像。本发明实施例提供的一种图像处理方法、装置电子设备及存储介质，优化了基于深度学习图片超分辨率处理的整体效率。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
图像超分辨率技术是指将低分辨率图像重构成高分辨率图像，在图片或视频相关网络应用程序、手机系统、监控设备、卫星图像以及医学影像领域中应用非常广泛。图像渲染是将三维的光能传递处理转换为一个二维图像的过程。
现有基于Tensorflow.js框架，在浏览器端使用图像超分辨率技术以及图像渲染对图像进行处理的方法为：通过fromPixels接口上传待处理图像的RGB(Red Green Blue，RGB色彩模式)数据到GPU(Graphics Processing Unit，图形处理器)，通过超分辨率模型对该待处理图像进行图像超分辨率处理，得到超分辨率图像。将超分辨率图像从GPU中下载到JavaSript程序可访问的内存中，然后将一维数组格式的该超分辨率图像转换为canvas或image等CPU(Central Processing Unit/Processor，中央处理器)可识别格式的图像，以便在CPU中进行图像渲染，得到目标图像。
发明人发现，现有在浏览器端使用图像超分辨率技术以及图像渲染对图像进行处理的方法中，处理的时间较长、效率较低。因此，如何提高图像的处理效率仍是亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质，以实现提高图像处理的效率。具体技术方案如下：
第一方面，本发明实施例提供了一种图像处理方法，包括：
获取通过预先确定的超分辨率模型得到的超分辨率图像；
在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对所述超分辨率图像进行渲染处理，得到目标图像。
可选地，所述基于Tensor数据结构以及预设的着色器对所述超分辨率图像进行渲染处理，得到目标图像，包括：
基于Tensor数据结构中的应用程序编程接口renderWebGL，将所述超分辨率图像的纹理数据加载到预设着色器中；
通过所述预设着色器的下采样算法，对所述超分辨率图像的纹理数据进行处理，得到RGBA数据；
对所述RGBA数据进行渲染显示，得到所述目标图像。
可选地，在所述获取通过预先确定的超分辨率模型得到的超分辨率图像之前，所述方法还包括：
获取待处理图像；
将所述待处理图像通过所述超分辨率模型中预先加载的第一卷积神经网络CNN模型进行处理，得到第一信息；其中，所述第一CNN模型为对预设CNN模型进行格式转换得到的浏览器可识别文件格式的CNN模型；
将所述第一信息通过所述超分辨率模型中的亚像素卷积层处理，得到所述超分辨率图像。
可选地，所述获取待处理图像包括：
通过Tensorflow的fromPixels接口，获取所述待处理图像。
可选地，在将所述待处理图像通过所述超分辨率模型中预先加载的第一卷积神经网络CNN模型进行处理，得到第一信息之前，所述方法还包括：
将checkponit格式的预设CNN模型，通过Tensorflow数据转换接口转换为SavedModel格式的CNN模型；
将所述SavedModel格式的CNN模型，通过tfjs-converter工具转换为所述第一CNN模型；
加载所述第一CNN模型。
第二方面，本发明实施例提供了一种图像处理装置，包括：
超分辨率图像获取模块，用于获取通过预先确定的超分辨率模型得到的超分辨率图像；
目标图像确定子模块，用于在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对所述超分辨率图像进行渲染处理，得到目标图像。
可选地，所述目标图像确定模块，包括：
纹理数据加载子模块，用于基于Tensor数据结构中的应用程序编程接口renderWebGL，将所述超分辨率图像的纹理数据加载到预设着色器中；
RGBA数据确定子模块，用于通过所述预设着色器的下采样算法，对所述超分辨率图像的纹理数据进行处理，得到RGBA数据；
目标图像确定子模块，用于对所述RGBA数据进行渲染显示，得到所述目标图像。
可选地，所述装置还包括：
待处理图像获取模块，用于获取待处理图像；
第一信息确定模块，用于将所述待处理图像通过所述超分辨率模型中预先加载的第一卷积神经网络CNN模型进行处理，得到第一信息；其中，所述第一CNN模型为对预设CNN模型进行格式转换得到的浏览器可识别文件格式的CNN模型；
超分辨率图像确定模块，用于将所述第一信息通过所述超分辨率模型中的亚像素卷积层处理，得到所述超分辨率图像。
可选地，所述待处理图像获取模块，具体用于通过Tensorflow的fromPixels接口，获取所述待处理图像。
可选地，所述装置还包括：
第一转换模块，用于将checkponit格式的预设CNN模型，通过Tensorflow数据转换接口转换为SavedModel格式的CNN模型；
第一CNN模型确定模块，用于将所述SavedModel格式的CNN模型，通过tfjs-converter工具转换为所述第一CNN模型；
第一CNN模型加载模块，用于加载所述第一CNN模型。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述图像处理方法中任一所述的方法步骤。
第四方面，本发明实施例提供了一种电子设备，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述图像处理方法中任一所述的方法步骤。
又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，实现上述图像处理方法中任一所述的方法步骤。
本发明实施例提供的一种图像处理方法、装置电子设备及存储介质，可以提高图像处理的效率。具体为，获取通过预先确定的超分辨率模型得到的超分辨率图像；在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对所述超分辨率图像进行渲染处理，得到目标图像。本发明实施例中，对图像超分以及渲染处理的整个过程直接在GPU中进行，相比于现有图像处理方法中，在对图像进行超分后需要从GPU下载超分辨率图像到内存，以及对下载后的超分辨率图像进行数据格式转换相比，减少了数据下载以及数据转换的时间，加快了图像处理的速度。综上，本发明实施例的图像处理方法，优化了基于深度学习图片超分辨率处理的整体效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种图像处理方法流程图；
图2为本发明实施例的一种图像处理方法中确定目标图像的方法流程图；
图3为本发明实施例的一种图像处理方法流程图；
图4为本发明实施例的一种图像处理方法中图片对比图；
图5为本发明实施例的一种图像处理方法中预先加载第一CNN模型的方法流程图；
图6为本发明实施例的一种超分辨率模型生成方法流程图；
图7(a)为现有技术的一种图像处理方法流程图；
图7(b)为本发明实施例的一种图像处理方法流程图；
图8为本发明实施例的一种图像处理装置结构示意图；
图9为本发明实施例的一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图像分辨率与图像的缩放在应用层效果是一样的，在系统或图像处理相关软件中放大图像以便看清细节，或者在浏览器的网页中直接对图像设置比起原始尺寸大的宽高，这些是在通过特定的算法来做的图像的超分辨率处理。传统的图像缩放处理主要是基于插值思想的，包括最近邻插值法、双线性插值法、二次插值法、双立方插值法、三次样条插值法、sinc函数插值法等。该类方法具有较低的计算复杂度，处理速度快的特点，但是放大后的图像清晰度差强人意。
近年来，基于深度学习的图像超分辨率研究与应用成为学术界和工业界的一个热点，这些方法基于海量图片数据训练深层次的模型，通过模型预测输出高分辨率的图像，生成的高分辨率图像在效果上相比于传统基于差值的算法有很大提升。但是，基于深度学习的图像超分辨率方法的计算复杂度较高，一般只能部署在服务器端，利用强大的GPU(Graphics Processing Unit，图形处理器)或专用API(Application ProgrammingInterface，应用程序编程接口)芯片来提供实时处理能力。
图像渲染是将三维的光能传递处理转换为一个二维图像的过程。图像渲染中要完成的工作是:通过几何变换，投影变换，透视变换和窗口剪裁，再通过获取的材质与光影信息，生成图像。图像渲染结束后，会把图像信息输出到图像文件或视频文件，或者是显示设备的帧缓存器中完成图形生成。
现有基于Tensorflow.js框架，在浏览器端使用图像超分辨率技术以及图像渲染对图像进行处理的方法中，通过超分辨率模型对该待处理图像进行图像超分辨率处理，得到超分辨率图像。将超分辨率图像从GPU中下载到内存中，然后将一维数组格式的该超分辨率图像转换为canvas或image等CPU(Central Processing Unit/Processor，中央处理器)可识别格式的图像，以便进行图像渲染，得到目标图像。这种图像处理的方式，造成图像处理的时间较长、效率较低。因此，如何提高图像的处理效率仍是亟待解决的问题。
为解决上述问题，本发明实施例公开了一种图像处理方法、装置电子设备及存储介质，具体如下：
第一方面，本发明实施例提供了一种图像处理方法，如图1所示。图1为本发明实施例的一种图像处理方法流程图，包括：
S101，获取通过预先确定的超分辨率模型得到的超分辨率图像。
本发明实施例，在GPU中对低分辨率图像进行处理。可预先在GPU中设置超分辨率模型，通过该超分辨率模型对输入的低分辨率图像进行超分辨率模型计算，得到超分辨率图像。该超分辨率模型以及通过该超分辨率模型得到的超分辨率图像的过程，以下实施例中详细介绍。
本步骤中，在超分辨率模型处理得到超分辨率图像后，获取该超分辨率图。
S102，在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像。
TensorFlow是基于DistBelief研发的第二代人工智能学习系统，是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。TensorFlow可被用于语音识别或图像识别等多项机器深度学习领域。
着色器应用在计算机图像领域，是一组供计算机图像资源在执行渲染任务时使用的指令，用于计算图像的颜色或明暗。它也能用于处理一些特殊效果，或者视频后处理。通俗的说，着色器告诉电脑如何使用特有的一种方法去绘制物体。着色器在GPU的图像流水线中执行，它使用GLSL(OpenGL Shading Language，OpenGL着色语言)定义定点的位置(顶点着色器)和像素(片元着色器)的颜色。
本步骤中，基于TensorFlow框架，通过Tensor数据结构编写调用超分辨率图像的程序编程接口到预设的着色器中，然后通过在该预设着色器中编写的数据采样方法以及渲染方法，对该超分辨率图像进行处理，得到超分后的目标图像。
可选地，上述102中基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像，可如图2所示，包括：
S201，通过应用程序编程接口renderWebGL将超分辨率图像的纹理数据加载到预设着色器中。
本发明实施例中，基于TensorFlow框架中，预先在Tensor数据结构中编写应用程序编程接口renderWebGL，在超分辨率模型对待处理图像处理得到超分辨率图像后，通过应用程序编程接口renderWebGL将超分辨率图像的纹理数据加载到预设着色器中。
例如，通过超分辨率模型的亚像素卷积层放大处理，得到的超分辨率图像的纹理数据的数据格式为：
G1000B1000R1000G2000B2000R2000...
其中，G表示RGB色彩模式中的G通道，B表示RGB色彩模式中的B通道，R表示RGB色彩模式中的R通道，0表示插入的值，G1000B1000R1000表示经过亚像素卷积层处理后的第一个像素点，G2000B2000R2000表示经过亚像素卷积层处理后的第二个像素点。
S202，通过预设着色器的下采样算法，对超分辨率图像的纹理数据进行处理，得到RGBA数据。
RGBA是代表Red(红色)Green(绿色)Blue(蓝色)和通道Alpha的色彩空间数据，是在RGB模型中附加了通道Alpha信息的色彩表示数据。
在本步骤中，将上述的超分辨率图像的纹理数据通过应用程序编程接口renderWebGL加载到预设着色器的R通道。在该预设着色器中按照预设偏移量对该超分辨率图像的每个像素点进行三次纹理采样，依次完成对该超分辨率图像的下采样。即为第一个像素点的第一次纹理采样数据为G1000、第二次纹理采样数据为B1000、第三次纹理采样数据为R1000。然后，获取每个像素点每次纹理采样的第一个数据作为目标数据，将三组采样数据对应的各目标数据作为一个像素点的三维数据值，并在该三维数据值后上加上透明度通道数据A，得到每个像素点的RGBA数据。其中，A可直接设置为1。
S203，对RGBA数据进行渲染显示，得到目标图像。
在本发明实施例提供的一种图像处理方法中，获取通过预先确定的超分辨率模型得到的超分辨率图像；在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像。本发明实施例中，对图像超分以及渲染处理的整个过程直接在GPU中进行，相比于现有图像处理方法中，在对图像进行超分后需要从GPU下载超分辨率图像到内存，以及对下载后的超分辨率图像进行数据格式转换相比，减少了数据下载以及数据转换的时间，加快了图像处理的速度。综上，本发明实施例的图像处理方法，优化了基于深度学习图片超分辨率处理的整体效率。
可选地，在获取通过预先确定的超分辨率模型得到的超分辨率图像之前，需要对通过预先确定的超分辨率模型得到超分辨率图像，在本发明的一个实施例中，还公开了一种图像处理方法，如图3所示。图3为本发明实施例的一种图像处理方法流程图，应用于浏览器，方法包括：
S301，获取待处理图像；
本发明实施例中，通过超分辨率模型对低分辨率的待处理图像进行超分辨率处理。该超分辨率模型包括预先加载在浏览器上的第一CNN模型，以及在第一CNN模型基础上部署的亚像素卷积层。
CNN是一种前馈神经网络，由一个或多个卷积层和全连通层组成，同时也包括关联权重和池化层。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。
在本步骤中，可通过浏览器搜索获取低分辨率的待处理图像至超分辨率模型，或者获取用户上传的低分辨率图像至超分辨率模型。
可选地，S301中获取待处理图像包括：
通过Tensorflow的fromPixels接口，获取待处理图像。
TensorFlow是基于DistBelief研发的第二代人工智能学习系统，是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。TensorFlow可被用于语音识别或图像识别等多项机器深度学习领域。
本实施例中，可基于Tensorflow的机器学习框架Tensorflow.js，在浏览器中训练以及部署神经网络模型，即为在TensorFlow的JavaScript中，可使用底层的JavaScript线性代数库或高级的API在浏览器上形成模型，得到本发明实施例的超分辨率模型，通过该超分辨率模型实现本发明实施例的图像处理方法。
在本步骤中，在浏览器得到低分辨率的待处理图像后，通过TensorFlow的fromPixels接口，获取待处理图像到超分辨率模型。
S302，将待处理图像通过超分辨率模型中预先加载的第一卷积神经网络CNN模型进行处理，得到第一信息；其中，第一CNN模型为对预设CNN模型进行格式转换得到的浏览器可识别文件格式的CNN模型。
本发明实施例中预设CNN模型部署在服务器上，该预设CNN模型为通用的图像处理CNN，具体由实施人员设置，现有技术中已涉及此处不再赘述。第一CNN模型为服务器端可识别文件格式的预设CNN模型，转换处理得到的浏览器可识别文件格式的CNN模型。
本步骤中，通过超分辨率模型中的第一CNN模型对待处理图像进行处理，通过该第一CNN模型的一个或多个卷积层，对该待处理图像进行提取以及特征识别，得到对应于该待处理图像的第一信息，该第一信息为对低分辨率待处理图像画质增强后的信息。
S303，将第一信息通过超分辨率模型中的亚像素卷积层处理，得到超分辨率图像。
亚像素卷积层是一种图像上采样方法，如果r为放大倍数，该层会将r*r维度的低分辨图图像组装成高分辨率图像。
本步骤中，将S302中得到第一信息，通过超分辨率模型的亚像素卷积层进行放大处理，以及通过渲染处理，得到高分辨率的目标图像。
本发明实施例中，通过将CNN模型以及亚像素卷积层分开处理，即为先将服务器可识别的预设CNN模型转换成浏览器可识别的第一CNN模型，进而再部署亚像素卷积层，与现有技术中由于tfjs-converter工具的功能受限，将包含CNN层以及亚像素卷积层的超分辨率模型转换为浏览器端可识别的目标模型后，用该目标模型对图像进行处理得到的超分辨率图像相比，提高了超分辨率图像的画质，使得通过分开处理得到的超分辨率模型对图像进行超分辨率处理后得到的超分辨率图像，可以与服务器端处理后得到的超分辨率图像具有相近的画质。
在本发明实施例中，可通过Tensorflow的机器学习框架Tensorflow.js实现上述图像处理方法。
TensorFlow.js可以使用神经网络的层级API(Application ProgrammingInterface，应用程序编程接口)构建模型，并在浏览器中使用WebGL(Web GraphicsLibrary，web图形库)创建复杂的数据可视化应用。因此，它可以充分利用浏览器和计算机的计算资源实现非常多机器学习应用。例如在网页端训练一个模型来识别图片或语音。
TensorFlow.js可以提供高性能的、易于使用的机器学习构建模块，允许在浏览器上训练模型。
本发明实施例中，通过TensorFlow.js的上述特征，在浏览器端构建超分辨率模型，通过该超分辨率模型中预先加载的第一卷积神经网络CNN模型对待处理图像进行处理，得到第一信息；将第一信息通过超分辨率模型中的亚像素卷积层处理，得到超分辨率图像。
或者，可通过Keras的机器学习框架Keras.js实现上述图像处理方法。
Keras是基于Theano的一个深度学习框架，它的设计参考了Torch，用Python语言编写，是一个高度模块化的神经网络库，支持GPU和CPU(Central Processing Unit/Processor，中央处理器)。本发明实施例中可在Keras的机器学习框架Keras.js框架中编写实现本发明实施例的图像处理的方法。即为利用Keras的数据库Mnist编写超分辨率模型中搭建在服务器端的预设CNN模型，进而将该预设CNN模型转换在浏览器上，生成在浏览器可识别的第一CNN模型，在该第一CNN模型的基础上搭建亚像素卷积层，形成构建在浏览器端超分辨率模型，利用该超分辨率模型处理低像素的待处理图像，生成高像素的得到超分辨率图像。
通过本发明实施例得到的超分辨率图像可如图4所示。
图4为本发明实施例的一种图像处理方法中图片对比图，其中，401为待处理图像，该图像的尺寸可为h*w，其中，h表示图像的长度，w表示图像的宽度；402为本发明实施例的超分辨率模型，其中包括第一CNN模型以及亚像素卷积层；403为经过该超分辨率模型处理得到的超分辨率图像，该超分辨率图像的尺寸可4h*4w。即为将待处理的低分辨率图像h*w，超分处理得到高分辨率的超分辨率图像4h*4w。
可选地，在本发明图像处理方法的一种实施例中，在将待处理图像通过超分辨率模型中预先加载的第一卷积神经网络CNN模型进行处理，得到第一信息之前，可预先加载第一卷积神经网络CNN模型，具体如图5所示。图5为本发明实施例的一种图像处理方法中预先加载第一CNN模型的方法流程图，包括：
S501，将checkponit格式的预设CNN模型，通过Tensorflow数据转换接口转换为SavedModel格式的CNN模型。
本发明实施例中，由于CNN模型的计算复杂度较高，因此将预设CNN模型部署在服务器上，进而将该预设CNN模型转换到浏览器上，生成浏览器可识别的第一CNN模型。
本步骤为，首先将服务器端可识别的checkponit格式的预设CNN模型，通过Tensorflow数据转换接口，转换为SavedModel格式的CNN模型。
S502，将SavedModel格式的CNN模型，通过tfjs-converter工具转换为浏览器可识别文件格式的第一CNN模型。
将SavedModel格式的CNN模型，通过tfjs-converter工具，转换为第一CNN模型。
S503，加载第一CNN模型。
在得到第一CNN模型后，通过Tensorflow框架预设接口加载该第一CNN模型，例如通过tfjs-converter工具的loadFrozenModel接口，加载该第一CNN模型。
本发明实施例中，通过使用Tensorflow.js框架的转换接口，实现了将部署在服务器的预设CNN模型，转换成浏览器可识别的第一CNN模型，进而在浏览器上通过该第一CNN模型实现对图像的超分处理，相比于现有技术中在服务器端对图像进行超分处理后在下载到浏览器端，本实施提高了图像超分处理的效率。
另外，本发明实施例还公开了一种超分辨率模型的生成方法，如图6所示。图6为本发明实施例的一种超分辨率模型生成方法流程图，应用于浏览器，方法包括：
S601，将服务器可识别文件格式的预设CNN模型，转换为浏览器可识别文件格式的第一CNN模型。
本发明实施例将提取图像特征以及识别图像特征的预设CNN模型部署在服务器端，即为生成的服务器端可识别的文件格式的预设CNN模型。本步骤为浏览器端将服务器可识别的文件格式的预设CNN模型，转换为浏览器可识别文件格式的第一CNN模型。
可选地，S601中服务器可识别文件格式为checkponit格式；将服务器可识别文件格式的预设CNN模型，转换为浏览器可识别文件格式的第一CNN模型，包括：
步骤一，将checkponit格式的预设CNN模型，通过Tensorflow数据转换接口转换为SavedModel格式的CNN模型。
步骤二，将SavedModel格式的CNN模型，通过tfjs-converter工具转换为浏览器可识别文件格式的第一CNN模型。
S602，加载第一CNN模型。
上述将服务器可识别文件格式的预设CNN模型，转换为浏览器可识别文件格式的第一CNN模型后，本步骤中将该目标模型加载到浏览器端。
可选地，S602中加载第一CNN模型，包括：
通过tfjs-converter工具的loadFrozenModel接口，加载第一CNN模型。
S603，通过编译程序生成亚像素卷积层，将第一CNN模型以及亚像素卷积层形成的模型确定为超分辨率模型。
在上述S602生成的第一CNN模型的基础上，通过编译程序中设置的亚像素卷积层编译代码，生成亚像素卷积层，将第一CNN模型以及亚像素卷积层形成的模型确定为超分辨率模型。
在本发明实施例中，将服务器可识别文件格式的预设CNN模型转换成浏览器可识别文件格式的第一CNN模型，进而将该第一CNN模型加载到浏览器上，在该第一CNN模型的基础上构建亚像素卷积层，进而生成本发明实施例的超分辨率模型，通过该超分辨率模型可实现对低像素的待处理图像进行超分处理，生成高像素的目标图像。
为了更好地说明本发明实施例公开的一种图像处理方法，可对比本发明实施例的图像处理方法与现有技术中图像处理方法。其中，图7(a)为现有技术的一种图像处理方法流程图；图7(b)为本发明实施例的一种图像处理方法流程图。
在图7(a)中现有技术的图像处理方法，包括：
S711，上传待处理图像：通过fromPixels接口上传待处理图像的RGB格式到GPU中；
S712，超分辨率模型处理：通过超分辨率模型对该待处理图像进行处理；其中，该超分辨率包含CNN模型以及亚像素卷积层；
S713，下载信息：将处理后的信息从GPU下载到JavaSript程序可访问的内存；
S714，格式转换：对处理后的一维数组格式信息进行格式转换，转换为CPU可识别的canvas或image格式；
S715，图像渲染：在CPU中对转换后信息进行渲染，得到目标图像。
在图7(b)中本发明实施例的图像处理方法，包括：
S721，上传待处理图像：通过fromPixels接口上传待处理图像的RGB格式到GPU中；
S722，超分辨率模型处理：将该待处理图像通过超分辨率模型中预先加载的第一卷积神经网络CNN模型进行处理，得到第一信息；将该第一信息通过超分辨率模型的亚像素卷积层处理，得到超分辨率图像，其中，第一CNN模型为由服务器可识别文件格式的预设CNN模型转换得到的浏览器可识别文件格式的CNN模型；
S723，在GPU中进行图像渲染：在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像。
对比可见，在本发明实施例的一种图像处理方法中，通过将CNN模型以及亚像素卷积层分开处理，即为先将服务器可识别的预设CNN模型转换成浏览器可识别的第一CNN模型，进而再部署亚像素卷积层，与现有技术中由于tfjs-converter工具的功能受限，将包含CNN层以及亚像素卷积层的超分辨率模型转换为浏览器端可识别的目标模型后，用该目标模型对图像进行处理得到的超分辨率图像相比，提高了超分辨率图像的画质，使得通过分开处理得到的超分辨率模型对图像进行超分辨率处理后得到的超分辨率图像，可以与服务器端处理后得到的超分辨率图像具有相近的画质。
另外，本发明实施例中，对图像超分以及渲染处理的整个过程直接在GPU中进行，相比于现有图像处理方法中，在对图像进行超分后需要从GPU下载超分辨率图像到内存，以及对下载后的超分辨率图像进行数据格式转换相比，减少了数据下载以及数据转换的时间，加快了图像处理的速度。综上，本发明实施例的图像处理方法，优化了基于深度学习图片超分辨率处理的整体效率。
第二方面，本发明实施例提供了一种图像处理装置，如图8所示。图8为本发明实施例的一种图像处理装置结构示意图，包括：
超分辨率图像获取模块801，用于获取通过预先确定的超分辨率模型得到的超分辨率图像；
目标图像确定子模块802，用于在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像。
本发明实施例提供的一种图像处理装置，可以提高图像处理的效率。具体为，获取通过预先确定的超分辨率模型得到的超分辨率图像；在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像。本发明实施例中，对图像超分以及渲染处理的整个过程直接在GPU中进行，相比于现有图像处理方法中，在对图像进行超分后需要从GPU下载超分辨率图像到内存，以及对下载后的超分辨率图像进行数据格式转换相比，减少了数据下载以及数据转换的时间，加快了图像处理的速度。综上，本发明实施例的图像处理方法，优化了基于深度学习图片超分辨率处理的整体效率。
可选地，在本发明图像处理装置的一种实施例中，目标图像确定子模块802，包括：
纹理数据加载子模块，用于基于Tensor数据结构中的应用程序编程接口renderWebGL，将超分辨率图像的纹理数据加载到预设着色器中；
RGBA数据确定子模块，用于通过预设着色器的下采样算法，对超分辨率图像的纹理数据进行处理，得到RGBA数据；
目标图像确定子模块，用于对RGBA数据进行渲染显示，得到目标图像。
可选地，在本发明图像处理装置的一种实施例中，装置还包括：
待处理图像获取模块，用于获取待处理图像；
第一信息确定模块，用于将待处理图像通过超分辨率模型中预先加载的第一卷积神经网络CNN模型进行处理，得到第一信息；其中，第一CNN模型为对预设CNN模型进行格式转换得到的浏览器可识别文件格式的CNN模型；
超分辨率图像确定模块，用于将第一信息通过超分辨率模型中的亚像素卷积层处理，得到超分辨率图像。
可选地，在本发明图像处理装置的一种实施例中，待处理图像获取模块，具体用于通过Tensorflow的fromPixels接口，获取待处理图像。
可选地，在本发明图像处理装置的一种实施例中，装置还包括：
第一转换模块，用于将checkponit格式的预设CNN模型，通过Tensorflow数据转换接口转换为SavedModel格式的CNN模型；
第一CNN模型确定模块，用于将SavedModel格式的CNN模型，通过tfjs-converter工具转换为第一CNN模型；
第一CNN模型加载模块，用于加载第一CNN模型。
第三方面，本发明实施例还提供了一种电子设备，如图9所示。图9为本发明实施例的一种电子设备结构示意图，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901、通信接口902、存储器903通过通信总线904完成相互间的通信；
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现以下方法步骤：
获取通过预先确定的超分辨率模型得到的超分辨率图像；
在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像。
上述电子设备提到的通信总线904可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线904可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口902用于上述电子设备与其他设备之间的通信。
存储器903可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器903还可以是至少一个位于远离前述处理器901的存储装置。
上述的处理器901可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的一种电子设备，可以提高图像处理的效率。具体为，获取通过预先确定的超分辨率模型得到的超分辨率图像；在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像。本发明实施例中，对图像超分以及渲染处理的整个过程直接在GPU中进行，相比于现有图像处理方法中，在对图像进行超分后需要从GPU下载超分辨率图像到内存，以及对下载后的超分辨率图像进行数据格式转换相比，减少了数据下载以及数据转换的时间，加快了图像处理的速度。综上，本发明实施例的图像处理方法，优化了基于深度学习图片超分辨率处理的整体效率。
第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现以下方法步骤：
获取通过预先确定的超分辨率模型得到的超分辨率图像；
在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像。
本发明实施例提供的一种计算机可读存储介质，可以提高图像处理的效率。具体为，获取通过预先确定的超分辨率模型得到的超分辨率图像；在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像。本发明实施例中，对图像超分以及渲染处理的整个过程直接在GPU中进行，相比于现有图像处理方法中，在对图像进行超分后需要从GPU下载超分辨率图像到内存，以及对下载后的超分辨率图像进行数据格式转换相比，减少了数据下载以及数据转换的时间，加快了图像处理的速度。综上，本发明实施例的图像处理方法，优化了基于深度学习图片超分辨率处理的整体效率。
又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，实现上述图像处理方法中任一的方法步骤。
本发明实施例提供的一种包含指令的计算机程序产品，可以提高图像处理的效率。具体为，获取通过预先确定的超分辨率模型得到的超分辨率图像；在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对超分辨率图像进行渲染处理，得到目标图像。本发明实施例中，对图像超分以及渲染处理的整个过程直接在GPU中进行，相比于现有图像处理方法中，在对图像进行超分后需要从GPU下载超分辨率图像到内存，以及对下载后的超分辨率图像进行数据格式转换相比，减少了数据下载以及数据转换的时间，加快了图像处理的速度。综上，本发明实施例的图像处理方法，优化了基于深度学习图片超分辨率处理的整体效率。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置电子设备及存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
获取通过预先确定的超分辨率模型得到的超分辨率图像；
在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对所述超分辨率图像进行渲染处理，得到目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述基于Tensor数据结构以及预设的着色器对所述超分辨率图像进行渲染处理，得到目标图像，包括：
基于Tensor数据结构中的应用程序编程接口renderWebGL，将所述超分辨率图像的纹理数据加载到预设着色器中；
通过所述预设着色器的下采样算法，对所述超分辨率图像的纹理数据进行处理，得到RGBA数据；
对所述RGBA数据进行渲染显示，得到所述目标图像。
3.根据权利要求1所述的图像处理方法，其特征在于，在所述获取通过预先确定的超分辨率模型得到的超分辨率图像之前，所述方法还包括：
获取待处理图像；
将所述待处理图像通过所述超分辨率模型中预先加载的第一卷积神经网络CNN模型进行处理，得到第一信息；其中，所述第一CNN模型为对预设CNN模型进行格式转换得到的浏览器可识别文件格式的CNN模型；
将所述第一信息通过所述超分辨率模型中的亚像素卷积层处理，得到所述超分辨率图像。
4.根据权利要求3所述的方法，其特征在于，所述获取待处理图像包括：
通过Tensorflow的fromPixels接口，获取所述待处理图像。
5.根据权利要求3所述的方法，其特征在于，在将所述待处理图像通过所述超分辨率模型中预先加载的第一卷积神经网络CNN模型进行处理，得到第一信息之前，所述方法还包括：
将checkponit格式的预设CNN模型，通过Tensorflow数据转换接口转换为SavedModel格式的CNN模型；
将所述SavedModel格式的CNN模型，通过tfjs-converter工具转换为所述第一CNN模型；
加载所述第一CNN模型。
6.一种图像处理装置，其特征在于，包括：
超分辨率图像获取模块，用于获取通过预先确定的超分辨率模型得到的超分辨率图像；
目标图像确定子模块，用于在图形处理器GPU中，基于Tensor数据结构以及预设的着色器对所述超分辨率图像进行渲染处理，得到目标图像。
7.根据权利要求6所述的装置，其特征在于，所述目标图像确定模块，包括：
纹理数据加载子模块，用于基于Tensor数据结构中的应用程序编程接口renderWebGL，将所述超分辨率图像的纹理数据加载到预设着色器中；
RGBA数据确定子模块，用于通过所述预设着色器的下采样算法，对所述超分辨率图像的纹理数据进行处理，得到RGBA数据；
目标图像确定子模块，用于对所述RGBA数据进行渲染显示，得到所述目标图像。
8.根据权利要求6所述的图像处理装置，其特征在于，所述装置还包括：
待处理图像获取模块，用于获取待处理图像；
第一信息确定模块，用于将所述待处理图像通过所述超分辨率模型中预先加载的第一卷积神经网络CNN模型进行处理，得到第一信息；其中，所述第一CNN模型为对预设CNN模型进行格式转换得到的浏览器可识别文件格式的CNN模型；
超分辨率图像确定模块，用于将所述第一信息通过所述超分辨率模型中的亚像素卷积层处理，得到所述超分辨率图像。
9.根据权利要求8所述的装置，其特征在于，所述待处理图像获取模块，具体用于通过Tensorflow的fromPixels接口，获取所述待处理图像。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第一转换模块，用于将checkponit格式的预设CNN模型，通过Tensorflow数据转换接口转换为SavedModel格式的CNN模型；
第一CNN模型确定模块，用于将所述SavedModel格式的CNN模型，通过tfjs-converter工具转换为所述第一CNN模型；
第一CNN模型加载模块，用于加载所述第一CNN模型。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811261585.7A CN109410141B (zh) | 2018-10-26 | 2018-10-26 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811261585.7A CN109410141B (zh) | 2018-10-26 | 2018-10-26 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109410141A true CN109410141A (zh) | 2019-03-01 |
| CN109410141B CN109410141B (zh) | 2021-03-02 |
Family
ID=65469423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811261585.7A Active CN109410141B (zh) | 2018-10-26 | 2018-10-26 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410141B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135464A (zh) * | 2019-04-18 | 2019-08-16 | 深兰科技（上海）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN110544218A (zh) * | 2019-09-03 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
| CN111859210A (zh) * | 2019-04-29 | 2020-10-30 | 百度在线网络技术（北京）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112308142A (zh) * | 2020-10-30 | 2021-02-02 | 云账户技术(天津)有限公司 | 一种图片对比方法、装置及电子设备 |
| CN112906829A (zh) * | 2021-04-13 | 2021-06-04 | 成都四方伟业软件股份有限公司 | 一种基于Mnist数据集的数字识别模型构建方法及装置 |
| CN114998087A (zh) * | 2021-11-17 | 2022-09-02 | 荣耀终端有限公司 | 渲染方法及装置 |
| US11526545B2 (en) | 2020-02-10 | 2022-12-13 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method of processing cover page image of multimedia information, client and electronic device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8538200B2 (en) * | 2008-11-19 | 2013-09-17 | Nec Laboratories America, Inc. | Systems and methods for resolution-invariant image representation |
| WO2016132146A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Visual processing using sub-pixel convolutions |
| CN106997610A (zh) * | 2016-01-26 | 2017-08-01 | 阿里巴巴集团控股有限公司 | 一种图像渲染方法、装置及电子设备 |
| CN107154063A (zh) * | 2017-04-19 | 2017-09-12 | 腾讯科技（深圳）有限公司 | 图像展示区域的形状设置方法及装置 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107742317A (zh) * | 2017-09-27 | 2018-02-27 | 杭州群核信息技术有限公司 | 一种渲染图像的获取方法、装置、渲染系统及存储介质 |
| CN108010113A (zh) * | 2017-11-21 | 2018-05-08 | 成都品果科技有限公司 | 一种基于像素着色器的深度学习模型执行方法 |
-
2018
- 2018-10-26 CN CN201811261585.7A patent/CN109410141B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8538200B2 (en) * | 2008-11-19 | 2013-09-17 | Nec Laboratories America, Inc. | Systems and methods for resolution-invariant image representation |
| WO2016132146A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Visual processing using sub-pixel convolutions |
| CN106997610A (zh) * | 2016-01-26 | 2017-08-01 | 阿里巴巴集团控股有限公司 | 一种图像渲染方法、装置及电子设备 |
| CN107154063A (zh) * | 2017-04-19 | 2017-09-12 | 腾讯科技（深圳）有限公司 | 图像展示区域的形状设置方法及装置 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107742317A (zh) * | 2017-09-27 | 2018-02-27 | 杭州群核信息技术有限公司 | 一种渲染图像的获取方法、装置、渲染系统及存储介质 |
| CN108010113A (zh) * | 2017-11-21 | 2018-05-08 | 成都品果科技有限公司 | 一种基于像素着色器的深度学习模型执行方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135464A (zh) * | 2019-04-18 | 2019-08-16 | 深兰科技（上海）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111859210A (zh) * | 2019-04-29 | 2020-10-30 | 百度在线网络技术（北京）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN111859210B (zh) * | 2019-04-29 | 2024-04-26 | 百度在线网络技术（北京）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN110544218A (zh) * | 2019-09-03 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
| CN110544218B (zh) * | 2019-09-03 | 2024-02-13 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
| US11526545B2 (en) | 2020-02-10 | 2022-12-13 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method of processing cover page image of multimedia information, client and electronic device |
| CN112308142A (zh) * | 2020-10-30 | 2021-02-02 | 云账户技术(天津)有限公司 | 一种图片对比方法、装置及电子设备 |
| CN112906829A (zh) * | 2021-04-13 | 2021-06-04 | 成都四方伟业软件股份有限公司 | 一种基于Mnist数据集的数字识别模型构建方法及装置 |
| CN114998087A (zh) * | 2021-11-17 | 2022-09-02 | 荣耀终端有限公司 | 渲染方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109410141B (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410141A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN109360153B (zh) | 图像处理方法、超分辨率模型生成方法、装置及电子设备 | |
| US10861133B1 (en) | Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium | |
| CN107729996A (zh) | 零系数跳过卷积神经网络引擎 | |
| US8830254B2 (en) | Systems and methods for graph rendering | |
| CN107977414A (zh) | 基于深度学习的图像风格迁移方法及其系统 | |
| CN110533594B (zh) | 模型训练方法、图像重建方法、存储介质及相关设备 | |
| KR102624027B1 (ko) | 영상 처리 장치 및 방법 | |
| US20220286696A1 (en) | Image compression method and apparatus | |
| CN105590304B (zh) | 超分辨率图像重建方法和装置 | |
| US11393139B2 (en) | System and method for MPR streak reduction | |
| JP2023523047A (ja) | 画像処理方法、装置、コンピュータ機器及び記憶媒体 | |
| US11308361B1 (en) | Checkerboard artifact free sub-pixel convolution | |
| CN113570612B (zh) | 一种图像处理方法、装置及设备 | |
| Zhao et al. | Real-time edge-aware weighted median filtering on the GPU | |
| CN115908116A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| US11257290B2 (en) | Decimating a three-dimensional mesh via successive self-parameterization | |
| WO2021213664A1 (en) | Filtering for rendering | |
| CN116363247B (zh) | 高像素图像的ct重建方法、装置及存储介质 | |
| Xu et al. | A survey of image super resolution based on CNN | |
| Gu et al. | Using checkerboard rendering and deconvolution to eliminate checkerboard artifacts in images generated by neural networks | |
| JP2020064557A (ja) | 画像処理装置、画像処理システム、撮像装置、画像処理方法、および、プログラム | |
| Yan et al. | SSRNet: A CT Reconstruction Network Based on Sparse Connection and Weight Sharing for Parameters Reduction | |
| CN114781601B (zh) | 图像超分辨率方法及装置 | |
| Lau et al. | Using image upscaling methods in digital platforms to reduce internet usage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |