CN109413434B - 图像处理方法、装置、系统、存储介质和计算机设备 - Google Patents
图像处理方法、装置、系统、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN109413434B CN109413434B CN201811324357.XA CN201811324357A CN109413434B CN 109413434 B CN109413434 B CN 109413434B CN 201811324357 A CN201811324357 A CN 201811324357A CN 109413434 B CN109413434 B CN 109413434B
- Authority
- CN
- China
- Prior art keywords
- image
- data
- image data
- machine learning
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000010801 machine learning Methods 0.000 claims abstract description 190
- 238000012545 processing Methods 0.000 claims abstract description 106
- 230000003321 amplification Effects 0.000 claims abstract description 83
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000006835 compression Effects 0.000 claims abstract description 27
- 238000007906 compression Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 181
- 238000012795 verification Methods 0.000 claims description 35
- 230000002441 reversible effect Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000977 initiatory effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像处理方法、装置、系统、存储介质和计算机设备，所述方法包括：获取待处理图像；所述待处理图像由原始图像的原始图像数据经过图像分辨率压缩后，再经过编码得到；按照所述待处理图像所属的图像文件格式，解码所述待处理图像得到压缩图像数据；查询对应于所述待处理图像所配置的图像属性；当所述图像属性为放大属性时，则通过机器学习模型对所述压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。本申请提供的方案既实现了图像数据量的大幅压缩，又能在图像需要放大时对压缩后的图像数据进行分辨率放大，保证图像的还原质量。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、系统、存储介质和计算机设备。
背景技术
随着计算机技术的发展，越来越多的用户选择通过图像来传递信息，而且图像中承载的内容也越来越丰富多样。传统技术中，为了保证图像中承载的信息，通常是直接将图像数据编码为图像文件后进行传输。
然而，图像文件在传输时需要消耗网络带宽并占用网络存储空间，尤其是在图像文件较大时网络带宽的消耗与网络存储空间的占用尤为明显。
发明内容
基于此，有必要针对网络带宽的消耗与网络存储空间的占用的技术问题，提供一种图像处理方法、装置、系统、存储介质和计算机设备。
一种图像处理方法，包括：
获取待处理图像；所述待处理图像由原始图像的原始图像数据经过图像分辨率压缩后，再经过编码得到；
按照所述待处理图像所属的图像文件格式，解码所述待处理图像得到压缩图像数据；
查询对应于所述待处理图像所配置的图像属性；
当所述图像属性为放大属性时，则通过机器学习模型对所述压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
一种图像处理装置，包括：
获取模块，用于获取待处理图像；所述待处理图像由原始图像的原始图像数据经过图像分辨率压缩后，再经过编码得到；
解码模块，用于按照所述待处理图像所属的图像文件格式，解码所述待处理图像得到压缩图像数据；
查询模块，用于查询对应于所述待处理图像所配置的图像属性；
放大模块，用于当所述图像属性为放大属性时，则通过机器学习模型对所述压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
一种图像处理系统，包括终端和图片服务器，其中，
所述图片服务器用于按照原始图像所属的图像文件格式解码所述原始图像得到原始图像数据，并将所述原始图像数据经过图像分辨率压缩得到压缩图像数据，再编码所述压缩图像数据得到待处理图像；
所述终端用于向图像服务器发起图像获取请求；
所述图片服务器还用于响应于所述图像获取请求反馈所述待处理图像；
所述终端还用于获取待处理图像；按照所述图像文件格式解码所述待处理图像得到压缩图像数据；查询对应于所述待处理图像所配置的图像属性；当所述图像属性为放大属性时，则通过机器学习模型对所述压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述图像处理方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述图像处理方法的步骤。
上述图像处理方法、装置、系统、存储介质和计算机设备，传输的待处理图像是经过分辨率压缩后的文件，即对图像数据进行进一步压缩后再编码得到的图像文件；而且在获取到待处理图像后，即按照待处理图像所属的图像文件格式，解码待处理图像得到压缩图像数据，并查询对应于待处理图像所配置的图像属性，这样在图像属性为放大属性时，通过机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据，既实现了图像数据量的大幅压缩，又能在图像需要放大时对压缩后的图像数据进行分辨率放大，保证图像的还原质量。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中模型训练和模型使用时输入输出的对比图；
图4为一个实施例中模型使用过程的示意图；
图5为一个实施例中图像处理过程的逻辑流程图；
图6为一个实施例中图像处理装置的结构框图；
图7为另一个实施例中图像处理装置的结构框图；
图8为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像处理方法的应用环境图。参照图1，该图像处理方法应用于图像处理系统。该图像处理系统包括终端110和服务器120，服务器120包括图片服务器121和模型服务器122。终端110与服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，在一个实施例中，提供了一种图像处理方法。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2，该图像处理方法具体包括如下步骤：
S202，获取待处理图像；待处理图像由原始图像的原始图像数据经过图像分辨率压缩后，再经过编码得到。
其中，待处理图像是待进行某项操作的图像。在本实施例中，待处理图像具体可以是待在终端界面中展示的图像。待处理图像，比如用户头像或者网页新闻图片等。
原始图像是图像提供方所提供的图像。比如表情图像，表情图像提供发所初始提供的图像即为原始表情图像。原始图像数据是原始图像的图像数据。图像数据是图像中像素点的像素值。比如：对于图像分辨率为256*256的图像，其图像数据即为256*256个像素值的集合。
对图像数据进行图像分辨率压缩的过程可以理解为缩减像素点的过程。比如，图像分辨率为256*256的图像数据，在长和宽两个维度各压缩1/2后，得到128*128的图像数据，像素点的数量发生了缩减。
图像文件格式是记录和存储图像数据的格式。图像文件格式，比如jpg格式、png格式或者webp格式等。按照某种图像文件格式编码图像数据得到图像，即为按照某种方式组织和存储图像数据。比如，jpg格式的图像数据编码，即结合了行程编码、DCT(DiscreteCosine Transform，离散余弦变换)、量化编码以及哈夫曼编码。
可以理解，通常情况下在图像提供方提供原始图像后，该原始图像即可直接在不同的计算机设备间进行流转传递。在本申请各实施例中，原始图像具体可以是图像数据量较大的图像。那么，在直接流转传递原始图像时，会消耗大量的网络带宽并占用较多的网络存储空间。通过本申请中提供的各实施例，可以将原始图像的原始图像数据经过图像分辨率压缩后，再进行编码得到压缩图像后进行流转传递，压缩图像相较于原始图像，图像分辨率降低，图像数据量变小，可减少网络带宽的消耗与网络存储空间的占用。
在一个实施例中，获取待处理图像，包括：向图像服务器发起图像获取请求；接收图像服务器响应于图像获取请求所反馈的待处理图像；其中，待处理图像，由图像服务器按照原始图像所属的图像文件格式解码原始图像得到原始图像数据，并将原始图像数据经过图像分辨率压缩得到压缩图像数据，再编码压缩图像数据得到。
其中，图像服务器可用于进行图像处理，并部署发布处理得到的图像供终端请求下载。图像服务器也可包括图像处理服务器和图像发布服务器。图像处理服务器用于处理图像，并将处理得到的图像传递至图像发布服务器，图像发布服务器则部署发布传递过来的图像共终端请求下载。
具体地，图像提供方将原始图像上传至图像服务器后，图像服务器可先确定该原始图像的图像文件格式，按照该图像文件格式解码原始图像得到原始图像数据。图像服务器可再对原始图像数据进行图像分辨率压缩，得到压缩图像数据，然后编码该压缩图像数据得到压缩图像，即得到低分辨率、且数据量小的图像，再部署发布这些图像，供终端请求下载。
其中，图像服务器再编码压缩图像数据时，可以按照原始图像的图像文件格式进行编码，也可以按照异于原始图像的图像文件格式的其他图像文件格式进行编码。比如，原始图像为jpg格式，压缩图像可以为jpg格式，也可以为png格式等其他格式。
在本实施例中，终端解码原始图像的过程能够兼容现有的所有图片文件格式。也就是说，无论原始图像的图像文件格式为哪种格式，终端均可按照原始图像的图像文件格式解码原始图像。而且，可以理解的是，将图像数据编码为图像文件也是图像压缩的过程，那么，本实施例中，对原始图像数据进行图像分辨率压缩后，再按照图像文件格式进行编码，即可看作是能够在现有格式的压缩基础上进一步的进行压缩，极大地提高了压缩率。
进一步地，终端在当前需要展示的页面包括图像时，可向图像服务器发起图像获取请求。图像服务器在接收到图像获取请求后，可查询该图像获取请求所请求的图像，将相应的压缩图像文件反馈给终端，这样终端即获取了待处理图像。
举例说明，比如，图像提供方的原始图像的图像分辨率为256*256、且图像格式为jpg格式。图像处理器可先按照jpg格式所对应的解码方式解码原始图像，得到图像分辨率为256*256的原始图像数据，再将原始图像数据两个维度的像素点各压缩至原来的1/2，得到图像分辨率为128*128的压缩图像数据，再按照jpg格式所对应的编码方式编码压缩图像数据得到压缩图像，以应终端请求下发给终端用作待处理图像。
在本实施例中，将原始图像的原始图像数据经过图像分辨率压缩后，再经过编码得到待处理图像后进行流转传递，可提高压缩率，减少数据量，从而减少网络带宽的消耗与网络存储空间的占用。
S204，按照待处理图像所属的图像文件格式，解码待处理图像得到压缩图像数据。
具体地，终端可查询该待处理图像所属的图像文件格式，按照该图像文件格式所对应的解码方式解析该待处理图像，从而提取出该待处理图像中各像素点的像素值，得到待处理图像的图像数据，也就是压缩后的图像数据。
可以理解，原始图像数据和压缩图像数据都是图像数据，压缩图像数据是由原始图像数据进行图像分辨率缩减后得到的图像数据。
S206，查询对应于待处理图像所配置的图像属性。
其中，图像属性是反应图像是否需要进行某项操作的数据。在本实施例中，图像属性是反应图像是否需要进行图像分辨率放大操作的数据。
在一个实施例中，待处理图像的图像属性可以是事先根据图像在显示时的图像分辨率要求配置好的。比如，当待处理图像在显示时对图像分辨率的要求不高时，可将该待处理图像的图像属性配置为非放大属性。例如头像展示的场景。再比如，当待处理图像在显示时对图像分辨率的要求较高时，可将该待处理图像的图像属性配置为放大属性。例如监控视频中的图像帧展示的场景。
具体地，终端获取的待处理图像可携带有图像属性。这样，终端即可直接提取对应于该待处理图像所配置的图像属性。当然，对应于待处理图像所配置的图像属性也可与待处理图像相互独立存在。
在一个具体的实施例中，终端运行应用程序且展示应用程序页面时，可在当前应用程序页面包括待处理图像时，查询当前应用程序页面所对应的页面文件，以查询对应于待处理图像所配置的图像属性。
在一个实施例中，待处理图像为网页图像。S206包括：加载浏览器内核解析待处理图像所属网页的网页信息；在网页信息中定位待处理图像所对应的图像节点；查找图像节点的属性，得到对应于待处理图像所配置的图像属性。
可以理解，当待处理图像为网页图像时，承载待处理图像的载体为网页，如H5页面。在终端上网页通常通过浏览器应用来展示。比如QQ浏览器应用直接打开目标网页。内置了浏览器内核的非浏览器应用可通过内置的浏览器内核展示网页。未内置浏览器内核的非浏览器应用可通过调用操作系统提供的浏览器内核展示网页。比如，微信应用中内置了浏览器内核后，用户意图在微信应用中打开目标网页时，微信应用可调用内置的浏览器内核，通过该浏览器内核打开目标网页。也就是说，展示网页时即需要加载浏览器内核。而浏览器内核在打开目标网页时，需要根据该目标网页的网页信息来进行页面渲染。具体地，终端在当前渲染的网页包括网页图像，并向图像服务器请求到该网页图像后，也就是下载到待处理图像后，可加载浏览器内核解析当前渲染的网页所对应的网页信息，也就是解析待处理图像所属网页的网页信息，在网页信息中找到该网页图像所对应的图像节点。终端则可再查询该图像节点的节点属性，从而得到对应于网页图像所配置的图像属性。
需要说明的是，网页所包括网页元素可在网页信息中通过节点表示。一个网页元素对应一个节点。比如文本对应文本节点、图像对应图像节点等。那么，在网页包括网页图像时，则该网页图像即在网页信息中对应一个图像节点。
在一个详细的实施例中，网页信息中网页图像的图像节点的节点属性值为HTML网页脚本中的图像节点的属性值。通常情况下，终端加载浏览器内核解析网页信息后，可得到网页DOM(Document Object Model,文档对象模型)树。终端即可在该DOM树中定位网页图像的图像节点，继而获取到该图像节点对应设置的属性值，从而得到对应于网页图像所配置的图像属性。
举例说明：网页的内容在显示之前，都会先解析成一个DOM树，DOM树上的图像节点就是对应网页中的一个图像标签，例如：
其中，<img id＝"img1"src＝"./images/dog.gif"needDeepLearning＝"true"/>是一个图像节点，其中的“needDeepLearning”就是该图像节点的一个属性值，该属性值表示是否需要对图像进行图像分辨率放大处理。也就是本实施例中需要得到的对应于待处理图像所配置的图像属性。
在一个具体的实施例中，终端上安装有浏览器应用。终端可根据用户指令运行该浏览器应用并打开目标网页。终端在打开目标网页时，需要先通过网页标识，如url地址获取到网页信息。在该网页中包括网页图像时，终端可向图像服务器下载二次压缩后的网页图像，并在网页信息中定位网页图像的图像节点，获取图像节点的节点属性，以判断是否需要通过机器学习模型对获取的网页图像进行图像分辨率放大处理。
在本实施例中，提供了网页场景下，网页动态控制图像缩放的功能，能够适应各种应用场景，根据实际需要灵活控制将图像分辨率放大以进行高精度显示，或者直接展示，提高了图像显示的便利性并提升用户体验。
S208，当图像属性为放大属性时，则通过机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
其中，机器学习英文全称为Machine Learning，简称ML。机器学习模型可通过样本学习具备特定的能力。机器学习模型可采用神经网络模型、支持向量机、逻辑回归模型、随机森林模型或者梯度提升树模型等。神经网络模型具体可以是卷积神经网络模型。在本实施例中，机器学习模型是经过训练后具有图像分辨率放大功能的模型。
具体地，终端在查询到待处理图像的图像属性为放大属性时，则判定需要通过机器学习模型对该待处理图像进行图像分辨率放大处理，即将压缩图像数据输入机器学习模型，通过机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
在一个实施例中，通过机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据，包括：自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，依次对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据；其中，机器学习模型在训练时，则自机器学习模型的首层卷积层起，按照机器学习模型的层序的顺序，依次对原始训练图像数据进行图像分辨率压缩处理，得到图像分辨率缩小后的压缩训练图像数据。
其中，机器学习模型具体可以是包括多层卷积层的卷积神经网络模型。每层卷积层中可包括多个卷积核。卷积层通过卷积核对正向输入的数据进行卷积运算，以从输入的数据中进行特征提取。
众所周知，在信息论中，普遍认为信息在处理过程中是“信息逐层丢失”的，这表明通常情况下信息处理不会增加信息，大部分处理会丢失信息。可以理解，对于同一帧图像，当其图像分辨率减小后，该图像所包括的信息量也是减少的。那么，在模型训练的过程中，也应遵循信息由多到少的过程，而且，卷积层对输入数据的卷积运算是特征提取的运算，从输入数据到输出数据是信息量减少的过程。以包含更多信息的原始训练图像数据作为模型的输入，通过多层卷积层逐层对输入进行特征提取，得到包含较少信息的压缩训练图像数据。
具体地，由于机器学习模型在训练时，是将原始训练图像数据自首层起输入机器学习模型，通过机器学习模型的各层进行运算，以进行图像分辨率压缩。那么，终端在判定需要通过机器学习模型对待处理图像进行图像分辨率放大处理时，则将待处理图像的图像数据自末层起输入机器学习模型，通过机器学习模型的各层进行逆运算，以进行图像分辨率放大。
图3示出了一个实施例中模型训练和模型使用时输入输出的对比图。参考图3，该机器学习模型包括N层卷积层。自首层(1)自末层(N)依次排列。在模型训练时，以原始训练图像数据为输入，且自机器学习模型的首层正向输入。在模型使用时，则以待处理图像的图像数据(压缩图像数据)为输入，自机器学习模型的末层逆向输入。
当然，在模型训练时，可通过末层输出处理得到的压缩训练图像数据。但由于在模型训练时输出可有可无，则可以控制机器学习模型在训练时不进行输出。而在模型使用时，可通过首层输出处理得到的目标图像数据。正由于目标图像数据是后续步骤所需要的数据，则可控制机器学习模型在使用时进行输出。
在本实施例中，依据信息论的先验知识，在模型训练过程中从包含信息更多的数据处理得到包含信息较少的数据，从而在实际使用中，通过逆向输入，以及模型各层的逆运算，实现从包含信息较少的数据到包含信息更多的数据的过程，以实现通过机器学习模型来增大图像分辨率。
在一个实施例中，机器学习模型通过设置为包括多层卷积层，每层卷积层包括多个尺寸较小的卷积核来提高计算速度和表达能力。
具体地，机器学习模型的卷积层所包括的卷积核为二维矩阵。总所周知，3层3*3的卷积核对图像的作用效果，相当于1层7*7的卷积核。假设输入的待处理图像的图像分辨率为100*100，卷积操作不改变大小。对于一层包括m个7*7的卷积核的卷积层，通过该卷积层对待处理图像进行卷积操作时，需要进行100*100*7*7*m次乘法操作。而对于每层包括m个3*3的卷积核的三层卷积层，通过这三层卷积层对待处理图像进行卷积操作时，需要进行100*100*3*3*m*3次乘法操作，约掉相同部分，分别剩下7*7＝49和3*3*3＝27。显然，用三层3*3的卷积层代替一层7*7的卷积层可以减少近一半的计算量。那么，在本实施例中对每层卷积层使用尺寸更小的卷积核，可以提升模型运算速度。而且，更多的卷积层在一定程度上可提高机器学习模型的表达能力。
而且，在为机器学习模型的卷积层设置激活函数时，选取PRelu函数为激活函数。采用PRelu函数作为激活函数可以得到更快的收敛速度，因为PRelu函数的输出均值更接近于0，深度学习迭代计算中收敛更快。
上述图像处理方法，传输的待处理图像是经过分辨率压缩后的文件，即对图像数据进行进一步压缩后再编码得到的图像文件；而且在获取到待处理图像后，即按照待处理图像所属的图像文件格式，解码待处理图像得到压缩图像数据，并查询对应于待处理图像所配置的图像属性，这样在图像属性为放大属性时，通过机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据，既实现了图像数据量的大幅压缩，又能在图像需要放大时对压缩后的图像数据进行分辨率放大，保证图像的还原质量。
在一个实施例中，自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，依次对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据，包括：将压缩图像数据中的三原色通道数据，转换为亮度通道数据、色度通道数据和浓度通道数据；自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，依次对亮度通道数据进行图像分辨率放大处理，得到图像分辨率放大后的亮度通道数据；通过对色度通道数据和浓度通道数据进行插值处理，得到图像分辨率放大后的色度通道数据和图像分辨率放大后的浓度通道数据；根据图像分辨率放大后的亮度通道数据、色度通道数据和浓度通道数据，得到图像分辨率放大后的目标图像数据。
其中，三原色通道为RGB三颜色通道，三原色通道数据即为R通道数据、G通道数据和B通道数据。
本领域技术人员可以理解，物理三基色分别是红色(Red)、绿色(Green)和蓝色(Blue)。显示器技术就是通过组合不同强度的红绿蓝三原色，来达成几乎任何一种可见光的颜色。在图像储存中，通过记录每个像素的红绿蓝强度，来记录图像的方式为RGB模型(RGB Model)。常见的图像文件格式中，PNG和BMP这两种就是基于RGB模型的。
除了RGB模型外，还有一种广泛采用的模型，称为YUV模型，又被称为亮度-色度模型(Luma-ChromaModel)。它是通过数学转换，将RGB三通道转换为一个代表亮度的通道(Y,又称为Luma)，和两个代表色度的通道(UV，并称为Chroma)来记录图像的模型。
在一个具体的实施例中，将RGB三通道数据转为YUV三通道数据的公式具体如下式所示：
Y＝0.257R+0.504G+0.098B+16 (1)
U＝0.439R-0.368G-0.071B+128 (2)
V＝-0.148R-0.291G+0.439B+128 (3)
其中，Y表示亮度通道值、U表示色度通道值、V表示浓度通道值、R表示R通道值、G表示G通道值，以及B表示B通道值。
在本实施例中，基于人眼对于图像中的亮度通道分量更加敏感的特点。终端在将压缩图像数据中的三原色通道数据，转换为亮度通道数据、色度通道数据和浓度通道数据后，可将亮度通道数据与色度通道数据和浓度通道数据分离，仅对亮度通道数据通过机器学习模型来增大分辨率，以提高模型处理速度。而对于色度通道数据和浓度通道数据，则通过插值法来增大分辨率。其中，插值法具体可以是二次线性插值的方法等。
当然，在另外的实施例中，终端也可对亮度通道数据、色度通道数据和浓度通道数据，这三个通道数据均采用机器学习模型来增大分辨率。本申请实施例中对此不作限制。
具体地，终端按照待处理图像所属的图像文件格式，从待处理图像中解码出三颜色通道数据后，根据RGB三通道与YUV三通道之间的转化关系，计算得到亮度通道数据(Y通道)、色度通道数据(U通道)和浓度通道数据(V通道)后，将亮度通道数据自机器学习模型的末层卷积层输入，自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，依次对亮度通道数据进行图像分辨率放大处理，得到图像分辨率放大后的亮度通道数据。其中，对亮度通道数据进行图像分辨率放大处理具体可以是卷积操作的逆操作。
终端然后采用二次线性插值的方法，直接对色度通道数据和浓度通道数据进行分辨率放大的计算处理，得到图像分辨率放大后的色度通道数据和浓度通道数据。再将图像分辨率放大后的亮度通道数据、色度通道数据和浓度通道数据合并成一个完整的放大后的目标图像数据。
当然，在得到图像分辨率放大后的亮度通道数据、色度通道数据和浓度通道数据后，终端也可将其按照RGB三通道与YUV三通道之间的转化关系，计算得到图像分辨率放大后的RGB三通道数据，作为目标图像数据。
举例说明，图4示出了一个实施例中模型使用过程的示意图。参考图4，终端获取待处理图像并提取出压缩图像数据(RGB三通道值)后，可将RGB三通道值转化为YVU三通道值，并将Y通道值与VU两通道值分离，将Y通道值自机器学习模型的末层输入，通过机器学习模型的首层输出图像分辨率放大后的Y通道值，并对VU两通道值进行插值运算，得到图像分辨率放大后的VU两通道值。终端再将图像分辨率放大后的Y通道值和图像分辨率放大后的VU两通道值合并，得到图像分辨率放大后的目标图像数据。
上述本实施例中，基于人眼对于图像中的亮度通道分量更加敏感的特点，不再对全部的图像数据通过机器学习模型进行处理，仅对亮度通道数据通过机器学习模型来增大分辨率，提高了模型处理效率，从而提高了图像处理效率。
在一个实施例中，机器学习模型的训练步骤包括：获取第一原始训练图像数据集；确定根据第一原始训练图像数据集训练机器学习模型的训练目标；将第一原始训练图像数据集中的原始训练图像数据，自机器学习模型的首层输入，根据训练目标训练机器学习模型。
其中，第一原始训练图像数据集是由多个原始训练图像数据组成的集合。训练目标是用于衡量模型好坏的数据。训练目标通常是以模型的实际输出与模型的期望输出之间差异为自变量的函数。训练目标具体可以是损失函数。损失函数具体可以是平方损失函数、指数损失函数或者负的似然函数等。
可以理解，机器学习模型训练的步骤可以在终端上进行，也可以在模型服务器上进行。本实施例以模型服务器为例进行说明。
具体地，模型服务器可通过各种途径收集用作训练机器学习模型的样本图像，再根据各样本图像所属的图像文件格式，从样本图像中解码出原始训练图像数据，得到第一原始训练图像数据集。
进一步地，模型服务器可选定确定根据第一原始训练图像数据集训练机器学习模型的训练目标。模型服务器可具体根据训练需求以及训练样本的特征选取训练目标。
在一个具体的实施例中，模型服务器可选取平均绝对误差(Mean AbsoluteError，MAE)作为训练目标，MAE的计算公式如下式所示：
其中，yi是第i个样本的真实值，
是对第i个样本的预测值，n为样本数量。真实值是对原始训练图像进行图像分辨率压缩后得到的结果。预测值是机器学习模型对原始训练图像进行处理后得到的结果。
具体地，机器学习模型的各层自首层卷积层起，依次对输入的原始训练图像数据进行处理后，会得到一个处理结果。该处理结果可通过模型输出，也可不通过模型输出。而对于原始训练图像数据，则可采用压缩的方法将图像分辨率进行压缩，得到压缩训练图像数据作为用于参考的真实值。这样机器学习模型会自动优化平均绝对误差，来调整模型参数。其中，这里的模型参数包括每层卷积核信息、卷积核深度信息以及每个像素点周围像素点的概率信息。
在一个具体的实施例中，模型服务器可将原始训练图像数据的RGB三通道数据转化为YVU三通道数据，并分离出Y通道训练数据作为机器学习模型的输入。也就是说机器学习模型不再是对全部的图像数据进行处理，而仅对Y通道数据进行处理，这样通过减少数据量，可以加快模型运算速度，而且能够在一定程度上保证数据处理的准确有效性。
在本实施例中，利用机器学习算法强大的学习和表示能力进行压缩原始图像数据的图像分辨率的学习，所训练得到的机器学习模型进行图像分辨率放大时，较传统方法在处理时间上有极大地缩减。且通过实验证明，对于256*256像素的图像，通过机器学习模型进行图像分辨率放大处理时，能够把处理时间从30秒左右，降低到0.2秒左右。
在一个实施例中，机器学习模型的训练步骤还包括：获取第二原始训练图像数据集；对第二原始训练图像数据集中的原始训练图像数据，进行图像分辨率压缩得到相应的压缩训练图像数据；将压缩训练图像数据自机器学习模型的末层输入，通过机器学习模型的首层输出相应的重构训练图像数据；根据重构训练图像数据和原始训练图像数据的相似度，调整机器学习模型。
其中，第二原始训练图像数据集是由多个原始训练图像数据组成的集合。第二原始图像数据集与第一原始图像数据集可存在交集。
具体地，模型服务器在获取到第二原始训练图像数据集后，可对第二原始训练图像数据集中的原始训练图像数据，进行图像分辨率压缩得到相应的压缩训练图像数据，以通过原始训练图像数据和相应的压缩训练图像数据，来对训练的机器学习模型进行测试与检验。
模型服务器可将压缩训练图像数据自机器学习模型的末层输入，通过机器学习模型的各层对压缩训练图像数据进行逆向运算，进行图像分辨率的放大，再通过机器学习模型的首层输出相应的重构训练图像数据。这时，模型服务器可将输出的重构训练图像数据，与输入的压缩训练图像数据的相应的原始训练图像数据进行比较。
在一个具体的实施例中，模型服务器具体可以计算两者之间的相似度。比如计算重构训练图像数据的峰值信噪比(Peak Signal to Noise Ratio，PSNR)与原始训练图像数据的峰值信噪比的相似度。
进一步地，服务器可在计算得到的相似度满足条件时，判定机器学习模型性能较好，可用于实际场景中的使用。服务器可在计算得到的相似度不满足条件时，调整模型参数。这里的模型参数具体可以是卷积核的尺寸与模型的深度。
上述实施例中，将模型训练过程分为训练过程和测试过程两部分，在采用训练样本训练得到机器学习模型后，使用测试样本对机器学习模型进行校准，提高了训练得到的机器学习模型的准确性和稳定性。
在一个实施例中，通过机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据，包括：根据压缩图像数据计算待处理图像的图像复杂度；通过与图像复杂度匹配的机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
其中，图像复杂度反应图像所包括的信息量的大小。图像所包括的信息量越大，该图像的图像复杂度越高；图像所包括的信息量越小，该图像的图像复杂度越低。通常情况下，通过图像熵来表示图像复杂度。图像熵是一种图像特征的统计形式，反映了图像中的平均信息量。
具体地，在模型训练时，根据原始训练图像数据所对应的压缩训练图像数据来计算图像复杂度，进而将原始训练图像数据按照对应的图像复杂度进行分组，得到多个训练样本组，从而分别根据这些训练样本组训练各自对应的机器学习模型。这样，在需要对待处理图像进行图像分辨率放大时，则可根据该待处理图像的图像数据计算该待处理图像的图像复杂度。再从训练好的多个机器学习模型中选取与该待处理图像的图像复杂度匹配的机器学习模型，对该待处理图像的图像数据进行图像分辨率放大处理。
举例说明，模型训练中，可根据原始训练图像数据对应的图像复杂度划分成N个图像复杂度区间，根据每个图像复杂度区间内的原始训练图像数据，训练该图像复杂度区间对应的机器学习模型，训练得到N个机器学习模型。终端在计算得到待处理图像的图像复杂度后，即查看该图像复杂度位于哪个图像复杂度区间，即调用该图像复杂度区间所对应的机器学习模型对待处理图像的图像数据进行图像分辨率放大处理。
上述实施例中，能够对图像复杂度较高的图像数据进行处理的模型的参数，相较于能够对图像复杂度偏低的图像数据进行处理的模型的参数可能更复杂。如果对各种图像复杂度统一使用相同的机器学习模型进行处理时，则需要兼顾图像复杂度较高的场景，使得模型的参数可能更为复杂。这样，在处理图像复杂度偏低的图像数据时，则会导致计算资源的浪费。通过按图像复杂度的不同，分别训练出不同的机器学习模型，可以避免对于各种图像复杂度统一使用相同的机器学习模型时，可能导致的计算资源浪费。
在一个实施例中，图像处理方法还包括：向模型服务器发起模型校验请求；接收模型服务器响应于模型校验请求所反馈的校验结果；当校验结果表示存在模型更新时，则从模型服务器下载更新后的机器学习模型。
其中，模型服务器是用于训练本申请各实施例中机器学习模型的计算机设备。模型服务器可在模型训练完成后，对机器学习模型进行更新。可以理解，对机器学习模型进行更新，可以是对已有的机器学习模型进行进一步改进，以提高机器学习模型的处理能力，也可以是新增对应不同复杂度的机器学习模型。
模型校验请求是用于查询机器学习模型是否有更新的请求。反馈结果包括两种，一种表示存在模型更新，另一种则表示不存在模型更新。
具体地，终端在需要对待处理图像的图像数据通过机器学习模型进行处理之前，可先向模型服务器发起模型校验请求。其中，该模型校验请求可携带模型版本信息。这样，模型服务器在接收到模型校验请求后，可将模型校验请求中携带的模型版本信息，与模型服务器上存储的机器学习模型的模型版本信息进行比较，当模型服务器上存储的机器学习模型的模型版本信息，高于模型校验请求中携带的模型版本信息时，则反馈表示存在模型更新的校验结果；当模型服务器上存储的机器学习模型的模型版本信息，与模型校验请求中携带的模型版本信息一致时，则反馈表示不存在模型更新的校验结果。
进一步地，终端在接收到模型服务器反馈的校验结果后，当校验结果表示存在模型更新时，则从模型服务器下载更新后的机器学习模型，并利用更新后的机器学习模型对待处理图像的图像数据进行处理。当校验结果表示不存在模型更新时，则直接利用本地的机器学习模型对待处理图像的图像数据进行处理。
在另外的实施例中，模型服务器响应于模型校验请求所反馈的校验结果，可携带模型服务器上存储的机器学习模型的模型版本信息。这样终端则可将反馈结果中携带的模型版本信息与本地的模型版本信息进行比较，以判断是否有模型更新。
上述实施例中，在有模型更新的时候及时进行模型更新，以用最新的模型来对待处理图像的图像数据进行处理，在一定程度上提高图像处理的效果。
在一个实施例中，该图像处理方法还包括：当图像属性为放大属性时，则根据目标图像数据进行显示；当图像属性不为放大属性时，则根据压缩图像数据进行显示。
具体地，终端在判定待处理图像需要进行放大处理，并通过机器学习模型对待处理图像的图像数据进行处理，得到目标图像数据时，则可按照该图像数据进行渲染，以在终端屏幕上显示图像。终端在判断待处理图像不需要进行放大处理时，则直接根据待处理图像的图像数据进行渲染，以在终端屏幕上显示图像。
在一个具体的实施例中，终端上安装有浏览器应用。终端根据用户指令运行浏览器应用并开启网页。在网页包括网页图像，并在判定该网页图像需要进行放大处理，以及通过机器学习模型对待处理图像的图像数据进行处理，得到目标图像数据后，可按照该网页图像在网页中的显示位置渲染得到目标图像数据，以展示网页图像。在判定该网页图像不需要进行放大处理时，则直接在，该网页图像在网页中的显示位置渲染网页图像的图像数据，以展示网页图像。
在本实施例中，通过图像属性的设置灵活控制图像的放大后显示或者直接显示，以灵活适应不同图像精度要求场景下的图像显示。
图5示出了一个实施例中图像处理过程的逻辑流程图。该图像处理过程中涉及到的硬件设备包括模型服务器、图像服务器、第三方设备和终端。
其中，模型服务器用于机器学习模型的训练与更新。具体地，模型服务器收集原始训练图像数据集，将原始训练图像数据的RGB三通道数据转化为YVU三通道数据，并将Y通道数据与VU通道数据，根据Y通道数据训练机器学习模型。在机器学习模型训练完成后，进行部署发布，供终端更新下载。
图像服务器用于处理原始图像与发布处理后的压缩图像。具体的，图像服务器可接收第三方设备上传的原始图像，按照原始图像所属的图像文件格式解码出原始图像数据，对原始图像数据进行图像分辨率压缩，得到压缩图像数据。图像服务器再编码压缩图像数据得到压缩图像，并进行部署发布，共终端下载。
终端上安装有应用，可根据用户指令运行应用并开启网页。终端可在网页中包括网页图像时，向模型服务器发起模型校验请求；接收模型服务器响应于模型校验请求所反馈的校验结果；当校验结果表示存在模型更新时，则从模型服务器下载更新后的机器学习模型；当校验结果表示不存在模型更新时，使用本地的机器学习模型。
终端还可在网页中包括网页图像时，向图像服务器发起图像获取请求；接收图像服务器响应于图像获取请求所反馈的待处理图像，按照待处理图像所属的图像文件格式解码得到压缩图像数据。终端可再加载浏览器内核解析待处理图像所属网页的网页信息；在网页信息中定位待处理图像所对应的图像节点；查找图像节点的属性，得到对应于待处理图像所配置的图像属性。
当图像属性为放大属性时，终端则将压缩图像数据中的三原色通道数据，转换为亮度通道数据、色度通道数据和浓度通道数据；自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，依次对亮度通道数据进行图像分辨率放大处理，得到图像分辨率放大后的亮度通道数据；通过对色度通道数据和浓度通道数据进行插值处理，得到图像分辨率放大后的色度通道数据和图像分辨率放大后的浓度通道数据；根据图像分辨率放大后的亮度通道数据、色度通道数据和浓度通道数据，得到图像分辨率放大后的目标图像数据，并根据目标图像数据在终端界面上进行图像显示。当图像属性不为放大属性时，终端则之间根据压缩图像数据在终端界面上进行图像显示。
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图6所示，在一个实施例中，提供了一种图像处理装置600。参照图6，该图像处理装置600包括：获取模块601、解码模块602、查询模块603和放大模块604。
获取模块601，用于获取待处理图像；待处理图像由原始图像的原始图像数据经过图像分辨率压缩后，再经过编码得到。
解码模块602，用于按照待处理图像所属的图像文件格式，解码待处理图像得到压缩图像数据。
查询模块603，用于查询对应于待处理图像所配置的图像属性。
放大模块604，用于当图像属性为放大属性时，则通过机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
在一个实施例中，获取模块601还用于向图像服务器发起图像获取请求；接收图像服务器响应于图像获取请求所反馈的待处理图像；其中，待处理图像，由图像服务器按照原始图像所属的图像文件格式解码原始图像得到原始图像数据，并将原始图像数据经过图像分辨率压缩得到压缩图像数据后，再编码压缩图像数据得到。
在一个实施例中，待处理图像为网页图像。查询模块603还用于加载浏览器内核解析待处理图像所属网页的网页信息；在网页信息中定位待处理图像所对应的图像节点；查找图像节点的属性，得到对应于待处理图像所配置的图像属性。
在一个实施例中，放大模块604还用于自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，依次对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据；其中，机器学习模型在训练时，则自机器学习模型的首层卷积层起，按照机器学习模型的层序的顺序，依次对原始训练图像数据进行图像分辨率压缩处理，得到图像分辨率缩小后的压缩训练图像数据。
在一个实施例中，放大模块604还用于将压缩图像数据中的三原色通道数据，转换为亮度通道数据、色度通道数据和浓度通道数据；自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，依次对亮度通道数据进行图像分辨率放大处理，得到图像分辨率放大后的亮度通道数据；通过对色度通道数据和浓度通道数据进行插值处理，得到图像分辨率放大后的色度通道数据和图像分辨率放大后的浓度通道数据；根据图像分辨率放大后的亮度通道数据、色度通道数据和浓度通道数据，得到图像分辨率放大后的目标图像数据。
在一个实施例中，图像处理装置600还包括训练模块605，用于获取第一原始训练图像数据集；确定根据第一原始训练图像数据集训练机器学习模型的训练目标；将第一原始训练图像数据集中的原始训练图像数据，自机器学习模型的首层输入，根据训练目标训练机器学习模型。
在一个实施例中，训练模块605还用于获取第二原始训练图像数据集；对第二原始训练图像数据集中的原始训练图像数据，进行图像分辨率压缩得到相应的压缩训练图像数据；将压缩训练图像数据自机器学习模型的末层输入，通过机器学习模型的首层输出相应的重构训练图像数据；根据重构训练图像数据和原始训练图像数据的相似度，调整机器学习模型。
在一个实施例中，放大模块604还用于根据压缩图像数据计算待处理图像的图像复杂度；通过与图像复杂度匹配的机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
在一个实施例中，获取模块601还用于向模型服务器发起模型校验请求；接收模型服务器响应于模型校验请求所反馈的校验结果；当校验结果表示存在模型更新时，则从模型服务器下载更新后的机器学习模型。
如图7所示，在一个实施例中，图像处理装置600还包括训练模块605和显示模块606。
显示模块606，用于当图像属性为放大属性时，则根据目标图像数据进行显示；当图像属性不为放大属性时，则根据压缩图像数据进行显示。
图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图8所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置的各个程序模块，比如，图6所示的获取模块601、解码模块602、查询模块603和放大模块604。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图8所示的计算机设备可以通过如图6所示的图像处理装置中的获取模块601获取待处理图像；待处理图像由原始图像的原始图像数据经过图像分辨率压缩后，再经过编码得到。通过解码模块602按照待处理图像所属的图像文件格式，解码待处理图像得到压缩图像数据。通过查询模块603查询对应于待处理图像所配置的图像属性。通过放大模块604当图像属性为放大属性时，则通过机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
在一个实施例中，提供了一种图像处理系统。该图像处理系统包括终端和图片服务器，其中，图片服务器用于按照原始图像所属的图像文件格式解码原始图像得到原始图像数据，并将原始图像数据经过图像分辨率压缩得到压缩图像数据，再编码压缩图像数据得到待处理图像；终端用于向图像服务器发起图像获取请求；图片服务器还用于响应于图像获取请求反馈待处理图像；终端还用于获取待处理图像；按照待处理图像所属的图像文件格式，解码待处理图像得到压缩图像数据；查询对应于待处理图像所配置的图像属性；当图像属性为放大属性时，则通过机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
在一个实施例中，终端还用于加载浏览器内核解析待处理图像所属网页的网页信息；在网页信息中定位待处理图像所对应的图像节点；查找图像节点的属性，得到对应于待处理图像所配置的图像属性。
在一个实施例中，终端还用于自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，依次对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据；其中，机器学习模型在训练时，则自机器学习模型的首层卷积层起，按照机器学习模型的层序的顺序，依次对原始训练图像数据进行图像分辨率压缩处理，得到图像分辨率缩小后的压缩训练图像数据。
在一个实施例中，终端还用于将压缩图像数据中的三原色通道数据，转换为亮度通道数据、色度通道数据和浓度通道数据；自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，依次对亮度通道数据进行图像分辨率放大处理，得到图像分辨率放大后的亮度通道数据；通过对色度通道数据和浓度通道数据进行插值处理，得到图像分辨率放大后的色度通道数据和图像分辨率放大后的浓度通道数据；根据图像分辨率放大后的亮度通道数据、色度通道数据和浓度通道数据，得到图像分辨率放大后的目标图像数据。
在一个实施例中，终端还用于根据压缩图像数据计算待处理图像的图像复杂度；通过与图像复杂度匹配的机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
在一个实施例中，终端还用于向模型服务器发起模型校验请求；接收模型服务器响应于模型校验请求所反馈的校验结果；当校验结果表示存在模型更新时，则从模型服务器下载更新后的机器学习模型。
在一个实施例中，终端还用于当图像属性为放大属性时，则根据目标图像数据进行显示；当图像属性不为放大属性时，则根据压缩图像数据进行显示。
在一个实施例中，图像处理系统还包括模型服务器；模型服务器用于获取第一原始训练图像数据集；确定根据第一原始训练图像数据集训练机器学习模型的训练目标；将第一原始训练图像数据集中的原始训练图像数据，自机器学习模型的首层输入，根据训练目标训练机器学习模型。
在一个实施例中，模型服务器还用于获取第二原始训练图像数据集；对第二原始训练图像数据集中的原始训练图像数据，进行图像分辨率压缩得到相应的压缩训练图像数据；将压缩训练图像数据自机器学习模型的末层输入，通过机器学习模型的首层输出相应的重构训练图像数据；根据重构训练图像数据和原始训练图像数据的相似度，调整机器学习模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (22)
1.一种图像处理方法，包括：
获取待处理图像；所述待处理图像由原始图像的原始图像数据经过图像分辨率压缩后，再经过编码得到；
按照所述待处理图像所属的图像文件格式，解码所述待处理图像得到压缩图像数据；
查询对应于所述待处理图像所配置的图像属性；所述图像属性根据所述待处理图像在显示时的图像分辨率要求配置；
当所述图像属性为放大属性时，则将压缩图像数据中的三原色通道数据转换为亮度通道数据、色度通道数据和浓度通道数据，将亮度通道数据与色度通道数据和浓度通道数据分离；自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，通过卷积操作的逆操作依次对亮度通道数据进行图像分辨率放大处理，通过机器学习模型的首层输出图像分辨率放大后的亮度通道数据；根据图像分辨率放大后的亮度通道数据、色度通道数据和浓度通道数据，得到图像分辨率放大后的目标图像数据，根据所述目标图像数据进行显示；
当所述图像属性不为放大属性时，则根据所述压缩图像数据进行显示。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像，包括：
向图像服务器发起图像获取请求；
接收所述图像服务器响应于所述图像获取请求所反馈的待处理图像；
其中，所述待处理图像，由所述图像服务器按照原始图像所属的图像文件格式解码所述原始图像得到原始图像数据，并将所述原始图像数据经过图像分辨率压缩得到压缩图像数据后，再编码所述压缩图像数据得到。
3.根据权利要求1所述的方法，其特征在于，所述待处理图像为网页图像；所述查询对应于所述待处理图像所配置的图像属性，包括：
加载浏览器内核解析所述待处理图像所属网页的网页信息；
在所述网页信息中定位所述待处理图像所对应的图像节点；
查找所述图像节点的属性，得到对应于所述待处理图像所配置的图像属性。
4.根据权利要求1所述的方法，其特征在于，所述通过机器学习模型对所述压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据，包括：
自所述机器学习模型的末层卷积层起，按照所述机器学习模型的层序的逆序，依次对所述压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据；
其中，所述机器学习模型在训练时，则自所述机器学习模型的首层卷积层起，按照所述机器学习模型的层序的顺序，依次对原始训练图像数据进行图像分辨率压缩处理，得到图像分辨率缩小后的压缩训练图像数据。
5.根据权利要求1所述的方法，其特征在于，所述将压缩图像数据中的三原色通道数据转换为亮度通道数据、色度通道数据和浓度通道数据之后，还包括：
通过对所述色度通道数据和所述浓度通道数据进行插值处理，得到图像分辨率放大后的色度通道数据和图像分辨率放大后的浓度通道数据。
6.根据权利要求1所述的方法，其特征在于，所述机器学习模型的训练步骤包括：
获取第一原始训练图像数据集；
确定根据所述第一原始训练图像数据集训练所述机器学习模型的训练目标；
将所述第一原始训练图像数据集中的原始训练图像数据，自所述机器学习模型的首层输入，根据所述训练目标训练机器学习模型。
7.根据权利要求6所述的方法，其特征在于，所述机器学习模型的训练步骤还包括：
获取第二原始训练图像数据集；
对所述第二原始训练图像数据集中的原始训练图像数据，进行图像分辨率压缩得到相应的压缩训练图像数据；
将所述压缩训练图像数据自所述机器学习模型的末层输入，通过所述机器学习模型的首层输出相应的重构训练图像数据；
根据所述重构训练图像数据和所述原始训练图像数据的相似度，调整所述机器学习模型。
8.根据权利要求1所述的方法，其特征在于，所述通过机器学习模型对所述压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据，包括：
根据所述压缩图像数据计算所述待处理图像的图像复杂度；
通过与所述图像复杂度匹配的机器学习模型对所述压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括：
向模型服务器发起模型校验请求；
接收所述模型服务器响应于所述模型校验请求所反馈的校验结果；
当所述校验结果表示存在模型更新时，则从所述模型服务器下载更新后的机器学习模型。
10.一种图像处理装置，包括：
获取模块，用于获取待处理图像；所述待处理图像由原始图像的原始图像数据经过图像分辨率压缩后，再经过编码得到；
解码模块，用于按照所述待处理图像所属的图像文件格式，解码所述待处理图像得到压缩图像数据；
查询模块，用于查询对应于所述待处理图像所配置的图像属性；所述图像属性根据所述待处理图像在显示时的图像分辨率要求配置；
放大模块，用于当所述图像属性为放大属性时，则将压缩图像数据中的三原色通道数据转换为亮度通道数据、色度通道数据和浓度通道数据，将亮度通道数据与色度通道数据和浓度通道数据分离；自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，通过卷积操作的逆操作依次对亮度通道数据进行图像分辨率放大处理，通过机器学习模型的首层输出图像分辨率放大后的亮度通道数据；根据图像分辨率放大后的亮度通道数据、色度通道数据和浓度通道数据，得到图像分辨率放大后的目标图像数据；
还包括：显示模块，用于当图像属性为放大属性时，则根据目标图像数据进行显示；当图像属性不为放大属性时，则根据压缩图像数据进行显示。
11.根据权利要求10所述的装置，其特征在于，
获取模块还用于向图像服务器发起图像获取请求；接收图像服务器响应于图像获取请求所反馈的待处理图像；其中，待处理图像，由图像服务器按照原始图像所属的图像文件格式解码原始图像得到原始图像数据，并将原始图像数据经过图像分辨率压缩得到压缩图像数据后，再编码压缩图像数据得到。
12.根据权利要求10所述的装置，其特征在于，待处理图像为网页图像；查询模块还用于加载浏览器内核解析待处理图像所属网页的网页信息；在网页信息中定位待处理图像所对应的图像节点；查找图像节点的属性，得到对应于待处理图像所配置的图像属性。
13.根据权利要求10所述的装置，其特征在于，放大模块还用于自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，依次对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据；其中，机器学习模型在训练时，则自机器学习模型的首层卷积层起，按照机器学习模型的层序的顺序，依次对原始训练图像数据进行图像分辨率压缩处理，得到图像分辨率缩小后的压缩训练图像数据。
14.根据权利要求10所述的装置，其特征在于，放大模块还用于通过对色度通道数据和浓度通道数据进行插值处理，得到图像分辨率放大后的色度通道数据和图像分辨率放大后的浓度通道数据。
15.根据权利要求10所述的装置，其特征在于，图像处理装置还包括训练模块，用于获取第一原始训练图像数据集；确定根据第一原始训练图像数据集训练机器学习模型的训练目标；将第一原始训练图像数据集中的原始训练图像数据，自机器学习模型的首层输入，根据训练目标训练机器学习模型。
16.根据权利要求15所述的装置，其特征在于，训练模块还用于获取第二原始训练图像数据集；对第二原始训练图像数据集中的原始训练图像数据，进行图像分辨率压缩得到相应的压缩训练图像数据；将压缩训练图像数据自机器学习模型的末层输入，通过机器学习模型的首层输出相应的重构训练图像数据；根据重构训练图像数据和原始训练图像数据的相似度，调整机器学习模型。
17.根据权利要求10所述的装置，其特征在于，放大模块还用于根据压缩图像数据计算待处理图像的图像复杂度；通过与图像复杂度匹配的机器学习模型对压缩图像数据进行图像分辨率放大处理，得到图像分辨率放大后的目标图像数据。
18.根据权利要求10-17任一项所述的装置，其特征在于，获取模块还用于向模型服务器发起模型校验请求；接收模型服务器响应于模型校验请求所反馈的校验结果；当校验结果表示存在模型更新时，则从模型服务器下载更新后的机器学习模型。
19.一种图像处理系统，包括终端和图片服务器，其中，
所述图片服务器用于按照原始图像所属的图像文件格式解码所述原始图像得到原始图像数据，并将所述原始图像数据经过图像分辨率压缩得到压缩图像数据，再编码所述压缩图像数据得到待处理图像；
所述终端用于向图像服务器发起图像获取请求；
所述图片服务器还用于响应于所述图像获取请求反馈所述待处理图像；
所述终端还用于获取待处理图像；按照所述待处理图像所属的图像文件格式，解码所述待处理图像得到压缩图像数据；查询对应于所述待处理图像所配置的图像属性；所述图像属性根据所述待处理图像在显示时的图像分辨率要求配置；当所述图像属性为放大属性时，则将压缩图像数据中的三原色通道数据转换为亮度通道数据、色度通道数据和浓度通道数据，将亮度通道数据与色度通道数据和浓度通道数据分离；自机器学习模型的末层卷积层起，按照机器学习模型的层序的逆序，通过卷积操作的逆操作依次对亮度通道数据进行图像分辨率放大处理，通过机器学习模型的首层输出图像分辨率放大后的亮度通道数据；根据图像分辨率放大后的亮度通道数据、色度通道数据和浓度通道数据，得到图像分辨率放大后的目标图像数据，根据所述目标图像数据进行显示；当所述图像属性不为放大属性时，则根据所述压缩图像数据进行显示。
20.根据权利要求19所述的系统，其特征在于，所述系统还包括模型服务器；所述模型服务器用于获取第一原始训练图像数据集；确定根据所述第一原始训练图像数据集训练所述机器学习模型的训练目标；将所述第一原始训练图像数据集中的原始训练图像数据，自所述机器学习模型的首层输入，根据所述训练目标训练机器学习模型。
21.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
22.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811324357.XA CN109413434B (zh) | 2018-11-08 | 2018-11-08 | 图像处理方法、装置、系统、存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811324357.XA CN109413434B (zh) | 2018-11-08 | 2018-11-08 | 图像处理方法、装置、系统、存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109413434A CN109413434A (zh) | 2019-03-01 |
| CN109413434B true CN109413434B (zh) | 2021-03-09 |
Family
ID=65472374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811324357.XA Active CN109413434B (zh) | 2018-11-08 | 2018-11-08 | 图像处理方法、装置、系统、存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109413434B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112650957B (zh) * | 2019-10-11 | 2023-11-21 | 腾讯科技（深圳）有限公司 | 图像显示方法、装置、计算机可读存储介质和计算机设备 |
| CN110611821B (zh) * | 2019-10-14 | 2021-06-25 | 安徽大学 | 一种改善低码率视频编码器图像质量的技术方案 |
| CN111223155B (zh) * | 2019-10-22 | 2023-12-05 | 浙江大搜车软件技术有限公司 | 图像数据处理方法、装置、计算机设备和存储介质 |
| WO2021163844A1 (en) * | 2020-02-17 | 2021-08-26 | Intel Corporation | Super resolution using convolutional neural network |
| CN112714313A (zh) * | 2020-12-25 | 2021-04-27 | 创新奇智(合肥)科技有限公司 | 图像处理方法、装置、设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103885741A (zh) * | 2014-03-20 | 2014-06-25 | 青岛海信电器股份有限公司 | 一种图片显示方法及装置 |
| CN108734782A (zh) * | 2018-05-28 | 2018-11-02 | 长江岩土工程总公司（武汉） | 一种catia三维地质模型属性信息的表达方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976435B (zh) * | 2010-10-07 | 2012-10-24 | 西安电子科技大学 | 基于对偶约束的联合学习超分辨方法 |
| US9836820B2 (en) * | 2016-03-03 | 2017-12-05 | Mitsubishi Electric Research Laboratories, Inc. | Image upsampling using global and local constraints |
| CN107578377A (zh) * | 2017-08-31 | 2018-01-12 | 北京飞搜科技有限公司 | 一种基于深度学习的超分辨率图像重建方法及系统 |
| CN108305214B (zh) * | 2017-12-28 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、存储介质和计算机设备 |
| CN108259997B (zh) * | 2018-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| CN108600782A (zh) * | 2018-04-08 | 2018-09-28 | 深圳市零度智控科技有限公司 | 视频超分辨率方法、装置及计算机可读存储介质 |
-
2018
- 2018-11-08 CN CN201811324357.XA patent/CN109413434B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103885741A (zh) * | 2014-03-20 | 2014-06-25 | 青岛海信电器股份有限公司 | 一种图片显示方法及装置 |
| CN108734782A (zh) * | 2018-05-28 | 2018-11-02 | 长江岩土工程总公司（武汉） | 一种catia三维地质模型属性信息的表达方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109413434A (zh) | 2019-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109413434B (zh) | 图像处理方法、装置、系统、存储介质和计算机设备 | |
| CN111683269B (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
| US20200145692A1 (en) | Video processing method and apparatus | |
| WO2022227308A1 (zh) | 图像处理方法、装置、设备以及介质 | |
| KR20210101233A (ko) | 미디어 아이템에 임베딩된 뉴럴 네트워크의 설명을 포함하는 렌더링 엔진 모델을 제공하기 위한 방법 및 장치 | |
| JP7024098B2 (ja) | ビデオ符号化方法、コンピュータ機器、及び記憶媒体 | |
| US20220277492A1 (en) | Method and data processing system for lossy image or video encoding, transmission and decoding | |
| CN110351312B (zh) | 图片分享方法、装置、计算机设备和存储介质 | |
| US20230362378A1 (en) | Video coding method and apparatus | |
| US11558628B2 (en) | Caching and clearing mechanism for deep convolutional neural networks | |
| TWI826160B (zh) | 圖像編解碼方法和裝置 | |
| WO2022022176A1 (zh) | 一种图像处理方法以及相关设备 | |
| TW202228439A (zh) | 基於機器學習的圖像編解碼中的色度子採樣格式處理方法 | |
| CN113507611B (zh) | 图像存储方法、装置、计算机设备和存储介质 | |
| WO2022266955A1 (zh) | 图像解码及处理方法、装置及设备 | |
| US20170332106A1 (en) | Encoder, decoder and method for images, video and audio | |
| CN112650957B (zh) | 图像显示方法、装置、计算机可读存储介质和计算机设备 | |
| CN114584781A (zh) | 视频压缩方法及装置、计算机可读存储介质 | |
| CN108933945B (zh) | 一种gif图片的压缩方法、装置及存储介质 | |
| CN115278225A (zh) | 色度编码模式的选择方法、装置和计算机设备 | |
| CN115294429A (zh) | 一种基于特征域网络训练方法和装置 | |
| CN112749802A (zh) | 神经网络模型的训练方法、装置以及计算机可读存储介质 | |
| CN108347451B (zh) | 图片处理系统、方法和装置 | |
| Fu et al. | Hybrid-context-based multi-prior entropy modeling for learned lossless image compression | |
| WO2024178565A1 (zh) | 一种解码方法、解码器以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |