CN112330567A - 图像处理方法和装置 - Google Patents
图像处理方法和装置 Download PDFInfo
- Publication number
- CN112330567A CN112330567A CN202011323058.1A CN202011323058A CN112330567A CN 112330567 A CN112330567 A CN 112330567A CN 202011323058 A CN202011323058 A CN 202011323058A CN 112330567 A CN112330567 A CN 112330567A
- Authority
- CN
- China
- Prior art keywords
- matrix
- frequency domain
- original image
- feature matrix
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 227
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000006835 compression Effects 0.000 claims abstract description 43
- 238000007906 compression Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013441 quality evaluation Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 12
- 238000005070 sampling Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种图像处理方法和装置，涉及计算机技术领域。该图像处理方法的一具体实施方式包括：从待压缩的原始图像中提取特征矩阵以及频域矩阵；根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵；从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。实施方式可以进一步优化压缩率以及图像质量，且实现简单，对硬件要求低。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像处理方法和装置。
背景技术
为了节约图像存储空间，可以在不明显失真的情况下对图像进行压缩处理。现有压缩方式可以基于JPEG(Joint Photographic Experts Group，联合图像专家组)等图像压缩技术对图像进行压缩。现有压缩方式的压缩率一般在10：1到40：1之间，压缩率可以理解为图像存储大小之间与图像的原始尺寸大小的比率。但是，现有压缩方式随着压缩率上升存在图像质量明显下降的问题。
发明内容
有鉴于此，本发明实施例提供一种图像处理方法和装置，能够解决现有压缩方式随着压缩率上升存在图像质量明显下降的问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种图像处理方法。
本发明实施例的图像处理方法包括：
从待压缩的原始图像中提取特征矩阵以及频域矩阵；
根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵；
从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。
可选地，从待压缩的原始图像中提取特征矩阵包括：
根据有限等距性质RIP条件，从待压缩的原始图像中按照色彩通道选取特征矩阵。
可选地，从待压缩的图像中提取频域矩阵包括：
按照色彩通道，从所述原始图像中提取特征；
将每个所述色彩通道提取得到的特征分别进行特征变换，以得到每个所述色彩通道的频域矩阵。
可选地，所述色彩通道至少包括：红、绿和蓝通道。
可选地，将每个所述色彩通道提取得到的特征分别进行特征变换，以得到每个所述色彩通道的频域矩阵包括：
将每个所述色彩通道提取得到的特征分别进行二维傅里叶特征变换，以得到每个所述色彩通道的频域矩阵。
可选地，根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵包括：
将所述特征矩阵与所述频域矩阵进行对应位置点乘，计算得到稀疏化特征矩阵。
可选地，从所述稀疏化特征矩阵中提取频域系数矩阵包括：
将所述稀疏化特征矩阵的非0元素提取到一个1*S的向量中，以得到频域系数矩阵；其中S为稀疏化特征矩阵中的非0元素的个数。
可选地，在从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩的步骤之后，所述方法还包括：
将原始图像的特征矩阵以及频域系数矩阵作为输入参数，且将所述原始图像作为输出参数，采用网络结构对解码器进行网络训练。
可选地，所述网络结构为全卷积网络结构。
可选地，所述网络结构采用残差网络。
可选地，所述编码器进行网络训练时采用的损失函数为图像评价质量算法。
可选地，在将原始图像的特征矩阵以及频域系数矩阵作为输入参数，且将所述原始图像作为输出参数，采用网络结构对解码器进行网络训练的步骤之后，所述方法还包括：
将所述原始图像的频域系数矩阵输入至解码器，来对所述原始图像进行解压缩。
为实现上述目的，根据本发明实施例的另一个方面，提供了一种图像处理装置。
本发明实施例的图像处理装置包括：
第一提取模块，用于从待压缩的原始图像中提取特征矩阵以及频域矩阵；
确定模块，用于根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵；
第二提取模块，用于从所述稀疏化特征矩阵中提取频域系数矩阵；
压缩模块，用于将所述频域系数矩阵输入至编码器以输出压缩后的频域矩阵，来对所述原始图像进行压缩。
为实现上述目的，根据本发明实施例的另一个方面，提供了一种图像处理装置。
本发明实施例的图像处理装置包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的方法。
为实现上述目的，根据本发明实施例的另一个方面，提供了一种计算机可读介质。
本发明实施例的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：
在本发明实施例中，首先从待压缩的原始图像中提取特征矩阵以及频域矩阵。然后根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵。最终从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。该实施方式可以进一步优化压缩率以及图像质量，且实现简单，对硬件要求低。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明第一实施例的图像处理方法的流程示意图；
图2是本发明第二实施例的图像处理方法的流程示意图；
图3是本发明实施例的图像处理装置的模块示意图；
图4是本发明实施例可以应用于其中的示例性系统架构图；
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
一般地，现有压缩方式包括以下几种：
1)JPEG格式压缩：JPEG(Joint Photographic Experts Group)即联合图像专家组，是用于连续色调静态图像压缩的一种标准。是最常用的图像文件格式。其主要是采用预测编码(DPCM)、离散余弦变换(DCT)以及熵编码的联合编码方式，以去除冗余的图像和彩色数据，属于有损压缩格式，它能够将图像压缩在很小的储存空间，一定程度上会造成图像数据的损伤。
2)其他图像压缩格式：PNG(Portable Network Graphics)是一种无损压缩格式；WebP：是Google于2010年开发的一种文件格式,它为图像提供了更高的压缩率,同时保持图像完整的质量。
基于神经网络的图像压缩算法是通过设计不同神经网络架构，实现耦合的编码器与解码器。通过将原始图像输入编码器得到压缩的信号数据进行保存。需要的时候将保存的压缩数据取出，通过解码器得到重建的图像。
其中，JPEG与png压缩方式属于有损压缩，且图像质量损失与压缩率成正比，图像的压缩率越高图像质量损失越严重。可以理解的是，现有压缩方式无法实现图像无损压缩。为了进一步提升图像压缩率的同时有效维持图像质量，本发明实施例可以在高压缩率的情况下实现无损重建原有图像。
现有基于神经网络的图像压缩技术存在对压缩原理的难以解释性。其编码器的编码过程存在可解释性差，迁移性，复现性不足等特点。为了解决可解释性差，迁移性，复现性不足等问题，本发明实施例通过使用频域稀疏采样的方式作为图像压缩编码方法，对于压缩内容原理清晰，可使用不同方式迁移复现。
传统压缩感知重建使用正交匹配追踪(Orthogonal Matching Pursuit，OMP),非线性共轭梯度(Non-linear Conjugate Gradient,NCG)等迭代算法计算，存在计算量大，重建效果差等特点。为了减少计算量，本发明实施使用神经网络替代重建算法，在同样算力和时间环境下，可以得到比传统方法更好的重建效果。
为了进一步提升图像压缩率的同时有效维持图像质量，本发明实施例还提供了一种图像处理方法。图1是根据本发明实施例的图像处理方法的流程示意图，如图1所示，该图像处理方法具体可以包括如下的步骤S101至步骤S103。
步骤S101：从待压缩的原始图像中提取特征矩阵以及频域矩阵。
在步骤S101中，所述原始图像可以为图片或视频的帧图像等。在从所述原始图像中提取特征矩阵时，可以根据有限等距性质(Restricted Isometry Property，RIP)条件，从待压缩的原始图像中按照色彩通道选取特征矩阵。其中，所述色彩通道至少包括：红、绿和蓝通道。所述特征矩阵与原始图像有关。可以理解的是，基于待压缩的原始图象，通过RIP条件确定所述原始图像的特征矩阵。例如，所述特征矩阵可以视为随机01矩阵，其中1的个数占比一般满足大于10％。
在从所述原始图像中提取频域矩阵时，可以按照色彩通道，从所述原始图像中提取特征，然后将每个所述色彩通道提取得到的特征分别进行特征变换，以得到每个所述色彩通道的频域矩阵。其中，所述色彩通道至少包括：红、绿和蓝通道。在进行特征变换时可以采用二维傅里叶特征变换。需要说明的是，通过频域矩阵可以保证在所述原始图像重建过程中重建出全图。
例如：将所述原始图像按照各个色彩通道分别提取特征，分别标记为r,g,b。然后再将提取到的特征分别进行二维傅里叶特征变换(F)，得到各个色彩通道的频谱，记为R，G，B。
步骤S102：根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵。
在步骤S102中，将所述特征矩阵与所述频域矩阵进行对应位置点乘，计算得到稀疏化特征矩阵(或称为稀疏向量)。可以理解的是，特征矩阵是一层膜，记为H。频域特征是S,然后稀疏化特征矩阵是通过特征矩阵和频域矩阵得到的，记为H*S。
例如：稀疏化特征矩阵记为M，稀疏取数部分标记为1，其他部分标记为0，其中，1的个数整体占比为压缩率，范围为(3％-10％)。并记录稀疏化特征矩阵。
步骤S103：从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。
在步骤S103中，所述频域系数矩阵是将所述稀疏化特征矩阵中非0元素提取到一个1*S的向量中形成的，其中S为稀疏化特征矩阵中的非0元素的个数。
可以理解的是，特征矩阵H与原始图像关联，且需要满足RIP条件。F(s)就代表对原始图像进行频域特征提取。频域系数特征就是对H*(F(s))进行向量化，因为稀疏化特征矩阵原来是一个充满0的矩阵，需要把不是0的元素提取出来，以得到[x1,x2,x3,...]。
在步骤S103之后，所述方法还包括：将原始图像的特征矩阵以及频域系数矩阵作为输入参数，且将所述原始图像作为输出参数，采用网络结构对解码器进行网络训练。然后可以将所述原始图像的频域系数矩阵输入至解码器，来对所述原始图像进行解压缩。
也就是说，在对解码器训练完成后，将训练好的神经网络作存储为字典，存储原始图像时仅存储其经过压缩后的频域矩阵。重建图像的时候将其频域矩阵导入神经网络，得到结果输出。
在对所述解码器进行网络训练时，所述网络结构可以为全卷积网络结构。所述网络结构可以采用残差网络。所述编码器进行网络训练时采用的损失函数可以为图像评价质量算法。所述全卷积网络结构的输入层大小为S，输出层大小为m*n；其中，m和n分别为所述图像的长度和宽度。
例如：网络输入为三通道系数矩阵中非0部分，具体操作是按从左到右，从上到下的顺序，将非0参数提取到一个1*S的向量中，其中S为M中非0个数。网络结构为全卷积网络。输入层大小为S,输出层大小为m*n,其中m,n分别为原始图像长宽。网络结构采取经典ResNet152网络。损失函数采取SSIM，进行网络训练。
可以理解的是，通过采集现实的原始图像，并构建其频域系数矩阵对神经网络进行训练，可以提升神经网络能力。存储训练好的神经网络作为字典，存储图像的时候仅存储其经过压缩后的频域矩阵。重建图像的时候将其频域矩阵导入神经网络，得到结果输出。对于敏感图像，由于没有存储频域系数矩阵，并不能直接通过压缩频域向量重建得到原始图像，整体方案具有存储的保密性。
需要强调的是，该实施方式是压缩感知算法结合神经网络，用频域系数矩阵作为编码器，为解码器重建提供理论支持。通过全卷积神经网络替代压缩感知重建算法，提升重建效率与准确率。具有可实现性，算法简单，硬件要求低，可实现多系统部署。该实施方式还具有一定的保密性，可以通过加密掩码，编码器权重等实现图像加密。
该实施方式通过压缩感知技术，可以确定任意图像所的神经网络节点数目，来保证原始图像可以无损存储。若采用其他压缩技术时，超大图片或其他专业图片(如医疗图片，雷达图片等)易造成信息丢失。如式1)所示，可通过RIP限定条件(如式1)所示)确定采样矩阵范围
其中，H为所述原始提取得到的特征矩阵，s为原始图像。D＝Hs为稀疏化特征矩阵(或称为压缩频域稀疏向量)。其中，稀疏化特征矩阵D存储的信息远小于原始图像，但由于特征矩阵H满足RIP条件，可以由特征矩阵D完美重建出原始图像s，即可将稀疏化特征矩阵D作为编码器输入。
需要解释的是，压缩感知(Compressed sensing)算法，也被称为压缩采样(Compressive sampling)，稀疏采样(Sparse sampling)，压缩传感。本算法通过开发信号的稀疏特性，在远小于Nyquist采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美的重建信号。人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
在本发明实施例中，首先从待压缩的原始图像中提取特征矩阵以及频域矩阵。然后根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵。最终从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。该实施方式可以进一步优化压缩率以及图像质量，且实现简单，对硬件要求低。
同时，该实施方式采取神经网络算法模拟重建函数，可以完美重建所述原始图像。并且通过对图像的预处理训练神经网络，来提升网络能力。不需要额外标注数据集。对于特定数据可以针对性训练。
为了进一步提升图像压缩率的同时有效维持图像质量，本发明实施例还提供了一种图像处理方法。图2是根据本发明实施例的图像处理方法的流程示意图，如图2所示，该图像处理方法具体可以包括如下的步骤S201至步骤S205。
步骤S201：根据RIP条件，从待压缩的原始图像中按照色彩通道选取特征矩阵。
在步骤S201中，所述原始图像可以为图片或视频的帧图像等。可以理解的是，从所述原始图像提取得到的特征矩阵是符合RIP条件。
需要说明的是，步骤S201的执行顺序可以在步骤S202至步骤S203之前或之后，可以理解的是，本发明实施例并不仅限于步骤S201在步骤S202至步骤S203之前执行的情形。
步骤S202：按照色彩通道，从所述原始图像中提取特征。
需要说明的是，所述色彩通道至少包括：红、绿和蓝通道。可以将所述原始图像按照各个色彩通道分别提取特征，分别标记为r,g,b。
步骤S203：将每个所述色彩通道提取得到的特征分别进行特征变换，以得到每个所述色彩通道的频域矩阵。
在步骤S202之后，通过步骤S203可以将提取到的特征分别进行二维傅里叶特征变换(F)，得到各个色彩通道的频谱，记为R，G，B。
在步骤S203中，将每个所述色彩通道提取得到的特征分别进行二维傅里叶特征变换，以得到每个所述色彩通道的频域矩阵。
步骤S204：将所述特征矩阵与所述频域矩阵进行对应位置点乘，计算得到稀疏化特征矩阵。
步骤S205：从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。
在步骤S205中，可以将所述稀疏化特征矩阵的非0元素提取到一个1*S的向量中，以得到频域系数矩阵；其中S为稀疏化特征矩阵中的非0元素的个数。频域系数矩阵可以理解的为频域系数向量。
需要强调的是，该实施方式是压缩感知算法结合神经网络，用频域系数矩阵作为编码器，为解码器重建提供理论支持。通过全卷积神经网络替代压缩感知重建算法，提升重建效率与准确率。具有可实现性，算法简单，硬件要求低，可实现多系统部署。该实施方式还具有一定的保密性，可以通过加密掩码，编码器权重等实现图像加密。
该实施方式通过压缩感知技术，可以确定任意图像所的神经网络节点数目，来保证原始图像可以无损存储。若采用其他压缩技术时，超大图片或其他专业图片(如医疗图片，雷达图片等)易造成信息丢失。如式1)所示，可通过RIP限定条件(如式1)所示)确定采样矩阵范围。
在本发明实施例中，首先从待压缩的原始图像中提取特征矩阵以及频域矩阵。然后根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵。最终从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。该实施方式可以进一步优化压缩率以及图像质量，且实现简单，对硬件要求低。
同时，该实施方式采取神经网络算法模拟重建函数，可以完美重建所述原始图像。并且通过对图像的预处理训练神经网络，来提升网络能力。不需要额外标注数据集。对于特定数据可以针对性训练。
图3是本发明实施例的图像处理装置的模块示意，参见图3，该图像处理装置300至少包括以下模块：
第一提取模块301，用于从待压缩的原始图像中提取特征矩阵以及频域矩阵；
确定模块302，用于根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵；
第二提取模块303，用于从所述稀疏化特征矩阵中提取频域系数矩阵；
压缩模块，用于将所述频域系数矩阵输入至编码器以输出压缩后的频域矩阵，来对所述原始图像进行压缩。
可选地，所述第一提取模块301进一步用于：
根据有限等距性质RIP条件，从待压缩的原始图像中按照色彩通道选取特征矩阵。
可选地，所述第一提取模块301进一步用于：
按照色彩通道，从所述原始图像中提取特征；
将每个所述色彩通道提取得到的特征分别进行特征变换，以得到每个所述色彩通道的频域矩阵。
可选地，所述色彩通道至少包括：红、绿和蓝通道。
可选地，所述第一提取模块301进一步用于：
将每个所述色彩通道提取得到的特征分别进行二维傅里叶特征变换，以得到每个所述色彩通道的频域矩阵。
可选地，所述确定模块302进一步用于：
将所述特征矩阵与所述频域矩阵进行对应位置点乘，计算得到稀疏化特征矩阵。
可选地，所述第二提取模块303进一步用于：
将所述稀疏化特征矩阵的非0元素提取到一个1*S的向量中，以得到频域系数矩阵；其中S为稀疏化特征矩阵中的非0元素的个数。
可选地，所述图像处理装置300还包括：
训练模块，用于将原始图像的特征矩阵以及频域系数矩阵作为输入参数，且将所述原始图像作为输出参数，采用网络结构对解码器进行网络训练。
可选地，所述网络结构为全卷积网络结构。
可选地，所述网络结构采用残差网络。
可选地，所述编码器进行网络训练时采用的损失函数为图像评价质量算法。
可选地，所述图像处理装置300还包括：
解压缩模块，用于将所述原始图像的频域系数矩阵输入至解码器，来对所述原始图像进行解压缩。
在本发明实施例中，首先从待压缩的原始图像中提取特征矩阵以及频域矩阵。然后根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵。最终从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。该实施方式可以进一步优化压缩率与图像质量，且实现简单，对硬件要求低。
图4示出了可以应用本发明实施例的图像处理方法或图像处理装置的示例性系统架构400。
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的图像处理方法一般由服务器405执行，相应地，图像处理装置一般设置于服务器405中。
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：从待压缩的原始图像中提取特征矩阵以及频域矩阵；根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵；从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。
在本发明实施例中，首先从待压缩的原始图像中提取特征矩阵以及频域矩阵。然后根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵。最终从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。该实施方式可以进一步优化压缩率以及图像质量，且实现简单，对硬件要求低。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (15)
1.一种图像处理方法，其特征在于，包括：
从待压缩的原始图像中提取特征矩阵以及频域矩阵；
根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵；
从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩。
2.根据权利要求1所述的方法，其特征在于，从待压缩的原始图像中提取特征矩阵包括：
根据有限等距性质RIP条件，从待压缩的原始图像中按照色彩通道选取特征矩阵。
3.根据权利要求1所述的方法，其特征在于，从待压缩的图像中提取频域矩阵包括：
按照色彩通道，从所述原始图像中提取特征；
将每个所述色彩通道提取得到的特征分别进行特征变换，以得到每个所述色彩通道的频域矩阵。
4.根据权利要求3所述的方法，其特征在于，所述色彩通道至少包括：红、绿和蓝通道。
5.根据权利要求3所述的方法，其特征在于，将每个所述色彩通道提取得到的特征分别进行特征变换，以得到每个所述色彩通道的频域矩阵包括：
将每个所述色彩通道提取得到的特征分别进行二维傅里叶特征变换，以得到每个所述色彩通道的频域矩阵。
6.根据权利要求1所述的方法，其特征在于，根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵包括：
将所述特征矩阵与所述频域矩阵进行对应位置点乘，计算得到稀疏化特征矩阵。
7.根据权利要求1所述的方法，其特征在于，从所述稀疏化特征矩阵中提取频域系数矩阵包括：
将所述稀疏化特征矩阵的非0元素提取到一个1*S的向量中，以得到频域系数矩阵；其中S为稀疏化特征矩阵中的非0元素的个数。
8.根据权利要求1所述的方法，其特征在于，在从所述稀疏化特征矩阵中提取频域系数矩阵，以输出压缩后的频域矩阵来对所述原始图像进行压缩的步骤之后，所述方法还包括：
将原始图像的特征矩阵以及频域系数矩阵作为输入参数，且将所述原始图像作为输出参数，采用网络结构对解码器进行网络训练。
9.根据权利要求8所述的方法，其特征在于，所述网络结构为全卷积网络结构。
10.根据权利要求9所述的方法，其特征在于，所述网络结构采用残差网络。
11.根据权利要求8所述的方法，其特征在于，所述编码器进行网络训练时采用的损失函数为图像评价质量算法。
12.根据权利要求8所述的方法，其特征在于，在将原始图像的特征矩阵以及频域系数矩阵作为输入参数，且将所述原始图像作为输出参数，采用网络结构对解码器进行网络训练的步骤之后，所述方法还包括：
将所述原始图像的频域系数矩阵输入至解码器，来对所述原始图像进行解压缩。
13.一种图像处理装置，其特征在于，包括：
第一提取模块，用于从待压缩的原始图像中提取特征矩阵以及频域矩阵；
确定模块，用于根据所述特征矩阵以及频域矩阵，确定稀疏化特征矩阵；
第二提取模块，用于从所述稀疏化特征矩阵中提取频域系数矩阵；
压缩模块，用于将所述频域系数矩阵输入至编码器以输出压缩后的频域矩阵，来对所述原始图像进行压缩。
14.一种图像处理装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的方法。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-12中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011323058.1A CN112330567B (zh) | 2020-11-23 | 2020-11-23 | 图像处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011323058.1A CN112330567B (zh) | 2020-11-23 | 2020-11-23 | 图像处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330567A true CN112330567A (zh) | 2021-02-05 |
| CN112330567B CN112330567B (zh) | 2023-07-21 |
Family
ID=74320954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011323058.1A Active CN112330567B (zh) | 2020-11-23 | 2020-11-23 | 图像处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330567B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102135618A (zh) * | 2010-12-23 | 2011-07-27 | 北京航空航天大学 | 一种针对空域稀疏sar图像的频域压缩感知方法 |
| CN107784676A (zh) * | 2017-09-20 | 2018-03-09 | 中国科学院计算技术研究所 | 基于自动编码器网络的压缩感知测量矩阵优化方法和系统 |
| CN108416819A (zh) * | 2018-02-24 | 2018-08-17 | 南京医科大学 | 一种基于curvelet-fista的压缩采样磁共振图像重建方法 |
| CN110148078A (zh) * | 2019-05-15 | 2019-08-20 | 河南大学 | 基于二维压缩感知的两幅彩色图像压缩加密方法 |
| CN110769263A (zh) * | 2019-11-01 | 2020-02-07 | 合肥图鸭信息科技有限公司 | 一种图像压缩方法、装置及终端设备 |
| CN111630570A (zh) * | 2019-05-31 | 2020-09-04 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及计算机可读存储介质 |
-
2020
- 2020-11-23 CN CN202011323058.1A patent/CN112330567B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102135618A (zh) * | 2010-12-23 | 2011-07-27 | 北京航空航天大学 | 一种针对空域稀疏sar图像的频域压缩感知方法 |
| CN107784676A (zh) * | 2017-09-20 | 2018-03-09 | 中国科学院计算技术研究所 | 基于自动编码器网络的压缩感知测量矩阵优化方法和系统 |
| CN108416819A (zh) * | 2018-02-24 | 2018-08-17 | 南京医科大学 | 一种基于curvelet-fista的压缩采样磁共振图像重建方法 |
| CN110148078A (zh) * | 2019-05-15 | 2019-08-20 | 河南大学 | 基于二维压缩感知的两幅彩色图像压缩加密方法 |
| CN111630570A (zh) * | 2019-05-31 | 2020-09-04 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及计算机可读存储介质 |
| CN110769263A (zh) * | 2019-11-01 | 2020-02-07 | 合肥图鸭信息科技有限公司 | 一种图像压缩方法、装置及终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| 黄会: "基于压缩感知图像加密算法设计及其应用研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330567B (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210125070A1 (en) | Generating a compressed representation of a neural network with proficient inference speed and power consumption | |
| JP6728385B2 (ja) | デジタルイメージ再圧縮 | |
| CN102016829B (zh) | 计算逆向离散余弦变换期间的误差减少 | |
| CN110222758B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| US20180262759A1 (en) | Methods and apparatus for encoding and decoding digital images or video streams | |
| US11290710B1 (en) | Adaptable golomb coding | |
| CN111915480A (zh) | 生成特征提取网络的方法、装置、设备和计算机可读介质 | |
| Manju et al. | AC coefficient and K‐means cuckoo optimisation algorithm‐based segmentation and compression of compound images | |
| CN111698508B (zh) | 基于超分辨率的图像压缩方法、设备及存储介质 | |
| US11212527B2 (en) | Entropy-inspired directional filtering for image coding | |
| CN111311486A (zh) | 用于处理图像的方法和装置 | |
| CN112418249A (zh) | 掩膜图像生成方法、装置、电子设备和计算机可读介质 | |
| CN113689372A (zh) | 图像处理方法、设备、存储介质及程序产品 | |
| CN114519667A (zh) | 一种图像超分辨率重建方法及系统 | |
| Pan et al. | Optimal O (1) bilateral filter with arbitrary spatial and range kernels using sparse approximation | |
| CN110738666A (zh) | 一种基于离散余弦变换的图像语义分割方法及装置 | |
| CN111859210A (zh) | 图像处理方法、装置、设备及存储介质 | |
| JP2024505798A (ja) | 点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 | |
| Jagannadham et al. | Novel performance analysis of DCT, DWT and fractal coding in image compression | |
| CN112330567B (zh) | 图像处理方法和装置 | |
| CN110751251A (zh) | 生成、变换二维码图像矩阵的方法和装置 | |
| CN109474826B (zh) | 图片压缩方法、装置、电子设备及存储介质 | |
| CN114972876A (zh) | 基于知识蒸馏技术的图像处理方法、装置、设备及介质 | |
| Chang et al. | Image restoration based on sparse representation using feature classification learning | |
| Liang et al. | An adaptive image compression algorithm based on joint clustering algorithm and deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220921 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 12 / F, 15 / F, No. 99, Yincheng Road, Shanghai pilot Free Trade Zone, 200120 Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |