CN112802139A - 一种图像处理方法、装置、电子设备及可读存储介质 - Google Patents
一种图像处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112802139A CN112802139A CN202110161169.5A CN202110161169A CN112802139A CN 112802139 A CN112802139 A CN 112802139A CN 202110161169 A CN202110161169 A CN 202110161169A CN 112802139 A CN112802139 A CN 112802139A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- network
- matrix
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 129
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000006835 compression Effects 0.000 claims abstract description 26
- 238000007906 compression Methods 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 41
- 238000005070 sampling Methods 0.000 claims description 30
- 238000007781 pre-processing Methods 0.000 claims description 19
- 230000006798 recombination Effects 0.000 claims description 19
- 238000005215 recombination Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，该方法包括：获取待处理图像；利用行阶梯观测矩阵对待处理图像进行左乘处理，得到第一矩阵；行阶梯观测矩阵由目标非零元素和零元素组成，各个行向量具有两个相邻的目标非零元素，目标非零元素在各个行向量中的位置不同；利用行阶梯观测矩阵的转置矩阵对第一矩阵进行右乘处理，得到压缩数据；该方法通过二维压缩，使得得到的压缩数据中各个元素仅包含部分图像中像素的信息，不包括该部分图像以外的其他像素的信息，因此得到的压缩数据能够保留图像的空间信息，在图像重构后可以得到更加清晰的图像。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质。
背景技术
随着大数据和人工智能的快速发展，用户对图像视频的需求量大大提高，需要大量的存储空间和通信资源来存储和传输图像。为了减少存储资源和通信资源的消耗，通常在存储和传输前对图像进行压缩，并在需要时对图像进行重构。压缩感知(CompressedSensing,CS)理论以远低于奈奎斯特频率的速度成功实现了对信号的同时采样与压缩。降低在传输、存储过程中的带宽资源浪费和硬件设备代价。相关技术在通常采用观测矩阵对图像进行一维压缩，得到压缩数据，在需要时利用压缩数据进行数据重构，得到图像。然而，相关技术得到的压缩数据具有较多的信息损失，在图像重构后得到的图像质量较差。
因此，如何解决相关技术存在的压缩数据信息损失较多的问题，是本领域技术人员需要解决的技术问题。
发明内容
有鉴于此，本申请的目的在于提供一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质，通过二维压缩，使得得到的压缩数据中各个元素仅包含部分图像中像素的信息，不包括该部分图像以外的其他像素的信息，因此得到的压缩数据能够保留图像的空间信息，在图像重构后可以得到更加清晰的图像。
为解决上述技术问题，本申请提供了一种图像处理方法，包括：
获取待处理图像；
利用行阶梯观测矩阵对所述待处理图像进行左乘处理，得到第一矩阵；所述行阶梯观测矩阵由目标非零元素和零元素组成，各个行向量具有两个相邻的所述目标非零元素，所述目标非零元素在各个所述行向量中的位置不同；
利用所述行阶梯观测矩阵的转置矩阵对所述第一矩阵进行右乘处理，得到压缩数据。
可选地，所述利用行阶梯观测矩阵对所述待处理图像进行左乘处理，得到第一矩阵，包括：
根据所述行阶梯观测矩阵的阶数对所述待处理图像进行拆分，得到若干个待处理子图像；
利用所述行阶梯观测矩阵分别对各个所述待处理子图像进行左乘处理，得到若干个第一矩阵；
相应的，所述利用所述行阶梯观测矩阵的转置矩阵对所述第一矩阵进行右乘处理，得到所述压缩数据，包括：
利用所述转置矩阵分别对各个所述第一矩阵进行右乘处理，得到若干个子压缩数据；
对所述子压缩数据进行拼接，得到所述压缩数据。
可选地，还包括：
基于初始网络生成重构网络；所述初始网络为卷积神经网络，所述初始网络利用上采样处理层替代全连接层；
将所述压缩数据输入所述重构网络，得到重构图像；
输出所述重构图像。
可选地，所述重构网络的生成过程，包括：
获取训练集，并从所述训练集中获取目标训练图像；
将所述目标训练图像输入初始网络，得到输出结果，并利用所述输出结果基于第一损失函数计算损失值；
若所述损失值的下降幅度低于预设阈值，则将所述第一损失函数替换为第二损失函数；
根据所述损失值调节所述初始网络的网络参数，并更新所述目标训练图像，直至得到所述重构网络。
可选地，所述上采样处理层为上采样层；
相应的，所述将所述目标训练图像输入初始网络，得到输出结果，包括：
利用所述重构网络中输入层后的上采样层对所述目标训练图像进行上采样，得到上采样数据；
将所述上采样数据输入所述上采样层后的后续网络层，得到所述输出数据；所述后续网络层包括多个网络层组，每个网络层组由一个卷积层和一个激活函数层组成。
可选地，所述上采样处理层包括预处理层和像素重组层；
相应的，所述将所述目标训练图像输入初始网络，得到输出结果，包括：
利用所述重构网络中输入层后的所述预处理层对所述目标训练图像进行预处理，得到预处理数据；
利用所述像素重组层对所述预处理数据进行像素重组处理，得到重组数据；
将所述重组数据输入所述像素重组层后的后续网络层，得到所述输出数据；所述后续网络层包括多个网络层组，每个网络层组由一个卷积层和一个激活函数层组成。
可选地，所述后续网络层中最后一个所述网络层组的所述激活函数层为输出层，所述输出层的输出区间为预设区间。
本申请还提供了一种图像处理装置，包括：
获取模块，用于获取待处理图像；
第一压缩模块，用于利用行阶梯观测矩阵对所述待处理图像进行左乘处理，得到第一矩阵；所述行阶梯观测矩阵由目标非零元素和零元素组成，各个行向量具有两个相邻的所述目标非零元素，所述目标非零元素在各个所述行向量中的位置不同；
第二压缩模块，用于利用所述行阶梯观测矩阵的转置矩阵对所述第一矩阵进行右乘处理，得到压缩数据。
本申请还提供了一种电子设备，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现上述的图像处理方法。
本申请还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的图像处理方法。
本申请提供的图像处理方法，获取待处理图像；利用行阶梯观测矩阵对待处理图像进行左乘处理，得到第一矩阵；行阶梯观测矩阵由目标非零元素和零元素组成，各个行向量具有两个相邻的目标非零元素，目标非零元素在各个行向量中的位置不同；利用行阶梯观测矩阵的转置矩阵对第一矩阵进行右乘处理，得到压缩数据。
可见，该方法利用行阶梯观测矩阵对待处理图像进行二维压缩。行阶梯观测矩阵为特殊的矩阵，其为阶梯矩阵，且仅具有零元素和目标非零元素两种元素，各个行向量中具有两个目标非零元素且两个目标非零元素相邻。图片各个局部之间具有一定的空间相关性，一维压缩的过程会造成图片空间信息的损失。而利用行阶梯观测矩阵对待处理图像进行左乘，可以对其进行第一个维度上的信息提取，利用其转置矩阵对第一矩阵进行右乘处理，可以对其进行第二个维度上的信息提取，完成对待处理图像的二维压缩。通过二维压缩，使得得到的压缩数据中各个元素仅包含部分图像中像素的信息，不包括该部分图像以外的其他像素的信息，因此得到的压缩数据能够保留图像的空间信息，在图像重构后可以得到更加清晰的图像，解决了相关技术存在的压缩数据具有较多的信息损失，使得在图像重构后得到的图像质量较差的问题。
此外，本申请还提供了一种图像处理装置、电子设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法流程图；
图2为本申请实施例提供的一种图像压缩和重构流程图；
图3为本申请实施例提供的一种具体的重构网络结构图；
图4为本申请实施例提供的另一种具体的重构网络结构图；
图5为本申请实施例提供的一种具体的待处理图像；
图6为本申请实施例提供的一种具体的重构图像；
图7为本申请实施例提供的另一种具体的重构图像；
图8为本申请实施例提供的一种图像处理装置的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例提供的一种图像处理方法流程图。该方法包括：
S101：获取待处理图像。
本申请实施例中的各个部分或全部步骤可以由指定的电子设备执行，该电子设备的数量可以为一个或多个，即可以由多个电子设备配合完成图像处理。电子设备可以为服务器、计算机、智能终端等类型，对此不做限定。当电子设备的数量为多个时，各个电子设备的类型可以相同也可以不同，其可以通过有线网络或无线网络进行通信。
在本实施例中，待处理图像可以为任意图像，其大小、内容等不做限定。待处理图像可以由外部输入，例如可以通过图像获取设备或电子设备自带的图像获取部件获取待处理图像；或者可以捕获其他电子设备发送的待处理图像。待处理图像的数量可以为一个或多个，例如可以将获取到的任意图像均作为待处理图像，或者可以根据待处理图像指定指令从若干图像中确定待处理图像，例如有些图像需要保持最佳画质，不对其进行压缩，有些图像需要避免其占用过多的存储空间，因此将其确定为待处理图像。待处理图像指定指令可以由用户输入，可以与待处理图像共同获取，其形式不做限定，例如可以为图像名称或图像序号，即将具有该名称或序号的图像确定为待处理图像。
S102：利用行阶梯观测矩阵对待处理图像进行左乘处理，得到第一矩阵。
行阶梯观测矩阵为一种特殊的观测矩阵，其由目标非零元素和零元素组成，各个行向量具有两个相邻的目标非零元素，目标非零元素在各个行向量中的位置不同。具体的，可以选择任意一个非零值作为目标非零元素，例如可以为1，在本实施例中，利用a对目标非零元素进行表示，行阶梯观测矩阵中具有多个行向量，每个行向量具有两个相邻的目标非零元素，因此可以确定，行阶梯观测矩阵中不存在全零行向量。每个行向量中目标非零元素的位置均不同，即每个行向量中的目标非零元素对应的列序号均不同，因此行阶梯观测矩阵中的每个列向量仅包括一个目标非零元素。因此可以确定，本实施例中的行阶梯观测矩阵呈如下形式：
其中，Φ表示行阶梯观测矩阵。行阶梯观测矩阵的特殊形式，可以利用其对待处理图像进行二维压缩，使得压缩得到的压缩数据能够具有待处理图像对应的空间信息。具体的，将待处理图像视为一个矩阵，矩阵的元素为待处理图像中各个像素的像素值，利用行阶梯观测矩阵对待处理图像进行左乘，得到第一矩阵，第一矩阵为对待处理图像从第一个维度进行压缩得到的结果。
需要说明的是，本实施例并不限定对待处理图像进行左乘得到第一矩阵的具体过程。行阶梯观测矩阵具有一定阶数，其能够对与其阶数匹配的图像部分进行压缩，而待处理图像的大小可能无法与行阶梯观测矩阵匹配。在这种情况下，可以对待处理图像进行拆分、补充等各种预处理，在预处理后进行左乘处理，得到一个或多个第一矩阵。
S103：利用行阶梯观测矩阵的转置矩阵对第一矩阵进行右乘处理，得到压缩数据。
在得到第一矩阵后，对行阶梯观测矩阵进行转置处理，得到对应的转置矩阵，并利用转置矩阵对第一矩阵进行右乘处理，实现从第二个维度对待处理图像进行压缩的效果，得到对应的压缩数据。利用转置矩阵进行右乘处理，得到的压缩数据中各个元素仅包括待处理图像某个部分中像素的信息，而不包括该部分以外的其他像素的信息，这使得压缩数据保留了图像的空间信息。
具体的，Φ的转置矩阵即为ΦT。在一种具体的实施方式中，可以利用x表示待处理图像，y表示压缩数据，行阶梯观测矩阵为32阶矩阵，待处理图像的大小为32*32(像素)，行阶梯观测矩阵中的目标非零元素为1。在这种情况下，压缩数据的生成过程为：
由此可见，压缩数据y中的每个元素都包括了待处理图像中某一部分像素的信息，而不包括其他部分的信息，各个元素之间的位置关系与其包括的信息在待处理图像中对应的像素之间的位置关系相同，因此压缩数据保留了待处理图像的空间信息，即空间相关性信息。在重构时，能利用相邻像素之间的空间相关性信息，也排除了较远像素对当前局部邻近像素的干扰，可以在图像重构阶段重构出清晰的图像。
应用本申请实施例提供的图像处理方法，利用行阶梯观测矩阵对待处理图像进行二维压缩。行阶梯观测矩阵为特殊的矩阵，其为阶梯矩阵，且仅具有零元素和目标非零元素两种元素，各个行向量中具有两个目标非零元素且两个目标非零元素相邻。图片各个局部之间具有一定的空间相关性，一维压缩的过程会造成图片空间信息的损失。而利用行阶梯观测矩阵对待处理图像进行左乘，可以对其进行第一个维度上的信息提取，利用其转置矩阵对第一矩阵进行右乘处理，可以对其进行第二个维度上的信息提取，完成对待处理图像的二维压缩。通过二维压缩，使得得到的压缩数据中各个元素仅包含部分图像中像素的信息，不包括该部分图像以外的其他像素的信息，因此得到的压缩数据能够保留图像的空间信息，在图像重构后可以得到更加清晰的图像，解决了相关技术存在的压缩数据具有较多的信息损失，使得在图像重构后得到的图像质量较差的问题。
基于上述实施例，本实施例将对上述实施例中的若干步骤进行具体的阐述。在一种可能的实施方式中，待处理图像的大小大于行阶梯观测矩阵的阶数，在这种情况下，可以对待处理图像拆分为多个部分，并分别进行压缩。利用行阶梯观测矩阵对待处理图像进行左乘处理，得到第一矩阵的步骤可以包括：
步骤11：根据行阶梯观测矩阵的阶数对待处理图像进行拆分，得到若干个待处理子图像。
步骤12：利用行阶梯观测矩阵分别对各个待处理子图像进行左乘处理，得到若干个第一矩阵。
行阶梯观测矩阵的阶数决定了行阶梯观测矩阵能够处理的图像区域的大小，因此当待处理图像的大小超过了行阶梯矩阵能够处理的大小时，可以根据行阶梯矩阵的阶数对待处理图像进行拆分，得到若干个待处理子图像。拆分的具体方式本实施例不做限定，例如可以从待处理图像的左上角开始，按照行阶梯观测矩阵的阶数为步长将待处理图像划分为多个正方形图像，若待处理图像的右方和/或下方的部分较小，无法组成正方形图像，则可以对其进行补零处理，补零处理后行阶梯观测矩阵即可对其进行处理。在得到多个待处理子图像后，利用行阶梯矩阵分别对各个待处理子图像进行左乘处理，即可得到多个对应的第一矩阵。
相应的，利用行阶梯观测矩阵的转置矩阵对第一矩阵进行右乘处理，得到压缩数据的步骤可以包括：
步骤13：利用转置矩阵分别对各个第一矩阵进行右乘处理，得到若干个子压缩数据。
步骤14：对子压缩数据进行拼接，得到压缩数据。
在得到第一矩阵后，利用转置矩阵对各个第一矩阵进行右乘处理，即可得到对应的子压缩数据，通过将子压缩数据进行拼接即可得到压缩数据。利用上述处理方式，可以对任意大小的待处理图像进行处理。
请参考图2，图2为本申请实施例提供的一种图像压缩和重构流程图。待处理图像的大小为256*256(像素)，将其拆分为多个32*32(像素)的待处理子图像，对其进行压缩后即可得到对应的子压缩数据，通过对子压缩数据进行拼接即可得到压缩数据。在后续，可以直接将压缩数据输入重构网络，即可得到对应的重构图像。
基于上述实施例，得到压缩数据后，在需要进行图像重构时，可以将压缩数据输入训练好的重构模型，利用重构模型进行图像重构。相关技术中，重构模型通常采用全连接层执行重构处理的第一个处理步骤，即将全连接层作为重构模型的第一处理层。然而，全连接层的参数较多，因此其训练过程较长，所需的计算资源也较多。同时，全连接层仅能对图像的各个部分分别进行重构，因此存在块效应。为了解决上述问题，可以采用上采样处理层对全连接层进行替代，完成图像重构。具体的，还可以包括：
步骤21：基于初始网络生成重构网络。
步骤22：将压缩数据输入重构网络，得到重构图像。
步骤23：输出重构图像。
在本实施例中，初始网络为卷积神经网络，初始网络利用上采样处理层替代全连接层，即重构网络的第一处理层为上采样处理层。上采样处理层可以为基本的上采样层，或者可以为基于上采样层得到的其他网络层，例如预处理层和像素重组层(PixelShufflerLayer)组合而成的网络层组。像素重组(PixelShuffle)是一种特殊的上采样方式，其可以对缩小后的特征图进行有效的放大。上采样处理层的参数更少，训练所需的时间和计算资源较少，同时对输入数据的大小没有限制，可以对整张图像进行重构，消除块效应。在利用上述压缩数据生成方式得到压缩数据后，可以发现压缩数据的数据形式与平均池化层对数据处理后的形式了相似，池化(Pooling)层也称为欠采样或下采样，平均池化层是池化层中的一种。因此可以利用上采样处理层替代全连接层对压缩数据进行处理，完成对图像的重构。
本实施例并不限定重构网络的具体结构，例如可以参考图3和图4。图3为本申请实施例提供的一种具体的重构网络结构图，其中上采样处理层即为上采样层upsampling:UpSampling2D，其位于输入层input:InputLayer之后。图4为本申请实施例提供的另一种具体的重构网络结构图，其中上采样处理层包括预处理层conv_0和像素重组层pixelshuffler:PixelShuffler。
请参考图5、图6和图7，图5为本申请实施例提供的一种具体的待处理图像，图6为本申请实施例提供的一种具体的重构图像，图7为本申请实施例提供的另一种具体的重构图像。图6基于具有全连接层的重构网络得到，图7基于具有上采样处理层的重构网络得到。从图6中的局部放大图可以看出，经过全连接层的重构网络进行重构后，得到的图像比图5中对应的局部放大图更加粗糙，重构效果较差。从图7的局部放大图可以看出，经过上采样处理层替换全连接层作为第一处理层的重构网络进行图像重构后，得到的图像更加细腻，与图6中的局部放大图相比，可以确定图7的效果更好，比图6更加清晰。在实际测试中，以PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)为标准，对具有全连接层的重构网络、图3所示的重构网络和图4所示的重构网络进行了测试，效果如表1所示：
表1,效果比对表
表1中第一列为各个图像的名称，最后一行为各个图像对应的PSNR的平均值。利用全连接层作为第一处理层的重构网络重构得到的图像，其对应的PSNR的值均小于利用上采样层或预处理层和像素重组层组成的网络层组作为第一处理层的重构网络重构后得到的图像的PSNR的值。PSNR的单位为分贝，其值越大，表示图像失真越少。因此可以看出，具有上采样处理层的重构网络得到的重构图像的质量更好。
可以理解的是，在使用重构网络得到重构图像前，需要对其进行训练。为了保证重构网络的训练效率，可以采用多个的损失函数分阶段进行训练。
具体的，重构网络的生成过程，包括：
步骤31：获取训练集，并从训练集中获取目标训练图像。
步骤32：将目标训练图像输入初始网络，得到输出结果，并利用输出结果基于第一损失函数计算损失值。
步骤33：若损失值的下降幅度低于预设阈值，则将第一损失函数替换为第二损失函数。
步骤34：根据损失值调节初始网络的网络参数，并更新目标训练图像，直至得到重构网络。
初始网络为未经过训练的重构网络，其经过训练即为重构网络。在进行训练时，从训练集中获取部分训练图像作为目标训练图像，将其输入初始网络得到输出结果。在训练的初始阶段，先用第一损失函数计算损失值，并根据损失函数调整网络参数，并更新目标训练图像，进行迭代训练。每次在获取到损失值后，利用其与上一次损失值进行比较，判断损失值的下降幅度是否低于预设阈值，若损失值下降幅度低于预设阈值，说明模型训练效果不佳，因此可以利用第二损失函数替换第一损失函数，并继续进行训练，重新利用第二损失函数计算损失值，继续进行迭代训练，直至初始网络训练完毕，得到重构网络。本实施例并不限定第一损失函数与第二损失函数的具体类型，例如在一种实施方式中，第一损失函数为平均绝对误差损失函数(即Mean Absolute Deviation函数)，第二损失函数为均方误差损失函数(Mean Squared Error函数)。
基于上述实施例，在一种实施方式中，当上采样处理层为上采样层时，将目标训练图像输入初始网络，得到输出结果的步骤可以包括：
步骤41：利用所述重构网络中输入层后的上采样层对所述目标训练图像进行上采样，得到上采样数据；
步骤42：将所述上采样数据输入所述上采样层后的后续网络层，得到所述输出数据。
本实施例中所述后续网络层包括多个网络层组，每个网络层组由一个卷积层和一个激活函数层组成。本实施例中利用上采样层作为第一处理层，无需对目标训练图像进行预处理，直接对其进行上采样即可，在得到上采样数据后对其进行后续处理，最后得到输出数据。
基于上述实施例，在另一种实施方式中，当上采样处理层包括预处理层和像素重组层时，将目标训练图像输入初始网络，得到输出结果的步骤可以包括：
步骤51：利用重构网络中输入层后的预处理层对目标训练图像进行预处理，得到预处理数据。
步骤52：利用像素重组层对预处理数据进行像素重组处理，得到重组数据。
步骤53：将重组数据输入像素重组层后的后续网络层，得到输出数据。
像素重组层的主要功能是将低分辨的特征图，通过卷积和多通道间的重组得到高分辨率的特征图，整个处理过程可以等价为先进行卷积，再进行周期性的像素选择。因此在本实施例中，可以在像素重组层之前、输入层之后设置卷积层，将该卷积层确定为预处理层，利用其对输入的图像进行预处理，以便后续进行像素重组。因此在目标训练图像输入后，先利用卷积层对其进行预处理，得到预处理数据，再利用像素重组成得到重组数据，最后利用后序网络层对重组数据进行处理，得到输出数据。本实施例中，后续网络层包括多个网络层组，每个网络层组由一个卷积层和一个激活函数层组成。网络层组的数量不做限定，例如可以为3个。
进一步的，为了避免像素值溢出，可以对最后一个网络层组中的激活函数层的输出区间进行限定，避免像素值溢出对重构图像的效果造成影响，具体的，后续网络层中最后一个网络层组的激活函数层即为输出层，输出层的输出区间被设定为预设区间，预设区间的具体大小不做限定，例如可以为0～1，即将像素值0～255归一化至0～1，使重构得到的图像中各个像素的像素值均处于0～255之间。
下面对本申请实施例提供的图像处理装置进行介绍，下文描述的图像处理装置与上文描述的图像处理方法可相互对应参照。
请参考图8，图8为本申请实施例提供的一种图像处理装置的结构示意图，包括：
获取模块110，用于获取待处理图像；
第一压缩模块120，用于利用行阶梯观测矩阵对所述待处理图像进行左乘处理，得到第一矩阵；所述行阶梯观测矩阵由目标非零元素和零元素组成，各个行向量具有两个相邻的所述目标非零元素，所述目标非零元素在各个所述行向量中的位置不同；
第二压缩模块130，用于利用行阶梯观测矩阵的转置矩阵对第一矩阵进行右乘处理，得到压缩数据。
可选地，第一压缩模块120，包括：
拆分单元，用于根据行阶梯观测矩阵的阶数对待处理图像进行拆分，得到若干个待处理子图像；
第一压缩单元，用于利用行阶梯观测矩阵分别对各个待处理子图像进行左乘处理，得到若干个第一矩阵；
相应的，第二压缩模块130，包括：
第二压缩单元，用于利用转置矩阵分别对各个第一矩阵进行右乘处理，得到若干个子压缩数据；
拼接单元，用于对子压缩数据进行拼接，得到压缩数据。
可选地，还包括：
生成模块，用于基于初始网络生成重构网络；所述初始网络为卷积神经网络，所述初始网络利用上采样处理层替代全连接层；
输入模块，用于将压缩数据输入重构网络，得到重构图像；
输出模块，用于输出重构图像。
可选地，包括：
目标训练图像确定模块，用于获取训练集，并从训练集中获取目标训练图像；
损失值计算模块，用于将目标训练图像输入初始网络，得到输出结果，并利用输出结果基于第一损失函数计算损失值；
函数替换模块，用于若损失值的下降幅度低于预设阈值，则将第一损失函数替换为第二损失函数；
参数调节模块，用于根据损失值调节初始网络的网络参数，并更新目标训练图像，直至得到重构网络。
可选地，所述上采样处理层为上采样层；
相应的，损失值计算模块，包括：
上采样单元，用于利用所述重构网络中输入层后的上采样层对所述目标训练图像进行上采样，得到上采样数据；
第一输出数据生成单元，用于将所述上采样数据输入所述上采样层后的后续网络层，得到所述输出数据；所述后续网络层包括多个网络层组，每个网络层组由一个卷积层和一个激活函数层组成。
可选地，上采样处理层包括预处理层和像素重组层；
相应的，损失值计算模块，包括：
预处理单元，用于利用重构网络中输入层后的所述预处理层对目标训练图像进行预处理，得到预处理数据；
重组单元，用于利用像素重组层对预处理数据进行像素重组处理，得到重组数据；
第二输出数据生成单元，用于将重组数据输入像素重组层后的后续网络层，得到输出数据；后续网络层包括多个网络层组，每个网络层组由一个卷积层和一个激活函数层组成。
可选地，后续网络层中最后一个网络层组的激活函数层为输出层，输出层的输出区间为预设区间。
下面对本申请实施例提供的电子设备进行介绍，下文描述的电子设备与上文描述的图像处理方法可相互对应参照。
请参考图9，图9为本申请实施例提供的一种电子设备的结构示意图。其中电子设备100可以包括处理器101和存储器102，还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。
其中，处理器101用于控制电子设备100的整体操作，以完成上述的图像处理方法中的全部或部分步骤；存储器102用于存储各种类型的数据以支持在电子设备100的操作，这些数据例如可以包括用于在该电子设备100上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-OnlyMemory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于电子设备100与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件105可以包括：Wi-Fi部件，蓝牙部件，NFC部件。
电子设备100可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的图像处理方法。
下面对本申请实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的图像处理方法可相互对应参照。
本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
利用行阶梯观测矩阵对所述待处理图像进行左乘处理，得到第一矩阵；所述行阶梯观测矩阵由目标非零元素和零元素组成，各个行向量具有两个相邻的所述目标非零元素，所述目标非零元素在各个所述行向量中的位置不同；
利用所述行阶梯观测矩阵的转置矩阵对所述第一矩阵进行右乘处理，得到压缩数据。
2.根据权利要求1所述的图像处理方法，其特征在于，所述利用行阶梯观测矩阵对所述待处理图像进行左乘处理，得到第一矩阵，包括：
根据所述行阶梯观测矩阵的阶数对所述待处理图像进行拆分，得到若干个待处理子图像；
利用所述行阶梯观测矩阵分别对各个所述待处理子图像进行左乘处理，得到若干个第一矩阵；
相应的，所述利用所述行阶梯观测矩阵的转置矩阵对所述第一矩阵进行右乘处理，得到所述压缩数据，包括：
利用所述转置矩阵分别对各个所述第一矩阵进行右乘处理，得到若干个子压缩数据；
对所述子压缩数据进行拼接，得到所述压缩数据。
3.根据权利要求1所述的图像处理方法，其特征在于，还包括：
基于初始网络生成重构网络；所述初始网络为卷积神经网络，所述初始网络利用上采样处理层替代全连接层；
将所述压缩数据输入所述重构网络，得到重构图像；
输出所述重构图像。
4.根据权利要求3所述的图像处理方法，其特征在于，所述重构网络的生成过程，包括：
获取训练集，并从所述训练集中获取目标训练图像；
将所述目标训练图像输入初始网络，得到输出结果，并利用所述输出结果基于第一损失函数计算损失值；
若所述损失值的下降幅度低于预设阈值，则将所述第一损失函数替换为第二损失函数；
根据所述损失值调节所述初始网络的网络参数，并更新所述目标训练图像，直至得到所述重构网络。
5.根据权利要求4所述的图像处理方法，其特征在于，所述上采样处理层为上采样层；
相应的，所述将所述目标训练图像输入初始网络，得到输出结果，包括：
利用所述重构网络中输入层后的上采样层对所述目标训练图像进行上采样，得到上采样数据；
将所述上采样数据输入所述上采样层后的后续网络层，得到所述输出数据；所述后续网络层包括多个网络层组，每个网络层组由一个卷积层和一个激活函数层组成。
6.根据权利要求4所述的图像处理方法，其特征在于，所述上采样处理层包括预处理层和像素重组层；
相应的，所述将所述目标训练图像输入初始网络，得到输出结果，包括：
利用所述重构网络中输入层后的所述预处理层对所述目标训练图像进行预处理，得到预处理数据；
利用所述像素重组层对所述预处理数据进行像素重组处理，得到重组数据；
将所述重组数据输入所述像素重组层后的后续网络层，得到所述输出数据；所述后续网络层包括多个网络层组，每个网络层组由一个卷积层和一个激活函数层组成。
7.根据权利要求5或6所述的图像处理方法，其特征在于，所述后续网络层中最后一个所述网络层组的所述激活函数层为输出层，所述输出层的输出区间为预设区间。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理图像；
第一压缩模块，用于利用行阶梯观测矩阵对所述待处理图像进行左乘处理，得到第一矩阵；所述行阶梯观测矩阵由目标非零元素和零元素组成，各个行向量具有两个相邻的所述目标非零元素，所述目标非零元素在各个所述行向量中的位置不同；
第二压缩模块，用于利用所述行阶梯观测矩阵的转置矩阵对所述第一矩阵进行右乘处理，得到压缩数据。
9.一种电子设备，其特征在于，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110161169.5A CN112802139A (zh) | 2021-02-05 | 2021-02-05 | 一种图像处理方法、装置、电子设备及可读存储介质 |
| PCT/CN2021/130805 WO2022166298A1 (zh) | 2021-02-05 | 2021-11-16 | 一种图像处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110161169.5A CN112802139A (zh) | 2021-02-05 | 2021-02-05 | 一种图像处理方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112802139A true CN112802139A (zh) | 2021-05-14 |
Family
ID=75814472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110161169.5A Pending CN112802139A (zh) | 2021-02-05 | 2021-02-05 | 一种图像处理方法、装置、电子设备及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112802139A (zh) |
| WO (1) | WO2022166298A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538308A (zh) * | 2021-06-29 | 2021-10-22 | 上海联影医疗科技股份有限公司 | 图像数据处理方法、装置、计算机设备和存储介质 |
| CN114252414A (zh) * | 2021-11-29 | 2022-03-29 | 歌尔股份有限公司 | 检验胶路状态的装置及其检验方法 |
| WO2022166298A1 (zh) * | 2021-02-05 | 2022-08-11 | 歌尔股份有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330901B (zh) * | 2022-10-17 | 2023-01-17 | 广东工业大学 | 一种基于压缩感知网络的图像重构方法和装置 |
| CN116342984B (zh) * | 2023-05-31 | 2023-08-08 | 之江实验室 | 一种模型训练的方法以及图像处理的方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107991636A (zh) * | 2017-11-24 | 2018-05-04 | 哈尔滨工业大学 | 一种基于适应性结构低秩矩阵的快速磁共振图像重建方法 |
| CN109544560A (zh) * | 2018-10-31 | 2019-03-29 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110943944A (zh) * | 2019-11-07 | 2020-03-31 | 浙江大学 | 一种基于深度学习的ofdm系统的信道估计方法 |
| CN111106836A (zh) * | 2019-10-30 | 2020-05-05 | 北京歌尔泰克科技有限公司 | 图像重构方法和装置 |
| WO2020221298A1 (zh) * | 2019-04-30 | 2020-11-05 | 北京金山云网络技术有限公司 | 文本检测模型训练方法、文本区域、内容确定方法和装置 |
| CN111953888A (zh) * | 2019-05-16 | 2020-11-17 | 武汉Tcl集团工业研究院有限公司 | 暗光成像方法、装置、计算机可读存储介质及终端设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9904740B1 (en) * | 2013-08-30 | 2018-02-27 | Hrl Laboratories, Llc | Network of networks reconstruction employing compressed sensing |
| CN103778919B (zh) * | 2014-01-21 | 2016-08-17 | 南京邮电大学 | 基于压缩感知和稀疏表示的语音编码方法 |
| CN108171762B (zh) * | 2017-12-27 | 2021-10-12 | 河海大学常州校区 | 一种深度学习的压缩感知同类图像快速重构系统与方法 |
| CN112802139A (zh) * | 2021-02-05 | 2021-05-14 | 歌尔股份有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
-
2021
- 2021-02-05 CN CN202110161169.5A patent/CN112802139A/zh active Pending
- 2021-11-16 WO PCT/CN2021/130805 patent/WO2022166298A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107991636A (zh) * | 2017-11-24 | 2018-05-04 | 哈尔滨工业大学 | 一种基于适应性结构低秩矩阵的快速磁共振图像重建方法 |
| CN109544560A (zh) * | 2018-10-31 | 2019-03-29 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| WO2020221298A1 (zh) * | 2019-04-30 | 2020-11-05 | 北京金山云网络技术有限公司 | 文本检测模型训练方法、文本区域、内容确定方法和装置 |
| CN111953888A (zh) * | 2019-05-16 | 2020-11-17 | 武汉Tcl集团工业研究院有限公司 | 暗光成像方法、装置、计算机可读存储介质及终端设备 |
| CN111106836A (zh) * | 2019-10-30 | 2020-05-05 | 北京歌尔泰克科技有限公司 | 图像重构方法和装置 |
| CN110943944A (zh) * | 2019-11-07 | 2020-03-31 | 浙江大学 | 一种基于深度学习的ofdm系统的信道估计方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022166298A1 (zh) * | 2021-02-05 | 2022-08-11 | 歌尔股份有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
| CN113538308A (zh) * | 2021-06-29 | 2021-10-22 | 上海联影医疗科技股份有限公司 | 图像数据处理方法、装置、计算机设备和存储介质 |
| CN114252414A (zh) * | 2021-11-29 | 2022-03-29 | 歌尔股份有限公司 | 检验胶路状态的装置及其检验方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022166298A1 (zh) | 2022-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112802139A (zh) | 一种图像处理方法、装置、电子设备及可读存储介质 | |
| CN112330574B (zh) | 人像修复方法、装置、电子设备及计算机存储介质 | |
| CN109361934B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111402143A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN107464217B (zh) | 一种图像处理方法及装置 | |
| US11328184B2 (en) | Image classification and conversion method and device, image processor and training method therefor, and medium | |
| CN112991203A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109451308A (zh) | 视频压缩处理方法及装置、电子设备及存储介质 | |
| CN109949221B (zh) | 一种图像处理方法及电子设备 | |
| KR20200132682A (ko) | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 | |
| CN115409716B (zh) | 视频处理方法、装置、存储介质及设备 | |
| CN107547773B (zh) | 一种图像处理方法、装置及设备 | |
| CN112991171A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| JP2024517359A (ja) | 画像処理ネットワークの訓練方法、装置、コンピュータ機器及びコンピュータプログラム | |
| CN116958326A (zh) | 图像编辑方法、装置、电子设备以及存储介质 | |
| CN114979672A (zh) | 视频编码方法、解码方法、电子设备及存储介质 | |
| CN111553861A (zh) | 一种图像超分辨率重构方法、装置、设备及可读存储介质 | |
| CN113628115A (zh) | 图像重建的处理方法、装置、电子设备和存储介质 | |
| CN113822803A (zh) | 图像超分处理方法、装置、设备及计算机可读存储介质 | |
| CN111640061A (zh) | 一种自适应图像超分辨率系统 | |
| CN115471417A (zh) | 图像降噪处理方法、装置、设备、存储介质和程序产品 | |
| CN111553961B (zh) | 线稿对应色图的获取方法和装置、存储介质和电子装置 | |
| CN114170082A (zh) | 视频播放、图像处理和模型训练方法、装置以及电子设备 | |
| CN114463453A (zh) | 图像重建、编码解码方法、相关装置 | |
| JP7090285B2 (ja) | 復元性の高い画像の圧縮と解凍 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210514 |
|
| RJ01 | Rejection of invention patent application after publication |