CN114627143A - 一种图像处理方法、装置、终端设备和可读存储介质 - Google Patents

一种图像处理方法、装置、终端设备和可读存储介质 Download PDF

Info

Publication number
CN114627143A
CN114627143A CN202111185931.XA CN202111185931A CN114627143A CN 114627143 A CN114627143 A CN 114627143A CN 202111185931 A CN202111185931 A CN 202111185931A CN 114627143 A CN114627143 A CN 114627143A
Authority
CN
China
Prior art keywords
image
local
target object
compressed
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111185931.XA
Other languages
English (en)
Inventor
赖振楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hosin Global Electronics Co Ltd
Original Assignee
Hosin Global Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hosin Global Electronics Co Ltd filed Critical Hosin Global Electronics Co Ltd
Priority to CN202111185931.XA priority Critical patent/CN114627143A/zh
Publication of CN114627143A publication Critical patent/CN114627143A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像处理方法、装置、终端设备和可读存储介质，该图像处理方法包括：对初始图像进行目标对象检测及分割，得到含目标对象的第一局部图像和不含目标对象的第二局部图像；对所述第二局部图像进行图像压缩，得到第二局部压缩图像；将所述第一局部图像和所述第二局部压缩图像进行图像拼接，得到与所述初始图像尺寸相同的压缩拼接图像。该方法可以节省图像的存储空间，又尽可能地以高分辨率形式保留了图像中用户想要的重要信息。

Description

一种图像处理方法、装置、终端设备和可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、终端设备和可读存储介质。
背景技术
诸如数码相机、监控摄像头、扫描仪等设备产生的图像已经广泛应用在很多业务场景中，随着移动设备(如手机、IPAD等)的爆发式增长，移动设备的摄像头产生的图像也在许多产品中应用。由于图像数据较大，在传输或存储之前通常需要进行做压缩处理以节省带宽和存储空间。
目前，压缩图像一般采用的是JPEG有损压缩。JPEG，Joint Photographic ExpertsGroup，联合图像专家组，是一种广泛应用的图像压缩格式，JPEG压缩一般包括颜色转换、离散余弦变换(Discrete Cosine Transform，DCT)、量化、编码等步骤，其中，量化是影响压缩后图像质量和压缩比的主要步骤，此步骤中主要参数是质量因子。质量因子越大，压缩比越小，压缩后图像质量越高；反之，质量因子越小，压缩比越大，压缩后图像质量越低。
由于图像在进行JPEG压缩时，通常固定JPEG质量因子，这样导致清晰的图像没有得到足够的压缩，占用带宽和存储空间，而模糊的图像压缩过度导致过于模糊而无法使用等。
发明内容
本申请实施例提供一种图像处理方法、装置、终端设备和可读存储介质，该图像处理方法可以节省图像的存储空间，又尽可能地以高分辨率形式保留了图像中用户想要的重要信息。
本申请的实施例提供一种图像处理方法，包括：
对初始图像进行目标对象检测及分割，得到含目标对象的第一局部图像和不含目标对象的第二局部图像；
对所述第二局部图像进行图像压缩，得到第二局部压缩图像；
将所述第一局部图像和所述第二局部压缩图像进行图像拼接，得到与所述初始图像尺寸相同的压缩拼接图像。
在一些实施例中，所述对初始图像进行目标对象检测及分割，得到含目标对象的第一局部图像和不含目标对象的第二局部图像，包括：
利用目标检测模型对所述初始图像进行目标对象的识别及定位，得到含目标对象在预测边框内的识别图像；
利用目标分割模型对所述识别图像进行目标分割，得到分割出的含目标对象的第一局部图像；
对所述初始图像进行掩码操作，得到除所述第一局部图像外的余下区域图像，所述余下区域图像作为不含所述目标对象的第二局部图像。
在一些实施例中，所述目标检测模型包括骨干网络，所述骨干网络包括依次连接的一个输入卷积层、第一数量的残差网络层和第二数量的密集连接网络层；
每个所述密集连接网络层包括具有相同结构且连续连接的预设数量的深度残差分组卷积网络；所述残差网络层用于提取预定大尺度特征图，所述密集连接网络层用于提取预定中小尺度特征图。
在一些实施例中，所述第二数量为三个，其中，第一和第二个密集连接网络层均包括八个所述深度残差分组卷积网络，第三个密集连接网络层包括四个所述深度残差分组卷积网络；
每个所述深度残差分组卷积网络设有四个卷积分支。
在一些实施例中，所述目标分割模型包括编码部分和与所述编码部分连接的解码部分；
所述编码包括五个特征提取模块，其中，从第二个特征提取模块起，对当前特征提取模块的输出进行下采样，并将所述当前特征提取模块的输入与所述下采样后的输出进行相加操作，作为下一特征提取模块的输入。
在一些实施例中，利用压缩自编码模型对所述第二局部图像进行图像压缩，所述压缩自编码模型包括依次设置的两个卷积层、三层残差网络层、一个卷积层和一个量化层。
在一些实施例中，所述将所述第一局部图像和所述压缩的第二局部图像进行图像拼接，包括：
对所述第二局部压缩图像进行待填充区域边缘检测，以确定待填充区域的位置；
将含所述目标对象的所述第一局部图像或所述第一局部压缩图像填充至所述待填充区域内，并对填充的区域进行边缘处理。
在一些实施例中，所述对所述第二局部压缩图像进行待填充区域边缘检测，包括：
根据所述目标分割时提取的所述目标对象所在区域的边缘像素坐标以及所述第二局部图像的图像像素压缩比，确定待填充区域在所述第二局部压缩图像中的位置；
所述对填充的区域进行边缘处理，包括：
通过中值滤波算法对所述填充的区域进行边缘平滑操作。
在一些实施例中，该图像处理方法还包括：
对所述第一局部图像进行图像压缩，得到第一局部压缩图像；
将所述第一局部压缩图像与所述第二局部压缩图像进行图像拼接，得到与所述初始图像尺寸相同的压缩拼接图像。
本申请的实施例还提供一种图像处理装置，包括：
图像分割模块，用于对初始图像进行目标对象检测及分割，得到含目标对象的第一局部图像和不含目标对象的第二局部图像；
图像压缩模块，用于对所述第二局部图像进行图像压缩，得到第二局部压缩图像；
图像拼接模块，用于将所述第一局部图像和所述第二局部压缩图像进行图像拼接，得到与所述初始图像尺寸相同的压缩拼接图像。
本申请的实施例还提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述的图像处理方法。
本申请的实施例还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上执行时，实施上述的图像处理方法。
本申请的实施例具有如下有益效果：
本实施例通过利用对初始图像中的特定目标对象进行检测并作进一步分割处理，得到上述的含目标对象的局部图像以及不含目标对象的局部图像。进而，对不含目标对象的局部图像进行压缩，再与含目标对象的局部图像进行拼接，从而得到与初始图像尺寸相同的压缩拼接图像。该方法使得重要的区域保持原有的分辨率，而对于不重要的区域进行分辨率压缩，可以节省图像的存储空间，又不会丢失用户想到的重要信息。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例的图像处理方法的第一流程示意图；
图2示出了本申请实施例的图像中的目标对象的一种示意图；
图3示出了本申请实施例的图像处理方法的第二流程示意图；
图4示出了本申请实施例的图像处理方法的ResNeXt残差单元的一种结构示意图；
图5示出了本申请实施例的图像处理方法的目标检测模型的一种结构示意图；
图6示出了本申请实施例的图像处理方法的目标分割模型的一种结构示意图；
图7示出了本申请实施例的图像处理方法的压缩自编码模型的一种结构示意图；
图8示出了本申请实施例的图像处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
诸如一些硬盘存储、云存储、网络传输等各种运用场景中，需要存储大量的图像，为了节省图像所需的存储空间，本申请实施例提出一种基于神经网络的图像处理方法，通过利用神经网络构建得到的模型对初始图像中的特定目标对象进行检测并作进一步分割处理，得到上述的含目标对象的局部图像以及不含目标对象的局部图像。进而，对不含目标对象的局部图像进行压缩，再与含目标对象的局部图像进行拼接，从而得到经过局部压缩但目标对象保留有高分辨率的图像。对于用户而言，一方面可以尽可能地以原始分辨率保留图像中的重要信息，另一方面可以节省存储空间，方便设备存储或传输等。
实施例1
图1所示为本实施例的图像处理方法的一种流程示意图。示范性地，该图像处理方法包括：
步骤S110，对初始图像进行目标对象检测及分割，得到含目标对象的第一局部图像和不含目标对象的第二局部图像。
其中，上述的目标对象主要指图像中的用户比较关注或感兴趣的内容，例如，在图2所示的一张高清的拍摄图像中，圈起来的人物、动物等通常为关注的目标对象。可以理解，该目标对象可由用户根据实际场景来确定，例如，对于车辆违规检测，则车辆为目标对象；又或者，对于安保监控，则行人等为目标对象等，在此不作限定。应当理解，上述的“第一”和“第二”仅是为了方便区分含目标对象和不含目标对象的两个局部图像。
如图3所示，示范性地，上述步骤S110包括子步骤S111～S113：
子步骤S111，利用目标检测模型对初始图像进行目标对象的识别及定位，得到含目标对象在预测边框内的识别图像。
示范性地，在进行目标对象检测时，例如，可采用已训练的目标检测模型进行图像中的目标对象的识别及位置预测，输出得到含目标对象所在位置的预测边框信息的图像。
这里为了进一步提高检测效果，本实施例将对典型的神经网络模型进行网络结构改进及模型训练，以得到上述的目标检测模型。
例如，该神经网络包括一个骨干网络，该骨干网络主要由一个输入卷积(ConvBlock)层和若干个残差网络(Residual Bolck)层构成，这些残差网络层按照特征图尺度由大到小依次排序。然而本实施例中，为了使得网络能够提取出更丰富的特征信息，进而提升网络模型的特征提取能力，通过将该骨干网络中的部分残差网络层替代为深度残差分组卷积网络(ResNeXt)。例如，可将尺度较小的残差网络层替代为ResNeXt残差单元。
其中，深度残差分组卷积网络是对残差网络的一种改进型网络，其采用了残差网络的重复层策略，但在残差网络的基础之上增加了分支路径数量。由于当ResNeXt残差单元的分支数量增加时，网络的宽度也相应增加，因此，通过不同分支能够提取出包含不同信息的特征。
值得注意的是，当分支数量过多时，网络运行速度将变慢，甚至出现收敛变慢、训练困难等问题，为此，本实施例还从两方面来避免上述问题，一方面是限制该ResNeXt残差单元的分支数量，另一方面通过引入密集连接网络层，即利用多个连接的ResNeXt残差单元来构成密集连续网络，进而来替代残差网络层，这样不仅可以实现特征重用，提高特征提取的效率，同时还可以加速网络的训练和收敛。
例如，对于ResNeXt残差单元的分支数量，在一种实施方式中，该ResNeXt残差单元可设有4个卷积分支，并且每个卷积分支都采用3层卷积核构成。这样可以在几乎不增加参数的情况下，可以有效提升卷积网络的宽度。由于卷积分支的拓扑结构相同，便于模型移植。
进一步地，如图4所示，对于上述采用3层卷积核的卷积分支，第一层可使用1x1卷积核，以用于减少通道数量，中间层使用3x3卷积核，以进行特征提取，最后使用1x1卷积核，用于恢复通道数量。
同时，对于密集连接机制的引入，示范性地，该骨干网络包括：依次连接的一个输入卷积层、第一数量的残差网络层和第二数量的密集连接网络层，其中，每个密集连接网络层包括结构相同且连续连接的预设数量的深度残差分组卷积网络。本实施例中，该第一数量的残差网络层主要用于提取预定大尺度特征图，而第二数量的密集连接网络层则用于提取预定中、小尺度特征图。可以理解，该预定大尺度与中小尺度具有相对性，例如，预定大尺度可以是104x104，而中小尺度可以是52x52、26x26等，具体可根据实际需求来选取，在此不作限定。
例如，在一种实现方式中，上述的第一数量为二个，而第二数量为三个，即该骨干网络包括2个残差网络层和3个密集连接网络层，如图5所示。其中，2个残差网络层的特征图尺度分别为208x208、104x104；而3个密集连接网络层则分别用于替换依次原来的用于提取特征图为52x52、26x26和13x13尺度的残差网络。具体地，用于提取52x52、26x26尺度特征图的第一和第二个密集连接网络层均包括8个依次连接的ResNeXt残差单元，而用于提取13x13尺度特征图的第三个密集连接网络层则包括4个依次连接的ResNeXt残差单元。
本实施例通过对用于目标检测的神经网络模型进行改进，使用带有卷积分支的ResNeXt残差单元，能够提取出更丰富的特征，同时构建了密集连接网络，使得网络的特征利用效率更高，特征提取能力也更强。进而，通过对上述构建的目标检测模型进行同分布的图像样本训练后，再部署到实际运用场景中，则可以实现对目标对象的特征识别，以及预测目标对象在图像中的位置并给出对应的预测框信息，得到含目标对象的预测边框信息的图像。
子步骤S112，利用目标分割模型对所述识别图像进行目标边缘分割，得到分割出的含目标对象的第一局部图像。
由于目标检测模型给出的是目标对象所在的矩形框信息，为了将初始图像中的目标对象部分更准确地分割出来，本实施例将利用目标分割模型进行边缘分割，以得到含目标对象的局部图像。
在一种实施方式中，该目标分割模型可采用改进型U-net网络构建得到。与通用的U-net网络不同之处在于，本实施例将在原始结构的基础上，将一个卷积块输入的特征和该卷积块输出的特征联合起来，以作为下一个卷积块的输入，这样可以进一步提高网络的特征提取性能。
示范性地，如图6所示，该改进型U-net网络包括构成U型结构的编码部分和解码部分，具体地，该编码部分包括用于特征提取的五个特征提取模块，其中，从第二个特征提取模块开始，对当前特征提取模块的输出进行下采样(Max Pooling)，将同一层的特征提取模块的输入与下采样后的输出进行相加操作，作为下一特征提取模块的输入。
例如，在一种实施方式中，上述的特征提取模块可以由5个卷积块构成。如图6所示，对于上述的含5个卷积块的改进型U-net网络的结构，其中，网络输入的图像尺寸为512*512。具体地，当512*512大小的图像输入该网络的第一个卷积块时，先被进行一次卷积核大小为3x3，卷积核深度为32的卷积操作，紧接着再进行一次卷积核大小为3x3的卷积操作，激活函数为ReLU函数，这两级卷积后的输出特征图尺寸为512*512，通道数量为32；接着特征图进行一次2x2的最大池化操作和标准化操作后，输入第二个卷积层；第二个卷积块同样有多个卷积层，它们输出的特征图尺寸为256*256，通道数量为64，之后同样进行一次最大池化操作和标准化操作；第三个卷积块有多个卷积层，它们输出的特征图尺寸为128*128，通道数量为96，之后同样进行一次最大池化操作和标准化操作；第四个卷积块有多个卷积层，它们输出的特征图尺寸为64*64，通道数量为128，之后同样进行一次最大池化操作和标准化操作；第五个卷积块有多个卷积层，它们输出的特征图尺寸为32*32，通道数量为128，之后同样进行一次最大池化操作和标准化操作；此外，第六个卷积块包括多个卷积层，它们输出的特征图尺寸为16*16，通道数量为128，之后同样进行一次最大池化操作和标准化操作。之后，进行5次连续的上采样操作，具体参数同下采样的前5个卷积块的参数对应，如图6所示。其中，每次上采样之后，对从前一个下采样层传来的特征进行一次Concatenate连接。在该改进型U-net网络中，除了最终的输出层的激活函数是sigmoid之外，其它所有的激活函数都是ReLU，并且最终输出一个大小和输入尺寸相同(512*512)且通道数为1的检测结果。
与通用的U-net模型相比，上述改进不仅提高了数据在网络模型内部传递时模型接受的数据总量，又可以将混合卷积层的输出特征，输入给模型的后续部分，提高了模型的性能。随着下采样的深入，改进后的U-net网络中的卷积块收到的训练数据将大幅超越原网络，因此改进后的网络结构大幅提高了其对特征的利用率。
子步骤S113，对所述初始图像进行掩码操作，得到除第一局部图像外的其他区域图像，所述余下区域图像作为不含目标对象的第二局部图像。
示范性地，在利用改进型U-net网络对初始图像中的目标对象进行分割并得到仅含目标对象信息的第一局部图像后，可利用与该第一局部图像尺寸相等的掩码与初始图像进行与操作，来得到该初始图像中的余下图像区域，即作为不含目标对象的第二局部图像。
步骤S120，对第二局部图像进行图像压缩，得到第二局部压缩图像。
为了不丢失目标对象的信息，本实施例将仅对不含目标对象的图像进行分辨率压缩处理。然而，在压缩过程中，这里将不再采用常规的整体压缩方式，而是利用神经网络来对该第二局部图像进行压缩。
示范性地，可利用预先构建的压缩自编码模型对该第二局部图像进行图像压缩。例如，如图7所示，该压缩自编码模型包括依次设置的两个卷积层、三层残差网络层、一个卷积层和一个量化层。其中，前面两个卷积层为卷积核大小为5*5、卷积核个数为128、步进为2的卷积层，后一个卷积层为卷积核个数为F、大小为5*5、步进为2的卷积层。
具体地，进行编码时，首先将对应尺寸的图像输入前面的两层卷积层中，得到若干个预定尺度大小的特征图；然后将特征图经过三层残差网络层，可以避免在网络传播中出现梯度消失问题。接着再经过一层卷积层，得到待量化的特征图，最后对其进行量化，得到最终的编码图像。
当然，对于上述的图像压缩操作，也可以采用其他的方式来实现，例如，可利用循环神经网络的记忆特征，设计了压缩网络的迭代方案，每一次迭代可以获得图像更多的压缩比特表示，以此来控制图像的压缩比率。
基于神经网络的图像压缩方式比传统的图像压缩方式在参数减少、以及特征提取等方面具有优势，若后续需要进行图像重建，该压缩方法具有更好地普适性。这是由于，在构建对应的编码网络模型时，也可以相应地同步构建用于重建图像的解码网络模型。
步骤S130，将第一局部图像和该第二局部压缩图像进行图像拼接，得到与初始图像尺寸相同的压缩拼接图像。
示范性地，可通过对上述第二局部压缩图像进行待填充区域边缘检测，以确定待填充区域的位置；进在，将含目标对象的第一局部图像填充至该待填充区域内，并对填充的区域进行边缘处理，从而得到最终的完整压缩图像。
对于上述的待填充区域边缘检测操作，可根据上述子步骤S112中的目标分割时提取到的目标对象所在区域的边缘，得到对应的边缘像素坐标；然后，结合第二局部图像进行图像压缩时的压缩比，重新确定这些边缘像素坐标在该第二局部压缩图像中的对应位置，即可得到待填充区域在第二局部压缩图像中的位置。于是，在确定了待填充区域的位置后，将上述分割出的第一局部图像重新填充到第二局部压缩图像中的待填充区域处，即进行图像拼接，得到与该初始图像尺寸相同且含目标对象的拼接图像。
在进行填充时，由于第一局部图像和第二局部压缩图像的分辨率不同，往往会出现填充区域的边缘不够自然，此时可进一步对该填充的边缘区域进行分辨率由高到低过渡平滑操作。例如，可采用均值滤波等对填充区域的边缘进行平滑处理，最终得到拼接自然的图像。其中，均值滤波主要是通过将边缘所在的局部区域的像素值进行均值求取，然后取该均值作为该边缘的像素值。
可以理解，由于除目标对象以外的其他图像区域是经过了压缩处理的，因此恢复后的拼接图像的文件大小会小于初始图像的大小，在存储时，该拼接图像则需要更少的存储空间。
作为一种可选的方案，还可以对第一局部图像进行图像压缩，以进一步地减小存储空间。示范性地，该图像处理方法还可包括：对分割出的第一局部图像进行图像压缩，得到第一局部压缩图像；然后，将第一局部压缩图像与上述的第二局部压缩图像进行图像拼接，得到与初始图像尺寸相同的压缩拼接图像。
可以理解，除了对不含目标对象的第二局部图像进行图像压缩外，还同时对含目标对象的第一局部图像进行图像压缩，值得注意的是，对该第一局部图像的压缩程度应当会小于第二局部图像，以保证能够满足用户需求等。
本实施例的图像处理方法通过利用目标检测模型对初始图像中的特定目标对象进行检测，并进一步目标分割处理，得到上述的含目标对象的局部图像以及不含目标对象的局部图像。进而，对不含目标对象的局部图像进行基于压缩操作，再与含目标对象的局部图像进行拼接，从而得到经过局部压缩但目标对象保留有高分辨率的图像。对于用户而言，一方面可以尽可能地保留重要信息，另一方面可以节省存储空间，方便设备存储或传输等。
实施例2
请参照图8，基于上述实施例1的方法，本实施例提出一种图像处理装置，示范性地，该图像处理装置100包括：
图像分割模块110，用于对初始图像进行目标对象检测及分割，得到含目标对象的第一局部图像和不含目标对象的第二局部图像。
图像压缩模块120，用于对所述第二局部图像进行图像压缩，得到第二局部压缩图像。
图像拼接模块130，用于将所述第一局部图像和所述第二局部压缩图像进行图像拼接，得到与所述初始图像尺寸相同的压缩拼接图像。
可以理解，本实施例的装置对应于上述实施例1的方法，上述实施例1中的可选项同样适用于本实施例，故在此不再重复描述。
本申请还提供了一种终端设备，例如，智能手机、计算机等。示范性地，该终端设备包括处理器和存储器，其中，存储器存储有计算机程序，处理器通过运行所述计算机程序，从而使终端设备执行上述的图像处理方法或者上述图像处理装置中的各个模块的功能。
本申请还提供了一种可读存储介质，用于储存上述终端设备中使用的所述计算机程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
对初始图像进行目标对象检测及分割，得到含目标对象的第一局部图像和不含所述目标对象的第二局部图像；
对所述第二局部图像进行图像压缩，得到第二局部压缩图像；
将所述第一局部图像和所述第二局部压缩图像进行图像拼接，得到与所述初始图像尺寸相同的压缩拼接图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述对初始图像进行目标对象检测及分割，得到含目标对象的第一局部图像和不含所述目标对象的第二局部图像，包括：
利用目标检测模型对所述初始图像进行目标对象的识别及定位，得到含目标对象在预测边框内的识别图像；
利用目标分割模型对所述识别图像进行目标分割，得到分割出的含目标对象的第一局部图像；
对所述初始图像进行掩码操作，得到除所述第一局部图像外的余下区域图像，所述余下区域图像作为不含所述目标对象的第二局部图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述目标检测模型包括骨干网络，所述骨干网络包括依次连接的一个输入卷积层、第一数量的残差网络层和第二数量的密集连接网络层；
每个所述密集连接网络层包括具有相同结构且连续连接的预设数量的深度残差分组卷积网络；所述残差网络层用于提取预定大尺度特征图，所述密集连接网络层用于提取预定中小尺度特征图。
4.根据权利要求3所述的图像处理方法，其特征在于，所述第二数量为三个，其中，第一和第二个密集连接网络层均包括八个所述深度残差分组卷积网络，第三个密集连接网络层包括四个所述深度残差分组卷积网络；
每个所述深度残差分组卷积网络设有四个卷积分支。
5.根据权利要求2至4中任一项所述的图像处理方法，其特征在于，所述目标分割模型包括编码部分和与所述编码部分连接的解码部分；
所述编码包括五个特征提取模块，其中，从第二个特征提取模块起，对当前特征提取模块的输出进行下采样，并将所述当前特征提取模块的输入与所述下采样后的输出进行相加操作，作为下一特征提取模块的输入。
6.根据权利要求1所述的图像处理方法，其特征在于，利用压缩自编码模型对所述第二局部图像进行图像压缩，所述压缩自编码模型包括依次设置的两个卷积层、三层残差网络层、一个卷积层和一个量化层。
7.根据权利要求2所述的图像处理方法，其特征在于，所述将所述第一局部图像和所述压缩的第二局部图像进行图像拼接，包括：
对所述第二局部压缩图像进行待填充区域边缘检测，以确定待填充区域的位置；
将含所述目标对象的所述第一局部图像或所述第一局部压缩图像填充至所述待填充区域内，并对填充的区域进行边缘处理。
8.根据权利要求7所述的图像处理方法，其特征在于，所述对所述第二局部压缩图像进行待填充区域边缘检测，包括：
根据所述目标分割时提取的所述目标对象所在区域的边缘像素坐标以及所述第二局部图像的图像压缩比，确定待填充区域在所述第二局部压缩图像中的位置；
所述对填充的区域进行边缘处理，包括：
通过均值滤波算法对所述填充的区域进行边缘平滑操作。
9.根据权利要求1所述的图像处理方法，其特征在于，还包括：
对所述第一局部图像进行图像压缩，得到第一局部压缩图像；
将所述第一局部压缩图像与所述第二局部压缩图像进行图像拼接，得到与所述初始图像尺寸相同的压缩拼接图像。
10.一种图像处理装置，其特征在于，包括：
图像分割模块，用于对初始图像进行目标对象检测及分割，得到含目标对象的第一局部图像和不含目标对象的第二局部图像；
图像压缩模块，用于对所述第二局部图像进行图像压缩，得到压缩的第二局部图像；
图像拼接模块，用于将所述第一局部图像和所述第二局部压缩图像进行图像拼接，得到与所述初始图像尺寸相同的压缩拼接图像。
11.一种终端设备，其特征在于，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施权利要求1-9中任一项所述的图像处理方法。
12.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上执行时，实施根据权利要求1-9中任一项所述的图像处理方法。
CN202111185931.XA 2021-10-12 2021-10-12 一种图像处理方法、装置、终端设备和可读存储介质 Pending CN114627143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111185931.XA CN114627143A (zh) 2021-10-12 2021-10-12 一种图像处理方法、装置、终端设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111185931.XA CN114627143A (zh) 2021-10-12 2021-10-12 一种图像处理方法、装置、终端设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN114627143A true CN114627143A (zh) 2022-06-14

Family

ID=81897041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111185931.XA Pending CN114627143A (zh) 2021-10-12 2021-10-12 一种图像处理方法、装置、终端设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN114627143A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN112085031A (zh) * 2020-09-11 2020-12-15 河北工程大学 目标检测方法及系统
CN112149518A (zh) * 2020-10-29 2020-12-29 江苏东晟辉科技开发有限公司 基于began和yolov3模型的松果检测方法
CN112529904A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 图像语义分割方法、装置、计算机可读存储介质和芯片
CN112839223A (zh) * 2020-12-23 2021-05-25 深圳酷派技术有限公司 图像压缩方法、装置、存储介质及电子设备
CN113313774A (zh) * 2020-02-26 2021-08-27 华为技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113469286A (zh) * 2021-07-27 2021-10-01 北京信息科技大学 一种基于区域卷积神经网络的航天器多局部构件检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529904A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 图像语义分割方法、装置、计算机可读存储介质和芯片
CN113313774A (zh) * 2020-02-26 2021-08-27 华为技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN112085031A (zh) * 2020-09-11 2020-12-15 河北工程大学 目标检测方法及系统
CN112149518A (zh) * 2020-10-29 2020-12-29 江苏东晟辉科技开发有限公司 基于began和yolov3模型的松果检测方法
CN112839223A (zh) * 2020-12-23 2021-05-25 深圳酷派技术有限公司 图像压缩方法、装置、存储介质及电子设备
CN113469286A (zh) * 2021-07-27 2021-10-01 北京信息科技大学 一种基于区域卷积神经网络的航天器多局部构件检测方法

Similar Documents

Publication Publication Date Title
Li et al. Learning convolutional networks for content-weighted image compression
TWI834087B (zh) 用於從位元流重建圖像及用於將圖像編碼到位元流中的方法及裝置、電腦程式產品
Valsesia et al. High-throughput onboard hyperspectral image compression with ground-based CNN reconstruction
CN104581177B (zh) 一种结合块匹配和串匹配的图像压缩方法和装置
CN116547969A (zh) 基于机器学习的图像译码中色度子采样格式的处理方法
CN115358929B (zh) 压缩图像超分方法、图像压缩方法及系统
CN111800630A (zh) 一种视频超分辨率重建的方法、系统及电子设备
CN109949234A (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
US20070064275A1 (en) Apparatus and method for compressing images
CN113596473A (zh) 视频压缩方法及装置
CN113724136A (zh) 一种视频修复方法、设备及介质
TWI807491B (zh) 基於機器學習的圖像編解碼中的色度子採樣格式處理方法
CN111050170A (zh) 基于gan的图片压缩系统构建方法、压缩系统及方法
CN113256744B (zh) 一种图像编码、解码方法及系统
CN115442609A (zh) 特征数据编解码方法和装置
CN113628116A (zh) 图像处理网络的训练方法、装置、计算机设备和存储介质
CN117501696A (zh) 使用在分块之间共享的信息进行并行上下文建模
CN112714313A (zh) 图像处理方法、装置、设备和存储介质
CN112584158B (zh) 视频质量增强方法和系统
CN114173137A (zh) 视频编码方法、装置及电子设备
CN116347107A (zh) 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法
CN114627143A (zh) 一种图像处理方法、装置、终端设备和可读存储介质
CN116778539A (zh) 基于注意力机制的人脸图像超分辨率网络模型及处理方法
CN113422965A (zh) 一种基于生成对抗网络的图像压缩方法及装置
CN114463453A (zh) 图像重建、编码解码方法、相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination