CN114898190A - 一种图像处理方法和装置 - Google Patents

一种图像处理方法和装置 Download PDF

Info

Publication number
CN114898190A
CN114898190A CN202210409371.XA CN202210409371A CN114898190A CN 114898190 A CN114898190 A CN 114898190A CN 202210409371 A CN202210409371 A CN 202210409371A CN 114898190 A CN114898190 A CN 114898190A
Authority
CN
China
Prior art keywords
feature map
image processing
resolution
pixel
characteristic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210409371.XA
Other languages
English (en)
Inventor
钟建升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202210409371.XA priority Critical patent/CN114898190A/zh
Publication of CN114898190A publication Critical patent/CN114898190A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理方法和装置，涉及超级深度学习技术领域。该方法的具体实施方式包括：接收对应于同一待处理图像的第一特征图和第二特征图；其中，所述第一特征图的第一分辨率与所述第二特征图的第二分辨率不相同；将所述第一特征图和所述第二特征图输入预训练的图像处理模型；根据所述图像处理模型的输出，确定目标特征图，进而根据所述目标特征图确定所述待处理图像的目标对象。该实施方式能够根据对特征提取过程中不同分辨率特征图之间的像素位置偏移量进行捕获，并纠正像素位置偏移量的误差，实现不同特征图之间的像素位置对齐，确定目标特征图，基于目标特征图识别的图像对象的准确度大大提升。

Description

一种图像处理方法和装置
技术领域
本发明涉及超级深度学习技术领域，尤其涉及一种图像处理方法和装置。
背景技术
在图像处理过程中，通常对图像进行多次卷积处理，获得多层特征图以分析图像信息。考虑到浅层特征图语义信息少、目标位置准确；深层特征图语义信息丰富、目标位置粗略等原因，特征金字塔网络模型(FPN，即Feature Pyramid Networks)被提出。
FPN用于图像信息分析时，每一层特征图独立预测，通过上采样方法以自上而下的方式将深层特征图融入浅层特征图，从而获得语义信息和目标位置的双重优势。
然而，深层特征图通常是由浅层特征图提取而得，由于特征图分辨率不同以及图像信息的聚合，将深层特征图通过上采样恢复尺寸到浅层特征图时，像素位置并非完全对应，导致深层特征图和浅层特征图的融合过程会融入错误的语义信息，使得图像信息的分析结果并不准确。
发明内容
有鉴于此，本发明实施例提供一种图像处理方法和装置，能够根据对特征提取过程中不同分辨率特征图之间的像素位置偏移量进行捕获，并纠正像素位置偏移量的误差，实现不同特征图之间的像素位置对齐，确定目标特征图，基于目标特征图识别的图像对象的准确度大大提升。
为实现上述目的，根据本发明实施例的一个方面，提供了一种图像处理方法，包括：
接收对应于同一待处理图像的第一特征图和第二特征图；其中，所述第一特征图的第一分辨率与所述第二特征图的第二分辨率不相同；
将所述第一特征图和所述第二特征图输入预训练的图像处理模型；其中，所述图像处理模型用于根据所述第一特征图和所述第二特征图之间的像素偏移矢量，对所述第一特征图和所述第二特征图进行融合；
根据所述图像处理模型的输出，确定目标特征图，进而根据所述目标特征图确定所述待处理图像的目标对象。
可选地，确定所述图像处理模型，包括：
将所述第一特征图和所述第二特征图进行第一融合处理，确定第一融合结果；
对所述第一融合结果进行第一卷积处理，根据第一卷积结果确定所述第一特征图和所述第二特征图的像素偏移矢量；
根据所述像素偏移矢量，对所述第一特征图和所述第二特征图进行第二融合处理，得到所述图像处理模型。
可选地，所述将所述第一特征图和所述第二特征图进行第一融合处理，包括：
分别对所述第一特征图和所述第二特征图进行第二卷积处理，得到第三特征图和第四特征图；
对所述第三特征图和所述第四特征图进行融合。
可选地，所述对所述第三特征图和所述第四特征图进行融合，包括：
对所述第三特征图进行第一上采样处理，得到第五特征图；其中，所述第五特征图的分辨率与所述第四特征图相同；
将所述第五特征图和所述第四特征图进行通道拼接，确定所述第一融合结果。
可选地，所述根据所述像素偏移矢量，对所述第一特征图和所述第二特征图进行第二融合处理，包括：
根据所述像素偏移矢量，对所述第一特征图进行第二上采样处理，确定第六特征图；
将所述第六特征图和所述第二特征图进行融合，得到第二融合结果。
可选地，所述将所述六特征图和所述第二特征图进行融合，包括：
将所述第六特征图和所述第二特征图进行逐像素叠加，对逐像素叠加的结果进行第二卷积处理；
根据所述第二卷积处理的第二卷积结果，确定所述第二融合结果。
可选地，所述第二分辨率高于所述第一分辨率。
根据本发明实施例的再一个方面，提供了一种图像处理装置，包括：
接收模块，用于接收对应于同一待处理图像的第一特征图和第二特征图；其中，所述第一特征图的第一分辨率与所述第二特征图的第二分辨率不相同；
输入模块，用于将所述第一特征图和所述第二特征图输入预训练的图像处理模型；其中，所述图像处理模型用于根据所述第一特征图和所述第二特征图之间的像素偏移矢量，对所述第一特征图和所述第二特征图进行融合；
输出模块，用于根据所述图像处理模型的输出，确定目标特征图，进而根据所述目标特征图确定所述待处理图像的目标对象。
根据本发明实施例的另一个方面，提供了一种图像处理电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的图像处理方法。
根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的图像处理方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用将不同分辨率的特征图通过融合、卷积处理，确定不同分辨率的特征图之间的像素偏移矢量，将低分辨率特征图根据像素偏移矢量进行上采样，获取与高分辨率特征图分辨率相同且像素位置对齐的特征图，再将两者进行融合以获得最终特征图的技术手段，所以克服了现有的深层特征图与浅层特征图的像素位置不对应，融合过程会产生错误的语义信息，使得图像信息的分析结果并不准确的技术问题，进而达到能够根据对特征提取过程中不同分辨率特征图之间的像素位置偏移量进行捕获，并纠正像素位置偏移量的误差，实现不同特征图之间的像素位置对齐，确定目标特征图，基于目标特征图识别的图像对象的准确度大大提升的技术效果。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的图像处理方法的主要流程的示意图；
图2是根据本发明实施例的图像处理模型的确定方法的主要流程的示意图；
图3是根据本发明实施例的特征图的融合方法的第一个实施例的主要流程的示意图；
图4是根据本发明实施例的特征图的融合方法的第二个实施例的主要流程的示意图；
图5是根据本发明的图像处理方法的示例图；
图6是根据本发明实施例的图像处理装置的主要模块的示意图；
图7示出了适于应用于本发明实施例的图像处理方法或图像处理装置的示例性系统架构图；
图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的图像处理方法的主要流程的示意图，如图1所示，本发明的图像处理方法包括如下步骤：
利用特征金字塔网络模型FPN进行图像分析时，包括对待处理图像的多次卷积操作，每一次卷积处理即对应一张特征图，FPN包括多层特征图，通过将深层特征图融入浅层特征图以提高图像分析的准确性，尤其是图像中的较小对象。由于深层特征图是通过对浅层特征图进行多次卷积处理后提取的，因此深层特征图和浅层特征图之间可能存在像素位置的偏移，导致根据两者融合的特征图分析出的图像对象并不准确。本发明的图像处理方法，捕捉不同特征图之间像素的位移轨迹，进而确定深层特征图和浅层特征图的像素偏移矢量，从而根据像素偏移矢量获得与浅层特征图尺寸相同且像素位置对齐的深层特征图，再与初始的深层特征图进行融合，从而防止像素位置偏移导致的分析偏差，准确地确定待处理图像的各个图像对象，尤其是较小对象的分析准确率可以大大提升。
步骤S101，接收对应于同一待处理图像的第一特征图和第二特征图；其中，所述第一特征图的第一分辨率与所述第二特征图的第二分辨率不相同。
在本发明实施例中，第二分辨率高于第一分辨率，比如，第二特征图为深层特征图，第一特征图为浅层特征图。
步骤S102，将所述第一特征图和所述第二特征图输入预训练的图像处理模型；其中，所述图像处理模型用于根据所述第一特征图和所述第二特征图之间的像素偏移矢量，对所述第一特征图和所述第二特征图进行融合。
在本发明实施例中，本发明的图像处理模型可以作为一个单独的模块(特征流模块，Feature Flow module，即FFM)嵌入图像识别模型，以根据第一特征图和第二特征图之间的像素偏移矢量，对不同分辨率的第一特征图和第二特征图进行融合，得到像素位置对齐的第一特征图和第二特征图融合后的目标特征图，使得图像识别模型对目标特征图进行识别，从而提高图像分类的准确率以及目标对象识别的准确度，尤其是较小对象识别的准确度。
在本发明实施例中，如图2所示，本发明的图像处理模型的确定方法包括如下步骤：
步骤S201，将所述第一特征图和所述第二特征图进行第一融合处理，对第一融合结果进行第一卷积处理。
在本发明实施例中，第一融合处理的算法为通道拼接算法，可以利用opencv、numpy、pytorch等软件实现。通道拼接算法的图像融合是指将不同图像的像素点在通道维度进行空间叠加。
在本发明实施例中，如图3所示，本发明的特征图的融合方法的第一个实施例包括如下步骤：
步骤S301，分别对所述第一特征图和所述第二特征图进行第二卷积处理，得到第三特征图和第四特征图。
在本发明实施例中，第二卷积处理的卷积核为1*1，通过第二卷积处理，利用1*1的卷积核对第一特征图和第二特征图进行通道降维处理，降低参数量，得到通道维度相同的两个特征图，即第二卷积结果，包括利用1*1卷积核对第一特征图进行卷积处理后的第三特征图和利用1*1卷积核对第二特征图进行卷积处理后的第四特征图。
步骤S302，对所述第三特征图和所述第四特征图进行融合。
步骤S3021，对所述第三特征图进行第一上采样处理，得到第五特征图；其中，所述第五特征图的分辨率与所述第四特征图相同。
在本发明实施例中，对第三特征图进行第一上采样处理，得到第五特征图，上采样处理用于放大原图像，因此，第五特征图的分辨率与第四特征图相同。
在本发明实施例中，第一上采样处理采用双线性插值算法；其中，上采样也可以称为图像插值，用于放大原图像，从而可以显示在更高分辨率的显示设备上。
在本发明实施例中，对低分辨率的第三特征图进行双线性插值操作，获得与高分辨率的第四特征图尺寸一样的低分辨率特征图。
步骤S3022，将所述第五特征图和所述第四特征图进行通道拼接，确定所述第一融合结果。
在本发明实施例中，对经过上采样处理的第三特征图和经过1*1卷积核卷积处理后的第二特征图进行通道拼接，得到第一融合结果；其中，第一融合结果对应一个特征图。
在本发明实施例中，通过本发明的特征图的融合方法的第一个实施例，能够对低分辨率特征图(比如，浅层特征图)进行双线性插值操作，获得与高分辨率特征图(比如，深层特征图)尺寸一样的低分辨率特征图，从而将其与高分辨率特征图进行通道拼接，使得两者的像素点在通道维度进行空间叠加，进而便于后续对不同层级特征图之间的像素的位移轨迹进行追踪，确定不同层级特征图的像素偏移矢量。
步骤S202，对所述第一融合结果进行第一卷积处理，根据第一卷积结果确定所述第一特征图和所述第二特征图的像素偏移矢量。
在本发明实施例中，第一卷积处理的卷积核可以为3*3，利用3*3的卷积核对第一融合结果进行卷积处理，利用卷积网络提取第一融合结果中不同特征图之间的像素的位移轨迹，从而捕获第一融合结果包括的第五特征图和第四特征图之间的偏移关系，即第一特征图和第二特征图的像素偏移关系，进而确定第一特征图和第二特征图的像素偏移矢量。
在本发明实施例中，对第四特征图(即经过第二卷积处理的第二特征图)和第五特征图(即经过第二卷积处理和第一上采样处理的第一特征图)的通道拼接结果进行第一卷积处理，捕获第一特征图和第二特征图的像素偏移矢量。
在本发明实施例中，第一卷积处理利用不同特征图之间像素在时间域上的变化以及图像之间的相关性，分析不同特征图之间的对应关系，从而确定不同特征图之间的对象的运动信息，也即像素的位移轨迹；其中，不同特征图之间，像素可以具有相同或者不同的位移方向和位移速度。
在本发明实施例中，步骤S201-步骤S202如下式所示：
Δl-1＝convl(cat(up1(Fl)，Fh))
其中：
Fl表示第一特征图，即低分辨率特征图或者浅层特征图；
Fh表示第二特征图，即高分辨率特征图或者深层特征图；
上式表示：
对Fl进行第一上采样处理up1(Fl)，得到和Fh相同的分辨率，并对up1(Fl)和Fh进行通道维度融合，确定融合结果cat(up1(Fl)，Fh)，利用卷积处理提取融合结果的特征convl(cat(up1(Fl)，Fh))，获得像素偏移矢量Δl-1。
步骤S203，根据所述像素位置偏移量，对所述第一特征图和所述第二特征图进行第二融合处理，得到所述图像处理模型。
在本发明实施例中，根据步骤S202确定的第一特征图和第二特征图的像素偏移矢量，对第一特征图和第二特征图进行第二融合处理，得到图像处理模型。
在本发明实施例中，第二融合处理包括对第三特征图进行上采样处理，从而使第三特征图变为与第四特征图分辨率相同并且像素位置对齐的特征图，即使低分辨率特征图变为与高分辨率特征图分辨率相同且像素位置对齐的特征图；其中，在对第三特征图进行上采样处理时，将像素偏移矢量加入上采样处理的线性插值中。
在本发明实施例中，如图4所示，本发明的特征图的融合方法的第二个实施例包括如下步骤：
步骤S401，根据所述像素偏移矢量，对所述第一特征图进行第二上采样处理，确定第六特征图。
在本发明实施例中，第二上采样处理采用双线性插值算法。
在本发明实施例中，根据像素偏移矢量，对经过第二卷积处理的第一特征图，即第三特征图进行第二上采样处理，得到第六特征图。
步骤S402，将所述第六特征图和所述第二特征图进行融合，得到第二融合结果。
步骤S4021，将所述第六特征图和所述第二特征图进行逐像素叠加。
在本发明实施例中，第二融合处理的算法为像素叠加算法，将第一特征图和第二特征图进行融合，可以利用opencv、numpy、pytorch等软件实现。
进一步地，像素叠加算法的图像融合是指将不同图像的像素点进行逐像素叠加。
在本发明实施例中，将经过第二卷积处理的第二特征图，即第四特征图和第六特征图进行逐像素叠加。
步骤S4022，对逐像素叠加的结果进行第二卷积处理。
在本发明实施例中，利用3*3卷积核对逐像素叠加的结果进行第二卷积处理。
步骤S4023，根据所述第二卷积处理的第二卷积结果，确定所述第二融合结果。
在本发明实施例中，第二融合结果即为目标特征图。
在本发明实施例中，通过本发明的特征图的融合方法的第二个实施例，能够基于低分辨率特征图和高分辨率特征图的像素偏移矢量，对低分辨率特征图进行上采样处理，获得与高分辨率特征图相同的分辨率，再将两者逐像素叠加，确定最终的目标特征图，根据此目标特征图对图像进行分析，可以大大提高图像分析以及图像中的对象分类的准确度。
在本发明实施例中，步骤S203如下式所示：
output＝convl(add(up2(Fl，Δl-1)，Fh))
上式表示：
根据像素偏移矢量Δl-1对Fl进行第二上采样处理up2(Fl，Δl-1)，纠正Fl的像素偏移，实现Fl和Fh的像素对齐；将纠正后的up2(Fl，Δl-1)，与Fh进行逐像素叠加add(up2(Fl，Δl-1)，Fh)，利用卷积处理提取叠加结果的特征convl(add(up2(Fl，Δl-1)，Fh)，获得目标特征图output。
步骤S103，根据所述图像处理模型的输出，确定目标特征图，进而根据所述目标特征图确定所述待处理图像的目标对象。
在本发明实施例中，可以根据图像处理模型的输出确定目标特征图，将目标特征图作为图像识别模型的输入，根据图像识别模型的输出确定待处理图像的目标对象；其中，图像识别模型的算法可以是卷积网络模型算法。
在本发明实施例中，如图5所示，本发明的图像处理方法的示例流程包括：
分别将低分辨率特征图和高分辨率特征图利用1*1的卷积进行通道降维处理，得到两个通道维度相同的特征图。
将降维后的低分辨率特征图进行第一上采样，得到与高分辨率特征图尺寸一样的低分辨率特征图；
将高分辨率特征图和第一上采样后的低分辨率特征图进行通道拼接，得到第一融合结果，将第一融合结果输入3*3卷积层中，利用卷积网络捕获低分辨率特征图和高分辨率特征图的偏移关系，确定低分辨率特征图和高分辨率特征图的像素偏移矢量；
根据像素偏移矢量，对低分辨率特征图进行第二上采样，借鉴空间变换网络，从而使得低分辨率特征图变为与高分辨率特征图尺寸相同且像素位置对齐的特征图；
将高分辨率特征图和第二上采样后的低分辨率特征图进行逐像素叠加，得到第二融合结果，将第二融合结果输入3*3卷积层中，得到目标特征图。
在本发明实施例中，通过接收对应于同一待处理图像的第一特征图和第二特征图；其中，所述第一特征图的第一分辨率与所述第二特征图的第二分辨率不相同；将所述第一特征图和所述第二特征图输入预训练的图像处理模型；其中，所述图像处理模型用于根据所述第一特征图和所述第二特征图之间的像素偏移矢量，对所述第一特征图和所述第二特征图进行融合；根据所述图像处理模型的输出，确定目标特征图，进而根据所述目标特征图确定所述待处理图像的目标对象等步骤，能够根据对特征提取过程中不同分辨率特征图之间的像素位置偏移量进行捕获，并纠正像素位置偏移量的误差，实现不同特征图之间的像素位置对齐，确定目标特征图，基于目标特征图识别的图像对象的准确度大大提升。
图6是根据本发明实施例的图像处理装置的主要模块的示意图，如图6所示，本发明的图像处理装置600包括：
接收模块601，用于接收对应于同一待处理图像的第一特征图和第二特征图；其中，所述第一特征图的第一分辨率与所述第二特征图的第二分辨率不相同。
在本发明实施例中，所述接收模块601接收的对应于同一待处理图像的第一特征图和第二特征图的分辨率不同，第二分辨率高于第一分辨率，比如，第二特征图为深层特征图，第一特征图为浅层特征图。
输入模块602，用于将所述第一特征图和所述第二特征图输入预训练的图像处理模型；其中，所述图像处理模型用于根据所述第一特征图和所述第二特征图之间的像素偏移矢量，对所述第一特征图和所述第二特征图进行融合。
在本发明实施例中，本发明的图像处理模型可以作为一个单独的模块嵌入图像识别模型，以根据第一特征图和第二特征图之间的像素偏移矢量，对不同分辨率的第一特征图和第二特征图进行融合，得到像素位置对齐的第一特征图和第二特征图融合后的目标特征图，将目标特征图进行图像识别，从而提高图像分类的准确率以及目标对象识别的准确度，尤其是较小对象识别的准确度。
在本发明实施例中，将第一特征图和第二特征图通过所述输入模块602输入预训练的图像处理模型。
输出模块603，用于根据所述图像处理模型的输出，确定目标特征图，进而根据所述目标特征图确定所述待处理图像的目标对象。
在本发明实施例中，可以根据图像处理模型的所述输出模块603的输出，确定目标特征图，将目标特征图作为图像识别模型的输入，根据图像识别模型的输出确定待处理图像的目标对象。
在本发明实施例中，通过接收模块、输入模块和输出模块等模块，能够根据对特征提取过程中不同分辨率特征图之间的像素位置偏移量进行捕获，并纠正像素位置偏移量的误差，实现不同特征图之间的像素位置对齐，确定目标特征图，基于目标特征图识别的图像对象的准确度大大提升。
图7示出了适于应用于本发明实施例的图像处理方法或图像处理装置的示例性系统架构图，如图7所示，本发明实施例的图像处理方法或图像处理装置的示例性系统架构包括：
如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如图像识别类应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的图像识别类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产图像识别请求等数据进行分析等处理，并将处理结果(例如目标对象)反馈给终端设备701、702、703。
需要说明的是，本发明实施例所提供的图像处理方法一般由服务器705执行，相应地，图像处理装置一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图，如图8所示，本发明实施例的终端设备或服务器的计算机系统800包括：
中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有系统800操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、输入模块和输出模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，输出模块还可以被描述为“根据所述图像处理模型的输出，确定目标特征图的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收对应于同一待处理图像的第一特征图和第二特征图；其中，所述第一特征图的第一分辨率与所述第二特征图的第二分辨率不相同；将所述第一特征图和所述第二特征图输入预训练的图像处理模型；其中，所述图像处理模型用于根据所述第一特征图和所述第二特征图之间的像素偏移矢量，对所述第一特征图和所述第二特征图进行融合；根据所述图像处理模型的输出，确定目标特征图，进而根据所述目标特征图确定所述待处理图像的目标对象。
图像语义分割取决于空间信息和语义信息，基于特征金字塔的网络模型可以在获得详细空间信息的同时表现出强大语义特征。然而，现有的特征金字塔网络模型中在融合深层特征图和浅层特征图时，由于分辨率等不同，使得深层特征图和浅层特征图的像素位置偏移，融合过程中会融入错误的语义信息。
根据本发明实施例的技术方案，针对不同分辨率特征图之间的像素位置偏移问题，基于特征流模块对特征提取过程中不同分辨率特征图之间的像素偏移量进行捕获，并在低分辨率特征图上采样过程中基于该偏移量进行像素位置对齐，实现不同分辨率特征图之间的像素对齐，从而更好地融合以提高图像识别的准确度。
根据本发明实施例的技术方案，能够根据对特征提取过程中不同分辨率特征图之间的像素位置偏移量进行捕获，并纠正像素位置偏移量的误差，实现不同特征图之间的像素位置对齐，确定目标特征图，基于目标特征图识别的图像对象的准确度大大提升。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
接收对应于同一待处理图像的第一特征图和第二特征图；其中，所述第一特征图的第一分辨率与所述第二特征图的第二分辨率不相同；
将所述第一特征图和所述第二特征图输入预训练的图像处理模型；其中，所述图像处理模型用于根据所述第一特征图和所述第二特征图之间的像素偏移矢量，对所述第一特征图和所述第二特征图进行融合；
根据所述图像处理模型的输出，确定目标特征图，进而根据所述目标特征图确定所述待处理图像的目标对象。
2.根据权利要求1所述的方法，其特征在于，确定所述图像处理模型，包括：
将所述第一特征图和所述第二特征图进行第一融合处理，确定第一融合结果；
对所述第一融合结果进行第一卷积处理，根据第一卷积结果确定所述第一特征图和所述第二特征图的像素偏移矢量；
根据所述像素偏移矢量，对所述第一特征图和所述第二特征图进行第二融合处理，得到所述图像处理模型。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一特征图和所述第二特征图进行第一融合处理，包括：
分别对所述第一特征图和所述第二特征图进行第二卷积处理，得到第三特征图和第四特征图；
对所述第三特征图和所述第四特征图进行融合。
4.根据权利要求3所述的方法，其特征在于，所述对所述第三特征图和所述第四特征图进行融合，包括：
对所述第三特征图进行第一上采样处理，得到第五特征图；其中，所述第五特征图的分辨率与所述第四特征图相同；
将所述第五特征图和所述第四特征图进行通道拼接，确定所述第一融合结果。
5.根据权利要求2或3所述的方法，其特征在于，所述根据所述像素偏移矢量，对所述第一特征图和所述第二特征图进行第二融合处理，包括：
根据所述像素偏移矢量，对所述第一特征图进行第二上采样处理，确定第六特征图；
将所述第六特征图和所述第二特征图进行融合，得到第二融合结果。
6.根据权利要求5所述的方法，其特征在于，所述将所述第六特征图和所述第二特征图进行融合，包括：
将所述第六特征图和所述第二特征图进行逐像素叠加，对逐像素叠加的结果进行第二卷积处理；
根据所述第二卷积处理的第二卷积结果，确定所述第二融合结果。
7.根据权利要求1所述的方法，其特征在于，所述第二分辨率高于所述第一分辨率。
8.一种图像处理装置，其特征在于，包括：
接收模块，用于接收对应于同一待处理图像的第一特征图和第二特征图；其中，所述第一特征图的第一分辨率与所述第二特征图的第二分辨率不相同；
输入模块，用于将所述第一特征图和所述第二特征图输入预训练的图像处理模型；其中，所述图像处理模型用于根据所述第一特征图和所述第二特征图之间的像素偏移矢量，对所述第一特征图和所述第二特征图进行融合；
输出模块，用于根据所述图像处理模型的输出，确定目标特征图，进而根据所述目标特征图确定所述待处理图像的目标对象。
9.一种图像处理的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202210409371.XA 2022-04-19 2022-04-19 一种图像处理方法和装置 Pending CN114898190A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210409371.XA CN114898190A (zh) 2022-04-19 2022-04-19 一种图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210409371.XA CN114898190A (zh) 2022-04-19 2022-04-19 一种图像处理方法和装置

Publications (1)

Publication Number Publication Date
CN114898190A true CN114898190A (zh) 2022-08-12

Family

ID=82718309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210409371.XA Pending CN114898190A (zh) 2022-04-19 2022-04-19 一种图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN114898190A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210390731A1 (en) * 2020-06-12 2021-12-16 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for positioning key point, device, and storage medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210390731A1 (en) * 2020-06-12 2021-12-16 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for positioning key point, device, and storage medium
US11610389B2 (en) * 2020-06-12 2023-03-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for positioning key point, device, and storage medium

Similar Documents

Publication Publication Date Title
US11321593B2 (en) Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
JP7317070B2 (ja) 人顔の超解像度の実現方法、装置、電子設備、記憶媒体、及びプログラム
US20190197703A1 (en) Method and apparatus for tracking target profile in video
WO2019154201A1 (zh) 实例分割方法和装置、电子设备、程序和介质
KR20200044108A (ko) 단안 이미지 깊이 추정 방법 및 장치, 기기, 프로그램 및 저장 매체
CN111292420B (zh) 用于构建地图的方法和装置
CN112184738A (zh) 一种图像分割方法、装置、设备及存储介质
CN109118456B (zh) 图像处理方法和装置
CN113570608B (zh) 目标分割的方法、装置及电子设备
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN111815738A (zh) 一种构建地图的方法和装置
CN112418249A (zh) 掩膜图像生成方法、装置、电子设备和计算机可读介质
CN114898190A (zh) 一种图像处理方法和装置
WO2024041235A1 (zh) 图像处理方法、装置、设备、存储介质及程序产品
US20240037713A1 (en) System, devices and/or processes for image anti-aliasing
CN110619597A (zh) 一种半透明水印去除方法、装置、电子设备及存储介质
CN110633595B (zh) 一种利用双线性插值的目标检测方法和装置
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
CN113011410A (zh) 字符识别模型的训练方法、字符识别方法及装置
CN111382696A (zh) 用于检测目标的边界点的方法和装置
CN111626283B (zh) 文字提取方法、装置和电子设备
CN115345931B (zh) 物体姿态关键点信息生成方法、装置、电子设备和介质
CN118015221B (zh) 建筑模型构建方法、装置、电子设备与计算机可读介质
CN111881778B (zh) 文本检测的方法、装置、设备和计算机可读介质
CN117372699A (zh) 基于级联模型的图像分割方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination