CN114549883A - 图像处理方法、深度学习模型的训练方法、装置和设备 - Google Patents

图像处理方法、深度学习模型的训练方法、装置和设备 Download PDF

Info

Publication number
CN114549883A
CN114549883A CN202210174175.9A CN202210174175A CN114549883A CN 114549883 A CN114549883 A CN 114549883A CN 202210174175 A CN202210174175 A CN 202210174175A CN 114549883 A CN114549883 A CN 114549883A
Authority
CN
China
Prior art keywords
feature
features
nth
group
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210174175.9A
Other languages
English (en)
Other versions
CN114549883B (zh
Inventor
伍天意
刘凯
郭国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210174175.9A priority Critical patent/CN114549883B/zh
Publication of CN114549883A publication Critical patent/CN114549883A/zh
Application granted granted Critical
Publication of CN114549883B publication Critical patent/CN114549883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像处理方法，涉及人工智能技术领域，尤其涉及计算机视觉、图像识别和深度学习技术领域。具体实现方案为：确定待处理图像的多个第一特征、多个第二特征和多个第三特征；根据聚类中心，分别对多个第一特征、多个第二特征和多个第三特征进行分组，得到N个第一特征组、N个第二特征组和N个第三特征组，N为大于1的整数；以及对N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到待处理图像的融合特征图。本公开还提供了一种深度学习模型的训练方法、装置、电子设备和存储介质。

Description

图像处理方法、深度学习模型的训练方法、装置和设备
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉、图像识别和深度学习技术领域。更具体地，本公开提供了一种图像处理方法、深度学习模型的训练方法、装置、电子设备和存储介质。
背景技术
可以基于注意力机制对图像进行处理，得到图像的特征。例如，可以将与图像对应的信息分为多个组，以便高效地基于注意力机制在组内进行处理。
发明内容
本公开提供了一种图像处理方法、深度学习模型的训练方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种图像处理方法，该方法包括：确定待处理图像的多个第一特征、多个第二特征和多个第三特征；根据聚类中心，分别对所述多个第一特征、所述多个第二特征和所述多个第三特征进行分组，得到N个第一特征组、N个第二特征组和N个第三特征组，N为大于1的整数；以及对所述N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到所述待处理图像的融合特征图。
根据本公开的另一方面，提供了一种深度学习模型的训练方法，该方法包括：将样本图像输入深度学习模型，得到融合特征图；根据所述融合特征图，得到所述样本图像的检测值；以及根据所述样本图像的检测值与所述样本图像的标签之间的差异，调整所述深度学习模型的参数，得到经训练的深度学习模型；其中，所述深度学习模型包括多个特征提取级，所述多个特征提取级中的至少一个包括动态分组模块，所述动态分组模块用于执行本公开提供的方法。
根据本公开的另一方面，提供了一种图像处理装置，该装置包括：第一确定模块，用于确定待处理图像的多个第一特征、多个第二特征和多个第三特征；分组模块，用于根据聚类中心，分别对所述多个第一特征、所述多个第二特征和所述多个第三特征进行分组，得到N个第一特征组、N个第二特征组和N个第三特征组，N为大于1的整数；以及处理模块，用于对所述N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到所述待处理图像的融合特征图。
根据本公开的另一方面，提供了一种深度学习模块的训练装置，该装置包括：第一获得模块，用于将样本图像输入深度学习模型，得到融合特征图；第二获得模块，用于根据所述融合特征图，得到所述样本图像的检测值；以及调整模块，用于根据所述样本图像的检测值与所述样本图像的标签之间的差异，调整所述深度学习模型的参数，得到经训练的深度学习模型；其中，所述深度学习模型包括多个特征提取级，所述多个特征提取级中的至少一个包括动态分组模块，所述动态分组模块包括本公开提供的装置。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开的一个实施例的可以应用图像处理方法和装置的示例性系统架构示意图；
图2是根据本公开的一个实施例的图像处理方法的流程图；
图3是根据本公开的另一个实施例的图像处理方法的流程图；
图4是根据本公开的另一个实施例的图像处理方法的流程图；
图5是根据本公开的另一个实施例的图像处理方法的流程图；
图6A是根据本公开的一个实施例的初始特征图的示意图；
图6B是根据本公开的一个实施例的第一特征图的示意图；
图6C是根据本公开的一个实施例的第二特征图的示意图；
图6D是根据本公开的一个实施例的第三特征图的示意图；
图6E是根据本公开的一个实施例的进行分组的原理图；
图6F是根据本公开的一个实施例的图像处理方法的原理图；
图7是根据本公开的一个实施例的图像处理方法流程图；
图8是根据本公开的一个实施例的深度学习模型的训练方法流程图；
图9是根据本公开的另一个实施例的深度学习模型的原理图；
图10是根据本公开的一个实施例的动态分组编码块的原理图；
图11是根据本公开的一个实施例的深度学习模型的参数示意图；
图12根据本公开的一个实施例的图像处理装置的框图；
图13是根据本公开的一个实施例的深度学习模型的训练装置的框图；以及
图14是根据本公开的一个实施例的可以应用图像处理方法和/或深度学习模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
一种基于Swin(Shifted Windows，可变窗口)Transformer模型的图像处理方法，可以为图像或图像的特征图划分多个不重叠的正方形窗口，在每个窗口内利用注意力机制进行运算。
一种基于CSwin(Cross-Shaped Windows，交叉窗口)Transformer模型的图像处理方法，可以为图像或图像的特征图划分多个正方形窗口，并将这些窗口扩展为联系的行(或列)，以增加感受野。
一种基于Shuffle(空域置换)Transformer模型的图像处理方法，可以为图像或图像的特征图划分多个窗口，并可以基于空间变换机制增强窗口之间的信息流动。
这些方法都采用了分组机制来进行计算，并提出了一些方式以增强各组之间的信息流动。但这些方法采用的分组方式都是静态的，仅根据特征的位置信息来决定分组，不能对不同的特征进行自适应，导致有效信息流通受阻。
图1是根据本公开一个实施例的可以应用图像处理方法和装置的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的图像处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的图像处理装置一般可以设置于服务器105中。本公开实施例所提供的图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
图2是根据本公开的一个实施例的图像处理方法的流程图。
如图2所示，该方法200可以包括操作S210～操作S230。
在操作S210，确定待处理图像的多个第一特征、多个第二特征和多个第三特征。
例如，可以利用不同的线性层对待处理图像的初始特征图进行处理，以确定多个第一特征、多个第二特征和多个第三特征。
在操作S220，根据聚类中心，分别对多个第一特征、多个第二特征和多个第三特征进行分组，得到N个第一特征组、N个第二特征组和N个第三特征组。
例如，N为大于1的整数。
例如，聚类中心可以是一个或多个向量。可以根据第一特征与聚类中心之间的相关性，将多个第一特征划分为N组。在将多个第一特征分为N组之后，可以对多个第二特征和多个第三特征进行分组。
在操作S230，对N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到待处理图像的融合特征图。
例如，可以从N个第一特征组中任意选择一个第一特征组，从N个第二特征组中任意选择一个第二特征组，从N个第三特征组中任意选择一个第三特征组。将本次选出的第一特征组、第二特征组和第三特征组融合，得到一个融合数据。
接下来，可以从N-1个第一特征组中任意选择一个第一特征组，从N-1个第二特征组中任意选择一个第二特征组，从N-1个第三特征组中任意选择一个第三特征组。将本次选出的第一特征组、第二特征组和第三特征组融合，得到另一个融合数据。
类似地，共可以得到N个融合数据，再将N个融合数据融合，可以得到融合特征图。
通过本公开实施例，更加灵活地增强特征组之间的特征交互，更全面地获取输入图像的全局特征。
图3是根据本公开的另一个实施例的图像处理方法的流程图。
如图3所示，该方法320可以根据聚类中心，对多个第一特征、多个第二特征和多个第三特征进行分组，下面将结合操作S321～操作S323进行详细说明。
在本公开实施例中，聚类中心可以包括N个聚类中心。
例如，N＝4。
在操作S321，对于多个第一特征中的每个第一特征，分别确定每个第一特征与N个聚类中心中每个聚类中心之间的相似度。
例如，可以分别确定每个第一特征与N个聚类中每个聚类中心的余弦相似度。
又例如，以N＝4为示例，以多个第一特征中的第一特征
Figure BDA0003519636640000061
为示例，第一特征
Figure BDA0003519636640000062
与第1个聚类中心的余弦相似度为0.8，第一特征
Figure BDA0003519636640000063
与第2个聚类中心的余弦相似度为0.6，第一特征
Figure BDA0003519636640000064
与第3个聚类中心的余弦相似度为0.7，第一特征
Figure BDA0003519636640000065
与第4个聚类中心的余弦相似度为0.3。
又例如，以N＝4为示例，以多个第一特征中的第一特征
Figure BDA0003519636640000066
为示例，第一特征
Figure BDA0003519636640000067
与第1个聚类中心的余弦相似度为0.9，第一特征
Figure BDA0003519636640000068
与第2个聚类中心的余弦相似度为0.6，第一特征
Figure BDA0003519636640000069
与第3个聚类中心的余弦相似度为0.5，第一特征
Figure BDA00035196366400000610
与第4个聚类中心的余弦相似度为0.4。
又例如，以N＝4为示例，以多个第一特征中的第一特征
Figure BDA00035196366400000611
为示例，第一特征
Figure BDA00035196366400000612
与第1个聚类中心的余弦相似度为0.5，第一特征
Figure BDA00035196366400000613
与第2个聚类中心的余弦相似度为0.3，第一特征
Figure BDA00035196366400000614
与第3个聚类中心的余弦相似度为0.4，第一特征
Figure BDA00035196366400000615
与第4个聚类中心的余弦相似度为0.8。
在操作S322，确定N个聚类中心中与每个第一特征之间的相似度最大的第n个聚类中心。
例如，n为小于或等于N的整数，且n为大于或等于1的整数。
例如，如上文所述，以N＝4为示例，以多个第一特征中的第一特征
Figure BDA00035196366400000616
为示例，可以确定4个聚类中心与第一特征
Figure BDA00035196366400000617
的余弦相似度最大的聚类中心为第1个聚类中心。
例如，如上文所述，以N＝4为示例，以多个第一特征中的第一特征
Figure BDA0003519636640000071
为示例，可以确定4个聚类中心与第一特征
Figure BDA0003519636640000072
的余弦相似度最大的聚类中心为第1个聚类中心。
又例如，如上文所述，以N＝4为示例，以多个第一特征中的第一特征
Figure BDA0003519636640000073
为示例，可以确定4个聚类中心与第一特征
Figure BDA0003519636640000074
的余弦相似度最大的聚类中心为第4个聚类中心。
在操作S323，将每个第一特征分组至第n第一特征组。
例如，可以将第一特征
Figure BDA0003519636640000075
分组至第1第一特征组XQ_1。
又例如，可以将第一特征
Figure BDA0003519636640000076
分组至第1第一特征组XQ_1。
又例如，可以将第一特征
Figure BDA0003519636640000077
分组至第4第一特征组XQ_4。
图4是根据本公开的另一个实施例的图像处理方法的示意图。
如图4所示，方法420可以在上文所述的操作323之后执行。方法420可以根据聚类中心，对多个第一特征、第二特征和多个第三特征进行分组，下面将结合操作S424～操作S427进行详细说明。
在本公开实施例中，多个第一特征包括M个第一特征，多个第二特征包括M个第二特征，以及多个第三特征包括M个第三特征。
例如，M为大于或等于1的整数。
在操作S424，对于N个聚类中心中的第n个聚类中心，确定多个第二特征中的每个第二特征与第n个聚类中心的内积。
例如，对于4个聚类中心中的第1个聚类中心，可以确定多个第二特征中的每个第二特征与第1个聚类中心的内积。
在操作S425，根据内积大小对多个第二特征进行排序。
例如，可以按照由大至小的顺序，根据内积的大小对多个第二特征进行排序。
在操作S426，将多个第二特征中内积最大的前K个第二特征分组至第n第二特征组。
在本公开实施例中，K大于第n第一特征组中第一特征的数目。
在本公开实施例中，K与M具有相同的公约数。
例如，以M＝25为示例，以第1第一特征组中第一特征的数目是6为示例。K可以大于6。K的取值可以与M具有公约数。本实施例中，以K＝10为示例。在一个示例中，第1第一特征组包括上文所述的第一特征
Figure BDA0003519636640000081
和第一特征
Figure BDA0003519636640000082
又例如，可以将多个第二特征中内积最大的前10个第二特征分组至第1第二特征组XK_1。
在操作S427，在M个第二特征中的第m个第二特征被分组至第n第二特征组的情况下，将M个第三特征中的第m个第三特征被分组至第n第三特征组。
例如，在25个第二特征中的第5个第二特征
Figure BDA0003519636640000083
被分组至第1第二特征组的情况下，将25个第三特征中的第5个第三特征
Figure BDA0003519636640000084
分组至第1第三特征组XV_1。类似地，可以确定其他第三特征的分组。
图5是根据本公开的另一个实施例的图像处理方法的流程图。
如图5所示，方法530可以对N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到待处理图像的融合特征图，下面将结合操作S531～操作S532进行详细说明。
在操作S531，对N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到N个融合特征数据。
在本公开实施例中，根据第n第一特征组、第n第二特征组和第n第三特征组，确定第n组特征数据。
例如，将上文所述的第1第一特征组XQ_1、第1第二特征组XK_1和第1第三特征组XV_1确定为第1组特征数据(XQ_1，XK_1，XV_1)。类似地，可以确定第2组特征数据(XQ_2，XK_2，XV_2)、第3组特征数据(XQ_3，XK_3，XV_3)和第4组特征数据(XQ_4，XK_4，XV_4)。
在本公开实施例中，对第n组数据执行自注意力融合，得到第n融合特征数据。
例如，可以对第1组特征数据(XQ_1，XK_1，XV_1)执行自注意力融合，得到第1组融合特征数据Y_1。在一个示例中，对于第1组特征数据(XQ_1，XK_1，XV_1)，可以先将第1第一特征组XQ_1和第1第二特征组XK_1融合，得到特征数据XQ_K_1。再根据特征数据XQ_K_1，可以确定自注意力特征数据SAQ_K_1。将自注意力特征数据SAQ_K_1与第1第三特征组XV_1融合，可以得到第1组融合特征数据Y_1。
类似地，可以得到第2组融合特征数据Y_2，第3组融合特征数据Y_3和第4组融合特征数据Y_4。
在操作S532，将N个融合特征数据进行拼接，得到待处理图像的融合特征图。
例如，可以将4个融合特征数据拼接，得到待处理图像的融合特征图。在一个示例中，可以将第1组融合特征数据Y_1、第2组融合特征数据Y_2、第3组融合特征数据Y_3和第4组融合特征数据Y_4拼接，得到融合特征图。
图6A是根据本公开的一个实施例的初始特征图的示意图。
待处理图像可以是一个RGB图像。对待处理图像的一个通道的灰度图像进行特征提取，可以得到例如图6A所示的初始特征图X 601。
图6B是根据本公开的一个实施例的第一特征图的示意图。
如图6B所示，利用一个线性层对该初始特征图X 600进行处理，可以得到第一特征图X_Q 610。第一特征图X_Q 610包括多个第一特征。本实施例中，第一特征图X_Q 610包括25个第一特征。在一个示例中，第一特征图X_Q 610包括第一特征
Figure BDA0003519636640000091
611。
图6C是根据本公开的一个实施例的第二特征图的示意图。
如图6C所示，利用一个线性层对初始特征图X 600进行处理，可以得到第二特征图X_K 620。第二特征图X_K 620包括多个第二特征。本实施例中，第二特征图X_K 620包括25个第二特征。在一个示例中，第二特征图X_K 620包括第二特征
Figure BDA0003519636640000092
625。
图6D是根据本公开的一个实施例的第三特征图的示意图。
如图6D所示，利用一个线性层对初始特征图X 600进行处理，可以得到第三特征图X_V 630，第三特征图X_V 630包括多个第三特征。本实施例中，第三特征图X_V 630包括25个第三特征。在一个示例中，第三特征图X_V 630包括第三特征
Figure BDA0003519636640000093
635。
图6E是根据本公开的一个实施例的进行分组的原理图。
如图6E所示，本实施例中，以N＝4示例。即，本实施例中，共有4个聚类中心。
例如，对于第一特征图X_Q 610的25个第一特征中的每个第一特征。计算每个第一特征与4个聚类中心中每个聚类中心的余弦相似度。
在一个示例中，第一特征
Figure BDA0003519636640000101
611与第1个聚类中心的余弦相似度为0.8，第一特征
Figure BDA0003519636640000102
611与第2个聚类中心的余弦相似度为0.6，第一特征
Figure BDA0003519636640000103
611与第3个聚类中心的余弦相似度为0.7，第一特征
Figure BDA0003519636640000104
611与第4个聚类中心的余弦相似度为0.3。
可以确定4个聚类中心与第一特征
Figure BDA0003519636640000105
611的余弦相似度最大的聚类中心为第1个聚类中心。可以将第一特征
Figure BDA0003519636640000106
611分组至第1第一特征组，以便得到第一特征组XQ_1 610_1。
类似地，可以确定被分组至第1第一特征组XQ_1 610_1的其他第一特征。在一个示例中，如图6E所示，第1第一特征组XQ_1 610_1包括6个第一特征。6个第一特征包括上文所述的第一特征
Figure BDA0003519636640000107
611和第一特征
Figure BDA0003519636640000108
类似地，可以得到第2第一特征组XQ_2 610_2、……第N第一特征组XQ_N 610_N。如图6E所示，第2第一特征组XQ_2 610_2包括6个第一特征。第N第一特征组XQ_N 610_N包括8个第一特征。
又例如，接下来，对于4个聚类中心中的第1个聚类中心，可以确定多个第二特征中的每个第二特征与第1个聚类中心的内积。可按照由大至小的顺序，根据内积的大小对多个第二特征进行排序。将多个第二特征中内积最大的前K个第二特征分组至第1第二特征组。
在一个示例中，K的取值可以大于第1第一特征组XQ_1 610_1中第一特征的数目(例如6)。此外K的取值可以与第二特征图包含的第二特征的数目(例如25)具有公约数。本实施中，以K＝10为示例。
在多个第二特征与第1个聚类中的内积中，按照由大至小的顺序，第二特征
Figure BDA0003519636640000109
625与第1个聚类中心的内积排在前10。可以将第二特征
Figure BDA00035196366400001010
625分组至第1第二特征组XK_1 620_1。
类似地，可以确定被分组至第1第二特征组XK_1 620_1的其他第二特征。在一个示例中，第1第二特征组XK_1620_1包括10个第二特征。10个第二特征包括上文所述的第二特征
Figure BDA0003519636640000111
625。在一个示例中，每个第二特征组都可以包括10个第二特征。
类似地，可以得到第2第二特征组XK_2 620_2、……第N第二特征组XK_N 620_N。
又例如，接下来，可以根据多个第二特征的分组情况，对多个第三特征进行分组。
在一个示例中，在第二特征
Figure BDA0003519636640000112
625分组至第1第二特征组XK_1 620_1的情况下，可以将第三特征
Figure BDA0003519636640000113
635分组至第1第三特征组XV_1630_1。
类似地，可以根据被分组至第1第二特征组Xk_1 620_1中的其他第二特征，将对应的第三特征分组至第1第三特征组XV_2 630_1，以确定第1第三特征组XV_1 630_1。
类似地，可以得到第2第三特征组XV_2 630_2、……第N第三特征组XV_N 630_N。
图6F是根据本公开的一个实施例的图像处理方法的原理图。
如图6F所示，可以将第1第一特征组XQ_1 6101、第1第二特征组XK_1620_1和第1第三特征组XV_1 630_1确定为第1组特征数据(XQ_1，XK_1，XV_1)。
类似地，共可以确定N组特征数据，分别为第1组特征数据(XQ_1，XK_1，XV_1)、第2组特征数据(XQ_2，XK_2，XV_2)、……第N组特征数据(XQ_N，XK_N，XV_N)。
在一个示例中，对于第1组特征数据(XQ_1，XK_1，XV_1)，可以将第1第二特征组XK_ 1620_1中的每个第二特征转置，得到转置后的第1第二特征组X’K_1。可以将第1第一特征组XQ_1610_1和转置后的第1第二特征组X’K_1融合，得到特征数据XQ_K_1。利用一个Softmax层处理特征数据XQ_K_1，以确定自注意力特征数据SAQ_K_1640_1。将自注意力特征数据SAQ_K_1640_1与第1第三特征组XV_1 630_1融合，得到第1组融合特征数据Y_1650_1。
类似地，共可以得到N组融合特征数据，分别为第1组融合特征数据Y_1 650_1、第2组融合特征数据Y_2、……第N组融合特征数据Y_N。将N组融合特征数据拼接，可以得到待处理图像的融合特征图。
在另一些实施例中，对于第1组特征数据(XQ_1，XK_1，XV_1)，可以将第1第一特征组XQ_1中的每个第一特征转置，得到转置后的第1第一特征组X’Q_1。可以将转置后的第1第一特征组X’Q_1和第1第二特征组XK_1融合，得到特征数据X′Q_K_1。利用一个Softmax层处理特征数据X′Q_K_1，以确定自注意力特征数据SA′Q_K_1。将自注意力特征数据SA′Q_K_1与第1第三特征组XV_1融合，得到第1组融合特征数据。
图7是根据本公开的另一个实施例的图像处理方法的流程图。
如图7所示，该方法700可以在上文所述的操作S230之后执行，下面将结合操作S740至操作S750进行详细说明。
在操作S740，对于N个聚类中心中的当前第n个聚类中心，根据第n第一特征组中的第一特征，确定第n个聚类中心参考值。
例如，可以通过以下公式确定第n个聚类中心参考值e′n：
Figure BDA0003519636640000121
I_n为第n第一特征组中第一特征的数目。
Figure BDA0003519636640000122
为第n第一特征组中第一特征中一个第一特征。i为大于或等于1的整数，i为小于或等于I_n的整数。在一个示例中，如上文所述，对于第1第一特征组，I_n为6。
在操作S750，根据第n个聚类中心参考值和当前第n个聚类中心，确定更新的第n个聚类中心。
例如，可以通过以下公式确定更新的第n个聚类中心
Figure BDA0003519636640000123
Figure BDA0003519636640000124
Figure BDA0003519636640000125
是当前第n个聚类中心，τ是一个用来控制更新速度的超参数。在一个示例中，将τ设为0.1×lr，lr是学习率。
在一个示例中，Norm(z)＝z/|z|，|z|为向量z的模。
在一些实施例中，上文所述的图像处理方法还包括：根据待处理图像的融合特征图，检测待处理图像中的目标对象。
图8是根据本公开的一个实施例的深度学习模型的训练方法的流程图。
如图8所示，该方法800可以包括操作S810至操作S830。
在操作S810，将样本图像输入深度学习模型，得到融合特征图。
在本公开实施例中，深度学习模型包括多个特征提取级。
例如，多个特征提取级中的至少一个包括动态分组模块，动态分组模块用于执行根据本公开提供的方法。
在一个示例中，深度学习模型包括4个特征提取级。4个特征提取级中有3个特征提取级包括动态分组模块。每个动态分组模块包括至少一个DGT Block(Dynamic GroupTransformer Block，动态分组编码块)。
在操作S820，根据融合特征图，得到样本图像的检测值。
在操作S830，根据样本图像的检测值与样本图像的标签之间的差异，调整深度学习模型的参数，得到经训练的深度学习模型。
例如，可以利用各种损失函数确定样本图像的检测值与样本图像的标签之间的差异。
图9是根据本公开的另一个实施例的深度学习模型的原理图。
如图9所示，该深度学习模型包括4个特征提取级，分别为特征提取级，分别为特征提取级Stage_900_1、特征提取级Stage_900_2、特征提取级Stage_900_3和特征提取级Stage_900_4。
该深度学习模型还包括前处理层Stem 930。前处理层Stem 930可以对待处理图像进行卷积处理，得到特征提取级Stage_900_1的输入特征图。
特征提取级Stage_900_1包括融合层920_1和动态分组模块910_1。在一个示例中，动态分组模块910_1可以包括1个DGT Block。融合层920_1可以对输入特征图进行patchmerging(块融合)处理，得到第1个融合后的输入特征图。动态分组模块910_1可以根据第1个融合后的输入特征图，输出第1个输出特征图。
特征提取级Stage_900_2包括融合层920_2和动态分组模块910_2。在一个示例中，动态分组模块910_2可以包括2个DGT Block。融合层920_2可以对第1个输出特征图进行patch merging处理，得到第2个融合后的输入特征图。动态分组模块910_2可以根据第2个融合后的输入特征图，输出第2个输出特征图。
特征提取级Stage_900_3包括融合层920_3和动态分组模块910_3。在一个示例中，动态分组模块910_3可以包括17个DGT Block。
特征提取级Stage_900_4包括融合层920_4和全局自注意力模块910_4。在一个示例中，全局自注意力模块910_4可以包括2个GSABlock(Global Self Attention Block，全局自注意力编码块)。
可以理解，特征提取级Stage_900_3和特征提取级Stage_900_4，与特征提取级Stage_900_2相同或类似，本公开在此不再赘述。
特征提取级Stage_900_4的输出可以为第4个输出特征图。
图10是根据本公开的一个实施例的动态分组编码块的原理图。
如图10所示，动态分组编码块DGT Block1000可以包括CPE(ConditionalPosition Embedding，条件位置嵌入)层1001、LN(Layer Normalization)层1002、DGA(Dynamic Group Attention，动态分组注意力)层1003、LN(Layer Normalization)层1004和IRFFN(Inverted Residual Feed-Forward Network，反向残差前馈网络)层1005。
例如，CPE层1001的输入可以是一个融合后的输入特征图。CPE层1001的输出可以是一个位置嵌入向量。该位置嵌入向量可以与融合后的输入特征图再次融合，得到中间特征图。
又例如，LN层1002的输入可以是中间特征图。若将上文所述的待处理图像作为一个样本图像，则LN层的输出可以是上文所述的初始特征图X。
DGA层1003的输入可以是初始特征图X。DGA层1003的输出可以是上文所述的融合特征图。该融合特征图可以与中间特征图再次融合，得到LN层1004的输入。
IRFFN层1005对LN层1004的输入进行处理后，可以生成一个子输出特征图。该子输出特征图可以作为下一个动态分组编码块的输入。
在一些实施例中，DGA层1003可以分别利用三个子线性层对初始特征图X进行处理，得到第一特征图XQ、第二特征图XK和第三特征图XV。第一特征图XQ包括多个第一特征。第二特征图XK包括多个第二特征。第三特征图XV包括多个第三特征。本实施例中，第一特征图XQ包括25个第一特征，第二特征图XK包括25个第二特征，第三特征图XV包括25个第三特征。在一个示例中，第一特征图XQ包括第一特征
Figure BDA0003519636640000151
第二特征图XK包括第二特征
Figure BDA0003519636640000152
第三特征图XV包括第三特征
Figure BDA0003519636640000153
接下来，DGA层1003可以根据N个聚类中心，分别对多个第一特征、多个第二特征和多个第三特征进行分组。
例如，聚类中心的数量可以为4个。
例如，DGA层1003可以分别确定每个第一特征与N个聚类中每个聚类中心的余弦相似度。在一个示例中，以多个第一特征中的第一特征
Figure BDA0003519636640000154
为示例，第一特征
Figure BDA0003519636640000155
与第1个聚类中心的余弦相似度为0.8，第一特征
Figure BDA0003519636640000156
与第2个聚类中心的余弦相似度为0.6，第一特征
Figure BDA0003519636640000157
与第3个聚类中心的余弦相似度为0.7，第一特征
Figure BDA0003519636640000158
与第4个聚类中心的余弦相似度为0.3。可以确定第1个聚类中心与第一特征
Figure BDA0003519636640000159
的余弦相似度最大。可以将第一特征
Figure BDA00035196366400001510
分组至第1第一特征组XQ_1。类似地，DGA层1003可以对其他的第一特征进行分组。
又例如，对于第1个聚类中心，DGA层1003可以确定多个第二特征中的每个第二特征与第1个聚类中心的内积，并根据内积大小对多个第二特征进行排序。此外，DGA层需要确定与第1个聚类中心对应的第二特征组中第二特征的数目K，以第1第一特征组中第一特征的数目是6为示例。K可以大于6。K可以与第二特征的总数(例如25)具有公约数。即K可以为10、15、20中的一个。本实施例中，以K＝10为示例。
接下来，DGA层1003可以将多个第二特征中与第1个聚类中心的内积最大的前10个第二特征分组至第1第二特征组XK_1。类似地，DGA层1003可以对其他第二特征进行分组。
又例如，在25个第二特征中的第5个第二特征
Figure BDA00035196366400001511
被分组至第1第二特征组的情况下，DGA层1003可以将25个第三特征中的第5个第三特征
Figure BDA00035196366400001512
分组至第1第三特征组XV_1。类似地，DGA层1003可以对其他第三特征进行分组。
又例如，DGA层1003可以将上文所述的第1第一特征组XQ_1、第1第二特征组XK_1和第1第三特征组XV_1确定为第1组特征数据(XQ_1，XK_1，XV_1)。
接下来，DGA层1003可以对第1组特征数据(XQ_1，XK_1，XV_1)执行自注意力融合，得到第1组融合特征数据Y_1。在一个示例中，对于第1组特征数据(XQ_1，XK_1，XV_1)，可以先将第1第一特征组XQ_1和第1第二特征组XK_1融合，得到特征数据XQ_K_1。再根据特征数据XQ_K_1，确定自注意力特征数据SAQ_K_1。将自注意力特征数据SAQ_K_1与第1第三特征组XV_1融合，得到第1组融合特征数据Y_1。
类似地，共可以得到4组融合特征数据。DGA层1003还可以将4个融合特征数据拼接，得到待处理图像的融合特征图。
在一些实施例中，CPE层的输入也可以是上一个DGT Block的输出。
图11是根据本公开的一个实施例的深度学习模型的参数示意图。
如图11所示，对深度学习模型进行调整，得到深度学习模型DGT_T、深度学习模型DGT_S和深度学习模型DGT_B。例如，深度学习模型DGT_T是一个微型模型，参数总量很少。深度学习模型DGT_S是一个小型模型，参数总量较少。深度学习模型DGT_B是一个基础模型，参数总量较多。
例如，对于深度学习模型DGT_T，其前处理层Stem_T包括级联的三个子卷积层，每个子卷积层可以包括32个3×3的卷积核。级联的三个的子卷积层中第1个子卷积层的步长为2，其余的子卷积层的步长为1。
深度学习模型DGT_T的第1个特征提取级Stage_DGT_T1包括1个融合层PM_T1和1个DGT Block_T1。该融合层PM_T1可以包括64个3×3的卷积核，该融合层PM_T1的步长为2。DGTBlock_T1中Head(头)的数目H1为2，分组的数目G1为48，每个第二特征组中第二特征的数目k1为98。DGT Block_T1中IRFFN层的扩张系数R1为4。
深度学习模型DGT_T的第2个特征提取级Stage_DGT_T2包括1个融合层PM_T2和2个DGT Block_T2，该融合层PM_T2可以包括128个3×3的卷积核，该融合层PM_T2的步长为2。DGT Block_T2中Head的数目H2为4，分组的数目G2为48，每个第二特征组中第二特征的数目k2为98。DGT Block_T2中IRFFN层的扩张系数R2为4。
深度学习模型DGT_T的第3个特征提取级Stage_DGT_T3包括1个融合层PM_T3和17个DGT Block_T3，该融合层PM_T3可以包括256个3×3的卷积核，该融合层PM_T3的步长为2。DGT Block_T3中Head的数目H3为8，分组的数目G3为48，每个第二特征组中第二特征的数目k3为98。DGT Block_T3中IRFFN层的扩张系数R3为4。
深度学习模型DGT_T的第4个特征提取级Stage_DGT_T4包括1个融合层PM_T4和2个GSA Block_T，该融合层PM_T4可以包括512个3×3的卷积核，该融合层PM_T4的步长为2。特征提取级Stage_DGT_T4中每个GSA Block_T中Head的数目H4为16。每个GSA Block_T中IRFFN层的扩张系数R4为4。
又例如，对于深度学习模型DGT_S，其前处理层Stem_S包括级联的三个子卷积层，每个子卷积层可以基于48个3×3的卷积核。级联的三个的子卷积层中第1个子卷积层的步长为2，其余的子卷积层的步长为1。
深度学习模型DGT_S的第1个特征提取级Stage_DGT_S1包括1个融合层PM_S1和1个DGT Block_S1。该融合层PM_S1可以包括96个3×3的卷积核，该融合层PM_S1的步长为2。DGTBlock_S1中Head的数目H1为3，分组的数目G1为48，每个第二特征组中第二特征的数目k1为98。DGT Block_S1中IRFFN层的扩张系数R1为4。
深度学习模型DGT_S的第2个特征提取级Stage_DGT_S2包括1个融合层PM_S2和2个DGT Block_S2，该融合层PM_S2可以包括192个3×3的卷积核，该融合层PM_S2的步长为2。DGT Block_S2中Head的数目H2为6，分组的数目G2为48，每个第二特征组中第二特征的数目k2为98。DGT Block_S2中IRFFN层的扩张系数R2为4。
深度学习模型DGT_S的第3个特征提取级Stage_DGT_S3包括1个融合层PM_S3和17个DGT Block_S3，该融合层PM_S3可以包括384个3×3的卷积核，该融合层PM_S3的步长为2。DGT Block_S3中Head的数目H3为12，分组的数目G3为48，每个第二特征组中第二特征的数目k3为98。DGT Block_S3中IRFFN层的扩张系数R3为4。
深度学习模型DGT_S的第4个特征提取级Stage_DGT_S4包括1个融合层PM_S4和2个GSA Block_S，该融合层PM_S4可以包括768个3×3的卷积核，该融合层PM_S4的步长为2。特征提取级Stage_DGT_S4中每个GSA Block_S中Head的数目H4为24。每个GSA Block_S中IRFFN层的扩张系数R4为4。
又例如，对于深度学习模型DGT_B，其前处理层Stem_B包括级联的三个子卷积层，每个子卷积层可以基于64个3×3的卷积核。级联的三个的子卷积层中第1个子卷积层的步长为2，其余的子卷积层的步长为1。
深度学习模型DGT_B的第1个特征提取级Stage_DGT_B1包括1个融合层PM_B1和1个DGT Block_B1。该融合层PM_B1可以包括128个3×3的卷积核，该融合层PM_B1的步长为2。DGT Block_B1中Head的数目H1为4，分组的数目G1为48，每个第二特征组中第二特征的数目k1为98。DGT Block_B1中IRFFN层的扩张系数R1为4。
深度学习模型DGT_B的第2个特征提取级Stage_DGT_B2包括1个融合层PM_B2和2个DGT Block_B2，该融合层PM_B2可以包括256个3×3的卷积核，该融合层PM_B2的步长为2。DGT Block_B2中Head的数目H2为8，分组的数目G2为48，每个第二特征组中第二特征的数目k2为98。DGT Block_B2中IRFFN层的扩张系数R2为4。
深度学习模型DGT_B的第3个特征提取级Stage_DGT_B3包括1个融合层PM_B3和17个DGT Block_B3，该融合层PM_B3可以包括512个3×3的卷积核，该融合层PM_B3的步长为2。DGT Block_B3中Head的数目H3为16，分组的数目G3为48，每个第二特征组中第二特征的数目k3为98。DGT Block_B3中IRFFN层的扩张系数R3为4。
深度学习模型DGT_B的第4个特征提取级Stage_DGT_B4包括1个融合层PM_B4和2个GSA Block_B，该融合层PM_B4可以包括1024个3×3的卷积核，该融合层PM_B4的步长为2。特征提取级Stage_DGT_B4中每个GSA Block_B中Head的数目H4为32。每个GSA Block_B中IRFFN层的扩张系数R4为4。
又例如，本实施例中，每个深度学习模型都还包括一个全连接层FC和一个分类器Classifier。全连接层FC包括1280个1×1的卷积核。分类器Classifier包括1000个1×1的卷积核。
图12是根据本公开的一个实施例的图像处理装置的框图。
如图12所示，该装置1200可以包括第一确定模块l210、分组模块1220和处理模块1230。
第一确定模块1210，用于确定待处理图像的多个第一特征、多个第二特征和多个第三特征。在一个示例中，该第一确定模块1210可以用于执行例如图2中的操作S210。
分组模块1220，用于根据聚类中心，分别对所述多个第一特征、所述多个第二特征和所述多个第三特征进行分组，得到N个第一特征组、N个第二特征组和N个第三特征组。例如，N为大于1的整数。在一个示例中，该分组模块1220可以用于执行例如图2中的操作S220。
处理模块1230，用于对所述N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到所述待处理图像的融合特征图。在一个示例中，该处理模块1230可以用于执行例如图2中的操作S230。
在一些实施例中，所述聚类中心包括N个聚类中心；所述分组模块包括：第一确定子模块，用于对于多个第一特征中的每个第一特征，分别确定所述每个第一特征与N个聚类中心中每个聚类中心之间的相似度；第二确定子模块，用于确定N个聚类中心中与所述每个第一特征之间的相似度最大的第n个聚类中心，其中，n为小于或等于N的整数；以及第一分组子模块，用于将所述每个第一特征分组至第n第一特征组。
在一些实施例中，所述分组模块还包括：第二确定子模块，用于对于N个聚类中心中的第n个聚类中心，确定多个第二特征中的所述每个第二特征与第n个聚类中心的内积；排序子模块，用于根据内积大小对所述多个第二特征进行排序；以及第二分组子模块，用于将所述多个第二特征中内积最大的前K个第二特征分组至第n第二特征组，其中，K大于所述第n第一特征组中第一特征的数目。
在一些实施例中，所述多个第一特征包括M个第一特征，多个第二特征包括M个第二特征，以及多个第三特征包括M个第三特征，M为大于或等于1的整数；所述分组模块还包括：第三分组子模块，用于在所述M个第二特征中的第m个第二特征被分组至第n第二特征组的情况下，将所述M个第三特征中的第m个第三特征被分组至第n第三特征组，m为小于或等于M的整数。
在一些实施例中，装置1200还包括：第二确定模块，用于对于N个聚类中心中的当前第n个聚类中心，根据所述第n第一特征组中的第一特征，确定第n个聚类中心参考值；以及第三确定模块，用于根据所述第n个聚类中心参考值和当前第n个聚类中心，确定更新的第n个聚类中心。
在一些实施例中，所述处理模块包括：处理子模块，用于对所述N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到N个融合特征数据：以及拼接子模块，用于将所述N个融合特征数据进行拼接，得到所述待处理图像的融合特征图。
在一些实施例中，所述处理子模块包括：确定单元，用于根据第n第一特征组、第n第二特征组和第n第三特征组，确定第n组特征数据；以及融合单元，用于对所述第n组数据执行自注意力融合，得到第n融合特征数据。
在一些实施例中，装置700还包括：检测模块，用于根据所述待处理图像的融合特征图，检测所述待处理图像中的目标对象。
图13是根据本公开的另一个实施例的深度学习模型的训练装置的框图。
如图13所示，该装置1300可以包括第一获得模块1310、第二获得模块1320和调整模块1330。
第一获得模块1310，用于将样本图像输入深度学习模型，得到融合特征图。在一个示例中，该第一获得模块1310可以用于执行例如图8中的操作S810。
第二获得模块1320，用于根据所述融合特征图，得到所述样本图像的检测值。在一个示例中，该第二获得模块1320可以用于执行例如图8中的操作S820。
调整模块1330，用于根据所述样本图像的检测值与所述样本图像的标签之间的差异，调整所述深度学习模型的参数，得到经训练的深度学习模型。在一个示例中，该调整模块1330可以用于执行例如图8中的操作S830。
例如，所述深度学习模型包括多个特征提取级，所述多个特征提取级中的至少一个包括动态分组模块，所述动态分组模块包括本公开提供的装置。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图14示出了可以用来实施本公开的实施例的示例电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图14所示，设备1400包括计算单元1401，其可以根据存储在只读存储器(ROM)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(RAM)1403中的计算机程序，来执行各种适当的动作和处理。在RAM 1403中，还可存储设备1400操作所需的各种程序和数据。计算单元1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。
设备1400中的多个部件连接至I/O接口1405，包括：输入单元1406，例如键盘、鼠标等；输出单元1407，例如各种类型的显示器、扬声器等；存储单元1408，例如磁盘、光盘等；以及通信单元1409，例如网卡、调制解调器、无线通信收发机等。通信单元1409允许设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和处理，例如图像处理方法和/或深度学习模型的训练方法。例如，在一些实施例中，图像处理方法和/或深度学习模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1408。在一些实施例中，计算机程序的部分或者全部可以经由ROM1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到RAM1403并由计算单元1401执行时，可以执行上文描述的图像处理方法和/或深度学习模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法和/或深度学习模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种图像处理方法，包括：
确定待处理图像的多个第一特征、多个第二特征和多个第三特征；
根据聚类中心，分别对所述多个第一特征、所述多个第二特征和所述多个第三特征进行分组，得到N个第一特征组、N个第二特征组和N个第三特征组，N为大于1的整数；以及
对所述N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到所述待处理图像的融合特征图。
2.根据权利要求1所述的方法，其中，所述聚类中心包括N个聚类中心；所述根据聚类中心，对所述多个第一特征、多个第二特征和多个第三特征进行分组包括：
对于多个第一特征中的每个第一特征，
分别确定所述每个第一特征与N个聚类中心中每个聚类中心之间的相似度；
确定N个聚类中心中与所述每个第一特征之间的相似度最大的第n个聚类中心，其中，n为小于或等于N的整数；以及
将所述每个第一特征分组至第n第一特征组。
3.根据权利要求2所述的方法，其中，所述根据聚类中心，对所述多个第一特征、第二特征和多个第三特征进行分组还包括：
对于N个聚类中心中的第n个聚类中心，
确定多个第二特征中的所述每个第二特征与第n个聚类中心的内积；
根据内积大小对所述多个第二特征进行排序；以及
将所述多个第二特征中内积最大的前K个第二特征分组至第n第二特征组，其中，K大于所述第n第一特征组中第一特征的数目。
4.根据权利要求2或3所述的方法，其中，所述多个第一特征包括M个第一特征，多个第二特征包括M个第二特征，以及多个第三特征包括M个第三特征，M为大于或等于1的整数；所述根据聚类中心，对所述多个第一特征、第二特征和多个第三特征进行分组还包括：
在所述M个第二特征中的第m个第二特征被分组至第n第二特征组的情况下，将所述M个第三特征中的第m个第三特征被分组至第n第三特征组，m为小于或等于M的整数。
5.根据权利要求2-4之一所述的方法，还包括：
对于N个聚类中心中的当前第n个聚类中心，
根据所述第n第一特征组中的第一特征，确定第n个聚类中心参考值；以及
根据所述第n个聚类中心参考值和当前第n个聚类中心，确定更新的第n个聚类中心。
6.根据权利要求4所述的方法，其中，所述对所述N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到所述待处理图像的融合特征图包括：
对所述N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到N个融合特征数据：以及
将所述N个融合特征数据进行拼接，得到所述待处理图像的融合特征图。
7.根据权利要求6所述的方法，其中，所述对所述N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到N个融合特征数据包括：
根据第n第一特征组、第n第二特征组和第n第三特征组，确定第n组特征数据；以及
对所述第n组数据执行自注意力融合，得到第n融合特征数据。
8.根据权利要求1所述的方法，还包括：
根据所述待处理图像的融合特征图，检测所述待处理图像中的目标对象。
9.一种深度学习模型的训练方法，包括：
将样本图像输入深度学习模型，得到融合特征图；
根据所述融合特征图，得到所述样本图像的检测值；以及
根据所述样本图像的检测值与所述样本图像的标签之间的差异，调整所述深度学习模型的参数，得到经训练的深度学习模型；
其中，所述深度学习模型包括多个特征提取级，所述多个特征提取级中的至少一个包括动态分组模块，所述动态分组模块用于执行根据权利要求1-8之一所述的方法。
10.一种图像处理装置，包括：
第一确定模块，用于确定待处理图像的多个第一特征、多个第二特征和多个第三特征；
分组模块，用于根据聚类中心，分别对所述多个第一特征、所述多个第二特征和所述多个第三特征进行分组，得到N个第一特征组、N个第二特征组和N个第三特征组，N为大于1的整数；以及
处理模块，用于对所述N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到所述待处理图像的融合特征图。
11.根据权利要求10所述的装置，其中，所述聚类中心包括N个聚类中心；所述分组模块包括：
第一确定子模块，用于对于多个第一特征中的每个第一特征，分别确定所述每个第一特征与N个聚类中心中每个聚类中心之间的相似度；
第二确定子模块，用于确定N个聚类中心中与所述每个第一特征之间的相似度最大的第n个聚类中心，其中，n为小于或等于N的整数；以及
第一分组子模块，用于将所述每个第一特征分组至第n第一特征组。
12.根据权利要求11所述的装置，其中，所述分组模块还包括：
第二确定子模块，用于对于N个聚类中心中的第n个聚类中心，确定多个第二特征中的所述每个第二特征与第n个聚类中心的内积；
排序子模块，用于根据内积大小对所述多个第二特征进行排序；以及
第二分组子模块，用于将所述多个第二特征中内积最大的前K个第二特征分组至第n第二特征组，其中，K大于所述第n第一特征组中第一特征的数目。
13.根据权利要求11或12所述的装置，其中，所述多个第一特征包括M个第一特征，多个第二特征包括M个第二特征，以及多个第三特征包括M个第三特征，M为大于或等于1的整数；所述分组模块还包括：
第三分组子模块，用于在所述M个第二特征中的第m个第二特征被分组至第n第二特征组的情况下，将所述M个第三特征中的第m个第三特征被分组至第n第三特征组，m为小于或等于M的整数。
14.根据权利要求11-13之一所述的装置，还包括：
第二确定模块，用于对于N个聚类中心中的当前第n个聚类中心，根据所述第n第一特征组中的第一特征，确定第n个聚类中心参考值；以及
第三确定模块，用于根据所述第n个聚类中心参考值和当前第n个聚类中心，确定更新的第n个聚类中心。
15.根据权利要求13所述的装置，其中，所述处理模块包括：
处理子模块，用于对所述N个第一特征组、N个第二特征组和N个第三特征组进行处理，得到N个融合特征数据：以及
拼接子模块，用于将所述N个融合特征数据进行拼接，得到所述待处理图像的融合特征图。
16.根据权利要求15所述的装置，其中，所述处理子模块包括：
确定单元，用于根据第n第一特征组、第n第二特征组和第n第三特征组，确定第n组特征数据；以及
融合单元，用于对所述第n组数据执行自注意力融合，得到第n融合特征数据。
17.根据权利要求1所述的装置，还包括：
检测模块，用于根据所述待处理图像的融合特征图，检测所述待处理图像中的目标对象。
18.一种深度学习模型的训练装置，包括：
第一获得模块，用于将样本图像输入深度学习模型，得到融合特征图；
第二获得模块，用于根据所述融合特征图，得到所述样本图像的检测值；以及
调整模块，用于根据所述样本图像的检测值与所述样本图像的标签之间的差异，调整所述深度学习模型的参数，得到经训练的深度学习模型；
其中，所述深度学习模型包括多个特征提取级，所述多个特征提取级中的至少一个包括动态分组模块，所述动态分组模块包括根据权利要求10-17之一所述的装置。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至9中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的方法。
CN202210174175.9A 2022-02-24 2022-02-24 图像处理方法、深度学习模型的训练方法、装置和设备 Active CN114549883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210174175.9A CN114549883B (zh) 2022-02-24 2022-02-24 图像处理方法、深度学习模型的训练方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210174175.9A CN114549883B (zh) 2022-02-24 2022-02-24 图像处理方法、深度学习模型的训练方法、装置和设备

Publications (2)

Publication Number Publication Date
CN114549883A true CN114549883A (zh) 2022-05-27
CN114549883B CN114549883B (zh) 2023-09-05

Family

ID=81677315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210174175.9A Active CN114549883B (zh) 2022-02-24 2022-02-24 图像处理方法、深度学习模型的训练方法、装置和设备

Country Status (1)

Country Link
CN (1) CN114549883B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100195914A1 (en) * 2009-02-02 2010-08-05 Michael Isard Scalable near duplicate image search with geometric constraints
CN104412301A (zh) * 2012-06-29 2015-03-11 日本电气株式会社 图像处理设备、图像处理方法、以及程序
CN108228844A (zh) * 2018-01-09 2018-06-29 美的集团股份有限公司 一种图片筛选方法及装置、存储介质、计算机设备
CN108229455A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN108830322A (zh) * 2018-06-15 2018-11-16 联想(北京)有限公司 一种图像处理方法及装置、设备、存储介质
CN110119716A (zh) * 2019-05-15 2019-08-13 中国科学院自动化研究所 一种多源图像处理方法
CN110175546A (zh) * 2019-05-15 2019-08-27 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111337768A (zh) * 2020-03-02 2020-06-26 武汉大学 变压器油中溶解气体的深度并行故障诊断方法及系统
CN111695389A (zh) * 2019-03-15 2020-09-22 北京四维图新科技股份有限公司 一种车道线聚类方法及装置
CN112488229A (zh) * 2020-12-10 2021-03-12 西安交通大学 一种基于特征分离和对齐的域自适应无监督目标检测方法
US11036764B1 (en) * 2017-01-12 2021-06-15 Parallels International Gmbh Document classification filter for search queries
CN113222916A (zh) * 2021-04-28 2021-08-06 北京百度网讯科技有限公司 采用目标检测模型检测图像的方法、装置、设备和介质
US20210365713A1 (en) * 2021-02-26 2021-11-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Image clustering method and apparatus, and storage medium
CN114036553A (zh) * 2021-10-28 2022-02-11 杭州电子科技大学 一种结合k匿名的行人身份隐私保护方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100195914A1 (en) * 2009-02-02 2010-08-05 Michael Isard Scalable near duplicate image search with geometric constraints
CN104412301A (zh) * 2012-06-29 2015-03-11 日本电气株式会社 图像处理设备、图像处理方法、以及程序
US11036764B1 (en) * 2017-01-12 2021-06-15 Parallels International Gmbh Document classification filter for search queries
CN108229455A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN108228844A (zh) * 2018-01-09 2018-06-29 美的集团股份有限公司 一种图片筛选方法及装置、存储介质、计算机设备
CN108830322A (zh) * 2018-06-15 2018-11-16 联想(北京)有限公司 一种图像处理方法及装置、设备、存储介质
CN111695389A (zh) * 2019-03-15 2020-09-22 北京四维图新科技股份有限公司 一种车道线聚类方法及装置
CN110175546A (zh) * 2019-05-15 2019-08-27 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110119716A (zh) * 2019-05-15 2019-08-13 中国科学院自动化研究所 一种多源图像处理方法
CN111337768A (zh) * 2020-03-02 2020-06-26 武汉大学 变压器油中溶解气体的深度并行故障诊断方法及系统
CN112488229A (zh) * 2020-12-10 2021-03-12 西安交通大学 一种基于特征分离和对齐的域自适应无监督目标检测方法
US20210365713A1 (en) * 2021-02-26 2021-11-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Image clustering method and apparatus, and storage medium
CN113222916A (zh) * 2021-04-28 2021-08-06 北京百度网讯科技有限公司 采用目标检测模型检测图像的方法、装置、设备和介质
CN114036553A (zh) * 2021-10-28 2022-02-11 杭州电子科技大学 一种结合k匿名的行人身份隐私保护方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUAN LUO, ET AL: "SiamSMDFFF: Siamese network tracker based on shallow-middle-deep three-level feature fusion and clustering-based adaptive rectangular window filtering", NEUROCOMPUTING, pages 160 - 170 *
曹春键: "基于深度学习的车辆目标检测研究", 南京信息工程大学, pages 1 - 79 *

Also Published As

Publication number Publication date
CN114549883B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN112966522B (zh) 一种图像分类方法、装置、电子设备及存储介质
US20190188567A1 (en) Dynamic neural network surgery
CN113989593A (zh) 图像处理方法、检索方法、训练方法、装置、设备及介质
CN113642583B (zh) 用于文本检测的深度学习模型训练方法及文本检测方法
CN112749300B (zh) 用于视频分类的方法、装置、设备、存储介质和程序产品
CN114663952A (zh) 对象分类方法、深度学习模型的训练方法、装置和设备
CN114693934B (zh) 语义分割模型的训练方法、视频语义分割方法及装置
CN114187459A (zh) 目标检测模型的训练方法、装置、电子设备以及存储介质
CN115496970A (zh) 图像任务模型的训练方法、图像识别方法以及相关装置
CN115409855A (zh) 图像处理方法、装置、电子设备和存储介质
CN113627536A (zh) 模型训练、视频分类方法，装置，设备以及存储介质
CN110633717A (zh) 一种目标检测模型的训练方法和装置
CN114693970A (zh) 对象分类方法、深度学习模型的训练方法、装置和设备
CN114463551A (zh) 图像处理方法、装置、存储介质及电子设备
CN114202648A (zh) 文本图像矫正方法、训练方法、装置、电子设备以及介质
CN116310356B (zh) 深度学习模型的训练方法、目标检测方法、装置及设备
CN113642654B (zh) 图像特征的融合方法、装置、电子设备和存储介质
CN114419327B (zh) 图像检测方法和图像检测模型的训练方法、装置
CN114943995A (zh) 人脸识别模型的训练方法、人脸识别方法及装置
CN114549883B (zh) 图像处理方法、深度学习模型的训练方法、装置和设备
CN112784967B (zh) 信息处理方法、装置以及电子设备
CN114707638A (zh) 模型训练、对象识别方法及装置、设备、介质和产品
CN114863162A (zh) 对象分类方法、深度学习模型的训练方法、装置和设备
CN114926322A (zh) 图像生成方法、装置、电子设备和存储介质
CN114330576A (zh) 模型处理方法、装置、图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant