CN111881912A - 数据处理方法、装置以及电子设备 - Google Patents
数据处理方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN111881912A CN111881912A CN202010839836.6A CN202010839836A CN111881912A CN 111881912 A CN111881912 A CN 111881912A CN 202010839836 A CN202010839836 A CN 202010839836A CN 111881912 A CN111881912 A CN 111881912A
- Authority
- CN
- China
- Prior art keywords
- feature map
- weight
- feature
- element position
- fused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000010586 diagram Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 156
- 238000007499 fusion processing Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种数据处理方法、装置以及电子设备。所述方法包括：获取待融合的第一特征图以及第二特征图，所述待融合的第一特征图以及第二特征图的属性参数相互匹配；获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，所述第一特征图中的元素位置与所述第二特征图中的元素位置一一对应；基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图；基于所述融合特征图进行目标检测。从而通过前述方式提升了特征融合的合理性，进而提升了目标检测结果的准确性。
Description
技术领域
本申请涉及计算机技术领域，更具体地，涉及一种数据处理方法、装置以及电子设备。
背景技术
为了弥补一阶段目标检测器相对于两阶段目标检测器在预测层输入的ROI(Region of Interest)特征图缺失，改善一阶段目标检测器在小目标、多种类以及复杂场景的检测能力，多种特征图金字塔(多层特征图)以及特征图融合技术被提出。但是，在相关的特征图融合过程中还存在融合结果不够合理，并且会造成最终的目标检测结果不够准确的问题。
发明内容
鉴于上述问题，本申请提出了一种数据处理方法、装置以及电子设备，以改善上述问题。
第一方面，本申请提供了一种数据处理方法，应用于电子设备，所述方法包括：获取待融合的第一特征图以及第二特征图，所述待融合的第一特征图以及第二特征图的属性参数相互匹配，所述属性参数包括通道数量以及尺寸；获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，所述第一特征图中的元素位置与所述第二特征图中的元素位置一一对应；基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图；基于所述融合特征图进行目标检测。
第二方面，本申请提供了一种数据处理装置，运行于电子设备，所述装置包括：特征获取单元，用于获取待融合的第一特征图以及第二特征图，所述待融合的第一特征图以及第二特征图的属性参数相互匹配，所述属性参数包括通道数量以及尺寸；权重获取单元，用于获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，所述第一特征图中的元素位置与所述第二特征图中的元素位置一一对应；特征融合单元，基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图；目标检测单元，用于基于所述融合特征图进行目标检测。
第三方面，本申请提供了一种电子设备，包括处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述的方法。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被启动控制器运行时执行上述的方法。
本申请提供的一种数据处理方法、装置以及电子设备，在获取待融合的第一特征图以及第二特征图后，会获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，其中，所述权重参数包括所述每个元素位置对应于所述第一特征图的第一权重，以及所述每个元素位置对应于所述第二特征图的第二权重。再基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图，以基于所述融合特征图进行目标检测。从而通过前述方式使得在特征融合的过程中可以使得每个元素位置对应的特征可以分别进行融合，并且，因为每个元素位置既有对应于第一特征图的第一权重，也有对应于第二特征图的第二权重，可以使得每个元素位置对应于的第一特征图中的特征与该元素位置对应于的第二特征图中的特征进行融合的过程中可以按照第一权重和第二权重的比例进行融合，提升了特征融合的合理性，进而提升了目标检测结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提出的一种数据处理方法的流程图；
图2示出了本申请实施例中生成上层特征图的示意图；
图3示出了本申请实施例中对应的元素位置的示意图；
图4示出了本申请实施例中对应的元素位置进行特征融合的示意图；
图5示出了本申请实施例中依次进行特征融合的示意图；
图6示出了本申请另一实施例提出的一种数据处理方法的流程图；
图7示出了本申请实施例提出的一种获取第一权重和第二权重的流程图；
图8示出了本申请实施例提出的权重计算模块的框架示意图；
图9示出了本申请实施例提出的多个通道的特征分别进行融合的示意图；
图10示出了本申请再一实施例提出的一种数据处理方法的流程图；
图11示出了本申请另一实施例提出的一种数据处理装置的结构框图；
图12示出了本申请的用于执行根据本申请实施例的数据处理方法的电子设备的结构框图；
图13是本申请实施例的用于保存或者携带实现根据本申请实施例的数据处理方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目标检测是计算机视觉和数字图像处理的一个方向，应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。
在相关的目标检测中可以基于一阶段目标检测器或者两阶段目标检测器来进行目标检测。其中，两阶段的目标检测器，例如Faster-RCNN，对于最后的prediction head来说，其输入是一个ROI(region of interest)区域的池化特征图，包含了整个ROI区域的信息和数据，对于预测目标概率和box坐标具有很强的能力。
然而发明人在研究中发现，对于一阶段目标检测器来说，没有两阶段目标检测器的ROI提取与第二阶段的二次预测，仅通过在进行预测的特征图上某一位置的元素进行目标概率及box坐标的预测，依赖的是该层特征图的感受野，因此预测效果大打折扣。为了弥补一阶段目标检测器相对于两阶段目标检测器在预测层输入的ROI特征图缺失，改善一阶段目标检测器在小目标、多种类以及复杂场景的检测能力，多种特征图金字塔(多层特征图)以及特征图融合技术被提出。但是，发明人在研究中发现在相关的特征图融合过程中还存在融合结果不够合理，并且会造成最终的目标检测结果不够准确的问题。
因此，发明人提出了本申请中可以改善上述问题的数据处理方法、装置以及电子设备，通过在获取待融合的第一特征图以及第二特征图后，会获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，其中，所述权重参数包括所述每个元素位置对应于所述第一特征图的第一权重，以及所述每个元素位置对应于所述第二特征图的第二权重。再基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图，以基于所述融合特征图进行目标检测。
从而通过前述方式使得在特征融合的过程中可以使得每个元素位置对应的特征可以分别进行融合，并且，因为每个元素位置既有对应于第一特征图的第一权重，也有对应于第二特征图的第二权重，可以使得每个元素位置对应于的第一特征图中的特征与该元素位置对应于的第二特征图中的特征进行融合的过程中可以按照第一权重和第二权重的比例进行融合，提升了特征融合的合理性，进而提升了目标检测结果的准确性。
需要说明的是，本申请实施例所提供的数据处理方法可以运行于手机、平板电脑等智能终端中，也可以运行于服务器中。在运行于智能终端中的情况下，可以由智能终端进行图像采集，然后基于所采集的图像在本地生成待融合的第一特征图以及第二特征图，进而继续执行数据处理方法所包括的步骤。在运行于服务器的情况下，可以由与服务器建立有通信链接的智能终端进行图像采集，然后将所采集的图像传输到服务器中，进而服务器从智能终端所发送的图像中提取出待融合的第一特征图以及第二特征图后，继续执行数据处理方法所包括的步骤，然后将进行目标检测的结果返回给智能终端或者存储到指定区域中。
下面将结合附图具体描述本申请的各实施例。
请参阅图1，本申请实施例提供的一种数据处理方法，所述方法包括：
S110：获取待融合的第一特征图以及第二特征图，所述待融合的第一特征图以及第二特征图的属性参数相互匹配，所述属性参数包括通道数量以及尺寸。
需要说明的是，本实施例所提供的数据处理方法可以用于目标检测场景中，例如，检测人脸的场景中。对应的，该待融合的第一特征图以及第二特征图可以为基于在目标检测场景中由图像采集器件所采集的图像得到。
作为一种方式，该第一特征图和第二特征图可以为基于图像采集器件所采集的图像进行特征提取而到，并且，该第一特征图为基于第二特征图进行特征提取后所得到的特征图进行属性参数的更新而得到。示例性的，在特征金字塔网络中，如图2所示，其中的图像10为由图像采集器件所采集的图像，基于该图像10进行特征提取可以得到上层的特征图11，然后再基于该上层的特征图11进行特征提取可以得到更为上层的特征图12。可选的，可以将更为上层的特征图12经过属性参数的更新为与上层的特征图11的属性参数匹配后，将属性参数更新后的更为上层的特征图12作为第一特征图，并将上层的特征图11作为第二特征图。其中，属性参数匹配可以理解为属性参数相同。
S120：获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，所述第一特征图中的元素位置与所述第二特征图中的元素位置一一对应。
需要说明的是，在本实施例中，在后续进行特征融合的过程中会针对每个元素位置分别进行特征融合，并且在融合的过程中会按照每个元素位置对应于第一特征图中的第一权重，以及对应于第二特征图中的第二权重之间的比例进行特征融合。其中，所述第一特征图中的元素位置与所述第二特征图中的元素位置一一对应可以理解为第一特征图中的每个元素位置会在第二特征图中有一个对应的元素位置。并且，其中一一对应的元素位置的位置坐标均相同。
示例性的，如图3所示，可选的，第一特征图20中的坐标原点在第一特征图20中的位置，与第二特征图30中的坐标原点在第二特征图30中的位置相同，在这种情况下，若第一特征图20中的元素位置21的位置坐标为(a，b)，且第二特征图30中的元素位置31的位置坐标为(a，b)，那么因为元素位置21和元素位置31的位置坐标相同，那么元素位置21和元素位置31可以为第一特征图与所述第二特征图中一对相对应的元素位置，进而通过每个元素位置的位置坐标确定所述第一特征图中与所述第二特征图中的一一对应的元素位置。
S130：基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图。
需要说明的是，在本申请实施例中，在进行特征融合的过程中会针对第一特征图和第二特征图中每个元素位置的特征进行融合，以得到融合特征图中的每个元素位置的特征，进而得到整体的融合特征图。
示例性的，如图4所示，第一特征图20中元素位置21和第二特征图30中的元素位置31为对应的元素位置，那么进而就会将元素位置21的特征22和元素位置31的特征32进行融合，以得到融合特征图中的元素位置41的特征42，其中融合特征图中的元素位置41为融合特征图与元素位置21以及元素位置31均对应的元素位置。也可以理解为，第一特征图以及所述第二特征图中对应的元素位置的特征进行融合后所得到的特征，为融合特征图中的与该对应的元素位置均对应的元素位置的特征。示例性的，若元素位置21的坐标为(a，b)，元素位置31的坐标也为(a，b)，那么对应的元素位置21和元素位置31分别对应的特征所融合后的特征也为融合特征图中位置坐标为(a，b)的元素位置的特征。
S140：基于所述融合特征图进行目标检测。
在得到融合特征图后就可以基于融合特征图进行目标检测。
其中，需要说明的是，本实施例中只示出了在有第一特征图和第二特征图的情况下的特征融合流程，在有更多待融合的特征图的情况下，可以在完成当次的特征融合后，将当次特征融合得到的融合特征图与剩余的待融合的特征图进行融合，直到完成的对所有的待融合的特征图的融合，得到最终的融合特征图。示例性的，如图5所示，对图像采集器件所采集的图像10进行卷积操作得到特征图11，在对特征图11进行卷积操作得到特征图12，然后再对特征图12进行卷积操作得到特征图13，那么对特征图13的属性参数进行更新后得到的特征图14可以作为第一特征图，而特征图12可以作为第二特征图，进而经过权重计算获取到特征图14中每个元素位置对应的第一权重，以及所述特征图12中每个元素位置对应的第二权重后，可以基于前述方式获取到当次的融合特征图15。然后将融合特征图15再与第一特征图和第二特征图以外剩余的待融合的特征图11进行特征融合，得到最终的融合特征图16，进而再基于最终的融合特征图16进行目标检测。
本实施例提供的一种数据处理方法，通过前述方式使得在特征融合的过程中可以使得每个元素位置对应的特征可以分别进行融合，并且，因为每个元素位置既有对应于第一特征图的第一权重，也有对应于第二特征图的第二权重，可以使得每个元素位置对应于的第一特征图中的特征与该元素位置对应于的第二特征图中的特征进行融合的过程中可以按照第一权重和第二权重的比例进行融合，提升了特征融合的合理性，进而提升了目标检测结果的准确性。
请参阅图6，本申请实施例提供的一种数据处理方法，所述方法包括：
S210：获取待融合的第一特征图以及第二特征图，所述待融合的第一特征图以及第二特征图的属性参数相互匹配，所述属性参数包括通道数量以及尺寸。
S220：获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，所述第一特征图中的元素位置与所述第二特征图中的元素位置一一对应。
其中，作为一种方式，如图7所示，所述获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，包括：
S221：对所述第一特征图进行卷积操作得到第一权重特征图。
S222：对所述第二特征图进行卷积操作得到第二权重特征图。
S223：基于通道维度将所述第一权重特征图与所述第二权重特征图进行拼接，得到拼接后的权重特征图。
S224：对所述拼接后的权重特征图进行卷积操作得到目标权重特征图。
S225：对所述目标权重特征图中每个元素位置对应的特征进行归一化操作，得到第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重。其中，可以生成第一权重图来记录第一特征图中每个元素位置对应的第一权重，以及生成第二权重图来记录第二特征图中每个元素位置对应的第二权重。
需要说明的是，在S221中可以通过卷积核尺寸为1x1的卷积核对第一特征图进行卷积操作得到第一权重特征图，并且，S221中的卷积操作中的输出通道为输入通道的1/4，且激活函数为ReLU，还会使用BatchNormalization，并将其中的stride设置为1，padding设置为0。类似的，在S222中也可以通过卷积核尺寸为1x1的卷积核对第二特征图进行卷积操作得到第二权重特征图，S222中的卷积操作中的输出通道为输入通道的1/4，且激活函数为ReLU，还会使用BatchNormalization，并将其中的stride设置为1，padding设置为0。再者，在S224中，可以使用尺寸为1x1卷积核进行卷积操作，且卷积操作的输出通道数为2(分别表示输入的第一个特征图对应的输出以及输入的第二个特征图对应的输出)，并将其中的stride为1，padding为0。
如图8所示的一种权重计算模块的结构示意图。其中，在更为上层的特征图与下层的特征图进行融合之前，可以先经过卷积模块17的处理而将更为上层的特征图的通道与下层的特征图的通道进行统一，再经过上采样模块18处理而将更为上层的特征图的尺寸更新为与下层的特征图的尺寸一致。后续的，卷积模块19可以执行前述S221的步骤，卷积模块20可以执行前述的S222。拼接模块21可以执行前述的S223，卷积模块22可以执行前述的S224，归一化模块23可以执行前述的S225。
S230：将所述第一特征图中每个元素位置的特征，与每个元素位置各自对应的第一权重相乘，得到第一特征图中每个元素位置对应的第一待融合特征。
S240：将所述第二特征图中每个元素位置的特征，与每个元素位置各自对应的第二权重相乘，得到第二特征图中每个元素位置对应的第二待融合特征。
S250：将所述第一特征图中每个元素位置对应的第一待融合特征，与该元素位置在第二特征图中所对应的元素位置对应的第二待融合特征相加，得到融合特征图。
可选的，可以基于下列公式来计算得到融合特征图，该公式为：
Featurefuse＝WeightMap1*Feat1+WeightMap2*Feat2
其中，Featurefuse表征融合特征图，WeightMap1表征第一权重图。需要说明的是，第一权重图可以为与第一特征图元素相同，且元素位置也是一一对应的权重图，第一权重图中每个元素位置记录了该元素位置在第一特征图中所对应的元素位置的第一权重，进而WeightMap1*Feat1可以理解为第一权重图和第一特征图中对应的元素位置进行逐元相乘，得到第一特征图中每个元素位置对应的第一待融合特征，类似的，WeightMap2*Feat2可以理解为第二权重图和第二特征图中对应的元素位置进行逐元相乘，得到第二特征图中每个元素位置对应的第二待融合特征。
S260：基于所述融合特征图进行目标检测。
作为一种方式，每个元素位置对应的特征包括每个元素位置所对应的多个通道的特征；所述对所述目标权重特征图中每个元素位置对应的特征进行归一化操作，得到第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，包括：
对所述目标权重特征图中每个元素位置对应的多个通道的特征分别进行归一化操作，得到第一特征图中每个元素位置的多个通道各自对应的第一权重，以及第二特征图中每个元素位置的多个通道各自对应的第二权重。
在这种方式下，所述基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图，包括：基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的每个通道特征进行融合，得到融合特征图。
需要说明的是，在特征图具有多个通道的情况下，每个元素位置也会对应有多个通道的特征，并且多个通道各自的特征是可能不同的，进而在分通道进行特征融合的情况下，因为每个通道的特征的不同，那么多个通道各自所对应的第一权重或者第二权重可以是不同的，进而在进行特征融合的过程中就需要分通道进行融合以得到融合特征图中同一个元素位置对应的不通通道的特征。示例性的，如图9所示，对于第一个特征图20中元素位置21中的第一通道的特征为特征22a以及第二通道的特征为特征22b，对应的，第二个特征图30中元素位置31中的第一通道的特征为特征32a以及第二通道的特征为特征32b，那么在进行融合的过程中会将特征22a乘以元素位置21对应的第一权重所得到第一待融合特征，以及将特征32a乘以元素位置31对应的第二权重所得到第二待融合特征，然后将该第一待融合特征和第二待融合特征相叠加得到的特征42a，而42a可以理解为图4中融合特征图中元素位置41对应的第一通道的特征，类似的，基于同样的方式可以得到元素位置41对应的第二通道的特征42b，进而就得到了融合特征图中元素位置41对应多个通道各自的特征。
在可以分别计算同一元素位置的多个通道各自对应的第一权重或者第二权重的情况下，还可以根据电子设备当前可用的计算资源来确定是确定同一个元素位置所对应的第一个权重或者第二权重是分别计算得到，还是说确定同一个元素位置所对应的第一个权重或者第二权重采用相同的值。可以理解的是，对于同一个元素位置，如果针对每个通道分别计算第一权重或者第二权重那么就会产生更多的计算量，并且同一个元素位置所对应的通道数越多，那么所需的计算量越大。
在这种情况下，执行本实施例所提供的数据处理方法的电子设备可以确定当前剩余的处理资源是否大于资源阈值，若大于资源阈值，则确定对于每个元素位置的多个通道分别计算对应的第一权重或者第二权重。若不大于资源阈值，则定对于每个元素位置的多个通道均采用相同的第一权重或者第二权重。需要说明的是，这里的多个通道均采用相同的第一权重或者第二权重是指的同一个元素位置的多个通道的特征对应的第一权重或者第二权重相同。实例性的，图9中的元素位置21的第一通道的特征为特征22a以及第二通道的特征为特征22b，那么个通道均采用相同的第一权重或者第二权重可以理解为，第一通道的特征为特征22a以及第二通道的特征为特征22b分别对应的第一权重是相同的，以及元素位置31中的第一通道的特征32a以及第二通道的特征32b分别对应的第二权重是相同的。并且，在确定多个通道均采用相同的第一权重或者第二权重的情况下，可以直接将其中一个通道的特征的第一权重作为其他通道的特征对应的第一权重，或者直接将其中一个通道的特征的第二权重作为其他通道的特征对应的第二权重。
可选的，在本实施例中，可以基于下列公式来进行归一化的操作：
其中，αk表征所计算得到的权重。在每个元素位置对应两个权重(即第一权重和第二权重)的情况下，当k为0时则表征的是某个元素位置的为第一权重，当k为1时则表征的是某个元素位置的第二权重。其中，wk表征的是第k通道的特征图，对应的，
表征的是在某一个位置，第k个通道的特征图所对应的权重。
本实施例提供的一种数据处理方法，通过前述方式使得在特征融合的过程中可以使得每个元素位置对应的特征可以分别进行融合，并且，因为每个元素位置既有对应于第一特征图的第一权重，也有对应于第二特征图的第二权重，可以使得每个元素位置对应于的第一特征图中的特征与该元素位置对应于的第二特征图中的特征进行融合的过程中可以按照第一权重和第二权重的比例进行融合，提升了特征融合的合理性，进而提升了目标检测结果的准确性。并且，在本实施例中，会基于待融合的第一特征图和第二特征图进行卷积操作后所拼接而成的特征图进行归一化后来计算得到每个元素位置对应的权重参数，进而使得所得到的第一权重和第二权重能够与当前的待融合的第一特征图和第二特征图更为适配，以便进一步的提升所计算得到的第一权重和第二权重更为合理，也有利于提升最终进行目标检测的准确性。
请参阅图10，本申请实施例提供的一种数据处理方法，所述方法包括：
S310：获取第一初始特征图和第二初始特征图。
S320：将所述第一初始特征图和第二初始特征图的属性参数进行统一，得到待融合的第一特征图以及第二特征图。
作为一种方式，所述属性参数包括通道数量以及尺寸，所述将所述第一初始特征图和第二初始特征图的属性参数进行统一，得到待融合的第一特征图以及第二特征图，包括：
将所述第一初始特征图的通道数量以及尺寸更新为与所述第二初始特征图的通道数量以及尺寸一致；或者将所述第二初始特征图的通道数量以及尺寸更新为与所述第一初始特征图的通道数量以及尺寸一致。其中，所需要增大特征图的尺寸可以通过插值法或者上采样的方式得到，而所需缩小特征图的尺寸可以通过下采样的方式得到。
需要说明的是，在本申请实施例中第一初始特征图可以为基于第二初始特征图进行特征提取得到的，进而第一初始特征图的尺寸会小于第二特征图的尺寸，并且第一初始特征图的通道数量也可能会少于第二特征图的通道数量。那么为了能够更好的将第一初始特征图和第二初始特征图进行特征融合，就可以通过前述方式对第一初始特征图或者第二初始特征图的属性参数进行更新，得到对应的待融合的第一特征图以及第二特征图。其中，在将所述第一初始特征图的通道数量以及尺寸更新为与所述第二初始特征图的通道数量以及尺寸一致的情况下，待融合的第一特征图为第一初始特征图经过属性参数更新得到，而待融合的第二特征图就为第二初始特征图。对应的，在将所述第二初始特征图的通道数量以及尺寸更新为与所述第一初始特征图的通道数量以及尺寸一致的情况下，待融合的第一特征图就为第一初始特征图，而待融合的第二特征图为第二初始特征图经过属性参数更新后得到。
S330：获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，所述第一特征图中的元素位置与所述第二特征图中的元素位置一一对应。
S340：基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图。
S350：基于所述融合特征图进行目标检测。
本实施例提供的一种数据处理方法，通过前述方式使得在特征融合的过程中可以使得每个元素位置对应的特征可以分别进行融合，并且，因为每个元素位置既有对应于第一特征图的第一权重，也有对应于第二特征图的第二权重，可以使得每个元素位置对应于的第一特征图中的特征与该元素位置对应于的第二特征图中的特征进行融合的过程中可以按照第一权重和第二权重的比例进行融合，提升了特征融合的合理性，进而提升了目标检测结果的准确性。
请参阅图11，本申请实施例提供的一种数据处理装置400，运行于电子设备，所述装置400包括：
特征获取单元410，用于获取待融合的第一特征图以及第二特征图，所述待融合的第一特征图以及第二特征图的属性参数相互匹配。
作为一种方式，特征获取单元410，具体用于获取第一初始特征图和第二初始特征图；将所述第一初始特征图和第二初始特征图的属性参数进行统一，得到待融合的第一特征图以及第二特征图。可选的，特征获取单元410，具体用于将所述第一初始特征图的通道数量以及尺寸更新为与所述第二初始特征图的通道数量以及尺寸一致；或者将所述第二初始特征图的通道数量以及尺寸更新为与所述第一初始特征图的通道数量以及尺寸一致。
权重获取单元420，用于获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，所述第一特征图中的元素位置与所述第二特征图中的元素位置一一对应。
作为一种方式，权重获取单元420，具体用于对所述第一特征图进行卷积操作得到第一权重特征图；对所述第二特征图进行卷积操作得到第二权重特征图；基于通道维度将所述第一权重特征图与所述第二权重特征图进行拼接，得到拼接后的权重特征图；对所述拼接后的权重特征图进行卷积操作得到目标权重特征图；对所述目标权重特征图中每个元素位置对应的特征进行归一化操作，得到第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重。
特征融合单元430，用于基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图。
作为一种方式，特征融合单元430，具体基于将所述第一特征图中每个元素位置的特征，与每个元素位置各自对应的第一权重相乘，得到第一特征图中每个元素位置对应的第一待融合特征；将所述第二特征图中每个元素位置的特征，与每个元素位置各自对应的第二权重相乘，得到第二特征图中每个元素位置对应的第二待融合特征；将所述第一特征图中每个元素位置对应的第一待融合特征，与该元素位置在第二特征图中所对应的元素位置对应的第二待融合特征相加，得到融合特征图。
目标检测单元440，用于基于所述融合特征图进行目标检测。
作为一种方式，每个元素位置对应的特征包括每个元素位置所对应的多个通道的特征，在这种方式下，权重获取单元420，具体用于对所述目标权重特征图中每个元素位置对应的多个通道的特征分别进行归一化操作，得到第一特征图中每个元素位置的多个通道各自对应的第一权重，以及第二特征图中每个元素位置的多个通道各自对应的第二权重。对应的，在这种方式下，权重获取单元420，具体用于基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的每个通道特征进行融合，得到融合特征图。
本申请提供的一种数据处理装置，在获取待融合的第一特征图以及第二特征图后，会获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，其中，所述权重参数包括所述每个元素位置对应于所述第一特征图的第一权重，以及所述每个元素位置对应于所述第二特征图的第二权重。再基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图，以基于所述融合特征图进行目标检测。从而通过前述方式使得在特征融合的过程中可以使得每个元素位置对应的特征可以分别进行融合，并且，因为每个元素位置既有对应于第一特征图的第一权重，也有对应于第二特征图的第二权重，可以使得每个元素位置对应于的第一特征图中的特征与该元素位置对应于的第二特征图中的特征进行融合的过程中可以按照第一权重和第二权重的比例进行融合，提升了特征融合的合理性，进而提升了目标检测结果的准确性。
需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。
下面将结合图12对本申请提供的一种电子设备进行说明。
请参阅图12，基于上述的数据处理方法、装置，本申请实施例还提供的另一种可以执行前述数据处理方法的电子设备200。电子设备200包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104以及网络模块106。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。
其中，处理器102可以包括一个或者多个用于处理数据的核。处理器102利用各种接口和线路连接整个电子设备200内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital SignalProcessing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics ProcessingUnit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。
存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所述网络模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块106可以与基站进行信息交互。
此外，电子设备200还可以包括图像采集器件。
请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。
综上所述，本申请提供的一种数据处理方法、装置以及电子设备，在获取待融合的第一特征图以及第二特征图后，会获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，其中，所述权重参数包括所述每个元素位置对应于所述第一特征图的第一权重，以及所述每个元素位置对应于所述第二特征图的第二权重。再基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图，以基于所述融合特征图进行目标检测。从而通过前述方式使得在特征融合的过程中可以使得每个元素位置对应的特征可以分别进行融合，并且，因为每个元素位置既有对应于第一特征图的第一权重，也有对应于第二特征图的第二权重，可以使得每个元素位置对应于的第一特征图中的特征与该元素位置对应于的第二特征图中的特征进行融合的过程中可以按照第一权重和第二权重的比例进行融合，提升了特征融合的合理性，进而提升了目标检测结果的准确性。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征图进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种数据处理方法，其特征在于，应用于电子设备，所述方法包括：
获取待融合的第一特征图以及第二特征图，所述待融合的第一特征图以及第二特征图的属性参数相互匹配，所述属性参数包括通道数量以及尺寸；
获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，所述第一特征图中的元素位置与所述第二特征图中的元素位置一一对应；
基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图；
基于所述融合特征图进行目标检测。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图，包括：
将所述第一特征图中每个元素位置的特征，与每个元素位置各自对应的第一权重相乘，得到第一特征图中每个元素位置对应的第一待融合特征；
将所述第二特征图中每个元素位置的特征，与每个元素位置各自对应的第二权重相乘，得到第二特征图中每个元素位置对应的第二待融合特征；
将所述第一特征图中每个元素位置对应的第一待融合特征，与该元素位置在第二特征图中所对应的元素位置对应的第二待融合特征相加，得到融合特征图。
3.根据权利要求1或2所述的方法，其特征在于，所述获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，包括：
对所述第一特征图进行卷积操作得到第一权重特征图；
对所述第二特征图进行卷积操作得到第二权重特征图
基于通道维度将所述第一权重特征图与所述第二权重特征图进行拼接，得到拼接后的权重特征图；
对所述拼接后的权重特征图进行卷积操作得到目标权重特征图；
对所述目标权重特征图中每个元素位置对应的特征进行归一化操作，得到第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重。
4.根据权利要求3所述的方法，其特征在于，每个元素位置对应的特征包括每个元素位置所对应的多个通道的特征；所述对所述目标权重特征图中每个元素位置对应的特征进行归一化操作，得到第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，包括：
对所述目标权重特征图中每个元素位置对应的多个通道的特征分别进行归一化操作，得到第一特征图中每个元素位置的多个通道各自对应的第一权重，以及第二特征图中每个元素位置的多个通道各自对应的第二权重。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图，包括：
基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的每个通道特征进行融合，得到融合特征图。
6.根据权利要求1所述的方法，其特征在于，所述获取待融合的第一特征图以及第二特征图之前，还包括：
获取第一初始特征图和第二初始特征图；
将所述第一初始特征图和第二初始特征图的属性参数进行统一，得到待融合的第一特征图以及第二特征图。
7.根据权利要求6所述的方法，其特征在于，所述属性参数包括通道数量以及尺寸，所述将所述第一初始特征图和第二初始特征图的属性参数进行统一，得到待融合的第一特征图以及第二特征图，包括：
将所述第一初始特征图的通道数量以及尺寸更新为与所述第二初始特征图的通道数量以及尺寸一致；或者
将所述第二初始特征图的通道数量以及尺寸更新为与所述第一初始特征图的通道数量以及尺寸一致。
8.一种数据处理装置，其特征在于，运行于电子设备，所述装置包括：
特征获取单元，用于获取待融合的第一特征图以及第二特征图，所述待融合的第一特征图以及第二特征图的属性参数相互匹配，所述属性参数包括通道数量以及尺寸；
权重获取单元，用于获取所述第一特征图中每个元素位置对应的第一权重，以及所述第二特征图中每个元素位置对应的第二权重，所述第一特征图中的元素位置与所述第二特征图中的元素位置一一对应；
特征融合单元，基于所述第一权重以及所述第二权重分别对所述第一特征图以及所述第二特征图中对应的元素位置的特征进行融合，得到融合特征图；
目标检测单元，用于基于所述融合特征图进行目标检测。
9.一种电子设备，其特征在于，包括处理器以及存储器；
一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010839836.6A CN111881912B (zh) | 2020-08-19 | 数据处理方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010839836.6A CN111881912B (zh) | 2020-08-19 | 数据处理方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111881912A true CN111881912A (zh) | 2020-11-03 |
| CN111881912B CN111881912B (zh) | 2024-07-09 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229455A (zh) * | 2017-02-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
| CN108876813A (zh) * | 2017-11-01 | 2018-11-23 | 北京旷视科技有限公司 | 用于视频中物体检测的图像处理方法、装置及设备 |
| CN109753885A (zh) * | 2018-12-14 | 2019-05-14 | 中国科学院深圳先进技术研究院 | 一种目标检测方法、装置以及行人检测方法、系统 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN111144242A (zh) * | 2019-12-13 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 一种三维目标检测方法、装置及终端 |
| CN111275066A (zh) * | 2018-12-05 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | 一种图像特征的融合方法、装置以及电子设备 |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229455A (zh) * | 2017-02-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
| JP2020509488A (ja) * | 2017-02-23 | 2020-03-26 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器 |
| CN108876813A (zh) * | 2017-11-01 | 2018-11-23 | 北京旷视科技有限公司 | 用于视频中物体检测的图像处理方法、装置及设备 |
| CN111275066A (zh) * | 2018-12-05 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | 一种图像特征的融合方法、装置以及电子设备 |
| CN109753885A (zh) * | 2018-12-14 | 2019-05-14 | 中国科学院深圳先进技术研究院 | 一种目标检测方法、装置以及行人检测方法、系统 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN111144242A (zh) * | 2019-12-13 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 一种三维目标检测方法、装置及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255352B (zh) | 目标检测方法、装置及系统 | |
| CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112016475B (zh) | 一种人体检测识别方法和装置 | |
| CN108875519B (zh) | 对象检测方法、装置和系统及存储介质 | |
| CN112749726B (zh) | 目标检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN110414593B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN112084959B (zh) | 一种人群图像处理方法及装置 | |
| CN114547428A (zh) | 推荐模型处理方法、装置、电子设备及存储介质 | |
| CN112714321A (zh) | 压缩视频处理方法、装置、设备及计算机可读存储介质 | |
| CN111783777A (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
| CN114677350A (zh) | 连接点提取方法、装置、计算机设备及存储介质 | |
| CN114723756A (zh) | 基于双监督网络的低分时序遥感目标检测方法及装置 | |
| CN112381858A (zh) | 目标检测方法、装置、存储介质及设备 | |
| CN111881912B (zh) | 数据处理方法、装置以及电子设备 | |
| CN111881912A (zh) | 数据处理方法、装置以及电子设备 | |
| CN116883708A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN115546680A (zh) | 移动目标检测方法、装置、存储介质及电子设备 | |
| CN115223018A (zh) | 伪装对象协同检测方法及装置、电子设备和存储介质 | |
| CN112329889A (zh) | 图像处理方法、装置以及电子设备 | |
| CN115841437A (zh) | 一种图像增强的方法、装置及设备 | |
| CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 | |
| CN117975484B (zh) | 变化检测模型的训练方法、变化检测方法、装置及设备 | |
| CN116228607B (zh) | 图像处理方法和电子设备 | |
| CN116778534B (zh) | 图像处理方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |