CN116051848A - 图像特征提取方法、网络模型、装置及设备 - Google Patents

图像特征提取方法、网络模型、装置及设备 Download PDF

Info

Publication number
CN116051848A
CN116051848A CN202310110693.9A CN202310110693A CN116051848A CN 116051848 A CN116051848 A CN 116051848A CN 202310110693 A CN202310110693 A CN 202310110693A CN 116051848 A CN116051848 A CN 116051848A
Authority
CN
China
Prior art keywords
image
feature
feature extraction
feature vector
extraction network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310110693.9A
Other languages
English (en)
Other versions
CN116051848B (zh
Inventor
刘宇昂
周强
王晶
王志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202310110693.9A priority Critical patent/CN116051848B/zh
Publication of CN116051848A publication Critical patent/CN116051848A/zh
Application granted granted Critical
Publication of CN116051848B publication Critical patent/CN116051848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像特征提取方法、网络模型、装置及设备。方法包括：获取与待处理图像对应的多个图像块；确定与各个图像块相对应的图像特征向量及用于实现特征提取操作的网络模型，网络模型包括多个特征提取网络层，部分的特征提取网络层通信连接有辅助分类模块；通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，有效特征向量为图像特征向量的至少一部分，输入至当前特征提取网络层的有效特征向量的数量大于或等于输入至下一个特征提取网络层的有效特征向量的数量；基于多个特征提取网络层、图像特征向量及有效特征向量进行特征提取，获得待处理图像的图像特征。

Description

图像特征提取方法、网络模型、装置及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像特征提取方法、网络模型、装置及设备。
背景技术
随着网络技术的不断发展，Transformer模型架构开始在各种视觉任务上逐渐替代卷积神经网络(Convolutional Neural Networks，简称CNN)并展现出巨大的潜力，比如针对分类任务的视觉Transformer模型(ViT)、针对目标检测的基于Transform的深度学习目标检测(DEtection Transformer，简称DETR)模型和基于视觉Transformer的语义分割模型(SEgementation Transformer，简称SETR)等等可以实现不同的视觉任务。
目前，ViT和DeiT是Transformer架构的遥感分割模型中常用的主干网络，其往往通过堆叠多个自注意力网络层并输入所有划分出的图像特征向量token参与特征提取操作，由于在利用自注意网络层进行特征提取操作时，数据的计算量往往与图像特征向量数量的平方呈正相关，从而导致内存占用大，且吞吐量低。
发明内容
本发明实施例提供了一种图像特征提取方法、网络模型、装置及设备，能够基于动态调整的图像特征向量进行特征提取操作，不仅减少了数据处理操作所需要占用的内存，并能够提高图像特征提取操作的处理速度，提升吞吐量。
第一方面，本发明实施例提供一种图像特征提取方法，包括：
获取与待处理图像相对应的多个图像块；
确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，所述有效特征向量为所述图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；
基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征。
第二方面，本发明实施例提供一种图像特征提取装置，包括：
第一获取模块，用于获取与待处理图像相对应的多个图像块；
第一确定模块，用于确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
第一调整模块，用于通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，所述有效特征向量为所述图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；
第一处理模块，用于基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的图像特征提取方法。
第四方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的图像特征提取方法。
第五方面，本发明实施例提供了一种计算机程序产品，包括：计算机程序，当所述计算机程序被电子设备的处理器执行时，使所述处理器执行上述第一方面所示的图像特征提取方法中的步骤。
第六方面，本发明实施例提供了一种图像特征提取方法，包括：
获取待处理图像；
确定用于对所述待处理图像进行特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
在利用所述网络模型对所述待处理图像进行分析处理时，获得用于输入至各个特征提取网络层中的图像特征向量的预测置信度，所述图像特征向量与所述待处理图像中的至少一个图像块相对应；
在所述特征提取网络层通信连接有辅助分类模块时，基于所述预测置信度和所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与所述待处理图像相对应的图像特征，输入至当前特征提取网络层中的图像特征向量的数量大于或等于输入至下一个特征提取网络层中的图像特征向量的数量。
第七方面，本发明实施例提供了一种图像特征提取装置，包括：
第二获取模块，用于获取待处理图像；
第二确定模块，用于确定用于对所述待处理图像进行特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
所述第二获取模块，用于在利用所述网络模型对所述待处理图像进行分析处理时，获得用于输入至各个特征提取网络层中的图像特征向量的预测置信度，所述图像特征向量与所述待处理图像中的至少一个图像块相对应；
第二处理模块，用于在所述特征提取网络层通信连接有辅助分类模块时，基于所述预测置信度和所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，输入至当前特征提取网络层中的图像特征向量的数量大于或等于输入至下一个特征提取网络层中的图像特征向量的数量。
第八方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第六方面中的图像特征提取方法。
第九方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第六方面中的图像特征提取方法。
第十方面，本发明实施例提供了一种计算机程序产品，包括：计算机程序，当所述计算机程序被电子设备的处理器执行时，使所述处理器执行上述第六方面所示的图像特征提取方法中的步骤。
第十一方面，本发明实施例提供了一种用于实现图像特征提取操作的网络模型，包括：编码层、与所述编码层通信连接的多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
编码层，用于获取与待处理图像相对应的多个图像块，确定与各个图像块相对应的图像特征向量；
所述辅助分类模块，用于对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，所述有效特征向量为所述图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；
所述特征提取网络层，用于基于所述图像特征向量以及所述有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征。
本实施例提供的图像特征提取方法、网络模型、装置及设备，通过获取与待处理图像相对应的多个图像块；确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，而后通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，并基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征，有效地实现了能够对用于输入到网络模型中的特征提取网络层中的图像特征向量进行动态调整操作，并且，由于输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量，从而实现了在对图像进行特征提取操作时，动态地对图像特征向量进行调整操作，这样不仅减少了所需要占用的内存空间，并且能够在保证较少的性能损失的前提下，有效地提高图像特征提取操作的处理速度，提升吞吐量，进一步保证了图像特征提取方法的实用性，有利于市场的推广与应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像特征提取方法的场景示意图；
图2为本发明实施例提供的一种图像特征提取方法的流程示意图；
图3为本发明实施例提供的通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量的流程示意图；
图4为本发明实施例提供的基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征的流程示意图；
图5为本发明实施例提供的基于所述图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量的示意图一；
图6为本发明实施例提供的基于所述图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量的示意图二；
图7为本发明实施例提供的对所述目标输出特征向量和所述已退特征向量进行复位的示意图；
图8为本发明实施例提供的另一种图像特征提取方法的流程示意图；
图9为本发明实施例提供的又一种图像特征提取方法的流程示意图；
图10为本发明应用实施例提供的一种图像特征提取方法的流程示意图；
图11为本发明应用实施例提供的一种用于实现图像特征提取操作的网络模型的结构示意图；
图12为本发明应用实施例提供的一种图像特征提取装置的结构示意图；
图13为与图12所示实施例提供的图像特征提取装置对应的电子设备的结构示意图；
图14为本发明应用实施例提供的另一种图像特征提取装置的结构示意图；
图15为与图14所示实施例提供的图像特征提取装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
术语定义：
Transformer：一种基于自注意力机制(self-attention)计算的网络模型。
token：参与自注意机制(self-attention)的计算特征向量单元。
self-attention：自注意力机制。
为了方便本领域技术人员理解本实施例中技术方案的具体实现过程，下面先对相关技术进行简要说明：随着网络技术的不断发展，Transformer模型架构开始在各种视觉任务上逐渐替代卷积神经网络(Convolutional Neural Networks，简称CNN)并展现出巨大的潜力，比如针对分类任务的视觉Transformer模型(ViT)、针对目标检测的基于Transform的深度学习目标检测(DEtection Transformer，简称DETR)模型和基于视觉Transformer的语义分割模型(SEgementation Transformer，简称SETR)等等可以实现不同的视觉任务。
然而，在利用上述网络模型进行数据处理时，不仅具有较强的数据处理性能，同时也导致了较高的计算量和运行成本；就像针对CNN网络架构的各种压缩和加速工作相类似，Transformer架构更需要加速模型以适应低资源设备和实时计算需求。目前已有的针对Transformer加速的工作都是针对分类任务的，当利用Transformer模型对遥感影像进行分割操作时，由于遥感影像分割为一种密集型像素预测任务，因此，在利用Transformer模型对遥感影像进行分割处理时，计算量更大。
ViT和DeiT是目前的Transformer架构的遥感分割模型中常用的主干网络，其往往通过堆叠多个自注意力网络层并输入所有划分出的图像特征向量token参与特征提取操作，由于在利用自注意网络层进行特征提取操作时，数据的计算量往往与图像特征向量数量的平方呈正相关，从而导致内存占用大，且吞吐量低。此外，不同于图像分类任务，语义分割任务作为一种密集型预测任务，图像的每一个区域或者每一个图像特征向量在Transformer模型中的计算都不可缺失。
为了解决上述技术问题，本实施例提出了一种图像特征提取方法、用于实现图像特征提取操作的网络模型、装置及设备，其中，图像特征提取方法的执行主体可以为图像特征提取装置，该图像特征提取装置可以实现为本地服务器或者云端的服务器，在图像特征提取装置实现为云端的服务器时，该图像特征提取方法可以在云端来执行，在云端可以部署有若干计算节点(云服务器)，每个计算节点中都具有计算、存储等处理资源。在云端，可以组织由多个计算节点来提供某种服务，当然，一个计算节点也可以提供一种或多种服务。云端提供该服务的方式可以是对外提供服务接口，用户调用该服务接口以使用相应的服务。服务接口包括软件开发工具包(Software Development Kit，简称SDK)、应用程序接口(Application Programming Interface，简称API)等形式。
具体的，参考附图1所示，该图像特征提取装置可以通信连接有客户端或者请求端，针对本发明实施例提供的方案，云端可以提供有图像特征提取服务的服务接口，用户可以通过客户端/请求端调用该图像特征提取服务接口，以向云端触发调用该图像特征提取服务接口的请求。云端确定响应该请求的计算节点，利用该计算节点中的处理资源执行图像特征提取的具体处理操作。
客户端/请求端可以是任何具有一定数据传输能力的计算设备，具体实现时，客户端/请求端可以是手机、个人电脑PC、平板电脑、设定应用程序等等。此外，客户端/请求端的基本结构可以包括：至少一个处理器。处理器的数量取决于客户端/请求端的配置和类型。客户端/请求端也可以包括存储器，该存储器可以为易失性的，例如RAM，也可以为非易失性的，例如只读存储器(Read-Only Memory，简称ROM)、闪存等，或者也可以同时包括两种类型。存储器内通常存储有操作系统(Operating System，简称OS)、一个或多个应用程序，也可以存储有程序数据等。除了处理单元和存储器之外，客户端/请求端还包括一些基本配置，例如网卡芯片、IO总线、显示组件以及一些外围设备等。可选地，一些外围设备可以包括，例如键盘、鼠标、输入笔、打印机等。其它外围设备在本领域中是众所周知的，在此不做赘述。
图像特征提取装置是指可以在网络虚拟环境中提供图像特征提取服务的设备，通常是指利用网络进行信息规划、图像特征提取操作的装置。在物理实现上，图像特征提取装置可以是任何能够提供计算服务，响应服务请求，并进行处理的设备，例如：可以是集群服务器、常规服务器、云服务器、云主机、虚拟中心等。图像特征提取装置的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。
在上述本实施例中，客户端可以与图像特征提取装置进行网络连接，该网络连接可以是无线或有线网络连接。若客户端与图像特征提取装置是通信连接，该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax、5G、6G等中的任意一种。
在本申请实施例中，客户端可以生成或者获取图像特征提取请求，具体的，本实施例对于图像特征提取请求进行获取的具体实现方式不做限定，在一些实例中，图像特征提取请求可以通过人机交互操作所获得，此时，客户端上可以显示有交互界面，获取用户在交互界面上所输入的执行操作；基于执行操作获取图像特征提取请求。或者，在另一些实例中，图像特征提取请求不仅可以通过人机交互操作所获得，还可以通过与客户端通信连接的第三设备所获得，具体的，图像特征提取请求中所包括的待处理图像可以存储在第三设备中，此时，获取与客户端通信连接的第三设备，基于第三设备主动或者被动地获取到图像特征提取请求，其中，图像特征提取请求中可以包括待处理图像，上述待处理图像的数量可以为一个或多个。
在获取到与图像特征提取请求之后，为了能够稳定地实现图像特征提取操作，可以将图像特征提取请求所对应的待处理图像发送至图像特征提取装置，以使得图像特征提取装置可以对待处理图像进行特征处理操作。
图像特征提取装置，用于获取与待处理图像相对应的多个图像块，确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，其中，网络模型包括多个特征提取网络层，并且多个特征提取网络层中的部分的特征提取网络层通信连接有辅助分类模块；而后可以通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，有效特征向量为图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量。
在获取到多个特征提取网络层、图像特征向量以及有效特征向量之后，可以基于多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与待处理图像相对应的图像特征，从而有效地保证了对图像特征进行获取的准确可靠性。
本实施例提供的技术方案，能够对用于输入到网络模型中的特征提取网络层中的图像特征向量进行动态调整操作，并且，由于输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量，从而实现了在对图像进行特征提取操作时，动态地对图像特征向量进行调整操作，这样不仅减少了所需要占用的内存空间，并且能够在保证较少的性能损失的前提下，有效地提高图像特征提取操作的处理速度，提升吞吐量，进一步保证了图像特征提取方法的实用性，有利于市场的推广与应用。
下面结合附图，对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
图2为本发明实施例提供的一种图像特征提取方法的流程示意图；参考附图2所示，本实施例提供了一种图像特征提取方法，该方法的执行主体可以为图像特征提取装置，可以理解的是，该图像特征提取装置可以实现为软件、或者软件和硬件的组合，具体的，在图像特征提取装置实现为硬件时，其具体可以是具有图像特征提取操作的各种电子设备，包括但不限于平板电脑、个人电脑PC、服务器等等。当图像特征提取装置实现为软件时，其可以安装在上述所例举的电子设备中。基于上述的图像特征提取装置，本实施例中的图像特征提取方法可以包括以下步骤：
步骤S201：获取与待处理图像相对应的多个图像块。
步骤S202：确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块。
步骤S203：通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，有效特征向量为图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量。
步骤S204：基于多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与待处理图像相对应的图像特征。
下面对上述各个步骤的具体实现原理和实现效果进行详细说明：
步骤S201：获取与待处理图像相对应的多个图像块。
在用户存在图像特征提取需求时，则可以使得图像特征提取装置获得与待处理图像相对应的多个图像块，其中，待处理图像可以为遥感影像(包括土地测绘影像、环境检测影像、城市建设影像等等)、通过照相机所获得的照片等等，与待处理图像相对应的多个图像块的数量可以为6个、9个或者12个等等。具体的，本实施例对于与待处理图像相对应的多个图像块进行获取的实现方式不做限定，在一些实例中，与待处理图像相对应的多个图像块可以预先存储在图像特征提取装置中的预设区域中，而后通过访问预设区域即可获取到与待处理图像相对应的多个图像块。在另一些实例中，与待处理图像相对应的多个图像块不仅可以存储在图像特征提取装置中的预设区域中，还可以存储在与图像特征提取装置通信连接的第三设备中，而后可以通过第三设备主动或者被动地获取到与待处理图像相对应的多个图像块。
在又一些实例中，与待处理图像相对应的多个图像块不仅可以是预先标注或者预先划分好的，还可以通过对待处理图像进行分析处理所获得，此时，获取与待处理图像相对应的多个图像块可以包括：获取待处理图像以及与待处理图像相对应的划分参数；基于划分参数对待处理图像进行划分处理，具体的，上述的划分处理可以是均匀划分处理或者非均匀划分处理，从而可以稳定地获取到与待处理图像相对应的多个图像块。
步骤S202：确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块。
在获取到与待处理图像相对应的多个图像块之后，可以对与待处理图像相对应的多个图像块进行分析处理，在一些实例中，确定与各个图像块相对应的图像特征向量可以包括：获取用于对各个图像块进行编码处理的预设编码算法，利用预设编码算法对各个图像块进行编码操作，获得与各个图像块相对应的图像特征向量。或者，在另一些实例中，图像特征向量不仅可以通过预设编码算法对各个图像块进行分析处理所获得，还可以利用预设的机器网络模型或者神经网络模型对各个图像块进行分析处理所获得，此时，确定与各个图像块相对应的图像特征向量可以包括：获取预先训练好的、用于实现图像编码操作的机器网络模型或者神经网络模型；将各个图像块输入至机器网络模型或者神经网络模型中，获得机器网络模型或者神经网络模型输出的与各个图像块相对应的图像特征向量。其中，一个图像块可以对应一图像特征向量。
另外，为了能够实现对待处理图像进行特征提取操作，在确定与各个图像块相对应的图像特征向量之后、之前或者过程中，可以确定用于实现特征提取操作的网络模型，在一些实例中，该网络模型可以实现为transformer模型，具体的，网络模型可以包括用于实现图像特征提取操作的多个特征提取网络层，用户可以根据应用需求或者设计需求训练并获得包括有不同数量的特征提取网络层的网络模型，例如，网络模型可以包括6个特征提取网络层、8个特征提取网络层或者12个特征提取网络层等等。
对于网络模型而言，为了能够提高基于网络模型对图像特征进行特征提取操作的处理速度，并保证较少的性能损失，可以使得多个特征提取网络层中的部分的特征提取网络层通信连接有辅助分类模块，通信连接的辅助分类模块能够对输入至下一个特征提取网络层中的图像特征向量进行调整。
在又一些实例中，为了提高该方法的实用性，在确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的多个特征提取网络层之后，本实施例中的方法还可以包括：获取与各个特征提取网络层相对应的数据计算量以及数据处理速度；基于数据计算量以及数据处理速度对辅助分类模型进行控制，以通过辅助分类模型对输入至下一个特征提取网络层的图像特征向量进行调整。具体的，在数据计算量小于预设计算量、且数据处理速度大于或等于预设速度阈值时，则说明当前的特征提取网络层的计算量以及数据处理速度满足预设要求，因此之后则无需通过辅助分类模型对输入至下一个特征提取网络层的图像特征向量进行调整，进而则可以禁止通过辅助分类模型对输入至下一个特征提取网络层的图像特征向量进行调整；在数据计算量大于或等于预设计算量、或者数据处理速度小于预设速度阈值时，则说明当前的特征提取网络层的计算量或者数据处理速度不满足预设要求，因此之后则允许通过辅助分类模型对输入至下一个特征提取网络层的图像特征向量进行调整，进而则可以允许通过所述辅助分类模块对输入至后一个特征提取网络层的图像特征向量进行调整。
步骤S203：通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，有效特征向量为图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量。
对于用于实现特征提取操作的网络模型而言，由于网络模型中的多个特征提取网络层中的一部分特征提取网络层通信连接有辅助分类模块，在特征提取网络层通信连接有辅助分类模块时，可以通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，其中，有效特征向量为图像特征向量的至少一部分，即有效特征向量的数量可以与图像特征向量的数量相同(有效特征向量为图像特征向量的全部)；或者，有效特征向量的数量小于图像特征向量的数量(有效特征向量为图像特征向量的一部分)。
此外，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量，有效地实现了对网络模型中的图像特征向量进行动态调整操作；并且，由于输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量，从而可以提高对待处理图像进行特征提取操作的质量和效率。
另外，本实施例对于通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整的具体实现方式不做限定，在一些实例中，辅助分类模块中可以存储有用于对图像特征向量进行调整的预设规则或者预设算法；利用辅助分类模块和预设规则/预设算法对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，这样有效地对与下一个特征提取网络层相对应的有效特征向量进行获取的准确可靠性。
举例来说，在网络模型包括特征提取网络层1、与特征提取网络层1通信连接的特征提取网络层2、与特征提取网络层2通信连接的特征提取网络层3、与特征提取网络层3通信连接的特征提取网络层4，若所确定的各个图像块相对应的图像特征向量的数量为9个时，那么，对于特征提取网络层1而言，其输入可以为与待处理图像相对应的9个图像特征向量，输出可以为9个第一输出特征向量；在特征提取网络层1通信连接有辅助分类模块时，可以通过辅助分类模块确定用于输入至特征提取网络层2中的有效特征向量，上述的有效特征向量可以为9个图像特征向量的一部分，例如：对于特征提取网络层2而言，其输入可以为6个图像特征向量，输出可以为6个第二输出特征向量。
在特征提取网络层3未通信连接有辅助分类模块时，输入至特征提取网络层3的图像特征向量的数量与输入至特征提取网络层2的图像特征向量的数量相同，特征提取网络层3的输出可以为6个第三输出特征向量。在特征提取网络层3通信连接有辅助分类模块时，可以通过辅助分类模块确定用于输入至特征提取网络层4中的有效特征向量，上述的有效特征向量可以为6个图像特征向量的一部分，例如：对于特征提取网络层4而言，其输入可以为4个图像特征向量，输出可以为4个第四输出特征向量。
步骤S204：基于多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与待处理图像相对应的图像特征。
在获取到网络模型、与各个图像块相对应的图像特征向量以及下一个特征提取网络层的有效特征向量之后，可以基于多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，其中，多个特征提取网络层可以包括起始特征提取网络层以及其他特征提取网络层，在获取到图像特征向量之后，可以将图像特征向量输入至起始特征提取网络层，获得起始特征提取网络层输入的第一输出特征向量；而后将第一输出特征向量输入至其他特征提取网络层中，以实现特征提取操作。
具体的，在其他特征提取网络层中的预设特征提取网络层通信连接有辅助分类模块时，则可以通过辅助分类模块确定位于预设特征提取网络层之后的下一个特征提取网络层所对应的有效特征向量，有效特征向量为第一输出特征向量的一部分；而后将有效特征向量输入至下一个特征提取网络层中，以实现数据处理操作，直至获得下一个特征提取网络层所输出的图像特征，从而有效地保证了对图像特征进行获取的准确可靠性。
在一些实例中，为了提高该方法的实用性，在获得与待处理图像相对应的图像特征之后，本实施例中的方法可以包括：基于图像特征对待处理图像进行影像分割处理，获得与待处理图像相对应的影像分割结果。
其中，影像分割是指把一幅图像或者影响划分为互不重叠的一组区域的过程，它要求得到的每个区域的内部具有某种一致性或者相似性，而任意两个相邻的区域则不具有此种相似性。在获取到与待处理图像相对应的图像特征之后，可以基于图像特征对待处理图像进行影像分割处理，从而可以获得与待处理图像相对应的影像分割结果。
本实施例提供的图像特征提取方法，通过获取与待处理图像相对应的多个图像块，确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，而后通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量；基于多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与待处理图像相对应的图像特征；有效地实现了对用于输入到网络模型中的特征提取网络层中的图像特征向量数量进行动态调整操作，并且，由于输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量，从而实现了对图像特征向量的动态调整操作，这样不仅减少内存占用空间，并且能够在保证较少的性能损失的前提下，能效地提高图像特征提取操作的处理速度，进一步提高了该技术方案的实用性，有利于市场的推广与应用。
图3为本发明实施例提供的通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量的流程示意图；在上述实施例的基础上，参考附图3所示，本实施例提供了一种基于图像特征向量的分类置信度来确定有效特征向量的实现方式，具体的，本实施例中的通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量可以包括：
步骤S301：基于辅助分类模块确定与图像特征向量相对应的分类置信度。
对于网络模型中包括的多个特征提取网络层而言，若当前的特征提取网络层通信连接有辅助分类模块，在将图像特征向量输入至当前的特征提取网络层进行分析处理时，可以通过辅助分类模块对图像特征向量进行分析处理，具体的，可以通过辅助分离模块对图像特征向量进行分类预测，从而可以稳定地获取到与图像特征向量相对应的分类置信度，其中，不同的图像特征向量可以对应有不同的分类置信度，例如：图像特征向量1所对应的分类置信度为0.98、图像特征向量2所对应的分类置信度为0.99、图像特征向量3所对应的分类置信度为0.6等等。
步骤S302：基于图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量。
在获取到图像特征向量相对应的分类置信度之后，可以基于图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，从而可以获得与下一个特征提取网络层相对应的有效特征向量。
在一些实例中，与下一个特征提取网络层相对应的有效特征向量可以通过对分类置信度的大小进行分析处理所获得，此时，基于图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量可以包括：在分类置信度小于预设阈值时，则将与分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的无效特征向量；在分类置信度大于或等于预设阈值时，则将与分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的有效特征向量。
具体的，预先配置有用于对分类置信度进行分析处理的预设阈值，在获取到分类置信度之后，可以将分类置信度与预设阈值进行分析处理，在分类置信度小于预设阈值时，则说明此时的图像特征向量所对应的像素分类置信度较低，进而可以将分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的无效特征向量，而后在进行特征提取操作的过程中，特征提取网络层可以无需对无效特征向量进行数据处理操作，这样有效地减少了数据处理量，并能够提高数据处理的速度。在分类置信度大于或等于预设阈值时，则说明此时的图像特征向量所对应的像素分类置信度较高，进而可以将分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的有效特征向量，而后在进行特征提取操作的过程中，特征提取网络层可以对有效特征向量进行数据处理操作，从而便于在保证较少性能损失的前提下，实现准确得图像特征提取操作。
在另一些实例中，与下一个特征提取网络层相对应的有效特征向量不仅可以对分类置信度的大小进行分析处理所获得，还可以结合预先配置的特征向量筛选规则(例如：输入下一个特征提取网络层的有效特征向量的数量为偶数、且用于输入至多个特征提取网络层中的有效特征向量的数量呈减少趋势等等)对有效特征向量进行筛选确定，此时，基于图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量可以包括：在分类置信度小于预设阈值时，则将与分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的无效特征向量；在分类置信度大于或等于预设阈值时，获得与分类置信度相对应的备选图像特征向量；确定预先配置的特征向量筛选规则，在备选图像特征向量中，基于特征向量筛选规则确定用于输入至下一个特征提取网络层相对应的有效特征向量，从而有效地保证了对有效特征向量进行获取的准确可靠性。
本实施例中，基于辅助分类模块确定与图像特征向量相对应的分类置信度，而后基于图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，从而有效地保证了对有效特征向量进行确定的准确可靠性，而后便于基于有效特征向量进行图像特征的提取操作，这样不仅降低了图像特征提取操作过程中的数据计算量和复杂度，并且能够有效地减少数据处理操作时所需要占用的内存，进一步提高了该方法的实用性。
图4为本发明实施例提供的基于多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与待处理图像相对应的图像特征的流程示意图；在上述实施例的基础上，参考附图4所示，为了能够尽量避免对网络模型的模型架构进行调整，本实施例提供了一种结合各个特征提取网络层的预设特征向量进行特征提取操作的实现过程，具体的，本实施例中的基于多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与待处理图像相对应的图像特征可以包括：
步骤S401：获取用于输入至各个特征提取网络层的预设特征向量。
为了能够准确地实现图像特征提取操作，对于网络模型中所包括的特征提取网络层而言，预先配置有用于实现图像分类操作的预设特征向量，该预设特征向量可以是随机初始化的图像特征向量token，该预设特征向量用于与其他的图像特征向量进行交互，以实现图像分类操作。在一些实例中，在网络模型为transformer模型时，为了能够尽量避免对transformer模型的模型架构进行调整，并能够基于transformer模型实现特征提取操作，则可以获取用于输入至各个特征提取网络层的预设特征向量。
具体的，本实施例对于预设特征向量的具体获取方式不做限定，在一些实例中，预设特征向量可以通过人机交互操作所获得，此时，获取用于输入至各个特征提取网络层的预设特征向量可以包括：显示人机交互界面；获取用户在人机交互界面中输入的执行操作，基于执行操作获得用于输入至各个特征提取网络层的预设特征向量。或者，在另一实例中，预设特征向量不仅可以通过人机交互操作获得，还可以是预先配置好的特征向量，此时，预先配置好的预设特征向量可以存储在预设区域或者预设设备中，在获取到待处理图像之后，通过访问预设区域或者预设设备获取到预设特征向量。
步骤S402：基于图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量。
其中，图像特征向量是指通过对待处理图像所对应的多个图像块进行编码处理所获得的较为完整的特征向量信息，有效特征向量可以是指在基于各个特征提取网络层对待处理图像进行处理的过程中，从图像特征向量中筛选出的与各个特征提取网络层相对应的部分输入特征向量，不同的特征提取网络层可以对应有相同或者不同的有效特征向量，并且，多个特征提取网络层所对应的有效特征向量可以呈递减的趋势。
对于网络模型而言，由于部分的特征提取网络层通信连接有辅助分类模块，该辅助分类模块用于对输入至下一个特征提取网络层的图像特征向量进行调整，而部分的特征提取网络层并没有通信连接有辅助分类模块，此时，输入至下一个特征提取网络层中的图像特征向量与输入至当前特征提取网络层中的图像特征向量相同。
由于特征提取网络层与辅助分类模块之间的不同连接情况可以采用不同的方式来确定特征提取网络层的输入特征向量，因此，在获取到图像特征向量、预设特征向量和有效特征向量之后，可以对图像特征向量、预设特征向量和有效特征向量进行分析处理，从而可以获得与各个特征提取网络层的输入特征向量。在一些实例中，基于图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量可以包括：在当前特征提取网络层通信连接有辅助分类模块时，则基于图像特征向量和有效特征向量，确定与下一个特征提取网络层相对应的无效特征向量；对无效特征向量与预设特征向量进行融合，获得融合后特征向量；将有效特征向量和融合后特征向量，确定为下一个特征提取网络层的目标输入特征向量。
其中，在当前特征提取网络层通信连接有辅助分类模块时，通过通信连接的辅助分类模块可以对下一个特征提取网络层的图像特征向量进行调整，并确定与下一个特征提取网络层相对应的有效特征向量，具体的，在获取到图像特征向量和有效特征向量之后，可以对图像特征向量和有效特征向量进行分析处理，从而可以确定与下一个特征提取网络层相对应的无效特征向量，在一些实例中，无效特征向量可以为图像特征向量中除去有效特征向量的其他部分。在获取到无效特征向量之后，为了能够使得网络模型的架构保持不变，并保证对待处理图像的图像特征进行稳定获取，在获取无效特征向量之后，可以对无效特征向量和预设特征向量进行融合处理，在一些实例中，可以获取与无效特征向量相对应的掩码信息，并将掩码信息置零，获得融合后特征向量；或者，可以将无效特征向量与预设特征向量进行加权求和，获得融合后特征向量；或者，可以对预设特征向量和无效特征向量进行平均处理，从而可以获得融合后特征向量。
在获取到融合后特征向量之后，可以将有效特征向量和融合后特征向量确定为下一个特征提取网络层的目标输入特征向量，从而有效地保证了对目标输入特征向量进行获取的准确可靠性。
举例来说，参考附图5所示，当对待处理图像进行分析处理之后，所获得的图像特征向量包括：特征向量1、特征向量2、特征向量3、特征向量4、特征向量5、特征向量6以及特征向量7时，预设特征向量为特征向量8时，可以将所获得的图像特征向量和预设特征向量输入至当前的特征提取网络层中，可以利用当前的特征提取网络层进行图像特征的提取操作。
在当前的特征提取网络层通信连接有辅助分类模块时，则辅助分类模块可以对输入至当前的特征提取网络层中的图像特征向量进行分析处理，从而可以确定输入至下一个特征提取网络层中的有效特征向量，在有效特征向量包括：特征向量1、特征向量3、特征向量4、特征向量6和特征向量7时，则可以通过图像特征向量和有效特征向量，确定与下一个特征提取网络层相对应的无效特征向量，该无效特征向量可以为特征向量2和特征向量5，而后可以将特征向量2、特征向量5和特征向量8进行融合处理，获得融合后特征向量，而后通过有效特征向量和融合后特征向量可以准确地确定下一个特征提取网络层的目标输入特征向量，该目标输入特征向量可以包括：特征向量1、特征向量3、特征向量4、特征向量6、特征向量7以及融合后特征向量。
在又一些实例中，对于辅助分类模块而言，由于其只与网络模型中的部分特征提取网络层通信连接，在特征提取网络层通信连接有辅助分类模型时，则可以按照上述实施例的描述方式来确定下一个特征提取网络层的输入特征向量；在特征提取网络层未通信连接有辅助分类模块时，则可以按照下述方式来确定输入至下一个特征提取网络层的输入特征向量，具体的，基于图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量可以包括：在当前特征提取网络层未通信连接有辅助分类模块时，则基于图像特征向量、预设特征向量和有效特征向量，确定与当前特征提取网络层相对应的已输入特征向量；将已输入特征向量，确定为下一个特征提取网络层的目标输入特征向量。
其中，在当前特征提取网络层未通信连接有辅助分类模块时，则无需对输入至下一个特征提取网络层中的图像特征向量进行调整，此时，可以直接将当前特征提取网络层中的已输入特征向量确定为下一个特征提取网络层的目标输入特征向量。具体的，当前特征提取网络层的已输入特征向量与预设特征向量、图像特征向量以及有效特征向量相关，可以对图像特征向量、预设特征向量和有效特征向量进行分析处理，从而可以确定与当前特征提取网络层相对应的已输入特征向量。在一些实例中，已输入特征向量可以包括：有效特征向量和融合后特征向量，其中，融合后特征向量是基于预设特征向量以及无效特征向量进行融合处理操作之后所获得的，而无效特征向量可以是指图像特征向量中除去有效特征向量以外的其他特征向量，这样保证了对下一个特征提取网络层的目标输入特征向量进行获取的准确可靠性。
举例来说，参考附图6所示，当对待处理图像进行分析处理之后，所获得的图像特征向量包括：特征向量1、特征向量2、特征向量3、特征向量4、特征向量5、特征向量6以及特征向量7，预设特征向量为特征向量8时，对于用于实现特征提取操作的网络模型中的某一个特征提取网络层(当前特征提取网络层)而言，与当前特征提取网络层相对应的输入特征向量可以包括有效特征向量和融合后特征向量，其中，有效特征向量包括特征向量1、特征向量3、特征向量4、特征向量6和特征向量7，融合后特征向量可以是通过特征向量8和无效特征向量(包括特征向量2和特征向量5)进行融合处理之后所获得的。在获取到与当前特征提取网络层相对应的输入特征向量之后，将与当前特征提取网络层相对应的输入特征向量输入至当前的特征提取网络层中，而后利用当前的特征提取网络层进行图像特征的提取操作。
在当前特征提取网络层未通信连接有辅助分类模块时，对于当前特征提取网络层之后的下一个特征提取网络层而言，下一个特征提取网络层的输入特征向量的数量可以与输入至当前特征提取网络层中的已输入特征向量的数量相同，因此，为了能够准确地对下一个特征提取网络层的目标输入特征向量进行确定，在获取到图像特征向量、预设特征向量和有效特征向量之后，可以对图像特征向量、预设特征向量和有效特征向量进行分析处理，在一些实例中，可以基于图像特征向量和有效特征向量确定无效特征向量，而后对无效特征向量和预设特征向量进行融合处理，获得融合后特征向量，将有效特征向量和融合后特征向量确定为当前特征提取网络层的已输入特征向量。
在有效特征向量包括：特征向量1、特征向量3、特征向量4、特征向量6和特征向量7时，则可以通过图像特征向量和有效特征向量，确定与下一个特征提取网络层相对应的无效特征向量，该无效特征向量可以为特征向量2和特征向量5，而后可以将特征向量2、特征向量5和特征向量8进行融合处理，获得融合后特征向量，而后通过有效特征向量和融合后特征向量可以准确地确定当前特征提取网络层的已输入特征向量，由于当前特征提取网络层的已输入特征向量的数量与下一个特征提取网络层的目标输入特征向量的数量相同，因此，有效地保证了对目标输入特征向量进行确定的准确可靠性，具体的，该目标输入特征向量可以包括：特征向量1、特征向量3、特征向量4、特征向量6、特征向量7以及融合后特征向量。
步骤S403：利用多个特征提取网络层对所对应的输入特征向量进行处理，获得与待处理图像相对应的图像特征。
在获取到多个特征提取网络层各自对应的输入特征向量之后，可以利用多个特征提取网络层对所对应的输入特征向量进行处理，从而可以获得与待处理图像相对应的图像特征。在一些实例中，利用多个特征提取网络层对各个对应的输入特征向量进行处理，获取最后一个特征提取网络层的输出特征向量，而后基于输出特征向量确定为与待处理图像相对应的图像特征，具体的，可以利用预设算法对输出特征向量进行分析处理，从而可以获得与待处理图像相对应的图像特征。
在另一些实例中，利用多个特征提取网络层对所对应的输入特征向量进行处理，获得与待处理图像相对应的图像特征可以包括：利用多个特征提取网络层对所对应的输入特征向量进行处理，获得目标输出特征向量；基于图像特征向量和目标输出特征向量，确定与待处理图像相对应的已退特征向量；对目标输出特征向量和已退特征向量进行复位，获得与待处理图像相对应的图像特征。
具体的，在获取到多个特征提取网络层以及与各个特征提取网络层的输入特征向量之后，可以利用多个特征提取网络层对所对应的输入特征向量进行分析处理，从而可以获得目标输出特征向量，其中，目标输出特征向量可以为最后一个特征提取网络层所输出的特征向量信息。在获取到目标输出特征向量之后，可以对图像特征向量和目标输出特征向量进行分析处理，具体的，可以将图像特征向量中除去目标输出特征向量之外的其他特征向量确定为已退特征向量，从而可以稳定地确定与待处理图像相对应的已退特征向量，上述的已退特征向量可以包括各个特征提取网络层所对应的无效特征向量。
在利用网络模型对待处理图像进行分析处理时，由于网络模型中所包括的多个特征提取网络层，而通过辅助分类模型可以对下一个特征提取网络层的图像特征向量进行调整，不同的特征提取网络层可以对应有不同的图像特征向量，由于用于实现特征提取操作的图像特征向量数量会随着特征提取网络层的深入而发生变化，为了能够准确地获取到与待处理图像相对应的图像特征，在获取到目标输出特征向量和已退特征向量之后，可以对目标输出特征向量和已退特征向量进行复位处理，具体的，参考附图7所示，在获取到目标输出特征向量和已退特征向量之后，可以确定目标输出特征向量和已退特征向量各自对应的特征向量标识，例如，在目标输出特征向量包括6个特征向量时，6个特征向量以及所对应的特征向量标识可以为：特征向量11、特征向量13、特征向量14、特征向量16、特征向量17以及特征向量19，在已退特征向量为3个时，3个特征向量以及所对应的特征向量标识可以为：特征向量18、特征向量12以及特征向量15，而后可以基于目标输出特征向量和已退特征向量各自对应的特征向量标识对目标输出特征向量和已退特征向量进行复位处理，从而可以稳定地获得与待处理图像相对应的图像特征。
本实施例中，通过获取用于输入至各个特征提取网络层的预设特征向量，而后基于图像特征向量、预设特征向量和有效特征向量来确定各个特征提取网络层的输入特征向量，并利用多个特征提取网络层对所对应的输入特征向量进行处理，获得与待处理图像相对应的图像特征，从而有效地实现了图像特征的提取操作。
图8为本发明实施例提供的另一种图像特征提取方法的流程示意图；在上述任意一个实施例的基础上，参考附图8所示，为了提高该方法的实用性，在通过网络模型对不同的待处理图像进行分析处理时，本实施例中的方法还可以基于不同的待处理图像的像素分类置信度自适应地对图像特征提取操作的速度进行调整的技术方案，具体的，在确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型之后，本实施例中的方法可以包括：
步骤S801：获取与输入至各个特征提取网络层的图像特征向量相对应的预测置信度。
在获取到输入至各个特征提取网络层的图像特征向量之后，可以对输入至各个特征提取网络层的图像特征向量进行分析处理，从而可以获得与图像特征向量相对应的预测置信度；在一些实例中，可以通过辅助分类模块对图像特征向量进行分类处理，获得与图像特征向量相对应的预测置信度。
步骤S802：在预测置信度小于或等于预设阈值时，则允许通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整。
步骤S803：在预测置信度大于预设阈值，则禁止通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整。
在获取到与输入至各个特征提取网络层的图像特征向量相对应的预存置信度之后，可以将预测置信度与预设阈值进行分析比较，在预设置信度小于或等于预设阈值时，则说明当前特征提取网络层的数据处理效果并不满足预设要求，例如，图像处理操作的计算复杂度较高，图像处理操作的处理速度较低等等。为了能够进一步减少数据处理量，提高数据处理的质量和效率，则可以允许通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整操作。在一些实例中，当前特征提取网络层的数据处理效果与当前特征提取网络层所对应的数据计算复杂度、图像识别准确率相关，具体的，在数据计算复杂度越小，则数据处理效果越好；数据计算复杂度越大，则数据处理效果越差；在图像识别准确率越高，则数据处理效果越好；图像识别准确率越低，则数据处理效果越差。
在预设置信度大于预设阈值时，则说明当前特征提取网络层的数据处理效果已满足预设要求，为了进一步提高数据处理的质量和效率，则可以禁止通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整操作。
本实施例中，通过获取与输入至各个特征提取网络层的图像特征向量相对应的预测置信度，在预测置信度小于或等于预设阈值时，则允许通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整；在预测置信度大于预设阈值，则禁止通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，这样有效地实现了在利用网络模型进行图像特征提取操作时，可以根据待处理图像的不同预测置信度自适应地对图像特征向量的退出操作进行调整和控制，从而实现了针对网络模型的推理速度可以基于待处理图像的不同预测置信度进行自适应性调整操作，进一步提高了该方法使用的灵活可靠性，有利于市场的推广与应用。
图9为本发明实施例提供的又一种图像特征提取方法的流程示意图；参考附图9所示，本实施例提供了一种图像特征提取方法，该方法的执行主体可以为图像特征提取装置，可以理解的是，该图像特征提取装置可以实现为软件、或者软件和硬件的组合，具体的，在图像特征提取装置实现为硬件时，其具体可以是具有图像特征提取操作的各种电子设备，包括但不限于平板电脑、个人电脑PC、服务器等等。当图像特征提取装置实现为软件时，其可以安装在上述所例举的电子设备中。本实施例中的图像特征提取方法可以包括以下步骤：
步骤S901：获取待处理图像。
步骤S902：确定用于对待处理图像进行特征提取操作的网络模型，网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块。
本实施例中上述步骤的具体实现方式和实现效果与上述实施例中步骤S201-步骤S202的具体实现方式和实现效果相类似，具体可参考上述陈述内容，在此不再赘述。
步骤S903：在利用网络模型对待处理图像进行分析处理时，获得用于输入至各个特征提取网络层中的图像特征向量的预测置信度，图像特征向量与待处理图像中的至少一个图像块相对应。
在获取到待处理图像之后，可以利用网络模型对待处理图像进行分析处理操作，为了能够提高特征提取操作的稳定可靠性，在获取到待处理图像之后，可以对待处理图像进行分析处理，获得与待处理图像相对应的至少一个图像块。在获取到与待处理图像相对应的至少一个图像块之后，可以确定用于输入至各个特征提取网络层的图像特征向量，而后可以对输入至各个特征提取网络层的图像特征向量进行分析处理，从而可以获得用于输入至各个特征提取网络层中图像特征向量的预测置信度。
步骤S904：在特征提取网络层通信连接有辅助分类模块时，基于预测置信度和辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与待处理图像相对应的图像特征，输入至当前特征提取网络层中的图像特征向量的数量大于或等于输入至下一个特征提取网络层中的图像特征向量的数量。
在特征提取网络层通信连接有辅助分类模块时，在获取到预测置信度之后，可以基于预测置信度和辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，需要注意的是，输入至当前特征提取网络层中的图像特征向量的数量大于或等于输入至下一个特征提取网络层中的图像特征向量的数量，从而可以获得与待处理图像相对应的图像特征。
此外，本实施例中的方法还可以包括上述图1-图8所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图8所示实施例中的描述，在此不再赘述。
本实施例提供的图像特征提取方法，通过获取待处理图像，确定用于对待处理图像进行特征提取操作的网络模型，在利用网络模型对待处理图像进行分析处理时，获得用于输入至各个特征提取网络层中的图像特征向量的预测置信度，具体的，在特征提取网络层通信连接有辅助分类模块时，而后基于预测置信度和辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与待处理图像相对应的图像特征，从而有效地实现了能够基于图像特征向量的预测置信度对输入至下一个特征提取网络层的图像特征向量进行动态调整操作，并且，由于输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量，这样不仅减少内存占用空间，并且在保证较少的性能损失的前提下，能够有效地提高图像特征提取操作的处理速度，进一步提高了该技术方案的实用性，有利于市场的推广与应用。
具体应用时，以遥感影像作为待处理图像，以transformer模型作为用于实现特征提取操作的网络模型为例，其中，transformer模型可以包括自注意力网络层(self-attention)以及前馈神经网络层(Feed Forward Networks，FFN)，基于上述的transformer模型可以实现一种动态特征向量(token)的传递方法，该方法不仅可以加速网络模型的推理速度，并能够保证极少的性能损失；具体的，参考附图10所示，动态特征向量的传递方法包括：
步骤1：获取待处理图像，确定与待处理图像相对应的多个图像块。
在获取到待处理图像之后，可以利用预设划分参数对待处理图像进行划分处理，获得与待处理图像相对应的多个图像块，在一些实例中，多个图像块的数量可以为9个。
步骤2：利用图像块编码单元对各个图像块进行编码处理，从而可以获得与多个图像块各自对应的图像特征向量。
步骤3：获取用于实现特征提取操作的预设特征向量，利用transformer模型对图像特征向量和预设特征向量进行分析处理，获得与待处理图像相对应的输出特征向量。
其中，预设特征向量可以是随机初始化的特征向量，具体的，在进行图像分类操作过程中，预设特征向量可以与其他的图像特征向量进行交互，以实现图像分类任务操作，另外，输入至transformer模型中的预设特征向量以及图像特征向量能够使得transformer模型保持现有的网络架构不变。
举例来说，以transformer模型包括4个特征提取网络层(B1、B2、B3、B4)为例，其中，特征提取网络层B1通信连接有辅助分类模块1，特征提取网络层B2通信连接有辅助分类模块2，特征提取网络层B3通信连接有辅助分类模块3。每个特征提取网络层可以包括自注意力层以及前馈神经网络层；在获取到图像特征向量和预设特征向量之后，可以将图像特征向量和预设特征向量输入至B1层中的自注意力层，经过自注意力层和前馈神经网络层进行分析处理之后，可以获得B1层输出的多个第一输出特征向量，第一输出特征向量的数量与输入至B1层的图像特征向量的数量相同。
在B1层对图像特征向量和预设特征向量进行分析处理之后，辅助分类模块1可以获取到B1层输出的第一输出特征向量，利用辅助分类模块1对多个第一输出特征向量进行分析处理，可以获得与各个第一输出特征向量相对应的预测置信度，而后可以基于各个第一输出特征向量相对应的预测置信度对第一输出特征向量进行筛选，确定预输入至B2层中的有效特征向量，该有效特征向量可以为图像特征向量的至少一部分。具体的，在B1层中的第一输出特征向量的数量为9个时，9个第一输出特征向量各自对应的预测置信度分别为：0.91、0.65、0.99、0.98、0.91、0.93、0.94、0.82、0.90，在获取到上述9个第一输出特征向量各自对应的预测置信度之后，可以将9个第一输出特征向量各自对应的预测置信度与预设阈值进行分析比较，在预设阈值为0.90时，则可以确定分别与预测置信度0.65、以及与预测置信度0.82相对应的第一输出特征向量为无效特征向量，其他的第一输出特征向量则可以作为预输入至B2层中的有效特征向量，从而实现了对输入至B2层中的有效特征向量进行准确地确定操作。
为了能够准确地实现图像处理操作，在获取到与B2层相对应的有效特征向量和无效特征向量之后，可以将无效特征向量与预设特征向量进行融合处理，举例来说，在无效特征向量的数量为3个时，可以将3个无效特征向量与预设特征向量进行融合处理(例如：平均处理、累加处理、随机选择、拼接处理等等)，从而可以获得融合后特征向量。
在获取到预输入至B2层中的有效特征向量之后，可以将有效特征向量和融合后特征向量输入至B2层中的自注意力层，经过自注意力层和前馈神经网络层进行分析处理之后，获得B2层输出的第二输出特征向量，之后利用辅助分类模块2对第二输出特征向量进行分析处理，获得与各个第二输出特征向量相对应的预测置信度，而后可以基于各个第二输出特征向量相对应的预测置信度对第二输出特征向量进行筛选，确定预输入至B3层中的有效特征向量，该有效特征向量可以为第二输出特征向量的至少一部分。
依次类推，通过辅助分类模型3可以确定预输入至B3层和B4中的有效特征向量，并基于无效特征向量和预测特征向量确定与B3层和B4层相对应的融合后特征向量，将有效特征向量和融合后特征向量依次输入至B3层和B4层，获得B4层输出的第四输出特征向量，若B4层为transformer模型的最后一个特征提取网络层，则可以将第四输出特征向量确定为与待处理图像相对应的输出特征向量。
需要注意的是，通过特征提取网络层所获得的不同输出特征向量可以从不同的维度来标识与待处理图像相对应的图像特征，需要注意的是，随着transformer模型中特征提取网络层的不断深度和增加，所获得的输出特征向量能够标识出更加抽象的图像特征。
在又一些实例中，对于辅助分类模型而言，其不仅可以对下一个特征提取网络层的图像特征向量进行调整，还能够在某个网络层达到预设标准或者预设要求时，对transformer模型中之后的特征提取网络层无需进行图像特征向量的退出操作；具体的，可以通过辅助分类模型预估基于当前特征提取网络层所获得的图像处理结果，在图像处理结果满足预设标准或者预设要求时，则可以确定当前的特征提取网络层已达到预设标准或者预设要求；在图像处理结果不满足预设标准或者预设要求时，则可以确定当前的特征提取网络层未达到预设标准或者预设要求，而后可以基于处理结果判断是否继续进行图像特征向量的退出操作，从而有效地提高了该方法使用的灵活可靠性。
在另一些实例中，对于辅助分类模型而言，其可以包括辅助分类器、特征向量筛选层和复位层，其中，辅助分类器的结构可以由单层的1×1、2×2、3×3等的卷积层所构成，在辅助分类器的结构由1×1的卷积层构成时，所获得的辅助分类器比较轻量，只增加少量的参数和计算量。需要注意的是，辅助分类器的层数越多、维度越大，则计算量越大，辅助分类器的具体结构可以根据用户的需求以及应用场景进行灵活设置。
另外，对于transformer模型而言，在transformer模型中包括多个特征提取网络层时，可以对多个特征提取网络层中的一部分配置为通信连接有辅助分类模型，具体的，哪些特征提取网络层连接有辅助分类模型，哪些特征提取网络层未连接有辅助分类模型可以由用户进行调整或者配置操作，在一些实例中，可以先确定网络模型所包括的特征提取网络层的总层数，而后基于总层数对多个特征提取网络层进行N等分操作，从而可以获得或者确定网络模型中需要执行图像特征向量退出操作的特征提取网络层，上述N可以为3、4、5或者6等等。
在每一个需要早退的特征提取网络层后接入一个辅助分类器，该辅助分类器可以在预设的真值ground truth的监督下参与模型训练和参数更新，具体的，可以根据每个图像特征向量tokens位置的语义预测置信度来决策需要早退的图像特征向量(即无效特征向量)，将会获得一个早退的图像特征向量的退出掩码。
步骤4：对输出特征向量进行特征向量重建操作，获得与待处理图像相对应的图像特征。
为了能够实现准确地图像处理操作，可以将来自不同特征提取网络层的用于标识早退稀疏化图像特征的输出特征向量进行异质补齐操作，以填充缺失的局部信息，具体的，异质补齐操作或者对输出特征向量进行特征向量重建操作可以包括：获取与输出特征向量相对应的已退出特征向量，该已退出特征向量可以包括预设特征向量以及与输出特征向量相对应的无效特征向量(相对于该特征提取网络层的已退出特征向量)，而后确定输出特征向量和无效特征向量各自对应的特征向量标识，基于输出特征向量和无效特征向量各自对应的特征向量标识可以对输出特征向量进行特征向量重建操作，从而可以稳定地获得与待处理图像相对应的图像特征，所获得的图像特征可以为浅层稀疏化的特征信息。
在获取到与待处理图像相对应的图像特征之后，为了提高该方法的实用性，本实施例中的方法可以包括：
步骤5：将图像特征输入至用于实现图像分割操作的编码器中，从而可以获得与待处理图像相对应的预测分类结果。其中，编码器Decoder的结构可以与原有的分割模型保持一致。
此外，为了能够提高该方法使用的稳定可靠性，并缓解在进行图像处理操作时，因图像特征向量的退出操作而带来性能损失，并解决部分早退的图像特征向量而导致网络模型学习不充分的问题，可以利用预训练的完全推理模型作为教师模型来指导图像特征向量的早退训练，这样可以保证并提高transformer模型的数据处理质量和效率。
需要注意的是，本实施中用于实现遥感影像分割操作的transformer模型可以拓展为地物检测模型，基于地物检测模型可以实现地物检测操作，此时，通过地物检测模型可以实现模型吞吐量和数据处理速度的提升效果。
本应用实施例提供的技术方案，该技术方案的执行主体可以实现一对图像特征向量Token进行分层退出的语义分割动态Transformer模型，该方案可以在不改变原有Transformer模型架构的前提下，实现参与Transformer模型中自注意力网络层中的计算量逐步减少，在对遥感影像进行特征提取操作以及影像分割操作时，预计处理速度可以加速2倍，吞吐量可以提升1倍；具体的，基于图像特征向量token的动态决策机制针对遥感影像分割进行动态加速，其中，token的动态决策机制可以根据不同输入图像的计算复杂度自适应调节模型推理速度，即使得该transformer模型可以根据语义图像的不同token的早期预测效果来判断针对图像特征向量的合适退出位置，实现了没有强制性token退出的限制，这样使得transformer模型中的不同特征提取网络层可以针对不同数量的图像特征向量token进行特征提取操作，从而实现了分离化的自注意力计算方式，这样简化并加速了稀疏token的计算操作。
在获取到与待处理图像相对应的输出特征向量之后，为了能够保证对待处理图像的图像特征进行获取的准确可靠性，可以收集多个特征提取网络层针对不同层次的图像特征向量tokens，并基于不同层次的图像特征向量对输出特征向量进行重建操作，具体的，可以将输出特征向量以及已退出特征向量重新恢复到原有位置形成层次化的特征图，在获取到多层次的稀疏特征图之后，可以将多层次的稀疏特征图拼接为完整的表征图，从而有效地保证了对图像特征进行获取的准确可靠性；而后可以将所获得的特征图输入至解码器中实现逐像素的语义预测操作。此外，通过自蒸馏机制可以保证模型的性能不会有太大损失，能够增强动态Transformer模型的性能，避免数据处理精度的损失，从而提高了该技术方案的实用性，有利于市场的推广与应用。
图11为本发明应用实施例提供的一种用于实现图像特征提取操作的网络模型的结构示意图；参考附图11所示，本实施例提供了一种用于实现图像特征提取操作的网络模型，该网络模型可以实现图像特征提取操作，用于执行上述图2所示的图像特征提取方法，用于实现图像特征提取操作的网络模型包括：编码层11、与编码层11通信连接的多个特征提取网络层12，其中，部分的特征提取网络层12通信连接有辅助分类模块13；该网络模型包括：
编码层11，用于获取与待处理图像相对应的多个图像块，确定与各个图像块相对应的图像特征向量；
辅助分类模块13，用于对输入至下一个特征提取网络层12的图像特征向量进行调整，获得与下一个特征提取网络层12相对应的有效特征向量，有效特征向量为图像特征向量的至少一部分，输入至当前特征提取网络层12中的有效特征向量的数量大于或等于输入至下一个特征提取网络层12中的有效特征向量的数量；
特征提取网络层12，用于基于图像特征向量以及有效特征向量进行特征提取操作，获得与待处理图像相对应的图像特征。
图11所示网络模型可以执行图1-图8、图10所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图8、图10所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图8、图10所示实施例中的描述，在此不再赘述。
图12为本发明应用实施例提供的一种图像特征提取装置的结构示意图；参考附图12所示，本实施例提供了一种图像特征提取装置，该图像特征提取装置用于执行上述图2所示的图像特征提取方法，具体的，该图像特征提取装置可以包括：
第一获取模块21，用于获取与待处理图像相对应的多个图像块；
第一确定模块22，用于确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
第一调整模块23，用于通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，有效特征向量为图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；
第一处理模块24，用于基于多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与待处理图像相对应的图像特征。
在一些实例中，在第一调整模块23通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量时，该第一调整模块23用于执行：基于辅助分类模块确定与图像特征向量相对应的分类置信度；基于图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量。
在一些实例中，在第一调整模块23基于图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量时，该第一调整模块23用于执行：在分类置信度小于预设阈值时，则将与分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的无效特征向量；在分类置信度大于或等于预设阈值时，则将与分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的有效特征向量。
在一些实例中，在第一处理模块24基于多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与待处理图像相对应的图像特征时，该第一处理模块24用于执行：获取用于输入至各个特征提取网络层的预设特征向量；基于图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量；利用多个特征提取网络层对所对应的输入特征向量进行处理，获得与待处理图像相对应的图像特征。
在一些实例中，在第一处理模块24基于图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量时，该第一处理模块24用于执行：在当前特征提取网络层通信连接有辅助分类模块时，则基于图像特征向量和有效特征向量，确定与下一个特征提取网络层相对应的无效特征向量；对无效特征向量与预设特征向量进行融合，获得融合后特征向量；将有效特征向量和融合后特征向量，确定为下一个特征提取网络层的目标输入特征向量。
在一些实例中，在第一处理模块24基于图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量时，该第一处理模块24用于执行：在当前特征提取网络层未通信连接有辅助分类模块时，则基于图像特征向量、预设特征向量和有效特征向量，确定与当前特征提取网络层相对应的已输入特征向量；将已输入特征向量，确定为下一个特征提取网络层的目标输入特征向量。
在一些实例中，在第一处理模块24利用多个特征提取网络层对所对应的输入特征向量进行处理，获得与待处理图像相对应的图像特征时，该第一处理模块24用于执行：利用多个特征提取网络层对所对应的输入特征向量进行处理，获得目标输出特征向量；基于图像特征向量和目标输出特征向量，确定与待处理图像相对应的已退特征向量；对目标输出特征向量和已退特征向量进行复位，获得与待处理图像相对应的图像特征。
在一些实例中，在获得与待处理图像相对应的图像特征之后，本实施例中的第一处理模块24用于执行：基于图像特征对待处理图像进行影像分割处理，获得与待处理图像相对应的影像分割结果。
在一些实例中，在确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型之后，本实施例中的第一获取模块21和第一处理模块24分别用于执行以下步骤：
第一获取模块21，用于获取与输入至各个特征提取网络层的图像特征向量相对应的预测置信度；
第一处理模块24，用于在预测置信度小于或等于预设阈值时，则允许通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整；在预测置信度大于预设阈值，则禁止通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整。
图12所示装置可以执行图1-图8、图10所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图8、图10所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图8、图10所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图12所示图像特征提取装置的结构可实现为一电子设备，该电子设备可以是控制器、个人电脑、服务器等各种设备。如图13所示，该电子设备可以包括：第一处理器31和第一存储器32。其中，第一存储器32用于存储相对应电子设备执行上述图1-图8、图10所示实施例中提供的图像特征提取方法的程序，第一处理器31被配置为用于执行第一存储器32中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第一处理器31执行时能够实现如下步骤：获取与待处理图像相对应的多个图像块；确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，有效特征向量为图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；基于多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与待处理图像相对应的图像特征。
进一步的，第一处理器31还用于执行前述图1-图8、图10所示实施例中的全部或部分步骤。
其中，电子设备的结构中还可以包括第一通信接口33，用于电子设备与其他设备或通信网络通信。
本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图1-图8、图10所示实施例中图像特征提取方法所涉及的程序。
此外，本发明实施例提供了一种计算机程序产品，包括：存储有计算机指令的计算机可读存储介质，当计算机指令被一个或多个处理器执行时，致使一个或多个处理器执行上述图1-图8、图10所示方法实施例中图像特征提取方法中的步骤。
图14为本发明应用实施例提供的另一种图像特征提取装置的结构示意图；参考附图14所示，本实施例提供了另一种图像特征提取装置，该图像特征提取装置用于执行上述图9所示的图像特征提取方法，具体的，该图像特征提取装置可以包括：
第二获取模块41，用于获取待处理图像；
第二确定模块42，用于确定与待处理图像的预测置信度以及用于对待处理图像进行特征提取操作的网络模型，网络模型中包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
第二获取模块41，用于在利用网络模型对待处理图像进行分析处理时，获得各个特征提取网络层的预测置信度；
第二处理模块43，用于在特征提取网络层通信连接有辅助分类模块时，基于预测置信度和辅助分类模块对输入至下一个特征提取网络层的输入图像特征向量进行调整，获得与待处理图像相对应的图像特征，其中，输入图像特征向量与待处理图像中的至少一个图像块相对应。
图14所示装置可以执行图9-图10所示实施例的方法，本实施例未详细描述的部分，可参考对行图9-图10所示实施例的相关说明。该技术方案的执行过程和技术效果参见行图9-图10所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图14所示图像特征提取装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图15所示，该电子设备可以包括：第二处理器51和第二存储器52。其中，第二存储器52用于存储相对应电子设备执行上述图9所示实施例中提供的图像特征提取方法的程序，第二处理器51被配置为用于执行第二存储器52中存储的程序。程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第二处理器51执行时能够实现如下步骤：获取待处理图像；确定用于对待处理图像进行特征提取操作的网络模型，网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；在利用网络模型对待处理图像进行分析处理时，获得用于输入至各个特征提取网络层中的图像特征向量的预测置信度，图像特征向量与待处理图像中的至少一个图像块相对应；在特征提取网络层通信连接有辅助分类模块时，基于预测置信度和辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与待处理图像相对应的图像特征，输入至当前特征提取网络层中的图像特征向量的数量大于或等于输入至下一个特征提取网络层中的图像特征向量的数量。
进一步的，第二处理器51还用于执行前述图9所示实施例中的全部或部分步骤。
其中，电子设备的结构中还可以包括第二通信接口53，用于电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图9所示方法实施例中图像特征提取方法所涉及的程序。
此外，本发明实施例提供了一种计算机程序产品，包括：存储有计算机指令的计算机可读存储介质，当计算机指令被一个或多个处理器执行时，致使一个或多个处理器执行上述图9所示方法实施例中图像特征提取方法中的步骤。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种图像特征提取方法，其特征在于，包括：
获取与待处理图像相对应的多个图像块；
确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，所述有效特征向量为所述图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；
基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征。
2.根据权利要求1所述的方法，其特征在于，通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，包括：
基于所述辅助分类模块确定与所述图像特征向量相对应的分类置信度；
基于所述图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量。
3.根据权利要求2所述的方法，其特征在于，基于所述图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，包括：
在所述分类置信度小于预设阈值时，则将与所述分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的无效特征向量；
在所述分类置信度大于或等于预设阈值时，则将与所述分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的有效特征向量。
4.根据权利要求1所述的方法，其特征在于，基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征，包括：
获取用于输入至各个特征提取网络层的预设特征向量；
基于所述图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量；
利用所述多个特征提取网络层对所对应的输入特征向量进行处理，获得与所述待处理图像相对应的图像特征。
5.根据权利要求4所述的方法，其特征在于，基于所述图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量，包括：
在当前特征提取网络层通信连接有辅助分类模块时，则基于所述图像特征向量和有效特征向量，确定与下一个特征提取网络层相对应的无效特征向量；
对所述无效特征向量与所述预设特征向量进行融合，获得融合后特征向量；
将所述有效特征向量和所述融合后特征向量，确定为下一个特征提取网络层的目标输入特征向量。
6.根据权利要求4所述的方法，其特征在于，基于所述图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量，包括：
在当前特征提取网络层未通信连接有辅助分类模块时，则基于所述图像特征向量、预设特征向量和有效特征向量，确定与所述当前特征提取网络层相对应的已输入特征向量；
将所述已输入特征向量，确定为下一个特征提取网络层的目标输入特征向量。
7.根据权利要求4所述的方法，其特征在于，利用所述多个特征提取网络层对所对应的输入特征向量进行处理，获得与所述待处理图像相对应的图像特征，包括：
利用所述多个特征提取网络层对所对应的输入特征向量进行处理，获得目标输出特征向量；
基于所述图像特征向量和所述目标输出特征向量，确定与所述待处理图像相对应的已退特征向量；
对所述目标输出特征向量和所述已退特征向量进行复位，获得与所述待处理图像相对应的图像特征。
8.根据权利要求1-7中任意一项所述的方法，其特征在于，在获得与所述待处理图像相对应的图像特征之后，所述方法还包括：
基于所述图像特征对所述待处理图像进行影像分割处理，获得与所述待处理图像相对应的影像分割结果。
9.根据权利要求1-7中任意一项所述的方法，其特征在于，在确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型之后，所述方法还包括：
获取与输入至各个特征提取网络层的图像特征向量相对应的预测置信度；
在所述预测置信度小于或等于预设阈值时，则允许通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整；
在所述预测置信度大于预设阈值，则禁止通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整。
10.一种图像特征提取方法，其特征在于，包括：
获取待处理图像；
确定用于对所述待处理图像进行特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
在利用所述网络模型对所述待处理图像进行分析处理时，获得用于输入至各个特征提取网络层中的图像特征向量的预测置信度，所述图像特征向量与所述待处理图像中的至少一个图像块相对应；
在所述特征提取网络层通信连接有辅助分类模块时，基于所述预测置信度和所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与所述待处理图像相对应的图像特征，输入至当前特征提取网络层中的图像特征向量的数量大于或等于输入至下一个特征提取网络层中的图像特征向量的数量。
11.一种用于实现图像特征提取操作的网络模型，其特征在于，包括：编码层、与所述编码层通信连接的多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
编码层，用于获取与待处理图像相对应的多个图像块，确定与各个图像块相对应的图像特征向量；
所述辅助分类模块，用于对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，所述有效特征向量为所述图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；
所述特征提取网络层，用于基于所述图像特征向量以及所述有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征。
12.一种图像特征提取装置，其特征在于，包括：
第一获取模块，用于获取与待处理图像相对应的多个图像块；
第一确定模块，用于确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
第一调整模块，用于通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，所述有效特征向量为所述图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；
第一处理模块，用于基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征。
13.一种图像特征提取装置，其特征在于，包括：
第二获取模块，用于获取待处理图像；
第二确定模块，用于确定用于对所述待处理图像进行特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
所述第二获取模块，用于在利用所述网络模型对所述待处理图像进行分析处理时，获得用于输入至各个特征提取网络层中的图像特征向量的预测置信度，所述图像特征向量与所述待处理图像中的至少一个图像块相对应；
第二处理模块，用于在所述特征提取网络层通信连接有辅助分类模块时，基于所述预测置信度和所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，输入至当前特征提取网络层中的图像特征向量的数量大于或等于输入至下一个特征提取网络层中的图像特征向量的数量。
14.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现权利要求1-10中任意一项所述的方法。
CN202310110693.9A 2023-02-10 2023-02-10 图像特征提取方法、网络模型、装置及设备 Active CN116051848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310110693.9A CN116051848B (zh) 2023-02-10 2023-02-10 图像特征提取方法、网络模型、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310110693.9A CN116051848B (zh) 2023-02-10 2023-02-10 图像特征提取方法、网络模型、装置及设备

Publications (2)

Publication Number Publication Date
CN116051848A true CN116051848A (zh) 2023-05-02
CN116051848B CN116051848B (zh) 2024-01-09

Family

ID=86121863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310110693.9A Active CN116051848B (zh) 2023-02-10 2023-02-10 图像特征提取方法、网络模型、装置及设备

Country Status (1)

Country Link
CN (1) CN116051848B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108738A (zh) * 2017-11-28 2018-06-01 北京达佳互联信息技术有限公司 图像处理方法、装置及终端
CN111125317A (zh) * 2019-12-27 2020-05-08 携程计算机技术（上海）有限公司 对话型文本分类的模型训练、分类、系统、设备和介质
WO2021143207A1 (zh) * 2020-01-16 2021-07-22 北京迈格威科技有限公司 图像处理方法、装置、计算处理设备及介质
CN114418030A (zh) * 2022-01-27 2022-04-29 腾讯科技（深圳）有限公司 图像分类方法、图像分类模型的训练方法及装置
CN114727004A (zh) * 2021-01-05 2022-07-08 北京小米移动软件有限公司 图像获取方法及装置、电子设备、存储介质
CN115424013A (zh) * 2022-07-13 2022-12-02 平安科技（深圳）有限公司 模型的训练方法、图像处理方法和设备、介质
CN115620122A (zh) * 2021-07-15 2023-01-17 华为技术有限公司 神经网络模型的训练方法、图像重识别方法及相关设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108738A (zh) * 2017-11-28 2018-06-01 北京达佳互联信息技术有限公司 图像处理方法、装置及终端
CN111125317A (zh) * 2019-12-27 2020-05-08 携程计算机技术（上海）有限公司 对话型文本分类的模型训练、分类、系统、设备和介质
WO2021143207A1 (zh) * 2020-01-16 2021-07-22 北京迈格威科技有限公司 图像处理方法、装置、计算处理设备及介质
CN114727004A (zh) * 2021-01-05 2022-07-08 北京小米移动软件有限公司 图像获取方法及装置、电子设备、存储介质
CN115620122A (zh) * 2021-07-15 2023-01-17 华为技术有限公司 神经网络模型的训练方法、图像重识别方法及相关设备
CN114418030A (zh) * 2022-01-27 2022-04-29 腾讯科技（深圳）有限公司 图像分类方法、图像分类模型的训练方法及装置
CN115424013A (zh) * 2022-07-13 2022-12-02 平安科技（深圳）有限公司 模型的训练方法、图像处理方法和设备、介质

Also Published As

Publication number Publication date
CN116051848B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
JP7218805B2 (ja) ソフトクロスエントロピー損失を用いたセマンティックセグメンテーション
US10937169B2 (en) Motion-assisted image segmentation and object detection
CN111797983A (zh) 一种神经网络构建方法以及装置
CN111783749A (zh) 一种人脸检测方法、装置、电子设备及存储介质
US20220058451A1 (en) Identifying a type of object in a digital image based on overlapping areas of sub-images
KR101963404B1 (ko) 2-단계 최적화 딥 러닝 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 딥 러닝 시스템
CN113487618B (zh) 人像分割方法、装置、电子设备及存储介质
CN114187311A (zh) 一种图像语义分割方法、装置、设备及存储介质
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN111104954A (zh) 一种对象分类的方法与装置
KR102340988B1 (ko) 고해상도 객체 검출장치 및 방법
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
CN114549369B (zh) 数据修复方法、装置、计算机及可读存储介质
CN112528961A (zh) 一种基于Jetson Nano的视频分析方法
KR102143034B1 (ko) 객체의 미래 움직임 예측을 통한 동영상에서의 객체 추적을 위한 방법 및 시스템
CN116235209A (zh) 稀疏光流估计
CN112464930A (zh) 目标检测网络构建方法、目标检测方法、装置和存储介质
CN116844032A (zh) 一种海洋环境下目标检测识别方法、装置、设备及介质
CN116258859A (zh) 语义分割方法、装置、电子设备及存储介质
CN111639591A (zh) 轨迹预测模型生成方法、装置、可读存储介质及电子设备
CN113947604A (zh) 实例分割以及实例分割网络训练方法和装置、介质、设备
CN113361567A (zh) 图像处理方法、装置、电子设备和存储介质
CN116051848B (zh) 图像特征提取方法、网络模型、装置及设备
CN110796003B (zh) 车道线检测方法、装置及电子设备
CN115205763B (zh) 视频处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant